पहले जो कहा गया उसे लिखें, फिर शब्दों की बजाय मतलब का अनुवाद करें, फिर एक नई आवाज़ बनाएँ, और आखिर में होंठों को उस नई आवाज़ से ठीक-ठीक मिलाएँ। Picasso IA पर 488 मॉडल हैं, इसलिए पूरी डबिंग प्रक्रिया चार अलग टूल की बजाय एक ही अकाउंट में आराम से हो जाती है।
आपने अंग्रेज़ी में एक वीडियो पूरा किया, और ब्राज़ील, फ्रांस या सऊदी अरब में कोई एक शब्द भी नहीं समझ पाता। AI वीडियो डबिंग तीन अलग काम एक ही प्रक्रिया में जोड़ती है: जो कहा गया उसे लिखती है, मतलब का दूसरी भाषा में अनुवाद करती है, एक नई आवाज़ बनाती है, और बोलने वाले के होंठों को दोबारा मिलाती है, ताकि वीडियो ऐसा चले जैसे वह उसी भाषा में बना हो।
डबिंग में हमेशा तीन अलग टीमें लगती रही हैं: एक अनुवादक, एक वॉइस एक्टर, और उन्हें रिकॉर्ड करने के लिए एक स्टूडियो। AI वीडियो डबिंग इसे एक ही अपने आप चलने वाली प्रक्रिया में समेट देती है, और चार चरणों का क्रम किसी एक चरण से ज़्यादा मायने रखता है।
स्पीच-टू-टेक्स्ट मूल आवाज़ को सुनता है और समय-चिह्नित स्क्रिप्ट बनाता है, शब्द दर शब्द, ठहराव सहित। यह स्क्रिप्ट, वीडियो के विषय का अंदाज़ा नहीं, आगे अनुवाद के लिए जाती है, इसलिए नतीजा वही पकड़ता है जो बोलने वाले ने वाकई कहा, न कि किसी ऐसे शख्स की व्याख्या जिसने वीडियो सिर्फ एक बार देखा हो।
अनुवाद वह जगह है जहाँ AI डबिंग और पेशेवर डबिंग के बीच सबसे बड़ा गुणवत्ता का फर्क दिखता है। शब्द दर शब्द किया गया शाब्दिक अनुवाद अटपटा लगता है, और इससे भी बुरा, मूल से अलग लंबाई का हो जाता है: जर्मन वाक्य अक्सर अंग्रेज़ी मूल से लंबे होते हैं, मंदारिन के अक्सर छोटे। एक ऐसा अनुवाद जो शब्दों की गिनती मिलाने की बजाय लक्ष्य भाषा की स्वाभाविक लय में ढलता है, अगले दो चरणों को ऐसी स्क्रिप्ट देता है जो सच में बोली जा सके।
फिर टेक्स्ट-टू-स्पीच उस अनुवादित स्क्रिप्ट से नई भाषा की आवाज़ बनाता है, और लिप रीसिंक बोलने वाले के मुँह को नई आवाज़ के उच्चारण और लय से मिलाता है। Picasso IA पर पूरी प्रक्रिया टूलकिट से होकर गुज़रती है, जहाँ स्पीच-टू-टेक्स्ट, अनुवाद के लिए तैयार टेक्स्ट, आवाज़ बनाने वाले और लिप सिंक मॉडल चार अलग ऐप में बिखरने की बजाय एक ही जगह मिलते हैं।
डब किया गया वीडियो किसी असली इंसान को ऐसी भाषा और आवाज़ में बोलता दिखाता है जो सख्ती से उसकी अपनी नहीं है। यह एक जायज़ क्रिएटिव और एक्सेसिबिलिटी टूल है, और यह एक ऐसी लकीर भी है जिसे सोच-समझकर पार करना चाहिए।
अपनी खुद की सामग्री, अपनी खुद की फुटेज, अपनी खुद की आवाज़ को अपने ही दर्शकों के लिए दूसरी भाषा में डब करने में कोई उलझन नहीं है: शब्द और चेहरा आपके हैं, और उन्हें स्थानीय बनाना ही इस टूल का मकसद है। लकीर तभी असली बनती है जब वीडियो में कोई और दिखे, खासकर कोई सार्वजनिक शख्सियत, कोई क्लाइंट, या ऐसी फुटेज जिसके अधिकार आपके पास नहीं। किसी और के वीडियो का अनुवादित वर्ज़न उसकी जानकारी के बिना या उसकी सामग्री बदलने के कानूनी आधार के बिना बनाना पहले तो एक नैतिक समस्या है, और बढ़ती जगहों पर यह कानूनी समस्या भी है।
व्यावहारिक नियम सीधा है: डब किए गए वीडियो को AI-डब्ड बताएँ जब दर्शक वरना यह मान सकते हों कि यह उस इंसान की असली आवाज़ है, और किसी असली इंसान को कभी ऐसा कुछ बोलते हुए न दिखाएँ जो उसने कहा ही नहीं। सहमति इस प्रक्रिया का फुटनोट नहीं, इसकी असली सीमा है।
हर वीडियो एक जैसी अच्छी डबिंग नहीं देता, और शुरू करने से पहले यह जान लेना कि आपका वीडियो किस श्रेणी में आता है, एक निराशा से बचा लेता है। कैमरे के सामने बात करने वाला एक्सप्लेनर कंटेंट, एक इंसान नपे-तुले अंदाज़ में बोलता, मुँह साफ दिखता, सबसे अच्छा मामला है: लिप रीसिंक को पीछा करने के लिए साफ, नज़दीकी लक्ष्य मिलता है, और अनुवादित स्क्रिप्ट को साँस लेने की जगह मिलती है।
B-रोल पर की गई नैरेशन इससे भी आसान है, क्योंकि स्क्रीन पर सिंक करने के लिए कोई मुँह होता ही नहीं; नई आवाज़ की पट्टी को बस तस्वीरों के नीचे मूल जैसी ही लय में बैठना होता है। इंटरव्यू इसके करीब आते हैं, क्योंकि ज़्यादातर मुश्किल वही एक-बोलने वाले की रीसिंक समस्या है, बस अनुवाद करने के लिए ज़्यादा स्वाभाविक, कम लिखी-लिखाई भाषा के साथ।
तेज़ कॉमेडी संवाद सबसे मुश्किल मामला है। लय ही जोक है, और जोक शायद ही कभी अपनी लय बरकरार रखते हुए अनुवाद से बच निकलते हैं; मूल भाषा में 1.2 सेकंड की लाइन को लक्ष्य भाषा में मतलब बनाने के लिए 1.6 सेकंड चाहिए हो सकते हैं, और अब होंठ और पंचलाइन आपस में उलझ जाते हैं। तंग लिप-सिंक क्लोज़-अप छोटी रीसिंक गलतियों को बड़ा कर देते हैं जिन्हें एक चौड़ा शॉट पूरी तरह छिपा देता, और गाना अनुवाद से ज़्यादा रचना जैसा है, क्योंकि गाई गई लाइन की धुन, ताल और तुक शायद ही किसी दूसरी भाषा में बैठें।
प्रो टिप: पूरे वीडियो को प्रोसेस करने से पहले सबसे मुश्किल हिस्से का तीस सेकंड का क्लिप पहले डब करें, आमतौर पर सबसे तेज़ संवाद या सबसे तंग क्लोज़-अप। अगर वह हिस्सा ठीक निकले, तो बाकी वीडियो भी लगभग हमेशा ठीक निकलता है।
नीचे दी गई तालिका ज़्यादातर फुटेज में दोहराया जाने वाला एक पैटर्न दिखाती है: स्क्रीन पर जितनी कम चीज़ें तेज़ी से हिलती हैं, डबिंग उतनी ही भरोसेमंद दिखती है।
| कंटेंट का प्रकार | डबिंग आमतौर पर कैसी टिकती है |
|---|---|
| एक्सप्लेनर नैरेशन (B-रोल पर आवाज़) | बेहतरीन, स्क्रीन पर सिंक करने के लिए कोई मुँह नहीं |
| कैमरे के सामने इंटरव्यू | मज़बूत, एक साफ चेहरा और नपी-तुली रफ्तार |
| तेज़ संवाद वाला सीन | असमान, लय और लिप-सिंक दोनों दबाव में |
| गाना | कमज़ोर, धुन और तुक शायद ही अनुवाद से बचती हैं |
पूरे वीडियो पर क्रेडिट खर्च करने से पहले टूलकिट में अपनी फुटेज का एक छोटा टेस्ट क्लिप आज़माएँ; प्राइसिंग पेज हर चरण की कीमत दिखाता है ताकि लंबे प्रोजेक्ट के बीच में कोई हैरानी न हो।
डब किया वीडियो पब्लिश करने से पहले पाँच सीमाएँ जान लेना ज़रूरी है, क्योंकि इनमें से कोई भी बेहतर मॉडल चुनने से हल नहीं होती।
अगर आपके दर्शक नई आवाज़ की ज़रूरत से ज़्यादा तेज़ पढ़ लेते हैं, तो ऑटोमैटिक सबटाइटल वाला तरीका अनुवाद की लंबाई वाली दिक्कतों को पूरी तरह टाल देता है और मूल आवाज़ को वैसा ही रखता है।
पूरी प्रक्रिया पाँच चरणों में चलती है, और सिर्फ दूसरा चरण ही असली समय देने लायक है।
हाँ, ज़्यादातर मामलों में। यह प्रक्रिया मूल आवाज़ को लिखती है, उसका अनुवाद करती है, नई आवाज़ की पट्टी बनाती है और उसे मिलाने के लिए होंठों को रीसिंक करती है, और एक्सप्लेनर या कैमरे के सामने नैरेशन वाले कंटेंट में नतीजा अक्सर प्रक्रिया से सीधे निकलकर इस्तेमाल लायक होता है। जिसे अब भी इंसानी जाँच चाहिए वह है अनुवाद की गुणवत्ता, खासकर जोक, मुहावरे और सांस्कृतिक रूप से खास कोई भी चीज़ जिसे अकेली स्क्रिप्ट नहीं पकड़ पाती।
हो सकता है, अगर आप ऐसी टेक्स्ट-टू-स्पीच आवाज़ चुनें जो आपके चाहे लहज़े और स्तर से मेल खाए, हालाँकि यह मूल बोलने वाले की सटीक आवाज़ को क्लोन नहीं करेगी जब तक आप खासतौर पर ज़रूरी अधिकारों वाला वॉइस-क्लोनिंग मॉडल इस्तेमाल न करें। ज़्यादातर डबिंग काम नई भाषा के लिए एक अलग, उपयुक्त आवाज़ इस्तेमाल करते हैं न कि मूल आवाज़ को दोबारा बनाने की कोशिश करते हैं, जो तब ज़्यादा पारदर्शी विकल्प भी है जब दर्शकों को पता होना चाहिए कि वे डबिंग सुन रहे हैं।
स्क्रिप्ट और अनुवाद तैयार होते ही जनरेशन खुद आमतौर पर कुछ मिनटों में हो जाती है, लेकिन अनुवाद की जाँच और बाद में पूरा वीडियो देखने के लिए असली समय रखें। पहली कोशिश के लिए, शुरू से आखिर तक तीस मिनट से एक घंटे का अंदाज़ा लगाएँ, ज़्यादातर समय यह जाँचने में जाता है कि अनुवादित स्क्रिप्ट स्वाभाविक लगती है, किसी एक जनरेशन चरण का इंतज़ार करने में नहीं।
शब्द दर शब्द अनुवाद गलत लक्ष्य है, क्योंकि भाषाओं की लंबाई अलग होती है और शाब्दिक अनुवाद क्लिप बढ़ने के साथ होंठों को धीरे-धीरे बिगाड़ता जाता है। अनुवाद के चरण को मूल मतलब बनाए रखते हुए शब्दों की रचना को लक्ष्य भाषा की स्वाभाविक लय में ढालना चाहिए, जो रीसिंक चरण को ठीक से काम करने के लिए समय को काफी करीब भी रखता है।
लगभग हमेशा इसलिए क्योंकि अनुवादित स्क्रिप्ट मूल भाषण से लंबी या छोटी निकल गई, और यह फर्क लंबे क्लिप में वाक्य दर वाक्य जुड़ता जाता है। छोटे वीडियो में यह समस्या मुश्किल से दिखती है; दस प्रतिशत भी लंबे अनुवाद वाला दो मिनट का वीडियो आखिरी लाइन तक साफ दिखने लायक बेमेल हो सकता है। लंबाई का ध्यान रखते हुए दोबारा अनुवाद करना ज़्यादातर मामले ठीक कर देता है।
भरोसेमंद तरीके से नहीं, और निराश करने वाले नतीजे के बाद जानने की बजाय पहले ही जान लेना बेहतर है। गाना इस पर निर्भर करता है कि धुन, ताल और तुक संगीत से मेल खाएँ, और अनुवाद इनमें से कुछ भी नहीं बचा पाता, इसलिए दूसरी भाषा में डब की गई गाई हुई लाइन अक्सर ऐसी बोली गई लाइन जैसी लगती है जिसे किसी ऐसी धुन पर ज़बरदस्ती फिट किया गया हो जो उसके लिए लिखी ही नहीं गई थी। बोला गया नैरेशन और संवाद भरोसेमंद मामला हैं; गाने को इस दायरे से बाहर मानें।
अगर फुटेज और आवाज़ आपकी नहीं है, तो हाँ। किसी असली इंसान को उसकी जानकारी के बिना या उसकी सामग्री बदलने के कानूनी आधार के बिना ऐसी भाषा और आवाज़ में डब करना जो उसकी नहीं है, पहले नैतिक समस्या है और तेज़ी से कानूनी समस्या भी बनती जा रही है, खासकर सार्वजनिक शख्सियतों के साथ। अपनी फुटेज को अपने ही दर्शकों के लिए डब करने में यह सवाल नहीं उठता; लकीर इस बात पर निर्भर करती है कि जो आवाज़ और चेहरा बदला जा रहा है वह किसका है।
Picasso IA के कैटलॉग में स्पीच-टू-टेक्स्ट, अनुवाद और टेक्स्ट-टू-स्पीच मॉडल शामिल हैं जो कई प्रमुख भाषाओं की एक बड़ी रेंज कवर करते हैं, और आवाज़ की गुणवत्ता व स्वाभाविकता भाषा और मॉडल के हिसाब से अलग होती है। पूरा वीडियो डब करने से पहले अपनी लक्ष्य भाषा में एक छोटा टेस्ट क्लिप बनाकर सुन लेना फायदेमंद है।
हाँ, यह एक अलग ऑडियो लेयर है और यह प्रक्रिया इसे छेड़े बिना छोड़ने के लिए बनी है। डबिंग आवाज़ की पट्टी बदलती है, पूरी मिक्स नहीं, इसलिए अलग स्टेम पर मौजूद म्यूज़िक और इफेक्ट, या जिन्हें आप बाद में दोबारा जोड़ते हैं, वैसे ही बने रहते हैं। अगर आपके मूल वीडियो में आवाज़ और म्यूज़िक एक ही ट्रैक में मिली हुई है, तो पहले आवाज़ को अलग करें ताकि नई आवाज़ की पट्टी को जोड़ने के लिए कुछ साफ मिले।
नए अकाउंट को मुफ्त क्रेडिट मिलते हैं, जो पूरी प्रक्रिया को एक छोटे क्लिप पर चलाने और आगे कुछ भी खर्च करने से पहले नतीजा परखने के लिए काफी हैं। उसके बाद, हर चरण, ट्रांसक्रिप्शन, अनुवाद, आवाज़ बनाना और रीसिंक, प्राइसिंग पेज पर दिखने वाले उसी क्रेडिट बैलेंस से खर्च होता है, और सिर्फ डबिंग के लिए कोई अलग प्लान नहीं है।
आपका वीडियो पहले से तैयार है, और पहली डबिंग आज़माने में बस कुछ मिनट लगते हैं। टूलकिट खोलें और इसे उस भाषा में सुनें जिसमें यह कभी रिकॉर्ड ही नहीं हुआ था।
