अपने कुत्ते या बिल्ली की एक साफ़ फ़ोटो लें, उनके लिए एक लाइन लिखें और उसे एक छोटी क्लिप में बदलें जिसमें मुँह शब्दों के साथ हिलता है। एक ही फ़ोटो पर लिपसिंक, ऑडियो-से-वीडियो और इमेज-से-वीडियो मॉडल की तुलना करें, क्योंकि कोई भी मॉडल जानवरों के चेहरे सँभालने का वादा नहीं करता और नतीजे काफ़ी अलग निकलते हैं।
आपके कुत्ते की डाकिये के बारे में अपनी राय है और आपकी बिल्ली को आपके खाने पर साफ़ शिकायतें हैं। इन विचारों को शब्द देना, और आवाज़ के साथ हिलता हुआ मुँह दिखाना, बोलते पालतू जानवर के वीडियो का पूरा आकर्षण है। ईमानदार तरीक़े में कुछ हिस्से साथ चलते हैं, और उनमें से एक ज़्यादातर ट्यूटोरियल के मानने से कहीं ज़्यादा डगमगाता है। यह पेज बताता है कि क्या आज़माएँ, किस क्रम में, और कहाँ चीज़ें टूटती हैं।
बोलते पालतू जानवर की क्लिप तीन चीज़ों को एक के ऊपर एक रखकर बनती है: जानवर की तस्वीर, चेहरे में हरकत और एक आवाज़। तस्वीर आसान हिस्सा है, क्योंकि आपके पास पहले से सौ फ़ोटो होंगी। आवाज़ भी आसान है, क्योंकि टेक्स्ट-टू-स्पीच मॉडल टाइप किए वाक्य को सेकंडों में ऑडियो बना देते हैं। मुश्किल बीच वाला हिस्सा है। जानवर का मुँह बोली की लय में खोलना और बंद करना ठीक वही है जिसके लिए ज़्यादातर लिपसिंक मॉडल इंसानी चेहरों पर बनाए गए थे, और थूथन या चोंच एक अलग समस्या है।
इसलिए काम का सवाल यह नहीं है कि AI पालतू जानवर को बुलवा सकता है या नहीं, बल्कि यह है कि कौन सा रास्ता ऐसा मुँह देता है जो इतना ठीक हिले कि मज़ेदार लगे। कुछ रास्ते चेहरे को ऑडियो फ़ाइल से चलाते हैं। कुछ प्रॉम्प्ट से हरकत गढ़ते हैं और आवाज़ दूसरे चरण पर छोड़ देते हैं। कुछ आपके पास पहले से मौजूद क्लिप पर लिपसिंक का एक पास चलाते हैं। वे अलग-अलग तरह से फ़ेल होते हैं, इसलिए एक ही फ़ोटो को दो-तीन में चलाने से किसी भी विवरण से ज़्यादा पता चलता है।
यह पेज आपके अपने पालतू जानवर या आपके गढ़े काल्पनिक जानवर के लिए है, किसी और के जानवर या इंटरनेट पर मिली फ़ोटो के लिए नहीं।
यह असहज हिस्सा है: नीचे के किसी भी मॉडल में जानवरों को समर्थित विषय के रूप में नहीं गिना गया है। Picasso IA में 502 मॉडल हैं, जिनमें लिपसिंक श्रेणी के 12 और टेक्स्ट-टू-स्पीच के 24 शामिल हैं, और लिपसिंक के विवरण पोर्ट्रेट और इंसानों को ध्यान में रखकर लिखे गए हैं। Omni Human 1.5 चेहरों, पूरे शरीर के शॉट और बनाए हुए किरदारों की बात करता है। P Video Avatar पोर्ट्रेट फ़ोटो को बोलते अवतार में बदलने का वर्णन करता है। Kling Lip Sync एक छोटा वीडियो लेता है और बोलने वाले के मुँह को नई आवाज़ से मिलाता है।
इसलिए हर एक को पालतू जानवर पर एक प्रयोग मानें। कुछ कुत्ते या बिल्ली के चेहरे को अच्छी तरह हिलाएँगे, ख़ासकर तब जब जानवर कार्टून जैसा हो या सामने से बहुत साफ़ खींचा गया हो। कुछ चेहरे को लगभग स्थिर छोड़ देंगे, या ऐसे हिलाएँगे जो चबाने जैसा लगे। यह आज़माकर ही पता चलता है।
दूसरे मॉडल बगल से इस तक पहुँचते हैं। Wan 2.2 S2V एक स्थिर इमेज, एक ऑडियो फ़ाइल और एक प्रॉम्प्ट लेता है, और इमेज को आवाज़ की ताल पर हिलाता है; कैटलॉग में इसके उदाहरणों में सर्फ़बोर्ड पर धूप का चश्मा पहने एक सफ़ेद बिल्ली है, जो दिखाता है कि यह ऑडियो के साथ जानवर को हिला देता है, पर यह नहीं कि मुँह शब्दों से मेल खाएगा। Wan 2.7 I2V प्रॉम्प्ट से फ़ोटो को एनिमेट करता है और ऑडियो फ़ाइल भी लेता है। Veo 3.1 चार से आठ सेकंड की क्लिप ऑडियो के साथ बनाता है, और विषय को एक जैसा रखने के लिए आप इसे तीन तक रेफ़रेंस इमेज दे सकते हैं, लेकिन कैटलॉग में इसके उदाहरण बोलते हुए लोगों को दिखाते हैं, इसलिए बोलता पालतू जानवर आज़माने की चीज़ है, वादा की गई चीज़ नहीं।
तालिका रास्तों की तुलना इस आधार पर करती है कि मुँह असल में क्या हिलाता है और आवाज़ कहाँ से आती है, क्योंकि इसी से तय होता है कि हर रास्ते में कितना काम है।
| रास्ता | मुँह क्या हिलाता है | आवाज़ कहाँ से आती है | कब आज़माएँ |
|---|---|---|---|
| ऑडियो से चलने वाला इमेज मॉडल (Omni Human 1.5, Wan 2.2 S2V) | आपकी अपलोड की ऑडियो क्लिप | आपकी अपनी रिकॉर्डिंग या टेक्स्ट-टू-स्पीच फ़ाइल | जानवर का चेहरा बड़ा, सामने से और कुछ कार्टून जैसा हो |
| अवतार मॉडल (P Video Avatar) | टाइप की स्क्रिप्ट या आपका ऑडियो | 30 से ज़्यादा इन-बिल्ट आवाज़ें, या आपकी फ़ाइल | एक पोर्ट्रेट फ़ोटो से जल्दी टेस्ट चाहिए |
| ऑडियो वाला वीडियो मॉडल (Veo 3.1) | प्रॉम्प्ट | क्लिप के साथ ही बनती है | छोटा मज़ाक चाहिए और क़िस्मत पर टिका नतीजा चलेगा |
| इमेज-से-वीडियो और वॉइसओवर (Wan 2.7 I2V के साथ Speech 2.8 HD) | मुँह की हरकत बताने वाला प्रॉम्प्ट | अलग ऑडियो फ़ाइल जिसे आप क्लिप पर लगाते हैं | टाइमिंग ढीली चल सकती है, जैसे जानवर बुदबुदाकर जवाब दे |
| मौजूदा क्लिप पर लिपसिंक पास (Kling Lip Sync) | आपका जोड़ा ऑडियो या स्क्रिप्ट | ऑडियो फ़ाइल या इन-बिल्ट आवाज़ें | आपके पास पहले से साफ़ और स्थिर चेहरे वाली क्लिप है |
पहली पंक्ति से शुरू करें। इसमें सबसे ज़्यादा नियंत्रण मिलता है, क्योंकि एनिमेशन शुरू होने से पहले आवाज़ तय हो जाती है, और कुत्ते जैसी आवाज़ निकालने की कोशिश करती आपकी अपनी रिकॉर्डिंग अक्सर किसी चमकाई हुई सिंथेटिक आवाज़ से ज़्यादा मज़ेदार होती है।
यह सबसे छोटा रास्ता है जो ऐसी क्लिप पर ख़त्म होता है जिसे आप पोस्ट कर सकें। चरण तीन और चार को एक से ज़्यादा बार दोहराने के लिए तैयार रहें।
पालतू जानवर तब सबसे मज़ेदार होते हैं जब वे बहुत कम बोलते हैं। सपाट और गंभीर आवाज़ में एक अकेला वाक्य चुटकुलों के पूरे पैराग्राफ़ से ज़्यादा असर करता है, कुछ इसलिए भी कि छोटी लाइन में मुँह के सिंक से बाहर जाने की गुंजाइश कम रहती है। लाइन लिखें, एक बार ज़ोर से पढ़ें और जहाँ अटकें उसे काट दें।
जब कोई मॉडल प्रॉम्प्ट लेता है, तो मुँह और हरकत का वर्णन करें, कहानी का नहीं। बिल्ली बोलती हुई सी मुँह खोलती और बंद करती है, कान हिलते हैं, सिर हल्का झुकता है, कैमरा स्थिर रहता है जैसा कुछ कथानक से बेहतर चलता है, क्योंकि प्रॉम्प्ट हरकत को सँभालता है और ऑडियो शब्दों को। इंसानों की बोलती फ़ोटो के पीछे भी यही तर्क है: स्थिर फ़्रेम और साफ़ चेहरा किसी चतुर विवरण से ज़्यादा मायने रखते हैं।
कैमरा स्थिर और चेहरा बड़ा रखें। फ़्रेम में हर अतिरिक्त चीज़, चलती पृष्ठभूमि, दूसरा जानवर, शॉट में कोई हाथ, मॉडल को हरकत रखने की एक और जगह दे देती है, और वह अक्सर उसे ग़लत मुँह पर रख देगा।
आवाज़ की तरफ़, Speech 2.8 HD आपको भाव चुनने और पिच को हर दिशा में बारह सेमीटोन तक बदलने देता है, इसलिए बिना कुछ रिकॉर्ड किए छोटा कुत्ता छोटा और बूढ़ी बिल्ली चिड़चिड़ी सुनाई दे सकती है। आवाज़ के काम के बारे में और पढ़ने के लिए वीडियो के लिए AI वॉइसओवर देखें। अपनी आवाज़ या कोई तैयार सिंथेटिक आवाज़ इस्तेमाल करें। किसी असली इंसान की आवाज़ क्लोन करके उसे अपने पालतू जानवर से बुलवाना ऐसा क़दम है जिसकी यह पेज सलाह नहीं देता।
बोलता पालतू जानवर एक नयापन वाली क्लिप है, और वह वैसा ही बर्ताव करता है। ये वे ख़ास जगहें हैं जहाँ वह टूटता है:
एक काम की क्लिप मिलने से पहले कुछ जनरेशन के लिए तैयार रहें, और पहले से तय करें कि कितना अच्छा काफ़ी है। अगर मुँह शब्दों का सिर्फ़ मोटा-मोटा पीछा करता है, तो मज़ेदार आवाज़ और एक छोटी लाइन क्लिप को सँभाल सकती है। अगर आपको भरोसेमंद लिपसिंक चाहिए, तो बोलती फ़ोटो में इंसानी चेहरा या वीडियो में बदली फ़ोटो किसी भी जानवर से कहीं ज़्यादा भरोसेमंद होगी।
यह आपके कुत्ते या बिल्ली की फ़ोटो को आवाज़ बजने के दौरान हिला सकता है, और कभी-कभी मुँह शब्दों का इतना साथ देता है कि बोली जैसा लगे। यह भरोसेमंद नहीं है। होंठ मिलाने वाले मॉडल इंसानी चेहरों को ध्यान में रखकर बताए गए हैं, और Picasso IA का कोई भी मॉडल जानवरों को समर्थित नहीं बताता, इसलिए हर नतीजा एक टेस्ट है। कुछ फ़ोटो पहली बार में चल जाती हैं और कुछ कभी नहीं।
कोई जाँचा-परखा सबसे अच्छा मॉडल नहीं है। नियंत्रण के लिए Omni Human 1.5 या Wan 2.2 S2V जैसे ऑडियो से चलने वाले मॉडल से शुरू करें, क्योंकि एनिमेशन शुरू होने से पहले आवाज़ तय हो जाती है। P Video Avatar एक पोर्ट्रेट से जल्दी टेस्ट है, Veo 3.1 प्रॉम्प्ट से ऑडियो वाली क्लिप देता है, और Kling Lip Sync को आपकी मौजूदा क्लिप पर आज़माया जा सकता है। वही फ़ोटो दो-तीन में चलाएँ और वह मुँह रखें जो बोली के सबसे क़रीब लगे।
नहीं। आप लाइन को Speech 2.8 HD जैसे टेक्स्ट-टू-स्पीच मॉडल में टाइप कर सकते हैं, भाव चुन सकते हैं, पिच बदल सकते हैं और ऑडियो डाउनलोड कर सकते हैं। कुछ अवतार मॉडल टाइप की स्क्रिप्ट भी लेते हैं और उसे इन-बिल्ट आवाज़ में पढ़ते हैं। फिर भी ख़ुद रिकॉर्ड करके देखना ठीक रहता है, क्योंकि कुत्ते या बिल्ली की आवाज़ की बढ़ा-चढ़ाकर की गई इंसानी नक़ल अक्सर सपाट सिंथेटिक आवाज़ से ज़्यादा जीवंत लगती है, और एनिमेशन आपके दिए ऑडियो की टाइमिंग का पीछा करता है।
ज़्यादातर लिपसिंक मॉडल ने इंसानी चेहरों से सीखा है, इसलिए जानवर का थूथन उनकी उम्मीद से बाहर है। नतीजा ऐसा मुँह हो सकता है जो ऑडियो की धड़कन पर खुलता-बंद होता है पर अक्षरों पर नहीं, या ऐसा चेहरा जो मुश्किल से हिलता है, या ग़लत जगह पर हरकत। बड़ा और सामने का चेहरा, छोटी लाइन और सादी पृष्ठभूमि मदद करती है। दूसरा मॉडल चुनने से अक्सर प्रॉम्प्ट दोबारा लिखने से ज़्यादा फ़र्क़ पड़ता है।
छोटा। Kling Lip Sync 2 से 10 सेकंड के वीडियो लेता है, Omni Human 1.5 35 सेकंड से लंबा ऑडियो नामंज़ूर करता है, और Veo 3.1 4 से 8 सेकंड बनाता है। व्यवहार में होंठों की हरकत के लिए कुछ सेकंड की एक अकेली लाइन सबसे अच्छी चलती है। लंबे सीन के लिए एक ही फ़ोटो और एक ही सेटिंग से कई छोटी क्लिप बनाएँ और एडिटर में जोड़ें, यह मानकर कि एक क्लिप से दूसरी में जानवर के रूप में छोटे फ़र्क़ आएँगे।
आवाज़ बोल सकती है, और मुँह की हरकत ऑडियो का पीछा करती है। Speech 2.8 HD अपने भाषा संकेत के ज़रिए दर्जनों भाषाओं को सपोर्ट करता है, और P Video Avatar अपनी इन-बिल्ट आवाज़ों के लिए दस भाषाएँ देता है। Omni Human 1.5 इनपुट ऑडियो के लिए अंग्रेज़ी, स्पैनिश, जापानी, कोरियाई, चीनी और इंडोनेशियाई बताता है। जानवर का रूप ख़ुद नहीं बदलता, इसलिए एक भाषा में चलने वाले मज़ाक को दूसरी भाषा में टाइमिंग बचाने के लिए सिर्फ़ अनुवाद नहीं, दोबारा लिखना पड़ता है।
यह तरीक़ा आपके अपने पालतू जानवर या काल्पनिक जानवर के लिए है। किसी अजनबी के जानवर में, या इंटरनेट पर मिली फ़ोटो में, गढ़े हुए शब्द डालना फ़ोटो के मालिक और क्लिप के संकेतों को लेकर सवाल खड़े करता है, और क्लिप उस संदर्भ के बिना फैलती है। अगर जानवर किसी दोस्त का है तो पहले पूछ लें। अपने पालतू जानवर से आगे किसी भी चीज़ के लिए, इमेज मॉडल से शुरू से गढ़ा हुआ किरदार ज़्यादा साफ़ शुरुआत है।
साफ़, बराबर रोशनी वाली फ़ोटो जिसमें पूरा चेहरा दिखे, आँखें खुली हों और मुँह बंद या बस थोड़ा खुला हो। चेहरा फ़्रेम का अच्छा हिस्सा घेरे और जानवर कैमरे की तरफ़ या उसके पास देखे। ऐसी फ़ोटो से बचें जिनमें दूसरा जानवर, हाथ, थूथन पर आता पट्टा या मुँह पर गहरी छाया हो। अगर आपकी सबसे अच्छी फ़ोटो भरी-भरी है, तो पहले उसे क्रॉप कर लें।
आप अपनी फ़ोटो और अपने शब्दों से बनी क्लिप शेयर कर सकते हैं, पर हर प्लेटफ़ॉर्म AI से बनी सामग्री, लेबल और संगीत के अपने नियम तय करता है, और वे नियम बदलते रहते हैं। पोस्ट करने से पहले हर प्लेटफ़ॉर्म की मौजूदा ज़रूरतें देख लें। क्लिप को साफ़ तौर पर मज़ाकिया रखें और अगर प्लेटफ़ॉर्म माँगे तो बताएँ कि आवाज़ सिंथेटिक है।
जनरेशन में क्रेडिट लगते हैं, और रक़म मॉडल और आपकी चुनी सेटिंग, जैसे रिज़ॉल्यूशन और क्लिप की लंबाई, पर निर्भर करती है। नए अकाउंट को तरीक़ा आज़माने के लिए मुफ़्त क्रेडिट मिलते हैं, और मौजूदा प्लान सिर्फ़ प्राइसिंग पेज पर सूचीबद्ध हैं, इसलिए यहाँ लिखे किसी आँकड़े पर भरोसा करने के बजाय वहीं देखें।
आपके पालतू जानवर के पास कहने को बहुत कुछ है। Picasso IA का toolkit खोलें, एक साफ़ फ़ोटो अपलोड करें और देखें कि कौन सा मॉडल उसे आवाज़ देता है।
अपनी भाषा चुनें
