एक गाना लिखिए, उसे एक चेहरा दीजिए और अपने बनाए किरदार को कैमरे पर उसे गाते देखिए। म्यूज़िक मॉडल से ट्रैक बनाइए, गायक को काल्पनिक पोर्ट्रेट के रूप में तैयार कीजिए, फिर ऑडियो से चलने वाला अवतार मॉडल आवाज़ के साथ होंठ और सिर हिलाने दीजिए। पहले छोटी क्लिप, फिर आगे बढ़ाइए।
किसी किरदार को कैमरे पर गवाने के लिए पहले एनिमेटर, रिग और बहुत सारे धैर्य की ज़रूरत पड़ती थी। अब यह प्रक्रिया तीन कदमों में सिमट गई है: गाना लिखिए या जनरेट कीजिए, ऐसा गायक बनाइए जो साफ़ तौर पर कोई असली व्यक्ति न हो, और ऑडियो से चलने वाले मॉडल को आवाज़ के साथ चेहरा हिलाने दीजिए। नतीजा एक छोटी क्लिप है जिसमें आपका मैस्कॉट, आपका चित्र या आपका गढ़ा हुआ बैंड सदस्य आपका ट्रैक गाता है।
चेहरे वाला गाना स्थिर कवर वाले गाने से अलग तरह से फैलता है। रिफ़्रेन गाता मैस्कॉट, अंतरा लिप सिंक करता काल्पनिक बैंड सदस्य, आपके चैनल का जिंगल गाता कार्टून सूत्रधार: ऐसी क्लिप पर लोग रुकते हैं, क्योंकि आवाज़ के साथ ताल में हिलता मुँह प्लेलिस्ट की एक और पंक्ति नहीं, एक प्रस्तुति जैसा लगता है।
ऑडियो से चलने वाले अवतार मॉडल इनपुट की सूची बदल देते हैं। आप एक किरदार की इमेज और एक ऑडियो फ़ाइल लाते हैं, और मॉडल जो सुनता है उसके हिसाब से चेहरा, होंठ और थोड़ी सिर की हरकत एनिमेट करता है। Picasso IA पूरी कड़ी एक ही जगह रखता है: गाने के लिए म्यूज़िक मॉडल, किरदार के लिए इमेज मॉडल और प्रस्तुति के लिए लिपसिंक या अवतार मॉडल, सब toolkit के भीतर। अगर आपको गाने की जगह सिर्फ़ बोलता चेहरा चाहिए, तो बोलती तस्वीरें पेज उस आसान स्थिति को कवर करता है, और अगर लक्ष्य गायक के आसपास दृश्यों वाला पूरा वीडियो है, तो AI म्यूज़िक वीडियो वहीं से आगे बढ़ता है जहाँ यह पेज रुकता है।
सिंगिंग अवतार असल में तीन काम हैं, और हर एक को अलग मॉडल करते हैं। कैटलॉग में 502 मॉडल हैं, जिनमें 12 लिपसिंक श्रेणी में और 10 AI म्यूज़िक जनरेशन में हैं, इसलिए काम का सवाल यह है कि आपके सामने के काम के लिए कौन सा ठीक बैठता है। जिन्हें पहले आज़माना चाहिए उनकी तुलना यह है।
| मॉडल | क्या डालना है | यहाँ सबसे अच्छा उपयोग | किस पर ध्यान दें |
|---|---|---|---|
| bytedance/omni-human | एक इमेज और एक ऑडियो फ़ाइल | गाया हुआ हुक या कोरस छोटी क्लिप में | 15 सेकंड से ज़्यादा ऑडियो पर क्वालिटी गिरने लगती है |
| prunaai/p-video-avatar | एक पोर्ट्रेट, साथ में आपका ऑडियो या लिखा स्क्रिप्ट | ऐसी क्लिप जिनकी प्रस्तुति आप वीडियो प्रॉम्प्ट से निर्देशित करना चाहते हैं | लिखा स्क्रिप्ट इनबिल्ट आवाज़ बोलती है, इसलिए गाने के लिए ऑडियो अपलोड करें |
| heygen/avatar-iv | टेक्स्ट स्क्रिप्ट, एक अवतार और एक आवाज़ | गाने के आसपास बोला हुआ इंट्रो या आउट्रो | यह शब्द बोलता है, धुन नहीं निभाता |
| minimax/music-2.6 | बोल और स्टाइल प्रॉम्प्ट | गाना खुद, आवाज़ के साथ या इंस्ट्रुमेंटल | बोल 3500 अक्षरों तक, इसलिए लंबे गाने छोटे करने पड़ते हैं |
| आपकी अपनी रिकॉर्डिंग | आपकी बनाई आवाज़ की फ़ाइल | असली टेक को ऑडियो के रूप में रखना | साफ़, सूखा ऑडियो होंठों को सबसे स्पष्ट संकेत देता है |
मॉडल पेजों की दो बातें व्यवहार में मायने रखती हैं। Omni Human 15 सेकंड तक के ऑडियो के लिए ट्यून है, और इसके अपने विवरण के अनुसार उसके बाद क्वालिटी गिरने लगती है, इसलिए पूरे गाने को टुकड़ों में काटा जाता है। P Video Avatar लिखे स्क्रिप्ट की जगह अपलोड की हुई ऑडियो फ़ाइल ले सकता है, और तब वही फ़ाइल मुँह को चलाती है, जो गाने के लिए सही सेटिंग है। Avatar IV अपवाद है: वह स्क्रिप्ट और एक डिजिटल प्रस्तुतकर्ता लेकर चुनी हुई वॉइस इमोशन के साथ शब्द बोलता है, इसलिए गाने से पहले बोले हुए इंट्रो के लिए ठीक है, गाने के लिए नहीं। विकल्प चाहिए तो सभी मॉडल पेज लिपसिंक श्रेणी के बाकी मॉडल गिनाता है।
यह वह रास्ता है जो लगभग-सही नतीजों के फ़ोल्डर पर नहीं, तैयार क्लिप पर खत्म होता है। इसे किरदार का एक विचार, बोल की कुछ पंक्तियाँ और लंबा रेंडर करने से पहले एक छोटा टेस्ट चाहिए।
साफ़ स्वरों वाली छोटी पंक्तियाँ म्यूज़िक मॉडल और लिप सिंक दोनों का काम आसान करती हैं। व्यंजनों के गुच्छों से भरी पंक्ति आवाज़ और मुँह दोनों में धुँधली पड़ जाती है। Music 2.6 बोल में Intro, Verse, Chorus और Bridge जैसे स्ट्रक्चर टैग स्वीकार करता है, जो गाने का आकार नियंत्रित करने का सबसे सस्ता तरीका है। अगर अभी बोल नहीं हैं, तो फ़ील्ड खाली छोड़िए और लिरिक्स ऑप्टिमाइज़र चालू कीजिए, और मॉडल आपकी स्टाइल पंक्ति से बोल लिखेगा। कुछ भी एनिमेट करने से पहले लौटे हुए बोल पढ़िए, क्योंकि जो बोल आपने नहीं लिखे वे भी आप ही प्रकाशित करते हैं।
आवाज़ वही होती है जो म्यूज़िक मॉडल गाता है, इसलिए उसे स्टाइल प्रॉम्प्ट में चुनिए: महिला आवाज़, पुरुष आवाज़, धीमी साँस जैसी, चमकदार। अगर अपनी आवाज़ पसंद है, तो उसे रिकॉर्ड करके अपनी फ़ाइल जोड़िए, क्योंकि अवतार मॉडल को फ़र्क नहीं पड़ता कि ऑडियो कहाँ से आया। AI वॉइस क्लोनिंग पेज उस स्थिति को कवर करता है जिसमें आप चाहते हैं कि मॉडल आपकी अपनी आवाज़ में गाए।
सुझाव: पहले गाना बनाइए, फिर किरदार। धीमे गाने के साथ नरम आँखों वाला शांत, सामने का पोर्ट्रेट जँचता है, तेज़ कोरस के साथ खुला और ऊर्जावान भाव। जब पोर्ट्रेट गाने से मेल खाता है तो क्लिप सोची-समझी लगती है, चिपकाई हुई नहीं।
ज़्यादातर पहली असफल कोशिशों की वजह पोर्ट्रेट होता है। साइड प्रोफ़ाइल, मुँह के आगे हाथ, होंठों से सटा माइक्रोफ़ोन या धूप का चश्मा मॉडल के पास काम करने को कम चेहरा छोड़ते हैं, इसलिए साफ़, सामने की इमेज से शुरू कीजिए जिसमें मुँह दिखे।
इस पेज का एक ही कड़ा नियम: चेहरा आपका गढ़ा हुआ किरदार हो या आपका अपना चेहरा, और आवाज़ वह हो जो आपने बनाई, रिकॉर्ड की या शून्य से जनरेट की। किसी मशहूर व्यक्ति, सहकर्मी या ऐसे किसी की फ़ोटो न डालिए जिसने सहमति नहीं दी, और म्यूज़िक मॉडल से किसी नामित कलाकार की नकल करने वाला ट्रैक मत माँगिए। किसी असली व्यक्ति की ऐसी गाती हुई क्लिप जो उसने कभी गाई ही नहीं, नीयत जो भी हो, डीपफ़ेक है, और प्लेटफ़ॉर्म तथा स्थानीय नियम उसे ऐसे ही मान सकते हैं।
गढ़े हुए किरदार इन सबसे बचा लेते हैं। मिट्टी का मैस्कॉट, चित्रित लोमड़ी, चेहरे वाला रोबोट: सब अच्छे इनपुट हैं। अगर किरदार एक से ज़्यादा क्लिप में आएगा, तो पहले एक रेफ़रेंस इमेज बनाइए और उसे दोबारा इस्तेमाल कीजिए, ताकि हर वीडियो में गायक वही गायक लगे। स्ट्रीमिंग और सोशल प्लेटफ़ॉर्म के AI से बने संगीत और सिंथेटिक कंटेंट बताने के अपने-अपने नियम हैं, इसलिए पोस्ट करने से पहले उस प्लेटफ़ॉर्म की मौजूदा ज़रूरतें देखिए जहाँ आप डालेंगे।
यह छोटी, साफ़, सामने वाली क्लिप पर सबसे अच्छा चलता है। इन जगहों पर यह काम का नहीं रहता:
इनमें से कुछ भी विचार को खारिज नहीं करता। ये तय करते हैं कि आप 15 सेकंड की हुक क्लिप की योजना बना रहे हैं या तीन मिनट की फ़िल्म की, और पहली वह जगह है जहाँ यह तरीका अच्छा चलता है।
हाँ, दो इनपुट के साथ: किरदार का पोर्ट्रेट और गाने की ऑडियो फ़ाइल। bytedance/omni-human जैसा ऑडियो से चलने वाला मॉडल आवाज़ के साथ चेहरा और होंठ एनिमेट करता है। आप अपना रिकॉर्ड किया गाना, minimax/music-2.6 से जनरेट किया गाना या किसी सहयोगी का भेजा गाना इस्तेमाल कर सकते हैं, बशर्ते उसे इस्तेमाल करने का आपके पास अधिकार हो। किरदार आपका अपना या काल्पनिक होना चाहिए।
छोटी गाई हुई क्लिप के लिए bytedance/omni-human से शुरू कीजिए, क्योंकि उसे सिर्फ़ एक इमेज और एक ऑडियो फ़ाइल चाहिए। जब आप वीडियो प्रॉम्प्ट से प्रस्तुति का रूप निर्देशित करना चाहें या 720p और 1080p में चुनना चाहें, तो prunaai/p-video-avatar आज़माइए। heygen/avatar-iv सिर्फ़ बोले जाने वाले हिस्सों के लिए रखिए, क्योंकि वह स्क्रिप्ट पढ़ता है, धुन का पीछा नहीं करता। वही कोरस दो मॉडलों से चलाइए और जिसका मुँह बेहतर ताल रखे उसे चुनिए।
हाँ। अवतार मॉडल जो भी ऑडियो आप जोड़ें उसे एनिमेट करते हैं, इसलिए आपके गाने की रिकॉर्डिंग जनरेट किए ट्रैक की तरह ही चलती है। शांत कमरे में रिकॉर्ड कीजिए और क्लिप को उसी हिस्से तक काटिए जिसे एनिमेट करना है। सिर्फ़ अपनी आवाज़ या ऐसी आवाज़ इस्तेमाल कीजिए जिसकी आपके पास स्पष्ट अनुमति हो, किसी असली व्यक्ति की आवाज़ कभी नहीं जिसने सहमति न दी हो।
यह मॉडल पर निर्भर है। Omni Human का पेज कहता है कि 15 सेकंड तक का ऑडियो सबसे साफ़ नतीजे देता है और उसके बाद क्वालिटी गिरने लगती है, और लंबे ऑडियो को 15 सेकंड के टुकड़ों में बाँटने का सुझाव देता है। पूरे गाने के लिए ट्रैक को हिस्सों में काटने की योजना बनाइए, हर हिस्से को एक ही पोर्ट्रेट से एनिमेट कीजिए और वीडियो एडिटर में जोड़िए। मौजूदा निर्देश के लिए चुने हुए मॉडल का पेज देखिए।
नहीं, और ज़्यादातर उपयोगों में आपको इस्तेमाल करनी भी नहीं चाहिए। सबसे साफ़ इनपुट उस काल्पनिक किरदार का पोर्ट्रेट है जो आपने खुद टेक्स्ट-टू-इमेज मॉडल से बनाया हो: चित्रित गायक, मैस्कॉट, स्टाइलाइज़्ड रोबोट। अगर आप असली चेहरे की फ़ोटो इस्तेमाल करें, तो वह आपका अपना होना चाहिए। किसी मशहूर व्यक्ति, सहकर्मी या अजनबी को वह गाते हुए कभी एनिमेट न कीजिए जो उसने गाया नहीं।
अक्सर हाँ। Omni Human अपने इनपुट को ऐसी इमेज बताता है जिसमें इंसानी विषय, चेहरा या किरदार हो, और उसके उपयोगों में एक ही चित्र से किरदार को एनिमेट करना शामिल है। नतीजा इस पर निर्भर है कि चेहरा कितना साफ़ बना है, इसलिए दिखती आँखों और मुँह वाला आर्टवर्क चुनिए और पूरा गाना करने से पहले एक छोटी क्लिप टेस्ट कीजिए।
क्योंकि लिखा हुआ स्क्रिप्ट मॉडल की इनबिल्ट आवाज़ से बोली में बदलता है, और बोली में धुन नहीं होती। Avatar IV और P Video Avatar का लिखा-स्क्रिप्ट मोड ऐसे ही काम करते हैं। गाना पाने के लिए पहले गाने को ऑडियो फ़ाइल के रूप में जनरेट या रिकॉर्ड कीजिए, फिर वह फ़ाइल अपलोड कीजिए ताकि वह मुँह को चलाए। P Video Avatar में अपलोड किया ऑडियो स्क्रिप्ट और वॉइस सेटिंग की जगह इस्तेमाल होता है।
हाँ। Music 2.6 सिर्फ़ स्टाइल प्रॉम्प्ट से गाना बना सकता है, और लिरिक्स ऑप्टिमाइज़र चालू हो तो बोल वाला फ़ील्ड खाली होने पर उसी प्रॉम्प्ट से बोल लिखता है। वह आपके अपने बोल भी Verse और Chorus जैसे स्ट्रक्चर टैग के साथ लेता है। जनरेट हुए बोल एनिमेट करने से पहले ध्यान से पढ़िए, क्योंकि शब्द आप ही प्रकाशित करते हैं, और जो आपकी बात न कहे उसे दोबारा लिखिए।
AI से बने संगीत, सिंथेटिक मीडिया और उसे बताने पर हर प्लेटफ़ॉर्म के अपने नियम हैं, और वे बदलते रहते हैं, इसलिए जहाँ पोस्ट करना चाहते हैं उस प्लेटफ़ॉर्म की मौजूदा ज़रूरतें देखिए। किरदार को काल्पनिक या अपना रखिए, वे बोल इस्तेमाल कीजिए जिन्हें प्रकाशित करने की आपको छूट है, और किसी नामित कलाकार की नकल से बचिए। वीडियो क्लिप और स्ट्रीमिंग रिलीज़ अलग मामले हैं, और स्ट्रीमिंग सेवाएँ अपनी शर्तें खुद तय करती हैं।
हर चरण में क्रेडिट लगते हैं: गाना, पोर्ट्रेट और एनिमेशन, और कीमत आपके चुने मॉडल और सेटिंग पर निर्भर करती है। एनिमेशन पर आमतौर पर स्थिर इमेज से ज़्यादा लगता है। नए खातों को प्रक्रिया आज़माने के लिए मुफ़्त क्रेडिट मिलते हैं, और मौजूदा प्लान प्राइसिंग पेज पर हैं, जो संख्याओं के लिए एकमात्र भरोसेमंद जगह है। पहले छोटा हिस्सा टेस्ट करने से एक खराब टेक पूरे रेंडर की कीमत नहीं वसूलता।
आपका किरदार अपनी पहली पंक्ति का इंतज़ार कर रहा है। Picasso IA का toolkit खोलिए, गाना जनरेट कीजिए और देखिए कि मुँह ताल रखता है या नहीं।
अपनी भाषा चुनें
