एक तैयार गाना अपलोड करें, या उसी वक्त एक नया बना लें, और उसे एक ऐसे मॉडल में डालें जो ऑडियो को पढ़कर उसके साथ चलने वाले विज़ुअल बनाता है। एक कवर इमेज को एनिमेट करें, टेक्स्ट प्रॉम्प्ट से एक सीन जनरेट करें, या रिकॉर्ड की गई आवाज़ को सिंक किए गए परफॉर्मेंस क्लिप में बदलें, फिर तब तक बदलाव करें जब तक मूवमेंट वाकई गाने के साथ चले।
अपने गाने के लिए म्यूज़िक वीडियो चाहने वाले ज़्यादातर लोग एक ही दीवार से टकराते हैं: एक डायरेक्टर की कीमत खुद गाने से ज्यादा होती है, और फोन से शूट किया गया परफॉर्मेंस क्लिप शायद ही कभी गाने के मूड से मेल खाता है। AI यह फासला दूसरी तरफ से पाटता है। एक तैयार गाना, या उसी वक्त जनरेट किया गया एक गाना, ऐसे मॉडल में डालें जो ऑडियो पढ़कर उसके साथ चलने वाले विज़ुअल बनाता है, और चाय ठंडी होने से पहले एक शुरुआती म्यूज़िक वीडियो तैयार हो जाता है।
बिना विज़ुअल वाला तैयार गाना स्ट्रीमिंग प्लेटफॉर्म और एक स्थिर थंबनेल में अटका रह जाता है; वीडियो ही उसे ऐसी चीज़ में बदलता है जिसे लोग वाकई शेयर करते हैं। Picasso IA इस समस्या के दोनों हिस्सों को एक ही कैटलॉग में कवर करता है: टेक्स्ट-टू-म्यूज़िक मॉडल जो प्रॉम्प्ट से एक ओरिजिनल गाना लिखते और परफॉर्म करते हैं, और lightricks/audio-to-video, जो खासतौर पर ऑडियो फाइल पढ़कर उसके साथ चलने वाले विज़ुअल जनरेट करने के लिए बनाया गया मॉडल है, न कि आवाज़ के नीचे लगाया गया कोई सामान्य लूप।
वर्कफ़्लो जानबूझकर सीधा रखा गया है। मॉडल को एक गाना दें, साथ में एनिमेट करने के लिए एक फोटो या सीन बताने वाला टेक्स्ट प्रॉम्प्ट, और यह एक ऐसा वीडियो बनाता है जिसकी मूवमेंट ऑडियो की धुन और मूड को फॉलो करती है। नए अकाउंट मुफ्त क्रेडिट के साथ शुरू होते हैं, जो कुछ भी खर्च करने से पहले एक हिस्से पर आइडिया परखने के लिए काफी हैं, और अगर आप प्लेटफॉर्म पर मौजूद हर ऑडियो और वीडियो विकल्प देखना चाहें तो पूरा मॉडल कैटलॉग देखना फायदेमंद है।
हर गाने को एक जैसा वीडियो नहीं चाहिए। बोलों पर टिकी एक भावुक धुन एक ही एनिमेटेड इमेज के रूप में अच्छी लगती है जिसमें शब्द ही भावना ढोते हैं, जबकि एक इंस्ट्रूमेंटल बीट एक ऐसे एब्स्ट्रैक्ट सीन को सहारा दे सकता है जो कभी बिल्कुल एक जैसा नहीं दोहराता। Audio To Video शुरुआती फ्रेम के तौर पर एक इमेज या टेक्स्ट प्रॉम्प्ट, दोनों स्वीकार करता है, तो यह चुनाव पहला असली फैसला है, कोई बाद का ब्यौरा नहीं।
| विज़ुअल तरीका | मॉडल को क्या दें | किसके लिए सबसे अच्छा |
|---|---|---|
| एक स्थिर इमेज एनिमेट करें | एक फोटो या कवर आर्ट, साथ में ऑडियो | लिरिक वीडियो, एक ही आर्टवर्क वाले रिलीज़, मूड पीस |
| टेक्स्ट प्रॉम्प्ट से जनरेट करें | एक सीन का विवरण, साथ में ऑडियो | एब्स्ट्रैक्ट विज़ुअल, जब कोई सोर्स फोटो मौजूद न हो |
| वोकल परफॉर्मेंस फोटो एनिमेट करें | एक चेहरे की फोटो, साथ में वोकल ट्रैक | नकली लाइव-परफॉर्मेंस क्लिप, बोलती हुई इंट्रो |
| इंस्ट्रूमेंटल सीन को लूप करें | एक इंस्ट्रूमेंटल ट्रैक, साथ में छोटा प्रॉम्प्ट | स्ट्रीम, रील्स और लाइव सेट के लिए बैकग्राउंड लूप |
| कई छोटे क्लिप जोड़ें | कई हिस्से, हर एक की अपनी इमेज या प्रॉम्प्ट | पूरे गाने जो बाद में टूल के बाहर जोड़े जाते हैं |
इन पांच पंक्तियों के पीछे एक गाइडेंस स्केल सेटिंग होती है जो हर जगह एक ही काम करती है: इसे बढ़ाने से वीडियो प्रॉम्प्ट या रेफरेंस इमेज के ज्यादा करीब रहता है, इसे घटाने से मॉडल ऑडियो की आज़ादी से व्याख्या करता है। दोनों में से कोई भी छोर अपने आप में सही नहीं है, तो सही वैल्यू ढूंढने का तेज़ तरीका है एक ही छोटे हिस्से को अलग-अलग सेटिंग पर दो बार जनरेट करके तुलना करना।
इनमें से कोई भी आदत मुश्किल नहीं है, लेकिन इनमें से किसी एक को छोड़ देना ही उस वीडियो में फर्क डालता है जो गाने पर टाइम्ड लगता है और उस वीडियो में जिसके नीचे बस म्यूज़िक बज रहा होता है।
यह एक ऑडियो फाइल से एक शुरुआती वीडियो तक का रास्ता है, यह मानते हुए कि आपके पास पहले से एक गाना है या आप पहले एक जनरेट करने को तैयार हैं।
एक अकेली वोकल रिकॉर्डिंग और एक साफ फोटो मिलकर एक ऐसा छोटा क्लिप बना सकते हैं जिसमें मुंह शब्दों के साथ हिलता है, बिना कैमरा या उस दिन मौजूद गायक के, एक परफॉर्मेंस टेक के करीब। यह मॉडल के बाकी हिस्से जैसे ही ऑडियो-पढ़ने वाले व्यवहार पर टिका है, बस किसी सीन की जगह एक चेहरे पर लक्षित, और यह AI टॉकिंग फोटोज़ के पीछे के वर्कफ़्लो से स्वाभाविक रूप से मेल खाता है, जब मकसद एक ऐसा चेहरा हो जो गाता हुआ दिखे, न कि एक बैकग्राउंड जो बीट पर धड़कता हो।
पहले रेंडर को एक कच्चा कट मानें, आखिरी जवाब नहीं। ओवरलैप होती वोकल और इंस्ट्रूमेंट वाला घना मिक्स मॉडल को उससे ज्यादा सिग्नल देता है जितना वह साफ तरीके से फॉलो कर सकता है, तो उस क्लिप के लिए ऑडियो को अलग करना या सरल बनाना आमतौर पर पूरी तरह मास्टर हो चुके ट्रैक को सौंपने से ज्यादा टाइट सिंक देता है।
उम्मीदों को इससे जोड़े रखें कि एक जनरेशन असल में क्या है: एक अकेले ऑडियो-चालित पास से बना छोटा क्लिप, रिहर्सल की हुई मल्टी-कैमरा शूट नहीं। यह एक साफ वोकल स्टेम और सामने से अच्छी रोशनी वाली फोटो के साथ बेहतर होता है, और सोर्स ऑडियो जितना दूसरे एलिमेंट्स के नीचे दबता है उतना ही खराब होता जाता है।
एक ईमानदार पेज बताता है कि टूल कहां रुक जाता है। जनरेशन की लंबाई पहली सीमा है: Audio To Video गाने को छोटे पास में एनिमेट करता है, एक जनरेशन में तीन या चार मिनट का पूरा वीडियो नहीं, तो एक पूरे म्यूज़िक वीडियो का मतलब है कई हिस्से जनरेट करना और उन्हें खुद जोड़ना, क्योंकि इस काम के लिए प्लेटफॉर्म पर कोई बना-बनाया टाइमलाइन एडिटर नहीं है। लिप सिंक साफ, अलग की गई वोकल पर अच्छी तरह काम करता है और घने मिक्स या तेज़ बोलचाल पर भटक जाता है, तो पब्लिश करने से पहले हर क्लोज-अप जांच लें। जनरेट किया गया म्यूज़िक एक कंपोज़िशन और परफॉर्मेंस है, स्टूडियो में मास्टर हुआ रिलीज़ नहीं, और प्रोफेशनल डिस्ट्रीब्यूशन को आमतौर पर अब भी मिक्सिंग पास चाहिए होता है। इनमें से कोई भी बात वर्कफ़्लो को बेकार साबित नहीं करती; यही वजह है कि इस तरह बना वीडियो अब भी एक इंसानी फाइनल एडिट से फायदा उठाता है।
बिना वीडियो बजट वाले इंडिपेंडेंट म्यूज़िशियन सबसे साफ मामला हैं: बिना विज़ुअल पहचान वाला एक सिंगल कवर आर्ट और एक गाने से ही अपनी पहचान पा सकता है, प्रोडक्शन शेड्यूल की जगह एक दोपहर में। स्ट्रीमर और लो-फाई चैनल वर्कफ़्लो के लूप्ड, इंस्ट्रूमेंटल सिरे का इस्तेमाल ऐसे बैकग्राउंड विज़ुअल के लिए करते हैं जो साफ तौर पर दोहराए बिना घंटों चलें। पॉडकास्टर उसी ऑडियो-चालित आइडिया को उल्टी दिशा में इस्तेमाल करते हैं, एक बोले गए क्लिप को चलते-फिरते थंबनेल में बदलते हुए, जैसा पॉडकास्ट टू वीडियो क्लिप्स पहले से बताता है। पूरे रिलीज़ शेड्यूल के लिए टूल की तुलना करने वाले लेबल आमतौर पर एक खास मॉडल बनाम एक ऐसे कैटलॉग के बीच तौल रहे होते हैं जो खुद म्यूज़िक भी जनरेट करता है; Picasso IA बनाम Suno की तुलना उसी फैसले को विस्तार से बताती है, और जो कोई पहले से एक लगातार ट्रैक की जगह शॉट-दर-शॉट सीन स्टोरीबोर्ड कर रहा है, वह कैटलॉग का वह पड़ोसी, म्यूज़िक-चालित न होने वाला हिस्सा फेसलेस यूट्यूब वीडियो में देख सकता है।
यह एक पास में तीन मिनट की एक पूरी तैयार फाइल की जगह टुकड़े जनरेट करता है। Audio To Video ऑडियो-चालित छोटे हिस्से रेंडर करता है, तो एक पूरे म्यूज़िक वीडियो का मतलब है इसे गाने के हर हिस्से के लिए एक बार चलाना और फिर नतीजों को एक वीडियो एडिटर में जोड़ना। एक वर्स, एक कोरस लूप, या सोशल मीडिया के लिए बना एक छोटा हिस्सा, इनके लिए एक ही जनरेशन पहले से तैयार क्लिप होता है।
दोनों तरीके काम करते हैं। अगर आपके पास पहले से एक तैयार ट्रैक है तो उसे अपलोड करें, या पहले minimax/music-2.6 या google/lyria-3 जैसे टेक्स्ट-टू-म्यूज़िक मॉडल से एक ओरिजिनल जनरेट करें, जॉनर, मूड बताते हुए और यह कि आपको वोकल चाहिए या पूरी तरह इंस्ट्रूमेंटल। ऑडियो-टू-वीडियो स्टेप जनरेट किए गए ट्रैक को उसी तरह ट्रीट करता है जैसे अपलोड किए गए को।
एक इमेज एनिमेट करना एक तय सब्जेक्ट, आपकी कवर आर्ट या एक फोटो, को बनाए रखता है और उसे ऑडियो के जवाब में हिलाता है, जो पहले से विज़ुअल पहचान वाले रिलीज़ के लिए सही है। टेक्स्ट प्रॉम्प्ट से जनरेट करना सोर्स इमेज को पूरी तरह छोड़ देता है और लिखे गए विवरण से एक सीन बनाता है, जो एब्स्ट्रैक्ट या कॉन्सेप्चुअल विज़ुअल के लिए सही है जब अभी तक कोई आर्टवर्क मौजूद न हो। दोनों एक ही ऑडियो फाइल को इनपुट के तौर पर लेते हैं।
हां, एक साफ फोटो और वोकल ऑडियो से। मॉडल वोकल ट्रैक पढ़ता है और चेहरे को लगभग शब्दों की धुन पर चलाता है, म्यूज़िक बजते हुए एक स्थिर इमेज से ज्यादा एक परफॉर्मेंस टेक के करीब। नतीजे सामने से अच्छी रोशनी वाली फोटो और साफ वोकल के साथ सबसे बेहतर रहते हैं, और घने मिक्स में खराब होते हैं जहां वोकल इंस्ट्रूमेंट्स के नीचे दब जाती है।
हर जनरेशन एक ऐसा छोटा क्लिप है जो ऑडियो-चालित है, कोई ओपन-एंडेड रेंडर नहीं, तो हर रन को एक लंबी चीज़ के एक हिस्से की तरह ट्रीट करें। एक पूरे गाने के लिए, व्यावहारिक तरीका है ट्रैक के विज़ुअली सबसे जरूरी हिस्सों में कुछ सेक्शन अलग-अलग जनरेट करना, फिर उन्हें एक वीडियो एडिटर में जोड़ना, यह उम्मीद करने की जगह कि एक ही जनरेशन पूरी अवधि कवर कर लेगी।
यह तय करता है कि नतीजा आपके प्रॉम्प्ट या रेफरेंस इमेज को कितनी सख्ती से फॉलो करता है, बनाम मॉडल ऑडियो को कितनी आज़ादी से खुद व्याख्या करता है। ज्यादा वैल्यू वीडियो को आपके बताए या दिखाए गए के करीब रखती है; कम वैल्यू ट्रैक की धुन और मूड को मूवमेंट पर ज्यादा असर डालने देती है। चूंकि सही संतुलन गाने पर निर्भर करता है, एक छोटे हिस्से को दो या तीन वैल्यू पर जनरेट करके तुलना करना पहले से एक नंबर अंदाज़ा लगाने से तेज़ है।
कुछ भी कमर्शियल पब्लिश करने से पहले अपने प्लान से जुड़े प्लेटफॉर्म नियम जांच लें, क्योंकि जनरेट किए गए ऑडियो के लाइसेंस नियम जनरेट की गई इमेज या वीडियो के नियमों से अलग हो सकते हैं। अगर खुद ट्रैक किसी असली आर्टिस्ट की आवाज़ या मिलती-जुलती आवाज़, या प्रॉम्प्ट या रेफरेंस ऑडियो के किसी हिस्से में पहले से कॉपीराइट वाली सामग्री का सैंपल इस्तेमाल करता है, तो यह एक अलग अधिकार वाला सवाल खड़ा करता है जिसे जनरेटर आपके लिए हल नहीं करता। मौजूदा नियम और प्लान की जानकारी प्राइसिंग पेज पर है।
पूरे कमर्शियल रिलीज़ के लिए, नहीं। यह खाली पेज की जगह लेता है: कुछ भी नहीं से वीडियो शुरू करने की जगह, आप एक ऐसे पहले जनरेशन से शुरू करते हैं जो पहले से गाने के साथ चलता है, फिर एक एडिटर लाते हैं जो हिस्सों को जोड़े, कलर ग्रेड करे, और ऐसे ट्रांज़िशन जोड़े जिन्हें एक अकेला ऑडियो-चालित जनरेशन कभी अकेले बनाने के लिए नहीं बना था। एक लिरिक हिस्से या सोशल के लिए एक ही क्लिप के लिए, जनरेट किया गया नतीजा अक्सर पूरा डिलिवरेबल होता है।
सबसे पहले गाइडेंस स्केल जांचें, क्योंकि यह वह अकेली सेटिंग है जिसका मूवमेंट के ऑडियो बनाम प्रॉम्प्ट फॉलो करने पर सबसे ज्यादा असर होता है। इसके बाद, जो हिस्सा सिंक से बाहर है उसे अलग करें और पूरे ट्रैक की जगह सिर्फ उसी हिस्से को दोबारा जनरेट करें, और अगर लगे कि मॉडल एक साथ बताए गए बहुत सारे एलिमेंट्स के बीच उलझ रहा है तो एक भरे हुए प्रॉम्प्ट को सरल बनाएं।
हर जनरेशन क्रेडिट खर्च करता है, और रकम इस पर निर्भर करती है कि आप कौन-से मॉडल मिलाते हैं: एक म्यूज़िक जनरेशन, अगर जरूरत हो तो एंकर आर्टवर्क के लिए एक इमेज जनरेशन, और खुद ऑडियो-टू-वीडियो पास। नए अकाउंट मुफ्त क्रेडिट के साथ शुरू होते हैं, जो कुछ और खर्च करने से पहले एक छोटे हिस्से पर वर्कफ़्लो टेस्ट करने के लिए काफी हैं, और मौजूदा प्लान और क्रेडिट अलॉकेशन प्राइसिंग पेज पर सूचीबद्ध हैं, वक्त के साथ बदलने वाले नंबरों के लिए भरोसा करने लायक इकलौती जगह।
बिना विज़ुअल पहचान वाला ट्रैक अब भी बस एक डिस्क पर पड़ी फाइल है। Toolkit खोलें और अगले गाने को उसके साथ चलने के लिए बना एक वीडियो दें, एक बार में एक हिस्सा।
