एक फोटो और एक रेफरेंस डांस क्लिप अपलोड करें, और Picasso IA वीडियो के मूवमेंट्स को आपकी इमेज के व्यक्ति या कैरेक्टर पर मैप कर देता है। न कोई रिगिंग, न कोई कोरियोग्राफी सॉफ्टवेयर, बस एक इमेज, एक क्लिप और रेंडर होने में कुछ मिनट।
हर किसी के पास एक ऐसी फोटो होती है जिसे वे हिलते हुए देखना चाहते हैं। एक पोर्ट्रेट, किसी मैस्कॉट की ड्रॉइंग, सफेद बैकग्राउंड पर स्थिर खड़ा एक प्रोडक्ट कैरेक्टर। मोशन ट्रांसफर मॉडल्स इस गैप को बिना हाथ से एक भी फ्रेम एनिमेट किए भर देते हैं: आप उन्हें एक स्टिल इमेज और किसी के डांस करते हुए का एक रेफरेंस वीडियो देते हैं, और वे एक ऐसी क्लिप जनरेट करते हैं जिसमें आपका सब्जेक्ट वही मूव्स, उसी टेम्पो पर करता है। यह पेज बताता है कि यह Picasso IA पर असल में कैसे काम करता है, ऐसे इनपुट कैसे चुनें जो साफ मोशन दें, और यह तकनीक कहाँ पर टूट जाती है।
डांस, टेक्स्ट प्रॉम्प्ट में बताने के लिए सबसे मुश्किल चीज़ों में से एक है और रेफरेंस के तौर पर देने के लिए सबसे आसान चीज़ों में से एक। एनर्जेटिक हिप हॉप विद फास्ट फुटवर्क जैसा एक वाक्य टेक्स्ट-टू-वीडियो मॉडल को टाइमिंग, वेट या रिदम के बारे में लगभग कुछ भी उपयोगी नहीं बताता। एक असली डांसर की दस सेकंड की क्लिप एक मोशन ट्रांसफर मॉडल को वह सब कुछ बता देती है जिसकी उसे ज़रूरत है, क्योंकि यह शब्दों से अंदाज़ा लगाने के बजाय फ्रेम दर फ्रेम असली जॉइंट पोज़िशन पढ़ता है।
यही वह बदलाव है जो ये मॉडल्स लाते हैं। किसी डिस्क्रिप्शन से मूवमेंट जनरेट करने के बजाय, वे फुटेज से मूवमेंट कॉपी करते हैं और उसे एक अलग सब्जेक्ट पर लगाते हैं। नतीजा कोरियोग्राफ़्ड जैसा दिखता है क्योंकि है भी वही: कोरियोग्राफी पहले ही, कैमरे के सामने, आपकी फोटो के प्रोसेस में आने से पहले हो चुकी होती है। मॉडल को बस इतना हल करना होता है कि उस मूवमेंट को एक नए कैरेक्टर पर विश्वसनीय तरीके से मैप कर दे, जो शुरू से डांस गढ़ने से कहीं छोटी समस्या है।
Picasso IA इसके लिए खासतौर से बने दो मॉडल चलाता है: kwaivgi का kling-v2.6-motion-control और wan-video का wan-2.2-animate-animation, दोनों कैटलॉग के टेक्स्ट-टू-वीडियो सेक्शन में दर्जनों दूसरे वीडियो मॉडल्स के साथ मौजूद हैं। आप इनमें से किसी को भी एक रेफरेंस इमेज और एक रेफरेंस वीडियो देते हैं। मॉडल वीडियो में एक्शन, जेस्चर और पोस्चर बदलावों को पढ़ता है और उन्हें आपकी इमेज के सब्जेक्ट पर, फ्रेम दर फ्रेम, बिना किसी टाइमलाइन या रिग को छुए, फिर से बना देता है।
दोनों थोड़े अलग तरीके से बर्ताव करते हैं। Kling v2.6 Motion Control तेज़, सस्ते ड्राफ्ट के लिए Standard मोड में और शार्पर आउटपुट के लिए Professional मोड में चलता है, और यह आपकी रेफरेंस क्लिप का ओरिजिनल ऑडियो रख सकता है। यह आपको यह चुनने भी देता है कि फाइनल ओरिएंटेशन आपकी फोटो को फॉलो करे या आपके रेफरेंस वीडियो को, जिससे तय होता है कि क्लिप कितनी लंबी हो सकती है: एक तरीके से दस सेकंड तक, दूसरे से तीस तक। Wan 2.2 Animate Animation 720p या 480p पर आउटपुट देता है, 24 फ्रेम प्रति सेकंड तक चलता है, और इसमें एक एक्सपेरिमेंटल ऑडियो-मर्ज ऑप्शन भी है। एक ही जोड़ी इनपुट को दोनों में चलाकर देखना यह जानने का एक ठीक तरीका है कि कौन आपके फुटेज को बेहतर पढ़ता है।
रेफरेंस वीडियो लगभग सारा काम करता है, इसलिए आपके नतीजे की क्वालिटी प्रोसेस की किसी भी दूसरी चीज़ से ज़्यादा उस क्लिप की क्वालिटी पर निर्भर करती है। सिर से पैर तक फिल्माया गया, सादे बैकग्राउंड पर, एक सामान्य इंसानी रफ्तार से मूव करता हुआ डांसर, मॉडल को कॉपी करने के लिए एक साफ सिग्नल देता है। भीड़ का धुंधला फोन क्लिप, या तेज़ स्पिन्स और कैमरा कट्स वाली कोई रूटीन, उसे काम करने के लिए कहीं कम देती है।
| रेफरेंस वीडियो का टाइप | क्या अच्छे से ट्रांसफर होता है | किसके लिए अच्छी शुरुआत |
|---|---|---|
| सोलो कोरियोग्राफी, फ्रेम में पूरी बॉडी | फुटवर्क, आर्म स्वीप्स, टर्न्स | डांस-स्टाइल सोशल क्लिप्स और रील्स |
| सिंपल जेस्चर या अपर-बॉडी क्लिप | हेड टर्न्स, हैंड वेव्स, हल्का सा स्वे | पोर्ट्रेट या मैस्कॉट इमेज एनिमेट करना |
| छोटा लूप, तीन से दस सेकंड | एक ही साफ मूवमेंट बार बार | जल्दी टेस्ट, स्टिकर-स्टाइल लूप |
| तीस सेकंड तक की पूरी रूटीन | शुरू से अंत तक एक पूरा सीक्वेंस | फिनिश्ड, शेयर करने लायक डांस एडिट्स |
| धीमा, सोचा समझा मूवमेंट | सटीक जॉइंट ट्रैकिंग, कम गड़बड़ियाँ | नई फोटो पर पहली कोशिश |
फ्रेमिंग उतनी ही मायने रखती है जितना फुटेज खुद। दोनों मॉडल चाहते हैं कि आपकी रेफरेंस इमेज का कैरेक्टर लगभग वैसी ही ओरिएंटेशन में हो जैसी वीडियो में मौजूद व्यक्ति की है, इसलिए कंधों तक क्रॉप किया गया पोर्ट्रेट फुल-बॉडी डांस क्लिप के साथ मिलकर अक्सर मैपिंग को उलझा देता है। ऐसी फोटो से शुरू करें जो उतनी ही बॉडी दिखाए जितनी आपका रेफरेंस वीडियो दिखाता है।
नए फुटेज की तलाश में निकलने से पहले किसी ऐसी रेफरेंस क्लिप को कई कैरेक्टर फोटो पर दोबारा इस्तेमाल करें जो आपके लिए अच्छे से काम करती है। एक बार पता चल जाए कि कोई खास वीडियो साफ तरीके से ट्रांसफर होता है, तो अगले तीन सब्जेक्ट को उसी क्लिप से चलाना हर बार किसी अनजान क्लिप पर दांव लगाने से तेज़ और कहीं ज़्यादा प्रेडिक्टेबल है।
एक बार आपके दोनों इनपुट तैयार हो जाएँ, सब्जेक्ट की एक साफ फोटो और उन मूव्स का एक रेफरेंस वीडियो जो आप उससे करवाना चाहते हैं, तो यह पूरा वर्कफ़्लो एक ही बैठक में हो जाता है।
कुछ आदतें एक कन्विंसिंग डांस क्लिप को एक डगमगाई हुई क्लिप से अलग कर देती हैं, और इनमें से किसी के लिए भी टेक्निकल स्किल नहीं चाहिए, बस जनरेट करने से पहले मॉडल को क्या दिया जा रहा है इस पर ध्यान चाहिए।
यह तकनीक सचमुच काम की है और सचमुच सीमित भी, और दोनों बातें साफ साफ कहना ज़रूरी है। तेज़ स्पिन्स या फ्लोर वर्क वाली तेज़, कॉम्प्लेक्स कोरियोग्राफी किसी वॉक या वेव से ज़्यादा बार मोशन मैपिंग को उलझा देती है, और यह धुंधले अंगों या ऐसी पोज़ में दिखता है जो पल भर के लिए बॉडी की शेप खो देती है। हाथ किसी भी फिगर को सही से एनिमेट करने का सबसे मुश्किल हिस्सा बने रहते हैं, और कैमरे के पास ज़्यादा फिंगर डिटेल वाली डांस क्लिप में ही एक्स्ट्रा जॉइंट या बिगड़ी हुई पकड़ दिखने की सबसे ज़्यादा संभावना होती है। तीस-सेकंड की लिमिट के पास वाली लंबी क्लिप्स छोटी क्लिप्स से ज़्यादा भटकती हैं, और जैसे जैसे सीक्वेंस आगे बढ़ता है चेहरे की शेप में छोटी छोटी गलतियाँ जुड़ती जाती हैं। दो डांसर्स का साथ में मूव करना, एक ड्यूट या ग्रुप रूटीन, इन दोनों मॉडल्स में से किसी के भी बनाए जाने के मकसद से बाहर है, क्योंकि हर जनरेशन एक रेफरेंस परफॉर्मेंस को एक ही कैरेक्टर इमेज पर मैप करता है। ऑडियो मर्जिंग, जहाँ भी उपलब्ध है, साफ तौर पर एक्सपेरिमेंटल है: टाइमिंग करीब तो होगी, लेकिन फ्रेम-एक्यूरेट नहीं।
कुछ भी पोस्ट करने से पहले एक राइट्स से जुड़ा सवाल भी गंभीरता से लेने लायक है। मॉडल मूवमेंट कॉपी करता है, आइडेंटिटी नहीं, इसलिए यह ओरिजिनल डांसर के चेहरे या शक्ल को रीक्रिएट नहीं करता। यह उनकी खास कोरियोग्राफी ज़रूर रीक्रिएट करता है, जिसे कुछ क्रिएटर्स अपना क्रिएटिव काम मानते हैं, चाहे फाइनल क्लिप में उसे आखिर में कोई भी परफॉर्म कर रहा हो। ऐसा फुटेज इस्तेमाल करें जो आपने खुद फिल्माया हो, जिसे रेफरेंस करने की परमिशन आपके पास हो, या जो साफ तौर पर लाइसेंस्ड हो, वही स्टैंडर्ड जो आप किसी भी दूसरे क्रिएटिव सोर्स पर लगाएँगे।
ज़्यादातर फोटो काम करती हैं, लेकिन सबसे साफ नतीजे एक अच्छी रोशनी वाले सब्जेक्ट से आते हैं जो कैमरे की तरफ हो और जिसकी बॉडी का ज़रूरी हिस्सा साफ और बिना रुकावट के दिखे। बहुत ज़्यादा क्रॉप की गई, कम रोशनी वाली, या सब्जेक्ट को अजीब एंगल पर दिखाने वाली फोटो अक्सर बिगड़ा हुआ या अस्थिर मोशन देती हैं। अगर पहली कोशिश खुरदुरी लगे, तो यह मान लेने से पहले कि तकनीक उस सब्जेक्ट के लिए काम नहीं करेगी, उसी फोटो का अलग क्रॉप या मिलती जुलती फ्रेमिंग वाला रेफरेंस वीडियो आज़माएँ।
नहीं, हालांकि अगर आप कर सकें तो यह मदद करता है। कोई भी वीडियो जो उन मूव्स को साफ तौर पर दिखाता है जिन्हें आप ट्रांसफर करना चाहते हैं, रेफरेंस के तौर पर काम करता है, चाहे आपने खुद फिल्माया हो या ऐसा फुटेज लिया हो जिसे इस्तेमाल करने का हक आपके पास है। टेक्निकली सिर्फ इतना मायने रखता है कि डांसर बैकग्राउंड के सामने साफ दिखे और एक सामान्य, ट्रैक करने लायक रफ्तार से मूव कर रहा हो, न कि फुटेज मूल रूप से कहाँ से आया।
काफी हद तक हाँ, क्योंकि रेफरेंस वीडियो सिर्फ मोशन देता है और सब्जेक्ट इमेज कैरेक्टर की पूरी लुक तय करती है, जिसमें चेहरा, आउटफिट और बैकग्राउंड शामिल हैं। जब पोज़ तेज़ी से बदलती है तो फाइन डिटेल में थोड़ी नरमी की उम्मीद रखें, और लंबी क्लिप्स में ज़्यादा फ्रेम्स पर छोटी छोटी गलतियाँ जमा होने से छोटी क्लिप्स से थोड़ा ज़्यादा भटकाव की उम्मीद रखें।
यह मॉडल और आपके चुने हुए ओरिएंटेशन सेटिंग पर निर्भर करता है। Kling v2.6 Motion Control तब दस सेकंड तक जनरेट करता है जब आउटपुट आपकी फोटो की ओरिएंटेशन फॉलो करता है, और तीस सेकंड तक जब वह रेफरेंस वीडियो की ओरिएंटेशन फॉलो करता है। Wan 2.2 Animate Animation आपके दिए हुए रेफरेंस क्लिप की लंबाई फॉलो करता है। पहली टेस्ट के लिए, एक छोटी क्लिप को रिव्यू करना तेज़ और इटरेट करना लंबी क्लिप से सस्ता पड़ता है।
कोई भी साफ तौर पर नहीं जीतता, इसीलिए Picasso IA दोनों ऑफर करता है। Kling v2.6 Motion Control एक Standard और Professional क्वालिटी स्प्लिट के साथ फ्लेक्सिबल क्लिप लेंथ देता है, जबकि Wan 2.2 Animate Animation बिल्ट-इन ऑडियो-मर्ज ऑप्शन के साथ 24 फ्रेम प्रति सेकंड की स्थिर रफ्तार से चलता है। एक ही फोटो और रेफरेंस क्लिप को दोनों में चलाने में बस कुछ मिनट लगते हैं और यह देखने का सबसे तेज़ तरीका है कि कौन आपके फुटेज को बेहतर हैंडल करता है।
दोनों मॉडल एक ऑडियो ऑप्शन देते हैं। Kling v2.6 Motion Control में रेफरेंस वीडियो का ओरिजिनल साउंड रखने के लिए एक सीधा टॉगल है। Wan 2.2 Animate Animation एक ऑडियो-मर्ज सेटिंग देता है जिसे मॉडल खुद एक्सपेरिमेंटल बताता है, यानी टाइमिंग परफेक्ट न बैठे यह मुमकिन है। अगर सटीक सिंक मायने रखता है, तो मर्ज्ड ऑडियो को एक ड्राफ्ट की तरह लें और बाद में अलग से म्यूज़िक जोड़ने के लिए तैयार रहें।
नए Picasso IA अकाउंट फ्री क्रेडिट के साथ शुरू होते हैं, जो और खर्च करने से पहले एक पहला मोशन-ट्रांसफर टेस्ट चलाकर यह देखने के लिए काफी हैं कि तकनीक आपकी फोटो और रेफरेंस क्लिप के साथ अच्छे से काम करती है या नहीं। फ्री क्रेडिट के आगे, मौजूदा प्लान और उनकी लिमिट प्राइसिंग पेज पर लिस्ट हैं, जो अप-टू-डेट नंबरों के लिए चेक करने लायक इकलौती जगह है।
हाँ, और यह वर्कफ़्लो के सबसे काम के हिस्सों में से एक है। सब्जेक्ट की फोटो फिक्स रहती है जबकि रेफरेंस क्लिप बदलती रहती है, इसलिए आप एक ही कैरेक्टर इमेज को कई अलग अलग डांस वीडियो के साथ चला सकते हैं और हर बार कैरेक्टर को दोबारा जनरेट किए बिना एक ही सोर्स फोटो से अलग अलग क्लिप्स की एक छोटी लाइब्रेरी पा सकते हैं।
दो सबसे आम वजहें हैं फोटो और रेफरेंस वीडियो की फ्रेमिंग में मिसमैच, और ऐसा रेफरेंस फुटेज जो बहुत तेज़ मूव करता है या कैमरा एंगल्स के बीच इतनी तेज़ी से कट करता है कि मॉडल उसे साफ तरीके से ट्रैक नहीं कर पाता। फोटो को रेफरेंस वीडियो की फ्रेमिंग से मिलाने के लिए दोबारा क्रॉप करें, या ज़्यादा स्थिर, कंटीन्यूअस रेफरेंस क्लिप चुनें, और यह मान लेने से पहले कि सब्जेक्ट बस काम नहीं करता, दोबारा जनरेट करें।
मॉडल किसी व्यक्ति का चेहरा या आइडेंटिटी कॉपी नहीं करता, सिर्फ आपके दिए हुए फुटेज का मूवमेंट पैटर्न कॉपी करता है, इसलिए अपनी खुद की फोटो इस्तेमाल करने से कोई शक्ल-मिलान वाली दिक्कत नहीं बनती। कोरियोग्राफी खुद एक अलग सवाल है: कुछ डांसर और कोरियोग्राफर एक खास रूटीन को अपना क्रिएटिव काम मानते हैं, इसलिए ऐसा फुटेज इस्तेमाल करें जो आपने खुद फिल्माया हो, जिसे रेफरेंस करने की साफ परमिशन आपके पास हो, या जो इस तरह के इस्तेमाल के लिए साफ तौर पर लाइसेंस्ड हो, न कि कहीं से भी मिल गई कोई क्लिप।
आपकी कैमरा रोल में स्थिर पड़ी एक फोटो सिर्फ एक अपलोड की दूरी पर एक चलती हुई क्लिप बनने से दूर है। Picasso IA टूलकिट खोलें, एक रेफरेंस वीडियो चुनें, और देखें कि आपकी अपनी फोटो डांस करते हुए कैसी दिखती है।
