प्रॉम्प्ट में मूवमेंट का वर्णन करने की एक सीमा है। आप लिख सकते हैं "वह घूमती है और कैमरे की ओर इशारा करती है", और मॉडल अपना एक घुमाव, अपनी टाइमिंग और इशारे की अपनी समझ गढ़ लेगा। मोशन कंट्रोल इसे उलट देता है: आप मूवमेंट एक बार फिल्माते हैं, वह क्लिप और किसी कैरेक्टर की तस्वीर मॉडल को देते हैं, और कैरेक्टर आपकी ही टाइमिंग, वजन और हाव-भाव दोहराता है। ब्राउज़र में अपने शरीर से कठपुतली चलाने के सबसे करीब का अनुभव यही है।
टेक्स्ट प्रॉम्प्ट यह बताने में अच्छे हैं कि दृश्य कैसा दिखता है, और यह बताने में कमज़ोर कि कोई चीज़ कैसे हिलती है। लय, कदम से पहले की झिझक, हँसी में कंधे का गिरना: इन्हें शब्दों में कहना मुश्किल है और करके दिखाना आसान। रेफरेंस वीडियो यह सब एक साथ ले जाता है, इसलिए आप प्रॉम्प्ट से मोलभाव करना छोड़कर अपने शरीर से निर्देशन करने लगते हैं।
यह कंसिस्टेंसी की समस्या भी सुलझाता है। कैरेक्टर एक तय इमेज से आता है और मूवमेंट एक तय क्लिप से, इसलिए आप वही परफॉर्मेंस पाँच अलग कैरेक्टर पर, या एक ही कैरेक्टर के पाँच अलग टेक पर दोहरा सकते हैं, और सिर्फ वही बदलते हैं जो बदलना चाहते थे। यह मैस्कॉट, गेम कैरेक्टर, इलस्ट्रेटेड अवतार और किसी भी ऐसे चेहरे के लिए काम का है जिसे आप कई क्लिप में पहचानने लायक रखना चाहते हैं।
ये टूल Picasso IA के टूलकिट में हैं, बाकी 121 टेक्स्ट-टू-वीडियो मॉडल और 502 मॉडल के बाकी कैटलॉग के बगल में, इसलिए कैरेक्टर इमेज उसी जगह किसी इमेज मॉडल से बन सकती है। नए अकाउंट को मुफ्त क्रेडिट मिलते हैं, ताकि आप तय करने से पहले पहला ट्रांसफर आज़मा सकें कि वह आपके प्रोजेक्ट में बैठता है या नहीं।
Picasso IA पर चार मॉडल कैरेक्टर इमेज और रेफरेंस वीडियो लेकर ऐसा क्लिप लौटाते हैं जिसमें कैरेक्टर फुटेज की तरह हिलता है। इनमें फर्क यह है कि आप क्या नियंत्रित कर सकते हैं, इसलिए चुनाव काम के हिसाब से करें, वर्शन नंबर के हिसाब से नहीं।
एक व्यावहारिक क्रम: पहले स्टैंडर्ड या 720 रन से जाँचें कि मूवमेंट ठीक पहुँचा या नहीं, फिर अच्छे वाले को ऊँची सेटिंग पर दोहराएँ। हर रन की लागत मॉडल और चुनी गई सेटिंग पर निर्भर करती है, और मौजूदा आँकड़े पढ़ने की एकमात्र जगह प्राइसिंग पेज है।
रेफरेंस क्लिप मॉडल से ज़्यादा नतीजा तय करता है। परफॉर्मर का साफ़ पूरा दृश्य, स्थिर कैमरा, सादा बैकग्राउंड और फ्रेम में एक ही व्यक्ति, मॉडल को गलत समझने के लिए सबसे कम सामग्री देते हैं। कैरेक्टर इमेज पर भी यही लागू होता है: शरीर दिखना चाहिए, और हाथ-पैर इतने अलग हों कि मॉडल समझ सके कि हर अंग कहाँ से शुरू होता है।
सिर्फ़ वही फुटेज इस्तेमाल करें जो आपने खुद शूट किया हो या जिसे इस्तेमाल करने का आपको अधिकार हो, और सिर्फ़ अपने बनाए या काल्पनिक कैरेक्टर। मॉडल मूवमेंट कॉपी करता है, लेकिन किसी असली, पहचाने जा सकने वाले व्यक्ति की सूरत को उसकी सहमति के बिना क्लिप में डालना ऐसी रेखा है जिसे यह पेज पार नहीं करता, और जिन प्लेटफ़ॉर्म पर आप पोस्ट करते हैं उनके अपने नियम हैं, इसलिए पोस्ट करने से पहले हर एक की मौजूदा ज़रूरतें देख लें।
रेफरेंस को लॉक्ड-ऑफ शॉट की तरह फिल्माएँ: फोन किताबों के ढेर पर, परफॉर्मर बीच में, पूरा शरीर फ्रेम में, और पहला फ्रेम कैरेक्टर इमेज जैसी पोज़ के आसपास। शुरुआती पोज़ मिलती-जुलती हो तो पहले सेकंड की ज़्यादातर अजीब बनावटी बिगड़न हट जाती है।
अगर आपके पास अभी कैरेक्टर नहीं है, तो पहले उसे बनाएँ। टूलकिट के इमेज मॉडल सादे बैकग्राउंड पर साफ़ फुल-बॉडी फिगर बना देते हैं, और कंसिस्टेंट AI कैरेक्टर वाला पेज बताता है कि एनिमेट करने से पहले कई इमेज में एक ही फिगर कैसे बनाए रखें।
यह फोन के क्लिप और एक आइडिया से तैयार ट्रांसफर तक का तरीका है। जिस रन को आप रखेंगे उससे पहले कुछ टेस्ट रन का हिसाब रखें।
- रेफरेंस फिल्माएँ। मूवमेंट के पाँच से दस सेकंड रिकॉर्ड करें, पूरा शरीर, स्थिर कैमरा, अच्छी रोशनी, एक परफॉर्मर। छोटा रखें, क्योंकि हर अतिरिक्त सेकंड एक और जगह है जहाँ मॉडल भटक सकता है।
- कैरेक्टर तैयार करें। अपने या काल्पनिक कैरेक्टर की साफ़ इमेज लें, सामने से या तीन-चौथाई एंगल से, पूरा शरीर दिखता हुआ। ज़रूरत हो तो टूलकिट के किसी इमेज मॉडल से बनाएँ।
- मोशन कंट्रोल मॉडल खोलें। टूलकिट में kwaivgi/kling-v3-motion-control चुनें, या सीड और कम रेज़ोल्यूशन का ड्राफ्ट चाहिए तो wan-video/wan-2.2-animate-animation, फिर इमेज और वीडियो जोड़ें।
- ओरिएंटेशन और क्वालिटी तय करें। Kling मॉडल पर इमेज ओरिएंटेशन चुनें ताकि कैरेक्टर उसी ओर देखे जिस ओर फोटो में देखता है, या वीडियो ओरिएंटेशन चुनें जो परफॉर्मर को फॉलो करे और लंबे क्लिप दे। स्टैंडर्ड मोड से शुरू करें।
- देखें, सुधारें, दोहराएँ। आपस में मिलते अंग, धुंधले हाथ और फिसलते पैर देखें। पहले फुटेज या इमेज सुधारें, फिर अच्छे रन को ऊँची सेटिंग पर दोहराएँ।
ज़्यादातर खराब नतीजे इनपुट से आते हैं, मॉडल से नहीं। पहली गलती बेमेल शुरुआती पोज़ है: कैरेक्टर हाथ नीचे करके खड़ा है और परफॉर्मर कूद से शुरू करता है, तो पहला सेकंड मॉडल की दोनों को मिलाने की कोशिश बन जाता है। दूसरी भीड़-भरा रेफरेंस है, जिसमें बैकग्राउंड में दूसरे लोग, शीशे या चलता कैमरा हो, जिससे मॉडल के पास फॉलो करने के लिए एक से ज़्यादा मूवमेंट हो जाते हैं।
तीसरी फ्रेमिंग है। जो रेफरेंस पैर काट दे, या जो कैरेक्टर इमेज छाती पर खत्म हो जाए, वह मॉडल को गायब आधा हिस्सा गढ़ने पर मजबूर करती है, और गढ़े हुए हिस्से शायद ही मेल खाते हैं। चौथी लंबाई है। Kling मॉडल में वीडियो ओरिएंटेशन पर तीस सेकंड का क्लिप संभव है, लेकिन छोटा, साफ़ टेक जिसे आप दोहराएँ, उस लंबे टेक से परखना आसान है जिससे आप उम्मीद करते हैं कि वह टिक जाएगा।
आखिरी गलती यह उम्मीद है कि प्रॉम्प्ट मूवमेंट ढोएगा। इन मॉडल में प्रॉम्प्ट कैरेक्टर के आसपास के दृश्य के लिए है, जैसे जोड़ा गया प्रॉप या रोशनी का नोट, जबकि मूवमेंट फुटेज से आता है। अगर मूवमेंट गलत है, तो फुटेज बदलें, वाक्य नहीं।
मोशन ट्रांसफर तब मज़बूत है जब एक शरीर मध्यम रफ्तार से पढ़ने लायक हरकतें कर रहा हो। यह कुछ खास हालात में डगमगाता है, और उन्हें जानना क्रेडिट बचाता है।
- ओक्लूज़न: जब परफॉर्मर का हाथ शरीर के आर-पार जाता है या कोई हाथ सिर के पीछे से गुज़रता है, तो मॉडल को छिपे हिस्से का अंदाज़ा लगाना पड़ता है, और कैरेक्टर अक्सर कुछ फ्रेम के लिए एक अंग ज़्यादा पा लेता है या एक खो देता है।
- तेज़ हाथ: उँगलियों की तेज़ हरकत, चुटकी, तेज़ हाथ हिलाना या जल्दी-जल्दी इशारे करना धब्बों में बदल जाता है, इसलिए परफॉर्मेंस धीमी करें या थोड़ा नरम नतीजा स्वीकार करें।
- अनुपात का फर्क: लंबे पैरों वाला परफॉर्मर किसी छोटे, गोल मैस्कॉट को चलाए तो अंगों के पास जाने की जगह नहीं बचती, इसलिए कैरेक्टर की बनावट के करीब का रेफरेंस चुनें या इंसानी अनुपात वाला कैरेक्टर।
- कैमरा मूवमेंट: पैन, ज़ूम या हाथ के कंपन वाला फुटेज कैमरा की गति को शरीर की गति में मिला देता है, इसलिए कैमरा लॉक करें और मूवमेंट बाद में एडिटर में जोड़ें।
- भीड़-भरे फ्रेम: दो परफॉर्मर या शीशे के पास खड़ा व्यक्ति मॉडल को उलझा देते हैं कि कौन सा शरीर फॉलो करना है, इसलिए हर टेक में एक ही सब्जेक्ट रखें।
इनमें से कोई भी बंद गली नहीं है, और हर एक का हल फुटेज में है। लेकिन ट्रांसफर उतना ही अच्छा होता है जितना मॉडल देख सके, इसलिए जब नतीजा गलत लगे तो पहले अपना रेफरेंस क्लिप देखें।
AI मोशन कंट्रोल वीडियो क्या है?
यह ऐसा क्लिप है जिसमें कैरेक्टर की इमेज किसी अलग रेफरेंस वीडियो का मूवमेंट दोहराती है। आप कैरेक्टर की तस्वीर और किसी के हिलने का छोटा क्लिप देते हैं, और मॉडल क्लिप की टाइमिंग, पोस्चर और हाव-भाव इमेज पर ले जाता है। कैरेक्टर आपकी इमेज जैसा दिखता है, मूवमेंट आपके फुटेज से आता है।
Picasso IA पर कौन से मॉडल मोशन कंट्रोल करते हैं?
इस काम के लिए कैटलॉग में चार हैं: kwaivgi/kling-v3-motion-control, kwaivgi/kling-v2.6-motion-control, wan-video/wan-2.2-animate-animation और prunaai/p-video-animate। सभी कैरेक्टर इमेज और रेफरेंस वीडियो लेते हैं। इनमें रेज़ोल्यूशन विकल्प, क्लिप की लंबाई, ऑडियो संभालने का तरीका और सीड या टर्बो मोड जैसे अतिरिक्त कंट्रोल अलग हैं, इसलिए अपना फुटेज दो पर आज़माएँ।
क्या रेफरेंस वीडियो मुझे खुद शूट करना होगा?
आपको ऐसा फुटेज चाहिए जिसे इस्तेमाल करने का आपको अधिकार हो। खुद को, या ऐसे किसी को जिसने सहमति दी हो, फिल्माना सबसे साफ़ रास्ता है, क्योंकि फ्रेमिंग, रफ्तार और शुरुआती पोज़ आपके हाथ में रहते हैं। किसी असली व्यक्ति के क्लिप उसकी सहमति के बिना इस्तेमाल न करें, और किसी और के चैनल का वीडियो तब तक न लें जब तक उसका लाइसेंस दोबारा इस्तेमाल की अनुमति न दे।
क्लिप कितना लंबा हो सकता है?
यह मॉडल और सेटिंग पर निर्भर करता है। Kling मोशन कंट्रोल मॉडल में इमेज ओरिएंटेशन आउटपुट को 10 सेकंड पर रोकता है, जबकि वीडियो ओरिएंटेशन 30 सेकंड तक के रेफरेंस क्लिप लेता है। बाकी मॉडल के लिए मौजूदा सीमाएँ टूलकिट में मॉडल पेज पर देखें। व्यवहार में छोटे टेक सही करना और दोहराना आसान होता है।
क्या मैं किसी असली व्यक्ति की फोटो एनिमेट कर सकता हूँ?
तभी जब वह व्यक्ति आप खुद हों या जिसने साफ़ अनुमति दी हो। मोशन कंट्रोल क्लिप किसी असली चेहरे को दर्शकों के सामने रख सकता है, और इससे लोग गुमराह हो सकते हैं या किसी को नुकसान पहुँच सकता है। काल्पनिक कैरेक्टर, इलस्ट्रेटेड मैस्कॉट और आपकी अपनी इमेज सुरक्षित डिफ़ॉल्ट हैं, और जिस प्लेटफ़ॉर्म पर आप पोस्ट करते हैं उसके अपने नियम देखने होंगे।
क्या मूल आवाज़ साथ आती है?
कुछ मॉडल उसे रख सकते हैं। Kling मोशन कंट्रोल मॉडल में मूल आवाज़ रखने का विकल्प है, Wan 2.2 Animate में ऑडियो मर्ज की प्रायोगिक सेटिंग है जो ठीक से सिंक न भी हो, और P Video Animate डिफ़ॉल्ट रूप से सोर्स का ऑडियो वीडियो के साथ ले जाता है। अगर आवाज़ मायने रखती है, तो पब्लिश करने से पहले नतीजा सुनें या बाद में अलग ट्रैक जोड़ें।
हाथ गलत क्यों दिखते हैं?
यहाँ के हर मॉडल के लिए हाथ सबसे मुश्किल हिस्सा हैं। उँगलियों की तेज़ हरकत, क्रॉस की हुई बाँहें और चेहरे के सामने हाथ वह जानकारी छिपा या धुंधली कर देते हैं जो मॉडल को चाहिए। परफॉर्मेंस धीमी करें, हाथों को सादे बैकग्राउंड पर साफ़ दिखाएँ और टेक दोहराएँ। कुछ खामियाँ रह जाएँगी, इसलिए क्लिप इस्तेमाल करने से पहले आखिरी फ्रेम देख लें।
क्या कैरेक्टर कोई जानवर या कार्टून हो सकता है?
यह बनाया हुआ कैरेक्टर, मैस्कॉट या स्टाइलाइज़्ड फिगर हो सकता है, बशर्ते शरीर पढ़ने लायक हो और उसमें ऐसे अंग हों जिन पर मूवमेंट मैप हो सके। इंसानी आकार वाले कैरेक्टर सबसे अच्छे ट्रांसफर होते हैं। जिन कैरेक्टर का अनुपात परफॉर्मर से बहुत अलग हो, जैसे छोटा गोल मैस्कॉट या चार पैरों वाला जानवर, उनमें अक्सर खिंचे या मिले हुए अंग आते हैं।
क्या यह सादे इमेज-टू-वीडियो से बेहतर है?
ये अलग समस्याएँ सुलझाते हैं। सादा इमेज-टू-वीडियो मॉडल को आपके प्रॉम्प्ट से मूवमेंट गढ़ने देता है, जो तब तेज़ है जब सटीक टाइमिंग की परवाह न हो। मोशन कंट्रोल तब है जब मूवमेंट खुद मायने रखता हो: कोई खास इशारा, डांस स्टेप या ऐसा परफॉर्मेंस जिसे आप कई कैरेक्टर पर दोहराना चाहें। फोटो को वीडियो में बदलने वाला हमारा पेज प्रॉम्प्ट वाला रास्ता बताता है।
इसकी लागत कितनी है?
जनरेट करने में क्रेडिट लगते हैं, और मात्रा मॉडल, रेज़ोल्यूशन और क्लिप की लंबाई पर निर्भर करती है। स्टैंडर्ड और कम रेज़ोल्यूशन की सेटिंग ट्रांसफर आज़माने का सबसे सस्ता तरीका हैं। नए अकाउंट को मुफ्त क्रेडिट मिलते हैं, और प्लान की मौजूदा जानकारी प्राइसिंग पेज पर है, इसलिए प्रतिबद्ध होने से पहले आप देख सकते हैं कि कुछ टेस्ट रन में कितना लगेगा।
एक कैरेक्टर और एक छोटा क्लिप चुनें, और आज ही Picasso IA टूलकिट में अपना पहला ट्रांसफर आज़माएँ।