एक क्लिप अपलोड करें और वह एनीमे लुक बताएं जो आप चाहते हैं, सेल-शेडेड, हाथ से बना, पेंटिंग जैसा या इनके बीच का कोई मिश्रण। AI हर फ्रेम को फिर से बनाता है जबकि असली मूवमेंट, टाइमिंग और कैमरा वर्क बिल्कुल वहीं रहते हैं जहां आपने उन्हें फिल्माया था।
एक मिनट की फुटेज को हाथ से बने लुक में रोटोस्कोप करने में एनिमेशन टीम को पहले पूरा एक हफ्ता लगता था, फ्रेम दर फ्रेम, उस मूवमेंट को ट्रेस करते हुए जिसे कैमरा पहले ही मुफ्त में कैप्चर कर चुका था। AI वीडियो रीस्टाइलिंग उस हफ्ते को एक ऐसे रेंडर में समेट देती है जिसे आप शुरू करते हैं और बाद में देखते हैं। आप क्लिप अपलोड करते हैं, वह एनीमे लुक बताते हैं जो आप चाहते हैं, और मॉडल हर फ्रेम को फिर से बनाता है जबकि परफॉर्मेंस, कैमरा मूवमेंट और टाइमिंग बिल्कुल वहीं रहते हैं जहां आपने शूट किया था।
लाइव-एक्शन फुटेज में पहले से ही एनिमेशन का सबसे मुश्किल हिस्सा मौजूद होता है: विश्वसनीय मूवमेंट। चलने का साइकिल, कप की ओर बढ़ता हाथ, बालों में लहराती हवा, यह सब भौतिक रूप से सही है क्योंकि इसे किसी एनिमेटर ने अंदाज़ा लगाकर नहीं बल्कि कैमरे ने रिकॉर्ड किया है। रीस्टाइलिंग उस मूवमेंट को बनाए रखती है और सिर्फ यह बदलती है कि हर फ्रेम कैसे रेंडर होता है, जो किसी मॉडल के लिए टेक्स्ट प्रॉम्प्ट से नई मूवमेंट जनरेट करने से कहीं आसान समस्या है।
यही वजह है कि नतीजे ज़्यादातर टेक्स्ट-टू-वीडियो जनरेशन से ज़्यादा सुसंगत दिखते हैं। मॉडल एक पहले से मौजूद सीन को फ्रेम दर फ्रेम फिर से रंगता है, इसलिए एक चेहरा अपने अनुपात बनाए रखता है और एक हाथ अपनी पांच उंगलियां बनाए रखता है क्योंकि सोर्स वीडियो पहले ही इन बातों को तय कर चुका होता है। Picasso IA इस तरह की रीस्टाइलिंग को अपने वीडियो-एडिटिंग कैटेगरी में, पूरे मॉडल कैटलॉग के भीतर चलाता है, इसलिए एक होम वीडियो, डांस क्लिप या छोटा इंटरव्यू बिना किसी एनिमेशन टाइमलाइन को छुए फिल्माए हुए से बने हुए में बदल सकता है।
यहां ज़्यादातर क्रिएटिव काम प्रॉम्प्ट ही करता है, इसलिए यह स्पष्ट करना फायदेमंद है कि आपकी क्लिप के लिए एनीमे का मतलब क्या है। फ्लैट कलर ब्लॉक्स वाला सेल शेडिंग एक सॉफ्ट पेंट जैसी वॉश से बिल्कुल अलग दिखता है, और मॉडल उन शब्दों पर उसी तरह प्रतिक्रिया देता है जैसे किसी स्टिल इमेज के लिए करता है: सब्जेक्ट, प्लस स्टाइल, प्लस कुछ ठोस शर्तें।
| एनीमे लुक | प्रॉम्प्ट शब्द जो इसे दिशा देते हैं | किसके लिए सबसे अच्छा |
|---|---|---|
| सेल-शेडेड शोनेन | बोल्ड काली आउटलाइन, फ्लैट सेल शेडिंग, गहरे रंग | एक्शन क्लिप, स्पोर्ट्स, डांस |
| स्टूडियो-स्टाइल पेंटिंग जैसा | सॉफ्ट ब्रश टेक्सचर, हल्के रंग, हाथ से पेंट किया बैकग्राउंड | धीमे सीन, चलना, संवाद |
| 90 के दशक का रेट्रो एनीमे | ग्रेन, हल्का डिसैचुरेटेड रंग, हल्की कांपती लाइन | नॉस्टैल्जिक एडिट, म्यूज़िक वीडियो |
| पेस्टल स्लाइस-ऑफ-लाइफ | सॉफ्ट पेस्टल टोन, गोल आकार, हल्की रोशनी | रोज़मर्रा के पल, व्लॉग |
| पेंसिल स्केच एनीमे | मोनोक्रोम पेंसिल लाइनें, शेडिंग के लिए क्रॉस-हैचिंग | ट्रांसफॉर्मेशन रिवील, इंट्रो |
दो आदतें एक असरदार रीस्टाइल और एक धुंधले रीस्टाइल के बीच फर्क बनाती हैं। पहली, लाइन क्वालिटी को उतनी ही साफ तरह बताएं जितना रंग को, क्योंकि बोल्ड आउटलाइन बनाम सॉफ्ट लाइनवर्क किसी भी रंग वाले शब्द से ज़्यादा पूरी क्लिप की रीडिंग बदल देता है। दूसरी, सब्जेक्ट वाले वाक्य और स्टाइल वाले वाक्य को अलग रखें, ताकि मॉडल आपके कपड़ों को रेंडर तकनीक के साथ न मिला दे। इफेक्ट्स लाइब्रेरी को देखना पहले से आज़माई गई स्टाइल भाषा उधार लेने का तेज़ तरीका है।
यह वॉकथ्रू एक छोटी क्लिप और उस लुक के बारे में स्पष्ट सोच मानकर चलता है जिसे आप ढूंढ रहे हैं। उम्मीद रखें कि स्टाइल बिल्कुल सही बैठने से पहले आपको इसे एक से ज़्यादा बार चलाना पड़ेगा।
टिप: पूरी तरह से फिर से कल्पना किए गए लुक की ओर बढ़ने से पहले हर नई क्लिप को सबसे हल्की रीस्टाइल सेटिंग पर शुरू करें। एक हल्का पहला पास दिखा देता है कि मॉडल चेहरे, हाथ और कैमरा मूवमेंट को सही तरह पढ़ रहा है या नहीं, और इस चरण पर ट्रैकिंग की समस्या पकड़ना भारी रेंडर के बाद पकड़ने से कहीं सस्ता पड़ता है।
ये वे आदतें हैं जो एक साफ एनीमे रीस्टाइल को झिलमिलाते और आधे-पिघले नतीजे से अलग करती हैं, यह देखकर कि ये मॉडल असल में फ्रेम दर फ्रेम कैसा व्यवहार करते हैं।
म्यूज़िशियन और एडिटर परफॉर्मेंस फुटेज पर वीडियो रीस्टाइलिंग का इस्तेमाल सबसे ज़्यादा करते हैं, एक लाइव टेक को एनिमेशन का एक भी नया फ्रेम कोरियोग्राफ किए बिना एनीमे म्यूज़िक वीडियो में बदल देते हैं। ओरिजिनल परफॉर्मेंस जस की तस रहती है, सिर्फ सतह बदलती है, जो एक ऐसी डील है जो कोई एनिमेशन स्टूडियो किसी क्रिएटर की टाइमलाइन या बजट में नहीं दे सकता।
शॉर्ट-फॉर्म क्रिएटर्स इसे एक अलग वजह से इस्तेमाल करते हैं: एक अलग विज़ुअल हुक जो स्क्रॉल रोक दे। एक टॉकिंग-हेड क्लिप जिसे बोल्ड सेल-शेडेड लुक में रीस्टाइल किया गया हो, वह फिल्टर की जगह जानबूझकर बनाया और स्टाइल किया हुआ लगता है, खासकर जब उसी प्रॉम्प्ट को पूरी सीरीज़ में दोबारा इस्तेमाल किया जाए। कंसिस्टेंट AI कैरेक्टर्स के लिए इस्तेमाल होने वाला वही रेफरेंस-लॉकिंग तरीका यहां भी काम आता है, क्योंकि एक सेव किया गया स्टाइल रेफरेंस अलग-अलग अपलोड्स को एक ही शो जैसा दिखाता है।
जो स्टूडियो डेडिकेटेड वीडियो मॉडल और कैटलॉग अप्रोच के बीच तौल रहे हैं, उनके लिए Picasso IA बनाम Runway तुलना एक काम की पढ़ाई है, क्योंकि Runway के अपने Aleph मॉडल Picasso IA के भीतर Luma और Decart के साथ एक विकल्प हैं, अकेला नहीं। जो रीस्टाइल किया गया क्लिप बारीक डिटेल में अब भी धुंधला दिखे, वह एक्सपोर्ट से पहले वीडियो अपस्केलिंग से गुज़रने के लिए एक सामान्य हैंडऑफ पॉइंट भी है।
एक ईमानदार पेज सिर्फ जीत नहीं, फेलियर के तरीके भी बताता है। एनीमे वीडियो रीस्टाइलिंग के लिए, पांच बातें सामने आती हैं:
इनमें से कुछ भी इस टूल को महज़ एक नयापन नहीं बनाता। इसका मतलब है कि असली इस्तेमाल छोटी, अच्छी तरह रोशन और काफी हद तक स्थिर फुटेज है, जिसे टुकड़ों में रीस्टाइल किया जाता है, न कि एक क्लिक में जनरेट हुई पूरी फीचर-लेंथ शॉर्ट फिल्म।
हां, और यही टेक्स्ट प्रॉम्प्ट से वीडियो जनरेट करने की तुलना में रीस्टाइलिंग मॉडल का खास फायदा है। मॉडल नई मूवमेंट बनाने के बजाय आपकी मौजूदा फुटेज के हर फ्रेम को फिर से रंगता है, इसलिए आपने जो परफॉर्मेंस, टाइमिंग और कैमरा मूवमेंट फिल्माई थी, वह एनीमे वर्जन में भी आ जाती है। जो बदलता है वह रेंडरिंग स्टाइल है, कोरियोग्राफी नहीं, इसीलिए एक डांस क्लिप या चलने वाला शॉट असरदार तरीके से रीस्टाइल हो जाता है।
वीडियो-एडिटिंग कैटेगरी के तीन मॉडल सीधे यह काम करते हैं: luma/modify-video, जो हल्के रंग बदलावों से लेकर पूरी तरह फिर से कल्पना किए गए लुक तक एडजस्टेबल एडहेरेंस देता है; runwayml/gen4-aleph, जो ऑप्शनल रेफरेंस इमेज के साथ तेज़ सिंगल-पास रीस्टाइलिंग के लिए बना है; और decart/lucy-edit-2, जो स्टाइल ट्रांसफर के लिए एक टेक्स्ट प्रॉम्प्ट और ऑप्शनल रेफरेंस इमेज को एक साथ पढ़ता है। तीनों एक छोटा वीडियो अपलोड और आपके चाहे गए एनीमे लुक का सादा टेक्स्ट विवरण स्वीकार करते हैं।
छोटी। ये मॉडल मिनटों के बजाय सेकंडों में मापी गई क्लिप के लिए बनाए गए हैं, आमतौर पर मॉडल के हिसाब से इनपुट को पांच से तीस सेकंड तक सीमित रखते हैं। पूरे सीन को अलग-अलग शॉट्स में काटना पड़ता है, हर एक को एक-एक करके रीस्टाइल करना पड़ता है, और फिर बाद में एक सामान्य वीडियो एडिटर में दोबारा जोड़ना पड़ता है। शुरुआत से ही इसकी योजना बनाना काफी बर्बाद हुए रेंडर बचाता है।
ज़्यादातर, एक नज़दीकी एडहेरेंस सेटिंग पर। क्योंकि मॉडल नया फ्रेम जनरेट करने के बजाय एक मौजूदा फ्रेम को फिर से रंगता है, चेहरे की बनावट और अनुपात हल्की सेटिंग्स पर पहचानने लायक बने रहते हैं। पूरी तरह फिर से कल्पना किए गए स्टाइल की ओर बढ़ने पर उस पहचान का कुछ हिस्सा एक ज़्यादा अलग विज़ुअल पहचान के बदले चला जाता है, इसलिए सही सेटिंग इस बात पर निर्भर करती है कि सब्जेक्ट का पहचाने जाने लायक बने रहना ज़रूरी है या नहीं।
हां, मॉडल विज़ुअल फ्रेम्स को रीस्टाइल करते हैं और ओरिजिनल ऑडियो ट्रैक को बिना छुए आगे बढ़ने देते हैं, इसलिए आपकी सोर्स क्लिप का संवाद, संगीत और साउंड इफेक्ट्स रिकॉर्ड किए गए जैसे ही आते हैं। ऑडियो को भी बदलना एक अलग कदम है, जिसमें फिनिश हुए रीस्टाइल पर एक डेडिकेटेड ऑडियो या साउंड-इफेक्ट मॉडल का इस्तेमाल होता है।
झिलमिलाहट आमतौर पर मॉडल की जगह सोर्स फुटेज से आती है। तेज़ मूवमेंट, हाथ से हिलती कैमरा फुटेज, और तेज़ कट, ये सब उतनी विज़ुअल निरंतरता को कम कर देते हैं जिस पर मॉडल लगातार फ्रेम्स को टिका सके, और वह गैप असंगत रंग या लाइन मोटाई की तरह दिखती है। ज़्यादा स्थिर फुटेज, एक नज़दीकी एडहेरेंस सेटिंग, और छोटे अलग-अलग शॉट्स, ये सब इसे काफी हद तक कम कर देते हैं।
सीधे तौर पर नहीं, क्योंकि ये रीस्टाइलिंग मॉडल एक सब्जेक्ट को अलग करने के बजाय पूरे फ्रेम को एक साथ फिर से बनाते हैं। व्यावहारिक तरीका कंपोज़िटिंग है: पूरी क्लिप को रीस्टाइल करें, फिर किसी एक वर्ज़न पर बैकग्राउंड रिमूवल या मास्किंग पास इस्तेमाल करें और अगर आपको वाकई एक एलिमेंट को अनछुआ छोड़ना है तो दोनों लेयर को एक वीडियो एडिटर में जोड़ें। ज़्यादातर क्रिएटिव इस्तेमाल के लिए, पूरा फ्रेम रीस्टाइल करना वैसे भी ज़्यादा सुसंगत नतीजा देता है।
एडहेरेंस यह तय करती है कि मॉडल आपकी फुटेज के साथ कितनी क्रिएटिव आज़ादी लेता है। एक नज़दीकी सेटिंग ओरिजिनल कंपोज़िशन को लगभग हूबहू बनाए रखते हुए कलर ग्रेडिंग और हल्के टेक्सचर बदलाव रखती है, जो हल्के स्टाइलाइज़ेशन के लिए काम की है। एक ढीली सेटिंग सब्जेक्ट को पहचानने लायक बनाए रखते हुए साफ तौर पर अलग विज़ुअल स्टाइल देती है, और सबसे क्रिएटिव सेटिंग आपकी क्लिप को एक ढीले रेफरेंस की तरह देखती है, जो ब्रांड-सेफ कंटेंट से ज़्यादा नाटकीय पुनर्व्याख्याओं के लिए उपयुक्त है।
वीडियो जनरेशन की कीमत क्रेडिट में लगाई जाती है, और रीस्टाइलिंग एक स्टिल इमेज से ज़्यादा प्रति सेकंड लागत लेती है क्योंकि यह एक की जगह कई फ्रेम्स प्रोसेस करती है, और सटीक रकम मॉडल और क्लिप की लंबाई पर निर्भर करती है। नए अकाउंट फ्री क्रेडिट से शुरू होते हैं, जो एक छोटी क्लिप टेस्ट करने और कुछ मॉडल तुलना करने के लिए काफी हैं। मौजूदा प्लान और क्रेडिट अलॉकेशन प्राइसिंग पेज पर सूचीबद्ध हैं, जो समय के साथ बदलने वाली संख्याओं के लिए भरोसा करने लायक इकलौती जगह है।
नहीं, रीस्टाइलिंग पूरी तरह ब्राउज़र में चलती है: एक क्लिप अपलोड करें, एक प्रॉम्प्ट लिखें, नतीजा डाउनलोड करें। एक एडिटर फिर भी कई रीस्टाइल किए गए शॉट्स को एक सीन में जोड़ने, ऐसे टाइटल या कैप्शन जोड़ने जिन्हें मॉडल बचा नहीं सका, और एक आखिरी कलर पास के लिए मदद करता है। अगर कोई रेंडर ऐसे आर्टिफैक्ट के साथ आए जिसे आप समझा नहीं पाते, तो सपोर्ट उस खास काम को देख सकने वाले किसी इंसान तक पहुंचने का सीधा रास्ता है।
एक छोटी क्लिप और एक साफ स्टाइल वाक्य ही काफी है अपनी फुटेज को दोबारा रंगा हुआ देखने के लिए। Toolkit खोलें और पहले से फिल्माई हुई किसी चीज़ के तीस सेकंड पर एक लो-इंटेंसिटी पास चलाएं।
