Envie uma foto e um vídeo de dança de referência, e a Picasso IA transfere os movimentos do vídeo para a pessoa ou personagem da sua imagem. Sem rigging, sem software de coreografia, só uma imagem, um clipe e alguns minutos de renderização.
Todo mundo tem uma foto que gostaria de ver se mexer. Um retrato, o desenho de um mascote, um personagem de produto parado em fundo branco. Os modelos de transferência de movimento fecham essa lacuna sem um único quadro de animação manual: você entrega uma imagem parada e um vídeo de referência de alguém dançando, e eles geram um clipe onde o seu personagem executa os mesmos movimentos, no mesmo ritmo. Esta página mostra como isso funciona na Picasso IA, como escolher entradas que gerem movimento limpo e onde a técnica ainda deixa a desejar.
Dança é uma das coisas mais difíceis de descrever em um prompt de texto e uma das mais fáceis de entregar como referência. Uma frase como hip hop energético com footwork rápido quase não diz nada útil a um modelo de texto para vídeo sobre timing, peso ou ritmo. Um clipe de dez segundos de um dançarino de verdade diz a um modelo de transferência de movimento tudo o que ele precisa, porque ele lê posições de articulação reais quadro a quadro em vez de adivinhar a partir de palavras.
Essa é a mudança que esses modelos fazem. Em vez de gerar movimento a partir de uma descrição, eles copiam movimento de uma filmagem e aplicam a um sujeito diferente. O resultado parece coreografado porque é: a coreografia já aconteceu, diante de uma câmera, antes de a sua foto entrar no processo. Tudo o que o modelo precisa resolver é mapear esse movimento sobre um novo personagem de forma convincente, um problema mais restrito do que inventar uma dança do zero.
A Picasso IA roda dois modelos criados especificamente para isso: kling-v2.6-motion-control da kwaivgi e wan-2.2-animate-animation da wan-video, ambos dentro da categoria de texto para vídeo do catálogo, junto com dezenas de outros modelos de vídeo. Você entrega a qualquer um dos dois uma imagem de referência e um vídeo de referência. O modelo lê as ações, gestos e mudanças de postura do vídeo e as reproduz sobre o sujeito da sua imagem, quadro a quadro, sem você tocar em uma linha do tempo ou em um rig.
Os dois se comportam de um jeito um pouco diferente. O Kling v2.6 Motion Control roda em modo Standard para rascunhos rápidos e baratos e em modo Professional para uma saída mais nítida, e ele consegue manter o áudio original do seu clipe de referência. Também deixa você escolher se a orientação final segue a sua foto ou o seu vídeo de referência, o que define quanto tempo o clipe pode durar: até dez segundos de um jeito, até trinta do outro. O Wan 2.2 Animate Animation entrega saída em 720p ou 480p, roda a até 24 quadros por segundo, e inclui uma opção experimental de mesclagem de áudio. Rodar o mesmo par de entradas nos dois é uma forma razoável de ver qual interpreta melhor a sua filmagem.
O vídeo de referência faz quase todo o trabalho, então a qualidade do seu resultado acompanha a qualidade desse clipe mais do que qualquer outra coisa no processo. Um dançarino filmado dos pés à cabeça, contra um fundo liso, se movendo em um ritmo humano normal, dá ao modelo um sinal limpo para copiar. Um clipe de celular tremido de uma multidão, ou uma coreografia com giros rápidos e cortes de câmera, dá bem menos com o que trabalhar.
| Tipo de vídeo de referência | O que transfere bem | Bom ponto de partida para |
|---|---|---|
| Coreografia solo, corpo inteiro no quadro | Footwork, movimentos de braço, giros | Clipes de dança estilo redes sociais |
| Clipe simples de gesto ou meio corpo | Giros de cabeça, acenos, balanço sutil | Animar um retrato ou mascote |
| Loop curto, de três a dez segundos | Um movimento limpo repetido | Testes rápidos, loops estilo figurinha |
| Coreografia completa até trinta segundos | Uma sequência inteira do começo ao fim | Edições de dança finalizadas e prontas para postar |
| Movimento lento e deliberado | Rastreamento de articulação preciso, poucas falhas | Uma primeira tentativa com uma foto nova |
O enquadramento importa tanto quanto a filmagem em si. Os dois modelos querem que o personagem na sua imagem de referência esteja em uma orientação parecida com a da pessoa no vídeo, então um retrato cortado na altura dos ombros combinado com um clipe de corpo inteiro costuma confundir o mapeamento. Comece com uma foto que mostre tanto corpo quanto o seu vídeo de referência mostra.
Reaproveite um clipe de referência que funcione bem para você em várias fotos de personagens antes de sair atrás de filmagem nova. Depois que você souber que um vídeo transfere de forma limpa, rodar seus próximos três personagens por esse mesmo clipe é mais rápido e muito mais previsível do que arriscar com um desconhecido a cada vez.
O fluxo cabe em uma única sessão assim que você tem suas duas entradas prontas: uma foto clara do personagem e um vídeo de referência dos movimentos que você quer que ele execute.
Um punhado de hábitos separa um clipe de dança convincente de um instável, e nenhum deles exige habilidade técnica, só atenção ao que você entrega ao modelo antes de gerar.
Essa técnica é genuinamente útil e genuinamente limitada, e vale a pena dizer as duas coisas com clareza. Uma coreografia rápida e complexa com giros velozes ou trabalho de chão confunde o mapeamento de movimento com mais frequência do que uma caminhada ou um aceno, e isso aparece como membros borrados ou uma pose que perde brevemente a forma do corpo. As mãos continuam sendo a parte mais difícil de animar corretamente em qualquer figura, e um clipe de dança com muito detalhe de dedos perto da câmera é onde é mais provável ver uma articulação a mais ou uma pegada deformada. Clipes longos perto do teto de trinta segundos desviam mais do que os curtos, com pequenos erros de forma do rosto se acumulando conforme a sequência avança. Dois dançarinos se movendo juntos, uma dupla ou uma coreografia em grupo, fica fora do que qualquer um dos dois modelos foi construído para fazer, já que cada geração mapeia uma performance de referência sobre uma única imagem de personagem. A mesclagem de áudio, quando disponível, é explicitamente experimental: espere um timing próximo, mas não exato quadro a quadro.
Também existe uma questão de direitos que vale a pena levar a sério antes de publicar qualquer coisa. O modelo copia movimento, não identidade, então ele não reproduz o rosto nem a aparência do dançarino original. Ele reproduz sim a coreografia específica, algo que alguns criadores consideram sua obra criativa independentemente de quem acaba executando ela no clipe final. Use filmagem que você mesmo gravou, que tem permissão para referenciar, ou que está claramente licenciada, o mesmo padrão que você aplicaria a qualquer outra fonte criativa.
A maioria das fotos funciona, mas os resultados mais limpos vêm de um personagem bem iluminado, de frente para a câmera, com a parte relevante do corpo visível e sem obstruções. Fotos muito cortadas, mal iluminadas ou que mostram o personagem em um ângulo estranho tendem a produzir movimento deformado ou instável. Se uma primeira tentativa sair tosca, tente um corte diferente da mesma foto ou um vídeo de referência com enquadramento parecido antes de concluir que a técnica não funciona para aquele personagem.
Não, embora ajude se você puder. Qualquer vídeo que mostre claramente os movimentos que você quer transferir serve como referência, seja um que você mesmo filmou ou uma filmagem sobre a qual você tem direitos de uso. O que importa tecnicamente é que o dançarino esteja claramente visível contra o fundo e se movendo em um ritmo normal e rastreável, não de onde a filmagem veio originalmente.
Em grande parte sim, já que o vídeo de referência só fornece o movimento e a imagem do personagem fornece tudo sobre a aparência dele, incluindo rosto, roupa e fundo. Espere algum suavizamento de detalhe fino quando a pose muda rápido, e espere que clipes mais longos desviem um pouco mais do que os curtos conforme pequenos erros se acumulam ao longo de mais quadros.
Depende do modelo e do ajuste de orientação que você escolher. O Kling v2.6 Motion Control gera até dez segundos quando a saída segue a orientação da sua foto e até trinta segundos quando segue a orientação do vídeo de referência. O Wan 2.2 Animate Animation segue a duração do clipe de referência que você fornecer. Para um primeiro teste, um clipe curto é mais rápido de revisar e mais barato de iterar do que um longo.
Nenhum vence de forma absoluta, por isso a Picasso IA oferece os dois. O Kling v2.6 Motion Control dá uma divisão de qualidade Standard e Professional além de duração flexível, enquanto o Wan 2.2 Animate Animation roda em um ritmo constante de 24 quadros por segundo com uma opção integrada de mesclagem de áudio. Rodar a mesma foto e o mesmo clipe de referência nos dois leva minutos e é a forma mais rápida de ver qual lida melhor com a sua filmagem.
Os dois modelos oferecem uma opção de áudio. O Kling v2.6 Motion Control tem um interruptor simples para manter o som original do vídeo de referência. O Wan 2.2 Animate Animation oferece um ajuste de mesclagem de áudio que o próprio modelo descreve como experimental, o que significa que o timing pode não encaixar perfeitamente. Se a sincronia precisa importa, trate o áudio mesclado como um rascunho e esteja pronto para adicionar música separadamente depois.
Contas novas na Picasso IA começam com créditos gratuitos, suficientes para rodar um primeiro teste de transferência de movimento e ver se a técnica funciona bem com sua foto e seu clipe de referência antes de gastar mais. Além dos créditos gratuitos, os planos atuais e seus limites estão listados na página de preços, o único lugar que vale a pena checar para números atualizados.
Sim, e essa é uma das partes mais úteis do fluxo. A foto do personagem fica fixa enquanto o clipe de referência muda, então você pode rodar a mesma imagem de personagem contra vários vídeos de dança diferentes e acabar com uma pequena biblioteca de clipes distintos a partir de uma única foto original, sem gerar o personagem de novo a cada vez.
As duas causas mais comuns são um descompasso entre como a foto e o vídeo de referência estão enquadrados, e uma filmagem de referência que se move rápido demais ou corta entre ângulos de câmera de um jeito que o modelo não consegue rastrear com limpeza. Recorte a foto de novo para combinar com o enquadramento do vídeo de referência, ou escolha um clipe de referência mais estável e contínuo, e gere novamente antes de concluir que o personagem simplesmente não funciona.
O modelo não copia o rosto nem a identidade de uma pessoa, só o padrão de movimento da filmagem que você fornece, então usar suas próprias fotos não traz nenhum problema de semelhança. A coreografia em si é uma questão separada: alguns dançarinos e coreógrafos consideram uma rotina específica sua obra criativa, então use filmagem que você mesmo gravou, que tem permissão explícita para referenciar, ou que está claramente licenciada para esse tipo de uso, em vez de qualquer clipe que você encontre por aí.
Uma foto parada na sua galeria está a um upload de distância de virar um clipe em movimento. Abra o toolkit da Picasso IA, escolha um vídeo de referência e veja como fica a sua própria foto dançando.
