Rankings de modelo de vídeo com IA envelhecem em semanas e raramente refletem o seu tipo de conteúdo. Um modelo excelente para paisagem pode ser medíocre para pessoas; outro, ótimo para produto, falha em movimento de câmera. O jeito de decidir com segurança é medir você mesmo, com um método simples, em uma tarde.
Princípios
- Mesmo pedido, sem ajuste por modelo. Se você corrige o texto para cada modelo, está medindo a sua habilidade de prompt, não o modelo.
- Um fator por vez. Ou compara modelos, ou compara resoluções, ou compara pedidos, nunca tudo junto.
- Mais de uma rodada. Há sorteio na geração: um clipe bom ou ruim pode ser sorte. Três rodadas por modelo já dão uma ideia.
- Registre o que chegou. Duração e resolução entregues, não as pedidas. No teste dos oito modelos, um deles entregou 1080p quando se pediu 720p.
- Avalie às cegas. Esconda o nome do modelo ao pontuar. O nome enviesa.
1. Escolha de 3 a 5 pedidos que representem o seu uso
Uma cena de pessoa, uma de produto, uma de paisagem, uma com movimento de câmera complexo, uma com texto ou logotipo. Use os tipos que você realmente vai produzir. O guia de prompt ajuda a escrevê-los com sujeito, ação, cenário, luz e câmera.
2. Defina os critérios antes de ver os vídeos
| Critério | Pergunta | Nota |
|---|---|---|
| Aderência | Fez o que o pedido descreve (sujeito, ação, cenário, câmera, luz)? | 0 a 5 |
| Movimento | O movimento é natural e coerente do início ao fim? | 0 a 5 |
| Consistência | Rosto, roupa e objetos se mantêm entre quadros? | 0 a 5 |
| Artefatos | Mãos, texto, física e símbolos estão corretos? | 0 a 5 |
| Estética | A luz e a cor servem à sua marca? | 0 a 5 |
Some o custo em créditos e o tempo até ficar pronto, e calcule o custo por clipe aprovado: custo total das tentativas dividido pelo número de clipes que passaram da sua nota de corte. Esse é o número que importa, não o custo de uma geração.
3. Rode, anonimize e pontue
- Gere cada pedido em cada modelo, três vezes.
- Renomeie os arquivos com códigos (A1, B2…) e guarde a tabela de correspondência à parte.
- Peça a duas ou três pessoas para pontuar, sem ver o modelo.
- Calcule média por modelo e por tipo de pedido.
4. Leia o resultado com cuidado
- Se a diferença entre dois modelos for pequena, desempate pelo custo e pelo tempo.
- Se um modelo vai bem em um tipo de pedido e mal em outro, use dois modelos, um por tipo de cena.
- Refaça o teste quando sair modelo novo ou quando o fabricante atualizar uma versão.
Para economizar rodadas, parta da página Comparar modelos do GenBrasil, que mostra o mesmo pedido em oito modelos com custo e tempo, e depois rode os seus pedidos nos dois ou três finalistas.
E os modelos abertos?
O mesmo método vale para modelos de pesos abertos rodando na sua GPU alugada. Acrescente à planilha o tempo de GPU por clipe e a VRAM usada, que viram custo por hora de máquina. Veja quais famílias têm versão aberta.
Perguntas frequentes
Quantas gerações preciso para comparar dois modelos?
Pelo menos três por modelo e por pedido, porque há sorteio na geração. Com 3 a 5 pedidos, uma tarde de testes já dá uma decisão sólida.
Por que avaliar às cegas?
Porque o nome do modelo influencia a nota. Códigos nos arquivos eliminam esse viés.
O que é custo por clipe aprovado?
O custo de todas as tentativas dividido pelo número de clipes que passaram da sua nota de corte. Reflete melhor o gasto real do que o custo de uma geração.
Gere o seu vídeo no GenBrasil
Oito modelos de vídeo com IA numa conta só, em português, com custo à vista antes de gerar e pagamento em reais por Pix ou cartão. O plano Free não pede cartão.
Acessar o GenBrasil ↗Prefere montar o seu próprio fluxo? Veja os templates de GPU por hora ou compare os dois caminhos.
Continue: escada de modelos · como funciona um modelo de vídeo