ChatGPT vs Claude: o sistema de decisão com IA em 6 passos que usamos antes de agir sobre uma ideia
Colocamos o ChatGPT e o Claude para avaliar as ideias um do outro. Um 9,6 virou 6,5. Este é o sistema que saiu disso e como aplicar na sua empresa ainda esta semana.
Useryze · Publicado
Resposta curta: não peça uma resposta a um único modelo de IA para sair executando. Dê o mesmo briefing a dois modelos, faça cada um avaliar as ideias do outro com regras que você escreveu antes, defina um nível de qualidade claro, pare depois de três rodadas e tome você a decisão final. Testamos isso em um projeto real. O ChatGPT deu 9,6 de 10 para uma das próprias ideias. O Claude avaliou a mesma ideia e deu 6,5. Essa diferença é a lição inteira.
O 9,6 que virou 6,5
Precisávamos de ideias de vídeos curtos para a semana de lançamento do GTA 6. Em vez de pedir uma lista a um modelo, colocamos o ChatGPT e o Claude no mesmo documento compartilhado e fizemos os dois competirem.
A primeira rodada foi educada. Cada modelo escreveu três conceitos e depois avaliou os seis. Em todos eles, as duas notas ficaram a menos de um ponto de distância. A melhor ideia recebeu 8,5 do Claude e 8,8 do ChatGPT.
Parece uma prova. Não é. Dois modelos treinados com boa parte da mesma internet podem ter os mesmos pontos cegos. Concordar não é o mesmo que estar certo.
Então subimos a régua e pedimos ideias que pudessem mirar, com honestidade, em 9,5. O ChatGPT voltou com três conceitos novos e notas-alvo de 9,6, 9,6 e 9,7. O Claude escreveu os dele e deu de 9,2 a 9,5. Bastou pedir noves para os dois modelos entregarem noves.
Depois eles trocaram os trabalhos. O 9,6 virou 6,5 porque a piada central não se sustentava. A favorita do Claude caiu de 9,5 para 9,2 por causa de uma abertura fraca. O ChatGPT então escreveu que as notas originais dele eram aspiracionais e exageradas.
A nota que um modelo dá para a própria ideia é um desejo.

Por que um único prompt é cara ou coroa
É assim que quase todo mundo usa IA: digita uma pergunta, recebe uma resposta confiante e sai executando. Faltam três coisas:
- O seu histórico. O modelo não sabe o que funcionou para você no mês passado.
- A realidade desta semana. Ele não sabe o que está acontecendo no seu mercado agora.
- Uma segunda opinião. Ninguém confere o trabalho dele.
Uma resposta confiante sem nada disso é um cara ou coroa que soa inteligente. O que você precisa é de um pequeno sistema de decisão, e dá para montar um com um documento compartilhado e duas janelas de chat.

O sistema de seis passos para usar esta semana

Passo 1: reúna o seu histórico
Junte as suas últimas 20 campanhas, promoções ou e-mails de venda, com o que aconteceu em cada um. Um restaurante pode listar quais pratos especiais esgotaram e quais voltaram para a cozinha. Uma loja pode listar quais promoções giraram o estoque e quais só entregaram margem. No nosso caso, um dado do histórico mudou tudo: nossos esquetes com vários personagens tinham ido mal, então o conceito mais complicado ficou em último antes que alguém se apaixonasse por ele.
Passo 2: acrescente um sinal externo recente e confira
O histórico mostra o que funcionou. Os sinais mostram o que importa agora: um evento local, uma mudança de preço do concorrente, um feriado, uma pergunta que os clientes passaram a repetir. A IA erra datas e detalhes, então confira na fonte original tudo o que depender de tempo antes de publicar.
Passo 3: dê o mesmo briefing a dois modelos
O mesmo briefing, o mesmo contexto, dois modelos diferentes. Diga quem é o seu público, qual é o orçamento, como é a marca e o que você se recusa a fazer. Peça a cada um as próprias ideias.
Passo 4: faça cada modelo avaliar as ideias do outro
Escreva as regras de avaliação antes de ver qualquer ideia. As nossas foram: os dois primeiros segundos, a facilidade de entender, a chance de as pessoas compartilharem, o encaixe com o que vendemos e se conseguimos mesmo produzir. Depois, faça cada modelo avaliar o trabalho do outro, não o próprio.
A revisão cruzada pegou problemas reais. Um modelo tinha atribuído um vídeo a cada plataforma. O outro apontou que assim não dá para comparar ideias, porque cada plataforma tem um público diferente. Também pegou um roteiro que dizia "meu MacBook novinho" quando o computador ainda nem tinha chegado. Detalhe pequeno, custo alto em confiança se tivesse ido ao ar.
Passo 5: defina a régua e o limite
Diga o que significa um nove. Pare depois de três rodadas. Sem uma regra de parada, você vai polir para sempre. Saímos de 12 conceitos para uma lista curta de três, e a anotação que guardamos foi simples: não produzir seis variações só para perseguir um número.
Depois você escolhe. Não os modelos.
Passo 6: publique, meça e aprenda duas vezes
A maioria das equipes aprende em um ciclo só. Use dois.
- Ciclo A, o resultado: o que aconteceu no mundo real? Registramos as visualizações em 2 horas, 24 horas, 48 horas e 7 dias, a taxa de conclusão e os compartilhamentos a cada 1.000 visualizações.
- Ciclo B, o processo: o nosso jeito de decidir funcionou? As notas estavam infladas? Os modelos concordaram fácil demais? Daria para chegar à mesma lista curta na metade do tempo?

Avalie a ideia e a execução separadamente
Uma ideia brilhante que você não consegue executar vale zero. Cada conceito do nosso teste recebeu uma segunda nota, de viabilidade.
A nossa ferramenta de produção é um gerador de vídeo com IA, e ela tem manias. Peça um logotipo e ela pode inventar um. Legendas embutidas podem sair com erros. Mãos segurando objetos ficam estranhas. Então as regras viraram: um cenário, uma pessoa falando, e logotipo real e legendas adicionados na edição. O conceito com mais figurinos e cenários teve a pior nota de viabilidade e nunca foi produzido.
A sua versão pode ser um prato que a cozinha não consegue montar numa sexta à noite, ou uma promoção que o seu checkout não aguenta. Avalie as duas coisas.
O que ainda não sabemos
Os vídeos desse experimento estão sendo publicados só agora. Ainda não dá para dizer que esse processo gera vídeos melhores. Dá para dizer que ele nos levou a decidir melhor quais vídeos fazer e pegou erros antes de irem ao ar. Vamos compartilhar os números reais no nosso canal, bons ou ruins.
Onde isso entra na sua empresa
Os mesmos seis passos servem para qualquer decisão em que errar custa tempo ou dinheiro:
- Ideias de campanhas e conteúdo. Combine com um plano de conteúdo feito a partir do que os seus clientes buscam, ou deixe a nossa equipe cuidar do seu marketing de conteúdo.
- Ângulos de anúncio e ofertas. Teste a lista curta com verba de verdade em mídia paga em vez de discutir.
- Landing pages. Deixe os modelos discutirem o título e os visitantes decidirem com otimização de conversão.
- Roteiros de follow-up. Use para escrever a primeira resposta que um novo lead recebe e automatize essa resposta com CRM e follow-up.
Se você quer o ciclo inteiro rodando sem copiar texto entre janelas de chat, é isso que os nossos agentes de IA fazem: coletam os sinais, redigem as opções, cruzam as avaliações e entregam a decisão para você.
Você também pode ver a página do vídeo completo, com capítulos.
Perguntas frequentes
O que é melhor para uma empresa, ChatGPT ou Claude?
Neste teste, a resposta útil foi usar os dois. Cada um pegou fraquezas que o outro deixou passar, e a revisão cruzada derrubou notas que estavam infladas quando um modelo avaliava o próprio trabalho. Teste os dois nas suas decisões.
Por que os dois modelos deram notas tão diferentes para a mesma ideia?
Os modelos costumam ser generosos com as próprias ideias. Avaliada pelo outro modelo com as mesmas regras escritas, a ideia caiu de 9,6 para 6,5, principalmente porque a piada central não funcionava.
Quantas rodadas devo fazer?
Três. A primeira dá uma base, a segunda sobe a régua e a terceira é a revisão final. Depois disso você está polindo, não melhorando.
Preciso de algum software especial?
Não. Um documento compartilhado e duas janelas de chat bastam para começar. Automatize só quando a versão manual já estiver claramente compensando.
A ideia vencedora foi bem?
Ainda não há resultados. O processo melhorou a decisão. Se melhorou o resultado, é o Ciclo A que vai dizer.
Idiomas: English · Español · 日本語 · Bahasa Indonesia · Français · Deutsch · Nederlands