Coloquei o ChatGPT e o Claude para se desafiarem. Veja o que aprendi

O ChatGPT deu nota 9,6 de 10 para a própria ideia de vídeo. O Claude deu 6,5 para a mesma ideia. Neste vídeo, Umair Suleman, fundador da Useryze, mostra o experimento real por trás dessa diferença: dois modelos de IA trabalhando em um único documento, 12 ideias criativas para vídeos da semana de lançamento do GTA 6 e três rodadas em que cada modelo revisou o trabalho do outro. Você vai ver onde os modelos inflaram as próprias notas, o que a revisão cruzada pegou e um sistema simples de decisão que qualquer negócio pode copiar. Os vídeos curtos do experimento estão sendo publicados agora, então ainda não há resultados.

  1. 1

    Um prompt para um único modelo é cara ou coroa. Dê à IA o seu próprio histórico e sinais externos recentes antes de pedir ideias.

  2. 2

    Coloque dois modelos para competir e peça que um avalie o trabalho do outro. Os modelos costumam dar notas mais altas às próprias ideias.

  3. 3

    Defina um padrão de qualidade e uma regra de parada, e avalie se dá para executar a ideia de verdade, não só se ela parece boa.

A maioria dos negócios usa IA do mesmo jeito: um prompt, uma resposta e uma decisão baseada no que vier. A resposta costuma soar confiante, esteja certa ou não, e um modelo que avalia a própria ideia quase sempre é generoso. Colocar dois modelos em um documento compartilhado, fazer um revisar o outro e cobrar de ambos um padrão de qualidade por escrito e um teste de viabilidade transforma a IA em um processo de decisão repetível. Vale para ideias de campanha, roteiros de venda, cardápios, ofertas e qualquer decisão em que errar custe tempo ou dinheiro.

Serviços →

Planos a partir de US$1.499 por mês. A verba de mídia é cobrada à parte.

Quero meu plano grátis →

Perguntas

O que é melhor para negócios, ChatGPT ou Claude?

Neste experimento, a resposta útil foi usar os dois. Cada modelo encontrou pontos fracos nas ideias do outro, e a revisão cruzada derrubou notas infladas quando um modelo avaliava o próprio trabalho. O melhor depende da tarefa, então teste os dois nas suas próprias decisões.

Por que o ChatGPT e o Claude deram notas tão diferentes para a mesma ideia?

Os modelos tendem a avaliar as próprias ideias com generosidade. Quando o outro modelo revisou a mesma ideia com os mesmos critérios, a nota caiu de 9,6 para 6,5, principalmente porque a metáfora central da piada não se sustentava.

O vídeo vencedor teve bom desempenho?

Ainda não há resultados. Os vídeos curtos do experimento estão sendo publicados agora, e os números reais serão compartilhados no canal da Useryze, bons ou ruins.