Ich habe ChatGPT und Claude gegeneinander antreten lassen. Das habe ich gelernt

ChatGPT bewertete die eigene Videoidee mit 9,6 von 10. Claude gab derselben Idee eine 6,5. In diesem Video zeigt Useryze-Gründer Umair Suleman das echte Experiment hinter diesem Unterschied: zwei KI-Modelle in einem gemeinsamen Dokument, 12 kreative Ideen für Videos zur Startwoche von GTA 6 und drei Runden, in denen jedes Modell die Arbeit des anderen prüfte. Sie sehen, wo die Modelle ihre eigenen Noten aufblähten, was die gegenseitige Prüfung aufdeckte, und ein einfaches Entscheidungssystem, das jedes Unternehmen übernehmen kann. Die Kurzvideos aus dem Experiment erscheinen gerade erst, deshalb gibt es noch keine Ergebnisse.

  1. 1

    Ein Prompt an ein einziges Modell ist ein Münzwurf. Geben Sie der KI zuerst Ihre eigene Historie und aktuelle Signale von außen.

  2. 2

    Lassen Sie zwei Modelle gegeneinander antreten und die Arbeit des jeweils anderen bewerten. Modelle bewerten ihre eigenen Ideen meist zu gut.

  3. 3

    Legen Sie eine Qualitätsschwelle und eine Abbruchregel fest und bewerten Sie, ob sich die Idee wirklich umsetzen lässt, nicht nur, ob sie gut klingt.

Die meisten Unternehmen nutzen KI gleich: ein Prompt, eine Antwort und eine Entscheidung auf Basis dessen, was zurückkommt. Die Antwort klingt meist überzeugt, ob sie stimmt oder nicht, und ein Modell, das seine eigene Idee bewertet, ist fast immer großzügig. Zwei Modelle in einem gemeinsamen Dokument, die sich gegenseitig prüfen und an einer schriftlichen Qualitätsschwelle und einer Machbarkeitsprüfung gemessen werden, machen aus KI einen wiederholbaren Entscheidungsprozess. Das funktioniert für Kampagnenideen, Verkaufsskripte, Speisekarten, Angebote und jede Entscheidung, bei der ein Fehler Zeit oder Geld kostet.

Leistungen →

Pakete ab 1.499 US$ pro Monat. Das Werbebudget wird separat abgerechnet.

Kostenlosen Plan anfordern →

Fragen

Was ist besser fürs Unternehmen, ChatGPT oder Claude?

In diesem Experiment war die nützliche Antwort: beide nutzen. Jedes Modell fand Schwächen in den Ideen des anderen, und die gegenseitige Prüfung senkte Noten, die beim Bewerten der eigenen Arbeit aufgebläht waren. Welches besser ist, hängt von der Aufgabe ab, also testen Sie beide an Ihren eigenen Entscheidungen.

Warum haben ChatGPT und Claude dieselbe Idee so unterschiedlich bewertet?

Modelle bewerten ihre eigenen Ideen oft großzügig. Als das andere Modell dieselbe Idee nach denselben Kriterien prüfte, fiel die Note von 9,6 auf 6,5, vor allem weil die zentrale Metapher des Witzes nicht trug.

Hat das Gewinnervideo gut funktioniert?

Noch gibt es keine Ergebnisse. Die Kurzvideos aus dem Experiment erscheinen gerade erst, und die echten Zahlen werden auf dem Useryze-Kanal geteilt, ob gut oder schlecht.