ChatGPTとClaudeを競わせてみた。そこから学んだこと

ChatGPTは自分の動画案に10点中9.6点をつけました。同じ案にClaudeがつけたのは6.5点。この動画では、Useryze創業者のウマイル・スレマンが、その差の裏にある実際の実験を紹介します。2つのAIモデルが1つの共有ドキュメントで作業し、GTA 6発売週の動画案を12本出し、3回にわたって互いの案をレビューしました。モデルが自分の評価をどこで甘くしたか、相互レビューで何が見つかったか、そしてどんな事業でも真似できるシンプルな意思決定の仕組みがわかります。実験から生まれた短尺動画は公開が始まったばかりのため、まだ結果は出ていません。

  1. 1

    1つのモデルに1回だけ聞くのは運任せです。アイデアを求める前に、自社の実績と最新の外部情報をAIに渡しましょう。

  2. 2

    2つのモデルを競わせ、互いの案を採点させましょう。モデルは自分の案を高く評価しがちです。

  3. 3

    品質の基準と打ち切りのルールを決め、良さそうかどうかだけでなく、本当に実行できるかも採点しましょう。

多くの事業はAIを同じように使っています。1つのプロンプト、1つの回答、そして出てきた答えで判断する。回答は正しくても間違っていても自信ありげに聞こえ、自分の案を採点するモデルはたいてい甘くなります。2つのモデルを共有ドキュメントに置いて互いにレビューさせ、書面の品質基準と実現性チェックで評価すれば、AIは再現性のある意思決定プロセスになります。キャンペーン案、営業トーク、メニュー、オファーなど、判断を誤ると時間やお金を失うあらゆる場面で使えます。

サービス →

プランは月額 US$1,499 から。広告費は別途となります。

無料プランを受け取る →

よくある質問

ビジネスにはChatGPTとClaudeのどちらが良いですか?

この実験で役立った答えは「両方使う」でした。それぞれのモデルが相手の案の弱点を見つけ、相互レビューによって、自分の作業を採点したときの甘い点数が下がりました。どちらが良いかは作業によって変わるので、自社の判断で両方を試してください。

なぜChatGPTとClaudeは同じ案にこれほど違う点数をつけたのですか?

モデルは自分の案を甘く評価する傾向があります。もう一方のモデルが同じ基準で同じ案をレビューすると、点数は9.6から6.5に下がりました。主な理由は、ジョークの核となるたとえが成り立っていなかったことです。

選ばれた動画の成果はどうでしたか?

まだ結果は出ていません。実験から生まれた短尺動画は公開が始まったばかりで、実際の数字は良くも悪くもUseryzeのチャンネルで共有します。