ChatGPT vs Claude: Sistem Keputusan AI 6 Langkah yang Kami Pakai Sebelum Menjalankan Ide Apa Pun

Kami meminta ChatGPT dan Claude menilai ide satu sama lain. Nilai 9,6 berubah menjadi 6,5. Inilah sistem yang lahir dari percobaan itu dan cara menerapkannya di bisnis Anda minggu ini.

Useryze · Terbit

Jawaban singkat: jangan meminta jawaban dari satu model AI lalu langsung menjalankannya. Berikan brief yang sama kepada dua model, minta masing-masing menilai ide model lain dengan aturan yang sudah Anda tulis lebih dulu, tetapkan standar kualitas yang jelas, berhenti setelah tiga putaran, dan ambil keputusan akhirnya sendiri. Kami mengujinya pada proyek nyata. ChatGPT memberi salah satu idenya sendiri nilai 9,6 dari 10. Claude meninjau ide yang sama dan memberinya 6,5. Selisih itulah inti pelajarannya.

Nilai 9,6 yang menjadi 6,5

Kami membutuhkan ide video pendek untuk minggu peluncuran GTA 6. Alih-alih meminta daftar dari satu model, kami menaruh ChatGPT dan Claude dalam satu dokumen bersama dan membuat keduanya bersaing.

Putaran pertama berjalan sopan. Tiap model menulis tiga konsep, lalu menilai keenamnya. Pada setiap konsep, selisih kedua nilai kurang dari satu poin. Ide terbaik mendapat 8,5 dari Claude dan 8,8 dari ChatGPT.

Kelihatannya seperti bukti. Padahal bukan. Dua model yang dilatih dengan sebagian besar internet yang sama bisa punya titik buta yang sama. Sepakat tidak sama dengan benar.

Maka kami menaikkan standar dan meminta ide yang secara jujur bisa menargetkan 9,5. ChatGPT kembali dengan tiga konsep baru dan nilai target 9,6, 9,6, dan 9,7. Claude menulis tiga konsepnya sendiri dan menilainya 9,2 sampai 9,5. Begitu kami meminta nilai sembilan, kedua model memberi kami nilai sembilan.

Lalu keduanya bertukar hasil kerja. Nilai 9,6 turun menjadi 6,5 karena lelucon utamanya tidak kuat. Ide favorit Claude sendiri turun dari 9,5 ke 9,2 karena pembukaannya lemah. ChatGPT kemudian menulis bahwa nilai awalnya hanyalah harapan dan terlalu tinggi.

Nilai yang diberikan model untuk idenya sendiri adalah harapan.

Ide yang sama, dua nilai

Mengapa satu prompt sama dengan melempar koin

Beginilah kebanyakan dari kita memakai AI: mengetik pertanyaan, mendapat jawaban yang terdengar yakin, lalu menjalankannya. Ada tiga hal yang hilang:

  • Riwayat Anda. Model tidak tahu apa yang berhasil untuk Anda bulan lalu.
  • Kenyataan minggu ini. Model tidak tahu apa yang sedang terjadi di pasar Anda sekarang.
  • Pendapat kedua. Tidak ada yang memeriksa hasil kerjanya.

Jawaban yang yakin tanpa ketiga hal itu hanyalah lemparan koin yang terdengar pintar. Yang Anda butuhkan adalah sistem keputusan kecil, dan Anda bisa menjalankannya dengan satu dokumen bersama dan dua jendela obrolan.

Yang hilang dari satu prompt

Sistem enam langkah yang bisa dijalankan minggu ini

Sistem keputusan enam langkah

Langkah 1: kumpulkan riwayat Anda

Kumpulkan 20 kampanye, promo, atau email penjualan terakhir Anda, beserta hasilnya. Restoran bisa mencatat menu spesial mana yang habis terjual dan mana yang dikembalikan ke dapur. Toko bisa mencatat promo mana yang menggerakkan stok dan mana yang hanya mengorbankan margin. Dalam kasus kami, satu fakta dari riwayat menentukan segalanya: sketsa kami yang berisi banyak karakter berkinerja buruk, sehingga konsep paling rumit ditaruh di urutan terakhir sebelum ada yang terlanjur jatuh hati.

Langkah 2: tambahkan satu sinyal luar yang baru, lalu verifikasi

Riwayat memberi tahu apa yang berhasil. Sinyal memberi tahu apa yang penting sekarang: acara lokal, perubahan harga pesaing, hari libur, pertanyaan yang tiba-tiba sering diajukan pelanggan. AI sering keliru soal tanggal dan detail, jadi periksa semua hal yang terikat waktu ke sumber aslinya sebelum dipublikasikan.

Langkah 3: berikan brief yang sama kepada dua model

Brief yang sama, konteks yang sama, dua model berbeda. Jelaskan audiens, anggaran, merek, dan hal yang tidak mau Anda lakukan. Minta ide dari masing-masing model.

Langkah 4: minta tiap model menilai ide model lain

Tulis aturan penilaian sebelum Anda melihat satu ide pun. Aturan kami: dua detik pertama, seberapa mudah dipahami, seberapa mungkin orang membagikannya, seberapa cocok dengan yang kami jual, dan apakah kami benar-benar bisa memproduksinya. Lalu minta tiap model menilai karya model lain, bukan karyanya sendiri.

Tinjauan silang menemukan masalah nyata. Satu model menetapkan satu video untuk tiap platform. Model lain menunjukkan bahwa ide tidak bisa dibandingkan dengan cara itu, karena setiap platform punya audiens berbeda. Model itu juga menemukan naskah yang menyebut "MacBook baru saya" padahal laptopnya belum datang. Temuan kecil, tetapi mahal bagi kepercayaan seandainya sempat tayang.

Langkah 5: tetapkan standar dan batas

Jelaskan apa arti nilai sembilan. Berhenti setelah tiga putaran. Tanpa aturan berhenti, Anda akan memoles tanpa akhir. Kami bergerak dari 12 konsep menjadi tiga pilihan, dan catatan yang kami simpan sederhana: jangan memproduksi enam varian hanya demi mengejar angka.

Setelah itu Anda yang memilih. Bukan modelnya.

Langkah 6: terbitkan, ukur, dan belajar dua kali

Kebanyakan tim belajar dalam satu siklus. Pakailah dua.

  • Siklus A, hasilnya: apa yang terjadi di dunia nyata? Kami mencatat jumlah tayangan pada 2 jam, 24 jam, 48 jam, dan 7 hari, tingkat tonton sampai habis, serta jumlah dibagikan per 1.000 tayangan.
  • Siklus B, prosesnya: apakah cara kami memutuskan berhasil? Apakah nilainya digelembungkan? Apakah model terlalu mudah sepakat? Bisakah kami sampai ke pilihan yang sama dalam separuh waktu?

Belajar dalam dua siklus

Nilai ide dan eksekusinya secara terpisah

Ide brilian yang tidak bisa dieksekusi tidak ada nilainya. Setiap konsep dalam pengujian kami mendapat nilai kedua untuk kelayakan.

Alat produksi kami adalah generator video AI, dan alat itu punya kebiasaan. Minta logo, dan ia bisa mengarangnya. Subtitle yang tertanam bisa salah eja. Tangan yang memegang benda jadi aneh. Maka aturannya menjadi: satu lokasi, satu pembicara, sedangkan logo asli dan teks ditambahkan saat penyuntingan. Konsep dengan kostum dan lokasi terbanyak mendapat nilai kelayakan terendah dan tidak pernah dibuat.

Versi Anda mungkin berupa hidangan yang tidak sanggup disajikan dapur pada Jumat malam, atau promo yang tidak bisa ditangani sistem pembayaran Anda. Nilai keduanya.

Yang belum kami ketahui

Video dari percobaan ini baru mulai dipublikasikan. Kami belum bisa mengatakan bahwa proses ini menghasilkan video yang lebih baik. Yang bisa kami katakan: proses ini menghasilkan keputusan yang lebih baik tentang video mana yang dibuat, dan menemukan kesalahan sebelum tayang. Kami akan membagikan angka sebenarnya di kanal kami, baik atau buruk.

Tempatnya dalam bisnis Anda

Enam langkah yang sama berlaku untuk setiap keputusan yang, jika salah, memakan waktu atau uang:

Jika Anda ingin seluruh siklus berjalan tanpa menyalin teks antarjendela obrolan, itulah yang dikerjakan agen AI kami: mengumpulkan sinyal, menyusun pilihan, memeriksa silang, lalu menyerahkan keputusannya kepada Anda.

Anda juga bisa membuka halaman video lengkap beserta babnya.

Pertanyaan yang sering diajukan

Mana yang lebih baik untuk bisnis, ChatGPT atau Claude?

Dalam pengujian ini, jawaban yang berguna adalah keduanya. Masing-masing menemukan kelemahan yang terlewat oleh yang lain, dan tinjauan silang menurunkan nilai yang digelembungkan ketika model menilai karyanya sendiri. Uji keduanya pada keputusan Anda sendiri.

Mengapa kedua model menilai ide yang sama dengan sangat berbeda?

Model cenderung murah hati terhadap idenya sendiri. Ketika dinilai model lain dengan aturan tertulis yang sama, nilai ide itu turun dari 9,6 ke 6,5, terutama karena lelucon intinya tidak berhasil.

Berapa putaran yang perlu saya jalankan?

Tiga. Putaran pertama memberi dasar, putaran kedua menaikkan standar, putaran ketiga adalah tinjauan akhir. Setelah itu Anda hanya memoles, bukan memperbaiki.

Apakah saya perlu perangkat lunak khusus?

Tidak. Satu dokumen bersama dan dua jendela obrolan sudah cukup untuk memulai. Otomatiskan hanya setelah versi manualnya jelas membuahkan hasil.

Apakah ide pemenangnya berhasil?

Hasilnya belum ada. Proses ini memperbaiki keputusan. Apakah proses ini juga memperbaiki hasil, itulah yang akan ditunjukkan Siklus A.

Bahasa: English · Español · 日本語 · Português · Français · Deutsch · Nederlands