Apa Itu Chain of Thought?

Chain of Thought adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Penggunaan Chain of Thought sebaiknya dimulai dari masalah yang jelas. Bagi tim produk, data, AI, dan operasional, istilah ini berguna untuk membedakan tujuan, proses, indikator, dan risiko dalam model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan.

Hal yang perlu diperhatikan adalah kualitas dataset, prompt dan model. Evaluasi tidak cukup berhenti pada satu angka; accuracy, relevance dan hallucination rate perlu dibaca bersama konteks perubahan dan dampaknya terhadap pengguna atau bisnis.

1. Untuk Chain of Thought, tentukan konteks penggunaan Chain of Thought dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Membantu memisahkan masalah data, proses, teknologi, dan keputusan sehingga perbaikannya lebih tepat sasaran.
• Memudahkan evaluasi karena perubahan dapat dibandingkan terhadap baseline dan indikator yang disepakati.
• Membuat hasil Chain of Thought dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Membuat eksperimen dan perbaikan berikutnya lebih cepat karena pembelajaran sebelumnya terdokumentasi.

Chain of Thought berguna ketika tim data ingin membandingkan beberapa model berdasarkan kualitas, biaya, dan latency. Gunakan prompt template untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Misalnya, perusahaan ingin memakai AI untuk merangkum dokumen internal tanpa membocorkan data sensitif. Tim terlebih dahulu menetapkan baseline dan kriteria sukses, kemudian menggunakan Chain of Thought untuk satu bagian proses. Setelah data cukup, mereka meninjau token cost serta latency dan memasukkan keputusan lanjutan ke evaluation set.

• Menerapkan Chain of Thought tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Tidak menyimpan log, baseline, atau catatan perubahan sehingga masalah yang sama sulit ditelusuri.
• Mengubah terlalu banyak faktor sekaligus sehingga penyebab peningkatan atau penurunan hasil tidak diketahui.
• Tidak menentukan pemilik tindakan sehingga temuan berhenti sebagai laporan tanpa perbaikan.