Apa Itu Human-in-the-Loop?

Human-in-the-Loop adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Secara operasional, Human-in-the-Loop membantu memberi struktur pada pekerjaan yang berhubungan dengan model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan, terutama ketika hasil harus dapat diukur dan diulang.

Kualitas penerapan sangat bergantung pada kejelasan data, tanggung jawab, dan batasan. dataset, prompt dan model perlu divalidasi, sedangkan accuracy, relevance dan hallucination rate dipakai untuk membedakan perbaikan nyata dari fluktuasi biasa.

1. Untuk Human-in-the-Loop, tentukan konteks penggunaan Human-in-the-Loop dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Menghubungkan pekerjaan teknis atau operasional dengan hasil yang dapat dipahami oleh pemilik bisnis.
• Membuat definisi dan ruang lingkup Human-in-the-Loop lebih konsisten ketika digunakan oleh beberapa tim.
• Membuat hasil Human-in-the-Loop dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Mengurangi pekerjaan ulang akibat keputusan yang tidak terdokumentasi atau definisi yang berbeda.

Tim biasanya membutuhkan Human-in-the-Loop ketika perusahaan ingin memakai AI untuk merangkum dokumen internal tanpa membocorkan data sensitif. Gunakan retrieval pipeline untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Contohnya, tim customer service ingin chatbot menjawab berdasarkan knowledge base perusahaan. Tim mendokumentasikan kondisi awal dalam guardrail, menerapkan Human-in-the-Loop pada ruang lingkup terbatas, lalu membandingkan latency dengan safety rate. Hasil dan alasan perubahan dicatat pada evaluation set sebelum pendekatan diperluas.

• Menerapkan Human-in-the-Loop tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Mengubah terlalu banyak faktor sekaligus sehingga penyebab peningkatan atau penurunan hasil tidak diketahui.
• Tidak menentukan pemilik tindakan sehingga temuan berhenti sebagai laporan tanpa perbaikan.
• Memulai dari tool atau fitur sebelum menjelaskan masalah dan hasil yang ingin dicapai.