Apa Itu Data Labeling?

Data Labeling adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Penggunaan Data Labeling sebaiknya dimulai dari masalah yang jelas. Bagi tim produk, data, AI, dan operasional, istilah ini berguna untuk membedakan tujuan, proses, indikator, dan risiko dalam model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan.

Agar tidak menjadi istilah teoritis, tim dapat mendokumentasikan keputusan, baseline, dan perubahan yang dilakukan. Gunakan accuracy, relevance dan hallucination rate sebagai indikator, lalu periksa kembali apakah hasilnya benar-benar mendukung tujuan awal.

1. Untuk Data Labeling, tentukan konteks penggunaan Data Labeling dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Memberi dasar yang lebih jelas untuk menentukan prioritas berdasarkan dampak, bukan asumsi.
• Mengurangi pekerjaan ulang akibat keputusan yang tidak terdokumentasi atau definisi yang berbeda.
• Membuat hasil Data Labeling dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Membuat definisi dan ruang lingkup Data Labeling lebih konsisten ketika digunakan oleh beberapa tim.

Salah satu konteks praktis Data Labeling adalah saat perusahaan ingin memakai AI untuk merangkum dokumen internal tanpa membocorkan data sensitif. Gunakan retrieval pipeline untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Contohnya, tim data ingin membandingkan beberapa model berdasarkan kualitas, biaya, dan latency. Tim mendokumentasikan kondisi awal dalam guardrail, menerapkan Data Labeling pada ruang lingkup terbatas, lalu membandingkan token cost dengan latency. Hasil dan alasan perubahan dicatat pada model card sebelum pendekatan diperluas.

• Menerapkan Data Labeling tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menganggap korelasi sebagai penyebab tanpa melakukan verifikasi atau pengujian tambahan.
• Menerapkan aturan yang sama ke seluruh kasus meskipun konteks, audiens, atau batasannya berbeda.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.