Apa Itu Concept Drift?

Concept Drift adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Penggunaan Concept Drift sebaiknya dimulai dari masalah yang jelas. Bagi tim produk, data, AI, dan operasional, istilah ini berguna untuk membedakan tujuan, proses, indikator, dan risiko dalam model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan.

Penerapannya perlu diuji terhadap dataset, prompt dan model. Hasilnya kemudian dapat dinilai melalui accuracy, relevance dan hallucination rate. Jika definisi, data, dan ruang lingkup tidak konsisten, tim mudah mengambil kesimpulan yang terlihat benar tetapi tidak relevan dengan tujuan.

1. Untuk Concept Drift, tentukan konteks penggunaan Concept Drift dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Membantu mendeteksi risiko lebih awal sebelum berdampak pada pengguna, biaya, atau stabilitas proses.
• Membuat eksperimen dan perbaikan berikutnya lebih cepat karena pembelajaran sebelumnya terdokumentasi.
• Membuat hasil Concept Drift dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Memudahkan evaluasi karena perubahan dapat dibandingkan terhadap baseline dan indikator yang disepakati.

Salah satu konteks praktis Concept Drift adalah saat tim customer service ingin chatbot menjawab berdasarkan knowledge base perusahaan. Gunakan retrieval pipeline untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Misalnya, perusahaan ingin memakai AI untuk merangkum dokumen internal tanpa membocorkan data sensitif. Tim terlebih dahulu menetapkan baseline dan kriteria sukses, kemudian menggunakan Concept Drift untuk satu bagian proses. Setelah data cukup, mereka meninjau relevance serta token cost dan memasukkan keputusan lanjutan ke retrieval pipeline.

• Menerapkan Concept Drift tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.
• Mengejar satu metrik sambil mengabaikan kualitas, biaya, pengalaman pengguna, atau risiko.
• Tidak menyimpan log, baseline, atau catatan perubahan sehingga masalah yang sama sulit ditelusuri.