Apa Itu AI Risk Policy?

AI Risk Policy adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Pada implementasi sehari-hari, AI Risk Policy menjadi relevan karena keputusan dalam model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan sering melibatkan beberapa data, kanal, atau komponen sekaligus.

Penerapannya perlu diuji terhadap dataset, prompt dan model. Hasilnya kemudian dapat dinilai melalui accuracy, relevance dan hallucination rate. Jika definisi, data, dan ruang lingkup tidak konsisten, tim mudah mengambil kesimpulan yang terlihat benar tetapi tidak relevan dengan tujuan.

1. Untuk AI Risk Policy, tentukan konteks penggunaan AI Risk Policy dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Memudahkan evaluasi karena perubahan dapat dibandingkan terhadap baseline dan indikator yang disepakati.
• Membantu mendeteksi risiko lebih awal sebelum berdampak pada pengguna, biaya, atau stabilitas proses.
• Membuat hasil AI Risk Policy dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Membantu memisahkan masalah data, proses, teknologi, dan keputusan sehingga perbaikannya lebih tepat sasaran.

AI Risk Policy berguna ketika produk AI perlu dievaluasi karena jawaban terlihat lancar tetapi beberapa faktanya salah. Gunakan retrieval pipeline untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Sebagai contoh praktis, tim konten ingin memanfaatkan AI tetapi tetap menjaga fakta, tone, dan review manusia. Tim menguji AI Risk Policy dengan data atau skenario representatif, mencatat temuan pada guardrail, lalu memverifikasi apakah relevance membaik tanpa merusak accuracy. Pembelajaran akhirnya dimasukkan ke evaluation set.

• Menerapkan AI Risk Policy tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menganggap korelasi sebagai penyebab tanpa melakukan verifikasi atau pengujian tambahan.
• Menerapkan aturan yang sama ke seluruh kasus meskipun konteks, audiens, atau batasannya berbeda.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.