Apa Itu AI Risk Framework?

AI Risk Framework adalah kerangka terstruktur yang membantu tim merancang, menjalankan, dan mengevaluasi ai risk dengan tahapan serta tanggung jawab yang jelas. Nilai utamanya terlihat saat tim produk, data, AI, dan operasional harus menghubungkan kebutuhan nyata dengan model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan, data yang tersedia, serta batasan operasional.

Hal yang perlu diperhatikan adalah kualitas dataset, prompt dan model. Evaluasi tidak cukup berhenti pada satu angka; accuracy, relevance dan hallucination rate perlu dibaca bersama konteks perubahan dan dampaknya terhadap pengguna atau bisnis.

1. Untuk AI Risk Framework, tentukan tujuan dan ruang lingkup ai risk sebelum memilih tool atau metode.
2. Siapkan input yang relevan seperti dataset, prompt, dan data pendukung lainnya.
3. Jalankan proses dengan kriteria keberhasilan dan penanggung jawab yang jelas.
4. Review hasil melalui accuracy, relevance, lalu dokumentasikan perbaikannya.

• Membantu memisahkan masalah data, proses, teknologi, dan keputusan sehingga perbaikannya lebih tepat sasaran.
• Memudahkan evaluasi karena perubahan dapat dibandingkan terhadap baseline dan indikator yang disepakati.
• Membuat hasil AI Risk Framework dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Membuat eksperimen dan perbaikan berikutnya lebih cepat karena pembelajaran sebelumnya terdokumentasi.

Salah satu konteks praktis AI Risk Framework adalah saat perusahaan ingin memakai AI untuk merangkum dokumen internal tanpa membocorkan data sensitif. Gunakan model card untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Misalnya, tim customer service ingin chatbot menjawab berdasarkan knowledge base perusahaan. Tim terlebih dahulu menetapkan baseline dan kriteria sukses, kemudian menggunakan AI Risk Framework untuk satu bagian proses. Setelah data cukup, mereka meninjau latency serta hallucination rate dan memasukkan keputusan lanjutan ke retrieval pipeline.

• Menerapkan AI Risk Framework tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menganggap korelasi sebagai penyebab tanpa melakukan verifikasi atau pengujian tambahan.
• Menerapkan aturan yang sama ke seluruh kasus meskipun konteks, audiens, atau batasannya berbeda.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.