Apa Itu Fairness Risk Assessment?

Fairness Risk Assessment adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Pada implementasi sehari-hari, Fairness Risk Assessment menjadi relevan karena keputusan dalam model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan sering melibatkan beberapa data, kanal, atau komponen sekaligus.

Agar tidak menjadi istilah teoritis, tim dapat mendokumentasikan keputusan, baseline, dan perubahan yang dilakukan. Gunakan accuracy, relevance dan hallucination rate sebagai indikator, lalu periksa kembali apakah hasilnya benar-benar mendukung tujuan awal.

1. Untuk Fairness Risk Assessment, tentukan konteks penggunaan Fairness Risk Assessment dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Membuat eksperimen dan perbaikan berikutnya lebih cepat karena pembelajaran sebelumnya terdokumentasi.
• Membantu memisahkan masalah data, proses, teknologi, dan keputusan sehingga perbaikannya lebih tepat sasaran.
• Membuat hasil Fairness Risk Assessment dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Membantu mendeteksi risiko lebih awal sebelum berdampak pada pengguna, biaya, atau stabilitas proses.

Tim biasanya membutuhkan Fairness Risk Assessment ketika tim data ingin membandingkan beberapa model berdasarkan kualitas, biaya, dan latency. Gunakan guardrail untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Misalnya, tim konten ingin memanfaatkan AI tetapi tetap menjaga fakta, tone, dan review manusia. Tim terlebih dahulu menetapkan baseline dan kriteria sukses, kemudian menggunakan Fairness Risk Assessment untuk satu bagian proses. Setelah data cukup, mereka meninjau hallucination rate serta accuracy dan memasukkan keputusan lanjutan ke evaluation set.

• Menerapkan Fairness Risk Assessment tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menerapkan aturan yang sama ke seluruh kasus meskipun konteks, audiens, atau batasannya berbeda.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.
• Mengejar satu metrik sambil mengabaikan kualitas, biaya, pengalaman pengguna, atau risiko.