Apa Itu Short-Term Memory?

Short-Term Memory adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Secara operasional, Short-Term Memory membantu memberi struktur pada pekerjaan yang berhubungan dengan model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan, terutama ketika hasil harus dapat diukur dan diulang.

Hal yang perlu diperhatikan adalah kualitas dataset, prompt dan model. Evaluasi tidak cukup berhenti pada satu angka; accuracy, relevance dan hallucination rate perlu dibaca bersama konteks perubahan dan dampaknya terhadap pengguna atau bisnis.

1. Untuk Short-Term Memory, tentukan konteks penggunaan Short-Term Memory dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Membuat definisi dan ruang lingkup Short-Term Memory lebih konsisten ketika digunakan oleh beberapa tim.
• Memberi dasar yang lebih jelas untuk menentukan prioritas berdasarkan dampak, bukan asumsi.
• Membuat hasil Short-Term Memory dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Menghubungkan pekerjaan teknis atau operasional dengan hasil yang dapat dipahami oleh pemilik bisnis.

Short-Term Memory berguna ketika tim data ingin membandingkan beberapa model berdasarkan kualitas, biaya, dan latency. Gunakan guardrail untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Contohnya, tim data ingin membandingkan beberapa model berdasarkan kualitas, biaya, dan latency. Tim mendokumentasikan kondisi awal dalam model card, menerapkan Short-Term Memory pada ruang lingkup terbatas, lalu membandingkan hallucination rate dengan safety rate. Hasil dan alasan perubahan dicatat pada evaluation set sebelum pendekatan diperluas.

• Menerapkan Short-Term Memory tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Tidak menyimpan log, baseline, atau catatan perubahan sehingga masalah yang sama sulit ditelusuri.
• Mengubah terlalu banyak faktor sekaligus sehingga penyebab peningkatan atau penurunan hasil tidak diketahui.
• Tidak menentukan pemilik tindakan sehingga temuan berhenti sebagai laporan tanpa perbaikan.