Apa Itu Function Calling?

Function Calling adalah konsep pada sistem AI yang berkaitan dengan cara model menerima input, membentuk representasi, menghasilkan keluaran, atau dievaluasi; penggunaannya perlu mempertimbangkan data, konteks, biaya, dan risiko. Secara operasional, Function Calling membantu memberi struktur pada pekerjaan yang berhubungan dengan model AI, data, prompt, evaluasi, dan otomasi berbasis kecerdasan buatan, terutama ketika hasil harus dapat diukur dan diulang.

Hal yang perlu diperhatikan adalah kualitas dataset, prompt dan model. Evaluasi tidak cukup berhenti pada satu angka; accuracy, relevance dan hallucination rate perlu dibaca bersama konteks perubahan dan dampaknya terhadap pengguna atau bisnis.

1. Untuk Function Calling, tentukan konteks penggunaan Function Calling dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya dataset, prompt, dan prompt template.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti accuracy dan relevance.

• Membantu mendeteksi risiko lebih awal sebelum berdampak pada pengguna, biaya, atau stabilitas proses.
• Membuat eksperimen dan perbaikan berikutnya lebih cepat karena pembelajaran sebelumnya terdokumentasi.
• Membuat hasil Function Calling dapat ditinjau bersama indikator seperti accuracy, relevance, dan hallucination rate.
• Memudahkan evaluasi karena perubahan dapat dibandingkan terhadap baseline dan indikator yang disepakati.

Salah satu konteks praktis Function Calling adalah saat produk AI perlu dievaluasi karena jawaban terlihat lancar tetapi beberapa faktanya salah. Gunakan guardrail untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui accuracy dan relevance.

Contohnya, tim data ingin membandingkan beberapa model berdasarkan kualitas, biaya, dan latency. Tim mendokumentasikan kondisi awal dalam guardrail, menerapkan Function Calling pada ruang lingkup terbatas, lalu membandingkan token cost dengan hallucination rate. Hasil dan alasan perubahan dicatat pada model card sebelum pendekatan diperluas.

• Menerapkan Function Calling tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menerapkan aturan yang sama ke seluruh kasus meskipun konteks, audiens, atau batasannya berbeda.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.
• Mengejar satu metrik sambil mengabaikan kualitas, biaya, pengalaman pengguna, atau risiko.