Apa Itu Data Catalog Framework?

Data Catalog Framework adalah kerangka terstruktur yang membantu tim merancang, menjalankan, dan mengevaluasi data catalog dengan tahapan serta tanggung jawab yang jelas. Secara operasional, Data Catalog Framework membantu memberi struktur pada pekerjaan yang berhubungan dengan pengumpulan, transformasi, analisis, visualisasi, dan tata kelola data, terutama ketika hasil harus dapat diukur dan diulang.

Penerapannya perlu diuji terhadap event, metric dan dimension. Hasilnya kemudian dapat dinilai melalui data completeness, accuracy dan freshness. Jika definisi, data, dan ruang lingkup tidak konsisten, tim mudah mengambil kesimpulan yang terlihat benar tetapi tidak relevan dengan tujuan.

1. Untuk Data Catalog Framework, tentukan tujuan dan ruang lingkup data catalog sebelum memilih tool atau metode.
2. Siapkan input yang relevan seperti event, metric, dan data pendukung lainnya.
3. Jalankan proses dengan kriteria keberhasilan dan penanggung jawab yang jelas.
4. Review hasil melalui data completeness, accuracy, lalu dokumentasikan perbaikannya.

• Memberi dasar yang lebih jelas untuk menentukan prioritas berdasarkan dampak, bukan asumsi.
• Mengurangi pekerjaan ulang akibat keputusan yang tidak terdokumentasi atau definisi yang berbeda.
• Membuat hasil Data Catalog Framework dapat ditinjau bersama indikator seperti data completeness, accuracy, dan freshness.
• Membuat definisi dan ruang lingkup Data Catalog Framework lebih konsisten ketika digunakan oleh beberapa tim.

Salah satu konteks praktis Data Catalog Framework adalah saat dataset besar perlu diringkas tanpa kehilangan konteks penting. Gunakan SQL query untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui data completeness dan accuracy.

Contohnya, dashboard menampilkan banyak angka tetapi pengguna tidak tahu tindakan apa yang perlu diambil. Tim mendokumentasikan kondisi awal dalam SQL query, menerapkan Data Catalog Framework pada ruang lingkup terbatas, lalu membandingkan query performance dengan decision impact. Hasil dan alasan perubahan dicatat pada dashboard sebelum pendekatan diperluas.

• Menerapkan Data Catalog Framework tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menerapkan aturan yang sama ke seluruh kasus meskipun konteks, audiens, atau batasannya berbeda.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.
• Mengejar satu metrik sambil mengabaikan kualitas, biaya, pengalaman pengguna, atau risiko.