Apa Itu Data Lineage?

Data Lineage adalah konsep data dan analytics yang digunakan untuk menyimpan, mengolah, menghubungkan, mengukur, atau menafsirkan data agar hasil analisis dapat digunakan untuk mengambil keputusan. Secara operasional, Data Lineage membantu memberi struktur pada pekerjaan yang berhubungan dengan pengumpulan, transformasi, analisis, visualisasi, dan tata kelola data, terutama ketika hasil harus dapat diukur dan diulang.

Kualitas penerapan sangat bergantung pada kejelasan data, tanggung jawab, dan batasan. event, metric dan dimension perlu divalidasi, sedangkan data completeness, accuracy dan freshness dipakai untuk membedakan perbaikan nyata dari fluktuasi biasa.

1. Untuk Data Lineage, tentukan konteks penggunaan Data Lineage dan keputusan apa yang perlu dibantu oleh istilah ini.
2. Identifikasi komponen yang terlibat, misalnya event, metric, dan dashboard.
3. Terapkan pada ruang lingkup yang jelas dan dokumentasikan asumsi agar tim memakai definisi yang sama.
4. Evaluasi dampaknya menggunakan indikator seperti data completeness dan accuracy.

• Membuat definisi dan ruang lingkup Data Lineage lebih konsisten ketika digunakan oleh beberapa tim.
• Memberi dasar yang lebih jelas untuk menentukan prioritas berdasarkan dampak, bukan asumsi.
• Membuat hasil Data Lineage dapat ditinjau bersama indikator seperti data completeness, accuracy, dan freshness.
• Menghubungkan pekerjaan teknis atau operasional dengan hasil yang dapat dipahami oleh pemilik bisnis.

Data Lineage berguna ketika pipeline data terlambat sehingga laporan harian tidak lagi mencerminkan kondisi terbaru. Gunakan data model untuk menyamakan konteks, data, dan keputusan yang akan diambil. Hasilnya dapat ditinjau melalui data completeness dan accuracy.

Sebagai contoh praktis, dashboard menampilkan banyak angka tetapi pengguna tidak tahu tindakan apa yang perlu diambil. Tim menguji Data Lineage dengan data atau skenario representatif, mencatat temuan pada data quality report, lalu memverifikasi apakah adoption membaik tanpa merusak query performance. Pembelajaran akhirnya dimasukkan ke data model.

• Menerapkan Data Lineage tanpa menjelaskan tujuan, baseline, dan keputusan apa yang akan dipengaruhi.
• Menerapkan aturan yang sama ke seluruh kasus meskipun konteks, audiens, atau batasannya berbeda.
• Menggunakan data yang periodenya, definisinya, atau sumbernya berbeda lalu membandingkannya seolah setara.
• Mengejar satu metrik sambil mengabaikan kualitas, biaya, pengalaman pengguna, atau risiko.