Apa penyebab dari kualitas data yang buruk?

Menurut Mark Mosley (2008), dalam bukunya “Dictionary of Data Management”, pengertian kualitas data adalah level data yang menyatakan data tersebut akurat (accurate), lengkap (complete), timely (update), konsisten (consistent) sesuai dengan semua kebutuhan peraturan bisnis dan relevan. Apa penyebab kualitas data yang buruk?

Ada banyak potensi alasan untuk kualitas data yang buruk, termasuk:

  1. Jumlah terkumpul yang berlebihan. — terlalu banyak data yang terkumpul dapat menyebabkan sedikit waktu untuk mengerjakan dan akhirnya mengambil “jalan pintas” untuk menyelesaikan laporan.
  2. Terlalu banyak langkah-langkah manual — memindahkan jumlah atau angka, menjumlahkan data, dll diantara lembar kerja yang berbeda.
  3. Definisi yang tidak jelas. — interpretasi yang salah dari bagian dari data yang harus diisi.
  4. Kurangnya penggunaan informasi — tidak ada dorongan untuk meningkatkan kualitas.
  5. Fragmentasi sistem informasi — dapat menyebabkan duplikasi pelaporan.

Lima besar alasan dari kualitas data yang buruk


451 Research baru-baru ini merilis sebuah laporan berjudul, “The State of Enterprise Data Quality: 2016, The Role of DQM in Machine Learning and Predictive Analysis.” Penulisnya adalah Carl Lehmann, Krishna Roy dan Bob Winter. Sebuah kunci penemuan dari survei mereka terhadap ratusan Profesional TI. penyebab utama kualitas data yang buruk, yang tercantum dalam tabel di bawah ini:

  1. Pemasukan data oleh karyawan: Tidak mengherankan, penyebab utama adalah human error. Seiring gangguan tumbuh dan perhatian atau fokus menyusut, sangat tidak mungkin data kedepannya akan masuk lebih akurat. Kabar baiknya adalah revolusi Internet-of-Things (IoT) yang terus berlanjut berjanji untuk mengurangi ketergantungan pada manusia, karena mesin dan sensor yang lebih cerdas mengumpulkan data dari sumbernya dan menyampaikannya secara langsung ke sistem TI perusahaan.

  2. Migrasi data dan proyek konversi: Migrasi data ke sistem baru membawa risiko yang melekat pada kualitas data. Data yang buruk dapat terjadi dimana mana. Nilai dari suatu data dapat menjadi Data values can be tidak beraturan, hilang atau salah tempat. Bahkan di spreadsheet, validasi cell-level tidak cukup ketat untuk mencegah. Sistem basis data sering mengandalkan manusia untuk memeriksa integritas referensi referensi untuk menghentikan outlier yang tidak terduga dari menyelinap masuk ke sistem.

  3. Entri yang tercampur oleh beberapa pengguna: Petunjuk tentang bagaimana data harus dimasukkan terbuka untuk interpretasi, sehingga orang yang berbeda terkadang salah mengisi suatu bidang / section tanpa menyadarinya. Contohnya adalah pengaturan Manajemen Aset TI yang memasukkan penamaan produsen server secara berbeda. Beberapa manajer aset mungkin memasukkan “Dell Inc.,” “Dell” atau “Dell Computer” untuk vendor yang sama. Alat Manajemen Mutu Data harus digunakan untuk menormalisasi varians tersebut.

  4. Perubahan pada sumber sistem: Pengguna aplikasi bertanggung jawab atas konsistensi data yang mereka masukkan dan pertahankan di seluruh aplikasi. Application users are responsible for the consistency of the data they enter and maintain across application and configuration changes. Bagian Penjaminan Mutu dan para Programmer aplikasi cenderung berfokus pada perubahan fungsional daripada dampak pada data yang digunakan oleh aplikasi.

  5. Sistem Error: Di masa lalu, program aplikasi berjalan di satu komputer. Aplikasi hari ini, sebaliknya, berinteraksi dengan banyak komputer, membuatnya jauh lebih kompleks. Jika sistem ini tidak memiliki cukup kelebihan built-in, maka mereka juga bisa sangat rapuh dan rentan terhadap kegagalan. Sistem yang tradisional cenderung tidak merusak data karena lebih sederhana. Seiring aplikasi tumbuh lebih komples dan terdistribusikan ke lebih banyak komputer, korupsi data menjadi semakin umum dan sulit untuk diisolasi dan diperbaiki.

Sources

http://www.blazent.com/top-5-causes-poor-data-quality/
https://docs.dhis2.org/2.23/en/implementer/html/ch13s02.html

Berikut adalah beberapa penyebab data yang buruk

1. Kualitas masuk: Apakah informasi masuk ke sistem dengan benar pada asalnya?

2. Kualitas proses: Apakah integrasi informasi dipelihara secara baik selama pemrosesan melalui sistem

3. Identifikasi kualitas: Apakah dua objek serupa diidentifikasi secara sama atau berbeda?

4. Integrasi kualitas: Apakah semua informasi yang diketahui tentang suato objek terintegrasi sampai pada titik pemberian representasi objek yang akurat?

5. Kualitas penggunaan: Apakah informasi digunakan dan diinterpretasikan dengan benar pada titik akses?

6. Kualitas penuaan: Apakah waktu sudah berlalu lama sampai keabsahan informasi sudah tidak bisa lagi dipercaya?

7. Kualitas organisasi: Dapatkah informasi yang sama dapat digunakan diantara dua sistem berdasarkan cara organisasi menyusun dan melihat data?

https://www.melissadata.com/enews/articles/0611/2.htm

penyebab kualitas data yang buruk

  1. Memasukan data oleh karyawan: Tidak mengherankan, penyebab utama (dengan margin besar) adalah kesalahan manusia. Seiring gangguan tumbuh dan rentang perhatian menyusut, sangat tidak mungkin data di masa depan akan masuk lebih akurat. Kabar baiknya adalah revolusi Internet-of-Things (IoT) yang terus berlanjut berjanji untuk mengurangi ketergantungan pada manusia, karena mesin dan sensor yang lebih cerdas mengumpulkan data dari sumbernya dan menyampaikannya secara langsung ke sistem TI perusahaan.

  2. Migrasi data dan proyek konversi: Memindahkan data ke sistem baru membawa risiko yang melekat pada kualitas data. Data buruk ada dimana-mana. Nilai data bisa tidak beraturan, hilang atau salah tempat. Bahkan di spreadsheet, validasi tingkat sel tidak cukup ketat untuk mencegah kejutan. Sistem basis data sering mengandalkan manusia untuk memeriksa integritas referensi referensi untuk menghentikan outlier yang tidak terduga dari menyelinap masuk ke sistem ini.

  3. Entri campuran oleh banyak pengguna: Petunjuk tentang bagaimana data harus dimasukkan terbuka untuk interpretasi, sehingga orang yang berbeda terkadang salah mengisi lapangan tanpa menyadarinya. Contohnya adalah pengaturan Manajemen Aset TI yang memasukkan penamaan produsen server secara berbeda. Beberapa manajer aset mungkin memasukkan “Dell Inc.,” “Dell” atau “Dell Computer” untuk vendor yang sama. Alat Manajemen Mutu Data harus digunakan untuk menormalisasi varians tersebut.

  4. Perubahan pada sistem sumber: Pengguna aplikasi bertanggung jawab atas konsistensi data yang mereka masukkan dan pertahankan selama aplikasi dan perubahan konfigurasi. Bagian Penjaminan Mutu dan pemrogram aplikasi cenderung berfokus pada perubahan fungsional daripada dampak pada data yang digunakan oleh aplikasi. Seringkali, hanya tim pengembangan aplikasi yang mengerti mengapa data dikelola dengan cara tertentu. Seiring organisasi meningkatkan penggunaan pihak ketiga untuk mengelola aplikasi yang dikembangkan secara in-house, pengetahuan terkait semantik aplikasi ini tidak dikomunikasikan kepada pihak ketiga. Karena pihak ketiga membuat perubahan pada bagaimana fungsi aplikasi, mereka dapat secara tidak sengaja merusak integritas data yang digunakannya.
    Source:
    http://www.blazent.com/top-5-causes-poor-data-quality/