Interrater Reliability adalah tingkat kesalahan pengukuran tes yang dikaitkan dengan perbedaan peringkat, skor, atau pengamatan yang diberikan oleh evaluator berbeda dari peristiwa atau fenomena yang sama. Saat menggunakan orang untuk mengevaluasi atau mengamati suatu peristiwa, mungkin ada perbedaan antara skor sebenarnya dan skor yang direkam karena kesalahan manusia atau persepsi.
Dengan demikian, keandalan antar penilai (juga disebut keandalan antar pengamat) digunakan untuk memeriksa sejauh mana pengamat yang berbeda memberikan perkiraan, evaluasi, atau peringkat yang konsisten untuk fenomena yang sama. Meskipun ada berbagai cara untuk menghitung reliabilitas antar penilai (seperti persentase kesepakatan antara penilai atau penggunaan perkiraan skor z), metode yang paling tepat untuk menghitung keandalan antar penilai adalah penerapan statistik kappa yang melaporkan keandalan antar penilai sebagai proporsi dari kesepakatan lengkap dengan mempertimbangkan koreksi untuk kesepakatan kebetulan.
Keandalan antar penilai berdasarkan rentang statistik kappa dari 1 (kesesuaian sempurna) hingga −1 (kesesuaian kurang dari yang diperkirakan secara kebetulan). Skor kappa di atas 0,40 umumnya dianggap memuaskan.
Sumber : David Matsumoto, The Cambridge Dictionary of Psychology