Kinerja adalah hasil kerja yang dapat dicapai oleh pegawai atau sekelompok pegawai dalam suatu organisasi, sesuai dengan wewenang dan tanggungjawab masing-masing dalam upaya mencapai tujuan organisasi bersangkutan secara legal tidak melanggar hukum dan sesuai dengan moral dan etika. Apa yang dimaksud dengan evaluasi kinerja kebijakan publik ?
Kegiatan evaluasi merupakan tahap penting bagi keseluruhan proses analisis kebijakan publik. Kegiatan ini, selain dapat memberikan satuan-satuan nilai tertentu terhadap kebijakan yang sudah diimplementasikan, juga dapat menjadi “pintu” baru untuk memasuki kegiatan pembuatan dan analisis kebijakan berikutnya.
Evaluasi meliputi beberapa aspek yang sama penting dengan aspek-aspek yang tercakup dalam kegiatan-kegiatan analisis kebijakan tahap sebelumnya. Dalam Bab terakhir dari bagian kedua dan keseluruhan buku ini akan dibahas mengenai fungsi evaluasi kebijakan, alasan evaluasi kebijakan, kriteria untuk evaluasi kebijakan, pendekatan terhadap evaluasi, evaluasi semu, evaluasi formal, variasi evaluasi formal, evaluasi keputusan teoritis, data dan informasi untuk evaluasi, metode-metode untuk evaluasi, dan kendala evaluasi.
###Sifat Evaluasi
Evaluasi, per definitionem, dapat diartikan sebagai penaksiran (appraisal), pemberian angka (rating), dan penilaian (assessment), yaitu proses untuk menganalisis hasil kebijakan berupa pemberian satuan nilai.43 Kegiatan paling spesifik dari evaluasi berkaitan dengan bagaimana menghasilkan informasi tentang nilai dari hasil kebijakan. Dengan demikian, kegiatan evaluasi lebih banyak bertanya tentang berapa nilai sebuah kebijakan. Hal ini berbeda dengan kegiatan lainnya dalam analisis kebijakan yang lebih banyak bertanya tentang fakta-fakta atau tindakan-tindakan kebijakan.
Secara umum, terdapat 4 (empat) karakteristik pokok dari kegiatan evaluasi, yakni:
Pertama, terfokus pada nilai. Kegiatan evaluasi difokuskan pada nilai dari suatu kebijakan, atau penilaian atas keterpenuhan kepentingan atau manfaat dari keberadaan suatu program. Kegiatan evaluasi ini tidak sekedar mengumpulkan informasi tentang apakah seluruh tindakan telah dilaksanakan, tidak juga sekedar mengenai hasil dari suatu kebijakan. Lebih jauh dari itu, evaluasi mencakup aspek ketercapaian sasaran dan tujuan kebijakan.
Kedua, interdependensi antara fakta dan nilai. Untuk menyatakan bahwa sebuah kebijakan telah mencapai tujuan optimal bagi individu, kelompok, maupun masyarakat secara keseluruhan, kegiatan evaluasi membutuhkan fakta-fakta yang memadai yang menjelaskan bahwa hasil-hasil yang telah dicapai benar-benar merupakan akibat dari dilakukannya tindakan kebijakan. Oleh karenanya, kegiatan evaluasi harus berdasar pada hail-hasil pemantauan.
Ketiga, berorientasi pada masa kini dan masa lampau. Berbeda halnya dengan rekomendasi kebijakan atau peramalan yang berorientasi waktu masa depan, penilaian atas hasil kebijakan lebih diarahkan pada tuntutan-tuntutan masa kini dan masa lalu. Oleh karenanya kegiatan evaluasi bersifat retroaktif.
Keempat, bernilai ganda. Nilai-nilai yang mendasari kegiatan evaluasi mempunya kualitas ganda, di satu sisi ia dapat dipandang sebagai tujuan, dan di sisi yang lain, dapat dipandang sebagai cara. Di samping itu, evaluasi dapat juga dipandang intrinsik, yakni keberadaannya diperlukan untuk tujuannya sendiri, dan sekaligus ekstrinsik, yakni pencapaian tujuannya mempengaruhi pencapaian tujuan-tujuan kegiatan lainnya.
Evaluasi kinerja adalah penilaian pelaksanaan tugas (performance) seseorang atau sekelompok orang atau unit kerja organisasi atau perusahaan. Pemahaman mengenai pengertian evaluasi dapat berbeda - beda sesuai dengan pengertian evaluasi yang bervariatif oleh para pakar evaluasi.
Menurut Meggison, evaluasi/penilaian kinerja adalah suatu proses yang digunakan pimpinan untuk menentukan apakah seorang karyawan melakukan pekerjaannya sesuai dengan tugas dan tanggung jawabnya.
Menurut Andew E. Sikula mengemukakan bahwa penilaian pegawai merupakan evaluasi yang sistematis dari pekerjaan pegawai dan potensi yang dapat dikembangkan. Penilaian dalam proses penafsiran atau penentuan nilai, kualitas atau status dari beberapa objek orang ataupun sesuatu (barang).
Dalam proses suatu evaluasi kinerja organisasi pada umumnya memiliki tahap- tahapannya sendiri. Walaupun tidak selalu sama, tetapi yang lebih penting adalah bahwa proses sejalan dengan fungsi evaluasi kinerja itu sendiri.
Menurut Pasolong (2010) unsur-unsur dalam penilaian pelaksanaan pekerjaan, yaitu:
Kesetiaan, yaitu tekad dan kesanggupan untuk mentaati, melaksanakan dan mengamalkan sesuatu yang ditaati dengan penuh kesabaran dan tanggungjawab.
Prestasi kerja, merupakan hasil kerja yang dicapai oleh pegawai dalam melaksanakan tugas yang dibebankan kepadanya.
Tanggungjawab, merupakan kesanggupan pegawai dalam menyelesaikan pekerjaan tugas yang diserahkan kepadanya dengan sebaik-baiknya dan tepat waktu serta berani mengambil resiko atas keputusan yang telah diambil.
Ketaatan, merupakan kesanggupan pegawai untuk mentaati segala peraturan perundang- undangan dan peraturan kedinasan yang berlaku.
Kejujuran, merupakan ketulusan hati pegawai dalam melaksanakan dan kemampuan untuk tidak menyalahkan wewenang.
Kerjasama, merupakan kemampuan pegawai untuk kerjasama dengan orang lain dalam menyelesaikan tugas yang telah ditentukan.
Prakarsa, merupakan kemampuan pegawai untuk mengambil keputusan atau melaksanakan semua tindakan yang diperlukan.
Kepemimpinan, merupakan kemampuan untuk mempengaruhi orang lain sehingga dapat diarahkan secara maksimal.
Evaluasi kebijakan adalah salah satu bagian dari proses kebijakan yang tidak kalah pentingnya dengan proses kebijakan yang lain. Secara umum evaluasi kebijakan adalah sebuah penilaian yang dilakukan terhadap sebuah kebijakan apakah kebikajan tersebut efektif atau tidak efektif.
Evaluasi kebijakan sendiri tidak hanya dilakukan di akhir proses kebijakan, tetapi evaluasi kebijakan dilakukan di awal (formulasi) atau pada saat mengimplementasikan kebijakan tersebut.
Pernyataan tersebut diatas diperkuat oleh Dunn (2000), dimana ia menyatakan bahwa istilah evaluasi itu mempunyai arti yang saling berhubungan, masing-masing menunjuk pada aplikasi beberapa skala nilai, tahap hasil kebijakan dan program.
Secara umum istilah evaluasi dapat disamakan dengan penaksiran ( appraisal ), pemberian angka ( rating ) dan penilaian ( assessment ), atau kata-kata yang menyatakan usaha untuk menganalisis hasil kebijakan dalam arti satuan nilainya. Dalam arti yang lebih spesifik, evaluasi berkenaan dengan produksi informasi mengenai nilai atau manfaat hasil kebijakan. Dunn juga mengemukakan bahwa evaluasi kebijakan itu sebuah proses untuk melihat sebab-sebab kegagalan suatu kebijakan atau untuk mengetahui apakah kebijakan publik yang telah dijalankan meraih dampak yang diinginkan.
Selain itu, evaluasi kebijakan dapat dikatakan sebagai kegiatan yang mencakup substansi, implementasi dan dampak. Dalam hal ini, evaluasi kebijakan dipandang sebagi suatu kegiatan fungsional. Artinya, evaluasi kebijakan tidak hanya dilakukan pada tahap akhir saja, melainkan dilakukan dalam seluruh proses kebijakan. Dengan demikian, evaluasi kebijakan dapat meliputi tahap perumusan masalah-masalah kebijakan, program-program yang diusulkan untuk menyelesaikan masalah kebijakan, implementasi, maupun tahap dampak kebijakan.
Pendapat lain menurut Nugroho (2009), evaluasi kebijakan biasanya ditunjuk untuk menilai sejauh mana keefektifan kebijakan publik guna dipertanggungjawabkan kepada konstituennya. Sejauh mana tujuan dicapai. Evaluasi diperlukan untuk melihat kesenjangan antara harapan dan kenyataan.
Pernyataan mengenai definisi lainnya diutarakan oleh Henry (1995) bahwa, evaluasi dan analisis mencakup suatu jangkauan aktivitas yang luas dibuat untuk mendukung proses pembuatan keputusan yang sedang berjalan. Aktivitas-aktivitas ini meliputi tinjauan-tinjauan yang telah dikenal seperti perencanaan program, pengujian anggaran, analisis manajemen, perencanaan, penelitian kelembagaan, penganggaran program, analisis program, perekayasaan, analisis ekonomi, evaluasi program, analisis kebijaksanaan, analisis kelayakan ongkos dan sebagainya.
Evaluasi kebijakan merupakan sebuah penilaian terhadap suatu kebijakan atau program dengan mengukur tingkat keberhasilan atau kegagalan kebijakan tersebut. Selain itu, Evaluasi bertujuan untuk memberikan arahan atau acuan untuk program selanjutnya, atau sebagai masukan bagi suatu kebijakan yang sudah ada.
Proses evaluasi kebijakan tidak hanya menilai efektifitas dari kebijakan publik saja tanpa memberikan kontribusi untuk kebijakan itu sendiri. Pada dasarnya sebuah kebijakan dievaluasi untuk memperoleh sebuah masukan dengan kata lain ada tujuan yang ingin dicapai dari sebuah proses evaluasi kebijakan yaitu untuk memberikan masukan atau arahan untuk program selanjutnya atau masukan bagai kebijakan yang sudah ada.
Menurut Henry (1995), evaluasi dapat diarahkan untuk berbagai macam tujuan, tidak hanya sebagai alat untuk memperbaiki program-program. Kadang-kadang evaluasi dilakukan untuk membenarkan atau mendukung suatu program yang sedang berjalan dan kadang-kadang untuk meneliti atau memeriksa program tersebut supaya terhindar dari kegagalan, mengakhirinya, mengganti kepemimpinannya, atau untuk mengurangi kegiatan-kegiatannya.
Suharto (2006), mengemukakan bahwa evaluasi bertujuan untuk:
Mengidentifikasi tingkat pencapaian tujuan
Mengukur dampak langsung yang terjadi pada kelompok sasaran
Mengetahui dan menganalisis konsekuensi-konsekuensi lain yang mungkin terjadi di luar rencana.
Tujuan evaluasi kebijakan adalah sebagai alat ukur untuk mengetahui kegagalan atau keberhasilan suatu kebijakan atau program kebijakan dengan mengidentifikasi faktor-faktor apa saja yang menyebabkan kebijakan tersebut gagal atau berhasil. Maka hasil dari evaluasi akan memberikan masukan atau rekomendasi berupa dukungan atau penolakan untuk mengakhiri kebijakan tersebut.
Dunn (2000), menyatakan bahwa evaluasi mempunyai sejumlah karakteristik yang membedakannya dari metode-metode analisis kebijakan lainnya, antara lain:
Fokus nilai. Evaluasi berbeda dengan pemantauan, dipusatkan pada penilaian menyangkut keperluan atau nilai dari sesuatu kebijakan dan program.
Interdependensi fakta nilai. Tuntutan evaluasi tergantung baik fakta maupun nilai. Untuk menyatakan bahwa kebijakan atau program tertentu telah mencapai tingkat kinerja yang tertinggi (atau rendah) diperlukan tidak hanya bahwa hasil-hasil kebijakan berharga bagi sejumlah individu, kelompok atau seluruh masyarakat.
Orientasi masa kini dan masa lampau. Tuntutan evaluatif, berbeda dengan tuntutan-tuntutan advokatif, diarahkan pada hasil sekarang dan masa lalu, ketibang hasil di masa depan.
Dualitas nilai. Nilai-nilai yang mendasari tuntutan evaluasi mempunyai kualitas ganda, karena mereka dipandang sebagai tujuan dan sekaligus cara.
Kesimpulannya adalah bahwa sifat dari evaluasi kebijakan merupakan sebuah penilaian terhadap suatu kebijakan yang diperoleh dari fakta nilai untuk mengatakan bahwa kebijakan tersebut gagal atau berhasil, sesuai atau tidak sesuai dengan tujuan kebijakan dengancara membandingkanya pada masa sekarang (setelah kebijakan tersebut ada dan diimplementasikan) dan masa yang lampau (sebelum kebijakan itu ada atau lahir).
Menurut Dunn (2000) evaluasi memainkan sejumlah fungsi utama dalam analisis kebijakan, sebagai berikut:
Evaluasi kebijakan memberi informasi yang valid dan dapat dipercaya mengenai kinerja kebijakan, yaitu, seberapa jauh kebutuhan, nilai dan kesempatan telah dapat dicapai melalui tindakan publik. Dalam hal ini, evaluasi mengungkapkan seberapa jauh tujuan-tujuan tertentu dan target tertentu yang telah dicapai.
Evaluasi kebijakan memberi sumbangan pada klarifikasi dan kritik terhadap nilai-nilai yang mendasari pemilihan tujuan dan target. Nilai diperjelas dengan mendefinisikan dan mengoprasikan tujuan dan target. Nilai juga dikritik dengan menanyakan secara sistematis kepantasan tujuan dan target dalam hubungan dengan masalah yang dituju.
Evaluasi kebijakan memberi sumbangan pada aplikasi metode-metode analisis kebijakan lainnya, termasuk perumusan masalah dan rekomendasi. Informasi tentang memadainya kinerja kebijakan dapat memberi sumbangan pada perumusan ulang masalah kebijakan, sebagai contoh, dengan menunjukan bahwa tujuan dan target perlu didefinisikan ulang.
Menurut Wibawa dalam Nugroho (2009), evaluasi kebijakan publik memiliki empat fungsi , yaitu:
Eksplanasi. Melalui evaluasi kebijakan dapat dipotret realitas pelaksanaan program dan dapat dibuat suatu generalisasi tentang pola-pola hubungan antar berbagai dimensi realitas yang diamatinya. Dari evaluasi ini evaluator dapat mengidentifikasi masalah, kondisi, dan actor yang mendukung keberhasilan atau kegagalan kebijakan.
Kepatuhan. Melalui evaluasi kebijakan dapat diketahui apakah tindakan yang dilakukan oleh para pelaku, baik birokrasi maupun pelaku lainnya, sesuai dengan standar dan prosedur yang ditetapkan oleh kebijakan.
Audit. Melalui evaluasi kebijakan dapat diketahui, apakah output benar-benar sampai ketangan kelompok sasaran kebijakan, atau justru ada kebocoran atau penyimpangan.
Akunting. Dengan evaluasi kebijakan dapat diketahui apa akibat sosial-ekonomi dari kebijakan tersebut.
Berdasarkan pendapat diatas maka dapat disimpulkan bahwa fungsi dari evaluasi kebijakan adalah sebagai penafsiran, penilaian dan sebagai masukan terhadap suatu kebijakan atau program kebijkan dengan mengukur tingkat keberhasilan dan tingkat kegagalan dari kebijakan atau program kebijkan tersebut dengan memberikan rekomendasi-rekomendasi untuk menjadikan sebuah kebijakan yang baik.
Evaluasi kebijakan merupakan bagian yang tidak terpisahkan dari sebuah kebijakan publik. Ia merupakan unsur yang penting dalam siklus kebijakan, sama pentingnya formulasi, dan implemetasi kebijakan. Oleh sebab itu kebijakan publik yang berkualitas hanya mungkin dicapai jika siklus itu mendapat perhatian seimbang, dalam hal formulasi, implementasi dan evaluasi kebijakan. Hal ini relevan dengan pendapat Dye (2002) bahwa evaluasi merupakan konsekwensi dari kebijakan publik.
Sementara itu Winarno (2013) menyatakan bahwa kebijakan publik adalah suatu proses yang rumit dan panjang, mempunyai tahap-tahap kebijakan yang tiada akhir, meskipun ada ”terminasi”, tetapi ada tahap-tahap berikut yang memungkinkan lahirnya ”reformulasi” untuk melahirkan kebijakan-kebijakan baru. Siklus lahirnya kebijakan publik sampai pada lahirnya evaluasi juga diperkuat oleh Dunn (2003), Anderson (1990), dan Suharto (2010).
Sebagai sebuah siklus, maka evaluasi kebijakan merupakan satu mata rantai yang tidak bisa dipisahkan satu sama lain. Itu sebabnya jika ada kebijakan yang kemudian dievaluasi, maka hal itu adalah hal yang biasa dan tentu menjadi bagian dari upaya untuk memperbaiki atau menyempurnakan kebijakan tersebut sesuai dengan tujuan yang ingin dicapai.
Dye (1987) dalam Parsons (2008) mengemukakan bahwa evaluasi kebijakan sebagai pemeriksaan yang objektif, sistimatis, dan empiris terhadap efek dari kebijakan dan program publik terhadap targetnya dari segi tujuan yang ingin dicapai.
Kebijakan publik yang tidak tercapai sesuai dengan tujuan karena mengalami resistensi, maka hal ini akan menjadi salah satu mengapa suatu kebijakan perlu dievaluasi, apa penyebabnya dan bagaimana solusi yang harus diambil, apakah kebijakan itu harus dihentikan, dilakukan terminasi atau melaksanakan reformulasi untuk mendapatkan kebijakan baru.
Dari realitas itu sehingga Parsons (2008) menyebut bahwa evaluasi kebijakan mengandung dua aspek yang saling terkait.
Selanjutnya Lester dan Stewart (2000) mengemukakan bahwa evaluasi kebijakan dapat dibedakan ke dalam dua tugas yang berbeda, yaitu :
Pertama adalah menentukan konsekuensi-konsekuensi apa yang ditimbulkan oleh suatu kebijakan, ini dilakukan dengan cara memberi gambaran apa dampak yang ditimbulkan kebijakan tersebut.
Kedua adalah mengevaluasi keberhasilan dan kegagalan suatu kebijakan berdasar pada standar atau kriteria yang telah ditetapkan sebelumnya. Tugas pertama merujuk pada usaha melihat apakah program kebijakan publik mencapai tujuan atau dampak yang diinginkan ataukah tidak. Bila tidak, apakah, apakah faktor-faktor yang menjadi penyebabnya., tugas kedua adalah evaluasi kebijakan yang pada dasarnya berkait erat dengan tugas yang pertama.
Suatu evaluasi kebijakan menurut Jones, (1975) harus meliputi 4 kegiatan, yakni :
Pengkhususan (spesification), merupakan kegiatan yang paling penting diantara kegiatan lain dalam evaluas kebijakan, Kegiatan ini meliputi identifikasi tujuan atau kriteruia melaluimana program kegiatn tersebut mau dievaluasi. Ukuran-ukuran kriteria ini yang akan dipakai untuk menilai apakah manfaat program.
Pengukuran (measurement) menyangkut aktifitas pengumpulan informasi yang relevan denga objek evaluasi
Analisis adalah penggunaan informasi yang telah terkumpul dalam rangka menyusun kesimpulan,
Rekomendasi yakni penentuan mengenai apa yang harus dilakukan dimasa mendatang.
Anderson (1969) membagi empat kebijakan dalam tiga tipe…
Pertama, evaluasi kebijakan dipahami sebagai kegiatan fungsional. Melihat apakah suatu kebijakan bermanfaat atau memberi dampak pada kepentingan.
Tipe kedua merupakan tipe evaluasi yang memfokuskan diri pada bekerjanya kebijakan atau program-program tertentu. Tipe evaluasi seperti ini berangkat dari pertanyaanpertanyaan mendasar menyangkut : Apakah program dilaksanakan dengan semestinya ? Siapa yang menerima manfaat ?, Apakah terdapat duplikasi atau kejenuhan dengan program lain ?, Apakah ukuran-ukuran dasar prosedur secara sah diikuti ?
Dengan menggunaka pertanyaan-pertanyaan seperti ini dalam melakukan evaluasi dan memfikuskan diri pada bekerjanya kebijakan atau program-program, maka evaluasi tipe ini akan lebih membicarakan sesuatu mengenai kejujuran atau efisiensi dalam melaksnakan program.
Tipe kebijakan ketiga adalah tipe evaluas sistimatis, tipe ini melihat secara objektif program-program kebijakan yang dijalankan untuk mengukur dampak bagi masyarakat dan melihat sejauhmana tujuan-tujuan yang telah dinyatakan tersebut tercapai.
Coroll Weiss (1972) mengemukakan bahwa para pengambil keputusan program melakukan evaluasi untuk menunda keputusan, untuk membenarkan, dan mengesahkan keputusan-keputusan yang sudah dibuat, untuk membebaskan diri dari kontraversi untuk tujuan-tujuan masa mendatang dengan mengelakkan tanggung jawab, mempertahankan program dalam pandangan pemilihnya, pemberi dana, atau masyarakat, atau untuk memenuhi syarat-syarat pemerintah atau yayasan untuk ritual evaluasi. Selain itu evaluasi digunakan untuk tujuan politik tertentu.
Parameter evaluasi adalah suatu alat ukur untuk melihat sejauh mana keefektifan sebuah kebijakan dilaksanakan.Apakah kebijakan itu sudah sesuai dengan tujuan atau dapat menyelesaikan masalah atau kah kebijakan itu keluar dari tujuan yang telah ditentukan.Dalam hal ini ada beberapa pendapat dari berbagai pakar atau ahli yang mengemumakan mengenai parameter evaluasi kebijakan. Van Meter dan Van Horn dalam Agustin (2012) mengemukakan bahwa proses implementasi kebbijakan itu berjalan secara linier dari kebijakan public, implementor, dan kinerja kebijakan publik. Ada beberapa variabel yang dimasukan sebagai variabel yang mempengaruhi kebijakan publik ialah sebagai berikut:
Ukuran dan Tujuan Kebijakan
Kinerja implementasi kebiajakan dapat diukur tingkat keberhasilannya jika dan hanya jika ukuran dan tujuan dari kebijakan memang realistis di level pelaksana kebijakan.
Sumber Daya
Keberahasilan proses implementasi kebijakan sangat tergantung dari kemampuan memanfaatkan sumber daya yang tersedia. Tetapi diluar sumberdaya manusia, ada sumberdaya-sumberdaya lain yang harus diperhitungkan ialah: sumberdaya finansial dan sumber daya waktu.
Karakteristik Agen Pelaksana
Agen pelaksana dalam hal ini ialah meliputi organisasi formal dan organisasi informal yang akan terlibat dalam mengimplementasikan kebijakan publik. Hal ini dianggap penting oleh Van Meter dan Van Horn karena kinerja implementasi kebijakan akan sangat banyak dipengaruhi oleh ciri-ciri yang tepat serta cocok dengan para agen pelaksanaannya. Selai itu, cakupan atau luas wilayah implementasi kebiijakan perlu juga diperhitungkan manakala hendak menentukan agen pelaksana. Semakin luas cakupan implementasi kebijakan, maka seharusnya semakin besar pula agen yang dilibatkan.
Sikap/Kecenderungan Para Pelaksana
Sikap penerimaan atau penolakan dari (agen) pelaksana akan sangat banyak mempengaruhi keberhasilan atau tidaknya kinerja implementasi kebijakan publik. Hal ini sangat mungkin terjadi karena sebuah kebijakan itu biasanya bukan hasil dari formulasi warga melainkan kebijakan yang akan dilaksanakan oleh implementator adalah kebijakan dari atas ( top down ) yang sangat mungkin si pembuat keputusannya tidak pernah mengetahui kebutuhan, keinginan, atau permasalahan yang warga ingin selesaikan.
Komunikasi Antar Organisasi dan Aktivitas Pelaksana
Koordinaasi adalah sebuah mekanisme yang baik dalam implementasi sebuah kebijakan.
Lingkungan Ekonomi, Sosial, Politik
Yaitu berkaitan dengan sejauh mana lingkungan eksternal turut mendorong keberhasilan kebijakan publik yang telah ditetapkan, baik dukungan dari lingkungan ekonomi, sosial maupun politik.
Terdapat enam langkah dalam evaluasi kebijakan publik yakni :
Ada beberapa pertanyaan operasional untuk menjalankan riset evaluasi pertama, apakah yang menjadi isi dari program, kedua siapa yang menjadi target program ?, ketiga kapan perubahan yang diharapkan terjadi, keempat , apakah tujuan yang ditetapkan satu atau banyak, lima, apakah dampak yang diinginkan besar, keenam bagaimanakah tujuan itu dicapai.
Menurut Sahcman dari keseluruhan tahap yang dikemukakan di atas maka mengidentikasi masalah merupaka hal yamg penting sekali, kegagalan menidentifikasi masalah akan berakibat pada kegagalan.
Evaluasi kebijakan ditujukan untuk melihat sejauhmana tingkat efektifitas dan efisiensi suatu program kebijakan untuk memecahkan masalah , Efektif berkenan dengan cara yang digunakan , sedangkan Efisienasi berkenan dengan biaya-biaya yang dikeluarkan.
Tidak semua masalah publik dapat dipecahkan oleh program . BIla kondisi ini terjadi maka maka pertanyaannya adalah mengapa terjadi kegagalan. Perubahan kebijakan dan terminasi kebijakan merupakan tahap selanjutnya setelah evaluasi kebijakan. Konsep perubahan kebijakan (policy change) merujuk pada penggantian kebijakan yang sudah ada atau pengambilan kebijakan baru.
Menurut Anderson, perubahan kebijakan mengambi tiga bentuk,
Pertama, perubahan incremental pada kebijakan yang sudah ada, tidak dirumaah seluruhnya,
Kedua pembuatan undang-undang baru untuk kebijakan khusus, penggantian kebijakan yang besar sebagai akibatdari pemilihan umum kembali.
Ketiga, arah program atau program itu sendiri diganti secara besar-besaran karena elit politik atau rezim berganti.
Evaluasi kebijakan, bukan masalah yang gampang apalagi untuk disebut sederhana, sebaliknya evaluasi justru pekerjaan yang rumit sebab melibatkan banyak unsur yang saling terkait misalnya melibatkan orang-orang yang bukan saja dari pihak yang melakukan evaluasi tetapi juga terhadap orag-orang yang dievaluasi.
Selanjutnya adalah materi-materi yang akan dievaluasi, seperti apa yang akan dievaluasi dan bagaimana melakukannya. Materi yang akan dievaluasi berkaitan dengan tujuan kebijakan tersebut dan kesulitannya sering terjadi pada runag lingkup dan luasnya tujuan yang akan dievaluasi.
Winarno (2013) mengemukakan bahwa evaluasi kebijakan merupakan proses yang rumit dan kompleks. Proses ini melibatkan berbagai macam kepentingan individuindividu yang terlibat dalam proses evaluasi. Kerumitan dalam proses evaluasi juga karena melibatkan kriteria-kriteria yang ditujukan untuk melakukan evaluasi. Ini berarti bahwa kegagalan dalam menentukan kriteria akan menghambat proses evaluasi kebijakan yang akan dijalankan.
Anderson yang ditulis kembali oleh Winarno (2013) mengemukakan bahwa setidaknya enam masalah yang akan dihadapi dalam proses evaluasi kebijakan.
Pertama, ketidakpastian atas tujuan-tujuan yang disusun untuk menjalankan kebijakan seharusnya jelas. Bila tujuan-tujuan kebijakan tidak jelas atau tersebar, sebagaimana sering terjadi , maka kesulitan yang timbul adalah menentukan sejauhmana tujuan-tujuan tersebut telah dicapai. Ketidak jelasan tujuan biasanya berangkat dari proses-proses penetapan kebijakan.
Suatu kebijakan agar dapat ditetapkan biasanya harus mendapatkan dukungan dari suatu koalisi mayoritas untuk mengamankan penetapan suatu kebijakan. Seringkali terjadi suatu kebijakan membutuhkan perhatian orang-orang dan kelompok-kelompok yang memiliki kepentingan dan nilai-nilai yang berbeda. Kondisi ini mendorong terjadinya ketidak jelasan tujuan karena harus merefleksikan banyak kepentingan maupun nilai-nilai dari aktor-aktor yang terlibat di dalam perumusan kebijakan.
Kedua, kausalitas. Bila seorang evaluator menggunakan evaluasi sistimatik untuk melakukan evaluasi terhadap program-program kebijakan, maka ia harus memastikan bahwa perubahan-perubahan yang terjadi dalam kehidupan nyata harus disebabkan oleh tindakan-tindakan kebijakan.
Ketiga, dampak kebijakan yang menyebar, misalnya kita mengenal apa yag dimaksud sebagai eksternalitas atau dampak yang melimpah (externalities or spillover effects), yakni suatu dampak yang ditimbulkan oleh kebijakan pada keadaan-keadaan atau kelompok-kelompok selain kepada mereka yang menjadi sasaran atau tujuan kebijakan.
Suatu program kesejahteraan mungkin mempengaruhi tidak hanya kelompok masyarakat miskin tetapi juga kelompok-kelompok masyarakat lain seperti misalnya pembayar pajak, pejabat-pejabat pajak, masyarakat yang mempunyai pendapatan rendah yang tidak menerima keuntungan-keuntungan dari suatu program kesejahteraan.
Dampak program-program dari kelompok ini mungkin bersifat simbolik atau material, Para pembayar pajak mungkin mengeluh bahwa “bahwa uang yang mereka peroleh dengan sulit digunakan untuk menghidyupi orang-orang yang sangat malas bekerja”.
Keempat, kesulitan-kesulitan dalam memperoleh dana. Kekurangan data statistik dari informasi-informasi lain yang relevan barangkali akan menghalangi para evaluator untuk melakuka evaluasi. Model-model ekonometrik yang biasa digunakan untuk meramalkan dampak dari pengurangan pajak pada kegiatan ekonomi dapat dilakukan, tetapi data yang cocok untuk menunjukkan dampak yang sebenarnya pada ekonomi sulit untuk diperoleh.
Kelima, resistensi pejabat. Seringkali seorang pejabat meskipun menyadari bahwa program yang dilaksanakannya gagal, akan tetapi mereka menyembunyikan kegagalan tersebut hanya karena takut dipecat atau diberhentikan dari jabatannya. Oleh sebab itu evaluasi bagi mereka bukan dianggap sebagai sesuatu yang penting, malah evaluasi dianggap sebagai momok.
Karena itulah ketika ada evaluasi dilakukan oleh orang atau lembaga tertentu untuk melihat sejauhmana program itu dilaksanakan, apa hambatannya dan bagaimana mencari solusinya, mereka selalu menghalangi, bahkan menyembunyikan data-data yang dianggap penting. Hampir semua pejabat ingin disebut sukses melaksanakan programnya, dan sebaliknya sangat riskan untuk menyebut dirinya gagal, itu sebabnya mereka berupaya melakukan proteksi dengan berbagai cara, antara lain membangun pencitraan, melalui ekspos terhadap hal-hal yang dianggap baik dan menyembunyikan hal-hal yang dianggap buruk. Disamping itu, menghalang-halangi, malah kalau perlu membujuk hingga menyuap evaluator.
Keenam, evaluasi mengurangi dampak. Hal ini sering terlihat pada diabaikannya atau dikritiknya evaluasi sebagai sesuatu yang tidak mendasar atau malah dianggap tidak meyakinkan. Demikian juga evaluasi dituding tidak direncanakan dengan baik, data yang digunakan kurang mamadai dan sebagainya. Hal seperti inilah mengapa suatu evaluasi biasa tidak mendapat perhatian bahkan mungkin diabaikan meskipun evaluasi itu benar adanya.