Logika Terbalik Uji Coba Instrumen ~ #1 SeriesKPP

Series ini akan mencoba membedah kesalahan-kesalahan penelitian pendidikan (KPP). Anda dapat lihat artikel lain pada tag #seriesKPP. Pada bagian pertama ini, kita akan membahas tentang uji coba tes, pilot test, dan validasi tes atau kuesioner.

Latar belakang kesalahan:

1. Pelaksanaan uji coba instrumen yang manipulatif, memaksakan data agar fit, perbudakan nilai signifikansi, orientasi instrumen valid dan reliabale yang berlebihan
2. Ambisi kesempurnaan hasil penelitian, bukan proses penelitian
3. Uji coba instrumen pengumpulan data setelah digunakan
4. Penggunaan data dari instrumen yang tidak valid

Kami rasa, tidak ada yang bisa disalahkan 100% dalam hal ini. Iklim penelitian yang memaksa sempurna, kegagalan penelitian yang tidak bisa diterima, dan formalitas data adalah faktor- faktor utama yang menyebabkan kesalahan penelitian ini terus-terusan terjadi.

Memperbaiki kesalahan ini melibatkan keseriusan birokrasi universitas, dosen sebagai pendidik, dan mahasiswa sendiri yang pelaku penelitian utama.

Sebuah Kesalahan yang Membudaya

Dalam dunia penelitian pendidikan S1 dan S2, mungkin kita pernah mendengar ungkapan seperti ini:

“Aku uji coba soal setelah perlakukan aja deh, nggak cukup waktunya.”, “Aku paksa siswa untuk jawab benar, biar soal-soalku valid.”, “Aku manipulasi data hasil penelitian aja deh. Biar semua soal dan kuesionerku bisa digunakan.”

Dalam penelitian pendidikan, instrumen adalah fundamental. Instrumen adalah alat penilaian. Alat penilaian harus akurat, artinya sebuah instrumen harus mengandung kesalahan kekecil-kecilnya (Mardapi, 2017, p. 11). Bagaimanapun caranya, tugas seorang peneliti adalah mereduksi potensi kesalahan yang terjadi dalam instrumen yang digunakan.

Saat instrumen penilaian salah, konsekuensinya adalah data yang didapatkan salah. Ketika datanya salah, maka hasilnya salah. Ketika hasilnya salah, salah juga interpretasinya. Ketika salah interpretasinya, salah juga kesimpulannya. Akhirnya, hasil penelitian pun cacat. Jika cacat karena kelalaian mungkin masih bisa dimaafkan, tapi kalau cacat karena disengaja, ya fatal akibatnya.

“Alah, kan cuman penelitianku saja yang manipulasi, toh juga terpaksa kok…”

Bayangkan ada 25% peneliti pendidikan di Indonesia bilang seperti itu, maka 25% pula penelitian pendidikan di Indonesia terindikasi salah. Hilirnya, penelitian salah pun disitasi. Hasil penelitian dari instrumen yang cacat pun disitasi, dijadikan referensi, dijadikan rujukan. Akhirnya ya cacat semuanya…

Meluruskan Tahap Uji Coba Soal

Mari kita kesampingkan jenis penelitian pengembangan soal, kita fokus saja penelitian kuasi-eksperimen. Misal seorang peneliti menggunakan rancangan pre- dan pasca-tes (gambar 1). Rancangan ini mengandung tahap pre-test dan post-test. Dari namanya saja, kita bisa tahu bahwa tes disini memainkan peran yang sangat besar.

Memilih kelompok kontrol	Pra-tes	Tidak ada perlakuan	Pasca-tes
Memilih kelompok eksperimen	Pra-tes	Perlakuan eksperimental	Pasca-tes

Kita tahu, kuasi eksperimen itu menggunakan kelompok utuh (bukan partisipan random), sehingga banyak tantangan yang dihadapi, terutama pada validitas dan generalisasi eksternal (Gopalan et al., 2020). Sudah tahu banyak tantangan validitas, kok ya masih ditambah dengan penggunaan instrumen yang cacat validitas.

Jadi, logikanya jangan ‘yang penting soal sudah diuji coba’, ‘yang penting soal sudah dianalisis dan valid’, ‘yang penting ada data validitas yang bisa ditampilkan’. Jangan seperti itu logikanya.

Logika-logika ‘yang penting’ inilah yang mendegradasi kualitas penelitian pendidikan. Proses uji coba instrumen itu sebuah kewajiban, bukan pilihan. Logikanya jangan ‘yang penting‘ tapi ‘penting untuk‘.

Penting untuk uji coba instrumen dengan benar, penting untuk analisis data dengan benar, penting untuk melakukan penelitian dengan benar.

Lantas ada mahasiswa bertanya, “Kan ini waktunya nggak cukup, mepet banget, soalnya validasi dari dosen lama banget! Nggak selesai-selesai.”

Wes tho, uji coba aja dulu, lakukan pilot test terlebih dahulu. Partisipan penelitian Anda itu siswa/mahasiswa, bukan dosen. Jadi, inti validasi harus bertumpu pada partisipan.

Meski validasi isi pada para ahli (dosen) penting (banget), tapi kalau terlalu lama, lebih baik uji coba ke partisipan terlebih dahulu, baru setelah itu analisis dari hasil validasi dosen. Daripada soal dipake dalam keadaan nggak jelas kondisinya gimana.

Yang jelas, instrumen pengumpulan data harus dan wajib diuji coba terlebih dahulu sebelum digunakan untuk penelitian utama—apalagi dalam desain eksperimen.

Validasi mepet itu seringkali bukan salah dosen. Tapi ya salah mahasiswa sendiri, kenapa nggak sedari awal membuat matrikulasi penelitian, direncanakan secara sistematis dan terstruktur. Sehingga nggak acak-acakan prosedur penelitiannya.

“Giliran sudah mepet nyalahin dosen. Haduh…”

Toh, tahap uji coba soal itu nggak perlu banyak-banyak. 30-100 siswa sebenarnya sudah cukup. Dengan sampel segitu, sudah bisa juga kok pakai Analisis Rasch model (Sumintono & Widhiarso, 2015, p. 92). Meskipun untuk untuk estimasi akurasi yang tinggi minimal 500 partisipan. Tapi saya rasa, tidak perlu sempurna. Mendekati benar dulu saja sudah bagus…

Fokus saja cari tahu apa kekurangan instrumen Anda di mata partisipan. Misalnya, kalimatnya sulit dipahami, gambarnya burek/jelek, ada jawaban yang double, dan lain-lain. Sehingga saat digunakan pada tahap penelitian utama, instrumen tersebut dalam keadaan yang optimal.

Jadi, jangan biasakan memanipulasi data atau desain. Logika penelitian yang salah harus diluruskan. Yang penting proses-nya benar terlebih dahulu. Penelitian yang baik itu tidak perlu sempurna, keren, bagus, dan penuh pujian, tapi yang penting benar dulu…

Referensi:

Creswell, J. W. (2016). Riset Pendidikan: Perencanaan, Pelaksanaan, dan Evaluasi Riset Kualitataif & Kuantitatif (4th ed.). Pustaka Belajar.

Gopalan, M., Rosinger, K., & Ahn, J. B. (2020). Use of Quasi-Experimental Research Designs in Education Research: Growth, Promise, and Challenges. Review of Research in Education, 44(1), 218-243. https://doi.org/10.3102/0091732X20903302

Mardapi, Djemari. (2017). Pengukuran, Penilaian dan Evaluasi Pendidikan. Parama Publishing.

Sumintono, B dan Widhiarso, W. (2014). Aplikasi Model Rasch untuk Penelitian Ilmu-ilmu Sosial. Trim Komunikata Publishing House.