Pengertian instrumen dalam lingkup evaluasi didefinisikan sebagai perangkat untuk mengukur hasil belajar siswa yang mencakup hasil belajar dalam ranah kognitif, afektif dan psikomotor. Bentuk instrumen dapat berupa tes dan non tes. Instrumen bentuk tes mencakup : tes uraian (uraian objektif dan uraian bebas), tes pilihan ganda, jawaban singkat, menjodohkan, benar-salah, unjuk kerja (performance test), dan portofolio. Instrumen bentuk non tes mencakup: wawancara, angket dan pengamatan(observasi). Sebelum instrumen digunakan hendaknya dianalisis terlebih dahulu. Dua karakteristik penting dalam menganalisis instrumen adalah validitas dan reliabilitasnya.
Instrumen dikatakan valid (tepat, absah) apabila instrumen digunakan untuk mengukur apa yang seharusnya diukur. Instrumen untuk mengukur kemampuan matematika siswa sekolah dasar tidak tepat jika digunakan pada siswa Sekolah menengah. Dalam hal ini sasaran kepada siapa instrumen itu ditujukan merupakan salah satu aspek yang harus dipertimbangkan dalam menganalisis validitas suatu instrumen. Aspek lainnya misalnya kesesuaian indikator dengan butir soal, penggunaan bahasa, kesesuaian dengan kurikulum yang berlaku, kaidah-kaidah dalam penulisan butir soal dsb.
Apa yang terjadi jika panjang meja diukur dengan menggunakan karet? Tentu hasil pengukuran akan berbeda pada situasi yang berbeda karena karet sifatnya elastis sehingga hasil pengukuran akan berbeda walaupun objek yang diukur sama. Dalam hal ini alat ukur yang digunakan dalam mengukur meja dikatakan tidak tepat (valid) dan tidak konsisten (reliabel). Suatu instrumen dikatakan reliabel (ajeg, konsisten) apabila instrumen tersebut digunakan pada situasi yang berbeda hasil pengukuran relatif stabil
Ilustrasi tentang validitas dan reliabilitas dapat dinalogikan dengan seorang penembak menggunakan senapan menembakkan beberapa peluru ke sasaran. Senapan sebagai alat yang digunakan penembak dapat dikatakan tepat (valid), namun apakah hasil tembakkannya konsisten (reliabel)?
VALIDITAS INSTRUMEN
Validitas instrumen dapat ditinjau dari dua aspek yaitu validitas keseluruhan instrumen dan validitas butir soal (item) instrumen. Menganalisis validitas instrumen dapat dilakukan dengan cara logis dan dengan cara empiris. Cara logis dalam memvalidasi instrumen artinya instrumen dianalisis dengan cara rasional yaitu dengan menganalisis kesesuaian instrumen dengan materi dan tuntutan kurikulum yang berlaku. Sedangkan menganalisis instrumen dengan cara empiris artinya instrumen di analisis kesesuaiannya dengan pengalaman.
Validitas logis:
1. Validitas isi (Content Validity)
Instrumen dapat dikatakatan memenuhi validitas isi apabila materi yang akan diukur melalui instrumen tersebut sesuai dengan materi yang tertuang dalam kurikulum yang berlaku.
2. Validitas konstruk (Construct validity)
Instrumen dapat dikatakatan memenuhi validitas konstruk apabila butir-butir soal (item) pada instrumen sesuai dengan indikator yang telah dibuat. Indikator merupakan ukuran ketercapaian kompetensi dasar yang tertuang dalam KTSP. Sebagaimana validitas isi maka untuk memvalidasi instrumen dalam kaitannya dengan validitas konstruk, cukup dilakukan oleh para ahli, sehingga disarankan instrumen perlu dinilai (dijudge) oleh ahlinya.
Validitas Empiris:
Seiring dengan makna validitas empiris, yaitu kesesuaian dengan pengalaman, maka validitas empiris dapat dibagi dalam dua kategori yaitu kesesuaian dengan pengalaman yang telah lampau (validitas kebersamaan=concurrent validity), dan pengalaman yang akan datang (validitas ramalan = predictive validity).
1. Validitas kebersamaan (Concurrent validity)
instrumen dikorelasikan dengan instrumen lain sejenis yang telah dilakukan misalnya dengan ulangan harian atau tes sumatif sebagai kriteria masa lalu.
2. Validitas ramalan (predictive validity)
Sejauhmana hasil tes dapat meramalkan keberhasilan siswa dimasa datang?
Misalnya instrumen yang digunakan untuk seleksi calon mahasiswa masuk ke perguruan tinggi. Tes seleksi dikatakan memiliki tingkat validitas ramalan tinggi apabila calon mahasiswa yang lulus tes dapat mengikuti perkuliahan di perguruan tinggi dengan prestasi sesuai dengan nilai hasil seleksi. Makin tinggi nilai hasil seleksi, maka makin baik prestasi mahasiswa yang bersangkutan ketika mengikuti perkuliahan di perguruan tinggi. Jika terjadi sebaliknya, maka dikatakan tes hasil seleksi memiliki validitas ramalan rendah