PENGEMBANGAN SISTEM EVALUASI[1]

----------------------------------------------------

Ahmad Rohani HM.[2]

Pendahuluan

Judul makalah ini ditulis atas permintaan Panitia. Menurut pemahaman penulis, pengembangan sistem evaluasi dimaksudkan sebagai upaya meningkatkan wawasan (praksis; praktik evaluasi yang dipandu oleh teori) dosen mengenai cara melakukan evaluasi (evaluation, suatu kegiatan atau proses untuk mengetahui mutu performansi mahasiswa, mengetahui apakah tujuan program perkuliahan dapat dicapai efektif dan efiien) dengan baik dan benar. Dalam arti luas, evaluasi yang baik dan benar melibatkan pengukuran dan penilaian[3]. Hal ini sejalan dengan definisi: evaluation is a systematic process of collecting and analyzing data in order to determine wether, and to what degree, objectives have been or are being achived. Evaluasi merupakan proses (kegiatan) sistematik melalui pengumpulan dan analisis data (pengukuran) guna menentukan tingkat ketercapaian tujuan (penilaian).

Dalam pengukuran (measurement) kita mendeskripsikan performansi, menjaring data dengan menggunakan skala kuantitatif, skala kontinum. Untuk ini kita menggunakan alat ukur tes / eksaminasi atau nontes. Tes adalah sekumpulan pertanyaan yang harus dijawab, atau serangkaian tugas yang harus diselesaikan, atau sejumlah permasalahan yang harus dipecahkan. Dalam penilaian kita mengambil keputusan terhadap performansi mahasiswa dengan ukuran kualitatif. Dalam mengambil keputusan kita mendasarkan pada data kuantitatif dari hasil pengukuran.

Selanjutnya, makalah singkat ini memaparkan beberapa pikiran mengenai sistem evaluasi dalam kaitan dengan sistem instruksional (pembelajaran, perkuliahan), meliputi : (1) taksonomi hasil pendidikan / belajar; (2) konsep dasar pengukuran hasil pendidikan / belajar; (3) prosedur pengembangan alat ukur.

Taksonomi hasil pendidikan / belajar

Luasan atau ruang lingkup hasil pendidikan atau belajar sekaligus sasaran pembelajaran di lembaga-lembaga pendidikan formal di Indonesia, umumnya diklasifikaikan menjadi 3 (tiga) ranah[4] yaitu: cognitive domain, affective domain, dan psychomotor domain.

Pada domain (dimensi atau ranah) kognitif menurut konsep awal yang disusun tahun 1956 dari Bloom, et al., urutan liniernya sbb.:

Evaluation

Synthesis

Analysis

Application

Comprehension

Knowledge

Dipihak lain, Madaus, et al. (1973)[5] mengatakan, keenam ranah tersebut tidak seluruhnya dalam urutan linier karena ranah-ranah analisis, sintesis, dan evaluasi terletak pada garis horisontal, sehingga strukturnya menjadi:

Analysis Evaluation

Synthesis

Application

Comprehension

Knowledge

Dalam perkembangannya, taksonomi pada domain kognitif ini pada pengujung abad 20 (1999) telah direvisi, yang diawali dari gagasan David Krathwohl yang adalah pengarang asli Handbook, bersama Virginia Blanford. Pada taksonomi yang baru, hasil revisi sebagaimana dalam tabel berikut:

The Taxonomy Table[6]

THE KNOWLEDGE DIMENION	THE COGNITIVE PROCESS DIMENSION
	1. Remember	2. Understand	3. Apply	4. Analyze	5. Evaluate	6. Create
A. Factual Knowledge
B. Conceptual Knowledge
C. Procedural Knowledge
D. Meta-Cognitive Knowledge

Pada domain yang kedua, adalah domain afektif. Domain ini adalah yang paling sulit untuk dipahami dan digarap secara operasional. Karena, selain kawasan afektif belum berhasil dikembangkan oleh para pakar secara sistematis, juga kenyataan masih sulit untuk merumuskan tujuan pendidikan / pembelajaran yang memiliki muatan afektif berikut evaluasinya[7].

Ranah afektif itu demikian luas karakteristiknya. Krathwohl, et al (1973) menyebutkan ranah afektif meliputi interest, appreciation, attitude, value, dan adjusment. Selengkapnya, struktur afektif dari Kratwohl, et al.[8] dalam bingkai tingkatan internalisasi adalah sbb.:

1. Minat, meliputi 3 tingkat internalisasi
1. receiving (1)

Ø kesadaran

Ø keinginan untuk menerima

Ø perhatian terkontrol

2. responding (2)

Ø persetujuan (diam-diam) dalam merespon

Ø keinginan merespon

Ø kepuasan merespon

3. valuing (3)

Ø menerima suatu nilai

Ø memilih suatu nilai

2. Apresiasi
1. receiving (1)

Ø keinginan untuk menerima

Ø perhatian terkontrol

2. responding (2)

Ø persetujuan (diam-diam) dalam merespon

Ø keinginan merespon

Ø kepuasan merespon

3. valuing (3)

Ø menerima suatu nilai

Ø memilih suatu nilai

3. Sikap
1. responding (2)

Ø keinginan merespon

Ø kepuasan merespon

2. valuing (3)

Ø menerima suatu nilai

Ø memilih suatu nilai

Ø komitmen (keterikatan melakukan sesuatu)

3. organization (4)

Ø konseptualiasi suatu nilai

4. Nilai
1. responding (2)

Ø keinginan merespon

Ø kepuasan merespon

2. valuing (3)

Ø menerima suatu nilai

Ø memilih suatu nilai

Ø komitmen

3. organization (4)

Ø konseptualiasi suatu nilai

5. Penyesuaian diri
1. responding (2)

Ø keinginan merespon

Ø kepuasan merespon

2. valuing (3)

Ø menerima suatu nilai

Ø memilih suatu nilai

Ø komitmen

3. organization (4)

Ø konseptualiasi suatu nilai

Ø organisasi sistem nilai

4. character (5)

Ø kesiapan yang tergeneralisasi

Ø karakterisasi

Bloom (1976) menekankan karakteristik afektif berupa attitudes (terkait dengan isi dan isu pelajaran), self-esteems (terkait perasaan personal mengenai nilai dan kesuksesan), interests (terkait dengan aktivitas), and values (terkait dengan standar personal)[9].

Ranah yang ketiga adalah psikomotor. Istilah psikomotor (psychomotor), terkait dengan kata motor, sensory-motor, atau perceptual-motor. Ranah psikomotor erat kaitannya dengan kerja otot yang menjadi penggerak tubuh dan bagian-bagiannya, mulai dari gerak yang paling sederhana seperti gerakan-gerakan dalam shalat sampai dengan gerakan-gerakan yang kompleks seperti gerakan-gerakan dalam praktik manasik ibadah haji. Ada beda makna antara skills (keterampilan) dan abilities (kemampuan). Keterampilan lebih terkait dengan psikomotor, sedangkan kemampuan terkait dengan kognitif selain pikomotor itu sendiri.

Taksonomi dalam ranah psikomotor dirumuskan oleh Anita J. Harrow (1976).. Menurutnya, ada 6 tingkat klasifikasi dalam ranah psikomotor yaitu [10]:

(1) Reflex Movements (gerakan refleks), yakni respons gerakan yang tak disadari yang dimiliki individu sejak lahir, mencakup: refleks segmental, refleks intersegmental, dan refleks suprasegmental. Ketiga refleks ini terkait dengan gerakan-gerakan yang dikoordinasikan oleh otak dan bagian-bagian sumsum tulang belakang.

(2) Basic-Fundamental Movements (basik gerakan dasar), yaitu gerakan-gerakan yang menuntut kepada keterampilan yang kompleks sifatnya, meliputi : gerakan lokomotor (gerakan yang mendahului kemampuan berjalan seperti tengkurap, merangkak, memanjat); gerakan nonlokomotor (gerakan dinamik dalam suatu ruangan yang bertumpu pada suatu sumbu tertentu); gerakan manipulatif (gerakan yang terkoordinasikan seperti gerakan dalam ibadah shalat).

(3) Perseptual Abilities (kombinasi dari kemampuan kognitif dan gerakan) meliputi : diskriminasi kinestetik (menyadari akan gerakan tubuh seseorang)

- kesadaran bodi (menyadari gerakan pada dua sisi tubuh, satu sisi tubuh, keseimbangan atau keberatsebelahan);

- imej bodi (perasaan adanya gerakan yang terkait dengan badannya sendiri);

- hubungan bodi dengan lingkungan sekitar (arah dan kesadaran badan kaitannya dengan lingkungan ruang sekitar);

diskriminasi visual :

- kemampuan membedakan bentuk dan bagian

- kemampuan mengikuti objek

- mengingat pengalaman visual

- membedakan figur yang dominan di antara latar belakang yang kabur

- konsistenssi, pengenalan konsep viual;

(4) Physical Abilities (kemampuan yang diperlukan untuk mengembangkan gerakan-gerakan keterampilan tingkat tinggi, meliputi ketahanan, kekuatan, kellenturan, kecerdasan otak (agility) atau kemampuan untuk bergerak cepat.

(5) Skilled Movements (gerakan yang memerlukan belajar) misal keterampilan menakar atau menimbang beras zakat fitrah, meliputi keterampilan adaptasi terkait dengan basik gerakan dasar; keterampilan adaptasi kombinasi misal menggunakan peralatan tertentu; keterampilan adaptasi kompleks seperti menguasai mekanime seluruh tubuh dalam gerakan-gerakan shalat;

(6) Non-Discursive Communication (kemampuan berkomunikasi dengan menggunakan gerakan), meliputi : gerakan ekspresif; gerakan interpretif seperti gerakan dalam seni dan kreatif (improvisasi).

Sementara taxonomi psikomotor versi Simpson mencakup 7 kategori: (1) Perception (persepsi) mencakup kemampuan mengadakan diskriminasi yang tepat antara dua atau lebih perangsang menurut ciri-ciri fisiknya; (2) Set (kesiapan) yakni menempatkan diri dalam keadaan akan memulai suatu gerakan; (3) Guided Response (gerakan terbimbing) yaitu kemampuan untuk melakukan serangkaian gerak sesuai contoh; (4) Mechanical Response (gerakan terbiasa) berupa kemampuan melakukan gerakan dengan lancar karena latihan cukup; (5) Compex Response (gerakan kompleks) mencakup kemampuan melaksanakan keterampilan yang meliputi beberapa komponen dengan lancar, tepat, urut, dan efisien; (6) Adjusment (penyeuaian pola gerakan) yaitu kemampuan mengadakan perubahan dan penyesuaian pola gerakan seuai kondisi yang dihadapi; (7) Creativity (kreativitas) yang berupa kemampuan untuk menciptakan pola gerakan baru berdasarkan inisiatif dan prakarsa sendiri.

Konsep dasar pengukuran hasil pendidikan / belajar

Bagian penting dalam evaluasi adalah pengukuran. Pengukuran hasil pendidikan / pembelajaran tidak sama dengan pengukuran lainnya. Karena, hasil pendidikan / pembelajaran itu terkait dengan konstrak-konstrak psikologik yang sifatnya latent dan abstract, utamanya pada ranah kognitif dan afektif, keduanya merupakan traits (properties) psikologik seperti, achievements, interests, attitudes, aptitudes, personality, dsb. Karena pengukuran pendidikan terkait dengan fenomena pikometrik, psikologik, sementara banyak alat ukur (buatan dosen) yang unstandardized, maka banyak ditemukan hasil evaluasi yang unaccountable, unresponsible, unrepresentative, dan tentu saja tidak memadai. Hal ini terjadi karena adanya measurement error baik karena faktor human error maupun technical error. Ingat! Dalam perspektif Islam, pengukuran yang salah ancamannya adalah “neraka wail”, karena selain menghasilkan informasi yang sesat dan salah sekaligus mengakibatkan terjadinya kesalahan dalam pengambilan keputusan (penilaian).

Sekali lagi hasil pendidikan / pembelajaran adalah berupa traits pikologik. Pengukurannya adalah bersifat tidak langsung (indirect measurement) dengan cara memberikan “stimulus” atau alat ukur baik berupa tes maupun nontes. Jika stimulus yang diberikan benar-benar berkualifikasi baik maka akan memunculkan “responsi” atau jawaban-jawaban yang representatif atas traits pikologik yang dikehendaki muncul. Perhatikan diagram di bawah:

Dalam melakukan pengukuran hasil pendidikan / pembelajaran, measurement error tidak dapat dihindari. Teoretik, hal ini bisa ditoleransi dalam batas-batas tertentu. Kita haru s berusaha meminimalisasi kesalahan pengukuran ini, dengan cara menghasilkan dan atau menggunakan alat ukur yang benar-benar berkualifikasi baik, memadai yang ditandai dengan sejumlah indikator. Tuntutan ini dapat dipenuhi jika proses pengembangan alat ukurnya dirancang sedemikian hingga tahap “penskoran” dan penafsiran serta pemaknaan skor. Untuk itu, kita perlu melakukan praksis evaluasi secara terus-menerus.

Prosedur pengembangan alat ukur

Terdapat 4 (empat) hal pokok yang harus dipahami dalam pengembangan alat ukur (tes): (1) Jelaskan konstrak (ciri terpendam) yang hendak diukur; (2) Tentukan stimulus apa yang hendak digunakan dan bagaimana mengembangkannya; (3) Apa bentuk responsi yang diharapkan muncul; (4) Bagaimana menafirkan secara memadai atas responsi yang muncul dari peserta melalui skor yang diperoleh mereka.

Domain kognitif merupakan sasaran evaluasi yang lazim dilakukan oleh para dosen. Domain ini, bahkan mendominasi dalam sistem evaluasi hasil belajar. Sekalipun demikian, masih banyak dosen yang kurang memiliki kompetensi dalam mengevaluasi hasil belajar kognitif, baik dari segi perencanaan maupun penyelenggaraan dan penkoran serta pemaknaan hasilnya. Sehubungan dengan hal ini, penulis merasa perlu menjelaskan bagaimana pengembangan konstruksi tes hasil belajar yang baik, karena tes merupakan alat ukur domain kognitif yang dominan.

Allen dan Yan (1979)[11] mengemukakan 5 prinsip dalam mengembangkan tes: (1) Plan the tet; (2) Write items for each of the areas in the plan; (3) Administer all item to a reaonably large sample of at leat 50 (and preferably everal hundred) examinees; (4) Conduct an item analyis; (5) Administer the revised tet to another representative ample of examinees.

HJX. Fernandes. (1984) mengemukakan 3 langkah pokok dalam pengembangan tes: (1) Test plan; (2) Tryout of test items; (3) Technical analysis. Pada langkah yang pertama, yang harus dilakukan adalah: menetapkan tujuan umum, menyiapkan kisi-kisi tes, menentukan bentuk tes dan tipe butir- butir tes, merencanakan taraf kesukaran soal, merencanakan jumlah butir soal dan panjang tes, menyiapkan penulisan butir dan reviu, menentukan jenis norma penilaian. Pada langkah kedua, yang harus dilakukan adalah menentukan sampel ujicoba, ujicoba butir dan analisis, petunjuk menjawab bagi testi. Langkah ketiga, yang harus dilakukan adalah mengestimassi rerata skor tes, mengestimasi simpangan baku skor tes, dan mengestimasi reliabilitas tes.

Sumadi Suryabrata (1987)[12] menjelaskan, bahwa pengembangan tes baku pada umumnya dilakukan melalui langkah-langkah berikut: (1) Pengembangan speifikasi tes; (2) Penulisan soal; (3) Penelaahan soal; (4) Pengujian butir-butir oal secara empiris; (5) Administrasi tes bentuk akhir untuk tujuan-tujuan pembakuan.

Afek merupakan karakteristik atau unsur afektif yang diukur, ia bisa berupa minat, sikap, motivasi, konsep diri, nilai, apresiasi, dan sebagainya. Afek merupakan traits psikologik yang tidak dapat diamati secara langsung. Kita hanya dapat “memotretnya” melalui perilaku wujud, apakah perkataan atau perbuatan. Kemunculan perilaku ini bisa menunjukkan 3 kecenderungan atau “arah” (Anderson, 1981): positif, netral, atau negatif. Selain memiliki arah, afek juga memiliki “intensitas”, artinya perilaku yang dinyatakan dalam tujuan atau kompetensi afektif haruslah yang mempunyai kemungkinan tinggi (high probability behavior). Pengukuran afek harus pula menyediakan pernyataan “kondisi” dalam kompetensi atau tujuannya, yang menunjukkan terjadinya perilaku yaitu berupa sejumlah preferensi atau pilihan yang disediakan bagi mahasiswa. Mahasiswa bebas memilih. Juga mengandung pernyataan “kriteria”, apakah kriteria yang terkait dengan jumlah subjek atau jumlah kegiatan/perilaku.

Secara umum, pengembangan alat evaluasi atau instrumen afektif menuntut beberapa langkah: (1) Membuat definisi konseptual; (2) Membuat definisi operasional; (3) Menentukan metode pengukuran atau skala pengukuran; (4) Analisis instrumen. Langkah-langkah ini dapat dijelaskan sebagai berikut :

(1) membuat definisi konseptual, dalam hal ini kita perlu memahami konstrak (construct) teoretik;

(2) membuat definisi operasional, di dalamnya kita menentukan domain atau indikator, serta menentukan objek psikologiknya, untuk kemudian dibuat kisi-kisi, serta membuat butir-butir pernyataan;

(3) menentukan metode pengukuran atau penskalaan, untuk mengukur sikap misalnya ada 3 metode utama yaitu : judgment method, response method, kombinasi kedua metode yakni judgment and response methods;

(4) analisis instrumen, hal ini dilakukan setelah kita melakukan ujicoba pengukuran, hasilnya kemudian dianalisis baik per butir maupun keseluruhan butir.

Sementara Sutrisno Hadi (1991), secara lebih sederhana menjelaskan 3 langkah pokok dalam menyusun instrumen: (1) mendefinisikan konstrak; (2) menyidik faktor (identifikasi faktor atau dimensi); (3) menyusun butir-butir pernyataan. Apabila ketiga langkah itu telah dilakukan, selanjutnya dilakukan ujicoba atau pelaksanaan pengukuran itu sendiri, kemudian hasilnya diuji atau dianalisis: (1) uji keandalan antar rater (hanya jika konstrak yang diukur dikerjakan melalui rating atau penilaian panelis); (2) uji kesahihan butir; (3) uji keandalan butir; (4) uji kesahihan faktor.

Pengukuran karakteristik (gerak) dalam ranah psikomotor dilakukan terhadap proses maupun hasil belajar yang berupa tampilan perilaku atau kinerja. Dalam hal ini kita bisa menggunakan kriteria atau prinsip-prinsip : kecermatan, inderawi, kreatif, efektif. Menurut Antony J. Nitko (1994) untuk mengukur gerak motorik ada dua pendekatan: (1) pengamatan dan pengukuran pada saat proses berlangsung; (2) pengamatan dan pengukuran pada hasil dari gerakan motorik. Pendekatan pengukuran proses memerlukan kecermatan dan konsentrasi serta waktu yang relatif lama. Sementara pengukuran dengan pendekatan hasil relatif lebih mudah mengamatinya. Pengukuran karakteristik psikomotor yang baik adalah menggunakan dua pendekatan tersebut.

Pengukuran karakteristik psikomotor dapat menggunakan beraneka model instrumen, misal: (1) Checklist (menandai); (2) Identification Test (tes identifikasi; (3) Ranking (urutan); (4) Numerical Scales (skala angka); (5) Graphic Rating Scales (skala rating grafik). Kesemua model ini menggunakan pendekatan observasi (pengamatan). Pengamatan terhadap karakteristik psikomotor dilakukan dalam upaya untuk menemukan kesesuaian teori (materi belajar yang pernah dipelajari) dan tampilan atau kinerja yang dapat ditunjukkan oleh mahasiswa.

Dosen yang melakukan pengukuran karakteristik psikomotor mahasiswa dengan menggunakan tes tindakan perlu memahami 4 hal: kecepatan, kecermatan, gerak dan waktu, serta ketahanan dan kemampuan fisik. Keempat hal ini masing-masing dapat dijabarkan ke dalam 4 jenis tes yaitu : tes kecepatan, tes kecermatan, tes gerak dan waktu, serta tes ketahanan dan kemampuan fisik.

Pengukuran karakteristik psikomotor dengan menggunakan tes tindakan perlu ditempuh dengan serangkaian langkah sebagai berikut: (1) Identifikasi gerak motorik yang dikehendaki berdasarkan kompetensi dasar yang relevan, untuk hal ini perlu dibuat kisi-kisi; (2) Tentukan apakah proses atau hasil yang hendak diukur; (3) Membuat butir-butir tes beserta kunci jawaban (poin-poin atau rambu-rambu jawaban); (4) Tentukan skala pengukurannya, cara penskorannya; (5) Lakukan validasi isi tes; (6) Revisi berdasarkan hasil validasi; (7) Sebelum digunakan, sebaiknya diujicoba kemudian dianalisis; (8) Revisi berdasar hasil ujicoba dan analisis; (9) Hasil tes siap digunakan.

Penilaian berbasis Kelas (PBK) dalam Kurikulum 2005 (Kurikulum Berbasis Kompetensi atau KBK) mengisyaratkan bahwa untuk menilai ranah psikomotor digunakan penilaian unjuk kerja / kinerja (performance), atau jenis lain yaitu penilaian proyek, portofolio, dan penilaian produk. Penilaian unjuk kerja dapat dilakukan dengan pengamatan. Untuk ini guru perlu menyiapkan lembar pengamatan secara baik. Lembar pengamatan yang baik setidaknya mencakup : (1) kemampuan atau karakteristik psikomotor apa yang dinilai; (2) indikator-indikator pada setiap aspek kemampuannya jelas; (3) masing-masing indikator memiliki deskriptor (dengan menggunakan skala bertingkat) yang jelas; (4) serta penilaian atau penskoran akhir harus jelas pula. Lembar pengamatan yang baik perlu dilakukan validasi isi, ujicoba dan analisis (konkordansi antar rater, reliabilitas, dan validitas).

Pemilihan dan penggunaan jenis-jenis penilaian psikomotor tergantung pada kebutuhan. Yang terpenting, apapun jenis penilaian (pengukuran) yang digunakan, dalam perspektif PBK, dan proses penilaian perlu mendasarkan pemahaman pada tata urut rumusan yang telah digariskan dalam pengembangan silabus dan sistem penilaian, yaitu dimulai dari identifikasi, standar kompetensi, kompetensi dasar, materi pokok dan uraiannnya, pengalaman belajar, indikator, dan penilaian itu sendiri. Dengan demikian logika penilaiannya dapat ditelusuri dengan jelas.

Penutup

Demikian, sekelumit pembahasan tiga hal pokok dalam sistem evaluasi hasil perkuliahan yaitu mengenai taksonomi hasil pendidikan / belajar; konsep dasar pengukuran hasil pendidikan / belajar, dan; prosedur pengembangan alat ukur. Semoga dapat menambah wawasan peserta (dosen) yang mengikuti pelatihan instruksional dalam arangka peningkatan kompetensi evaluassi hasil perkuliahan mahasiswa.

---

[1] Disampaikan dalam Pelatihan Instrukional Dosen Muda UNISSULA Semarang, Selasa, 25 Oktober 2005

[2] Staff Pengajar UNISSULA Semarang FAI Jurusan Tarbiyah

[3] Dalam praktik, istilah evaluasi sering disama (arti)kan dengan penilaian.

[4] Klasifikasi ini menganut versi Taxonomy of Educational Objectives Tha Classification of Educational Goals dari Benjamin S. Bloom, et al.

[5] Madaus G.F. Woods E. N, Nuttal R.L. (1973). A Causal Model Analysis of Bloom’ Taxonomy. Am. Educ. Res.J.

[6] Lorin W. Anderson and David R. Krathwohl. (2001). A Taxonomy for Learning Teaching and Assessing. New York: Longman.

[7] Suyanto (1991; Darmiyati Zuchdi, dkk., 1992; Ahmad Rohani HM, 2004).

[8] Lihat juga HJX. Fernandes (1993). Testing and Meaurement. Jakarta: National Education Planning, Evaluation and Curriculum Development.

[9] Robert K. Gable. (1986). Instrument Development in the Affective Domain. Boston: Kluwer-Nijhoft Publishing.

[10] Anita J. Harrow. (1976). A Taxonomy of the Psychomotor Domain. New York: Longman.

[11] Mary J. Allen & Wendy M. Yan. (1979). Introduction to Measurement Theory. California: Brooks/Cole Publishing Company.

[12] Umadi Suryabrata. (1987). Pengembangan Tes Hasil Belajar. Jakarta: Rajawali Pers.