Evaluasi Penerapan E-Learning

A.    TUJUAN EVALUASI

Evaluasi dalam pembelajaran sangatlah penting, termasuk di dalamnya evaluasi pembelajaran e-learning. Ketika berbicara mengenai apa tujuan evaluasi pembelajaran, Donald Kirkpatrick telah menggolongkan tujuan evaluasi menjadi empat level sebagai berikut

·         Level I, Efektifitas yang dirasakan peserta pelatihan

·         Level II, Mengukur evaluasi pembelajaran

·         Level III, Mengobservasi peningkatan performa peserta pelatihan

·         Level IV, Dampak pada bisnis

Telah banyak perusahaan yang familiar dengan hubungan evaluasi Level I dengan kelas pelatihan instruktur terpimpin yang mereka miliki. Mereka sangat familiar dengan ‘smile sheets’ yang dilengkapi setiap akhir program, yakni sebuah alat untuk memfasilitasi peserta pelatihan menyampaikan reaksi mereka terhadap program pelatihan yang telah dijalani. Seperti ’Apakah instruktor melakukan pelatihan yang benar?’ atau ‘Apakah materi yang disampaikan relevan dengan pekerjaan mereka?’.

Biasanya evaluasi Level I dilakukan dengan cara tradisional, yakni dengan tes tertulis di setiap akhir pelatihan meskipun beberapa organisasi seperti IBM telah mengajak peserta pelatihan untuk menjawab tes melalui sistem online. Sehingga masukan dari peserta pelatihan dapat segera terekam di sistem manajemen peserta pelatihan perusahaan. Dimana data-sata seperti skor tes dan rangking nilai menjadi data pribadi yang dimiliki setiap peserta pelatihan.

Umpan balik Level II lebih rinci dalam melakukan evaluasi terhadap peserta pelatihan. Level II biasanya berupa tes kuis atau tes kemampuan  di setiap akhir program pelatihan untuk mengukur pengetahuan peserta pelatihan. Lebih dalam, evaluasi Level II termasuk pre-tes sehingga dapat diketahui pengetahuan peserta pelatihan sebelum mengikuti pelatihan dan pengetahuan apa yang didapat setelah mengikuti pelatihan.

Evaluasi Level III mengukur dari aspek apakah perilaku atau keterampilan yang diperoleh saat pelatihan kemudian diterapkan dalam menyelesaikan  pekerjaan. Misalnya, apakah ada perbedaan antara hasil pekerjaan peserta pelatihan sebelum dan sesudah pelatihan. Pertanyaan tersebut hanya dapat dijawab melalui evaluasi Level III dengan melakukan pengukuran langsung pada kinerja dan pada jangka waktu tertentu. Biaya dan waktu yang dibutuhkan untuk melakukan evaluasi semacam ini, terutama untuk mendapatkan intepretasi yang paling tepat biasanya jarang dan bahkan sangat jarang dilakukan dengan benar.

Terakhir, Level IV menjawab pertanyaan sederhana yang cukup menipu, yakni apakah pelatihan yang dilakukan sama nilainya dengan biaya dan waktu yang telah dihabiskan. Secara teknis, evaluasi ini dilihat sebagai cara yang paling mudah untuk membuktikan apakah keterampilan dan pengetahuan yang didapat dari pelatihan memberikan dampak perilaku kerja.

Keempat evaluasi tersebut di atas, akhir-akhir ini telah banyak diterima di dunia pelatihan yang dipimpin instruktur dan di dunia pendidikan.

B.     ALASAN MELAKUKAN PENGUKURAN/ EVALUASI

    Menurut ahli psikometrik yang cukup terkenal, Dr Robert Thompson, Ph.D., ada tiga alasan untuk mengukur kesuksesan sebuah pelatihan, khusunya diluar Level I dan II.

·         Bagi para pebisnis, mengukur/mengevaluasi sesuatu adalah keharusan agar apa yang mereka miliki semakin bernilai sehingga mereka bisa mendapat dukungan dan dana.

·         Bagi para pendidik, untuk mengetahui bahwa pengajaran yang telah dilakukan berjalan dengan baik.

·         Bagi para pembelajar, mengukur kesuksesan belajar ialah hal yang sangat penting bagi kondisi psikologis mereka. Beberapa penguatan cukup banyak meningkatkan kesempatan bagi pembelajar dalam mengatasi kekurangan keterampilan saat mereka kembali bekerja.

Menurut Dr. Thompson, alasan untuk mengevaluasi pelatihan tidak pernah berubah sejak pertama kali ia ditemukan,.perbedaannya terletak pada biaya yang cukup menarik perhatian.selain itu permintaan investasi jauh lebih tinggi dibandingkan dengan pelatihan tradisional.

Perusahaan-perusahaan dunia nampaknya telah mengadopsi dua strategi untuk mengukur kesuksesan pelatihan yakni tidak memperlakukan berbeda dengan pelatihan yang lain atau memperlakukannya sebagai sesuatu yang hal yang terpisah dengan sangat spesifik dan kriteria untuk sukses.

Towers Perrin ialah salah satu perusahaan terbesar dunia di bidang konsultasi manajemen dan pengembangan sumber daya manusia yang memiliki hampir 9.000 pegawai di 23 negara berbeda. Mereka pada akhirnya menerapkan e-learning sebagai strategi dalam mengembangkan keterampilan pekerjanya.

Evaluasi level I pada dasarnya merupakan variasi dari kuesioner yang mereka gunakan dalam program instruksi terpimpin dengan sedikit pertanyaan khususnya tentang seberapa mudah teknologi program e-learning yang mereka gunakan. Ini mengindikasi apakah pengguna e-learning mampu memanfaatkan e-learning dalam situasi kerja mereka saat ini.

C.    DATA EVALUASI LEVEL I

 Pada organisasi yang tidak memiliki arsip dokumentasi dari evaluasi pelatihan yang telah dilakukan, ada dua hal yang umumnya terjadi ketika mereka mengadakan evaluasi yang beragam jenisnya. Mereka cenderung untuk tidak mengumpulkan informasi yang diperoleh dari hasil evaluasi atau mengumpulkannya namun tidak melakukan refleksi atas hasil evaluasi.

Pada kasus pertama, siapapun yang hendak mengimplementasikan strategi e-learning harus menetapkan apa yang ingin mereka ketahui dari kegiatan evaluasi yang dilakukan serta bagaimana mengumpulkan dan melaporkan hasilnya. Dengan demikian, kualitas pelatihan dapat di nilai lebih dalam. Sabine Steinbrecher of Learning Library di Toronto, Canada, misalnya,sejak awal mereka telah menentukan standar dan visi yang ingin dicapai dari pelatihan yang mereka lakukan.

           

D.    GAGASAN E-LEARNING      

Evaluasi standar yang umumnya dilakukan sebuah perusahaan ada dua macam, yakni pendapat partisipan pada pembelajaran (ketertarikan mereka padamateri yang disampaikan) dan pengalaman yang di dapat selama di belajar di kelas (apakah mereka menyukai program dan/atau instruktur pelatihan).

Beberapa implementasi e-learning mengharapkan dapat mengevaluasi dua hal, namun ada tiga faktor yang mempengaruhi hasil dari e-learning. Ketika Grup Frontline’s Communispond akan beralih dari program instruksi terpimpin menjadi versi web-based, mereka memutuskan untuk mengukur pendapat pengguna dan kemudahan dalam penggunaan  program yang diterapkan.

Hasilnya, sebagian besar pendapat menyatakan mereka tidak menyukai e-learning. Kenyataannya, partisipan menyukai isi materi dan berpikir bahwa programnya cukup baik, tapi apa yang mereka tidak sukai adalah e-learning itu sendiri.

E.     KEBAIKAN DAN KEBURUKAN E-LEARNING

Sebenarnya,kesuksesan evaluasi tidaklah susah, jika sebelumnya target yang ingin dicapai sudah jelas. Target yang ingin dicapai dari proses evaluasi haruslah dipikirkan jau-jauh hari sebelum menyiapkan sarana pendukung dan mengimplementasikan e-learning.

Selain itu setiap orang perlu memahami alasan kenapa ia menggunakan sistem online dalam mengukur perkembangan belajar dan keterampilan seseorang. Kesuksesan dalam evaluasi pembelajaran dapat diukur dengan seberapa banyak program yang dimiliki yang dapat terhubung ke internet dan berapa banyak orang yang menggunakannya.

Tom Kelly’s telah membuat alat ukur dalam mengukur kesuksesan evaluasi e-learning yakni kebermanfaatan dan kemudahan dalam penggunaan. Dengan sistem yang mudah dan memberikan banyak informasi, setidaknya orang-orang akan berkelanjutan menggunakan e-learning. Sehingga lambat laun mulai terbiasa memanfaatkannya dan lambat laun perkembangan belajar yang dilakukan dengan e-learning dapat diukur.     

Barangkali salah satu tujuan yang mendukung implementasi e-learning ialah untuk menghemat biaya perjalanan dan waktu cuti kerja yang dibutuhkan untuk mengikuti pelatihan. Pada kasus ini harus ada salah satu yang diutamakan. Namun tidak menutup kemungkinan jika pada proses evaluasi e-learning ada kesuksesan lain yang mengikuti.

Hasilnya, bentuk evaluasi e-learning terlihat seperti “smile sheet” standar dengan banyak pertanyaan dengan sedikit refleksi dari aspek teknikal program (kemudahan, petunjuk dan kemenarikan). Semakin familiar sebuah isian online, semakin nyaman peserta belajar dalam menggunakannya.

Tidak seperti alat evaluasi bertarget Cisco, alat tersebut sangat mudah digunakan dan dapat menangkap informasi dalam skala yang besar dan luas. Kelebihan lainnya ialah kita bisa mendapatkan banyak hasil di berbagai bidang penelitian dalam waktu saat itu juga. Kekurangannya ialah bahwa data yang disimpan terlalu kompleks sehingga seringkali kita kebingungan data apa yang ingin dikelola.  Ketika skor kemudahan dalam pemakaian dan petunjuk cukup tinggi, ini tidak bernilai tinggi sepenuhnya. Alasannya ialah grup yang dites sebenarnya tidak nyaman dengan e-learning (mereka lebih menyukai pelatihan di kelas dan segala hal yang terjadi dari proses interaksi dengan instruktur). Hal ini berarti bahwa meskipun pertanyaan spesifik dijawab positif, ada suatu hal negatif yang tidak bisa ditangkap saat evaluasi.

Sebuh dilema, jika kamu tidak mengetahui bahwa peserta pelatihan merasa tidak nyaman dan hanya fokus pada perlengkapan pelatihannya saja. Hal yang demikian dapat berpengaruh pada masa depan e-learning yang diimplementasikan.

Untungnya, pengembang produk di Frontline melihat ini dan membagi evaluasi ke dalam tiga komponen yakni isi pelatihan, kemudahan navigasi dan kenyamanan dengan teknologi).

F.     SERINGKALI TIDAK SESUAI

Satu hal utama dari serangkaian perlengkapan pelatihan ialah sebuah program yang menanyakan serangkaian pertanyaan berupa skala Likert 1-5 yang familiar untuk semua orang yang mengambil program instruksi terpimpin. Pertanyaan itu dapat berbunyi seperti “Apa satu aspek positif yang kamu temukan dari program e-learning untuk anda?”.            Meskipun pertanyaan demikian masuk akal, namun dapat mendorong partisipan untuk mengatakan sesuatu yang positif tentang program e-learning, bahkan jika mereka menemukan seluruh pengalamannya ialah membingungkan, menjengkelkan dan tidak senilai dengan waktu yang telah mereka gunakan. Hasil tersebut pasti akan menggambarkan kepada orang-orang bahwa program e-learning disukai setiap orang.

Salah satu alasan Cisco membangun pelatihan profesional yang mempertimbangkan sistem evaluasi dasar yaitu karena mereka mereka membangun setiap bagian dari sistem yang mereka miliki sejak awal.

Kini banyak organisasi yang mencoba untuk mengimplementasikan program e-learning dalam skala besar dengan beragam pelatihan dan waktu terbatas untuk mengimplementasikannya. Program tersebut di buat oleh vendor dari luar organisasi, serta menggunakan alat penilaian dan evaluasii pelatihan  dari vendor yang sama. Dana yang dikeluarkan jelas banyak yang tersimpan dan tidak semua perusahaan memiliki kelebihan dalam hal waktu dan dukungan manajemen.

Dr. Thompson dan banyak psikometrik yang curiga pada alat pengukuran yang dirancang oleh orang yang sama dimana pelatihan yang dia buat turut diukur dalam evaluasi tersebut. Dia mendorong perusahaan-perusahaan untuk setidaknya menyediakan analisis pribadinya dan memeriksa dengan hati-hati pertanyaan yang ditanyakan.

Sebagian besar alat evaluasi yang dibahas sejauh ini hanya menjangkau informasi Level I. Ada level kedua yang fokus pada bagaimana menjangkau informasi Level II, khususnya jenis yang gagal/terlewatkan. Pastinya, informasi Level II sangat penting bagi para pembelajar. Informasi Level II dapat memberikan jawaban apakah waktu yang mereka habiskan telah dihabiskan untuk sesuatu yang bermanfaat dan apakah e-learning memperkuat perilaku bekerja mereka.

Akhirnya, kriteria dalam menggunakan kebutuhan informasi untuk menyesuaikan kebutuhan pengguna sebagai berikut

·         Para pebisnis perlu tahu jika peserta pelatihan memiliki kemampuan dan pengetahuan mereka mempunyai anggapan penting untuk mencapai target organisasi. Mereka akan bersikeras bahwa informasi apapun adalah sangat perlu untuk didokumentasikan dan akan melalui semua pemangku kepentingan.

·         Para manajer membutuhkan bukti bahwa peningkatan keterampilan telah dimiliki oleh para peserta pelatihan.

·         Para peserta belajar membutuhkan penjelasan apakah mereka telah mencapai apa yang seharusnya dicapai (keterampilan dan pengetahuan yang akan mendorong hasil pekerjaan mereka).

G.     MELETAKKAN DASAR EVALUASI

 Tidak bisa dipungkiri bahwa usaha keras untuk mengevaluasi terjadi jauh sebelum data pertama diperoleh. Untuk meletakkan dasar evaluasi, ada 7 (tujuh) aspek inkuiri yang harus dimiliki untuk mendapatkan evaluasi yang sukses sebagai berikut

1.      Apa tujuan organisasi (tujuan jangka panjang dan saat ini)

2.      Siapa yang bertanggung jawab

3.      Informasi apa, jika telah terkumpul, akan menjadi indikator kesuksesan atau kegagalan

4.      Apa yang akan menjadi kriteria kesuksesan

5.      Berapa lama program akan diimplementasikan

6.      Apakah membangun sendiri atau membeli program e-learning

7.      Apa metode pengumpulan data yang akan digunakan

H.     TUJUAN ORGANISASI

     Memahami seluruh tujuan dapat membantu dalam penyusunan pertanyaan  evaluasi dan tipe informasi yang akan dikumpulkan. Misalnya, jika sebuah perusahaan berfokus pada biaya perjalanan dan waktu yang dihabiskan, salah satu jenis informasi yang harus dikumpulkan adalah “Berapa waktu yang dibutuhkan untuk melakukan pelatihan?”.

     Contoh lain misalnya, sebuah perusahaan ingin mengurangi sejumlah 50% biaya pelatihan pekerja selama dua tahun. Maka tujuan utama penyelenggaraan e-learning ialah untuk mengurangi biaya pelatihan. Dengan meminta para pekerja mengikuti pelatihan melalui e-learning, mereka hanya perlu duduk di kursi menghadap layar komputer, tanpa perlu memikirkan biaya perjalanan pekerja menuju tempat pelatihan.

I.        MENGIDENTIFIKASI STAKEHOLDER DAN KEBUTUHANNYA

Meskipun hal ini terdengar mudah tetapi nyatanya cukup sulit untuk dilakukan. Dalam hal ini seseorang tidak hanya dituntut untuk mengidentifikasi tetapi juga menentukan apa yang betul-betul ingin terwujud. Analisis yang seksama akan membantu untuk menentukan apa yang akan diukur dan yang lebih penting yaitu kriteria kesuksesan.

Mengabaikan salah satu faktor dapat membuat masalah yang cukup besar nantinya. Jika hanya fokus pada kebutuhan organisasi dan mengabaikan kebutuhan peserta pelatihan, mungkin keberhasilan sudah sangat mungkin tercapai yakni menghemat biaya pelatihan yang cukup besar, tapi peserta pelatihan barangkali akan menghadapi sejumlah kesulitan dibanding menjalani program.

Identifikasi sangat membantu untuk menggali tidak hanya peran stake holder, tetapi juga hal-hal spesifik seperti nama, fungsi dan fokus utama. Buatlah gagasan diantara hal yang implisit (hal-hal yang tidak hanya disuarakan tetapi juga diketahui semua orang) dan eksplisit (pendapat yang muncul dalam korespondensi perusahaan). Tujuan eksplisit misalnya mengurangi biaya pelatihan dengan e-learning dan tujuan implisitnya bisa jadi depertemen pelatihan mengharapkan peningkatan kompetensi dan mengontrolnya dengan pelatihan.

Mengidentifikasi antara tujuan eksplisit dan implisit sebuah organisasi baraggkali membutuhkan waktu yang tidak sedikit tapi dengan melakukan identifikasi dapat menghilangkan hal-hal tak terduga yang tidak menyenangkan.

Organisasi akan fokus pada bagaimana pelatihan dapat meningkatkan kemampuan bisnisnya mencapai target. Manajer akan fokus pada pertanyaan, “Apakah pekerja yang mengikuti pelatihan bertambah pengetahuannya atau menunjukkan performa bekerja yang lebih baik dari sebelumnya. Peserta pelatihan fokus pada kegiatan pelatihan yang diharapkan memperoleh pengetahuan baru yang meningkatkan performa pekerjaannya.

J.       MENGIDENTIFIKASI KRITERIA KESUKSESAN

Hasil pengukuran dan evaluasi yang berupa data yang terkumpul tidak ada maknanya kecuali jika kita mengetahui apa arti dari angka-angka tersebut. Sebuah rerata skor berjumlah 4,8 pada skala Likert nampak sangat hebat dan akan tersimpan pada penyimpanan data untuk jangka waktu yang lama, namun apa sebenarnya makna dari angka tersebut.

Kriteria dibutuhkan untuk mengetahui apakah program e-learning yang diimplementasikan sukses atau gagal. Kriteria ini juga dapat memberi gambaran seberapa sukses atau seberapa gagal implementasinya dan tentu saja apa yang selanjutnya perlu dilakukan berdasarkan hasil evaluasi.

K.    SEBERAPA BANYAK WAKTU YANG DIBUTUHKAN UNTUK IMPLEMENTASI E-LEARNING   

Cisco membutuhkan waktu lima tahun untuk membangun e-learning hingga menjadi industri program e-learning yang pertama. Mengidentifikasi berapa banyak waktu yang dimiliki merupakan salah satu hal yang perlu diperhatikan. Selain itu perlu ada pertimbangan apakah saat ini organisasi sudah sangat membutuhkan e-learning. Dalam keadaan tertentu barangkali akan memaksa sebuah lembaga memiliki alat evaluasi yang beragam pada waktu yang sama. Membuat prioritas merupakan hal yang tepat jika tidak ingin terjadi kewalahan, pada dasarnya yang kita butuhkan hanyalah mengukur apa yang perlu diketahui.

L.      MEMBELI ATAU MEMBANGUN SISTEM E-LEARNING SENDIRI

Ketersediaan waktu dan biaya barangkali menjadi masalah bagi sebagian besar organisasi. Tergantung pada apa yang sebelumnya menjadi tujuan utama organisasi dan level keahlian yang telah dimiliki, selanjutnya ialah mengambil keputusan apakah membuat program e-learning sendiri atau membeli dari vendor yang menyediakan jasa e-learning.

Pertanyaan selanjutnya ialah, apakah membangun alat evaluasi sendiri atau menggunakan alat evaluasi yang disediakan vendor. Jika alat evaluasi sudah valid secara ilmiah maka ia akan berfungsi dengan sangat baik. Hasil evaluasi yang menggunakan alat evaluasi yang valid dapat mengumpulkan data secara apa adanya dan keseluruhan. Baik itu alat evaluasi buatan sendiri atau disediakan oleh vendor. Apabila melihat alat evaluasi yang disediakan vendor, hal terpenting yang perlu diperhatikan yaitu apakah ia benar-benar menginformasikan program e-learning yang digunakan telah sukses atau gagal.

M.   METODE PENGUMPULAN YANG DIGUNAKAN

Setelah memutuskan apa yang akan dinilai dan untuk tujuan apa, hal yang telah dilakukan selanjutnya ialah menyusun seluruh alat ukur untuk proses evaluasi. Kemudian para peserta pelatihan melakukan kegiatan pelatihan. Bagian paling akhir dari rencana evaluasi dan pengukuran yang dilakukan ialah untuk menentukan bagaimana mengumpulkan informasi dan kemana hasil evaluasi akan ditujukan. Sebuah data base sederhana seperti Access atau yang setara dengannya mungkin akan menjadi seluruh teknologi yang dibutuhkan.

Jika, pada kasus lain, hasil dari penilaian atau hasil akhir pelatihan adalah bagian dari catatan seseorang, namun ingin mengetahui bagaimana mekanisme dalam mengambil catatan pelatihan ke sistem perusahan maka hal yang demikian dapat diakses melalui software seperti SAP atau PeopleSoft.

Setiap orang yang pernah mencoba untuk bekerja dengan sistem yang mereka ketahui tentu akan paham bahwa setiap data yang ada harus ditambahkan ke program. Dan selalu waspada pada isu keamanaan dan privasi yang sedang berkembang.