Eğitimde ölçme ve değerlendirme kriterlerine uygun Web tabanlı uzman sınav sistemi geliştirilmesi
Development of a Web based intelligent examination system according to measurement and evaluation criteria in education
Yazar: İRFAN ŞİMŞEK
Danışman: PROF. DR. MEHMET ERDAL BALABAN ; YRD. DOÇ. DR. HATİCE ERGİN
İstanbul Üniversitesi / Fen Bilimleri Enstitüsü / Enformatik Ana Bilim Dalı
Derece: Doktora, 2013
Konu: Bilim ve Teknoloji = Science and Technology ; Eğitim ve Öğretim = Education and Training ; Mühendislik Bilimleri = Engineering Sciences

Özet:
Bu çalışmanın amacı; soruların bilişsel düzeylere göre kategorize edildiği, madde güçlük ve madde ayırt ediciliklerinin otomatik olarak hesaplanarak zorluk düzeylerinin yapıldığı, sınav esnasında kişinin soruları cevaplama durumuna göre soru düzeylerinin otomatik belirlendiği, hem sınıf ortamında hem de dijital ortamda kişiye özgü sınav yapabilecek bir modülün hazırlanması ve etkinliğinin sınanmasıdır. Bu tez çalışması kapsamında geliştirilen Web Tabanlı Uzman Sınav Sistemi sayesinde öğrencilerin öğrenmelerinin etkili bir şekilde ölçülebilmesini sağlayan, eğitimde ölçme ve değerlendirme kriterlerine uygun sorular hazırlanabilmektedir. Hazırlanan bu sorular kullanılarak sınav formlarının oluşturulması mümkün olabilmektedir. Web Tabanlı Uzman Sınav Sistemi, öğrenciye ait veriler ile öğrencinin sistemle olan etkileşimi sonucundaki verileri kayıt altında tutmakta ve buradan elde edilen bilgiler doğrultusunda, öğrencinin bilgi seviyesini ölçmede kullanılacak soruları ve sistemin çalışma sırasını belirlemektedir. Ayrıca bu sistem, zaman içinde değişen ihtiyaçlara ve öğrenci özelliklerine göre kendini geliştirebilmekte ve güncel duruma göre kendini uyarlayabilmektedir. 
Bu amaca ulaşmak için Öğretim İlke ve Yöntemleri dersi seçilmiş, dersin hedef ve kazanımlarına uygun sınav soruları hazırlanmıştır. Hazırlanan sınav soruları pilot çalışmanın yapıldığı bu dersi alan 205 öğrenciye uygulanmıştır. Pilot uygulama sonrasında madde analizleri yapılmış ve sonrasında gerçek uygulama yapılmıştır. Bunlara ek olarak, Moodle çevrimiçi sınav sistemi kullanılarak bir sınav formu ve herhangi bir sistem kullanılmadan öğretim elemanı tarafından oluşturulmuş bir sınav formu olmak üzere iki sınav formu hazırlanmıştır. Hazırlanan üç sınav formunun, Eğitimde Ölçme ve Değerlendirme kriterlerine uygun soru hazırlama ve sınav formu oluşturmada etkili bir araç olup olmadığını belirleyebilmek amacıyla araştırmacı tarafından 17 maddelik anket formu geliştirilmiştir. Geliştirilen bu anketin soruları Eğitimde Ölçme ve Değerlendirmede sınav hazırlama kriterleri ve ölçme aracında bulunması gereken nitelikler baz alınarak oluşturulmuştur. Öğretim elemanlarından hazırlanan sınav formları üzerinde eğitimde ölçme aracında bulunması gereken nitelik unsurları uyarınca görüşlerini 1 ile 6 arasında puanlamaları istenmiştir. Ayrıca, nicel verileri güçlendirmek için aynı öğretim elemanları ile yarı yapılandırılmış görüşme formu kullanılarak görüşmeler yapılmış, öğretim elemanlarından Uzman Sınav Sistemi'ni ve bu sistemde kullanılan Uzman Ajan ve bireylerin etkileşimde olduğu bir soru hazırlama ortamını değerlendirmeleri istenmiştir. Araştırmanın nicel analizi "SPSS 21 for MacOS X" paket programı ile yapılmış ve maddeler bağımlı örneklem varyans analizi ile incelenmiştir.
Araştırmanın bulguları; ölçme aracında bulunması gereken nitelikler açısından diğer sınav formlarına göre Uzman Ajan ve bireylerin etkileşimde olduğu Uzman Sınav Sistemi kullanılarak hazırlanan sınav formu lehine hakem değerlendirme puanları arasındaki farkın anlamlı olduğunu göstermiştir.

Anahtar kelimeler: Uzman Sınav Sistemi, Çevrimiçi Ölçme ve Değerlendirme, 
Çevrimiçi Sınav, Uzman Ajan, Bireyselleştirilmiş Test

Abstract:
The aim of this study is to prepare a module and to test the effectiveness of the module which categorizes the questions with respect to the cognitive levels, determines the difficulty levels by calculating the related data of item difficulty and item discrimination, automatically tunes the difficulty levels of the questions with reference to the answers given in the process of the exam, and provides person-specific exams both in the classroom and digital environment. The Web-Based Intelligent Examination System developed within the scope of this study makes it possible to prepare questions compatible with the assessment and evaluation criteria in education enabling the measurement of the level of actual learning of the students. By utilizing the prepared questions it would be possible to generate exam forms. The Web-Based Intelligent Examination records the data belonging to the students and the data as a result of the student-system interaction, and can determine the operation order of the system and the questions to be used to evaluate the knowledge level of the student in the light of the information obtained from the records. In addition, this system can improve itself according to the changing needs and student characteristics in due course and adapt itself to the current situation. 
To achieve its goals, Principles and Methods of Teaching course was selected and exam questions were prepared in line with objectives and achievements of the course. The exam questions were applied to 205 university students all of whom attend the course which was determined as the pilot study. Afterwards, item analyses were finalized and the actual application was completed. In addition, two exam forms, one as Moodle online examination system and the other as a traditional sample without using any specific system were prepared and expert opinions were asked. A questionnaire form including 17 items was prepared by the researcher was improved to determine if these 3 exam forms at present were effective means to prepare appropriate questions with regard to the criteria of Testing and Assessment in education and construct an exam form. The questions were developed by taking the exam preparation criteria in testing and assessment in education and qualities which testing tool was required to have into consideration. Instructors were asked to express their opinions by scoring ranging from 1 to 6 regarding the quality constituents an exam form is to have as an assessment tool in education. Quantitative analysis of the research was completed by utilizing the packet program "SPSS 21 for MacOS X" and items were examined via dependent sample variant analysis. 
The results indicated that there was a significant difference between the referee evaluation scores in favor of the exam form, which was prepared by using the Intelligent Exam System in which Expert Agent and individuals interact, comparing the other exam forms according to the qualities that a testing tool is required to include.

Keywords: Expert Examination System, Online Measurement and Evaluation, Online 
Examination, Expert Agent, Adaptive Testing