Çoktan seçmeli testlerin psikometrik analizi için web tabanlı bir araç geliştirme ve kullanılabilirlik değerlendirmesi
Development and usability evaluation of a web-based tool for the psychometric analysis of multiple-choice tests
Yazar: MEHMET ÇAKMAKTEPE
Danışman: DOÇ. DR. GÜR EMRE GÜRAKSIN
Afyon Kocatepe Üniversitesi / Fen Bilimleri Enstitüsü / İnternet ve Bilişim Teknolojileri Yönetimi Ana Bilim Dalı / Bilgisayar Yazılımı Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez çalışmasında, çoktan seçmeli testlerin psikometrik analizini çevrimiçi ortamda gerçekleştirebilecek bir web tabanlı sistem geliştirilmiş ve bu sistemin kullanılabilirliği değerlendirilmiştir. Laravel altyapısı ile geliştirilen yazılım; HTML, CSS, JavaScript, jQuery ve MySQL teknolojileriyle desteklenmiş, kullanıcı dostu bir arayüz aracılığıyla madde güçlüğü, ayırt edicilik, ortalama başarı ve KR-20/KR-21 gibi güvenilirlik katsayılarını otomatik olarak hesaplayabilir hâle getirilmiştir. Görselleştirilmiş analiz çıktıları ve çıktı alma seçenekleri ile kullanıcıların ölçme-değerlendirme süreçlerini daha hızlı ve etkili şekilde yürütmeleri hedeflenmiştir. Sistemin kullanılabilirliği, beş akademisyenin katıldığı görev temelli testler ve Likert ölçekli anketlerle ölçülmüştür. Bulgular, kullanıcıların büyük oranda görevleri başarıyla tamamladığını, ancak sınav yükleme ve analiz sonuçlarını yorumlama aşamalarında bazı zorluklarla karşılaştıklarını ortaya koymuştur. Pasta grafikle sunulan görev bazlı zorluk verileri, sistemin geliştirilmesi gereken yönlerini belirlemede yol gösterici olmuştur. Buna ek olarak, sistemin genel kullanıcı deneyimi düzeyini belirlemek amacıyla 50 akademisyenin katılımıyla Web Sitesi Kullanılabilirlik Ölçeği uygulanmıştır. Elde edilen verilere göre sistem, toplam 135 üzerinden ortalama 113,70 puan alarak yüksek düzeyde kullanılabilir olarak değerlendirilmiştir. Katılımcılar, özellikle sistemin görsel yapısını, menü başlıklarının işlevselliğini ve analiz ekranlarının açıklığını olumlu bulmuştur. En yüksek ortalama puan, "madde analizi ekranı soruları detaylı incelemeye olanak tanıyor" ifadesinden elde edilmiştir. Bu bulgular, sistemin sadece teknik işlevsellik açısından değil, aynı zamanda kullanıcı deneyimi bakımından da güçlü ve tatmin edici bir düzeye ulaştığını göstermektedir. Sonuç olarak geliştirilen sistem, eğitimde dijital ölçme-değerlendirme uygulamalarının etkinliğini artırmakta; öğretmenlerin iş yükünü azaltmakta ve ölçme araçlarının daha güvenilir biçimde değerlendirilmesine katkı sağlamaktadır. Tez, eğitim teknolojileri alanında hem yazılım geliştirme hem de kullanıcı odaklı değerlendirme açısından bütüncül bir katkı sunmaktadır.

Abstract:
In this master's thesis, a web-based system was developed to perform the psychometric analysis of multiple-choice tests in an online environment, and the usability of the system was evaluated. The software was built on the Laravel framework and supported by technologies such as HTML, CSS, JavaScript, jQuery, and MySQL. Through a user-friendly interface, the system is capable of automatically calculating item difficulty, item discrimination, average success rate, and reliability coefficients such as KR-20 and KR-21. The system also provides visualized analysis outputs and export options, aiming to facilitate and accelerate assessment processes for users. The usability of the system was evaluated through task-based tests and Likert-scale questionnaires with the participation of five academic users. The findings revealed that users successfully completed most of the tasks; however, certain difficulties were encountered in tasks related to uploading exams and interpreting analysis results. Task-specific difficulty levels were presented in a pie chart, serving as a guide for identifying areas of the system in need of improvement. In addition, a Web Site Usability Scale was administered to a larger sample of 50 academic users to assess overall user experience. According to the data obtained, the system achieved an average score of 113.70 out of 135, indicating a high level of usability. Participants particularly highlighted the effectiveness of the visual structure, the clarity and functionality of menu labels, and the transparency of the analysis screens. The highest-rated statement was "The item analysis screen enables detailed examination of questions." These findings indicate that the system is not only functionally effective but also provides a satisfactory and robust user experience. As a result, the developed system enhances the efficiency of digital assessment practices in education, reduces the workload of educators, and contributes to more reliable evaluation of test instruments. This thesis offers a comprehensive contribution to the field of educational technologies in terms of both software development and user-centered evaluation.