Sürü tabanlı optimizasyon yöntemleri ile havuzlamaya dayalı test tasarımı
Optimal pool-based test design using swarm-based optimization methods
Yazar: MUHAMMET AKTAŞ
Danışman: PROF. DR. ZEKİ YETGİN ; DR. ÖĞR. ÜYESİ FATİH KILIÇ
Mersin Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Sınav öğrencilerin performanslarını değerlendirmek için eğitimciler tarafından sık kullanılan önemli bir aktivitedir. Öğrenme seviyesini en üst düzeye çıkaracak bir sınav kâğıdı eğitim kurumlarının büyük önem verdiği bir durumdur. Sınav kâğıtlarının geleneksel olarak el ile hazırlanması eğitmenler için çok zaman alan, yorucu, öğrenme çıktılarının düşük, sınav zorluğunun ve sürenin yetersiz olması gibi bazı problemleri ortaya çıkarmıştır. Bilişim teknolojilerinin geliştirilmesi ve ilerlemesiyle sınav kâğıdı oluşturma sürecinde de kullanılmasını kaçınılmaz hale gelmiştir. Bu tez çalışmasında otomatik sınav kâğıdı oluşturma problemi Genetik algoritma, Parçacık sürüsü optimizasyon algoritması, Yapay arı koloni algoritması ve Diferansiyel arama algoritmalarına uygulanmıştır. Algoritmalar sınav kâğıdını otomatik olarak oluşturmak için soru havuzuna ihtiyaç duymaktadır. Bu soru havuzu Python ile geliştirilerek istenilen sayıda ders, konu, kategori, zorluk, süre ve kazanım değerlerine sahip olan veri seti üretimi gerçekleştirilmiştir. Çalışmada 5 ders, 10 konudan oluşan 1000 soruluk veri seti kullanılmıştır. Sınav kâğıtlarının uygunluğunu hesaplamak için sınav zorluk seviyesini, süre bilgisini, konu çeşitliliği, kategori çeşitliliğini ve kazanım çeşitliliğini sağlayan amaç fonksiyonu modellenmiştir. Amaç fonksiyon değeri sıfır değerine yaklaştıkça yüksek kalitede sınav kâğıtları oluşturulacaktır.
Genetik algoritma otomatik sınav kâğıdı oluşturmak için literatürde sıkça kullanılmıştır. Diferansiyel arama algoritması, parçacık sürüsü optimizasyonu, yapay arı kolonisi otomatik sınav kâğıdı üretim problemine ilk defa uygulanmış ve sonuçları genetik algoritma ile kıyaslanmıştır. Durdurma kriteri olarak amaç fonksiyonu kullanım sayısı seçilip bu değer 500000 olarak belirlenmiştir. Algoritmalar 10' ar defa çalıştırılmış ve deney sonuçları yorumlanmıştır. Deney sonuçları genetik algoritma ile kıyaslandığında parçacık sürüsü optimizasyon algoritmasının %32, yapay arı kolonisi algoritması 1. yöntemin %34, yapay arı kolonisi algoritması 2. yöntemin %63, diferansiyel arama algoritması 1. yöntemin %40, diferansiyel arama algoritmasının 2. yöntemin %64 oranında daha iyi sonuç verdiği görülmüştür.

Abstract:
The examination is an important activity widely used by educators to assess students' performance. The exam paper with the highest learning level is a situation where educational institutions attach great importance. Manual preparation of the exam paper has occured some problems for instructors, such as time consuming, tiring, low learning outcomes, inadequate exam difficulty and exam time. With the development and advancement of information technologies, automatic generation of exam papers has become inevitable. In this thesis, the problem of generating automatic exam papers was applied to Genetic algorithm, Particle swarm optimization algorithm, Artificial bee colony algorithm and Differential search algorithms. Algorithms need a question pool to automatically generate the exam paper. This question pool was developed with Python and the dataset with the required number of courses, subjects, categories, difficulties, time and learning outcomes was produced. In the study, a dataset of 1000 questions consisting of 5 lessons and 10 subjects was used. In order to calculate the suitability of the exam papers, the objective function that provides the exam difficulty level, exam time, subject diversity, category diversity and learning ourcome diversity is modeled. High-quality exam papers will be created as the objective function value approaches zero.
Genetic algorithm has been used frequently in the literature to generating automatic exam papers. Differential search algorithm, particle swarm optimization, artificial bee colony were applied for the first time to the automatic exam paper generating problem and the results were compared with the genetic algorithm. The number of uses of the objective function is chosen as the stop criterion and this value is determined as 500000. Algorithms were run 10 times and experiment results were interpreted. Comparing the experimental results with the genetic algorithm, particle swarm optimization algorithm 32%, artificial bee colony algorithm  method 1 34%, artificial bee colony algorithm method 2 63%, differential search algorithm method 1 40%, differential search algorithm method 2 64% has been shown to give better results.