Görme engelli bireylere yönelik web tabanlı sınav uygulamasının tasarımı, geliştirilmesi ve kullanılabilirliği
Design, development and usability of the web based exam application for visually impaired individuals
Yazar: MUSTAFA DOĞUŞ
Danışman: DOÇ. DR. SALİH ÇAKMAK
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Özel Eğitim Ana Bilim Dalı / Özel Eğitim Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Elektronik sınav = Electronic exam ; Görme engelliler = Visually impaired ; Sınav = Examination ; Tasarım = Design ; Web tabanlı eğitim = Web based education ; Web tabanlı uygulamalar = Web based applications ; Web tasarımı = Web design ; Özel eğitim = Special education ; Özel eğitime muhtaç çocuklar = Handicapped children who need special education

Özet:
Bu araştırmanın genel amacı, görme engelli bireylere yönelik web tabanlı sınav uygulamasının (WTSU) ihtiyaç analizinin yapılması, tasarımı, geliştirilmesi, kullanılabilirliğinin incelenmesi ve tasarım ilkelerinin belirlenmesidir. Bu amaç doğrultusunda, WTSU'nun görme engelli bireyler için kullanılabilirliği; etkililik, verimlilik ve kullanıcı memnuniyeti açısından değerlendirilmiştir. Tasarım ve geliştirme araştırma modelinin kullanıldığı bu araştırma; problemlerin analiz edilmesi, çözümlerin geliştirilmesi, çözümlerin uygulanması ve değerlendirilmesi ve tasarım ilkelerinin belirlenmesi olmak üzere dört aşamada tamamlanmıştır. Araştırmanın farklı aşamalarında toplam 9 akademisyen, 4 merkezi sınavlarda görev alan gözetmen ve 37 görme engelli birey yer almıştır. Çözümlerin uygulanması ve değerlendirilmesi aşaması kapsamında yürütülen kullanılabilirlik testlerine 24 görme engelli birey katılmıştır. Bu bireylerin 14'ü görmeyen ve 10'u az görendir. Ayrıca çalışma grubu ortaöğretim düzeyi (n=8), yükseköğretim düzeyi (n=8) ve yükseköğretim mezunu (n=8) olmak üzere üç gruptan oluşmuştur. Araştırmada, öncelikle problemlerin analiz edilmesi aşamasında WTSU ilişkin ihtiyaç analizi yapılmış ve ön prototip geliştirilmiştir. Çözümlerin geliştirilmesi aşamasında ise öncelikle ihtiyaç analizinden elde edilen veriler doğrultusunda WTSU'ya ilişkin geçici tasarım ilkeleri tanımlanmış ve görsel taslak hazırlanmıştır. Ardından geliştirme süreci ilk prototipin geliştirilmesi, ikinci prototipin geliştirilmesi ve nihai ürünün geliştirilmesi olmak üzere üç döngü halinde tamamlanmıştır. Nihai ürün geliştirilmesinin ardından pilot uygulama yapılmıştır. Daha sonra, çözümlerin uygulanması ve değerlendirilmesi aşamasında gerçek koşullar altında kullanılabilirlik testleri yürütülmüştür. Kullanılabilirlik testlerinde WTSU'nun kullanılabilirliği etkililik, verimlilik ve kullanıcı memnuniyeti açısından değerlendirilmiştir. Buna göre; (a) etkililik için kullanılabilirlik testine ilişkin belirlenen görevlerde katılımcıların başarı düzeyleri, (b) verimlilik için belirlenen görevleri tamamlama süreleri ve yapılan hata sayıları ile (c) kullanıcı memnuniyeti için ise memnuniyet anketi ve yarı yapılandırılmış görüşmeler yoluyla elde edilen geribildirimler incelenmiştir. Kullanılabilirlik testleri, gözlem, kullanım kayıtlarının tutulması, memnuniyet anketi ve görüşme yoluyla yürütülmüştür. Son olarak tasarım ilkelerinin belirlenmesi aşamasında ise WTSU'ya ilişkin araştırma boyunca elde edilen tasarım ilkeleri gözden geçirilmiş ve raporlaştırılmıştır. Araştırmada toplanan veriler SPSS programı kullanılarak analiz edilmiştir. Bu kapsamda, nitel veri analizi, betimsel istatistiklerin hesaplanması (frekans, ortalama, standart sapma vb.) ve fark testlerine (Kruskal-Wallis ve Mann-Whitney U) yer verilmiştir. Araştırma bulgularına göre kullanılabilirlik testlerine katılan görme engelli bireylerin başarı düzeyleri ortalamalarının belirgin olarak yüksek (X=90,19) olduğu belirlenmiştir. Kullanılabilirlik testlerinde hata yapma sıklıklarının ise oldukça düşük (X=3.21) olduğu görülmüştür. Ayrıca görme engelli bireylerin memnuniyet düzeylerinin yüksek (X=9,17) olduğu tespit edilmiştir. Buna ek olarak çalışma grubu açısından görme engelli bireylerin başarı düzeyleri, hata sıklıkları, görev tamamlama süreleri ve kullanıcı memnuniyetinin benzer olduğu belirlenmiştir. Görme engeli durumu (görmeyen ve az gören) açısından ise görme engelli bireylerin başarı düzeyleri, görev tamamlama süreleri ve kullanıcı memnuniyeti benzerlik gösterirken; hata sıklıkları bakımından anlamlı farklılık tespit edilmiştir. Buna göre görmeyen bireylerin az gören bireylere göre daha sık hata yapdığı görülmüştür. Sonuç olarak etkililik, verimlilik ve kullanıcı memnuniyeti bulguları göz önüne alındığında WTSU'nun görme engelli bireyler için kullanılabilir olduğu ifade edilebilir. Buradan hareketle WTSU'nun görme engelli bireylerin geniş kitlelerin katılımıyla gerçekleşen merkezi sınavlara erişim ve katılımlarını desteklemeye yönelik somut bir ürünün ortaya çıktığı düşünülmektedir.

Abstract:
The current research mainly aimed to analyze the needs, design, develop, examine the usability and determine the design principles of the web-based exam application (WBEA) for the visually impaired individuals. For this purpose, the usability of WBEA for visually impaired individuals evaluated in terms of effectiveness, efficiency and user satisfaction. This research, in which the design and development research model is used, it was fulfilled in four phases: analyzing problems, developing solutions, implementing and evaluating solutions, and identifying design principles. A total of 9 academicians, 4 examiners who were appointed in high-stakes exams, and 37 visually impaired individuals participated in different phases of the research. 24 visually impaired individuals participated in the usability tests carried out within the implementation and evaluation of the solutions phase. 14 of these individuals are blind and 10 of them are low vision. In addition, the study group consisted of three groups: secondary education level (n=8), higher education level (n=8) and higher education graduate (n=8). In the research, first of all, during the analysis of the problems phase a needs analysis for the WBEA was conducted and a preliminary prototype was developed. In the development of solutions phase, based on the data obtained from the needs analysis, tentative design principles for WBEA were defined and a storyboard was prepared. The development process was then completed in three cycles: development of the first prototype, development of the second prototype, and development of the final product. After the development of the final product, a pilot study was conducted. Then, usability tests were carried out under real conditions during the implementation and evaluation of the solutions phase. In usability tests, the usability of WBEA was evaluated in terms of effectiveness, efficiency and user satisfaction. Accordingly, (a) the achievement levels of the participants in the tasks determined for the usability tests for effectiveness, (b) the time to complete the given tasks for efficiency and the number of errors made, and (c) the feedback obtained through the satisfaction survey and semi-structured interviews for user satisfaction were measured. Usability tests were conducted through observation, recording of user logs, satisfaction survey and interview. Finally, in the identifying the design principles phase, the design principles obtained during the research on WBEA were reviewed and reported. The data collected in the research were analyzed using the SPSS software. In this context, qualitative data analysis, calculation of descriptive statistics (frequency, mean, standard deviation, etc.) and statistical difference tests (Kruskal-Wallis and Mann-Whitney U) were included. According to the research findings, it was determined that the mean of the achievement levels of the visually impaired individuals who participated in the usability tests was significantly high (X=90.19). It was also found out that the frequency of errors made in usability tests was very low (X=3.21). In addition, it was observed that the satisfaction level of visually impaired individuals is high (X=9.17). Also, it was detected that the achievement levels, error frequencies, task completion times and user satisfaction of the visually impaired individuals were similar in terms of the study group. In terms of visual impairment (blind and low vision), the achievement levels, task completion times and user satisfaction of the visually impaired individuals were similar; while significant difference were detected in terms of error frequencies. According to this, it was observed that the blind individuals made errors more frequently than the individuals with low vision. As a result, it can be stated that WBEA is usable for visually impaired individuals considering the findings of the effectiveness, efficiency and user satisfaction. From this point of view, it is thought that WBEA has emerged as a concrete product to contribute the access and participation of visually impaired individuals in the high-stakes exams held with the involvement of large masses.