Kâğıt-kalem, bilgisayar ve tablet ortamında gerçekleştirilen sınavlar için ölçme değişmezliğinin ve öğrenci görüşlerinin incelenmesi
Investigation of measurement invariance and students' views for paper-pencil, computer and tablet based exams
Yazar: İSA GÜNDOĞMUŞ
Danışman: YRD. DOÇ. DR. DERYA ÇOBANOĞLU AKTAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli = Computer aided ; Bilgisayar destekli seçme = Computer aided selection ; Bilgisayar destekli sistemler = Computer aided systems ; Kağıt Kalem Testi = Paper Pencil Test ; Sınav = Examination ; Sınav yöntemleri = Examination methods ; Tabletler = Tablets ; Ölçme değişmezliği = Measurement invariance ; Ölçme-değerlendirme = Measurement and evaluation ; Öğrenci görüşleri = Opinions of students

Özet:
Bu araştırmanın amacı, kâğıt-kalem, bilgisayar ve tablet ortamında gerçekleştirilen sınavların uygulama ortamına göre ölçme değişmezliğini, sınav süresi açısından farklılıklar olup olmadığını incelemek ve online uygulama ortamı hakkında öğrenci görüşlerini ortaya çıkarmaktır. 
Araştırmanın çalışma grubu 2016-2017 eğitim-öğretim yılında 5.sınıfta öğrenim görmekte olan 821 öğrenciden oluşmaktadır. Matematik Başarı Testinin geçerlik ve güvenirlik çalışması 402 öğrenci ile yapılmıştır. Nihai uygulamada kullanılacak Matematik Başarı Testi maddelerini belirlemek için, pilot uygulamadan elde edilen veriler açımlayıcı faktör analizine tabi tutulmuştur. Her bir maddenin güçlük indeksleri ve ayırıcılık gücü indeksleri hesaplanmıştır. Bu analizler sonucu maddelerden tek boyutta toplanan ve 7 kazanımın biri hariç her birinde 3 madde olacak şekilde madde seçimi yapılmıştır. Madde seçiminde maddenin faktör yükü, madde ayırıcılık indeksi ve madde güçlük indeksinin ilgili kazanım için en yüksek olanları göz önünde bulundurulmuştur. Tek bir faktör altında toplanan 20 çoktan seçmeli test maddesi ile Matematik Başarı Testinin son şekli oluşturularak 419 öğrenciye uygulanmıştır. Matematik Başarı Testinin uygulama ortamına göre ölçme değişmezliğini sağlayıp sağlamadığı incelenmiştir. Değişmezlik analizlerinde çok gruplu doğrulayıcı faktör analizi kullanılmış ve ölçme değişmezliği aşamalı olarak incelenmiştir. Öğrencilerin uygulama ortamlarına göre harcadıkları süreler ANOVA testi ile karşılaştırılmıştır. Öğrencilerin online sınavlar hakkındaki görüşlerini belirlemek amacıyla 261 öğrenci ile yarı yapılandırılmış görüşme yapılmıştır. Elde edilen veriler içerik analizi ile yorumlanmıştır.
Araştırmanın sonuçları, Matematik Başarı Testi'nin kâğıt-kalem ile bilgisayar ve bilgisayar ile tablet grupları arasında yalnızca şekil değişmezliğini sağladığını göstermektedir. Matematik Başarı Testi kâğıt-kalem ile bilgisayar ve bilgisayar ile tablet grupları arasında öğrencilerin puanlarının karşılaştırılmasının doğru olmayacağını göstermektedir. Matematik Başarı Testi kâğıt-kalem ile tablet grupları arasında ise ölçme değişmezliğinin tüm aşamalarını sağlamıştır. Bu durum öğrencilerin kâğıt-kalem ve tablet ortamında gerçekleştirilen sınavlardan aldıkları puanların ortalamalarının, varyanslarının ve kovaryanslarının karşılaştırılabilir olduğunu göstermektedir. Uygulama ortamlarına göre harcanan süreler açısından anlamlı farklılık olduğu tespit edilmiştir. Öğrencilerde bilgisayar ve tablet ortamında gerçekleştirilen sınavların sınavdan alacakları puanları ve sınav için harcayacakları süreyi etkilediği algısı vardır. Ayrıca öğrencilerin gelecekte yapılacak olan sınavların bilgisayar veya tablet ile yapılmasını istedikleri sonucuna ulaşılmıştır.

Abstract:
The aim of this study is to examine the measurement invariance of the paper-pencil, computer based and tablet based exams across application environment, to investigate whether there is any difference in exam duration and to reveal student opinions about the online application environment.
The study group includes 821 fifth graders receiving education in 2016-2017 school year. The validity and reliability studies of the Mathematics Achievement Test were conducted with 402 students. For determining the items forming the final application of the Mathematics (Achievement) Test, the data obtained with the pilot study was analyzed through exploratory factor analysis. Item difficulty and item discrimination indexes were estimated for every item of the test. Item selection was made in such a way that there are three items for every seven (except one) outcomes and all of the items loaded on one dimension. The items which have the highest factor loadings, item discrimination and item difficulty indexes for the related outcome were taken into consideration during the item selection. The final form of the Mathematics Achievement Test was created with 20 multiple-choice items loading on single dimension and applied to 419 students. Whether the Mathematics Achievement Test ensure measurement invariance across application environment was investigated. In the invariance analyses, multigroup confirmatory factor analysis was utilized and the measurement invariance was examined. The times spent by the students on different application environments were compared with ANOVA. Semi-structured interviews were conducted with 261 students to find out the opinions of the students about online exams.
The results of the study show that the Mathematics Achievement Test ensures only the configural invariance across the groups of paper-pencil, computer and tablet. Mathematics Achievement Test illustrates that it is not valid to make comparison between the scores of the students from the paper-pencil group and the computer group and also between the scores of the students from computer group and tablet group. Mathematics Achievement Test ensured all steps of the measurement invariance between the groups of paper-pencil and tablet. This finding indicates that the means, variances and covariances of the scores which the students obtained from the exams applied as paper-pencil or on tablet are comparable. It was found out that there is a significant difference among the times spent across application environments. There is perception among the students that the exams applied based on computer and tablet will affect the scores taken from the examinations and the exam duration. Moreover it was revealed that the students want the future examinations to be applied as computer or tablet based.