Meta analizde güvenirlik katsayısı ve örneklem hata varyansıyla ağırlıklandırma yöntemlerinin etki büyüklüğü, heterojenlik ve yayın yanlılığına etkisi
The effect of weighting methods with reliability coefficient and sampling error variance on effect size, heterogeneity and publication bias in meta analysis
Yazar: YILDIZ YILDIRIM GÖRGÜLÜ
Danışman: PROF. DR. ŞEREF TAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: 5E Modeli = 5E Model ; Akademik başarı = Academic achievement ; Etki büyüklüğü = Effect size ; Fen bilgisi eğitimi = Science education ; Fen bilgisi öğretimi = Science teaching ; Gri yayınlar = Grey literature ; Heterojen = Heterogeneous ; Meta analizi = Meta analysis ; Yayın yanlılığı = Publication bias ; Öğretim yöntemleri = Teaching methods

Özet:
Bu araştırmanın amacı; fen eğitiminde 5E öğretim yönteminin akademik başarıya etkisini meta analizle incelemede farklı ağırlıklandırma yöntemleri kullanıldığında; heterojenlik istatistikleri, yayın yanlılığı belirleme yöntemlerinin örneklem olarak ele alınan farklı çalışma sayılarından nasıl etkilendiğini incelemektir. Araştırmada ele alınan etki büyüklüklerini ağırlıklandırma yöntemleri; örneklem hata varyansının tersi ve birincil çalışmalardaki ölçümlerin güvenirliği ile ağırlıklandırmadır. Bu yöntemler altında gri literatürün dahil edilme durumunun ve analizlerin sabit ve rastgele etkiler modelleriyle gerçekleştirilmesinin meta analiz sonuçlarını nasıl etkilediğinin incelenmesi de amaçlanmıştır. Araştırma temel araştırma türündedir. İncelenen heterojenlik yöntemleri ise Q, T2, I2, H2 ve R2'dir. Yayın yanlılığı yöntemleri ise, huni diyagramı, Duval Tweedie'nin kırpma doldurma yöntemi, klasik güvenli N yöntemi, Begg ve Mazumdar sıra korelasyonu ve Egger'in regresyon testidir. Çalışma sayıları ise çoğaltma yöntemiyle oluşturularak k, 2k, 6k ve 10k olarak belirlenmiştir. Araştırmanın çalışma verisini 112 çalışma ve bu çalışmalardan elde edilen 149 etki büyüklüğü oluşturmaktadır. Bu çalışmaların elde edilmesinde 6712 çalışma incelenmiş ve bu çalışmalardan önceden belirlenen meta analize dahil etme ölçütlerine göre seçim yapılarak çalışma verisi oluşturulmuştur. Çalışmalara '"5E" + "fen" + "başarı"', '5E AND fen AND başarı', '5E AND science AND achievement' ve '5E AND science AND achievement AND Turkey' anahtar kelimeleriyle Google Akademik, Dergipark, YÖK Tez Merkezi, Proquest, Science Direct, ERIC, Taylor & Francis, EBSCOhost, Web of Science gibi veri tabanlarında ve arşivlerde tarama yapılarak erişilmiştir. Ayrıca bu veri tabanları dışında fen alanında etki faktörü yüksek olan beş derginin 2005-2020 yılları arasında yayımlanan tüm çalışmaları da incelenmiştir. Elde edilen çalışmalar belirlenen betimsel değişkenler ve etki büyüklüğünü hesaplamada kullanılan istatistikler bağlamında Microsoft Excel'e kodlanmıştır. Kodlanan verilerin analizinde CMA ve Microsoft Excel kullanılmıştır. Araştırmanın sonucunda, örneklem hata varyansının tersiyle ve güvenirlikle ağırlıklandırma yöntemleri kullanıldığında farklı meta analiz sonuçları elde edilmiştir. Çalışma sayısı bağlamında incelendiğinde ise genel etki büyüklüklerinin çalışma sayısından etkilenmediği, ancak çalışma sayısı arttıkça standart hatanın azaldığı görülmüştür. Heterojenlik belirleme yöntemleri incelendiğinde, tüm ağırlıklandırma yöntemleri için Q'nun yapısı gereği teorik olarak beklendiği gibi çalışma sayısından etkilenirken T2, I2, H2 ve R2'nin çalışma sayısından etkilenmediği bulunmuştur. Ayrıca heterojenliğin en fazla olduğu ağırlıklandırma yönteminin örneklem hata varyansı ağırlıklandırma olduğu görülmüştür. En düşük heterojenlik ise güvenirlik katsayısıyla ağırlıklandırma yönteminde gözlemlenmiştir. Yayın yanlılığı yöntemlerine ilişkin sonuçlar incelendiğinde ise örneklem hata varyansının tersi ile ağırlıklandırmada yayın yanlılığının söz konusu olduğu, ancak güvenirlikle ağırlıklandırma yöntemlerinde yayın yanlılığının bulunmadığı belirlenmiştir. Ek olarak huni diyagramı, Begg ve Mazumdar'ın sıra korelasyonu ve Egger'in regresyon testi çalışma sayısından etkilenmezken klasik güvenli N ve Duval ve Tweedie kırpma doldurma yöntemlerinin çalışma sayılarından etkilendiği görülmüştür. Ayrıca gri literatürün dâhil edilmesi durumunun tüm ağırlıklandırma yöntemlerinde manidar bir farklılığa neden olmadığı belirlenmiştir. Son olarak sabit etkiler ve rastgele etkiler modeli ile yapılan meta analizlerin sonuçları incelendiğinde güvenirlik katsayısı ile ağırlıklandırmada farklılaşmanın en az olduğu sonucuna varılmıştır.

Abstract:
The aim of this study was to examine how heterogeneity statistics, publication bias determination methods were affected by the different number of studies taken as samples when different weighting of effect size methods were used in examining the effect of the 5E teaching method on academic achievement in science education with meta analysis. Methods of weighting the effect sizes discussed in the research; weighting by reverse of sampling error variance and reliability of measures in primary studies. Under these methods, it was also aimed to examine how the inclusion of gray literature and the analysis of fixed and random effects models affected the meta analysis results. The research was of the basic type of research. The heterogeneity methods examined were Q, T2, I2, H2 and R2. Publication bias methods were funnel diagram, Duval Tweedie's trim and fill method, classical fail-safe N method, Begg and Mazumdar rank correlation and Egger's regression test. The number of studies was created by duplication method and determined as k, 2k, 6k and 10k. The data of the research consisted of 112 studies and 149 effect sizes obtained from these studies. In obtaining these studies, 6712 studies were examined and the study group was formed by selecting from these studies according to the predetermined meta analysis inclusion criteria. Studies with the keywords "5E" + "science" + "success", "5E AND science AND success", "5E AND science AND achievement" and "5E AND science AND achievement AND Turkey", accessed by searching databases and archives such as Google Scholar, Dergipark, YÖK Thesis Center, Proquest, Science Direct, ERIC, Taylor & Francis, EBSCOhost, Web of Science. In addition, apart from these databases, all the studies published between 2005-2020 of 5 journals with high impact factors in the field of science were also examined. The obtained studies were coded into Microsoft Excel in the context of the descriptive variables determined and the statistics used to calculate the effect size. CMA and Microsoft Excel were used in the analysis of the coded data. As a result of the research, different meta analysis results were obtained when the inverse of the sampling error variance and weighting methods with reliability were used. When examined in the context of the number of studies, it was seen that the overall effect sizes were not affected by the number of studies, but the standard error decreased as the number of studies increased. When the heterogeneity determination methods were examined, it was found that while the Q for all weighting methods was affected by the number of studies, as expected theoretically due to its structure, T2, I2, H2 and R2 were not affected by the number of studies. In addition, it was observed that the weighting method with the highest heterogeneity was weighting with sampling error variance. On the other hand, the lowest heterogeneity was observed in the weighting method with the reliability coefficient. When the results of publication bias methods were examined, it was determined that there was publication bias in weighting with reverse of sampling error variance, but there was no publication bias in weighting with reliability methods. Also, while the funnel diagram, Begg and Mazumdar's rank correlation and Egger's regression test were not affected by the number of studies, it was observed that the classical fail-safe N and Duval and Tweedie trim-fill methods were affected by the number of studies. In addition, it was determined that the inclusion of gray literature did not cause a significant difference in all weighting methods. Finally, when the results of the meta analysis with fixed effects and random effects model were examined, it was concluded that the variation in weighting with reliability coefficient was the least.