Matematik eğitimi lisansüstü tezlerindeki geçerlik ve güvenirlik çalışmalarının çağdaş standartlara uygunluğunun incelenmesi
Examination of compliance with modern standards of validity and reliability on mathematic education post graduation theses
Yazar: SAMİ SEZER ARBAĞ
Danışman: PROF. DR. ERHAN ERTEKİN
Necmettin Erbakan Üniversitesi / Eğitim Bilimleri Enstitüsü / Ortaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı / Matematik Eğitimi Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Eğitim ve Öğretim = Education and Training ; Matematik = Mathematics
Dizin: Geçerlik = Validity ; Güvenilirlik = Reliability ; Lisansüstü eğitim = Postgraduate education ; Lisansüstü tezler = Postgraduation thesises ; Matematik = Mathematics ; Matematik eğitimi = Mathematics education ; Standartlar = Standards ; Tezler = Theses

Özet:
Matematik Eğitimi Lisansüstü Tezlerindeki Geçerlik ve Güvenirlik Çalışmalarının Çağdaş Standartlara Uygunluğunun İncelenmesi başlıklı bu çalışma, tezlerdeki geçerlik ve güvenirlik çalışmaları, geçerlik ve güvenirlik kavramının kullanımı ve geçerlik ve güvenirlikteki çağdaş standartlar üzerinedir. Bu araştırmayla, matematik eğitimi alanında tamamlanan doktora ve yüksek lisans tezlerinin geçerlik ve güvenirliklerinin çağdaş standartlara uygunluğu incelenmiş ve hatalar belirlenmiştir. Tezler, geçerlik ve güvenirlik kavramı kullanımındaki farklılıklar, ölçüm güvenirlik kestirim yöntemleri, güvenirlik doğuşturmaları, ölçüm güvenirlik katsayıları, güvenirlik çalışmalarında  kullanılan örneklem büyüklükleri, ölçüm güvenirlik katsayılarının güven aralıkları ve etki büyüklükleri, geçerlik ve güvenirlik çalışması yapılma durumu, kullanılan geçerlik türü, geçerlik kanıtları, geçerlik kanıtı için kullanılan yöntemler gibi çeşitli açılardan kriterler dikkate alınarak, geçerlik ve güvenirlikteki çağdaş standartlara uygunlukları değerlendirilmiştir. Nitel araştırma yaklaşımı benimsenerek gerçekleştirilen bu araştırmada ileride hazırlanacak bilimsel çalışmalarda aynı hataların tekrarlanmasının önüne geçilmesi amaçlanmıştır. Özellikle matematik eğitiminde tamamlanmış doktora ve yüksek lisans tezlerinin geçerlik ve güvenirlik çalışmalarına odaklanılması araştırmanın özel durum çalışması deseni ile yürütülmesine sebep olmuştur. Çalışmanın örneklemini 2000-2018 yılları arasında matematik eğitimi alanında yazılan ve YÖK Ulusal Tez Merkezinin internet sitesinde erişim engeli bulunmayan 92 doktora ve 343 yüksek lisans tezi olmak üzere toplam 435 lisansüstü tezi oluşturmaktadır. Doktora ve yüksek lisans tezlerine ait incelemelerin döküman analizi ile yapıldığı bu araştırmada veriler, araştırmanın amacına bağlı olarak kategoriler altında, araştırmacı tarafından geliştirilen "Tez İnceleme Formu" ile toplanmıştır. Tezler farklı uzmanlar tarafından puanlandığı için, puanlayıcı güvenirliğini sağlamak amacıyla uzlaşma katsayısı hesaplanmış ve 0.843 değeri elde edilmiştir. Bu değer puanlayıcılar arası uzlaşma anlamındaki  güvenirliğin sağlandığı anlamına gelmektedir. Verinin analizinde betimsel ve kategorik analizler kullanılmıştır. Araştırma sonuçlarının geçerliği için inandırıcılık ve aktarılabilirlik; sonuçların güvenirliği için tutarlık ve teyit edilebilirlik kanıtları incelenmiştir.
Araştırma  sonucunda elde edilen bulgulara göre, incelenen tezlerin %19'unda yani neredeyse 5 tezin 1'inde güvenirlik, %14'ünde geçerlik ve %5'inde yani 20 tezin 1'inde hem geçerlik hem de güvenirlik çalışması yapılmadığı; %22'sinde güvenirlik doğuşturmasının yapıldığı; %51'inde yani yarısından fazlasında güvenirlik, %76'sında yani 4 tezin 3'ünde geçerlik ifadelerinin bir kavram yanılgısını çağrıştırdığı; %65'inde  rapor edilen güvenirlik katsayısının 0.80'den düşük olduğu; %96'sında güvenirlik katsayısının güven aralıklarının rapor edilmediği; %89'unda güvenirlik kestirimine yönelik alınmış olan örneklem büyüklüğünün 400'den az olduğu; %94'ünde etki büyüklüğünün rapor edilmediği; en çok kullanılan güvenirlik kestirim yöntemlerinin Kuder Richardson ve Cronbach alfa olduğu; en çok kullanılan geçerlik türlerinin kapsam ve yapı geçerliği olduğu; en çok kullanılan geçerlik kanıtlarının test içeriği ve iç yapı üzerine temellenmiş kanıt olduğu; en çok kullanılan geçerlik kanıt yönteminin uzman görüşü olduğu tespit edilmiş ve bulgular tartışılarak, olası çözüm ve öneriler ileri sürülmüştür.

Anahtar Kelimeler: Geçerlik, Güvenirlik, Çağdaş Standartlar, Matematik Eğitimi, Lisansüstü Tez, Döküman Analizi

Abstract:
SUMMARY
This study named Examination of Compliance with Modern Standards of Validity and Reliability on Mathematic Education Post Graduation Theses is based on validity and reliability studies on theses, usage of validity and reliability terms and compliance with modern standards on validity and reliability. With this study, compliance with modern standards of validity and reliability of completed doctorate theses and post graduate theses in the field of mathematics education were analyzed and mistakes were detected. Compliance with modern standards of reliability and validity of the theses were evaluated, based on various perspectives such as differences in the usage of term reliability, validity, reliability induction, reliability estimation methods of score, score reliability coefficients, sample size used in reliability studies, confidence interval of score reliability coefficients and effect size. It is aimed to help avoid repeating common mistakes in scientific studies by adopting qualitative research approach. Especially the focus on the validity and reliability of completed doctorate theses and post graduate theses in the field of mathematics education caused to carry this research out with a case study. Sample of study was composed by a total of 435 postgraduate theses which include 92 doctorate theses and 343 postgraduate theses  from the website of YÖK Center of International Thesis which were written between the years 2000-2018 in the field of mathematics education. Document analysis and data of research which belongs to doctorate and post graduate theses are collected under the 'Thesis Examine Form' which was developed by the researcher. Since the theses are graded by different experts, the raters' coefficient of agreement was calculated as 0.843 to ensure rater reliability thus, overall reliability of raters are obtained. The data were examined by using descriptive and categorical analysis. For the validity of research results, persuasiveness and transferability are examined; whereas for the reliability of results concinnity and verifiable evidences are examined.
According to the results obtained from the research, 19% of examined theses in other words almost in 1 of 5 theses in reliability, in 14% validity and in 5% which is 1 of 20 theses did not have not only reliability but also validity studies; in %22, the reliability induction was done; in 51% which is more than half reliability, 76% of theses reminds misconception; in 65% the reliability coefficient reported as lower than 0.80; confidence interval of reliability coefficients were not reported in 96%; the sample size at 89% is less than 400; The effect size was not reported in 94%. It is also submitted that Kuder-Richardson and Cronbach alfa are the most widely used reliability estimation methods. Most widely used types of validity are scope and building validity; most widely used evidences of validity are test content and evidence based on test content; most widely used method of evidence validity is expert opinion. These findings were discussed and possible solutions and suggestions were propounded.

Keywords: Validity, Reliability, Modern Standards, Math Education, Graduate Thesis, Document Analysis