Otomatik madde üretiminin aile hekimliği alanına uygulanması ve üretilen maddelerin niteliğinin incelenmesi
Applying automatic item generation in family medicine field and evaluating generated test items
Yazar: ELİF ÖZLEM ARDIÇ KEMERKAYA
Danışman: DOÇ. DR. GÜLŞEN TAŞDELEN TEKER
Hacettepe Üniversitesi / Sağlık Bilimleri Enstitüsü / Tıp Eğitimi ve Bilişim Ana Bilim Dalı / Tıp Eğitimi Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Sağlık Eğitimi = Health Education
Dizin: Aile hekimliği = Family practice ; Yapay zeka = Artificial intelligence ; Çoktan seçmeli testler = Multiple choice tests

Özet:
Çoktan seçmeli maddeler, tıp eğitiminde kullanılan birçok değerlendirmenin temelini oluşturmaktadır. Geleneksel yaklaşımlarla madde yazımı ise oldukça zaman alıcı ve zor bir süreçtir. Bu nedenle, çalışmanın temel amacı, yapay zekâ modellerinden ChatGPT-4 ile koruyucu hekimlik uygulamaları kapsamında olgu temelli çoktan seçmeli maddeler üretmek ve üretilen maddelerin psikometrik özelliklerini incelemektir. ChatGPT-4 ile üretilen 25 madde, alan uzmanları tarafından incelenmiş ve nitelikli bir çoktan seçmeli maddenin sahip olması gereken özellikleri taşımayan 20 madde çalışmadan çıkarılmıştır. Kalan beş madde, 110 aile hekimliği uzmanlık öğrencisine uygulanmış ve klasik test kuramı kapsamında madde istatistikleri elde edilmiştir. Alan uzmanlarının yaptığı değerlendirmeler, üretilen maddelerin kök ve seçeneklerinin nitelikli madde yazım kurallarına uygun olduğunu, ancak çeldiricilerin güçlendirilmesi gerektiğini ortaya koymuştur. Uzmanlık öğrencilerinin verdiği cevaplar doğrultusunda hesaplanan madde istatistikleri ise bir maddenin kolay ve ayırt edici olmadığını, diğer dört maddeden birinin kolay, diğer üçünün ise ortalama güçlükte olduğunu ve bu maddelerin ayırt edici olduğunu göstermiştir. Çeldirici analizleri, öğrencilerinin %97,3'ünün doğru cevapladığı madde için çeldiricilerin çalışmadığı, diğer dört maddede ise çeldiricilerin bir ya da ikisinin öğrencilerin %5'inden daha azı tarafından işaretlendiği bulunmuştur. Sonuç olarak, tıp eğitiminde olgu temelli çoktan seçmeli madde yazma konusunda ChatGPT'nin alan uzmanlarına yardımcı olabileceği, ancak üretilen maddelerin uzmanlar tarafından gözden geçirildikten sonra kullanılması gerektiği söylenebilir.

Abstract:
Multiple-choice items form the basis of many assessments used in medical education. Writing questions using traditional approaches is, however, a time-consuming and challenging process. Therefore, the primary aim of this study is to generate case-based multiple-choice items related to preventive medicine using the artificial intelligence model ChatGPT-4 and to examine the psychometric properties of the generated items. Of the 25 items produced by ChatGPT-4, 20 were removed from the study after being reviewed by field experts, as they did not meet the required characteristics of a high-quality multiple-choice item. The remaining five questions were administered to 110 family medicine residency students, and item statistics were obtained based on classical test theory. Evaluations by field experts revealed that while the stems and options of the generated items adhered to high-quality item writing standards, the distractors needed improvement. Item statistics based on student responses indicated that the first item was too easy and not discriminatory, while one of the remaining four items was easy and the other three had moderate difficulty and were discriminatory. Distractor analyses showed that for the item answered correctly by 97.3% of students, none of the distractors were effective, whereas for the other four items, one or two distractors were marked by less than 5% of the students. In conclusion, ChatGPT can assist field experts in creating case-based multiple-choice items for medical education; however, it is essential that the generated items are reviewed by experts before use.