Klinik becerilerin değerlendirilmesinde standart belirleme yöntemlerinin karşılaştırılması
Comparison of standard setting methods in the evaluation of clinical skills
Yazar: GÖKÇE ÖZCAN
Danışman: DOÇ. DR. GÜLŞEN TAŞDELEN TEKER
Hacettepe Üniversitesi / Sağlık Bilimleri Enstitüsü / Tıp Eğitimi Ana Bilim Dalı / Tıp Eğitimi Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Sağlık Eğitimi = Health Education
Dizin: Angoff Standart Belirleme Yöntemi = Angoff Standard Setting Method ; Beceri = Skill ; Beceri performansı = Skill performance ; Karşıt gruplar standart belirleme yöntemleri = Contrasting groups standarsd setting methods ; Mesleki beceriler = Professional skills ; Standartlar = Standards

Özet:
Özcan, G., Klinik Becerilerin Değerlendirilmesinde Standart Belirleme Yöntemlerinin Karşılaştırılması, Hacettepe Üniversitesi Sağlık Bilimleri Enstitüsü Tıp Eğitimi Programı Yüksek Lisans Tezi, Ankara, 2022. Bu araştırma ile öğrenci merkezli standart belirleme yöntemlerinden Sınır Grup ve Karşıt Gruplardan elde edilen kesme puanları ile test merkezli standart belirleme yöntemlerinden olan Angoff (madde düzeyinde-MD) ve Angoff (beceri düzeyinde-BD) yöntemleri arasındaki ilişki incelenmiştir. Ayrıca, bu dört yöntemle belirlenen geçme puanları ve bu puanlar neticesinde başarılı kabul edilen öğrenci sayılarının ve yüzdelerinin nasıl değiştiği incelenmiştir. Bunun yanında Angoff (MD), Angoff (BD), sınır grup ve karşıt gruplar yöntemleriyle elde edilen geçme puanlarına göre başarılı öğrencilerin yüzdeleri arasında anlamlı fark olup olmadığı incelenmiştir. Ayrıca, farklı branşlardan çalışmaya katılan uzmanların standart belirleme yöntemleri ile belirlediği geçme puanları arasındaki uyum araştırılmıştır. Araştırma, standart belirleme yöntemlerinin Yapılandırılmış Objektif Klinik Sınav (YOKS) için kullanılması özelinde durum saptamaya yönelik olduğundan betimsel bir nitelik taşımaktadır. Araştırmanın çalışma grubunu 2018-2019 eğitim-öğretim yılında HÜTF Dönem 3'e devam eden öğrencilerden iletişim, solunum sistemi fizik muayene, spekulum ile kadın genital muayene ve dikiş atma becerilerinden oluşan YOKS'a giren 531 öğrenci oluşturmaktadır.  Çalışmada ayrıca Hacettepe Üniversitesi Tıp Fakültesi'nde görev yapan beş tıp eğitimi uzmanı ve beş uzman hekim olmak üzere toplam on uzmandan Angoff (MD) ve Angoff (BD) yöntemleri için görüş alınarak veri toplanmıştır. Sınır grup ve karşıt gruplar yöntemleri için veri kaynağı olarak; Tıp Eğitimi ve Bilişimi Anabilim Dalı arşivlerinden alınan 30 uzmanın YOKS esnasında yaptıkları genel değerlendirme sonuçları kullanılmıştır. Araştırma sonucu elde edilen bulgulara göre Angoff (MD), Angoff (BD), sınır grup ve karşıt gruplar yöntemlerine göre farklı geçme puanları elde edilmiştir. Dört yöntem karşılaştırıldığında en yüksek kesme puanı; kadın genital sistem muayenesi için karşıt gruplar yöntemiyle (79); iletişim becerileri için Angoff (BD) yöntemiyle (69,6); solunum sistemi muayenesi için Angoff (MD) yöntemiyle (68,3); dikiş atma becerisi için karşıt gruplar yönteminde (65) bulunmuştur. Öğrenci merkezli yöntemler kendi içinde değerlendirildiğinde geçme puanlarının birbirlerine yakın, test merkezlilerin ise birbirine uzak olduğu görülmüştür. Öğrenci merkezli yöntemlerde başarılı kabul edilen öğrenci yüzdeleri test merkezli yöntemlere göre daha yüksek çıkmıştır. Dört beceri, dört ayrı yönteme göre kesme puanı belirlendikten sona belirlenen kesme puanıyla başarılı kabul edilen öğrenci yüzdeleri arasındaki manidar fark olup olmadığı incelenmiştir. Angoff (MD)- Angoff (BD) arasında 1 beceri için, Angoff (MD)- Sınır grup arasında 3 beceri için, Angoff (MD)- Karşıt gruplar arasında 1 beceri için anlamlı fark bulunmuştur.  Angoff (BD)- Sınır grup arasında 3 beceri için, Angoff (BD)-Karşıt gruplar arasında 1 beceri için ve Sınır grup- Karşıt gruplar arasında 3 beceri için anlamlı fark çıkmıştır. Uzmanlara ait Angoff (MD) ve Angoff (BD) yöntemlerine ilişkin geçme puanları arasındaki korelasyon için Spearman sıra farkları korelasyon katsayısı hesaplanmıştır. Tıp eğitimcisi ve uzman hekimler bir arada değerlendirildiğinde kadın genital sistem muayenesi becerisi için 0,05 düzeyinde; iletişim becerileri, solunum sistemi muayenesi, dikiş atma becerisi için 0,01 düzeyinde istatistiksel olarak anlamlı ilişki olduğu görülmektedir. Solunum sistem muayenesi için korelasyon çok kuvvetli çıkarken; iletişim, solunum sistemi muayenesi ve dikiş atma becerisi için kuvvetli ilişki olduğu saptanmıştır.

Abstract:
Özcan, G. Comparison of Standard-Setting Methods in the Evaluation of Clinical Skills, Hacettepe University Graduate School of Health Sciences Medical Education Program Master Thesis, Ankara, 2022. In this study, the relationship between the cut-off scores obtained from the Borderline Group and Contrasting groups, which are student-centered standard-setting methods, and the Angoff (item-level-MD) and Angoff (skill-level-BD) methods, which are test-centered standard-setting methods, were examined. In addition, the passing scores were determined by these four methods and how the number and percentage of students who were accepted as successful as a result of these scores changed. In addition, it was investigated whether there is a significant difference between the percentages of successful students according to the passing scores obtained by Angoff (MD), Angoff (BD), border group, and contrasting groups methods. In addition, the compatibility between the standard-setting methods and the passing scores determined by the experts participating in the study from different branches was investigated. The research has a descriptive nature as it is aimed at determining the situation, in particular, using standard-setting methods for the Objective Structured Clinical Examination (OSCE). The study group of the research consists of 531 students who attended HUFM Term 3 in the 2018-2019 academic year, and who entered the OSCE, which consists of communication, respiratory system physical examination, speculum, female genital examination, and suturing skills. In addition, data were collected from ten specialists, including five medical education specialists and five specialist physicians, working at Hacettepe University Faculty of Medicine, for Angoff (MD) and Angoff (BD) methods.As a data source for borderline group and contrasting groups methods; The results of the general evaluation of 30 specialists from the archives of the Department of Medical Education and Informatics during YOKS were used. According to the findings obtained as a result of the research, different passing scores were obtained according to Angoff (MD), Angoff (BD), border group, and contrasting groups methods. The highest cut-off score when the four methods were compared; was for female genital tract examination by the contrasting groups method (79); for communication skills with the Angoff (BD) method (69.6); with Angoff (MD) method (68.3) for respiratory system examination; was found in the contrasting groups method (65) for suturing skill. When the student-centered methods are evaluated within themselves, it is seen that the passing scores are close to each other, while the test-centered ones are far from each other. The percentages of students who were considered successful in student-centered methods were higher than in test-centered methods. After the cut-off point was determined according to four skills and four different methods, it was examined whether there was a significant difference between the cut-off score determined and the percentage of students who were accepted as successful. A significant difference was found between Angoff (MD)- Angoff (BD) for 1 skill, between Angoff (MD)- Borderline group for 3 skills, and Angoff (MD) for 1 skill between contrasting groups. There was a significant difference between Angoff (BD)- Borderline groups for 3 skills, Angoff (BD)-Opposed groups for 1 skill, and Borderline group- Contrasting groups for 3 skills. Spearman rank difference correlation coefficient was calculated for the correlation between the passing scores of the experts' Angoff (MD) and Angoff (BD) methods. When medical educators and specialist physicians are evaluated together, it is a 0.05 level for female genital system examination skills; It is seen that there is a statistically significant correlation at the level of 0.01 for communication skills, respiratory system examination, and sewing skills. While the correlation was very strong for respiratory system examination; It was determined that there was a strong correlation for communication, respiratory system examination, and suturing skills.