Çok değerlendiricili roc çalışmalarında kullanılan tanı doğruluğu yöntemlerinin farklı deney tasarımlarında karşılaştırılması
Comparison of diagnostic accuracy methods used for the multi-reader roc analysis in different experimental design techniques
Yazar: MERVE BAŞOL
Danışman: PROF. DR. AHMET ERGUN KARAAĞAOĞLU
Hacettepe Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2016
Konu: Biyoistatistik = Biostatistics
Dizin: Teşhis = Diagnosis ; Teşhis teknikleri ve prosedürleri = Diagnostic techniques and procedures ; Teşhis testleri = Diagnostic tests

Özet:
Tanı testleri, sağlıklı bireyleri hasta bireylerden ayırt edebilmek için tıbbi tekniklerden, klinik gözlemlerden ya da hastalıklara ilişkin özel ölçümlerden elde edilen bulguları kullanan yöntemlerdir. Tanı testinin sonuçları, bir cihazdan elde edilen sayısal ölçümler olabileceği gibi sıklıkla radyoloji alanında kullanılan görüntüleme yöntemlerinin değerlendirici yorumları da olabilir. Radyoloji alanında bir tanı testinin tek bir değerlendirici yerine birden fazla değerlendirici tarafından yorumlanması tercih edilir. Çok değerlendiricili çok testli (ÇDÇT) çalışmalar, bu gibi durumlarda farklı tanı testlerinin performansını karşılaştırmak için geliştirilmiş bir yöntemdir. Tanı testlerinin performansını ölçmede ROC çözümlemesinin herhangi bir performans ölçüsü kullanılabilir. ÇDÇT çalışmalarda sıklıkla ROC eğrisi altında kalan alan ile çalışmak tercih edilir. ÇDÇT çalışmalar için deney tasarımı dikkatli seçilmelidir. Bu çalışmalarda genellikle tam faktöriyel deney tasarımı ile çalışmak önerilmektedir. Fakat bu tasarımın oluşturulması bazı durumlarda olası değildir. Bu çalışmada, farklı tasarımlar için ÇDÇT ROC çalışmalarının kullanımından bahsedilmiştir. Tanı testlerinin performanslarını karşılaştırmak için çeşitli yöntemler geliştirilmiştir. Bu yöntemlerden bazıları DBM Yöntemi (1992), OR Yöntemi (1995), GKE/SR Yöntemi (1996), Çok Değişkenli WMW Yöntemi (1997), BWC Yöntemi (2000), HROC Yöntemi (2000) ve moANOVA (2012) yöntemidir. Bu çalışmada, DBM, OR ve moANOVA yöntemleri temel alınmış ve gerçek veri seti üzerinden benzetim çalışması yapılarak değerlendiricilerin modele etkisine göre karşılaştırılmıştır. Elde edilen sonuçlara göre tam faktöriyel deney tasarımında değerlendiriciler hem rastgele etkili hem de sabit etkili iken DBM ve OR yöntemleri benzer sonuçlar vermektedir. Aynı şekilde, diğer tasarımlarda da değerlendiriciler rastgele etkili iken de sabit etkili iken de benzer sonuçları verdiği görülmüştür. Değerlendiricilerin modele sabit / rastgele etkili olarak alınmasının test sonuçlarını önemli ölçüde etkilediği görülmüştür.

Abstract:
The diagnostic tests are medical techniques to distinguish healthy from the sick cases by using the findings obtained from measurements of specific clinical observations or from disease specific measurements. The results of the diagnostic test may be numerical measurements obtained from a device or the reader's interpretations of images which are often obtained from radiology imaging methods. In radiology studies, it is preferred to interpret a diagnostic test by more than one reader rather than using single reader. Multi-reader multi-case (MRMC) studies are methods which are developed to compare the performance of different diagnostic tests in such cases. For measuring the performance of diagnostic tests, any performance measurement of ROC analysis may be considered. The ROC area under the curve is often preferred for MRMC studies. The experimental design for MRMC studies should be selected carefully. The full factorial experimental design is often suggested for these studies. But, in some cases, it is not possible to use this design. In this studies, we also mentioned the different designs to be used with MRMC. Several methods have been developed to compare the accuracy of diagnostic tests. Some of these methods are Dorfman-Berbaum-Metz (DBM) Method (1992), Obuchowski-Rockette (OR) Method (1995), GEE/OR (1996), Multi Wilcoxon Mann Whitney (WMW) Method (1997), Beiden- Wagner-Champbell (BWC) Method (2000), HROC (2000) and Marjinal Mean ANOVA (mmANOVA) Method (2012). In this study, DBM, OR and mmANOVA methods were considered as essential methods and these methods were compared according to readers' impact on the model by using the resampled data from real data set. According to the results, when the readers are both random effects and fixed effects, DBM and mmANOVA methods' results are slightly different. These findings can also be valid for different designs. This study shows that whether including the readers fixed or random effect in the model significanlty affects the test results.