Tanı testi doğruluk ölçütlerinin yanlı kestirimine neden olan faktörler: Seçilmiş deneklerin kullanılmasından kaynaklanan yanlı kestirimlerin düzeltilmesi için yöntemler
Factors that cause biased estimation in diagnostic measures: Correction methods for verification bias
Yazar: YASEMİN GENÇ
Danışman: PROF.DR. ERSÖZ TÜCCAR
Ankara Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Doktora, 2001
Konu: Tıbbi Biyoloji = Medical Biology

Özet:
Tanı Testi Doğruluk Ölçütlerinin Yanlı Kestirimine Neden Olan Faktörler: Seçilmiş Deneklerin Kullanılmasından Kaynaklanan Yanlı Kestirimlerin Düzeltilmesi İçin Yöntemler Bu çalışmada tanı testi doğruluk ölçütlerinin yanlı kestirimine neden olan faktörler ayrı yan incelenmiş ve yansız kestirimlerin elde edilmesi için yapılması gerekenler sıralanmıştır. Yanlı kestirimlere yol açan en önemli faktör olan seçilmiş deneklerin kullanılması sorunu üzerinde ayrıca durulmuş ve "duyarlılık", "seçicilik" ve "işlem karakteristiği eğrisi altoda kalan alan" ölçütleri için istatistiksel düzeltme yöntemleri tartışılmıştır. Doğruluk ölçütlerinin yanlı kestirimine neden olan en önemli faktör seçilmiş denekler üzerinde çalışılmasıdır. Çalışmalarda genellikle tam testi sonucu ve diğer klinik parametrelere göre hastalık şüphesi yüksek olan kişilere referans test uygulanır. Bu durum duyarlılığın gerçekte olduğundan daha yüksek, seçiciliğin gerçekte olduğundan daha düşük kestirilmesine neden olurken, işlem karakteristiği eğrisi altoda kalan alan için böyle bir genelleme yapmak mevcut çalışmalarla mümkün değildir. Tam testi uygulamalarının tümüne referans test uygulamadan doğruluk ölçütlerinin yansız kestirilmesini sağlamanın tek yolu hesaplamalarda düzeltme yöntemlerini kullanmaktır. Duyarlılık ve seçicilik ölçütlerinin yansız kestirimi için en yaygın kullanılan düzeltme yöntemi Begg ve Greenes (1983) tarafından önerilen yöntemdir. İşlem karakteristiği eğrisi altında kalan alan için ise Zhou (1996) tarafından önerilen yöntem normal dağılım gerektirmemesi ve hesaplamamalarda iteratif yöntem kullanmaması nedeniyle yaygın olarak kabul görmüştür. Seçilmiş deneklerin kullanılması yanlı kestirimlere neden olan en önemli faktör olmakla beraber tek yan kaynağı olarak gösterilemez. Kestirimlerin yanlı olmasına sebep olan diğer faktörler, tam testi sonuçlarının klinik parametrelerin ya da kişinin gerçek durumunun bilinmesinden etkilenmesi, tam testi sonucunda şüpheli bulunanların ya da yetersiz bulgu nedeniyle tam koymanın mümkün olmadığı sonuçların hasta ya da sağlıklı gruplarına eklenmesi ya da gözardı edilmesi, referans testin olmaması ve o dönemde ortaya çıkan şartların tam testi sonucunu etkilemesi şeklinde sıralanabilir. Bunlar dunda tam testi sonuçlan hasta spektrumundan, tam testi uygulayan 80gözlemcinin yeteneğinden ve pozitiflik krterlerinin farklılığından etkilenerek çalışmadan çalışmaya değişkenlik gösterir. Çalışmamızın uygulama bölümünde kullanılan veriler Ankara Üniversitesi Tıp Fakültesi Endokrinoloji ve Metabolizma Hastalıkları Bilim dalından temin edilmiştir. Uygulamamızın ilk bölümünde tiroid nodüllerinin belirlenmesinde kullanılan palpasyon yöntemine ait duyarlılık ve seçicilik ölçütlerinin kestirimi seçilmiş deneklerin kullanıldığı gözardı edilerek alışılagelmiş yöntemlerle ve Begg ve Greenes (1983) tarafından önerilen düzeltme yöntemiyle ayrı ayrı yapılmıştır. Begg ve Greenes (1983) tarafından önerilen düzeltme yöntemi kullanıldığında duyarlılık ölçütü 0,7373 ve buna ait varyans 0,0048 olarak kestirilmiştir. Düzeltme yöntemi kullanılmadığı durumda ise duyarlılık 0,9118 olarak bulunurken buna ait varyans 0,00064 olarak hesaplanmıştır. Yine düzeltme yöntemi kullanıldıında palpasyon yöntemi için seçicilik 0,5838 olarak bulunurken buna ait varyans 0,0019 olarak kestirilmiştir. Seçilmiş deneklerin kullanıldığı gözardı edilerek alışılagelmiş yöntemler kullanıldığında ise seçicilik 0,2759 ve buna ait varyans 0,0016 olarak elde edilmiştir. Bu uygulamanın sonucu seçilmiş deneklerin kullanıldığı gözardı edildiğinde duyarlılık ölçütünün gerçekte olduğundan daha büyük, seçicilik ölçütünün ise gerçekte olduğundan daha küçük kestirildiğini göstermiştir. İşlem karakteristiği eğrisi altmda kalan alanın seçilmiş deneklerin kullanılmasından nasıl etkilendiği palpasyon yöntemiyle yapılan guvatr sınıflandırmasının guvatrlı hastaları ayırma gücü değerlendirilerek incelenmiştir. İşlem karakteristiği eğrisi altmda kalan alan seçilmiş deneklerin kullanıldığı gözardı edilerek Bamber (1975) tarafından önerilen ve Hanley ve McNeil (1982) tarafından hesaplama yöntemleri asitleştirilerek popüler hale getirilen Wilcoxon yöntemiyle ve Zhou (1996) tarafından önerilen düzeltme yöntemiyle ayrı ayrı değerlendirilmiştir. Zhou (1996) tarafından önerilen düzeltme yöntemi kullanıldığında guvatr sınıflandırması için İKE altmda kalan alan 0,8764 olarak bulunurken buna ait varyans 0,00013 olarak elde edilmiştir. Seçilmiş deneklerin kullanıldığı gözardı edildiğinde ise alan ve varyansı sırasıyla 0,9143 ve 0,0000394 olarak bulunmuştur. Bu da düzeltme yöntemi kullanılmadığı durumda İKE altmda kalan alanın gerçekte olduğundan daha yüksek kestirildiğini göstermiştir. 81Sonuç olarak, hastalıklar için uygun tanı testlerinin kullanılmasıyla hastaların hayatlarının kurtanlabileceği, daha geniş bir bakış açısıyla ülkelerin sağlık harcamalarının azaltılabileceği unutulmamalı ve tanı testlerinin değerlendirilmesinde kullanılan doğruluk ölçütlerinin hatasız olarak elde edilmesine önem verilmelidir. Anahtar Sözcükler: Duyarlılık, İşlem Karakteristiği Eğrisi, Referans testin yokluğu, Seçicilik, Seçilmiş deneklerden kaynaklanan yan, Tekraredilebilirlik 82

Abstract:
Factors that cause biased estimation in diagnostic measures: Correction methods for verification bias In this study, the factors which cause biased estimation of diagnostic measures are investigated and the necessary things to be done in order to have unbiased estimations are ordered. The statistical correction methods for the sensitivity, specificity and the area under the receiver operating characteristic (ROC) curve are discussed, emphasizing separately the problem of verification bias which is the most important factor causing biased estimations. The most important factor causing biased estimation of diagnostic measures is the study on selected subjects. Generally, in these studies a gold standart test is applied to the people who is highly under the risk of diseases according to the results of diagnostic test and other clinical parameters. This situation results in the estimation of higher sensitivity than the actual state, a lower specificity than the actual specificity. The present analysis does not allow us to make such a general comment about area under the ROC curves. The only way of providing an unbiased estimation of diagnostic measures without the application of a gold standart test to all diagnostic test applications is to use correction methods in calculations. The most common correction method for the unbiased estimation of sensitivity and specificity is the one proposed by Begg and Greenes (1983). The method proposed by Zhou (1996) for the area under the ROC curve is widely accepted because it does not necessitate a normal distribution and use an iterative method in calculations. Although the most important factor in biased estimations is to use the selected subjects, it cannot be seen as the only resource. Other factors causing biased estimations are as follows: the effect of the knowledge on clinical parameters or the disease status of the person on the diagnostic test results, addition of the equivocal, undeterminate and uninterpretable test results to the groups either non-diseased or diseased subjects or ignorance of these results, lack of gold standart test and the effect of the emerged conditions on the results of diagnostic test. Furthermore the results of diagnostic tests are affected by the spectrum of diseased subjects, competencey of the observer administrating the test, and the diference of positive criteria. 83The data used in the application were gathered from Ankara University, Medical Faculty, Department of Endocrinology and Metabolic Diseases. Estimation of sensitivity and specificity of the palpation method used in the identification of trioid nodules was done through the use of conventional methods and the correction method proposed by Begg and Greenes (1983). When the method developed by Begg and Greenes is used, the sensitivity was estimated as 0,7373 and its variance as 0,0048. When conventional methods are employed sensitivity was found as 0,91 18 and its variance as 0,00064. For the palpation method with the correction method the specificity was found 0,5838 and its variance as 0,0019. When the conventional methods are employed the specificity was found 0,2759 with the variance value of 0,0016. The study indicates that ignoring the use of the selected subjects, the sensitivity is estimated larger than actual and the specificity is estimated lower than the actual state. The effect of the use of the selected subjects on the area under the ROC curve is investigated through the evaluation of the guvatr classification made with the palpation method in terms of its discrimination power among the ill people with guavtr. The area under the ROC curve is evaluated separetely through the use of both methods: the wilcoxon method proposed by Bamber (1975) and the correction method proposed by Zhou (1996). The area under the ROC curve is found 0,8764 with the variance of 0,00013 when the method offered by Zhou (1996) is used. When the use of the selected subjects is ignored these values are found 0,9143 and 0,0000394, respectively with Wilcoxon method. It shows that when the correction method is not used the area is estimated higher than its actual size. In sum, it is important to know that using proper diagnostic tests, patients' life can be saved and that medical costs can be reduced with a larger perspective. Therefore the scales used in the evaluation of diagnostic tests should be developed without any error. Key Words: Imperfect gold standart, Reproducibility, ROC curve, Sensitivity, Specificity, Verification bias 84