Kuzularda büyüme örneğinde tahmin modellerinin performanslarının incelenmesi
Evaluating the performance of prediction models in the case of growth of lambs
Yazar: ÖZLEM GÜLLÜ
Danışman: PROF. DR. İSMAYİL SAFA GÜRCAN
Ankara Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Doktora, 2015
Konu: Biyoistatistik = Biostatistics ; Veteriner Hekimliği = Veterinary Medicine
Dizin: Biyoistatistik = Bioistatistics ; Büyüme = Growth ; Hayvancılık = Animal husbandry ; Koyunlar = Sheep ; Kuzular = Lambs ; Risk faktörleri = Risk factors ; Tahmin modelleri = Estimation models ; Veteriner hekimlik = Veterinary medicine

Özet:
Bu çalışmanın amacı, tahmin modellerinin performanslarının değerlendirilmesinde kullanılan klasik yöntemler açıklayıcılık katsayısı, Birer skor, eğri altında kalan alan (AUC) ve bu yöntemlere alternatif olarak sunulan iki yeni yöntem Net Tekrar Sınıflandırma İyileştirmesi (NRI) ve Bütünleşik Ayrımsama İyileştirmesi (IDI) ile doğum ağırlığı değişkeninin model performansına etkisinin incelenmesidir.
Çalışmanın materyalini 1996-1997 yılları arasında Sivas-Ulaş Tarım İşletmesindeki 433 kuzunun büyüme özelliğine ait veriler oluşturmuştur. İstenilen SKA'ya sahip olan ve olmayan kuzuların sınıflandırılmasında doğum ağırlığının model performansına etkisi incelenmiştir. Öncelikle kuzularda büyümeye etki eden risk faktörleri genotip, doğum yılı, cinsiyet ve doğum tipi değişkenlerini içeren referans model oluşturulmuştur. Daha sonra bu modele etkisi araştırılacak doğum ağırlığı belirteci eklenerek geliştirilmiş model elde edilmiştir. Çalışmada lojistik regresyon analizi ve risk faktörlerinin hesaplanması SPSS for Windows 14.01 (Lisans No:9869264) paket programı ile yapılmıştır. Model performans ölçülerinin hesaplanması ve model performanslarının karşılaştırılması ile ilgili analizler ise R (Version i386 3.1.3) programında PredictABEL, Hmisc, ROCR ve Clinfun paketleri yardımıyla değerlendirilmiştir. 
Doğum ağırlığı değişkeninin eklenmesi ile AUC değeri 0.772'den 0.793'e yükselmiştir. Buna göre doğum ağırlığı belirtecinin modelin ayırt edebilirliğine katkısı AUC'ye göre %2.1'dir. NRI %11.6 (p<0.001) olarak bulunmuştur. Böylece doğum ağırlığı belirteci eklendiğinde, istenilen SKA'da olan bireylerin düşük risk kategorisine geçme olasılığı, yüksek risk kategorisine geçme olasılığından %11.6 daha fazladır.  Kategoriden bağımsız IDI ise %3.3 (p<0.001) olarak hesaplanmıştır. Yani, istenilen SKA'ya sahip olan ve olmayan kuzuların ortalama tahmini olasılık değerleri arasındaki ortalama risk farkı %3.3 artmıştır.
Sonuç olarak NRI, doğum ağırlığı belirtecinin etkisini risk kategorileri bazında meydana gelen değişimi ölçerek AUC'ye nazaran daha hassas bir şekilde göstermiştir. Literatürde yeni  gerliştirilen bu performans ölçüleri (NRI ve IDI) klasik yaklaşıma (ROC-AUC) nazaran daha duyarlı sonuçlar üretmektedirler. Özellikle yeni bir belirtecin kullanılabilirliğinin değerlendirilmesinde AUC 'nin yanı sıra NRI ve IDI da dikkate alınmalıdır.

Abstract:
The purpose of this study is to compare the properties of  traditional measures (the coefficient of determination (R2), the Brier score, AUC (Area Under The Curve)) and novel measures (Net Reclassification Improvement (NRI) and Integrated Discrimination Improvement (IDI)) presented as alternatives to evaluate the predictive performance of birth weight.
The research material consists of data related to the growth properties of 433 lambs of Ulaş Tarım İşletmesi (Ulaş Agricultural Enterprise) located in Sivas province of Turkey between the periods 1996 and 1997. The influence of birth weight on model performance in the classification of the lambs with required weaning weight (WW) and the lambs without required WW was investigated. Firstly, a reference model involving risk factors influential on the growth of lambs such as genotype, birth date, gender and year of birth was formed. Then the marker of birth weight whose effect would be investigated was added to this model. Logistic regression analysis was applied and risk factors were calculated with SPSS for Windows 14.01 (License No: 9869264). Analyses on calculation of model performance measures and comparison of model performance were done with R (Version i386 3.1.3) via PredictABEL, Hmisc, ROCR, and clinfun packages.
When the variable of birth weight was added, the AUC value increased from 0.772 to 0.793. Thus, the contribution of the marker of birth weight to the distinguishability of the model was 2.1% more relative to AUC. When the influence of the marker of birth weight was investigated via NRI, distinguishability was seen to be higher by 11.6% (p<0.001). Regardless of categories, IDI was found to be 3.3% (p<0.001). In other words, the difference between the average estimated probability values of the lambs with required WW and the lambs without required WW increased by 3.3%. 
Consequently, NRI performance measure indicated the influence of the marker of birth weight more precisely than AUC by measuring the improvements on the basis of risk categories. In this regard, it can be said that those newly developed performance indices (NRI and IDI) yielded more sensitive results in comparison to the classical approach (ROC-AUC). In particular the availability of a new marker of evaluation, AUC's as well as the NRI and IDI should be considered.