Çok kategorili hastalık durumlarında tanısal modele yeni bir belirteç eklenmesinin tanı performansındaki değişime etkisinin incelenmesi
Investigation of the change in diagnostic accuracy of adding a new marker to the diagnostic model  in multiclass  disease status
Yazar: HANDE ŞENOL
Danışman: PROF. DR. AHMET ERGUN KARAAĞAOĞLU
Hacettepe Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Doktora, 2019
Konu: Biyoistatistik = Biostatistics
Dizin: Biyoistatistik = Bioistatistics ; Hastalık = Disease ; Sınıflandırma = Classification ; Teşhis = Diagnosis ; Teşhis teknikleri ve prosedürleri = Diagnostic techniques and procedures

Özet:
Sağlık alanında, hasta ve sağlıklı bireylerin
belirlenmesinde, tanı kestirim modellerinden elde edilen risklerin doğru
değerlendirilmesi önemlidir. Bazı durumlarda sınıflamalar ikiden fazla kategoriden
oluşabilir. İki kategorili sınıflandırmalarda en sık kullanılan yöntem olan ROC analizi
yönteminden yola çıkarak çok kategorili sınıflandırma problemleri için HUM
(Hypervolume Under The ROC Manifold) ve CCP - Doğru Sınıflandırma Olasılığı
(Correct Classification Probability) yöntemleri geliştirilmiştir. Ancak, bu yöntemlerin
var olan bir modele yeni bir belirteç eklendiğinde meydana gelen performans artışını
ölçümlemede başarılı olmadığı düşünülmektedir. Bu nedenle, yeni bir belirteçin
modele eklendiğinde oluşturulan yeni sınıflama sonucunun performansını gösteren iki
performans ölçüsü geliştirilmiştir. Bunlar; NRI (Net Reclassification Improvement) ve
IDI (Integrated Discrimination Improvement)'dır. Bu çalışmada, çok kategorili
sınıflandırma modellerinde kullanılan performans ölçüleri HUM ve CCP'nin, model
performansına etki eden belirteçlerin etkisini ölçen NRI ve IDI ile ilişkilerinin
incelenmesi amaçlanmıştır. Bağımlı değişkenin farklı türde olduğu durumlar göz
önüne alınarak (sıralı ve sırasız), belirteçlerin modele eklenme sırasının model
performansına etkisi araştırılmıştır. İncelemeler, gerçek veri setleri ve bir benzetim
çalışması ile yapılmıştır. Benzetim çalışmasında, hem belirteçlerin kendi arasında hem
de belirteçler ve bağımlı değişken arasında olmak üzere; pozitif, negatif, düşük, orta
ve kuvvetli seviyelerde ilişki yapıları ve sıralı yapıda bir bağımlı değişken
tasarlanmıştır. Sonuçlarda, negatif ilişki yapısında benzetim yapılarak elde edilen
verilerle oluşturulan modellerin performans sonuçlarında, HUM ve CCP yöntemleri
ile NRI ve IDI arasında pozitif yönde ilişkiler olduğu görülmüştür. NRI ve IDI
yöntemlerinin, HUM ve CCP yöntemlerinin aksine modele eklenen belirtecin
sırasından etkilenmesinden dolayı, doğru sırada eklenen daha az sayıda belirteç ile
doğru sınıflandırma performansının arttırılabileceği sonucu elde edilmiştir.
Anahtar Kelimeler: Çok kategorili sınıflandırma, HUM, CCP, NRI, IDI

Abstract:
Accurate assessment of the risks in the field of health,
which are derived from diagnostic prediction models is important in identifying
patients and healthy people. In some cases, classifications may consist of more than
two categories. By using the ROC analysis method, which is the most commonly
method in two-category classifications, some methods have been developed for multicategory
classification problems. These are HUM (Hypervolume Under the ROC
Manifold) and CCP (Correct Classification Probability). However, these methods are
considered to be unsuccessful in measuring improvement in the performance of the
model that occurs when a new biomarker is added to an existing model. Therefore,
when a new biomarker is added to the model, two performance measures have been
developed to show the performance of the new classification result. These are NRI
(Net Reclassification Improvement) and IDI (Integrated Discrimination Improvement)
methods. In this study, we aim to investigate the relationship between HUM, CCP
measures, which are the performance measures used in multi-category classification
models, and NRI, IDI which measure the effect of markers affecting model
performance. Considering the type of dependent variable (ordinal and nominal), the
effect of the order of adding the markers to the model performance was investigated.
Investigations were made with real data sets and a simulation study. In the simulation
study, we simulated data based on the correlation structure with low, medium and
strong magnitude in both positive and negative directions for relationships between
ordinal dependent variable and the markers and within the markers. According to the
simulation results of negative correlation structures, it was seen that there was a
positive relationship between HUM, CCP and NRI, IDI. As the NRI and IDI methods
are affected by the order of the marker added to the model as opposed to the HUM and
CCP methods, it is concluded that the correct classification performance can be
improved with fewer markers added in the correct order.
Keywords: Multi-category classification, HUM, CCP, NRI, IDI