Erken ve ortak füzyon stratejileri ile derin ve geleneksel görüntü özelliklerinin entegrasyonuna dayalı diz osteoartriti derecelendirmesi
Grading of knee osteoarthritis based on the integration of deep and traditional image features via early and joint fusion strategies
Yazar: USAME YILMAZ
Danışman: DR. ÖĞR. ÜYESİ FATMA ZEHRA SOLAK
Konya Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Diz Osteoartriti (Knee Osteoarthritis - KOA), özellikle ileri yaş grubunda sık görülen ve yaşam kalitesini düşüren kronik bir eklem hastalığıdır. Geleneksel teşhis yöntemlerinin uzman görüşüne dayanması, sübjektif hatalara ve tedavi sürecinde gecikmelere yol açabilmektedir. Bu nedenle, daha güvenilir ve objektif kararlar sunabilen otomatik teşhis sistemlerinin geliştirilmesi büyük önem taşımaktadır. KOA'nın yalnızca varlığını değil, derecesini de doğru şekilde belirlemek, uygun tedavinin zamanında uygulanabilmesi açısından klinik açıdan kritik bir gerekliliktir.
Bu tezde, diz osteoartritinin (KOA) derecelerini daha doğru ve kararlı biçimde belirlemek amacıyla, geleneksel ve derin görüntü özelliklerinin erken ve ortak füzyon stratejileriyle birleştirildiği çok bileşenli bir yaklaşım önerilmiştir. X-ışını görüntülerinden elde edilen morfolojik, istatistiksel, GLCM, HOG, LBP, dalgacık, çevre, alan ve Zernike gibi geleneksel özellikler; ResNet-50, VGG16, EfficientNetB0, Xception ve DenseNet201 modellerinden çıkarılan derin temsillerle entegre edilmiştir. Bu özellikler, erken füzyon stratejisinde doğrudan birleştirilmiş, ortak füzyon stratejilerinde ise farklı düzeydeki temsiller dikkate alınarak bütünleştirilmiştir. Böylece KOA dereceleri, KL sistemine göre "sağlıklı", "şüpheli", "hafif", "orta" ve "ağır" olmak üzere beş sınıfa ayrılmış; bu birleşik özellik temsilleri yapay sinir ağı (Artificial Neural Network- ANN) temelli sınıflandırma yapılarında değerlendirilmiştir. Ayrıca, sınıflar arası dengesizliği azaltmak amacıyla veri artırımı ve Sentetik Azınlık Aşırı Örnekleme Tekniği (Synthetic Minority Over-sampling Technique - SMOTE) yöntemi uygulanarak her KOA derecesinin dengeli biçimde temsil edilmesi sağlanmıştır.
Önerilen füzyon stratejileri, KOA derecelendirmesinde bilgi temsilini zenginleştirerek sınıflar arasındaki ayrım gücünü artırmıştır. Her füzyon stratejisinde elde edilen en yüksek doğruluk ve F1-skoru değerleri sırasıyla; Erken Füzyon Tip II için %73,56 ve %71,46, Ortak Füzyon Tip I için %83,50 ve %83,15, Ortak Füzyon Tip II için ise %85,39 ve %84,96 olarak kaydedilmiştir. En yüksek başarıya ulaşılan Ortak Füzyon Tip II stratejisinde, doku ve morfoloji temelli geleneksel özelliklerin yanı sıra, VGG16 modelinden elde edilen derin temsillerin KOA derecelerini ayırt etmede etkin rol oynadığı görülmüştür. Bu çok düzeyli bilgi entegrasyonu, özellikle erken ve ileri evre KOA derecelerinin güvenilir şekilde belirlenmesini sağlamış ve klinik kullanıma uygun güçlü bir yapay zeka temelli yaklaşım sunmuştur.
Anahtar Kelimeler: Diz Osteoartriti Derecelendirmesi, Geleneksel Görüntü Özellikleri, Derin Öğrenme Tabanlı Özellikler, Özellik Füzyon Stratejileri, Yapay Sinir Ağı Sınıflandırması

Abstract:
Knee Osteoarthritis (KOA) is a chronic joint disease commonly observed in the elderly population and significantly reduces quality of life. Since conventional diagnostic methods often rely on expert interpretation, they are prone to subjective errors and may lead to delays in treatment. Therefore, developing automated diagnostic systems that can provide more reliable and objective decisions is of great importance. In particular, determining not only the presence of KOA but also its severity accurately is a critical requirement for ensuring timely and effective clinical interventions.
In this thesis, a multi-component approach is proposed to improve the accuracy and reliability of KOA grading by integrating handcrafted and deep image features through early and joint fusion strategies. Handcrafted features such as morphological, statistical, GLCM, HOG, LBP, wavelet, perimeter, area, and Zernike moments were extracted from X-ray images and combined with deep representations obtained from ResNet-50, VGG16, EfficientNetB0, Xception, and DenseNet201 models. These features were directly fused in the early fusion strategy, while in joint fusion strategies, representations from different levels were integrated. Accordingly, KOA grades were categorized into five classes "normal," "doubtful," "mild," "moderate," and "severe" based on the Kellgren-Lawrence (KL) grading system. The combined feature representations were evaluated using Artificial Neural Network (ANN)-based classification architectures. Additionally, data augmentation and the Synthetic Minority Over-sampling Technique (SMOTE) were applied to mitigate class imbalance and ensure balanced representation of each KOA grade.
The proposed fusion strategies enriched information representation and enhanced inter-class separability in KOA grading. The highest accuracy and F1-score values obtained for each fusion strategy were recorded as follows: 73.56% and 71.46% for Early Fusion Type II, 83.50% and 83.15% for Joint Fusion Type I, and 85.39% and 84.96% for Joint Fusion Type II, respectively. In the most successful configuration, Joint Fusion Type II, both handcrafted features related to tissue and morphology and deep representations derived from the VGG16 model played a significant role in distinguishing KOA grades. This multi-level feature integration enabled the reliable identification of both early and advanced KOA stages, providing a robust AI-based framework suitable for clinical use.
Keywords: Knee Osteoarthritis Grading, Traditional Image Features, Deep Learning-Based Features, Feature Fusion Strategies, Artificial Neural Network Classification