Dental implant sistemlerinin tanımlanmasında yapay zeka ve insan gözlemci performansları: Derin öğrenme algoritmalarının etkisi
Performance of artificial intelligence and human observers in the identification of dental implant systems: The effect of deep learning algorithms
Yazar: OĞUZ ALP KÖSE
Danışman: PROF. MUSA ŞAMİL AKYIL
Aydın Adnan Menderes Üniversitesi / Diş Hekimliği Fakültesi / Protetik Diş Tedavisi Ana Bilim Dalı
Derece: Diş Hekimliği Uzmanlık, 2024
Konu: Diş Hekimliği = Dentistry

Özet:
Amaç: Bu çalışmanın amacı, dental implant sistemlerini (DİS) tanımlamak amacıyla kullanılan yapay zeka (YZ) sistemlerinin etkinliğini karşılaştırmalı olarak değerlendirmek ve bunun insan gözlemcilerin DİS'leri tanımlama performansları üzerine etkisini araştırmaktır.
Gereç ve Yöntem: Bu çalışmada, Aydın Adnan Menderes Üniversitesi Diş Hekimliği Fakültesi'nde, Ocak 2014 – Nisan 2024 tarihleri arasında implant tedavisi uygulanmış hastaların panoramik radyografileri geriye dönük olarak tarandı. Dahil edilme kriterlerini sağlayan beş DİS'e (Nucleoss T4, Nucleoss T6, Dentium Superline, Nobel Replace Tapered ve NTA Regular) ait toplam 1.143 implant görüntüsünü içeren 380 panoramik radyografi çalışmaya dahil edildi. Çalışmaya dahil edilen radyografiler Roboflow Annotate işaretleme aracı kullanılarak etiketlemeleri gerçekleştirildikten sonra ön işleme ve veri artırımı işlemleri uygulandı. Veri artırımı sonunda; %80'i eğitim, %10'u doğrulama ve %10'u test olacak şekilde 810 görüntüden oluşan nihai veri seti oluşturuldu. DİS'lerin tanımlanması amacıyla YZ tabanlı nesne tespit algoritmalarından YOLOv8l ve YOLOv10l algoritmaları kullanıldı. Algoritmaların performansını değerlendirmek için hata matrisleri, duyarlılık, kesinlik, F1 skoru ve mAP değerleri kullanıldı. İnsan gözlemci grubu için, dental implant tedavisi alanında en az bir yıllık deneyime sahip araştırma görevlileri ve öğretim elemanlarından 12 kişi randomize olarak seçildi. YZ desteksiz ve YZ destekli olarak hazırlanan çoktan seçmeli formlar insan gözlemciler tarafından dolduruldu. İnsan gözlemcilerin DİS'leri tanımlama performanslarını değerlendirmek amacıyla da hata matrisleri, duyarlılık, kesinlik ve F1 skoru değerleri kullanıldı. İnsan gözlemciler arasında genel performansların karşılaştırılması amacıyla doğru pozitif (DP) oranları esas alındı  İstatistiksel analizler için Shapiro-Wilk testi ve Wilcoxon İşaretli Mertebeler Testi uygulandı.
Bulgular: Duyarlılık, kesinlik, F1 skoru ve mAP değerleri YOLOv8 için sırasıyla; 0,94, 0,94, 0,94, 0,96 ve YOLOv10 için 0,95, 0,94, 0,95, 0,97 olarak saptandı. Genel doğruluk değerleri yakın olmasına rağmen YOLOv10 algoritmasının değerleri daha dar bir aralıkta değişti. YZ, insan gözlemcilerin DİS'leri tanımlama performansında, Nucleoss T4 grubunun duyarlılık değerleri hariç, tüm DİS gruplarında, incelenen tüm metriklerde (Duyarlılık, Kesinlik, F1 skoru) istatistiksel olarak anlamlı bir artış sağladı (p<0,05). İnsan gözlemci gruplarının DİS'leri tanımlama genel performansları YZ'nin performansının altında kaldığı gözlendi.
Sonuçlar: Derin öğrenme algoritmaları DİS'leri tanımlamada yüksek doğruluk göstermiştir. YZ kullanımı, insan gözlemcilerin DİS'leri tanımlama performansını önemli ölçüde arttırmıştır. YZ sistemlerinin, DİS'lerin tanımlanmasında hekimlere yardımcı olabileceği görülmüştür.
Anahtar Kelimeler: Dental İmplantlar, Yapay Zeka, Derin Öğrenme, İnsan Gözlemci.

Abstract:
Objective: This study aims to comparatively evaluate the effectiveness of artificial intelligence (AI) systems used to identify dental implant systems (DIS) and investigate their effect on human observers' performance in identifying DIS.
Materials and Methods: This study retrospectively screened panoramic radiographs of patients who underwent implant treatment at Aydın Adnan Menderes University, Faculty of Dentistry, between January 2014 and April 2024. A total of 380 panoramic radiographs, encompassing 1143 implant images representing five DIS (Nucleoss T4, Nucleoss T6, Dentium Superline, Nobel Replace Tapered, and NTA Regular) that met inclusion criteria, were included in the study. The included radiographs were annotated using the Roboflow Annotate tool (Roboflow, Inc., Des Moines, Iowa, USA) and subsequently underwent preprocessing and data augmentation. Following augmentation, the final dataset consisted of 810 images split into 80% for training, 10% for validation, and 10% for testing. For DIS identification, the AI-based object detection algorithms YOLOv8l and YOLOv10l were employed. Confusion matrices, sensitivity, precision, F1 score, and mean Average Precision (mAP) values were used to assess the algorithms' performance. For the human observer group, 12 research assistants and faculty members with a minimum of one-year experience in dental implant treatment were randomly selected. Multiple-choice forms, prepared with and without AI assistance, were completed by the observers. Confusion matrices, sensitivity, precision, and F1 scores were calculated to evaluate the observers' performance in identifying DIS. True Positive (TP) rates were used to compare overall performance among the observers. Statistical analyses were performed using the Shapiro-Wilk test and Wilcoxon Signed Rank Test.
Results: Sensitivity, precision, F1 score, and mAP values for YOLOv8 were 0.94, 0.94, 0.94, and 0.96, respectively, while YOLOv10 showed values of 0.95, 0.94, 0.95, and 0.97. Although overall accuracy values were similar, the YOLOv10 algorithm demonstrated a narrower range of variation. Except for the sensitivity values of the Nucleoss T4 group, AI provided statistically significant improvements across all DIS groups in all metrics analyzed (p<0.05). The overall performance of human observer groups in identifying DIS was observed to be lower than that of the AI systems.
Conclusions: Deep learning algorithms demonstrated high accuracy in identifying DIS. The use of AI significantly enhanced human observers' performance in identifying DIS, indicating that AI systems can assist clinicians in identifying DIS.
Keywords: Dental Implant, Artificial Intelligence, Deep Learning, Human Observer