Derin öğrenme ile proksimal femur kırıklarının tespiti ve sınıflandırılması
Proximal femur fracture detection and classification using deep learning
Yazar: ASSMA HIJAZI
Danışman: DOÇ. DR. DERYA YILTAŞ KAPLAN
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology

Özet:
Proksimal femur kırıkları ve çıkıkları, doğru ve gerçek zamanlı tanı konulmadığı takdirde yaşlı hastalarda daha sık görülen mortaliteye, genç erişkin hastalarda ise topallamaya, çalışamamaya, spor yapamamaya yol açabildiği için en ciddi kırıklardan biridir. Yapay zekâ ve alt kategorileri olan makine öğrenmesi ve derin öğrenme, doktorların hastalıkları doğru ve zamanında teşhis etmelerini sağlamak amacıyla sağlık uygulamalarıyla birleştirildiğinde ortaya güzel sonuçlar çıkarmaktadır.
Bu tezin temel amacı, poligon açıklamasıyla örnek segmentasyon görevini kullanarak çeşitli proksimal femur kırık türlerini X-ışını/röntgen üzerinde tespit etmektir.
Bu tez çalışması için 756 adet X-ışını görüntüsünden oluşan bir veri seti kullanılmıştır. Bir danışman ve uzman ortopedi doktorunun gözetiminde örnek segmentasyon görevini gerçekleştirmek için görüntülere çokgen ek açıklaması kullanılarak manuel olarak açıklama eklendi. Veri setine açıklama eklemek için kullanılan etiketler kırık tipi (boyun, çıkık, büyük-trokanter, küçük-trokanter, intertrokanterik ve subtroknaterik) ve kırığı olmayanlar ile normaldi. Veri seti, eğitim için %70 ve doğrulama için %30'a bölündü. Modellerin performansını test etmek için modeller, X-ışını görüntülerinden önce görünmez olarak verilmişlerdir. Örnek segmentasyon görevini gerçekleştirmek için kullanılan modeller YOLOv5, YOLOv7, YOLOv8, Mask R-CNN (Detectron2) ve PointRend'dir.
Sonuçlara göre, beş modelin tümü proksimal femur kırığının varlığını tespit edebildi ve sınıflandırabildi. Kutular için 0.5 (mAP50) olan Birleşim Üzerinden Kesişim (IoU) eşiğinin Ortalama Ortalama Tahmin (mAP) değerleri, sırasıyla YOLOv5, YOLOv7, YOLOv8, Mask R-CNN (Model3) ve PointRend (Model4) için 79.5%, 79.2%, 81.6%, 73.82% ve 73.67% olarak bulunmuştur. Maskeler için 0.5 (mAP50) olan Birleşim Üzerinden Kesişim (IoU) Ortalama Tahmin değerleri sırasıyla YOLOv5, YOLOv7, YOLOv8, Mask R-CNN (Model3) ve PointRend (Model4) için 80%, 78.8%, 81.7%, 74.05% ve 74.85% olarak bulunmuştur.

Abstract:
Proximal femur fractures and dislocation are one of the most serious fractures as they can lead to mortality which are more common in elderly patients, and to limping, inability to work, to practice sport activity in young adults patients if not diagnosed accurately and in real time. Artificial intelligence and its sub-categories, machine learning and deep learning shows a great work when merged in healthcare applications in sustaining doctors to diagnose the diseases accurately and timely.
The main objective of this thesis is to detect the various proximal femur fractures types on x-rays using the instance segmentation task with the polygon annotation.
For this thesis, a dataset of 756 X-ray images was used. The images were manually annotated using polygon annotation in order to perform the instance segmentation task with the supervison of a consultant and specialist orthopedic doctor. The labels used to annotate the dataset were related to the fracture type (neck, dislocation, grater-trochanter, lesser trochanter, intertrochanteric and subtrochanteric) and normal the ones without any fracture. The dataset was splitted into 70% for training and 30% for validation. In order to test the models performance, the models were given unseen before X-ray images. The models used in order to perform the instance segmentation task were YOLOv5, YOLOv7, YOLOv8, Mask R-CNN (Detectron2) and PointRend. 
According the results, all five models were able to detect the presence of a proximal femur fracture and classify it. The Mean Average Prediction (mAP) values of Intersection over Union (IoU) threshold of 0.5 (mAP50) for boxes were 79.5%, 79.2%, 81.6%, 73.82% and 73.67% for YOLOv5, YOLOv7, YOLOv8, Mask R-CNN (Model3) and PointRend (Model4) respectively. While, the Mean Average Prediction values of Intersection over Union (IoU) threshold of 0.5 (mAP50) for masks were 80%, 78.8%, 81.7%, 74.05% and 74.85% for YOLOv5, YOLOv7, YOLOv8, Mask R-CNN (Model3) and PointRend (Model4) respectively.