Kemik röntgen görüntülerinde derin öğrenmeyle sınıflandırma ve kırık tespiti
Classification and fracture detection with deep learning in bone x-ray images
Yazar: FATİH UYSAL
Danışman: PROF. DR. FIRAT HARDALAÇ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Biyomedikal teknoloji = Biomedical technology ; Derin öğrenme = Deep learning ; Görüntü işleme = Image processing ; Görüntü sınıflandırma = Image classification ; Kemik deformasyonu = Bone deformation ; Yapay zeka = Artificial intelligence

Özet:
Bu tez çalışması iki kısımdan oluşmaktadır. İlk kısımda omuz kemiği röntgen görüntülerinde kırık sınıfının tespit edilmesi amacıyla derin öğrenmeyle kırık ve kırık değil şeklinde sınıflandırma işlemleri gerçekleştirilmiştir. Burada veriseti olarak açık kaynaklı veriseti kullanılmıştır. Öncelikle derin öğrenme temelli ön eğitilmiş ResNet, ResNeXt, DenseNet, VGG, Inception, MobileNet ve bunların Spinal tam bağlantılı versiyonlu modelleri ile 26 farklı sınıflandırma yapılmıştır. Ardından sınıflandırma sonuçlarını daha artırmak için EL1 ve EL2 olarak adlandırılan iki tane özgün topluluk modeli geliştirilmiştir. Geliştirilen bu modellerle gerçekleştirilen kırık sınıfı tespiti işlemlerinin sonucunda EL1 ve EL2 için sırasıyla test veriseti üzerindeki doğrulama 0,8455 ; 0,8472, Cohen cappa 0,6907 ; 0,6942 ve AUC ise 0,8862 ; 0.8695 olarak elde edilmiştir. Tez çalışmasının ikinci kısmında ise, el bileği kemik röntgen görüntülerinde kırık tespiti işlemleri gerçekleştirilmiştir. Veriseti olarak Gazi Hastanesinden elde edilen veriler kullanılmıştır. Kırık tespiti için öncelikle kendi içerilerinde çeşitli omurga ağları bulunan ve derin öğrenme temelli olan ön eğitilmiş DCN, Dynamic R-CNN, Faster R-CNN, FSAF, Libra R-CNN, PAA, RetinaNet, RegNet ve SABL nesne tespiti modelleri kullanılmıştır. Çalışma kapsamında kırık tespit işlemini daha da iyileştirmek için 5 farklı topluluk modeli oluşturulmuş ve ardından bu topluluk modelleri kullanılarak WFD-C olarak adlandırılan çalışmaya özgü tespit modeli geliştirilmiştir. Toplamda yapılan 26 farklı kırık tespiti sonucunda, en yüksek tespit sonucu 0,8639 AP değeriyle WFD-C modelinde elde edilmiştir. Sonuç olarak, omuz kemiği röntgen görüntüleri üzerinde kırık sınıfı tespiti ve el bileği kemik röntgen görüntülerinde ise kırık tespiti üzerine bu tez çalışmasıyla birlikte gerçekleştirilen işlemler ve geliştirilen özgün topluluk modelleri ile literatüre katkıda bulunulmuştur. Böylece hastanelerin özellikle acil servislerinde karşılaşılan kemik kırığı vakalarında hekimlerin doğru teşhis yapılabilmesi için yardımcı bir çalışma gerçekleştirilmiştir.

Abstract:
This thesis consists of two parts. In the first part, in order to determine the fracture class in the X-ray images of the shoulder bone, deep learning classification processes were carried out as fracture and non-fracture. Here, the open source dataset is used as the dataset. First of all, 26 different classifications were made with deep learning-based pre-trained ResNet, ResNeXt, DenseNet, VGG, Inception, MobileNet and their Spinal fully connected version models. Then, two unique ensemble models, named EL1 and EL2, were developed to further improve the classification results. As a result of the fracture class detection processes performed with these developed models, the validation on the test dataset was 0,8455 ; 0,8472, Cohen cappa 0,6907 ; 0,6942 and AUC 0,8862 ; 0,8695 for EL1 and EL2, respectively. In the second part of the thesis, fracture detection procedures were performed on wrist x-ray images. The data obtained from Gazi Hospital was used as the dataset. For fracture detection, firstly, pre-trained DCN, Dynamic R-CNN, Faster R-CNN, FSAF, Libra R-CNN, PAA, RetinaNet, RegNet and SABL object detection models, which have various backbone networks and based on deep learning, were used. Within the scope of the study, 5 different ensemble models were created to further improve the fracture detection process, and then a study-specific detection model called WFD-C was developed using these ensemble models. As a result of 26 different fracture detection in total, the highest fixation result was obtained in the WFD-C model with an AP value of 0,8639. As a result, a contribution to the literature has been made with the procedures performed and the original ensemble models developed with this thesis on the detection of fracture class on shoulder bone x-ray images and fracture detection on wrist x-ray images. Thus, a helpful study was carried out for physicians to make accurate diagnosis in cases of bone fractures encountered especially in the emergency departments of hospitals.