Derin öğrenme ile köpek ve kedi tibia kemikleri üzerindeki kırıkların tespiti ve sınıflandırması
Detection and classification of fractures on dog and cat tibia bones with deep learning
Yazar: BERKER BAYDAN
Danışman: DOÇ. DR. HALİL MURAT ÜNVER
Kırıkkale Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Hibrit =   ; Kediler = Cats ; Köpekler = Dogs ; Kırılma = Fracture ; Tibia = Tibia

Özet:
Tibia kırığı veteriner hekimlikte özellikle kedi ve köpeklerde çok sık rastlanan kırık şeklidir. Tibiadaki kırığın daha doğru, hızlı ve güvenli bir şekilde teşhis edilmesi hem klinisyen hem de hayvan sağlığı için oldukça önemlidir. Bu sebepten bilgisayar destekli sistemler ile otomatik tespit etme yöntemleri önemli hale gelmiştir. Derin öğrenme gibi en gelişmiş bilgisayar destekli yöntemler kullanılarak insanlarda kırık teşhisi yapılmaktadır. Bu çalışmanın amacı iki kısımdan oluşmaktadır. Birincisi derin öğrenme yöntemlerinden Mask R-CNN ve SSD'yi kullanarak kedilerin ve köpeklerin bütün/kısmi dijital görüntüleri üzerinde tibiayı (kırık/kırık değil) sınıflandırmak ve kırık olarak tespit edilmiş tibialar üzerinde kırığın yerini belirlemektir. İkincisi öznitelik çıkarım için kullanılan klasik Mask R-CNN mimarisinin omurgasında yer alan bölümü hibrit yapıya dönüştürüp kedi ve köpeklerdeki tibia kırığının tespit performansını yükseltmektir. Üniversite ve kurumlardan 1488 adet köpek ve kedi dijital görüntü elde edilmiştir. Buna istinaden tibia kırığı tespiti için dört farklı çalışma yapıldı. Birinci çalışmanın birinci fazında, kırık ve sağlam tibia sınıflandırılması otomatik şekilde Mask R-CNN kullanılarak yapıldı. İlk fazdan elde edilen kırık tibiadaki kırık yeri Mask R-CNN kullanılarak ikinci fazda belirlendi. İkinci çalışmada, kırık yeri  doğrudan lokalize edilme işlemi için Mask R-CNN kullanıldı. Üçüncü çalışmada birinci çalışmanın birinci fazından elde edilen kırık tibiadaki kırık yeri SSD kullanılarak lokalize edildi. Dördüncü  çalışmada Mask R-CNN çatısında kullanılan orjinal omurga yapısını hibrit hale getirerek köpek ve kedi tibia kırıklarındaki kırık bölgelerinin tespiti yapıldı. Birinci çalışmanın birinci faz doğruluk ve F1 skor değerleri sırasıyla %74 ve %85, birinci çalışmanın ikinci faz F1 skor değeri ise %84,5 olarak bulundu. İkinci çalışmanın doğruluk ve F1 skor değerleri sırasıyla %52,1 ve %68,5 olarak bulundu. Üçüncü çalışmanın F1 skor değeri ise %46,2 olarak bulundu. Dördüncü çalışmanın F1 skor değeri %85.8 olarak bulundu. Araştırmada yapılan çalışmanın sonuçlarına göre hibrit sistemin orjinal Mask R-CNN mimarisine göre daha başarılı tespitler yaparak hayvan sağlığının korunması açısından faydalı olacağını ve bu tip akıllı sistemler yardımıyla kırık teşhisinin yaygınlaştırılmasının hayvan refahı yönünden de yararlı olacağını gösterdi.

Abstract:
Tibia fracture is a very common form of fracture in veterinary medicine, especially in cats and dogs. It is very important for both the clinician and the animal health to diagnose the fracture in the tibia more accurately, quickly and safely. For this reason, computer aided systems and automatic detection methods have become important. Fractures are diagnosed in humans using the most advanced computer-aided methods such as deep learning. The aim of this study consists of two parts. The first is to classify the tibia (fracture / no fracture) on the whole / partial digital images of cats and dogs using Mask R-CNN and SSD, one of the deep learning methods, and to localize the location of the fracture on the tibia fracture. The second is to transform the part of the backbone of the classical Mask R-CNN architecture used for feature extraction into a hybrid structure and increase the detection performance of tibia fractures in cats and dogs. In the studies, a total of 1488 dog and cat images were obtained from universities and institutions. Based on this, four different studies were conducted to detect tibia fractures. In the first phase of the first study, fracture and no fracture tibia classification was done automatically using Mask R-CNN. The fracture location of the tibia obtained from the first phase was localized in the second phase using Mask R-CNN. In the second study, Mask R-CNN was used for direct localization of the fracture location. In the third study, the fracture location on the tibia fracture obtained from the first phase of the first study was localized using SSD. In the fourth study, the fracture areas of the dog and cat tibia fractures were determined by hybridizing the original backbone structure used on the Mask R-CNN framework. The first phase accuracy and F1 score values ​​of the first study were 74% and 85%, respectively, and the second phase F1 score value of the first study was 84.5%. The accuracy and F1 score values ​​of the second study were 52.1% and 68.5%, respectively. F1 score value of the third study was found to be 46.2%. The F1 score value of the fourth study was found to be 85.8%. According to the results of the study conducted in the research, it showed that the hybrid system will be beneficial in terms of protecting animal health by making more successful determinations compared to the original Mask R-CNN architecture, and that the dissemination of fracture diagnosis with the help of such intelligent systems will also be beneficial in terms of animal welfare.