Sıfır atış öğrenme ve ontolojiyi kullanarak hastalık tanımada yeni bir yaklaşım
A new approach to disease recognition using zero-shot learning and ontology
Yazar: ÖMÜRHAN AVNİ SOYSAL
Danışman: DOÇ. DR. MEHMET SERDAR GÜZEL
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Açık görüntü veri setlerinin son zamanlarda artmasına rağmen hala sınırlıdır. Bu nedenle, bu veri setleri ve etiketlerle hastalık tespiti/tanıması, tıbbi görüntüleme alanında çok maliyetli ve zor bir iştir. Bu nedenle, bu sorunla ilgili araştırmaların hala geliştirilmesi gerekmektedir. Veri setlerini çeşitlendirmek en büyük zorluktur ve öznellik sorunuyla yüzleşmek zorundadır. Bu sorunun üstesinden gelmek için örneği olmayan sınıflar, bir diğer ifadeyle görünmeyen sınıflar Sıfır-Atış Öğrenme (ZSL) ile eğitilebilir. Bu tezde, sınıf gömmeleri için yardımcı bilgi olarak ontolojiyi kullanarak ZSL'yi güçlendirme amaçlanmıştır. Görüntü gömmeleri ve sınıf gömmelerinin eşlendiği mevcut ZSL yöntemlerinde kullanılan prosedürlere ek olarak, sınıf gömmelerinin semantik verileri de
dikkate alınmıştır. Önerilen yaklaşımda ZSL, çok etiketli ChestX-ray14 veri setinin görüntü gömmeleri ve sınıf gömmelerinin yanı sıra DBpedia'dan gelen semantik verilerle desteklenmektedir. Benzerlikleri maksimize etmek için Kosinüs, Hamming ve Öklid mesafeleri dikkate alınmıştır. Veri setini genişletmek için klasik ve evrişimsel sinir ağları kullanılmış ve her biri ile testler yapılarak kesinlik değeri yükseltilmeye çalışılmıştır. ResNet50 sinir ağı çok etiketli ChestX-ray14 veri seti üzerinde farklı parametrelerle eğitilmiştir. Birebir eşleştirmede en yüksek %29,59 kesinlik değeri ve en az bir eşleştirmede %45,73 kesinlik değeri elde edilmiştir. Sıfır-atış öğrenme literatüründe yer alan çalışmalardaki başarım oranlarına göre yüksek bir başarım oranına sahip olan bu sonuçlarla beraber bu tez çalışmasının görünmeyen hastalık tespit edilerek/tanınarak tıbbi
görüntü alanına önemli bir katkı sağlayacağı düşünülmektedir.

Abstract:
Although open image data sets have increased recently, data sets are still limited. So
disease detection/recognition with these data sets and labels is very costly and hard
challenge in medical domain. Therefore, researches on this problem still need to be
improved. It is a greatest challenge to diversify data sets and has to face the problem of
subjectivity. Classes without instances, in other words unseen classes, can be trained with
Zero-Shot Learning (ZSL) in order to overcome this problem. In this thesis, it is aimed to
strengthen ZSL by using ontology as an auxiliary information for class embeddings. In
addition to the procedures used in existing ZSL methods where image embeddings and
class embeddings are mapped, the semantic data of class embeddings are also considered.
In the proposed approach, ZSL is powered by image embeddings and class embeddings
of the multi-label ChestX-ray14 data set, as well as semantic data from DBpedia. Cosine, Hamming and Euclidean distances are considered to maximize similarities. Classical and convolutional neural networks were used to augment the data set and the precision value was tried to be increased by making tests with each of them. The ResNet50 neural network is trained on the multi-label ChestX-ray14 data set with different parameters. The highest precision value of 23.25% was obtained in one-to-one matching and 45.73% precision value was obtained in at least one matching. With these results, which have a high success rate compared to the success rates in the studies in the zero-shot learning literature, it is thought that this thesis will make an important contribution to the field of medical imaging by detecting/recognizing invisible disease.