Çekişmeli üretici ağ tabanlı veri artırımı yaklaşımı ile otoskop görüntülerinden kulak zarı patolojilerinin tespiti
Detection of eardrum pathologies from otoscope images with generative adversarial network-based data augmentation approach
Yazar: MUSTAFA FURKAN ESEOĞLU
Danışman: PROF. DR. MİNE ELİF KARSLIGİL YAVUZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Anomaliler = Anomalies ; Bilişsel tanı modelleri = Cognitive diagnostic models ; Görüntü işleme = Image processing ; Turing testi = Turing test ; Üretici ağlar = Producer networks

Özet:
Medikal örüntü tanıma sistemleri aracılığıyla doktorların tanı koymasına yardımcı olacak sistemlerin geliştirilmesi son dönemde ilgi çeken bir alandır. Yapılan çalışma kapsamında ilk olarak bir otoskop cihazından alınan 10.088 adet kulak zarı görüntüsü toplanmıştır. Toplanan görüntülerden 921 adet görüntü Kulak Burun Boğaz Uzmanı tarafından etiketlenmiştir. Etiketlenen görüntüler temizlendikten sonra normal, akut otitis media, buşon, egzositoz, eksternal otit, miringoskleroz, otomikoz, retraksiyon, seröz otitis media ve kronik otitis media perforasyon sınıflarına ait toplam 276 adet görüntü test verisi olarak ayrılmıştır. Etiketlenen görüntülerde normal sınıf haricinde kalan ve patoloji içeren görsellerin oranı daha düşük olduğu için bu patolojik görüntülerin tespiti problemine anomali tespiti şeklinde yaklaşılmıştır.
Patolojik görüntülerin tespitinde kullanmak amacıyla görüntü özniteliklerinin çıkarılması için alanda uzmanlık gerektiren yaklaşımların aksine veriyi anlamlandırarak öznitelik çıkaran derin öğrenme tabanlı modeller eğitilmiştir. Bu kapsamda gözetimsiz bir otokodlayıcı ve sınırlı miktarda etiketlenen veriyi kullanan gözetimli şekilde farklı EfficientNet modelleri eğitilmiştir. En yüksek F1 skoruna sahip EfficientNet-B6 temelli modelde etiketli test verisi üzerinde patolojik sınıf için 0.755 kesinlik puanı, 0.825 duyarlılık puanı ve 0.788 F1 puanı alınmıştır. Eğitilen modellerin alt katmanlarından öznitelik vektörleri alınmıştır.
Toplanan veri kümesindeki etiketlenmiş görüntü sayısı etiketsiz verinin yaklaşık \%10'u olduğu için gözetimsiz anomali tespiti yaklaşımı ile patolojik görüntülerin sınıflandırılması yaklaşımı tercih edilmiştir. Etiketsiz veri kümesinden yararlanmak amacıyla bir izolasyon tabanlı karar ağacı ormanı (IForest) modeli üzerinde eğitim gerçeklenmiştir. 
Sistemin başarısını ölçmek amacıyla kesinlik, duyarlılık ve F1 başarımları dikkate alınmıştır. Patolojik görüntülerin yanlışlıkla sağlıklı olarak sınıflandırılmasını engellemenin daha önemli olmasından dolayı test başarımları izlenirken duyarlılık puanına dikkat edilmiştir. Gözetimsiz olarak eğitilen IForest modelinden alınan duyarlılık puanının, öznitelik çıkarımı amacıyla etikete sahip görseller ile eğitilen gözetimli sınıflandırıcı modelin duyarlılık puanından daha düşük olduğu görülmüştür. Bu başarıyı artırmak adına uygulanabilecek veri artırımı yaklaşımları incelenmiştir.
Verinin şeklinin ve renk dağılımlarının önem arz ettiği medikal görüntülerde klasik görüntü işleme yöntemleri kullanılarak veri artırımı yapmanın uygun olmadığına karar verilmiştir. Bu nedenle veri artırımını sağlamak amacıyla toplanan görüntüler kullanılarak Gradyan Cezalı Wasserstein Çekkişmeli Üretici Ağları (Generative Adversarial Networks) (GAN), kademeli büyüyen GAN ve StyleGAN mimarileri ile yapay kulak zarı görüntüleri üretilmiştir. Üretilen görüntüler uzman doktorlar tarafından bir Görsel Turing Testi kullanılarak gerçek/yapay olacak şekilde oylanmıştır.
En yüksek başarıma sahip GAN mimarisi seçildikten sonra üretilen farklı miktardaki yapay görüntüler orijinal görüntülere eklenerek gözetimsiz eğitim gerçeklenmiştir. Veri artırımı yapılmadan gerçeklenen eğitime kıyasla veri artırımı yapıldığında, duyarlılık başarımının 0.674'ten 0.895'e ve F1 puanının 0.641'den 0.684'e yükseldiği ancak kesinlik puanının 0.611'den 0.554'e düştüğü görülmüştür. Kesinlik puanındaki düşüşe kıyasla, patolojik görüntülerin doğru olarak sınıflandırılmasında önem arz eden duyarlılık başarısının 0.22 artması veri artırımı yaklaşımının etkili olduğunu göstermiştir. IForest modeli, EfficientNet-B6'ya kıyasla daha fazla yanlış alarm üretmesine rağmen patolojik görüntüleri daha yüksek başarımla yakaladığı için patolojik görüntü tespitinde doğruluk ihtiyacının daha önemli olduğu durumlarda kullanılabileceği düşünülmektedir.

Abstract:
There is a rising interest in computer-aided diagnosis systems which use medical images to assign a diagnosis to a patient. This study proposes a methodology for detecting pathological tympanic membrane images. To achieve this goal, 10.088 tympanic membrane images were collected by a doctor using an otoscope device. 921 of the acquired image labeled by an expert physician. After removing the labels with low image counts, the dataset of 276 labels with labels of normal, acute otitis media, ear wax, exocytosis, external otitis, myringoscleroz, otomycosis, retraction, serous otitis media, and chronic otitis media have prepared as a test set. Due to the low amount of data apart from normal labels, the problem of pathology detection is considered as anomaly detection.
Contrary to the approaches that require expertise in the field, deep learning-based models that extract features by making sense of the data have been trained and used to acquire the image features. In this context, an unsupervised autoencoder and supervisedly trained different sizes of EfficientNet models, which uses a limited amount of labeled data, are trained. The supervised model achieved a 0.755 precision, 0.825 recall, and 0.788 F1 scores for the pathological class from the labeled test data. Feature vectors of the images are taken from the lower layers of trained models.
Unsupervised image classification as a pathological image recognition approach is preferred due to the low amount of labeled data in the collected dataset. To utilize the unlabeled data, Isolation Forest (IForest) model is trained on the whole dataset.
To measure the success of the system, precision, recall, and f1 scores are selected as performance measures. To prevent the misclassification of pathological images, exceptional attention has been given to recall score. To improve the performance of the unsupervised IForest model which has lower scores across all performance metrics, different dataset augmentation approaches are looked upon.
Due to the importance of shape and color distributions of medical images, classical data augmentation approaches are omitted. To increase the data count, architectures like Wasserstein Generative Adversarial Networks (GAN) with Gradient Penalty, progressive growing GAN, and StyleGAN are trained by utilizing the training data. Then, the realness of generated images is evaluated by physicians using a Visual Turing Test.
After selecting the most realistic GAN architecture, different amounts of artificial images were added to original images for unsupervised pathology detection. In contrast to training without data augmentation using artificial eardrum images, the F1 score and recall score increased from 0.641 to 0.683 and from 0.674 to 0.895. Concerning this increase, the precision score decreased from 0.611 to 0.554. Compared to the decrease in the precision score, an increase of 0.22 in the recall score showed the success of the data augmentation strategy. As a result, the IForest model has more false positives but it is better at catching pathological images which is more important in the medical domain.