Tiroid kanseri teşhisinde; düşmanca saldılarla değiştirililmiş ultrason görüntülerinden etkilenmeyecek bir yapay zeka modeli
An artificial intelligence model for thyroid cancer diagnosis that will not be affected by ultrasound images altered by adversarial attacks
Yazar: MUSTAFA CEYHAN
Danışman: DR. ÖĞR. ÜYESİ ENİS KARAARSLAN
Muğla Sıtkı Koçman Üniversitesi / Fen Bilimleri Enstitüsü / Yapay Zeka Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yapay zekâ teknolojileri hızlı bir şekilde gelişirken, önyargı (bias) ve güvenlik zafiyetleri dışında yapay zekâ kışına etkisi olabilecek ciddi bir durum görünmemektedir. Yapay zeka modeli geliştirilirken olası zafiyetlerin belirlenmesi ve bu zafiyetlere karşı önlemlerin alınması, özellikle sağlık uygulamaları gibi hayati öneme sahip alanlarda büyük bir önem taşımaktadır. Tez kapsamında tiroit ultrason görüntüleri ile eğitilen modellerin çeşitli düşmanca saldırılara maruz kalmasının deneyleri gerçekleştirilmiştir. Bu düşmanca saldırılara karşı modellerin güçlendirilmesi ve bunların performansı çalışılmıştır. Görüntü temelli veriler ile çalışılmasından dolayı yapay zeka modelleri için evrişimli sinir ağları tercih edilmiştir. Farklı evrişimli sinir ağları ile eğitimler yapılmış ve en iyi doğruluk değeri veren EfficientNetB3 (\%81) ve InceptionResNetV2 (\%77) modelleri kullanılmıştır. Modele yapılan düşmanca saldırılarda FGSM, BIM, PGD, Carlini Wagner, JSMA ve DeepFool saldırı algoritmaları kullanılmıştır. EfficientNetB3 de test verisi için saldırı sonucunda doğruluk değerlerinin \%20 değerine kadar, InceptionResNetB2 için ise \%23 değerine kadar düştüğü gözlemlenmiştir. Modellerin düşmanca saldırılardan etkilenme durumunu en aza indirgeyebilmek için modellerin güçlendirilmesi üzerine çalışılmıştır. Bunun için literatürde en çok kullanılan teknik olan düşmanca eğitim kullanılmıştır. Test verileri ile yapılan deneyler, güçlendirilmiş modellerin güçlendirilmemiş modellere göre daha dirençli olduğunu göstermiş ve  saldırıların sonucunda model doğruluğu tekrar \%78-81 bandına yükselmiştir. Ayrıca, modeller arası düşmanca örneklerin aktarılabilir olduğu, bir modeli kandırmak için üretilen düşmanca örneğin başka bir modeli de belli miktarda kandırabildiği tespit edilmiştir. Bu t siyah kutu saldırıları sonucunda bazı perturbe olmuş veriler ile modeller kandırılabilmiş ve doğruluk değerleri \%30-40 civarı düşmüştür. Düşmanca eğitim gören modellerde ise modeller arası aktarılabilirliğin büyük ölçüde önlendiği ve doğruluk değerlerinin korunduğu gözlenmiştir. Çalışmamız tiroit ultrason görüntüleri için düşmanca eğitimin başarısını göstermekte ve gelecekteki çalışmalara dair fikir vermektedir.

Abstract:
As artificial intelligence (AI) technologies advance rapidly, there seems to be no significant issue affecting the AI winter, except for bias and security vulnerabilities. Identifying potential vulnerabilities and taking precautions against these vulnerabilities during the development of AI models are crucial, especially in critical areas like healthcare applications. Experiments were conducted to assess the susceptibility of models trained with thyroid ultrasound images to various adversarial attacks within the scope of this thesis. The development of reinforced models against adversarial attacks, and the performance of  the models were investigated. As image-based data is used, convolutional neural networks (CNNs) were preferred for AI models. Training was carried out with different CNN architectures, and EfficientNetB3 (81\% accuracy) and InceptionResNetV2 (77\% accuracy) models were selected for their superior accuracy values. Adversarial attacks on the models utilized FGSM, BIM, PGD, Carlini Wagner, JSMA, and DeepFool attack algorithms. It was observed that the accuracy values on the test data dropped to as low as 20\% for EfficientNetB3 and 23\% for InceptionResNetV2  after the attacks. Reinforcing the models to minimize their susceptibility to adversarial attacks is studied. Adversarial training, the most commonly used technique in the literature, was employed for this purpose. The experiments  on the test data demonstrated that reinforced models are more resilient than the non-reinforced models, and the accuracy of the models increased back to the 78-81\% range after adversarial attacks. It was also discovered that the adversarial examples generated to deceive one model could influence another model to some extent, indicating transferability of adversarial examples between models. Some models were deceived with perturbed data through black-box attacks, resulting in accuracy values dropping to around 30-40\%. However, models subjected to adversarial training showed significant mitigation of transferability, preserving their accuracy values. Our study demonstrates the success of adversarial training for thyroid ultrasound images and provides insights for future research.