İnfertilitede histerosalpingografinin raporlanmasında yapay zeka'nın yeri
The role of artificial intelligence in reporting hysterosalpingography for infertility
Yazar: ÖMER DAVULCU
Danışman: DR. ÖĞR. ÜYESİ ŞULE ÖZER
Çanakkale Onsekiz Mart Üniversitesi / Tıp Fakültesi / Radyoloji Ana Bilim Dalı
Derece: Tıpta Uzmanlık, 2024
Konu: Radyoloji ve Nükleer Tıp = Radiology and Nuclear Medicine

Özet:
İnfertilitede Histerosalpingografinin Raporlanmasında Yapay Zeka'nın Yeri
Amaç: 
Düzenli cinsel ilişkiye rağmen 12 ay içinde gebe kalamamama olarak tanımlanan infertilite dünya çapında milyonlarca insanı etkilemektedir. Histerosalpingografi (HSG) infertilite hastalarında tuba açıklığını değerlendirmek için rutin yapılan görüntüleme yöntemidir. Bu çalışma, konvolüsyonel sinir ağı ve transfer öğrenme teknolojisini kullanarak HSG görüntülerini otomatik olarak yorumlamak için yapay zekanın potansiyelini keşfetmeyi amaçlamaktadır.   

Materyal-Metot:
Hastanemizde HSG incelemesi yapılan infertilite hastalarının görüntüleme verileri Ocak 2016- Aralık 2022 tarihleri arasında retrospektif olarak taranmıştır. Hastalar iki araştırma görevlisi ve batın alanında tecrübeli radyolog tarafından yorumlanmış ve açıklanmıştır. Toplamda 1461 hasta görüntüsü çalışmaya dahil edilmiştir. Sağ tüp, sol tüp ve bilateral tüplerin oklüzyonunu gösteren sınırlı sayıda görüntü nedeniyle, yansıtma tekniği kullanılarak veri artırımı ile bu sınıflarda veri sayısı artırıldı. Toplamda 3186 görüntü ile veri seti oluşturulmuş, bunun yüzde 15'i test veri seti olarak ayrılmıştır. Model eğitimi esnasında eğitim setinin yüzde 20'si validasyon için kullanılmıştır. Geliştirilen modelin test setinde performansı ölçülmüştür. İlk model eğitimi sonrası tüm veri seti standardize edilmek amacıyla kırpılmıştır. Bu bağlamda ikili, üçlü ve dört sınıflandırma yapabilen toplamda 5 adet model geliştirilmiştir. Modellerin performansını arttırmak için transfer öğrenme metodu kullanılmış, veri amplifikasyon teknolojisi ve çeşitli hiperparametre ayarları ile model optimize edilmiştir.
 
Bulgular:
Çalışmaya dahil edilen kadınların yaş ortalaması 30.8 hesaplanmış olup minimum yaş 18-50'dir. Hastaların yüzde 71,8'i normal, yüzde 28,1'inde patoloji saptanmıştır. Toplamda 1049 hasta normal ,412 hastada patoloji saptanmıştır.  Hastaların yüzde 8,3'ünde bilateral oklüzyon, yüzde 5,8'inde sol tuba oklüzyonu ve yüzde 7'sinde sağ tuba oklüzyonu saptanmıştır. Diğer patolojiler toplam yüzde 7,1 oranında izlenmiştir.
1. model sağ, sol, bilateral tuba tıkanıklığı ve normal sınıfları üzerinde geliştirilmiştir. Test seti üzerindeki ağırlıklı ortalama değerleri, precision yüzde 82, accuracy yüzde 81, F1 skoru yüzde 80 iken Recall değeri yüzde 81'dir. Model en iyi performansı bilateral tıkalı sınıfta gösterirken, en düşün performansı sağ ve sol tuba tıkanıklığı sınıfında göstermiştir. 

İlk model geliştirilmesi sonrası tüm veri kırpılarak standardize edilmiştir. 2. model standardize edilmiş sağ, sol, bilateral tuba tıkanıklığı ve normal sınıfları üzerinde geliştirilmiştir. Test veri seti üzerindeki ağırlıklı ortalama performans değerleri; precision, Recall accuracy ve F1 skorları yüzde 87 hesaplanmıştır. Veri standardizasyonu sonrası 2. model ilk modele kıyasla yüzde 7.4 performans artışı göstermiştir. 
3. model daha çok sayıda veri içeren normal ile bilateral tuba tıkanıklığı sınıfları üzerinde geliştirilmiştir. Az sayıda veri içeren sağ ve sol tuba tıkanıklığı sınıfları model eğitimine dahil edilmemiştir İkili sınıflamada modelin test veri seti üzerindeki performansını gösteren eğri altında kalan alan (AUC) yüzde 99'dur.
4. model sağ, sol tuba tıkanıklığı ve normal sınıfları ile üç sınıflı sınıflandırma için geliştirilmiştir. Test veri seti üzerindeki ağırlıklı ortalama performansı gösteren değerler; precision, Recall, F1skoru ve accuracy yüzde 77 ölçülmüştür. Normal sınıfında yüzde 82 precision ve yüzde 88 Recall değerleri elde etmiştir. 
5. model sağ ve sol tuba tıkanıklığı sınıflarında ikili sınıflama şeklinde geliştirilmiştir. Test veri setinde performansı gösteren eğri altında kalan alan (AUC) yüzde 85'dir. 

Sonuç:
Konvolüsyonel sinir ağı (KNN) ile geliştirilen yapay zekâ HSG görüntülerinde tubaların patent olup olmadığını otomatik olarak sınıflandırmada uygulanabilir ve etkilidir. Bunun için daha fazla veri, araştırma ve optimizasyon gereklidir. Modelin gelecekte yapay zekâ destekli tanı ve tıbbi tedavi uygulamak için klinik uygulamada etkili bir şekilde kullanılabileceğini öngörüyoruz.
Anahtar Kelimeler: Yapay zekâ, Tanısal Görüntüleme, infertilite, histerosalpingografi

Abstract:
The Role of Artificial İntelligence in Reporting Hysterosalpingography for Infertility
Purpose:
Infertility, defined as the inability to conceive within 12 months despite regular sexual intercourse, affects millions of people worldwide. Hysterosalpingography (HSG) is a routine imaging modality to evaluate tubal patency in infertility patients. This study aims to explore the potential of artificial intelligence to automatically interpret HSG images using convolutional neural network and transfer learning technology. 
Material-Method:
The imaging data of infertility patients who underwent hysterosalpingography (HSG) at our hospital between January 2016 and December 2022 were retrospectively reviewed. Patient images were interpreted and explained by two research assistants and a radiologist experienced in abdominal imaging. A total of 1461 patient images were included in the study. Due to the limited number of images showing occlusion of the right tube, left tube and bilateral tubes, data augmentation using the mirroring technique increased the number of data in these classes. A total dataset of 3186 images was generated, of which 15% were segregated as test dataset. During model training, 20% of the training set was used for validation. The performance of the developed model was measured on the test set. The entire data set was standardised for cutting purposes after the initial model training. A total of 5 models capable of binary, ternary and quaternary classification were developed. Transfer learning is used to improve the performance of the models. The models were optimized with data amplification technology and various hyperparameter settings.
Findings:
The mean age of the women in the study was 30.8 years, with a minimum age of 18 years and a maximum age of 50 years. Among the patients, 71.8% were normal and 28.1% had pathology. In total, 1049 patients were normal and 412 patients had pathology. Bilateral occlusion was found in 8.3%, left tubal occlusion in 5.8% and right tubal occlusion in 7%. Other pathologies were observed in a total of 7.1%.
The first model was developed on right, left, bilateral tubal obstruction and normal classes. The weighted average values on the test set are precision 82 %, accuracy 81 %, F1 score 80 % and Recall 81 %. The model performed best in the bilateral tubal occlusion class, while it performed worst in the right and left tubal occlusion classes.

After the development of the first model, all data were standardized by trimming. The 2nd model was developed on the standardized right, left, bilateral tubal occlusion and normal classes. The weighted average model performance on the test data set; precision, Recall accuracy and F1 scores are 87 %. After data standardization, the second model showed a 7.4 percent performance improvement compared to the first model.
The 3rd model was developed on the normal and bilateral tubal occlusion classes with more data. The area under the curve (AUC), which shows the performance of the model on the test data set in binary classification, is 99 percent.
Model 4 was developed for three-class classification with right, left tubal occlusion, and normal classes. The weighted average performance on the test dataset was 77% for precision, recall, F1 score and accuracy. In the normal class, 82% precision and 88% Recall values were achieved.
Model 5 was developed as a binary classification of right and left tubal occlusion classes. The area under the curve (AUC) showing the performance on the test data set is 85%.
Conclusion:
Artificial intelligence developed with convolutional neural network (CNN) is feasible and effective in automatically classifying whether tubal patency is present in HSG images. With more data, research and optimization, we anticipate that the model can be effectively used in clinical practice to implement AI-assisted diagnosis and treatment in the future.
Keywords: Diagnostic imaging, artificial intelligence, infertility, hysterosalpingography