Radyolojı̇k görüntülerde derı̇n öğrenme kullanılarak kanser alt tı̇plerı̇nı̇n ve genotı̇plerı̇nı̇n sınıflandırılmasının gelı̇ştı̇rı̇lmesı̇
Enhancing classification of cancer subtypes and genotypes using deep learning on radiological images
Yazar: NESLİHAN GÖKMEN İNAN
Danışman: PROF. DR. OZAN KOCADAĞLI ; PROF. DR. CHUNLEİ LIU
Mimar Sinan Güzel Sanatlar Üniversitesi / Lisansüstü Eğitim Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Doktora, 2024
Konu: İstatistik = Statistics

Özet:
Kanser alt tipleri ve genotiplerinin erken tespiti ve teşhisi, erken aşamalarda daha etkili tedavi edilebilmeleri açısından oldukça önemlidir. Fakat doğru teşhis için yüksek düzeyde klinik bilgi ve uzmanlık gerekmektedir. Bu çalışmada, son zamanlarda geliştirilen çeşitli yapay zeka tabanlı karar destek sistemlerinin yardımıyla yorucu iş yükünü ve yanlış teşhisi en aza indirmek amacıyla, otomatik ultrasonografi (USG) ve magnetik rezonans (MR) görüntülerinden bölümlendirilmiş görüntüler yardımıyla tiroid nodül tipleri ve EGFR mutasyonları gibi kanser alt tipleri ve genotiplerini sınıflandırmayı hedefleyen bir uçtan uca derin öğrenme tabanlı hibrit bir yaklaşım sunulmaktadır.
Tiroid nodül tipleri genellikle atipi/foliküler belirsizliğin lezyonu (AUS/FLUS), iyi huylu foliküler ve papiller foliküler olarak sınıflandırılır. AUS/FLUS için malignite riski %5 ile %15 arasında değişmekle birlikte, bazı çalışmalarda bu riskin %25'e kadar çıkabileceği gösterilmiştir. Histoloji tamamlanmadan nodülleri sınıflandırmak zor ve risklidir ve tanı işlemleri pahalı olabilir.
Glioblastoma (GBM), hızla ilerleyen ve ölümcül bir beyin tümörüdür. GBM hastalarının teşhisi için hala "altın standart" olarak kabul edilen histolojik görüntüler kullanılır. Tümörlerin hem mikroskopik hem de makroskopik düzeyde çeşitli biyolojik özelliklere sahip olduğu bilinmektedir. Bu özellikler arasında tümör hücre yoğunluğu, normal dokunun etkilenmesi ve gen ifadesi gibi faktörler yer alır. Bu nedenle, doku örnekleme altın standart olmaya devam ederken, manyetik rezonans görüntüleme gibi invaziv olmayan görüntüleme teknikleri, klinik olarak önemli EGFR mutasyonları hakkında ek bilgi sağlayabilir. Epidermal büyüme faktörü reseptörü (EGFR) genindeki mutasyonlar, GBM'lerde tekrarlama süresinin kısalması ve daha kötü sağkalım oranları ile ilişkilendirilmiştir. 
Bu çalışma, otomatik tiroid nodülü ve beyin tümörü bölütlendirme ve sınıflandırma sağlayan bir hibrit derin öğrenme yöntemi önermektedir. Yöntem, çok çözünürlüklü Non-subsampled Shearlet Transform (NSST) özniteliklerini Convolutional Neural Networks (CNN) tabanlı özniteliklerle birleştiren UNet SI adında bir bölütlendirme yöntemi sunmaktadır. Ayrıca, düşük seviye özellikleri girdi görüntüsünden korumak için uzun atlamalı bağlantılar ve özdeş blokları kullanılmaktadır. Bu sayede, basitleştirilmiş bir mimari korunarak hesaplama zamanı, bellek kullanımı ve maliyetler azaltılmaktadır.
Tiroid nodülü bölümlendirme için UNet, ResUNet ve ResUNet++ mimarileri kullanılmıştır. Özellik çıkarma ve aşırı uyumlanmayı önlemek için dropout işlemleri ile upsampling içerir. Nodül sınıflandırması için DenseNet121, ResNet-50, VGG-16, ve Inception ResNet-v2 kullanılmıştır. Model performansı değerlendirmesi için IOU, Dice katsayısı, doğruluk, hassasiyet ve özgüllük kullanılmıştır.
Çalışmada, yaşları 10 ile 90 arasında değişen toplam 880 hasta, ultrason görüntüleri ve demografik bilgileri alınarak dahil edilmiştir. Eğitim sonuçları, ResUNet++'ın yüksek başarılı bölütlendirme sonuçları elde ettiğini göstermiştir; dice katsayısı %92,40 ve ortalama İntersection over Union (IoU) %89,7 olarak gerçekleşmiştir. ResNet-50 ve InceptionResNet, UNet ile bölütlendirilmiş görüntüler üzerinde eğitildiğinde nodül sınıflandırması için yüksek değerlendirme skorları elde etmiştir; sırasıyla %96,6 ve %95,0 doğruluk. Ayrıca, ResNet-50 ve Inception ResNet-v2, UNet ile bölümlendirilmiş görüntülerden AUS/FLUS'yu %97,0 ve %96,0 AUC ile sınıflandırmıştır. Önerilen hibrit ResNet tabanlı UNet Convolutional Neural Network (CNN), AUS/FLUS'un bölütlendirme performansını artırmış ve bazı doğru sınıflandırma göstergeleri açısından literatürde mevcut olan yaklaşımlardan daha iyi performans göstermiştir. 
Beyin tümör segmentasyonu için oluşturulan shearlet ve özdeş blokların entgere edildiği mimari çerçeve (UNet SI), 42 glioblastoma hastası arasında tüm tümör bölgesi için ortalama Jaccard, dice ve doğruluk skorları sırasıyla 0.853, 0.872 ve 0.988 ile umut verici sonuçlar göstermektedir. Bu yaklaşımın BRATS2019 benchmark veriseti ile geçerliliği sağlanmuş ve Jaccard, dice ve doğruluk skorları sırasıyla 0.854, 0.861 ve 0.987 elde edilmiştir.
EGFR sınıflandırması için ResNet-50, Inception ResNet-v2 ve DenseNet-121, beyin MRI görüntülerinin bölümlenmiş halini kullanır. Sonuçlar, Memorial Hastanesi veri setinden toplanan 56 GBM hastası üzerinde gerçekleştirilmiştir. UNet SI ile bölümlenmiş görüntülerin giriş olarak kullanılmasıyla, EGFR sınıflandırması için umut verici sonuçlar elde edilmiştir; DenseNet-121 ile sırasıyla %0,962, %0,963 ve %0,913 doğruluk, hassasiyet ve özgüllük elde edilerek, mevcut en iyi yöntemleri aşmıştır.
Sonuç olarak, bu çalışma, tiroid nodül tipleri ve EGFR mutasyonları gibi kanser alt tipleri ve genotiplerinin sınıflandırılmasında otomatik bir çözüm sunmaktadır. Önerilen hibrit derin öğrenme yaklaşımı, yüksek doğruluk ve hassasiyet oranları elde ederek geleneksel yöntemlere göre daha etkili bir tanı süreci sağlayacaktır.

Abstract:
Early detection and diagnosis of cancer subtypes and genotypes are crucial because treatment is more effective in the early stages. However, accurate detection requires substantial clinical expertise and knowledge. To reduce the intensive workload and the risk of misdiagnosis, various AI-based decision support systems have recently been developed. This work introduces an end-to-end deep learning-based approach to classify cancer subtypes and genotypes—specifically thyroid nodule types and EGFR mutations in Glioblastoma (GBM)—by automatically analyzing segmented images from ultrasound (USG) and MRI scans.
Thyroid nodule types generally include atypia of undetermined significance/follicular lesion of undetermined significance (AUS/FLUS), benign follicular, and papillary follicular. The malignancy risk for AUS/FLUS typically ranges from 5% to 15%, though some studies report a risk as high as 25%. Without complete histological analysis, classifying nodules is challenging, and these diagnostic procedures are both costly and risky.
GBM is a fatal brain cancer, and it is progressing very quickly. Generally tumors are heterogeneous at both microscopic and macroscopic levels based on various biological characteristics such as tumor cell density, normal tissue involvement, and gene expression. Histological images, still considered the "gold standard" in this field, are used to diagnose GBM patients. Mutations in the epidermal growth factor receptor (EGFR) gene is associated with a shortened time between recurrences and worse survival rates for GBMs. While tissue sampling remains the gold standard, non-invasive imaging techniques such as MRI imaging can provide complementary information about clinically relevant EGFR mutations.
In this study, a new hybrid deep-learning method is proposed to segment and classify thyroid nodules and brain tumors automatically. Specifically, a segmentation method (UNet SI) is introduced, which combines multiresolution handcrafted Non-subsampled Shearlet Transform (NSST) features with Convolutional Neural Networks (CNN)-based features to incorporate directional attributes. Furthermore, the long skip connections with identity blocks are used to preserve low-level features from the input image. This framework maintains a simplified architecture, reducing computational time, memory usage, and costs. 
In the deep neural network architectures, to prevent overfitting more systematically, UNet, ResUNet, and ResUNet++ are employed for thyroid nodule segmentation, utilizing feature extraction and upsampling with dropout operations to prevent overfitting. For nodule classification, VGG-16, DenseNet121, ResNet-50, and Inception ResNet-v2 are used. Model performance is evaluated using IOU, Dice coefficient, accuracy, precision, and recall. The study included 880 patients aged 10 to 90 years, with ultrasound images and demographic data. Experimental results showed that ResUNet++ achieved excellent segmentation results, with a Dice coefficient of 92.40% and a mean Intersection over Union (IoU) of 89.7%. ResNet-50 and InceptionResNet, trained on images segmented by UNets, demonstrated superior classification performance, with accuracies of 96.6% and 95.0%, respectively. Additionally, ResNet-50 and Inception ResNet-v2 classified AUS/FLUS from images segmented by UNets with AUCs of 97.0% and 96.0%, respectively. The proposed hybrid ResNet-based UNet Convolutional Neural Network (CNN) enhances the segmentation performance of AUS/FLUS and outperforms existing methods in the literature concerning accurate classification metrics such as ACC, Jaccard, and DICE losses.
ResNet-50, Inception ResNet-v2 and DenseNet-121 received segmented MRI images of brain as input for EGFR classification. Experiments were conducted on 98 GBM patients gathered from Memorial Hospital dataset, and the segmentation model was validated on the BRATS 2019 benchmark dataset. We achieved promising results for EGFR classification by using the UNet SI segmented images as the inputs for DenseNet-121 with 0.962, 0.963, and 0.913 accuracy, precision, and recall, respectively, by surpassing state-of-the-art methods.