Biyomedikal imgeler için yapay zekâ tabanlı hücre segmentasyonu yöntemi
Artificial intelligence based cell segmentation method for biomedical images
Yazar: GİZEM DURSUN DEMİR
Danışman: DR. ÖĞR. ÜYESİ UFUK ÖZKAYA
Süleyman Demirel Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Görüntü bölütleme = Image segmentation ; Görüntü işleme = Image processing ; Yapay zeka = Artificial intelligence

Özet:
Günümüzde kullanılan biyomedikal görüntüleme sistemleri incelendiğinde, manuel olarak uygun ve istenilen veriye uzman tarafından kısa sürede ulaşmanın zor olduğu, ulaşılan veriyi incelemenin ve tespit etmenin ise efektif olarak gerçekleştirilemediği bilinmektedir. Bu nedenle, biyomedikal görüntülerin analizi için yardımcı olacak, amaca uygun otomatik görüntüleme algoritmalarının geliştirilmesine ihtiyaç duyulmaktadır. Bu amaçla, biyomedikal görüntülerde hücre tespiti ve segmentasyonu otomatik biyomedikal imge analizi için önemli bir rol oynamaktadır. 

Hücre segmentasyonunun gerçekleştirilmesinde biyomedikal görüntünün çeşitliliğine bakılmaksızın karşılaşılan problemlerin başında, kullanılan biyomedikal görüntülerin düşük kontrasta sahip olması ve bu görüntüler içerisinde yoğun bir şekilde örtüşen hücrelerin bulunması gelmektedir. Bu nedenle, tez kapsamında otomatik biyomedikal imge analizinde kullanılmak üzere örtüşen ve temas eden hücrelerin doğru bir şekilde bölütlenmesini sağlayan yapay zekâ tabanlı bir hücre segmentasyon yöntemi önerilmiştir. 

Önerilen üretken çekişmeli ağ tabanlı model ile, bireysel hücre görüntüleri, o görüntülere ait sitoplazma kesin referans görüntülerine dönüştürülmekte ve bireysel hücrelere ait sitoplazma bölgeleri tespit edilmektedir. Literatüre üretken çekişmeli ağ modeli olarak sunulan ve imge-imge dönüşümü için kullanılan pix2pix modeli temel alınarak önerilen hücre segmentasyon modeli oluşturulmuştur. Üretken çekişmeli ağ tabanlı modelin üretici ağında literatürde yer alan biyomedikal imge işleme uygulamalarında sıklıkla kullanılan bir evrişimsel sinir ağı olan U-Net kullanılmıştır. Modelde ayrıştırıcı ağ olarak ise piksel bazlı olarak işlem yapmak yerine belirli bir bölgede işlem yapmasını sağlayarak yöntemin hızlı bir şekilde çalışmasına olanak sağlayan PatchGAN mimarisi kullanılmıştır. 

Önerilen hücre segmentasyon modeli ISBI 2014, ISBI 2015, Herlev ve CISD adı ile literatürde yer alan açık kaynaklı veri kümeleri üzerinde uygulanmıştır. Yöntemin başarısını test edebilmek amacıyla iki farklı uygulama gerçekleştirilmiştir. İlk uygulama olarak, kullanılan tüm veri kümelerinde yer alan görüntülerden karma bir veri kümesi oluşturulmuş ve bu kombinasyon veri kümesi ile önerilen model eğitilmiştir. Test aşamasında ise, eğitimde yer almayan hücre görüntüleri kullanılmıştır. İkinci uygulamada ise önerilen yöntemin gürbüzlüğünü test edebilmek adına çapraz doğrulama işlemi gerçekleştirilmiştir. Çapraz doğrulama uygulamasında, veri kümeleri ayrı ayrı eğitim aşamasında kullanılmış, eğitimde yer almayan veri kümeleri ile eğitilen model kullanılarak yöntem test edilmiştir. Bu sayede, yöntemin eğitim aşamasında yer almayan hücre görüntülerinde bile başarılı bir segmentasyon işlemi gerçekleştirip gerçekleştirilmediği incelenmiştir. 

Her iki uygulama için de önerilen model tarafından tahmin edilen sitoplazma bölgesi ile hücrelere ait kesin referansta yer alan sitoplazma bölgeleri karşılaştırılarak başarım metrikleri hesaplanmıştır. Jaccard indeksi, dice katsayısı, kesinlik ve geri çağırma gibi segmentasyon amacıyla literatürde yer alan çalışmalarda kullanılan başarım metrikleri hesaplanmıştır.  Elde edilen metrik sonuçları literatürde yer alan hücre segmentasyon yöntemleri ile kıyaslanmıştır.

Elde edilen sonuçlar incelendiğinde, önerilen yöntem ile farklı özelliklere sahip hücrelerin ek bir algoritmaya ihtiyaç duyulmaksızın doğru bir şekilde segmente edilebildiği görülmüştür. Herlev veri kümesinde 0.90, ISBI 2014 veri kümesinde 0.94 ve CISD veri kümesinde ise 0.96 Dice katsayısı elde edilmiştir. Literatürde yer alan çalışmalarda ve yarışmalarda Dice katsayısının 0.7 üzerinde olması "iyi segmentasyon" kriteri olarak tanımlanmaktadır. Bu düşünüldüğünde farklı özelliklere sahip üç veri kümesi için de elde edilen sonuçların iyi segmentasyon ölçütünü aştığı söylenebilmektedir. Önerilen yöntemin çapraz doğrulama sonuçları incelendiğinde, eğitimde yer almasa bile farklı morfolojik özelliklere sahip hücre görüntülerinin sitoplazmalarını 'iyi segmentasyon' kriterine göre başarılı bir şekilde tespit ettiği görülmektedir. Önerilen yöntemin farklı örtüşme derecelerinde başarılı olması, farklı hücre tipleri için kullanılabilmesi ve gürbüz olması nedeniyle otomatik analiz sistemlerinde kullanılabileceği düşünülmektedir.

Abstract:
When the biomedical imaging systems used today are examined, it is known that it is difficult to reach the appropriate and desired data manually from the expert in a short time, and it is not possible to examine and detect the reached data effectively. Therefore, there is a need to develop fit for purpose automated imaging algorithms that will assist in the analysis of biomedical images. For this purpose, cell detection and segmentation in biomedical images play an important role for automated biomedical image analysis.

Regardless of the diversity of the biomedical image, the leading problem encountered in performing cell segmentation is the low contrast of the biomedical images used and the existence of densely overlapping cells in these images. For this reason, an artificial intelligence-based cell segmentation method has been proposed for use in automated biomedical image analysis, which enables the accurate segmentation of overlapping and touching cells. 

With generative adversarial network based the proposed model, individual cell images are translated into ground truth of those images, and the cytoplasm regions of individual cells are determined. The proposed cell segmentation model was created based on the pix2pix model, which was presented in the literature as a generative adversarial network and used for image to image translation. U-Net, a convolutional neural network, which is frequently used in biomedical image processing applications in the literature, was used in the generator network of the generative adversarial network based model. In the model, PatchGAN architecture is used as the discriminator network, which allows the method to work fast by enabling it to process in a patch instead of processing on a pixel based.

The proposed cell segmentation model was applied on the open source datasets in the literature named ISBI 2014, ISBI 2015, Herlev and CISD. In order to test the success of the method, two different applications were implemented. As a first application, a mixed dataset was created from the images in all the used datasets and the proposed model was trained with this combination dataset. In the testing phase, cell images that were not included in the training were used. In the second application, cross-validation was implemented in order to test the robustness of the proposed method. In the cross-validation application, the datasets were used separately in the training phase, and the method was tested using the model trained with the datasets that were not included in the training. In this way, it was examined whether the method performed a successful segmentation process even on cell images that were not included in the training phase.

For both applications, performance metrics were calculated by comparing the cytoplasm region estimated by the proposed model with the cytoplasm regions in the ground truth of the cells. Performance metrics used in studies in the literature were calculated for segmentation purposes such as the Jaccard index, dice coefficient, precision and recall. The metric results obtained were compared with the cell segmentation methods in the literature.

When the results obtained were examined, it was seen that cells with different characteristics could be segmented correctly without the need for an additional algorithm with the proposed method. A Dice coefficient of 0.90 was obtained in the Herlev dataset, 0.94 in the ISBI 2014 dataset and 0.96 in the CISD dataset. A Dice coefficient above 0.7 in studies and competitions in the literature is defined as a "good segmentation" criterion. Considering this, it can be said that the results obtained for the three datasets with different characteristics exceed the criterion of good segmentation. When the cross-validation results of the proposed method are examined, it is seen that even if it is not included in the training, it successfully detects the cytoplasm of cell images with different morphological features according to the 'good segmentation' criterion. It is considered that the proposed method can be used in automatic analysis systems because it is successful at different degrees of overlap and can be used for different cell types and is robust.