Hematoksilen-eozin ve floresan ın situ hibridizasyon ile boyanan histopatoloji görüntülerinin imge çakıştırma yöntemleriyle ile eşleştirilmesi
Matching of histopathology images stained with hematoxylin-eosin and fluorescent in situ hybridization with image registration methods
Yazar: ZAFER SÜNETCİ
Danışman: DR. ÖĞR. ÜYESİ NURULLAH ÇALIK
İstanbul Medeniyet Üniversitesi / Lisansüstü Eğitim Enstitüsü / Nanobilim ve Nanomühendislik Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Patoloji = Pathology ; Tıbbi Biyoloji = Medical Biology
Dizin: Afin dönüşümleri = Affine transformations ; Görüntü işleme algoritmaları = Image processing algorithms ; Görüntü işleme yöntemleri = Image processing methods ; Histopatoloji = Histopathology ; Sayısal görüntüleme teknikleri = Digital imaging techniques ; Transform görüntü kodlaması = Transform image coding ; Tıbbi görüntüleme = Medical imaging ; İmmünofloresan = Immunofluorescence ; İmmünohistokimya = Immunohistochemistry ; İn situ hibridizasyon = In situ hybridization

Özet:
Günümüzün en büyük problemlerinden biri kanserdir. Bu hastalıkla mücadele için birçok farklı yöntem denenmektedir. Bu yüzden erken teşhis ve kanser seviyesinin belirlenmesi bu hastalığın seyrinde çok büyük önem arz etmektedir. Bu sebeple mikro düzeyde kanserli dokuların incelenebilmesi için histopatoloji yöntemleri kullanılmaktadır. Bu yöntemler ile birlikte, kanser hücrelerinin spesifik olarak incelenmesi mümkün olmaktadır. Ek olarak, nano seviyede incelenen hücre içi yapıların genetik ve morfolojik özellikleri ortaya çıkarılabilmektedir.
Tekil şekilde uygulanan boyama işlemleri ile patologların her zaman net karar vermesi mümkün olmayabilmektedir ve ekstra boyama yöntemleri uygulanabilmektedir. Aynı yerden alınan iki ayrı dokunun boyanmasıyla farklı özellikler ortaya çıkabilmektedir. İki farklı boyadan farklı sonuçlar almak yerine, bu boyaları beraber inceleyebilmek amacıyla dijital histopatolojik yöntemler üst üste getirilip eşleştirilerek kullanılmaya başlanmıştır. Bu fikirden baz alarak yapılan çalışmada, iki farklı boya ile boyanan dijital görüntülerin imge çakıştırma yöntemi ile eşleştirilmesi amaçlanmıştır.
Yapılacak çalışmada kullanılmak amacıyla, İstanbul Teknik Üniversitesi Teknokent bünyesinde faaliyet gösteren ARGENİT firması üzerinden, yüksek çözünürlüklü hematoksilin-eozin (H&E) ve floresan in situ hibridizasyon (FISH) görüntüleri alınmıştır. Alınan H&E görüntülerinde hematoksilin kimyasalı hücre çekirdeklerini mavi-mor tonlarında, hücre içi sitoplazma kısmı eozin ile sitoplazmanın kapladığı alanı pembe tonlarında göstermektedir. FISH boyama yöntemi ise, içeriğindeki floresan ile görüntüyü ortaya çıkarmaktadır. Burada floresan 4′,6-diamidino-2-fenilindol (DAPI), Floresin İzotiyosiyanat (Fluorescein isothiocyanate, FITC) ve Texas-Red (TR) adlı üç farklı boya tipi ile kullanılmış ve farklı renklerde görüntülenmişlerdir. Bu görüntülerin eşleştirilmesi amacıyla görüntü işleme teknikleri kullanılmıştır. Öncelikle, görüntülerdeki gürültülerin ve boyanın ayarlanması için ön işlemler gerçekleştirilmiştir. Sonrasında, Ölçek Değişmez Özellik Dönüşümü (Scale-Invariant Feature Transform, SIFT), Hızlandırılmış Sağlam Özellikler (Speed Up Robust Features, SURF) ve Maksimum Kararlı Ekstrem Bölgeler (Maximally stable extremal regions, MSER) imge çakıştırma teknikleri uygulanmıştır. Uygulanan üç işlem ile benzer noktalar bulunarak karşılaştırılmıştır.
İşlenen görüntülerin karşılaştırılması sonrasında elde edilen sonuçlarda, başlangıçta düzgün eşleşmediği, ancak daha sonrasında yapılan eklemeler sayesinde, FISH görüntüleri ile H&E görüntülerinin anahtar noktalarının yüksek oranda eşleştiği gözlemlenmiştir. Ancak kenar ve köşe eşleşmesi sırasında meydana gelen bazı sıkıntılar sebebiyle son görüntüde, bazı noktaların eşleşmediği görülmüştür. Sonrasında hazırlanan kodlarda seçilen alanın görüntülenmesi sağlanarak, çakıştırma yapılması ve yapılmaması halindeki sonuçlar şekillerde gösterilmiştir ve kontrol noktalarının çakışma oranları belirtilmiştir.
Gelecekte medikal alanda ve nano boyuttaki işlemlerde kullanılmadan önce farklı dönüşüm algoritmalarının denenmesinde yarar olduğu ve gerekli araştırmaların yapılmasının gerekli olduğu gözlemlenmiştir.

Abstract:
Cancer is one of the biggest problems of our time. Many different methods are being tried to combat this disease. Therefore, early diagnosis and determination of cancer level are of great importance in the course of this disease. For this reason, histopathology methods are used to examine cancerous tissues at the micro level. With these methods, it is possible to specifically examine cancer cells. In addition, genetic and morphological features of intracellular structures examined at the nano level can be revealed.
It is not always possible for the pathologists to make a clear decision with the staining processes applied individually and extra staining methods can be applied. Different features can be revealed by staining two different tissues taken from the same place. Instead of getting different results from two different stains, digital histopathological methods were started to be used by overlapping and matching in order to examine these stains together. Based on this idea, in this study, it is aimed to match digital images painted with two different dyes with the image registration method.
High resolution hematoxylin-eosin (H&E) and fluorescent in situ hybridization (FISH) images were taken from ARGENIT company operating within Istanbul Technical University Technopolis to be used in the study to be carried out. In the H&E images taken, the chemical hematoxylin shows the cell nuclei in blue-violet tones, the intracellular cytoplasm part eosin and the area covered by the cytoplasm in pink tones. The FISH staining method reveals the image with the fluorescence it contains. Here, three different dye types named fluorescent 4′,6-diamidino-2-phenylindole (DAPI), Fluorescein isothiocyanate (FITC) and Texas-Red (TR) were used and displayed in different colors. Image processing techniques were used to match these images. Firstly, preprocessing was carried out to adjust the noise and paint in the images. Afterwards, Scale-Invariant Feature Transform (SIFT), Speed Up Robust Features (SURF) and Maximally Stable Extremal Regions (MSER)image registration techniques were applied. Similar points were found and compared with the three procedures applied.
In the results obtained after the comparison of the processed images, it was observed that the key points of the FISH images and the H&E images were highly matched, thanks to the additions made later. However, due to some problems during edge and corner matching, it was seen that some points did not match in the final image. Afterwards, by ensuring that the selected area is displayed in the codes which were prepared, the results in case of registrating or not are shown in the figures and the registration rates of the control points are indicated.
It has been observed that it is beneficial to try different transformation algorithms before they are used in the medical field and nano-sized processes in the future and it is necessary to carry out necessary researches.