Yüksek boyutlu model gösterilimi kullanılarak histopatolojik görüntülerde leke ayırma işlemi
Stain separation process on histopathological images using high dimensional model representation
Yazar: AYÇA CEYLAN
Danışman: DOÇ. DR. BURCU TUNGA
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Matematik Mühendisliği Ana Bilim Dalı / Matematik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Matematik = Mathematics ; Mühendislik Bilimleri = Engineering Sciences

Özet:
Sayısal patoloji, histopatolojik doku örneklerinin mikroskopta incelenmesiyle elde edilen görüntüleri kullanır. Bir biyopsi örneğinin görüntüleme cihazına girebilen cam slayt numunesi olarak hazırlanması, patoloji uzmanları tarafından geleneksel olarak elle yapılan bir dizi işlemden oluşur. Bu işlemler sırasında, görünür kontrast için numuneleri görüntülemeden önce boyamak gerekir. Boyama, hastalıklı veya tümörlü hücreleri ya da diğer patolojik hücreleri bulmak için doku numunelerinin ön ve arka yüzeylerine tıbbi bir boya renginin uygulanması işlemidir. Buna ek olarak, tümörlerin tanısında yaygın olarak kullanılan bir yöntemdir ve çeşitli boya kombinasyonlarını içerir. Sıklıkla kullanılan boyama yöntemlerinden biri olan Hematoksilen ve Eozin (H&E); sayısal patolojide doku yapılarını incelemek, kanser türlerini sınıflandırmak ya da kanser türünü derecelendirmek için kullanılır ve dokuyu mavi-pembe tonlarına boyar. İmmünohistokimyasal boyamada ise birden fazla slaytta tek bir biyobelirteç etiketlemenin aksine, bir doku bölümünde birden fazla biyolojik belirteç aynı anda tanımlanabilir. Bu nedenle, kanserli dokudaki çoklu biyobelirteçlerin aynı anda değerlendirilmesi için sıklıkla kullanılır. 3,3´-Diaminobenzidin ve Hematoksilen (DAB&H), en yaygın boya türü kombinasyonu olup; genellikle doku slaytını kahverengi ve mavi renklerine boyar.
Histopatolojik boyamalarda doku bölgesi birden fazla boya ya da diğer bir ifadeyle leke rengi ile boyanmaktadır. Dokudaki her bir biyolojik yapıya özgü görüntü analizinin yapılabilmesi için leke bölgelerinin ayrılması gerekir. Bu prosedür, patolojide "leke dekonvolüsyonu" ya da "leke ayırma" işlemi olarak adlandırılır. Leke ayırma işleminin amacı; histopatolojik görüntüyü, kullanılan boya kombinasyonlarındaki gerçek leke renklerine göre görüntü kanallarına ayırmaktır. Bu tez çalışmasında, literatürdeki çalışmalardan farklı olarak Yüksek Boyutlu Model Gösterilimi kullanılarak histopatolojik görüntülerde leke ayırma işlemi gerçekleştirilmiştir. Tez kapsamında önerilen leke ayırma algoritmaları, İstanbul Medipol Üniversitesi Patoloji Bölümü ve Warwick leke ayırma denek taşından alınan DAB&H ve H&E boyalı histopatolojik görüntüler üzerinde test edilmiştir. Önerilen algoritmalar, literatürde leke ayırma konusunda bilinen bir yöntem olan Renk Dekonvolüsyonu ile karşılaştırılarak; çeşitli ölçütlerle başarım değerlendirmesi yapılmıştır.
Yüksek Boyutlu Model Gösterilimi; analitik yapısı bilinen çok değişkenli ve sürekli yapıdaki bir işlevin sabit işlev, tek değişkenli, iki değişkenli ve böylece artan sayıda değişkene bağlı işlevlerin toplamı şeklinde yeniden yazılabilmesini sağlayan bir yöntemdir. Yöntemin amacı, çok değişkenli bir işlevi daha az sayıda bağımsız değişken içeren sonlu sayıdaki işlevler toplamı olarak ifade etmektir. Tez kapsamında, RGB formatlı histopatolojik görüntüler çok değişkenli bir veri kümesi olarak kabul edilmiştir. Bu amaçla; görüntüler, I, 4-boyutlu uzaya eşlenmiştir. Sonrasında, Yüksek Boyutlu Model Gösterilimi yöntemi 4-boyutlu yapıya getirilen histopatolojik görüntülere uygulanarak; en fazla üç değişkenli YBMG bileşenlerini içeren denklem temel alınmıştır.
Tez çalışmasında, öncelikle RGB formatlı DAB&H ve H&E boyalı histopatolojik görüntüler 3 x 3 kayan pencere yapısı kullanılarak; alt görüntülere ayrılmıştır. YBMG yönteminin her bir alt görüntüye uygulanmasıyla, alt görüntüler farklı boyutlardaki görüntü bileşenlerine ayrılmıştır. Görüntü bileşenlerinin incelenmesi sonucunda da alt görüntülerin her birine özgü renk özellikleri, birli bileşenlerden biri olan YBMG-I3 bileşeninde gözlemlenmiştir. Bu bilgiler ışığında, her bir alt görüntünün YBMG-I3 bileşeni ile ilgili leke bölgelerinin piksel temelli ortak özellikleri arasında bir benzerlik ilişkisi kurularak leke bölgeleri ayrıştırılmıştır.
Bu tez çalışmasının kendi kapsamında birçok özgün tarafı bulunmaktadır. Bunlardan birincisi ve en önemli olanı, histopatolojik görüntülerde leke ayırma konusunda ilk defa Yüksek Boyutlu Model Gösterilimi yönteminin bu çalışmada kullanılması ve konuyla ilgili yapılan testlerden de umut verici sonuçlara ulaşılmasıdır. Çalışmanın diğer bir özgün tarafı, Yüksek Boyutlu Model Gösterilimi yönteminin RGB formatlı histopatolojik görüntülere uygulanmasında yapılan birtakım düzenlemeler sonucunda yeni bir görüntü ayrıştırma algoritmasının tasarlanmasıdır. Bunun yanı sıra, buradaki görüntü ayrıştırma algoritmasından elde edilen görüntü bileşenlerinden de görüntü renksizleştirme konusuyla ilgili özgün bir algoritma geliştirilmiştir.

Abstract:
Digital pathology uses images which were obtained by viewing histopathological tissue samples through a microscope. The preparation of a biopsy specimen as a glass slide specimen entering the imaging device consists of a series of procedures traditionally done manually by pathologists. During these procedures, it is necessary to stain samples before scanning for visible contrast. Staining is the process of applying a medical dye color to the anterior and posterior surfaces of sample tissues in order to find unhealthy or tumor cells or other pathological cells. Also, it is a widely used method in the diagnosis of tumors and includes several dye combinations. Hematoxylin and Eosin (H&E) that is one of the most frequently used staining methods is used so as to examine tissue structures in digital pathology, classify cancer types or grade cancer types. It stains the tissue in blue-pink tones. In immunohistochemical staining, more than one biomarkers can be simultaneously identified in a tissue section in contrast to labelling a single biomarker on more than one slides. Therefore, it is often used for simultaneous evaluation of multiple biomarkers in cancerous tissue. 3,3´-Diaminobenzidine and Hematoxylin (DAB&H) is the most common combination type related to the immunohistochemical dyes. It usually stains the tissue slide in brown and blue colors.
In histopathological staining, the tissue region is stained with more than one dye, or in other words, with stain color. In order to perform image analysis that is specific to for each biological structure in the tissue, the staining regions must be separated. This procedure is called "stain deconvolution" or "stain separation" in pathology. The purpose of the stain separation process is to separate the histopathological image into image channels according to the actual stain colors in used dye combinations. In this thesis, stain separation was performed on histopathological images using High Dimensional Model Representation unlike the studies in literature. Proposed stain separation algorithms within the scope of the thesis were tested on DAB&H and H&E stained histopathological images taken from Istanbul Medipol University Department of Pathology andWarwick stain separation benchmark. The proposed algorithms were compared with Color Deconvolution that is a known method in the literature for stain
separation, and performance evaluation was done with various metrics. 
The High Dimensional Model Representation is a method that allows a multivariate and continuous function with known analytical structure to be rewritten as a fixed function, univariate, bivariate, and thus the sum of functions dependent on an increasing number of variables. In this thesis, histopathological images in RGB format were accepted as a multivariate data set. For this purpose, images, I, were firstly mapped to 4-dimensional space. Afterwards, the High Dimensional Model Representation method was applied to the histopathological images in the 4-dimensional structure. In here, it was taken as a basis the equation containing the components of the method with at most three variables.
In the thesis study, first of all, DAB&H and H&E stained histopathological images in RGB format were divided into subimages using 3 x3 sliding window structure . By applying the High Dimensional Model Representation (HDMR) method to each subimage, the subimages were divided into image components in different dimensions. As a result of the examination of the image components, the color characteristics specific to each of the subimages were observed in the HDMR-I3 component which is one of the univariate components. In the light of this information, a similarity relation was established between the HDMR-I3 component of each subimage and the pixel-based common features of the related stain regions, and as a result, the stain regions were separated.
This study has many unique aspects within itself scope. The first and most important of these is that the High Dimensional Model Representation method have been used for the first time in this study for stain separation in histopathological images. Besides, it is that encouraging results have been obtained from the tests performed on the proposed algorithms. Another unique aspect of the study is that a new image decomposition algorithm has been designed by making some regulations in the application of the High Dimensional Model Representation method to histopathological images in RGB format. In addition, an algorithm for also image decolorization has been developed from the image components obtained from the image decomposition algorithm here.