GPU tabanlı paralel hesaplama tekniği ile LED tabanlı ve DMD Uygulamalı yapılandırılmış aydınlatma kullanan bir görüntüleme sisteminin oluşturulması
Development of an imaging system using LED based and DMD applied structured illumination with GPU based parallel computing
Yazar: MUSA AYDIN
Danışman: DR. ÖĞR. ÜYESİ BUKET DOĞAN ; PROF. DR. ALPER KİRAZ
Marmara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez çalışmasında, yapılandırılmış aydınlatma mikroskopisi tekniğini kullanan yüksek çözünürlüklü, LED aydınlatmalı, taşınabilir ve GPU tabanlı paralel algoritmalar kullanılarak hızlandırılmış alternatif bir görüntüleme sisteminin tasarlanması, geliştirilmesi ve uygulanması sağlanmıştır. 
İnsan görüş sınırı ötesinde kalan yapıların (hücre, mikroorganizma, makromolekül vb.) incelenmesi, çalışmalarının ve yapılarının anlaşılması geçmişten günümüze birçok araştırmacının ilgi odağı olmuştur. Gözle görülmeyen mikro ya da nano boyuttaki maddelerin tümünün görselleştirilmesi ve incelenmesi için özel olarak tasarlanmış mikroskop ve mikro-endoskop görüntüleme cihazlarına ihtiyaç duyulmaktadır. 
Özellikle hassas dokuların işlevlerini etkilemeden doku içinden veya yüzeyinden görüntü alınması oldukça önemlidir. Düşük maliyetli, esnek, minyatür fiber demetleri, bir görüntüleme platformuna görüntülenmek istenen dokunun ya da örneğin çıkarılmasına gerek duymadan, ulaşılamayan yerlere götürülerek görüntü alınmasını mümkün kılmaktadır. Doku içi veya yüzeyinden görüntü elde edilmesini sağlayan bu görüntüleme iğneleri tek bir kılıf içerisinde binlerce fiber lifi barındıran özel görüntüleme ekipmanlarıdır. Bir fiber demeti yaklaşık olarak ~10000 fiber lifinin bir araya getirilmesi ile oluşturulurlar ve her bir fiber lifi bir görüntüdeki piksellere karşılık gelmektedir.
Var olan genel amaçlı ışık aydınlatmalı mikroskobik görüntüleme sistemlerinde ışığın kırınımından dolayı elde edilen görüntünün çözünürlüğü sınırlıdır. Yapılan bu çalışmada, yapılandırılmış aydınlatma mikroskopisi tekniği ile kırınım limiti aşılarak geniş alan aydınlatma görüntüleme tekniğine göre daha yüksek çözünürlükte görüntü elde edilmesi sağlanmıştır. Özel olarak modüle edilmiş aydınlatma desenleri kullanılarak, geliştirilen görüntü yeniden yapılandırma algoritması ile bir numunedeki daha küçük objelerin detaylı olarak incelenmesi ve görselleştirilmesi sağlanmıştır.

Yapılandırılmış aydınlatma mikroskopisi tekniği ile öncelikle numune, özel olarak fazı, açısal yönelimi ve frekansı ayarlanmış sinüzoidal aydınlatma desenleri ile aydınlatılır. Daha sonra elde edilen ham veriler bir dizi ön görüntü işlemine tabi tutularak istenmeyen gürültülerden arındırılır ve geliştirilen görüntü yeniden yapılandırma algoritması ile elde edilen ham görüntüler işlenerek yüksek çözünürlüklü tek bir görüntü elde edilir. 
Numune üzerine yansıtılan ışığın modülasyonu DMD kullanılarak gerçekleştirilir. DMD ile özel olarak fazı, frekansı ve açısal yönelimi ayarlanmış aydınlatma desenleri çok hızlı bir şekilde numunenin aydınlatılması sağlanır. Numuneden elde edilen floresan emisyonu bir algılayıcı ile (örn: kamera) algılandıktan sonra geliştirilen görüntü yeniden yapılandırma algoritması ile görüntü ters evrişimine tabi tutulur. Görüntü yeniden yapılandırma algoritması hesaplama süresinin azaltılması için paralel CUDA çekirdek fonksiyonları geliştirilmiştir ve bu paralel CUDA çekirdek fonksiyonları GPU çekirdekleri üzerinde işletilerek hesaplama süresinin yaklaşık olarak ~28 kat arttırılması sağlanmıştır.

Abstract:
In this thesis, design and development of a high-resolution, LED-illuminated, portable imaging system accelerated by parallel algorithms using GPU-based technique and structured illumination microscopy is provided.   
The examination of structures that remain beyond the human sight limit (cell, microorganism, macromolecule, etc.) and understanding of their work and structures have been the center of attention of many researchers from the past to the present.  Specially designed microscope and micro-endoscope imaging devices are needed for the visualization and inspection of all invisible micro or nano-sized materials.
It is especially important to take images from inside or from the surface of the tissue without affecting the functions of sensitive tissues. Low cost, flexible, miniature fiber bundles make it possible to take images to unreachable places without the need to remove the desired tissue or sample to an imaging platform. These imaging needles, which provide images from inside or surface of the tissue, are special imaging equipment that contains thousands of fiber cores in a single sheath. Fiber bundle is formed by combining approximately ~ 10000 fiber cores, and each fiber core corresponds to pixels in an image. 
The resolution of the obtained image is limited due to the diffraction of light in the existing general purpose light illuminated microscopic imaging systems. In this study, the diffraction limit was exceeded with the structured illumination microscopy technique and higher resolution images were obtained compared to the wide field illumination imaging technique. By using specially modulated lighting patterns, smaller objects in a sample are examined in detail and visualized.
In structured illumination microscopy technique, the sample is first illuminated with specially created sinusoidal illumination patterns, which has a specially determined phase, angular orientation and frequency of these lighting patterns. Then a series of pre-image processing operations are applied to the raw data and removed unwanted noises. A single high-resolution image is obtained by processing raw images obtained by the developed image restructuring algorithm.
Modulation of the light projected onto the sample is performed by using DMD. DMD is used for the purpose of illuminating the sample very quickly using specially created lighting patterns. After the fluorescence emission from the sample is detected with a sensor (e.g. camera), image deconvolution is performed using the developed image reconstruction algorithm. Parallel CUDA kernel functions have been developed to reduce the computation time of the image reconstruction algorithm, and these parallel CUDA kernel functions have been operated on GPU cores to increase the computation time by ~ 28 times.