Ataletsel ölçüm birimi destekli kızılötesi görüntüleme sistemi tasarımı
Design of inertial measurement unit aided infrared imaging system
Yazar: TUGAY DÖNER
Danışman: DR. ÖĞR. ÜYESİ DİNÇER GÖKCEN
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Savunma ve Savunma Teknolojileri = Defense and Defense Technologies
Dizin: FPGA = FPGA ; Sayısal elektronik = Digital electronic ; Sayısal görüntü işleme = Digital image processing ; Video görüntüsü = Video image

Özet:
Kızılötesi (KÖ) görüntüleme sistemleri sivil ve askeri görüntüleme uygulamalarında sıklıkla kullanılmaktadır. Elektromanyetik spektrumun kızılötesi bölgesindeki dalgaboylarında yapılan elektromanyetik yayılımları algılamak üzere odaksal düzlem dizisi (İng. focal plane array) şeklindeki kızılötesi görüntü algılayıcıları (İng. image sensors) kullanılmaktadır. Çeşitli optik elemanlar aracılığıyla odaklanan ve odaksal düzlem dizisi üzerine düşürülmesi sağlanan kızılötesi ışınım belirli bir pozlama süresi (İng. integration time) boyunca algılayıcı tarafından emilir ve daha sonra okuma devreleri aracılığıyla analog elektriksel sinyal olarak okunur. Elde edilen KÖ görüntünün bulanık olmaması için gerekli şartlardan biri pozlama süresi boyunca görüntülenen nesne ile görüntü algılayıcısının birbirlerine göre bağıl hareketlerinin sıfır olması veya kabul edilebilir bir sınırın içinde kalması gerekliliğidir. Görüntülenen nesnenin ya da görüntüleme sisteminin pozlama süresi boyunca yaptığı hareket KÖ görüntü de bulanıklığa neden olacaktır. Bu tez çalışması kapsamında, KÖ görüntüleme sistemi hareketinden kaynaklı ortaya çıkan bulanıklık incelenmiş ve modellenmiştir. Bulanıklığın nicel olarak hesaplanabilmesi için KÖ görüntüleme sistemi hareketini ölçmek amacıyla ataletsel ölçüm birimi (İng. inertial measurement unit) verisi kullanılmıştır. Böylece pozlama süresi boyunca KÖ görüntüleme sistemine ait Ataletsel Ölçüm Birimi (AÖB) verisi kullanılarak her bir piksele ait nokta yayılım fonksiyonunu (İng. point spread function) hesaplayan yazılım geliştirilmiştir. KÖ görüntüleme sistemi hareketinden kaynaklı bulanıklık hesaplandıktan sonra, oluşan bulanıklık görüntü işleme teknikleri kullanılarak yok edilmeye çalışılmıştır. Bulanıklığı gidermek üzere literatürde kullanılan görüntü işleme teknikleri incelenmiş ve başarımlarını test etmek amacıyla MATLAB ortamında benzetimler yapılmıştır. MATLAB ortamında test edilen bulanıklık giderici algoritmaların gerçek zamanlı olarak FPGA üzerinde uygulanabilirliği araştırılmış ve bunun için gerekli donanım ve yazılım kaynakları belirlenmeye çalışılmıştır. Seçilen bir bulanıklık giderici algoritmanın gerçek zamanlı tasarımı birebir FPGA IP çekirdekleri kullanılarak Xilinx System Generator ortamında yapılmıştır. Gerçek zamanlı görüntü netleştirme biriminde hafıza olarak SDRAM kullanımı durumunda, 2B-FFT uygulanmasında kullanılacak devrik alma işleminden dolayı ortaya çıkacak sorunlar incelenmiştir. Bu hafıza kullanılarak bir görüntünün devriğinin (İng. transpose) alınmasının tüm gerçek zamanlı görüntü işleme akışını yavaşlatacak düzeyde uzun olacağı anlaşılmıştır. Görüntünün daha hızlı devriğinin alınması ve hafızayı daha verimli kullanmak üzere Corner Turn Matris isimli yöntem incelenmiştir. Corner Turn Matris yöntemiyle daha hızlı devrik alınması işlemi System Generator ortamında tasarlanmıştır. System Generator ortamında tasarlanan bulanıklık giderici algoritmaya ait benzetimler yapılmış ve sonuçlar MATLAB sonuçları ile karşılaştırılmıştır. Bulanıklık giderici algoritmanın bazı kritik alt IP çekirdekleri Xilinx Zynq SoC (İng. system-on-chip) taşıyan geliştirme kartı kullanılarak gerçek zamanlı olarak test edilmiştir. Gerçek zamanlı olarak uygulanmayan diğer bulanıklık giderici algoritmaların MATLAB benzetimleri yapılmıştır. Tez çalışması sonucunda, KÖ görüntüleme sisteminin pozlama süresi boyunca bir senaryo dahilinde yaptığı hareketin oluşturduğu bulanıklık nicel olarak hesaplanabilmektedir. Ardından bu bulanıklık belirli şartları sağlıyorsa System Generator ortamında tasarlanan bulanıklık giderici algoritma kullanılarak yok edilebilmektedir. Bazı tipteki bulanıklıklar için System Generator uygulamasının başarımı düşük kalabilmektedir. Bu tip bulanıklıklar MATLAB ortamında uygulanan tekrarlayan en küçük kareler (İng. iterative least squares) yöntemi tabanlı bulanıklık giderici algoritma kullanılarak yok edilebilmektedir.

Abstract:
Infrared (IR) imaging systems are frequently used in civil and military imaging applications. Infrared image sensors are used in the focal plane array to detect electromagnetic emissions in the wavelengths of the infrared region of the electromagnetic spectrum. Infrared radiation, which is focused through various optical elements and fallen onto the focal plane array, is absorbed by the infrared sensor during a certain exposure time, and is then read as an analog electrical signal by using the readout circuits. One of the conditions required for the IR image to not be blurred is that the relative motion between the imaged object and IR imaging system must be zero or remain within an acceptable limit, during the integration time. The motion of the imaged object or the IR imaging system during the integration time will cause blurring of the IR image. Within the scope of this thesis, the blur caused by the IR imaging system movement has been examined and modeled. In order to quantify the blur, an inertial measurement unit is used to measure the movement of the IR imaging system. Thus the software for calculating PSF for each pixel was developed using the IMU data of the movement of IR imaging system during the integration time. After calculating the blur due to the IR imaging system movement, the resulting blur is tried to be eliminated by using image processing techniques. In order to eliminate the blur, image processing techniques used in the literature were examined and simulations were made about their performance. In order to get the applicability of the obtained deblurring algorithms on FPGA in real time, the necessary hardware and software resource were tried to be determined. Deblurring algorithm was implemented in the Xilinx System Generator environment using FPGA IP cores for real-time working on FPGA. In case of use of SDRAM as a memory in real-time image deblurring, the problems that will arise due to matrix transposition to be used in 2D-FFT application are examined. Using this memory, it was found that image transpose would be long enough to slow down the entire real-time image processing flow. The Corner Turn Matrix method is designed in the System Generator environment for faster transpose of the image and more efficient use of SDRAM memory. Deblurring algorithm designed in System Generator environment is simulated and the results are compared with MATLAB results. Some critical sub-IP cores of the deblurring algorithm have been tested in real time using the development board that carries the Xilinx Zynq SoC (Sytem-on-chip). MATLAB simulations were performed for other deblurring algorithms which were not applied in real time. As a result of the thesis study, the blur caused by the movement of the IR imaging system in a scenario during the integration time can be calculated quantitatively. Then this blur can be eliminated by using the deblurring algorithm designed in the System Generator environment if it meets certain requirements. For some types of blur, the performance of the System Generator application may remain low. For these types of blur, images can be clarified by using the algorithm based on the iterative least squares method designed in MATLAB.