Çoklu kamera görüntülerinin fpga ile gerçek zamanlı olarak işlenmesi
Multi-camera image processing in real time using fpga
Yazar: HALİL KAYGISIZ
Danışman: PROF. DR. ABDÜLKADİR ÇAKIR
Süleyman Demirel Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: FPGA = FPGA ; Gerçek zamanlı sistemler = Real time systems ; Görüntü işleme = Image processing ; Paralel programlama = Parallel programs

Özet:
Bu çalışmada, çoklu kameralardan alınan görüntülerin aynı platformda işlenmesi amaçlanmıştır. Görüntü işleme uygulamalarında kamera sayısı arttıkça işlem yükü de artmaktadır. İşlem yükü fazla olan gerçek zamanlı çalışması gereken uygulamalarda  paralel sinyal işleme, hızlı ilk üretim ve yüksek çalışma frekansı gibi özelliklerinden dolayı FPGA'lar tercih edilmektedir.

Gerçekleştirilen çalışmada, oluşturulan platformda 20 cm çapındaki karanlık odaya  birbirlerinin görüntü açısına girmeyecek şekilde 120° açıyla yerleştirilmiş 3 adet Altera D5M kameradan alınan görüntüler gerçek zamanlı olarak Altera DE2-115 FPGA kart üzerinde geliştirilen yazılımla işlenmiştir. Kameralardan alınan görüntüler tasarlanan hafıza organizasyonu ile kaydedilip, görüntülere ön işlem olarak gauss, medyan, ortalama filtreleri ve morfolojik işlemler olan görüntü aşındırma ve genişletme işlemleri uygulanmıştır.

Çalışma ile oluşturulan platform kullanılarak kusurlu kirazların ayrıştırıldığı bir sistem tasarlanmış ve gerçekleştirilmiştir. Serbest düşerek karanlık odaya giren kirazın görüntüleri FPGA'da işlenerek kusurlu olup olmadığı belirlenmektedir. Görüntü işleme sonucunda kiraz; kusursuz ise pnömatik valfin müdahalesi olmadan serbest düşme hareketini su dolu bölümde tamamlamaktadır. Kiraz, kusurlu ise pnömatik valf devreye girerek ayrı bir kaba ayrıştırılmaktadır. Gerçekleştirilen yazılım, Altera Quartus editörü kullanılarak Verilog programlama dilinde hazırlanmıştır. 

Sistem, 150 adet kusurlu 120 adet kusursuz kirazla test edilmiş ve bu testte kusurlu kirazların %96'sı ve kusursuz kirazların ise %96,7'si başarıyla tespit edilmiştir.

Abstract:
In this study, it is aimed to process images taken from multiple cameras on the same platform. As the number of cameras increases in image processing studies, the processing load also increases. For studies that needs to run in real time with a high processing load FPGAs are preferred due to their features such as parallel signal processing, fast initial generation, and high operating frequency.

This study generated on the Altera DE2-115 FPGA card was used in the experiment to process the images captured by three Altera D5M cameras positioned at a 120° angle in the dark room with a 20 cm diameter in the developed platform, not entering each other's field of view. Images from the cameras were recorded with the designed memory organization. The images etching and expansion operations with gauss, median, average filters and morphological processes were applied to the images as preprocessing.

Using the platform developed through this study, a system was established and carried out in which damaged cherries were separated. Images of the cherry entering the dark room by free-falling are processed in the FPGA to determine whether it is defective. Cherry, as a result of the image processing; If it is flawless, it completes the free fall movement in the water-filled section without the intervention of the pneumatic valve. On the other side, if the cherry is damaged, the pneumatic valve is activated and separated into an another container. This software was developed in the Verilog programming language using the Altera Quartus editor.

The system was tested with 120 flawless cherries with 150 defects, and in this test, 96% of defective cherries and 96.7% of perfect cherries were successfully detected.