Derin sinir ağları kullanılarak stereo termal ve çapraz modalite ile derinlik tahmini
Depth estimation with stereo thermal and cross modality using deep neural networks
Yazar: AHMET FARUK AKYÜZ
Danışman: PROF. DR. HASAN ŞAKİR BİLGE
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Derinlik = Depth

Özet:
Stereo görüntüler kullanılarak derinlik tahmini, bilgisayarlı görme alanında zorlu bir problemdir. Bu problemi çözmek için birçok farklı çalışma yapılmıştır. Gelişen makine öğrenimi ile bu sorunun üstesinden gelmek genellikle sinir ağı tabanlı çözümlerle yapılır. FADNet ve PSMNet sinir ağları, başarıları kanıtlanmış, günümüzde kullanılmaya devam edilen bu çözümlerin önde gelenlerinden ikisidir. Bu tezde, bu iki çalışma, yapılarında uygun değişiklikler yapılarak kullanılmıştır. Öte yandan, bu çözümlerde kullanılan görüntüler çoğunlukla görünür spektrumdadır. Ancak, bazı koşullarda görünür spektrumlardan daha faydalı bilgiler vermesi nedeniyle derinlik tahmini için Kızılötesi (IR) spektrumunun da kullanılma ihtiyacı ortaya çıkmıştır. Bu kapsamda, kullanılabilir veri kümesi olarak CATS veri kümesi bulunmuştur. Fakat bu veri kümesi, kendisinde mevcut olan doğrultulmuş görüntülerin uyumsuzluğu sebebiyle olduğu gibi kullanılamamıştır. Termal-termal görüntü çiftleri için CATS veri kümesinde bulunan ham görüntüler ile LiDAR cihazından elde edilmiş, sahnenin derinliğini ifade eden, uzaysal nokta kümeleri çeşitli işlemlerden geçirilerek sinir ağlarını eğitmek için uygun hale getirilmiştir. Diğer yandan, görünür-termal görüntü çiftleri içinde, CATS veri kümesinde bulunan mevcut görüntüler, görünür kamera ve termal kameraların bakış alanlarının (FOV) farklı olması sebebiyle kullanılamamış, bunun yerine, yeni bir veri kümesi oluşturulmuştur. Oluşturulan bu veri kümesinde, LiDAR cihazından elde edilen ayrık örnekleme sayısının yetersizliği sebebiyle, örnek arttırma işlemi yapılmıştır. Bu çalışmada, FADNet ve PSMNet sinir ağları, termal-termal ve görünür-termal görüntü çiftleriyle ayrı ayrı eğitilerek sonuçları karşılaştırılmıştır.

Abstract:
Depth estimation using stereo images is a challenging problem in computer vision. Many different studies have been carried out to solve this problem. With developing machine learning, tackling this problem is often done with neural network-based solutions. FADNet and PSMNet neural networks are two of the leading solutions that have proven their success and continue to be used today. In this thesis, these two studies were used with appropriate modifications in their structures. On the other hand, the images used in these solutions are mostly in the visible spectrum. However, the need to use the Infrared (IR) spectrum for depth estimation has emerged, as it gives beneficial information than the visible spectra in some conditions. In this context, the CATS dataset was found as a usable dataset. However, this dataset could not be used as it is due to the incompatibility of the rectified images available in it. For thermal-thermal image pairs, the raw images in the CATS dataset and spatial point cloud, which are obtained by LiDAR and express the depth of the scene, are made suitable for the training of networks by undergoing various processes. On the other hand, for the visible-thermal image pairs, the existing images in the CATS dataset could not be used due to the difference in the field of view of the visible and thermal cameras, instead, a new dataset was created. In this created dataset, due to the insufficient number of discrete samples obtained from the LiDAR device, sample augmentation was performed. In this study, FADNet and PSMNet neural networks were trained separately with thermal-thermal and visible-thermal image pairs and their results were compared.