Mobil robotlarda engelden kaçınma için RGB+HHA verisiyle derin öğrenme tabanlı anlamsal bölütleme
Deep learning based semantic segmentation with RGB+HHA data for obstacle avoidance in mobile robots
Yazar: HATİCE AYDIN
Danışman: PROF. DR. MEHMET BİLGİNER GÜLMEZOĞLU ; DR. ÖĞR. ÜYESİ BURAK KALECİ
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Doktora, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Otonom mobil robotların iç mekanlarda güvenli bir şekilde hareket edebilmesi için robotun engellerden kaçınarak yön bulması önemli bir araştırma konusudur. Robotun engellerden sakınması büyük ölçüde etrafın doğru bir şekilde algılanmasına bağlıdır. Dolayısıyla robotun etrafını algılamak için kullandığı ham veri tipi ve bu veriden elde edeceği anlamlı bilgi engellerden sakınma performansını doğrudan etkilemektedir. Engellerden kaçınarak yön bulma konusunda derin öğrenme tabanlı anlamsal bölütleme mimarileri önemli bir potansiyel taşımaktadır. Ancak, literatürde bu konuda yapılan çalışmalar henüz yeterince kapsamlı değildir ve kullanılan görsel veriler özellikle geometrik bilgilerin eksikliği nedeniyle sınırlı sonuçlar vermektedir.
Bu tez çalışmasında, yalnızca imge verisi (RGB) değil aynı zamanda yatay farklılık, yerden yükseklik ve yer çekimi açısı (HHA) gibi geometrik öznitelikler kullanılarak anlamsal bölütleme mimarilerinin başarılarının arttırılması amaçlanmaktadır. Bu yaklaşım, sahnenin geometrik özelliklerini daha doğru bir şekilde modellemeyi ve böylece hem anlamsal bölütleme doğruluğunu hem de robotun engellerden kaçınma yolunun kalitesini iyileştirmeyi hedeflemektedir.
6 kanallı RGB+HHA veri tipini kullanabilmek için ileri düzey anlamsal bölütleme mimarileri uyarlanmıştır. Ayrıca, robotların engellerden kaçınmasını sağlamak amacıyla oluşturulan yerel yol planında küresel yol planlama yaklaşımlarından olan  A* algoritması ile Genelleştirilmiş Voronoi Çizgesi (GVD) birlikte kullanılarak en verimli yerel planın yapılması amaçlanmaktadır. NYU Depth V2, SUN RGB-D ve Koridor veri kümeleri kullanılarak elde edilen RGB, RGB+Derinlik (RGB+D) ve RGB+HHA veri tipleri ile yapılan testler anlamsal bölütleme doğruluğu, yerel yol plan kalitesi ve bir sahneyi bölütlemek için gerekli süre kriterleri kullanılarak değerlendirilmiştir. Deneysel sonuçlar, tüm veri  kümelerinde RGB+HHA veri tipinin diğer veri tiplerine göre anlamsal bölütleme doğruluğunu (ACC) en az %1 oranında artırdığını ve kesiştirilmiş bölgeler ölçütünün ortalaması (MIoU) değerinde %3'lük bir iyileşme sağladığını göstermektedir.

Abstract:
The ability of autonomous mobile robots to navigate safely indoors is an important research topic. The robot's ability to avoid obstacles is largely dependent on its accurate perception of the environment. Therefore, the type of raw data used by the robot for environmental perception and the meaningful information derived from this data directly influence its obstacle avoidance performance. Deep learning-based semantic segmentation architectures hold significant potential for obstacle avoidance and navigation. However, studies in this area are still not sufficiently comprehensive, and the visual data used, especially due to the lack of geometric information, yields limited results.
This thesis aims to improve the performance of semantic segmentation architectures by utilizing not only image data (RGB) but also geometric features such as horizontal disparity, height above ground, and angle (HHA). This approach aims to model the geometric properties of the scene more accurately, thereby improving both the accuracy of semantic segmentation and the quality of the robot's obstacle avoidance path.
To utilize the 6-channel RGB+HHA data type, advanced semantic segmentation architectures have been adapted. Additionally, a local path planning approach for ensuring obstacle avoidance in robots is developed by combining global path planning techniques such as the A* algorithm with the Generalized Voronoi Diagram (GVD) to generate the most efficient local path. Tests conducted using RGB, RGB+Depth (RGB+D), and RGB+HHA data types, obtained from the NYU Depth V2, SUN RGB-D, and Corridor datasets, have been evaluated based on semantic segmentation accuracy (ACC), local path plan quality, and the time required to segment a scene. Experimental results show that the RGB+HHA data type improves semantic segmentation accuracy by at least 1% compared to other data types and provides a 3% improvement in the mean of the Intersection over Union measure (MIoU).