RGB-Dalgılayıcılar kullanılarak eş zamanlı konum belirleme ve haritalama
Simultaneous localization and mapping using RGB-D sensors
Yazar: OĞUZHAN GÜÇLÜ
Danışman: DOÇ. DR. AHMET BURAK CAN
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Otonom mobil bir robotun bilinmeyen bir ortamda görevini yerine getirebilmesi için, aynı anda hem ortamın haritasını oluşturması hem de harita üzerindeki anlık konumunu belirlemesi gereklidir. Literatürde Eş Zamanlı Konum Belirleme ve Haritalama (Simultaneous Localization and Mapping, SLAM) olarak adlandırılan bu problem, robotik alanındaki en temel araştırma alanlarından birisidir. 
SLAM bağlamında, robotun ortamda gezinirken yapmış olduğu hareketlerin hesaplanması (odometri tahmini) ve ortamda daha önce bulunmuş olduğu bir alandan tekrar geçmekte olduğunun anlaşılması (döngü kapama tespiti) yetenekleri sistemin temelini oluşturur. Ortamın tutarlı bir haritasının oluşturulabilmesi için, robot hareketlerinin mümkün olduğunca düşük hata ile tahmin edilmesi ve döngü kapamaların başarılı şekilde tespit edilmesi gereklidir. Haritalanan ortam genişledikçe, bu iki temel işlevin etkili şekilde gerçekleştirilmesi daha da zorlaşmaktadır.
Bu tez kapsamında, RGB-D algılayıcıdan elde edilen renk ve derinlik çerçevelerinin birlikte kullanımıyla kapalı ortamların 3 boyutlu haritalarının oluşturulması için çeşitli çalışmalar gerçekleştirilmiştir. İlk aşamada, bir analiz çalışması ile hareket tahmininin başarılı şekilde gerçekleştirilebilmesi için kullanılacak nitelik bulucu ve nitelik tanımlayıcı ikilisinin seçimi gerçekleştirilmiştir. Sonrasında, özellikle geniş ölçekli ortamlarda döngü kapamaların etkin şekilde tespit edilebilmesi için, genel ve yerel görüntü niteliklerinden faydalanan bir döngü kapama tespiti yöntemi geliştirilmiştir. Daha sonraki çalışmada ise, döngü kapama tespiti yöntemi daha hızlı ve verimli çalışması için genişletilmiştir. Bu amaçla, görüntü çerçevelerindeki yerel niteliklerin daha verimli şekilde kullanımına dayalı bir eşleşme yöntemi sisteme entegre edilmiş ve modele aykırı döngü kapama adaylarının dinamik şekilde elenmesini sağlayan bir mekanizma geliştirilmiştir. Son olarak ise, önceki çalışmalardan elde edilen birikimle, kapalı ortamların 3 boyutlu haritasını gerçek zamanlı çıkarabilen bir RGB-D SLAM sistemi geliştirilmiştir. Nitelik tabanlı hareket tahmini yapan bu sistem, genel görüntü niteliklerinin yaklaşık en yakın komşu aramasına imkân sağlayan bir ağaç yapısında indekslenmesi yoluyla döngü kapamaları tespit etmektedir.
Geliştirilen yöntemlere dair sonuçlar, bu alanda yaygın olarak kullanılan veri kümeleri üzerinde gerçekleştirilen kapsamlı deneyler neticesinde, literatürde standart haline gelmiş hata metriği kullanılarak analiz edilmiştir. İlk aşamalarda geliştirilen döngü kapama tespiti yöntemi, entegre edildiği RGB-D SLAM sisteminin başarımını önemli oranda arttırmış ve geniş ortamlarda çalışabilecek düzeye gelmesini sağlamıştır. Son aşamada geliştirilen SLAM sistemi ise, CPU üzerinde gerçek zamanlı olarak hem küçük hem de geniş ortamların haritalamasını etkin şekilde yapabilmekte ve diğer gelişmiş RGB-D tabanlı haritalama sistemlerinin çoğunluğunu performans açısından geride bırakmaktadır.

Abstract:
In order to fulfill its mission in an unknown environment, an autonomous mobile robot needs to create map of the environment and locate itself instantly on the map at the same time. This problem, called Simultaneous Localization and Mapping (SLAM) in the literature, is one of the most fundamental research areas in the field of robotics.
In the context of SLAM, the abilities of computing the motions made by the robot while navigating in the environment (odometry estimation) and realizing that it is passing through an area again where it has previously visited (loop closure detection) form the basis of the system. In order to build a consistent map of the environment, the robot motions should be estimated with as low error as possible and loop closures should be detected successfully. As the mapping environment expands, performing these two basic functions effectively becomes even more difficult.
Within the scope of this thesis, various studies have been carried out to construct 3D maps of indoor environments by using color and depth frames together obtained from an RGB-D sensor. In the first phase, the feature detector and feature descriptor pair that will be used for performing the motion estimation successfully has been chosen with an analysis study. After that, a loop closure detection method that exploits global and local image features has been developed to detect loop closures effectively, especially in large-scale environments. In the next study, the loop closure detection method has been extended to work faster and more efficiently. For this purpose, a matching method based on using local features in the image frames more efficiently has been integrated into the system and a mechanism that enables outlier loop closure candidates to be eliminated dynamically has been developed. Finally, an RGB-D SLAM system that is able to construct 3D maps of indoor environments in real time has been developed with the experience gained from previous studies. This system, which performs feature based motion estimation, detects loop closures through indexing global image features in a tree structure that enables approximate nearest neighbor search.
In consequence of extensive experiments carried out on widely used data sets in this area, the results regarding the developed methods have been analyzed using the error metric which has become standard in the literature, The loop closure detection method developed in the first phases has increased the performance of the RGB-D SLAM system that it was integrated considerably and made it capable of working in large environments. The SLAM system developed in the last stage can effectively map both small and large environments in real time on the CPU and outperforms most of the advanced RGB-D based mapping systems in performance.