Tek kamera ve Lidar verisi ile konum kestirimi
Localization using single camera and Lidar
Yazar: HAZAL LEZKİ
Danışman: DOÇ. DR. İMAM ŞAMİL YETİK
TOBB Ekonomi ve Teknoloji Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Navigasyon çözümlerinin temel bileşenlerinden biri olan konum kestirimi problemi,günümüzde  çoğunlukla  küresel  konumlama  sistemi  (KKS)  ile  diğer  kaynaklardan elde edilen verilerin (ataletsel ölçüm birimi, sayısal arazi yükseklik verisi haritaları, barometrik basınç sensörü, tekerlek kilometre sayacı vb.) bir arada kullanılmasıyla çözülmektedir.  KKS  sinyallerinin  kullanılamadığı  ortamlarda  ise  konum  kestirimi problemi literatürdeki açık problemler arasında yerini korumaya devam etmektedir. ̇Insanlı veya insansız, otonom veya değil farketmeksizin, herhangi bir aracın/robotun KKS sinyallerini kullanamadığı durumlarda da seyrüsefer görevini yerine getirebilmesi için, doğru ve yüksek hassasiyetli konum kestirimi yapabilmesi gerekmektedir. Altı serbestlik  dereceli  konum  kestirimi  için  kullanılan  çeşitli  yöntemler  ile  algılayıcı donanımlar detaylı incelendiğinde herbirinin çeşitli avantajlarının ve dezavantajlarının bulunduğu anlaşılmaktadır. Farklı kaynaklardan elde edilen verilerin birarada kullanıldığı yöntemlerin, altı serbestlik dereceli konum kestirimi probleminin çözümünde daha iyi sonuçlar verdiği görülmektedir. Bu tez çalışmasında, tek bir kamera ve lidar sensörü kullanılarak, KKS sinyallerinin kullanılamadığı  ortamlarda  altı  serbestlik  dereceli  konum  bilgisinin  kestirilmesi problemi ele alınmıştır. Tek bir kameradan alınan verilerin işlenmesi ile elde edilen konum  bilgisinin,  kestirilemeyen  bir  ölçek  dahilinde  doğru  olduğu bilinmektedir.
Doğru metrik ölçülerle konum bilgisini kestirebilmek için bu ölçek bilgisinin çeşitli yöntemlerle hesaplanması gerekmektedir. Bu tezde, kameradan alınan resim kareleri üzerindeki piksellerle, Lidar sensöründen elde edilen metrik veriler kullanılarak altı serbestlik dereceli konum bilgisi mutlak ölçekler dahilinde hesaplanmıştır. Önerilen algoritmanın testleri KITTI odometri veri kümesi üzerinde yapılmıştır. KITTI odometri veri  kümesi;  hareketli  bir  otomobilin  üzerine  yerleştirilmiş olan  stereo  kameralar, Lidar, ataletsel ölçüm birimi (AÖB) ve Küresel Konumlama Sistemi'nden elde edilen verilerle oluşturulmuştur. KITTI odometri veri kümesi içerisinde yer alan tek bir renkli kamera verisi ile Lidar sensörü verileri bu tezin konusu olan algoritmanın testleri için kullanılmıştır. KKS ve AÖB'den elde edilen veriler ise önerilen Görsel-Lidar Odometri algoritmasının  başarısını  kıyaslamak  üzere  referans  olarak  kullanılmıştır.  KITTI odometri veri kümesi kullanılarak elde edilen test sonuçları, tek bir kamera verisi ile Lidar taramaları kullanılarak geliştirilen Görsel-Lidar Odometri yönteminin, maliyetli optimizasyon yöntemlerine ihtiyaç duyulmadan tutarlı konum bilgisi üretebildiğini göstermiştir.

Abstract:
The location estimation problem, which is one of the basic elements of the navigation solutions, is mostly solved by using the global positioning system (GPS) and the data obtained from other sources (inertial measurement unit, digital terrain elevation datamaps, barometric pressure sensor, wheel odometer etc.). In GPS-denied environments,the position estimation problem is still an open problem in the literature. Any vehicle/robot(whether manned or unmanned, autonomous or not) must be able to perform accurate and high-precision location estimation in order to perform its navigation task even in GPS-denied environments. When the various methods used for the six degrees-of-freedom location estimation and the sensory equipment are examined in detail, it is understood that each has various advantages and disadvantages. It is obvious that the methods which use the data obtained from different sources together give better results in the solution of six degrees of freedom location estimation problem.In this thesis, six degrees-of-freedom (6-DOF) position estimation problem in GPS-denied environments is examined by using a single camera and lidar sensor. It is known that the position information which is obtained from a single camera is accurate up to an unknown scale factor. In order to estimate location of a vehicle with accurate metric measurements, this unknown scale information should be calculated by various methods. In this study, six degrees of freedom position information is calculated within the absolute scales by using the metric data obtained from the Lidar sensor with the pixels on the picture frames taken from the camera. Tests of the proposed algorithm were performed on the KITTI odometry dataset. KITTI odometry dataset were created with data taken from stereo cameras, Lidar, inertial measurement unit and GPS receivers which are placed on a moving car. A single color camera frames and Lidar sensor data in the KITTI odometry dataset were used to test the proposed algorithm in this thesis. Data from GPS and inertial measurement unit (IMU) were used as a reference to compare the success of the proposed Visual-Lidar Odometry algorithm. The test results obtained using the KITTI odometry dataset showed that the Visual-Lidar Odometry method, developed using a single camera data and Lidar scans, can produce consistent location information without the need for costly optimization methods.