Stereo görme ile hareketli görüntülerde engellerin uzaklık ve boyutlarının gerçek zamanlı bulunması
Real-time distance and dimension estimation of the obstacles using active stereo camera
Yazar: EMRE ÖZGÜNDÜZ
Danışman: YRD. DOÇ. DR. M. ELİF KARSLIGİL
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2008
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Engel sakınma = Obstacle avoidance ; Stereoskopik görüntüleme = Stereoscopic imaging

Özet:
Engel tesbiti ve engel aşma konularındaki çalışmalar, başta askeri uygulamalar olmak üzere, sınır muhafaza, itfaiye, polis ve sivil savunma konularında faaliyet gösteren robot uygulamalarının; insan yaşamına elverişli olmayan ortamlarda (radyasyonlu ortam, su altı, uzay, vb.) uzaktan kontrollü olarak çalışan operasyonel uygulamaların; şüpheli şahısların teşhisi, trafik kontrolü ve düzenlenmesi, insansız gözetim, insansız araç navigasyonu, depo yönetimi gibi sistemlerin en önemli araştırma alanlarından biridir.Bu projede, iki kamera ile alınan hareketli görüntüleri değerlendirerek, otonom araçlara ya da mobil robotlara engel tanıma ve engel aşma özelliklerini kazandırmayı hedefleyen gerçek zamanlı bir sistem geliştirilmiştir.Geliştirilen sistem iki temel aşamadan oluşmaktadır. İlk aşama sistemin gerçek zamanlı adımları uygulanmadan önce ihtiyaç duyulan kamera kalibrasyonu adımlarından oluşur. Kamera kalibrasyonu sonucu iki kameranın iç ve dış parametreleri elde edilir. Eğer görüntü alımı yapacak kameralar paralel olacak ve optik eksenlerde dönme olmayacak şekilde konumlandırılmışsa, kamera kalibrasyonu aşaması uygulanmadan doğrudan ikinci aşamaya geçilir. İkinci aşama sistemin gerçek zamanlı adımlarından oluşur. Bu aşamada öncelikle iki adet 90 derece görme açısına sahip, renkli video kamera ile eş zamanlı olarak görüntü alımı yapılır. Alınan görüntüler, önceden kamera kalibasyonu yapılmışssa, kalibrasyon parametreleri kullanılarak düzeltilir. Böylece görüntülerdeki eş piksellerin aynı y koordinatlarında olması sağlanır. Bu adım, kameraların paralel olmaması durumunda uygulanır. Eğer görüntü alımı, paralel olarak konumlandırılmış kameralardan yapılmışsa elde edilen görüntülerin düzgün olduğu kabul edilir ve stereo eşleme adımına geçilir. Stereo eşleme adımında, sağ ve sol kameradan elde edilmiş eş zamanlı görüntülerin, Birchfield dinamik programlama yöntemi ile işlenmesi sonucu stereo uzaklık haritası elde edilir. Ardından stereo uzaklık haritası üzerinden arka arkaya gelen ve aynı fark değerine sahip olan aralıkların bulunmasıyla engeller tespit edilir. Son olarak engel olarak tespit edilen bölgedeki fark değeri ile kameraların geometrik yerleşiminden yararlanılarak engelin kameralara olan uzaklığı ve gerçek dünyadaki boyutları bulunur.Platformun durağan değil hareketli olması, hareketi esnasında sistemin çalışacağı ortamın sürekli değişmesi, dolayısıyla ortamdaki engellerin daha önceden belirlenmiş sabit nesneler olmaması, stereo görme özelliği kullanılarak görüntünün üç boyutlu değerlendirilmesi ve tüm bu işlemlerin gerçek zamanlı yapılması geliştirilen sistemde göz önünde bulundurulan karmaşıklık düzeyi yüksek problemlerdir.Geliştirilen sistem, üç farklı gerçek zamanlı uygulama ile test edilmiştir. İlk uygulamada kameraların monte edildiği platform sabit, ortamdaki nesneler hareketlidir. İkinci uygulamada kameraların monte edildiği platform hareketli, ortamdaki nesneler sabittir. Üçüncü ve son uygulamada ise hem kamera platformu hem de ortamdaki nesneler hareketlidir. Doğru ve güvenilir stereo uzaklık haritası elde etmenin, tüm uygulamalardaki engel tespiti ve engellerin kameraya olan uzaklığının bulunması aşamalarının başarıyla sonuçlanmasını sağlayan en önemli faktör olduğu görülmüştür. Düzgün bir stereo uzaklık haritası elde edilmesi durumunda, engelin kameraya olan uzaklığı ve boyutları, +10 cm, -10 cm hatayla doğru hesaplanmıştır. Aynı zamanda gerçekleştirilen sistemin gerçek zamanlı bir uygulamanın en büyük gereksinimlerinden biri olan hız konusunda yeterli olduğu görülmüştür. Yapılan testler sonucunda, tüm sistemin başarısını etkileyen başlıca faktörler, ortamın ışık şiddeti, kameraların ışıklandırılma seviyeleri, arka plan deseni, ortamdaki nesnelerin hareket hızı ve ortamdaki nesnelerin kameraya olan mesafesi olarak belirlenmiştir.Anahtar Kelimeler: Stereo, Engel Tesbiti, Engel Aşma, Kameraya Olan Uzaklık

Abstract:
Object detection and obstacle avoidance applications are among the most important research areas of especially military applications, robotic applications utilized for border protection, fire-fighting, police and civil defense; and remote controlled operational robotic applications, where the environment is not suitable for human life (radiation, underwater, space etc.). Research in this area is also beneficial for systems like tracking suspects, monitoring and regulating traffic, surveillance without human, vehicle navigation without human and warehouse management.In this project, a system, which enables autonomous vehicles or mobile robots to detect and avoid obstacles in real-time using two active cameras in dynamic environments, was developed.The system is based on two fundamental parts, namely calibration and real time stages. The first stage is camera calibration steps, which is the initial phase of the system. Intrinsic and extrinsic parameters of the cameras are calculated as a result of the calibration. If the cameras that capture image are to be parallel and positioned so that optical axes would not rotate, calibration step can be skipped. The second part consists of the real time steps. In this part, two cameras having 90 degrees viewing capability used for synchronized capturing. The captured images are rectified if the camera calibration steps were performed. Hence, the same pixels of the images would have the same y coordinates. This step is applied if the cameras are not parallel. If images were captured via parallel cameras, the images are considered as having the same y coordinates for same pixels, and proceeds to stereo matching. The synchronized images, which are captured from right and left cameras, are processed with Burchfield dynamic programming methodology, and disparity map is obtained. From disparity map, the obstacles are detected by finding intervals having same disparity value. Finally, obstacle?s distance and real dimension are calculated using the disparity value of the region that is defined as an obstacle and the cameras geometrical position.The fact that the platform is moving in a changing environment having not preset obstacles makes the problem quite complex for the system. Also, using stereo vision studying on 3D geometry and performing all of these processes in real-time are challenges of the systems.System is tested in three different applications. In the first application, the platform which cameras are entagrated to is stable and the objects in the environment are mobile. In the second application, the platform which cameras are entagrated to is mobile and the objects in the environment are stable. In the third application, both the platform which cameras are entagrated to and the objects in the environment are mobile. Obtaining correct and reliable stereo disparity map is the most important factor in accurate obstacle detection and estimating exact distances of the obstacles to the cameras. In the case of obtaining correct disparity map, the distance between the obstacle and the camera, and the dimensions of the obstacle are estimated correctly with the ±10 cm tolerance. As seen from results the performed system is sufficient in runtime, and that is crucial in a real-time system. In the results of the tests, the major factors that effects the performance of the system are determined as illuminance intensity in the environment, illumination levels of the cameras, background texture, movement velocities of the objects in the environment, and the distances between the obstacles and the cameras.Keywords: Stereo, Object Detection, Obstacle Avoidance, Distances Between The Obstacles and The Cameras.