Görme engellilerin navigasyon sistemlerini desteklemek için nesne haritası oluşturmada yeni bir yaklaşım
New method for object mapping to support navigation systems for visually impaired people
Yazar: YILDIRAY YILMAZ
Danışman: DR. ÖĞR. ÜYESİ ERDAL GÜVENOĞLU
Maltepe Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Engelli kişiler = Disabled persons ; Görme engelliler = Visually impaired ; Navigasyon = Navigation ; Otomatik haritalandırma = Automatic navigation

Özet:
2017 yılında Dünya Sağlık Örgütü (DSÖ) tarafından gerçekleştirilen araştırmaya göre dünya genelinde 253 milyon insan görme engelli olarak sınıflandırılmaktadır. 217 milyon kişinin ağır görme bozukluğu ve 36 milyon kişinin ise körlük problemi bulunmaktadır. Görme engelli navigasyon sistemleri (duyusal ikame araçları) bireylerin bağımsızlıklarını arttırmak ve sosyal hayata erişimlerini kolaylaştırmak için onların mobilizasyonunu sağlamayı hedeflemektedir. Görme engelli bireyler açısından gezinti sırasında güvenli bir şekilde hareketliliğinin sağlanabilmesi, onların bağımsız yaşamalarının önemli bir bileşenini oluşturmaktadır. Bilgisayarlı görme alanındaki gelişmeler sayesinde görme engelli bireylerin ihtiyaçları her geçen gün daha fazla karşılanabilir hale gelmiştir.
Son on sene içeresinde otonom sürüş alanında büyük ilerlemeler kaydedilmiştir. Buna karşın görme engelli bireylerin otonom navigasyonunu amaçlayan çalışmalar otonom sürüş alanındaki çalışmalarla kıyaslandığında nispeten daha az sayıda yapılmaktadır ve çözümlenememiş birçok problem bulunmaktadır. Bu tez çalışması kapsamında geliştirdiğimiz görme engelli navigasyon sistemi prototipi sayesinde otonom sürüş alanında aktif olarak kullanılan dörtgen süper piksel (stixel) temsilinin çeşitli modifikasyonlar ile görme engelli bireylerin navigasyonu için başarılı bir şekilde uygulanabildiğini göstermekteyiz. 
Bu tez çalışmasında geliştirilen prototip, engel tespit ve akustik geri bildirim olmak üzere iki alt modülden meydana gelmektedir. Engel tespit modülünde dörtgen süper piksel ayrıştırmasını ve uv-disparity analizini baz alan ve gerçek zamanlı çalışan yeni bir engel tespit yöntemi önerilmiştir. Önerdiğimiz yöntem, görüntülerdeki engellerin boyutu ve konumu hakkında herhangi bir ön bilgiye ihtiyaç duymamaktadır. Akustik geri bildirim modülünde ise engel tespit modülünde tespit edilen engeller, sesli geri bildirim yoluyla görme engelli kullanıcıya iletilmektedir. Bunu sağlayabilmek için tespit edilen engelleri çeşitli özelliklerine göre ses dalgalarına çeviren bir seslendirme şeması önerilmiştir.
Geliştirdiğimiz prototip donanım seviyesinde stereo kameraya sahip mobil telefon veya tabletler gibi yaygın kullanılan elektronik cihazlara ve basit bir stereo kulaklığa ihtiyaç duymaktadır. Bu nedenle geliştirildiğimiz prototip kolay giyilebilirdir, vücudu işgal etmez ve düşük maliyetlidir. Ayrıca önerdiğimiz engel tespit algoritması modüler ve entegre edilebilir bir yapıda olduğu için başka görme engelli navigasyon sistemlerine de entegre edilebilir veya bu sistemleri destekleyici ek bir yazılım olarak da kullanılabilir.

Abstract:
According to WHO (World Health Organization) statistics, published in 2017, more than 253 million people worldwide suffer from various visual impairment problems, with 36 million blinds and 217 million people with low vision. Navigation systems for visually impaired people (sensory substitution devices) aim to mobilize individuals to increase their independence and facilitate their access to social life. Providing secure mobilization of visually impaired people is one of the significant components of their independent living. Thanks to advances in the field of computer vision, it is possible to meet the richer needs of visually impaired people. 
Over the last decade, significant progress has been made in the field of autonomous driving. On the other hand, studies dedicated to autonomous navigation of visually impaired individuals are relatively few compared to studies in autonomous driving. There are still too many unresolved problems in the domain of visually impaired navigation. In this research, we develop a prototype that shows that the Stixel approach, an actively used technique in autonomous driving, can be successfully applied with various modifications to the navigation systems of visually impaired individuals. 
The prototype developed in this research consists of two submodules: obstacle detection and acoustic feedback. A new real-time obstacle detection method is proposed in the obstacle detection module. The proposed method is based on stixel representation and uv-disparity analysis. The method requires no prior information about the size or location of obstacles. The obstacles detected in the obstacle detection module are transmitted to the visually impaired user via audio feedback in the acoustic feedback module.  The sonification scheme has been proposed that converts the detected obstacles into sound waves according to their various properties.
At the hardware level, our prototype only needs a mobile device (equipped with a stereo camera) and a stereo headset. Therefore, our prototype is easy to wear, non-invasive and low-cost. In addition, since the proposed obstacle detection algorithm is modular and integrable, it can be integrated into other navigation systems dedicated to visually impaired people or can be used as additional software to support these kinds of systems.