YOLO ile engelli bireylerin kullandığı yardımcı gereçlerin tespiti
Detection of assistive devices used by disabled individuals with YOLO
Yazar: BAHADIR YILDIRIM
Danışman: DOÇ. DR. HASAN SERHAN YAVUZ
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Günümüzde fiziksel engele sahip olan ve olmayan kişiler arasındaki farkı en aza 
indirmek için kamu kurumları veya özel kuruluşlar çalışmalar gerçekleştirmektedir. Görme 
engelli bireylerin, kaldırımı takip edebilmesi için kaldırıma hissedilebilir zemin döşenmesi 
veya tekerlekli sandalye kullananlar için kaldırım başlangıç ve bitişlerinde bulunan az eğimli 
rampaların bulunması gibi çalışmalar örnek verilebilir. Gelişen teknolojiyle birlikte yakın 
gelecekte engelli bireylere eşlik eden robotlar veya başka formlarda akıllı elektronik uyarı 
ve yönlendirme sistemleri günlük hayatta engelli bireylerin sosyal hayat içinde karşılaştıkları 
zorlukların üstesinden gelmek üzere yön gösterici olabilir. Bu gibi sistemler, öncelikle 
engelli bireyleri diğer bireylerden ayırt edebilmelidir. Bu çalışma, görsel kamerayla elde 
edilen görüntülerde engelli birey olup olmadığının tespit edilmesi problemine 
odaklanmaktadır. Görsel nesne sezimi, derin öğrenme ile oluşturulan nesne tespit 
modellerinin başarısıyla beraber, son yıllarda birçok farklı alanda uygulama bulmaktadır. Bu 
tez kapsamında hareket kısıtına sahip bireylerin tespit edilebilmesi için derin öğrenme 
tabanlı nesne tespit yöntemleri olan YOLOv7 ve YOLOv8 ile çalışmalar gerçekleştirilmiştir. 
Nesne tespit yöntemlerinin probleme uygun şekilde tespit işlemi gerçekleştirebilmesi için 
problem kapsamında 14965 imgeden oluşan Helper veri kümesi oluşturulmuştur. Veri 
kümesi, hareket kısıtına sahip bireylerin hareket etmek için kullandıkları araçları ve modelin 
pratik başarımının kararlı olması amacıyla eklenen günlük hayatta sıkça rastlanan nesneleri 
içermektedir. Bu nesneler; koltuk değneği, tekerlekli sandalye, bisiklet, baston ve yürüteç 
olmak üzere toplamda 5 sınıftan oluşmaktadır. Helper veri kümesi üzerinde 5-kat çapraz 
doğrulama yöntemi ile yapılan testlerde, YOLOv7-Tiny için %97,42, YOLOv8n için %97,3 
ortalama mAP50 değerleri elde edilmiştir. Bu sonuçlar, YOLO nesne sezimi yöntemlerinin, 
engelli bireylerin kullandığı bazı temel gereçlerin tespiti üzerine yapılabilecek gerçek 
uygulamalarda kullanılabilir olduğu izlenimi oluşturmaktadır.

Abstract:
In order to minimize the disparity between individuals with and without physical 
disabilities, public institutions and private organizations carry out various initiatives. These 
efforts include installing tactile paving on sidewalks to assist visually impaired citizens in 
navigating the path and incorporating gently sloping ramps at the beginning and end of 
sidewalks to accommodate wheelchair users. With advancing technology, in the near future, 
robots accompanying disabled individuals or other forms of intelligent electronic warning 
and guidance systems can serve as navigational aids to overcome the challenges encountered 
by disabled individuals in their daily lives. Such systems should primarily be able to 
differentiate disabled individuals from others. This study focuses on the problem of detecting 
whether a person is disabled or not, based on visual images captured through a camera. 
Visual object detection, combined with the success of object detection models generated 
through deep learning, has found application in various fields in recent years. Within the 
scope of this thesis, works were conducted using deep learning-based object detection 
methods, namely YOLOv7 and YOLOv8, to detect individuals that have mobility aids. To 
ensure effective detection for the given problem, we created a Helper dataset consisting of 
14965 images. This dataset includes the tools used by individuals with mobility restrictions 
for movement, as well as commonly encountered objects in daily life to ensure the practical 
performance of the model. The objects in the dataset comprise 5 classes: crutch, wheelchair, 
bike, walking stick, and walking frame. We utilized 5-fold cross validation to test the 
performance of the methods and obtained 97.42% average mAP50 value for YOLOv7-Tiny 
and %97.30 average mAP50 value for YOLOv8n. These results show that YOLO object 
detection methods can be used in real applications to detect some basic equipment used by 
disabled individuals.