Kamera görüntülerinde makine öğrenmesi algoritmaları ile yaya tespiti
Pedestrian detection in camera images with machine learning algorithms
Yazar: MOHAMED NEMA LIMAME
Danışman: DR. ÖĞR. ÜYESİ İLYAS ÖZER
Bandırma Onyedi Eylül Üniversitesi / Fen Bilimleri Enstitüsü / Akıllı Ulaşım Sistemleri ve Teknolojileri Ana Bilim Dalı / Akıllı Ulaşım Sistemleri ve Teknolojileri Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Ulaşım = Transportation
Dizin: Bilgisayarlı görüntüleme = Computer imaging ; Derin öğrenme = Deep learning ; Evrişimli sinir ağları = Convolutional neural networks ; Nesne tespiti = Object detection ; Yaya takip sistemleri = Pedestrian tracking systems

Özet:
Son yıllarda otomotiv sektöründe otonom otomobiller büyük önem kazanmaktadır. Birçok otomotiv şirketi, arabalarına otonom teknolojiler uygulamaktadır. Özellikle akıllı şehirler açısından otonom arabalar günlük hayatımızın önemli bir parçası olacaktır. Daha iyi trafik koşulları sunabilirler. İstatistiklere göre trafik kazalarının ana nedenlerinden biri esas olarak insan hatalarından kaynaklanmaktadır. İnsan faktörü riskini azaltmak için, ADAS (Advanced Driver Assistance Systems - Gelişmiş Sürücü Yardım Sistemi) gibi birçok otonom teknoloji araçlarda uygulanmaktadır. Otonom araçların gelişmesiyle birlikte, büyük oranda insan hatalarından kaynaklanan kazaların sayısının azalacağına inanılıyor. Trafikte güvenlik açısından yayalar en önemli ve hassas unsurlardan biridir, bu nedenle trafikte yaya güvenliğinin sağlanması çok önemlidir.

Yaya tespiti her zaman sıcak bir araştırma konusu ve bilgisayar görüşü alanında çözülmesi gereken karmaşık bir sorun olmuştur. İnsansız sürüş, trafik izleme, akıllı şehirler gibi çeşitli alanlarda kullanılabilir. Ancak yaya algılama tekniklerindeki son gelişmeler, eski algoritmaların pratik uygulamalar için doğru ve hızlı algılamayı sağlayamadığını ve hala mükemmel olmadığını göstermektedir. Bu sorunu ele almak için, geliştirilmiş YOLOv3 algoritmasına dayalı bir yaya tespiti yaklaşımı önerilmiştir ve YOLO v3 şu anda tasarım için kullanılan ve derin öğrenmenin en gelişmiş nesne algılama yöntemlerinden biridir. Ek olarak, gerçek zamanlı nesne dedektörünün yeni mimarisini ve YOLO ailesindeki en gelişmiş nesne dedektörü olan YOLOv7 olan ilgili model ölçeklendirme yöntemini öneriyoruz. YOLOv7 makalesine göre [1], bugüne kadar en hızlı ve en hassas gerçek zamanlı nesne dedektörüdür. Derin sinir ağı mimarisinin optimizasyonları, yaya algılama görevinde yüksek doğruluk ve kısa işlem süresi elde etmek için gerçekleştirilir. Diğer gerçek zamanlı nesne dedektörleri ile karşılaştırıldığında, önerilen yöntemlerimiz en gelişmiş performansı elde etmektedir.

CityPerson veri seti üzerinde gerçekleştirilen deneylerin sonuçlarına göre, önerilen modeller, gerçek zamanlı performans elde ederken daha yüksek bir tespit doğruluğuna sahiptir. Önerilen yaya algılama modelleri, ADAS'ın bir fonksiyonu olarak insanlı araçlarda kullanılabilir. Aracın sürüş yönünde yayalar tespit edildiğinde, sesli uyarı gibi uygun bir uyarı mekanizması ile araç sürücüsüne bilgi verilecektir. Bu süreçte yaya algılama sonucu ile araç dinamik bilgisi (hız ve sürüş yönü) birlikte ele alınarak yayaların risk düzeyinin değerlendirilmesi gerekir, o zaman sadece tehlikeli yayalar uyarı mekanizmasını tetikleyecektir. Önerilen yaya algılama teknolojisi, sürücüsüz arabalara da uygulanabilir. Sürücüyü uyarmadan, yaya algılama sonucu, otonom sürüş sistemi tarafından aracı kontrol etmek için doğrudan kullanılacaktır.

Anahtar Kelimeler: Yaya Tespiti, YOLOv3, YOLOv7, Nesne Tespiti, Evrişimsel Ainir Ağları, Derin Öğrenme, Bilgisayar Görüşü.

Abstract:
During the last years, autonomous cars are gaining big importance in the automotive sector. Many automotive companies are implementing autonomous technologies on their cars. Especially, in terms of smart cities, autonomous cars will be one of the main parts of our daily lives. They may be able to provide better traffic conditions. According to the statistics, one of the main reasons for traffic accidents is caused mainly by human mistakes. To reduce the risk of the human factor, many of the autonomous technologies are being implemented on the vehicles, such as ADAS (Advanced Driver Assistance Systems). With the development of autonomous cars, it is believed that the number of accidents, which were mostly caused by human mistakes, will be reduced. Regarding the security in traffic, pedestrians are one of the most important and sensitive factors, that's why it is very important to ensure pedestrian safety in traffic. 

Pedestrian detection has always been a hot research issue and a complex problem to solve in computer vision. It can be used in various fields, such as unmanned driving, traffic monitoring, and smart cities. However, recent developments in pedestrian detection techniques shows that former algorithms cannot satisfy accurate and speedy detection for practical applications and still not perfect. To address this issue, a pedestrian detection approach based on the improved YOLOv3 algorithm is proposed, and YOLO v3  is currently one of the state-of-the-art (SOTA) object detection methods of deep learning, used to design and evaluate the software system. In addition, we propose the new architecture of realtime object detector and the corresponding model scaling method wich is YOLOv7, the new state-of-the-art object detector in the YOLO family. According to the YOLOv7 paper [1], it is the fastest and most accurate real-time object detector to date. The optimizations of the architecture of the deep neural network are performed to achieve high accuracy and short processing time in the pedestrian detection task. Comparison with other real-time object detectors, our proposed methods achieve state-of-the-arts performance.

 From the experimental results on CityPerson dataset, the proposed methods have higher detection accuracy under the premise of satisfying real-time performance. The proposed pedestrian detection systems can be used in the human-driving cars as a function of ADAS. When pedestrians are detected in the driving direction of the vehicle, the vehicle driver will be informed with an appropriate warning mechanism, such as audio. In this process, the pedestrian detection result, and the vehicle dynamic information (speed and driving direction) should be considered together to assess the risk level of pedestrians, then only the dangerous pedestrians will trigger the warning mechanism. The proposed pedestrian detection system can also be used in autonomous vehicles. Without warning the driver, the pedestrian detection result will directly be used for controlling the vehicle by the autonomous driving system.

Keywords: Pedestrian Detection, YOLOv3, YOLOv7, Object Detection, Convolutional neural network, Deep Learning, Computer Vision.