Derin evrişimsel sinir ağlarını kullanılarak araç, insan ve trafik işaretlerinin tanınması
Recognition of vehicle, human and traffic signs using deep convolutional neural networks
Yazar: GÜLYETER ÖZTÜRK
Danışman: PROF. DR. RAŞİT KÖKER
Sakarya Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Mekatronik Mühendisliği = Mechatronics Engineering

Özet:
Günümüzde robotik dünyasının ve otomasyonun bugünü ve geleceği olan otonom arabalar ile gelişmiş sürücü destek sistemleri (ADAS), sürüş ortamı bilgisi yoluyla sürücülere fayda sağlayabilecek en temsili teknolojidir. Özellikle bilgisayar teknolojilerindeki gelişmeler ve sektörde yer edinme ile giderek daha fazla araçta standart hale gelen ileri çarpışma uyarı sistemi, gece görüş sistemi, şeritten ayrılma uyarı sistemi ve trafik işareti izleme sistemi seçenekleriyle ADAS; yoldaki nesneleri çeşitli koşullarda tanır ve çevresindeki durumu sürücülere bildirir. Öte yandan otonom araba, bütün sistemlerden gelen bilgileri bütünleştirir ve sürüşü kendi başına kontrol eder. Bu otonom arabaların temel unsurlarından bazıları; çevreyi, engelleri, yayaları, trafik işaretlerini ve diğer araçları algılamaktır.
Geleneksel görüntü işleme teknikleri kullanılarak yapılan birçok etkili yaya tanıma, trafik işareti tanıma ve şerit tanıma yöntemleri uzun zamandır kullanılmaktadır. Bu tez çalışması kapsamında; görüntü işleme, konuşma tanıma, doğal dil işleme, sinyal işleme gibi makine öğrenmesi konularındaki problemlerin çözümünde son yıllarda büyük doğruluk oranı ve hız ile kendinden çokça söz ettiren derin öğrenme kullanılarak otonom arabanın bir parçası olan çevredeki nesneleri ve şeritleri otomatik algılama uygulaması yapılmıştır. Araçtan çekilen video görüntülerinden şeritler ve nesneler tespit edilmektedir. Geliştirilen yöntemde çeşitli ortamlarda, farklı görüş açılarında ve boyutlarda olan işaretler ve nesneler tanınabilmektedir.
Bu tez çalışmasında görüntü işleme yöntemleriyle şerit algılama gerçekleştirilmiş ve insan, araba, bisiklet ile 7 trafik işaretinden oluşan 10 nesneye ait 517 görüntü, derin öğrenmenin temel mimarisi kabul edilen derin evrişimsel sinir ağları modellerinden SSD Inception V2, Faster R-CNN Inception V2, Faster R-CNN Resnet 50 ve Faster R-CNN Resnet 101 kullanılarak nesne algılama analizi gerçekleştirilmiştir. COCO veri seti üzerinden önceden eğitilmiş olan bu modeller transfer öğrenimi yöntemi ile bir kısmı GRAZ-01 ve GRAZ-02 veri setlerinden elde edilen bir kısmı da cep telefonu kamerası kullanılarak elde edilip oluşturulan yeni veri seti üzerinde tekrardan eğitilerek değerlendirilmiş ve karşılaştırma yapılmıştır. Performans analizleri sonucunda, Faster R-CNN Resnet 101 modelinin hem görüntü hem de video üzerinde nesne algılama çalışmalarında %85.1 doğruluk oranıyla başarılı olduğu gözlemlenmiştir.

Abstract:
Nowadays, with the development of autonomous cars, Advanced Driver Assistance Systems (ADAS) are the most commun used systems for now and future in robotic world. In the same time, ADAS are the most representative technology that can benefit the driver through existences of the driving environment. ADAS, which have forward collusion warning system, night vision system, lane departure warning system and traffic sign tracking system options and which is becoming more and more standard in the vehicles with the developments in computer technologies and gaining place in the sector, recognizes objects on the road under various conditions and informs drivers about surrounding situation. On the other hand, the autonomous vehicle integrates information from all systems and controls driving on its own. Some of the basic features of these autonomous cars; to detect the environment, obstacles, pedestrians, traffic signs and other vehicles. Many effective pedestrian recognition, traffic sign recognition or lane recognition methods using traditional image processing techniques have long been used.
With the scope of this thesis, automatic detection system of surrounding objects and lanes, which are part of the autonomous car, was developed as using deep learning which has been mentioned with great accuracy and speed in recent years to solve machine learning problems such as image processing, natural language processing, signal processing and speech recognition. With this system, strips and objects are detected from the video image taken from the vehicle. In the developed method, signs and objects in various environments, different viewing angles and dimensions can be recognized.
In this thesis, 517 images of 10 objects consisting of people, cars, bicycles and 7 traffic signs have been recognized by using image processing methods and by using SSD Inception V2, Faster R-CNN Inception V2, Faster R-CNN Resnet 50 and Faster R-CNN Resnet 101 models which are known as basis of deep learning, object detection analysis was performed. These models, which were pre-trained on COCO data set, were obtained by using transfer learning method, some of them were obtained from GRAZ-01 and GRAZ-02 data sets and some of them were obtained by using mobile phone camera and re-trained on the new data set and evaluated and compared. As a result of speed and accuracy performance analyzes, Faster R-CNN Resnet 101 model was found to be successful in object detection on both photographs and video with 85.1% accuracy.