Nicemlenmiş yerel zernike momentlerle trafik işaretlerinin sınıflandırılması
Traffic sign classification with quantized local zernike moments
Yazar: EMRAH BAŞARAN
Danışman: PROF. DR. MUHİTTİN GÖKMEN
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2013
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Mobil bilgisayarların gelişmesi ve fiyatlarının da makul seviyelere gelmesi ile birlikte, günlük hayatımızda bizlere yardımcı olabilecek bir çok sistem içerisinde bu cihazlar kullanılmaya başlanmıştır. Sürücü Destek Sistemleri (SDS) de bu sistemlerden birisidir. Hem sürüş konforu hem de güvenlik açısından SDS önemli bir sistemdir ve bu sistemler üzerinde yapılan çalışmaların sayısı da son yıllarda bir hayli artmıştır. 
Trafik işaretleri sürücüler ve yayalar için önemli bilgiler taşımaktadırlar ve bu yüzden SDS içerisinde Trafik İşareti Tanıma (TİT) sistemleri önemli bir yere sahiptirler. Birçok çalışmada TİT problemi iki aşamada ele alınmıştır. İlk aşamada, dış ortamdan alınan imgeler üzerinde trafik işaretlerinin yer tespiti yapılmaya çalışılmaktadır. İkinci aşamada ise, tespit edilen trafik işaretlerinin sınıflandırılması yapılmaktadır. Bazı çalışmalarda ise bu iki aşamaya ek olarak iz takibi (tracking) kısmı eklenmiştir. Böylelikle imge içerisindeki işaretlerin yerlerinin tespitinin daha doğru yapılması ve tespit edilen işaretin sınıflandırılmasının birden fazla işaret imgesi kullanılarak yapılması amaçlanmıştır. Bu çalışmada ise TİT sisteminin ikinci aşaması olan trafik işaretlerinin sınıflandırılması üzerinde çalışılmaktadır.
Çalışma içerisinde öznitelik çıkarma yöntemi olarak moment tabanlı bir yöntem olan Zernik momentleri (ZM) ve Yerel Zernike Momentleri (YZM) kullanılmaktadır. ZM' ler parmak izi tanıma ve karakter tanıma problemlerindeki gibi, imge içerisindeki şeklin belirgin olduğu durumlarda başarılı sonuçlar vermektedirler. YZM' ler ise, imge içerisindeki desen bilgisini açığa çıkaran bir yöntemdir. ZM' ler hesaplanırken tüm imge kullanılır ve sonuçta karmaşık sayısal değerler elde edilir. YZM dönüşümünde ise momentlerin hesaplanması her bir gözek etrafında yapılmaktadır ve dönüşüm sonucunda, kullanılan moment derecesine bağlı olarak farklı sayıda karmaşık değerlikli yeni imgeler üretilmektedir.
Bu çalışmanın temel amaçlarından birisi, yüz tanımada başarılı bir şekilde kullanılan YZM yönteminin trafik işaretlerinin sınıflandırılmasında da başarılı bir şekilde kullanılabileceğinin gösterilmesidir. YZM' de kullanılan parametre değerlerine göre, oluşturulan öznitelik vektörlerinin boyları çok büyük olabileceğinden dolayı YZM dönüşümü kullanılarak gerçekleştirilen sınıflandırma işlemleri gerçek zamanlı uygulamalar için elverişli olmayacaktır. Bu problemin üstesinden gelmek için, çalışma içerisinde YZM dönüşümü doğrudan kullanılmayarak Nicemlenmiş Yerel Zernike Momentleri (NYZM) ismi verilen yeni bir yöntem geliştirilmiştir. Bu yöntem içerisinde iki farklı nicemleme işlemi yapılmaktadır. İlk nicemleme işlemi, YZM dönüşümü ile üretilen imgelerin bit düzlemlerine dönüşütürülmesidir. Daha sonra bu bit düzlemleri paketlenerek yeni imgeler elde edilmektedir ve böylelikle öznitelik vektörleri daha az imge kullanılarak oluşturulabilmektedir. NYZM yöntemi içerisindeki ikinci nicemleme işlemi ise filtreler üzerinde yapılmaktadır. Bu nicemleme işleminin amacı hesaplama zamanını en aza indirmek için, YZM dönüşümünde yapılan konvolusyon işlemleri içerisindeki çarpma işlemlerini toplama işlemine dönüştürmektir. Bu işlem, filtrelerin katsayılarının -1, 0 ve 1' den oluşacak şekilde nicemlenmesi ile gerçekleştirilmektedir.
%NYZM öznitelik vektörleri oluşturulurken öncelikle imgeler alt bölgelere ayrılmakta ardından da her bir alt bölge içerisinde gri seviye histogramlar oluşturulmaktadır.
NYZM yöntemi ile oluşturulan öznitelik vektörleri, YZM öznitelik vektörleri kadar yüksek boyutlara ulaşmamaktadır. Fakat kullanılan parametre değerlerine göre NYZM öznitelik vektörlerinin boyutları da gerçek zamanlı uygulamalara pek uygun olmayabilmektedir. Bundan dolayı, NYZM öznitelik vektörleri üzerine farklı şekillerde boyut indirgeme yöntemleri uygulanmaktadır. Öncelikle öznitelik vektörleri içerisindeki değerler gruplara ayrılmakta ve bu grupların ortalamaları ile yeni vektörler oluşturulmaktadır.  Ardından bu yeni vektörler üzerine Temel Bileşenler Analizi ve Doğrusal Ayrışım Analizi yöntemleri art arda uygulanarak sonuç öznitelik vektörleri elde edilmektedir. Bu şekilde küçük boyutlardaki öznitelik vektörleri ile daha hızlı sınıflandırma yapma imkanı elde edilmiş olmaktadır.
Bu tez çalışması içerisinde kullanılan yöntemleri test etmek amacıyla, doğal ortamlardan alınmış farklı boyutlardaki trafik işareti imgelerinden oluşan German Traffic Sign Recognition Benchmark (GTSRB) veri seti kullanılmıştır. Bu veri setinde 43 farklı trafik işareti sınıfı bulunmaktadır ve veri seti 39209 eğitim imgesi ile 12630 test imgesinden oluşmaktadır. Yöntemleri test etmek amacıyla GTSRB veri setinin seçilmiş olmasının sebebi, bu veri seti ile yapılan bir çok çalışmanın bulunmasıdır. Böylelikle çalışma içerisinde elde edilen sonuçlar diğer çalışmalarda elde edilen sonuçlar ile karşılaştırılabilmektedir.
Trafik işaretlerinin sınıflandırılması yapılırken ZM, YZM ve NYZM yöntemlerini en uygun şekilde kullanabilmek için farklı parametre değerleri ile bir çok test yapılmıştır. GTSRB veri seti üzerinde, ZM öznitelik vektörleri ile yapılan testlerde %94 civarında sınıflandırma başarısı elde edilmiştir. Kullanılan  bu ZM öznitelik vektörleri, gerçel ve sanal değerlerin doğrudan kullanılması ile oluşturulmuştur. YZM öznitelik vektörleri kullanılarak yapılan sınıflandırma işlemlerinde ise %97 civarında başarı elde edilmiştir. YZM öznitelik vektörleri faz-genlik histogramları kullanılarak oluşturulmaktadır ve bu sonuçlar ile YZM dönüşümünün trafik işaretlerinin sınıflandırılmasında işe yaradığı anlaşılmıştır. Fakat YZM yöntemi ile yapılan testlerde hesaplama zamanının uygun olmadığı görüldüğünden dolayı, çalışma içerisinde daha çok NYZM yöntemi üzerinde durulmuştur. NYZM öznitelik vektörlerini oluşturmak için, paketleme ile üretilen imgeler alt bölgelere ayrılmaktadır ve her bir alt bölgede elde edilen gri seviye histogramlar art arda birleştirilmektedir. Ardından boyut indirgeme işlemleri uygulanarak sonuç öznitelik vektörleri elde edilmektedir. Bu işlemler esnasında, aşama aşama testler yapılarak kullanılan parametreler için en iyi değerler belirlenmeye çalışılmıştır ve NYZM öznitelik vektörleri ile yapılan testler sonucunda %98.8 başarı elde edilerek yöntemin başarısı ortaya konmuştur. 
Trafik işaretlerinin sınıflandırılmasındaki başarıyı artırabilmek için çalışma içerisinde farklı şekillerde sınıflandırma testleri de yapılmıştır. İşaretlerin renk bilgilerini de kullanabilmek için, renk tonu histogramları NYZM ve ZM öznitelik vektörleri ile birlikte kullanılmıştır. Fakat daha iyi sonuçlar elde edilememiştir. Farklı bir yaklaşım olarak, en fazla hata yapılan işaretlerin iki kez sınıflandırılması sağlandığında ise %99.02 sınıflandırma başarısı elde edilmiştir. 
Önceki paragraflarda bahsedilen sonuçlar k-En Yakın Komşu sınıflandırma yöntemi kullanılarak elde edilmiştir. NYZM bir öznitelik çıkarma yöntemi olduğundan dolayı, NYZM öznitelik vektörlerinin sonraki çalışmalarda farklı sınıflandırıcılar ile uygun bir şekilde kullanıldığında daha iyi sonuçlar elde edilebileceği düşünülmektedir. Çalışma içerisinde elde edilen sonuçlara bakıldığında, önceki çalışmalar ile karşılaştırılabilir sonuçlar elde edildiği görülecektir. Ayrıca, NYZM yöntemi anlaşılabilirlik ve uygulanabilirlik açısından açısından diğer yöntemlere göre bir avantaja da sahiptir.

Abstract:
With the development of mobile computers and also reduction in their prices, these devices started to be used in many systems that can help us in our daily lives. Driver Assistance Systems (DAS) is also one of these systems and it is an important system in terms of both driving comfort and security. The number of studies carried out on these systems has increased considerably in recent years.
Traffic signs contain important information for both drivers and pedestrians. So, traffic sign recognition (TSR) systems have an important role in DAS. In many studies, TSR problem is evaluated in two stages. In the first stage, the pixel coordinates of traffic signs are determined on images which are taken from outer environment. In the second stage, the classification of detected traffic signs is performed. In addition to these two stages, a tracking system for the detected traffic signs is added to TSR in some studies. Thus, the detection of traffic signs is done more accurate and the classification of the detected traffic signs is done using multiple images. The aim of this study is to classify the traffic signs which is the second stage of TSR system.
In this thesis, Zernike Moments (ZM) and Local Zernike Moments (LZM) are used as the feature extraction method. ZM is used successfully in recognition problems such as fingerprint and character recognition. The main feature of these problems is that the shapes in images are apparent. But, LZM is a method that extracts the information of texture. Generally, the whole image is used to calculate the ZMs and as a result of this calculation complex values are obtained. In LZM transformation, the calculation of moments are performed around each pixel and as a result of this transformation complex images are produced. The number of these complex images is related with the selected moment degree.
One of the main purpose of this study is to show that LZM transformation which is used successfully in face recognition problem can also be used successfully to classify the traffic signs. The dimension of feature vectors created by using LZM can be very high depending on values of parameters used in calculation. So the classification of traffic signs using LZM is not applicable for real time applications. To overcome this problem, a new method is developped which is called Quantized Local Zernike Moments (QLZM). 
In QLZM method, two different quantization is performed. The first quantization is the transformation of the images produced by LZM to bit planes. Then,  new images are generated by packaging these pit planes and thereby a chance is obtained to create the feature vectors using less images. The feature vectors of QLZM are consists of the gray level histograms and these histograms are created in subregions of packaged images. The second quantization of QLZM method is performed on the LZM filters. The purpose of this quantization is to minimize the calculation time by using summation instead of multiplication in convolution process. Firstly, the maximimum and minimum coefficients are found to realize this quantization. Then the interval between the maximum and the minimum coefficient is divided into three parts using two threshold values which are calculated in each filter separately. By considering these parts, the filter coefficients are converted to -1,0 or 1, and as a result of this quantization the LZM images can be produced using summation instead of multiplication in convolution processes.
The dimension of the QLZM feature vectors is smaller than the LZM feature vectors. But, the dimension of the QLZM feature vectors may also not be suitable for real time applications depending on parameters used with QLZM. So, different dimensionality reduction methods are applied on the QLZM feature vectors. Firstly, the variables in the feature vectors are grouped and a new feature vector is created using average values of these groups. With these feature vectors, two well known dimensionality reduction methods, Principal Component Analysis and Linear Discriminant Analysis are used consecutively and the final QLZM feature vectors are obtained. In this way, classification of traffic signs is performed with small-size feature vectors in a short computation time.
The German Traffic Sign Recognition Benchmark (GTSRB) dataset is used to test the methods described in this study. This dataset consists of traffic sign images in different sizes which are taken from natural environment and this dataset contains 43 different traffic sign classes, 39209 training images and 12630 test images. The reason why the GTSRB dataset is chosen to test the methods is that there are a lot of studies carried out by using this dataset. So, the results obtained in this study can be compared with the results of other studies.
To use ZM, LZM and QLZM methods properly, lots of tests have been carried out with different values of parameters. With the feature vectors created by using ZM approximately 94% classification rate has been obtained. The ZM feature vectors used in these tests are created using real and imaginary values of moments. With the feature vectors created by using LZM, approximately 97% classification rate has been obtained. These feature vectors are constructed using phase-magnitude histograms and these classification results show us that the LZM transformation is a useful method for the traffic sign classification problem. But, because of LZM method requires too much computation time and memory, the classification tests have been done mostly on QLZM method in this study. To construct the QLZM feature vectors, the images produced by packaging process are divided into subregions and a gray level histogram is generated in each subregion. Then, these gray level histograms are concatenated and then by applying dimensionality reduction methods the final feature vectors are generated. To determine the best values for the parameters used in QLZM method a lot of tests have been carried out step-by-step. Also, the contributions of the dimensionality reduction methods and quantization of the filters to the results have been shown. As a result of the tests performed by using the QLZM feature vectors, 98.8% classification rate has been achieved and so the success of the QLZM method has been proven.
Some different tests have been done in different ways to increase the classification rate of traffic signs in this study. To use the color information of traffic signs, hue histograms have been used with the ZM and LZM feature vectors. But, the results obtained in this way have not been better than 98.8%. As a different approach, when the classification is performed twice on traffic signs which are mostly misclassified, 99.02% classification rate is achieved. In this two layer classification model, the traffic signs are classified using the QLZM feature vectors in the first layer. If the result of the first layer is one of the mostly misclassified classes, to check the result again one more classification is performed in the second layer and both ZM and QLZM feature vectors are used together in this layer.
The results mentioned in the previous paragraphs have been calculated using k-Nearest Neighbour classification method. Because QLZM is a feature extraction method, if the QLZM feature vectors are used properly with different classifiers such as Support Vector Machines and Neural Networks, better classification rates may be achieved. 
If the results obtained in this study are examined, it is seen that these results are comparable with the results of other studies. The methods used in some of these studies requires too much computation time and memory, but QLZM has an advantage in this respect and it is an easy feature extraction method in terms of both intelligibility and applicability.