Machine Learning Techniques for Vehicle Type Classification
Creators: name: Αθανασιάδης, Αλέξανδρος Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2019
Subjects: Μηχανική Μάθηση
Οχήματα
Εξαγωγή Χαρακτηριστικών
Machine Learning
Vehicles
Feature extraction

description: Το κύριο πρόβλημα με το οποίο ασχολείται αυτή η εργασία είναι η αναγνώριση του τύπου ενός οχήματος (φορτηγό, βαν, κάμπριο, κτλ) δεδομένης μιας εικόνας του οχήματος. Πρόκειται για μία συνεργασία μεταξύ του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης και της Ελληνικής εταιρείας αγγελιών αυτοκινήτων Car.gr. Η εταιρεία μας παρείχε ένα σύνολο δεδομένων, που απαρτίζεται από αγγελίες οχημάτων και είναι ένα μικρό υποσύνολο όλης της βάσης αγγελιών. Κάθε αγγελία στο σύνολο δεδομένων περιέχει τις εικόνες του εκάστοτε οχήματος, ένα σύνολο χαρακτηριστικών, καθώς και την μεταβλητή στόχο που είναι ο τύπος οχήματος. Ο στόχος είναι να δημιουργηθεί ένα μοντέλο μηχανικής μάθησης, που θα είναι σε θέση να προβλέψει τον τύπο του οχήματος λαμβάνοντας μια εικόνα του οχήματος ως είσοδο (π.χ. να ταξινομήσει ένα εικονιζόμενο όχημα ως Αγροτικό/Φορτηγό ή Βαν). Το πρώτο βήμα ήταν να ξεκινήσουμε με την ανάκτηση πληροφοριών βάσει περιεχομένου από τις υπάρχουσες εικόνες, με σκοπό την εξαγωγή των διανυσματικών χαρακτηριστικών. Συγκεκριμένα, για τη διαδικασία εξαγωγής χαρακτηριστικών, χρησιμοποιήσαμε ένα νευρωνικό δίκτυο VGG16, προ-εκπαιδευμένο στο σύνολο δεδομένων Imagenet και εξήγαμε τα χαρακτηριστικά σε μορφή διανυσμάτων από το πλήρως συνδεδεμένο επίπεδο του δικτύου. Στη συνέχεια συνθέσαμε το τελικό σύνολο δεδομένων, που αποτελείται από τα εξαχθέντα χαρακτηριστικά και την αντίστοιχη κλάση της κατηγορίας στόχου για κάθε αγγελία. Πραγματοποιήσαμε ανάλυση κύριων συνιστωσών στα χαρακτηριστικά του προκύπτοντος συνόλου δεδομένων, προκειμένου να μειώσουμε τη διαστασιμότητά τους, δίνοντάς μας τη δυνατότητα απεικόνισης των δεδομένων και επιτάχυνσης της διαδικασίας εκπαίδευσης. Δημιουργήσαμε 3 εκδόσεις του συνόλου δεδομένων. Η πρώτη έκδοση έχει 2 κλάσεις, η δεύτερη 3 και η τελευταία περιέχει καί τις 12 κλάσεις που παρουσιάζονται στο σύνολο δεδομένων. Στη συνέχεια εκπαιδεύσαμε τους ταξινομητές μας με τα μετασχηματισμένα δεδομένα και αξιολογήσαμε τα αποτελέσματά μας με τη μέθοδο stratified 10-fold cross validation. Η προσέγγιση που απέδωσε καλύτερα για τις 2 κλάσεις ήταν η πολυμεταβλητή λογιστική παλινδρόμηση ενός-προς-ένα, επιτυγχάνοντας ακρίβεια πρόβλεψης 0,84 (+/- 0,13). Εν τω μεταξύ, για τις 3 τάξεις η ακρίβεια πρόβλεψης που προέκυψε ήταν 0,69 (+/- 0,07) με την ίδια προσέγγιση λογιστικής παλινδρόμησης. Η ακρίβεια που επετεύχθη για όλες τις κλάσεις ήταν 0,33 (+/- 0,03) με την προσέγγιση της πολυμεταβλητής λογιστικής παλινδρόμισης μετά από εξισορρόπηση των παραδειγμάτων. Τα δύο μεγάλα ζητήματα που προέκυψαν κατά τη διάρκεια των πειραμάτων και είχαν αντίκτυπο στα ποσοστά ακρίβειας ήταν η ανισορροπία μεταξύ των κλάσεων και το γεγονός ότι ορισμένοι τύποι οχημάτων ήταν παρόντες σε πολλαπλές κλάσεις. Αυτό συμβαίνει λόγω της ελαστικότητας του συστήματος καταχώρησης οχημάτων που χρησιμοποιούν οι ιδιώτες καθώς και οι έμποροι. Στο πέμπτο και τελικό κεφάλαιο προτείνουμε μελλοντικές βελτιώσεις της τρέχουσας προσέγγισης που θα οδηγούσαν στην δημιουργία ενός ολοκληρωμένου συστήματος
description: The main topic of this work is the multi-class classification of vehicle category images in the field of automotive classifieds. This is a collaboration project between the Aristotle University of Thessaloniki and the Greek automotive classifieds company, Car.gr. The company provided us with a dataset of vehicle classifieds which is a subsidiary of their large scale data. Each classified in the dataset contains the vehicle's images and a set of classified features regarding the vehicle characteristics. The goal is to create a machine learning model that will be able to predict the vehicle's type by taking a vehicle image as input (e.g. classify a vehicle in an image as a Pickup/Truck or a Van). The first step of our work was content based information retrieval from the existing images to attain the feature vectors. More specifically, for the feature extraction process, we used an Imagenet pre-trained VGG16 neural network and we extracted the feature vectors from the network's fully connected layer. We then synthesized the final dataset consisting of the feature vectors and the target vehicle category class for every classified. We performed principal component analysis on the features of the resulting dataset, in order to reduce their dimensionality, giving us the ability to visualize the data and accelerate the training process. We created 3 instances of our dataset. One with 2 classes, one with 3 and the last one with all twelve classes that are present in the dataset. We then trained a classifier with the transformed data and we evaluated our results with the stratified 10-fold cross validation method. The approach that yielded the best results for 2 classes was the one-vs-one multinomial logistic regression achieving a prediction accuracy of 0.84(+/-0.13) for 2 classes. Meanwhile, for 3 classes the resulting prediction accuracy was 0.69(+/-0.07) again with the same multinomial logistic regression approach. The prediction accuracy for all classes was 0.33(+/-0.03) from the one-vs-one balanced multinomial logistic regression approach. Two major issues that had an impact on accuracy percentages emerged during our experiments. Those were class imbalance and the fact that some vehicle types were present in multiple classes. This happens because of the elasticity of the data entry system used by private sellers and dealers. We finally propose future work that would result in improvements that would rend our pipeline production ready