House Type Prediction based on Images, using Transfer Learning &amp; Deep Learning Methods
Creators: name: Μπαλασοπούλου, Αθανασία Χρήστου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Μεταφορική Μάθηση
Τύπος Σπιτιών
Βαθιά Μάθηση
Transfer Learning
House Type
Deep Learning

description: In recent years, substantial advancements have been made in the field of image classification. Despite this progress, research targeting the specific task of house-type classification remains limited, highlighting the inherent challenges associated with addressing this problem. In the context of this thesis, we tackled these difficulties and addressed the scarcity of data by leveraging transfer learning techniques. Various pre-trained models were tested utilizing the Keras and TensorFlow Deep Learning Frameworks. Our dataset originates from a real-world source, specifically provided by a real estate realtor based in the Netherlands. The dataset employed in this study comprises a vast collection of unlabeled images, numbering in the millions. To address this challenge, a manual labeling process was undertaken, resulting in the creation of three distinct models for image classification. The first model was devised to categorize the images into indoor and outdoor segments. This step was necessary as the subsequent house-type classification exclusively employed outdoor images. The second model was developed to classify outdoor images based on their corresponding scenes, providing a range of six possible output classes. For the purpose of house-type classification, only images labeled as 'facade' were considered eligible. This class specifically encompassed images exhibiting the complete building structure. This model was designed to address the issue of outdoor images containing various scenes, such as balconies and streets, which were not suitable for our objective. Lastly, the house-type model was developed as the final step, taking as input the images filtered by the previous two models. This model aimed to predict the house-type specific to the Netherlands, with a total of fifteen distinct house-type classes. The house-type classes in our dataset exhibited close similarities, posing additional challenges to our task. Our findings indicate that it is indeed a difficult task for the model to accurately classify images into their precise classes, with the best-performing model achieving a top1 accuracy of 28%. However, considering the nature of our problem with fifteen classes, a more comprehensive evaluation metric is the top5 accuracy. Encouragingly, the best model achieved promising results, with a top2 accuracy of 42% and a top5 accuracy of 85%. This metric highlights the model's ability to correctly identify the correct house-type in its top two and five predicted class choices, respectively.
description: Τα τελευταία χρόνια, έχουν γίνει σημαντικές προόδοι στον τομέα της ταξινόμησης εικόνων. Παρά αυτήν την πρόοδο, η έρευνα που στοχεύει ειδικά στην ταξινόμηση τύπων κατοικιών παραμένει περιορισμένη, τονίζοντας τις εγγενείς προκλήσεις που συνδέονται με την αντιμετώπιση αυτού του προβλήματος. Στο πλαίσιο αυτής της διατριβής, αντιμετωπίσαμε αυτές τις δυσκολίες και αντιμετωπίσαμε τη σπανιότητα δεδομένων χρησιμοποιώντας τεχνικές μεταφορικής μάθησης. Δοκιμάστηκαν διάφορα προ-εκπαιδευμένα μοντέλα χρησιμοποιώντας τα πλαίσια Βαθιάς Μάθησης Keras και TensorFlow. Το σετ δεδομένων μας προέρχεται από μια πραγματική πηγή, συγκεκριμένα παρέχεται από έναν κτηματομεσίτη στην Ολλανδία. Το σετ δεδομένων που χρησιμοποιήθηκε σε αυτήν τη μελέτη περιλαμβάνει μια τεράστια συλλογή μη επισημειωμένων εικόνων, αριθμώντας εκατομμύρια. Για την αντιμετώπιση αυτής της πρόκλησης, πραγματοποιήθηκε μια διαδικασία χειροκίνητης επισήμανσης, με αποτέλεσμα τη δημιουργία τριών διαφορετικών μοντέλων για ταξινόμηση εικόνων. Το πρώτο μοντέλο σχεδιάστηκε για να κατηγοριοποιεί τις εικόνες σε εσωτερικές και εξωτερικές σκηνές. Αυτό το βήμα ήταν απαραίτητο καθώς η ταξινόμηση τύπου σπιτιού που ακολούθησε χρησιμοποίησε αποκλειστικά εξωτερικές εικόνες. Το δεύτερο μοντέλο αναπτύχθηκε για να ταξινομήσει τις εξωτερικές εικόνες με βάση τις αντίστοιχες σκηνές τους, παρέχοντας μια γκάμα έξι δυνατών εξόδων κατηγοριών. Για τον σκοπό της ταξινόμησης τύπου κατοικίας, μόνο οι εικόνες που επισημαίνονταν ως "πρόσοψη" θεωρούνταν επιλέξιμες. Αυτή η κατηγορία περιλάμβανε συγκεκριμένα εικόνες που εμφάνιζαν το πλήρες κτιριακό σύνολο. Το μοντέλο αυτό σχεδιάστηκε για να αντιμετωπίσει το ζήτημα των εξωτερικών εικόνων που περιείχαν διάφορες σκηνές, όπως μπαλκόνια και δρόμους, τα οποία δεν ήταν κατάλληλα για τον στόχο μας. Τέλος, το μοντέλο τύπου σπιτιού αναπτύχθηκε ως το τελικό βήμα, λαμβάνοντας ως είσοδο τις εικόνες που φιλτράρονται από τα προηγούμενα δύο μοντέλα. Αυτό το μοντέλο στόχευε να προβλέψει τον ειδικό τύπο σπιτιού για την Ολλανδία, με συνολικά δεκαπέντε διακριτές κατηγορίες τύπου σπιτιού.
description: Σε συνεργασία με το τμήμα Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)