title: Wildforest fire detection using deep learning and fusion techniques on aerial image datasets 
title: Εντοπισμός πυρκαγιάς σε δασικές περιοχές, χρησιμοποιώντας τεχνικές βαθιάς μάθησης και ενοποίησης δεδομένων σε εναέριες εικόνες
Creators: name: Ζαχαριαδης Εμμανουηλ
Publisher: name: Technical University of Crete
Year: 2023

description: Greece, like other countries, suffers every year from intense fires which inevitably 
cause losses. In the best-case scenario, these losses are materialistic only, but there are 
many cases where the consequences are not limited to those losses. This kind of 
destruction has a crucial impact on firefighters and civilian lives, animal extinction, and 
forest degradation. Considering scientists' predictions that fires will increase every year 
due to climate change, many prevention systems have been set up to avoid this kind of situation. This thesis focuses on developing a detection approach that can classify 
images of forests in “Fire” and “non-Fire” cases with input from both RGB and Infrared 
(IR) cameras. Along with this work, an architecture is proposed that increases the 
possibility to prevent these previously mentioned consequences. The new deep learning 
architecture is called ShRe-Xception (Short Recursive), inspired by already existing 
Xception network architectures (i.e., small-arch Xception and original Xception 
Network). In this study, an experimental process takes place around how to train a 
neural network with two different datasets and the relevance of its architecture. First, 
transfer learning is performed on the small-arch Xception network with input from 
either RGB or IR images, and then, the same structure is trained with all the RGB 
images from the very beginning. Also, the proposed ShRe-Xception network is trained 
by using all RGB images from the very beginning and then retrained with infrared 
frames. Datasets used for training and testing purposes contain “Fire” and “non-Fire” 
images of forests that are captured from UAVs and uploaded to the IEEE portal. When 
testing the above models, the evaluation accuracy was RGB: 90.10% and IR: 99.31% 
after initial training and ShRe-Xception model, RGB: 77.13% and IR: 94.47% after 
transfer learning on small-arch Xception, and RGB: 84.86% and IR: 29.19% when 
initially training the small-arch Xception. The above results are described and analyzed 
within the present thesis, as many other operations were performed in terms of 
experimentation and results. In general, the latter model came to be the most accurate 
one for images of both spectrums in our experiments. The ShRe-Xception can 
potentially play a vital and efficient role in real-time fire detection during aerial 
surveillance of wild forests. 
description: Είναι γεγονός ότι η χώρα μας, όπως και άλλες χώρες, υποφέρει κάθε χρόνο από έντονες πυρκαγιές που αναπόφευκτα προκαλούν μεγάλες απώλειες. Στην καλύτερη περίπτωση, οι απώλειες αυτές είναι μόνο υλικές, αλλά υπάρχουν πολλές περιπτώσεις όπου οι συνέπειες δεν περιορίζονται μόνο σε αυτό το φάσμα. Σε πολλές περιπτώσεις, οι καταστροφές αυτές έχουν κρίσιμες επιπτώσεις στις ζωές των πυροσβεστών και των πολιτών, στην εξαφάνιση των ζώων και στην καταστροφή των δασών. Λαμβάνοντας υπόψη τις προβλέψεις των επιστημόνων ότι οι πυρκαγιές θα αυξάνονται κάθε χρόνο λόγω της κλιματικής αλλαγής, έχουν δημιουργηθεί πολλά συστήματα πρόληψης για την αποφυγή τέτοιου είδους καταστάσεων. Η παρούσα εργασία επικεντρώνεται στην ανάπτυξη ενός συστήματος ανίχνευσης που μπορεί να διαχωρίσει εικόνες δασών σε περιπτώσεις "πυρκαγιάς" και "μη πυρκαγιάς" με είσοδο τόσο από κάμερες RGB, όσο και από κάμερες υπερύθρων (IR), αποτρέποντας δυνητικά εκτεταμένες καταστροφές. 
Μέσα στην εργασία μας περιέχεται και ο σχεδιασμός ενός νέου μοντέλου παραγμένου από την ομάδα μας, ο οποίος πιστεύουμε ότι αυξάνει τις πιθανότητες για την αποφυγή μιας δασικής καταστροφής. Ο σχεδιασμός μας ονομάζεται ShRe-Xception (Short Recursive) και είναι ένα συνονθύλευμα που χρησιμοποιεί χαρακτηριστικά, τόσο από μια υπάρχουσα μικρή - αρχιτεκτονική του δικτύου Xception (small-arch Xception), 
όσο και από την αρχική έκδοση του δικτύου Xception. Αυτή η μελέτη περιλαμβάνει 
μια πειραματική διαδικασία γύρω από τον τρόπο εκπαίδευσης ενός νευρωνικού 
δικτύου με δύο διαφορετικά σύνολα δεδομένων και τον ρόλο που έρχεται να παίξει η 
αρχιτεκτονική του στην μετέπειτα απόδοση. Αρχικά, εκτελούμε transfer learning στο 
small-arch Xception με είσοδο, είτε από εικόνες RGB, είτε από εικόνες IR και στη 
συνέχεια, παίρνουμε την ίδια αρχιτεκτονική και την εκπαιδεύουμε με όλες τις εικόνες 
RGB από την αρχή, εκτελώντας αργότερα την επανεκπαίδευση με θερμικές εικόνες. 
Εκπαιδεύουμε επίσης το προτεινόμενο δίκτυο ShRe-Xception, χρησιμοποιώντας όλες 
τις εικόνες RGB από την αρχή και επανεκπαιδεύοντάς το με θερμικές εικόνες στη 
συνέχεια. Τα σύνολα δεδομένων που χρησιμοποιούνται για σκοπούς εκπαίδευσης και 
δοκιμής περιέχουν εικόνες "πυρκαγιάς" και "μη πυρκαγιάς" από δάση που έχουν 
ληφθεί από UAV και έχουν αναρτηθεί στην IEEE dataport. Κατά τη δοκιμή των 
παραπάνω μοντέλων, η ακρίβεια των δοκιμών ήταν RGB: 77,13% / IR: 94,47% μετά 
το transfer learning στο small-arch Xception, RGB: 84,86% / IR: 29,19% κατά την 
αρχική εκπαίδευση του small-arch Xception και RGB: 90,10% / IR: 99,31% μετά την 
αρχική εκπαίδευση στο μοντέλο ShRe-Xception. Τα παραπάνω αποτελέσματα είναι 
ενδεικτικά, καθώς υλοποιήθηκαν και πολλές άλλες τεχνικές. Σε γενικές γραμμές, το 
τελευταίο μοντέλο αποδείχθηκε το πιο ακριβές για εικόνες και των δύο φασμάτων στα 
πειράματά μας. Το ShRe-Xception μπορεί ενδεχομένως να διαδραματίσει ζωτικό και 
αποτελεσματικό ρόλο στην ανίχνευση πυρκαγιάς σε πραγματικό χρόνο κατά την 
εναέρια επιτήρηση των δασών.