title: Photovoltaic panel inspection using deep learning systems on unmanned aerial vehicle based images
title: Επιθεώρηση φωτοβολταϊκών στοιχείων με την βοήθεια συστημάτων βαθιάς μάθησης σε εικόνες από μη επανδρωμένο όχημα
Creators: name: Δημοπουλος Κωνσταντινος
Publisher: name: Technical University of Crete
Year: 2024

description: It is apparent to everyone that the world that we live in is slowly but steadily
transitioning from fossil fuels to renewable and clean energy. This is quite beneficial for
the environment, the humans that inhabit this planet and the fauna and flora as well.
One of the most rapidly growing sources of green energy is solar anergy. Constructions
of huge solar farms are taking place each year. With each farm containing hundreds of
thousands of individual photovoltaic panels (PV), the need for a faster, safer, and more
efficient way of condition monitoring for each panel has risen. Surveillance monitoring
via the use of unmanned aerial vehicles (UAVs) has been proposed and applied, showing
exceptional results. In this thesis, the focus is on investigating the use of novel deep
learning models, that take as an input infrared spectrum images of individual
photovoltaic panels with non-annotated multiple damages. The goal is first to create an
annotated dataset for training, validation and testing purposed and a general data
augmented dataset for further testing purposes. The second goal is to achieve an
optimal training of 2 individually trained models. The first of the models excels in binary
detection of surface of solar panels, meaning that it can detect efficiently whether a
photovoltaic panel is damaged or not. The other model excels at multi-class
classification, meaning that it can detect, identify and classify the specific error on a
damaged panel, and then proceeds to put a bounding box over the error, pinpointing
its exact location on the image. Throughout this this sensitivity investigation, the
YOLOv8 and YOLONAS models are used. For YOLOv8, the detection performance on the
training phase achieved for the binary model an F1 score of 93.8% and mAP50-90 score
of 97.7%. Our multi-class classification model can correctly identify 8 distinct categories
of solar panel surface faults, with different percentages of success depending on the
fault class in question (e.g. F1 score: 64.4% and mAP50-90 score: 45.3%). The specs of
these trained models are further analyzed in this thesis, together with all the process
that was required to reach this point. These models were tested both on part of the
initial database as well as a smaller database that was created using data augmentation.
For first time, two cutting-edge DNN models were used for multiclass detection of
damages in PV panels paving the way for future more efficient and massive detection of
damages in PV farms.
description: Είναι προφανές σε όλους ότι ο κόσμος στον οποίο ζούμε μεταβαίνει αργά αλλά
σταθερά από τα ορυκτά καύσιμα στις ανανεώσιμες πηγές ενέργεια. Αυτό είναι αρκετά
ωφέλιμο για το περιβάλλον, τους ανθρώπους που κατοικούν σε αυτόν τον πλανήτη,
καθώς και την πανίδα και τη χλωρίδα . Μία από τις πιο ταχέως αναπτυσσόμενες
πηγές πράσινης ενέργειας είναι η ηλιακή ενέργεια. Κατασκευές τεράστιων ηλιακών
πάρκων πραγματοποιούνται κάθε χρόνο. Καθώς κάθε ηλιακό πάρκο περιέχει
εκατοντάδες χιλιάδες μεμονωμένα ηλιακά πάνελ, έχει αυξηθεί η ανάγκη για έναν
ταχύτερο, ασφαλέστερο και πιο αποτελεσματικό τρόπο παρακολούθησης της
κατάστασης του κάθε πάνελ. Έχει προταθεί και εφαρμοστεί η εξ αποστάσεως
παρακολούθηση των πάνελ μέσω της χρήσης μη επανδρωμένων εναέριων οχημάτων
(UAV ή αλλιώς drones), παράγοντας εξαιρετικά αποτελέσματα. Σε αυτή τη διατριβή
εστιάζουμε στη δημιουργία καινοτόμων μοντέλων βαθιάς εκμάθησης, που λαμβάνουν
ως είσοδο, εικόνες μεμονωμένων φωτοβολταϊκών πάνελ που λαμβάνονται, των
οποίων οι βλάβες δεν έχουν σχολιασθεί. Οι εικόνες αυτές είναι εικόνες του υπέρυθρου φάσματος του φωτός. Έχουμε ως στόχο την δημιουργία ενός σχολιασμένου συνόλου δεδομένων, για την εκπαίδευση, την επικύρωση και τον έλεγχο των μοντέλων καθώς και η δημιουργία ενός γενικού συνόλου δεδομένων, μέσω data augmentation, για χρήση σε περαιτέρω ελέγχους. Δεύτερο στόχο αποτελεί η επίτευξη της αποδοτικής εκπαίδευσης 2 διαφορετικών μοντέλων. Το πρώτο μοντέλο εκτελεί δυαδική ανίχνευση σφαλμάτων στην επιφάνειας των ηλιακών πάνελ, που σημαίνει ότι μπορεί να ανιχνεύσει αποτελεσματικά εάν ένα φωτοβολταϊκό πάνελ έχει υποστεί κάποια φθορά ή όχι. Το δεύτερο μοντέλο εξειδικεύεται στην ταξινόμηση πολλαπλών κατηγοριών σφαλμάτων, που σημαίνει ότι μπορεί να ανιχνεύσει, να αναγνωρίσει και να ταξινομήσει το συγκεκριμένο σφάλμα σε ένα πάνελ και, στη συνέχεια, προχωρά στην τοποθέτηση ενός πλαισίου οριοθέτησης πάνω από το σφάλμα, προσδιορίζοντας την ακριβή θέση του στην εικόνα. Σε όλο αυτό το πείραμα, τροποποιούμε τα μοντέλα YOLOv8 και YOLONAS. Κατά την εκπαίδευση του YOLOv8 εκπαιδεύσαμε ένα μοντέλο δυαδικής αναγνώρισης με F1 score ίσο με 93.8% και mAP50-90 score ίσο με 97.7%. Το μοντέλο ταξινόμησης πολλαπλών κατηγοριών, μπορεί να αναγνωρίσει σωστά 8 διαφορετικές κατηγορίες σφαλμάτων επιφάνειας ηλιακών πάνελ, με διαφορετικά ποσοστά επιτυχίας ανάλογα με την εν λόγω κατηγορία σφάλματος (με F1 score ίσο με 64.4% και mAP50-90 score ίσο με 45.3%). Οι προδιαγραφές αυτών των εκπαιδευμένων 8 μοντέλων αναλύονται περαιτέρω σε αυτή τη διατριβή, μαζί με όλη τη διαδικασία και τον πειραματισμό που χρειάστηκε για να φτάσουμε σε αυτό το σημείο. Τα μοντέλα ελέγχθηκαν με την χρήση τμήματος των αρχικών εικόνων αλλά και με εντελώς νέες εικόνες που δημιουργήθηκαν μέσω της τεχνικής data augmentation. Για πρώτη φορά 2 καινοτόμα μοντέλα βαθιάς μάθησης χρησιμοποιήθηκαν για τον εντοπισμό πολλαπλών κλάσεων σφαλμάτων σε φωτοβολταϊκά πάνελ, ανοίγοντας έτσι τον δρόμο για περαιτέρω αποδοτική ανίχνευση σφαλμάτων σε μεγάλα ηλιακά πάρκα.