Domain adaptation for power line segmentation in aerial images
Creators: name: Καλίτσιος, Γεώργιος Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Τμηματοποίηση γραμμών ηλεκτρικής ενέργειας
Συνθετικό σύνολο δεδομένων
Προσαρμογή τομέα
Επιθεώρηση UAV
Εναέριες εικόνες
Power line segmentation
Synthetic dataset
Domain adaptation
UAVs inspection
Aerial images

description: Traditional power lines manual inspections are inefficient and pose major safety concerns. To ensure the safe and reliable operation of the power grids, power line segmentation is a critical component of UAV intelligent inspection systems. Image segmentation is the method of dividing an image into several segments by labeling each pixel within the image. Generally speaking, it is considered as a pixel-level classification task that demands much higher accuracy than image classification or object detection. The effectiveness of deep learning-assisted segmentation algorithms is typically dependent on the availability of large amounts of annotated training data. Real-world data collection is challenging, costly, and time-consuming. However, there are just a few publicly available power line datasets in the literature for the task of power line segmentation. For challenging-to-label tasks like power line segmentation, simulators can efficiently generate large amounts of labeled synthetic data. In this work, we generate a large-scale synthetic power lines dataset that will be publicly available utilizing the Unity game engine and the Unity's Perception Package, eliminating the need to acquire and label hundreds or thousands of real-world images. The introduced dataset containing aerial images of power lines in every possible combination of different locations, lighting conditions, tilts, angles, field of views, and is the first synthetic power lines dataset that will be made publically available, which is a significant contribution for both the scientific community as well as the industry. However, the domain gap introduced by synthetic data has an impact on real-world performance. By transferring knowledge from the simulated (source) domain to the real (target) domain, domain adaptation aims to bridge the distribution gap and is a promising technique for computer vision applications like semantic segmentation, where large-scale data annotation is expensive and time-consuming. In this study, we propose a new framework for introducing domain adaptation into the field of power line segmentation, particularly input-level adaptation performed utilizing a fourier-based image-to-image translation strategy. This strategy outperforms well-known domain adversarial adaptation strategies in terms of training speed, ease of implementation, and memory efficiency. Due to the fact that power lines have a poor visual appearance and typically only occupy a very tiny portion of the whole image, inspecting power lines is a highly challenging task. Occlusion and complex backgrounds complicate power line monitoring even more. In order to enhance the performance of power line segmentation on aerial images, we develop a new loss function that combines Focal Loss and Dice Loss. During training, Focal Loss is utilized to encourage the network to pay more attention to challenging examples like power lines, and Dice Loss is used to help the network improve its exploitation of foreground regions as well as learn proper boundary representations. We hope that this function will be adopted for this task. Experiments demonstrate that, when applied to the well-known TTPLA power lines dataset, our framework achieves state-of-the-art performance.
description: Οι επιθεωρήσεις των παραδοσιακών γραμμών ηλεκτρικού ρεύματος από ανθρώπους είναι αναποτελεσματικές και δημιουργούν σοβαρές ανησυχίες για την ασφάλεια τους. Για να διασφαλιστεί η ασφαλής και αξιόπιστη λειτουργία των δικτύων ηλεκτρικής ενέργειας, η σημασιολογική κατάτμηση εικόνας των γραμμών είναι ένα κρίσιμο στοιχείο των ευφυών συστημάτων επιθεώρησης με μη επανδρωμένο αεροσκάφος. Η σημασιολογική κατάτμηση εικόνας είναι η μέθοδος διαίρεσης μιας εικόνας σε πολλά τμήματα με την επισήμανση κάθε εικονοστοιχείου μέσα στην εικόνα. Η αποτελεσματικότητα των αλγορίθμων σημασιολογικής κατάτμησης εικόνας που υποστηρίζονται από τη βαθιά μάθηση εξαρτάται συνήθως από τη διαθεσιμότητα μεγάλων ποσοτήτων δεδομένων εκπαίδευσης με ετικέτες. Η συλλογή δεδομένων στον πραγματικό κόσμο ομως είναι δύσκολη, δαπανηρή και χρονοβόρα. Για απαιτητικές εργασίες, όπως η σημασιολογική κατάτμηση γραμμών ηλεκτρικής ενέργειας, οι προσομοιωτές μπορούν να δημιουργήσουν αποτελεσματικά μεγάλες ποσότητες συνθετικών δεδομένων με ετικέτα. Σε αυτήν την εργασία, δημιουργούμε ένα σύνολο δεδομένων συνθετικών γραμμών ηλεκτρικής ενέργειας μεγάλης κλίμακας που θα είναι δημόσια διαθέσιμα χρησιμοποιώντας τη μηχανή παιχνιδιών Unity και το Perception Package της Unity, εξαλείφοντας την ανάγκη απόκτησης και επισήμανσης εκατοντάδων ή χιλιάδων εικόνων πραγματικού κόσμου. Το εισηγμένο σύνολο δεδομένων που περιέχει εναέριες εικόνες γραμμών σε κάθε πιθανό συνδυασμό διαφορετικών τοποθεσιών, συνθηκών φωτισμού, κλίσεων, γωνιών, οπτικού πεδίου και είναι το πρώτο σύνολο δεδομένων συνθετικών γραμμών ηλεκτρικής ενέργειας που θα δημοσιοποιηθεί, γεγονός που αποτελεί σημαντική συνεισφορά και για την επιστημονική κοινότητα καθώς και τη βιομηχανία. Ωστόσο, το χάσμα τομέα που εισάγεται από τα συνθετικά δεδομένα έχει αντίκτυπο στην απόδοση του πραγματικού κόσμου. Με τη μεταφορά γνώσης από τον τομέα προσομοίωσης (πηγή) στον πραγματικό τομέα (στόχο), η προσαρμογή τομέα στοχεύει να γεφυρώσει το χάσμα διανομής και είναι μια πολλά υποσχόμενη τεχνική για εφαρμογές όρασης υπολογιστών όπως η σημασιολογική κατάτμηση εικόνας, όπου ο σχολιασμός δεδομένων μεγάλης κλίμακας είναι δαπανηρός και χρονοβόρος. Σε αυτή τη μελέτη, προτείνουμε ένα νέο πλαίσιο για την εισαγωγή της προσαρμογής τομέα στο πεδίο της σημασιολογικής κατάτμησης των γραμμών ηλεκτρικής ενέργειας, ιδιαίτερα της προσαρμογής σε επίπεδο εισόδου που πραγματοποιείται χρησιμοποιώντας μια στρατηγική μετάφρασης εικόνας σε εικόνα βασισμένη σε Fourier. Αυτή η στρατηγική ξεπερνά τις γνωστές στρατηγικές προσαρμογής αντιπάλου τομέα όσον αφορά την ταχύτητα εκπαίδευσης, την ευκολία εφαρμογής και την αποδοτικότητα της μνήμης. Λόγω του γεγονότος ότι τα καλώδια ηλεκτρικού ρεύματος έχουν κακή οπτική εμφάνιση και συνήθως καταλαμβάνουν μόνο ένα πολύ μικρό μέρος ολόκληρης της εικόνας, η επιθεώρηση ηλεκτρικών γραμμών είναι μια εξαιρετικά δύσκολη εργασία. Προκειμένου να βελτιωθεί η απόδοση της τμηματοποίησης της γραμμής ισχύος στις εναέριες εικόνες, αναπτύσσουμε μια νέα συνάρτηση απώλειας που συνδυάζει την Focal συνάρτηση απώλειας και την Dice συνάρτηση απώλειας. Κατά τη διάρκεια της εκπαίδευσης, η Focal συνάρτηση χρησιμοποιείται για να ενθαρρύνει το δίκτυο να δώσει μεγαλύτερη προσοχή σε απαιτητικά παραδείγματα όπως οι γραμμές ηλεκτρικού ρεύματος και η Dice συνάρτηση χρησιμοποιείται για να βοηθήσει το δίκτυο να βελτιώσει την εκμετάλλευση των περιοχών του πρώτου πλάνου καθώς και να μάθει τις κατάλληλες αναπαραστάσεις ορίων. Τα πειράματα δείχνουν ότι, όταν εφαρμόζεται στο γνωστό σύνολο δεδομένων γραμμών ηλεκτρικής ενέργειας TTPLA, το πλαίσιο μας επιτυγχάνει επιδόσεις αιχμής.