Machine learning methods for the analysis of data of an Electricity Distribution Network Operator
Creators: name: Μαμαλικίδης, Ιωάννης Παναγιώτη
Publisher: name: Aristotle University of Thessaloniki
Year: 2017
Subjects: Μηχανική Μάθηση
Μεγάλα Δεδομένα-Πρόβλεψη
Machine Learning
Big Data-Forecasting

description: Μια φορά κάθε μερικές δεκαετίες μια εφεύρεση αλλάζει εντελώς το τοπίο ορισμένων πτυχών της ζωής μας. Η βιομηχανική επανάσταση βελτίωσε την καθημερινή μας ζωή, ενώ οι ιατρικές επαναστάσεις επέκτειναν το προσδόκιμο ζωής μας. Στην κατεύθυνση που ακολουθούμε οι περισσότερες επιστήμες θα υπάγονται στην επιστήμη των υπολογιστών, επιτρέποντας έτσι ταχύτερα και πιο ακριβή αποτελέσματα. Η μηχανική μάθηση είναι ένα ευρύ πεδίο του οποίου η χρησιμότητα άπτεται πληθώρας εργασιών. Από την οπτική αναγνώριση χαρακτήρων, τις μηχανές αναζήτησης και την όραση των υπολογιστών, μέχρι και εφαρμογές σε άλλους τομείς, όπως σε αυτόν της ιατρικής. Εδώ χρησιμοποιούνται δύο από τις τρείς βασικές κατηγορίες της μηχανικής μάθησης, η μάθηση χωρίς επίβλεψη για συσταδοποίηση των δεδομένων σε γεωγραφικές ομάδες και διάφοροι αλγόριθμοι μάθησης με επίβλεψη για παραγωγή προβλέψεων. Τα δεδομένα τα οποία υπόκεινται σε μηχανική μάθηση είναι της ΔΕΔΔΗΕ Α.Ε. (Διαχειριστής του Ελληνικού Δικτύου Διανομής Ηλεκτρικής Ενέργειας), της μεγαλύτερης εταιρίας για τη λειτουργία , τη συντήρηση και την ανάπτυξη του δικτύου διανομής ηλεκτρικής ενέργειας στην Ελλάδα. Η βάση δεδομένων περιλαμβάνει περίπου 450.000 έργα, τα οποία απαρτίζονται από 2.533.079 βαριάντες και έχουν χρησιμοποιηθεί 17.134.977 υλικά. Δουλεύοντας με πραγματικά δεδομένα είσαι σίγουρο ότι θα προκύψουν εμπόδια όπως σημαντικά μεγάλος θόρυβος στα δεδομένα, εσφαλμένες εγγραφές, ελλιπείς τιμές και ελλιπή δεδομένα. Για αυτό τον σκοπό, ένα σεβαστό ποσοστό χρόνου αφιερώθηκε στην προ-επεξεργασία των δεδομένων, τον καθαρισμό τους, και στην ανάκτηση ή εξαγωγή από αυτά και τη μετατροπή τους σε μία κατάλληλη για τα επόμενα βήματα μορφή. Δεδομένου ότι το σύνολο δεδομένων αποτελείται από έργα που έχουν να κάνουν με την κατασκευή ή επισκευή πάνω στη γη, το σύνολο δεδομένων έχει μία γεωγραφική πτυχή. Καθώς τα δεδομένα δεν περιέχουν εγγενώς πεδία γεωγραφικού μήκους και πλάτους, αναπτύχθηκε ένα πρόγραμμα για να τα ανακτήσει και με τη σειρά τους να χρησιμοποιούν για τη συσταδοποίηση των έργων σε γεωγραφικές ομάδες. Το τελευταίο βήμα ήταν η εφαρμογή 10 αλγορίθμων μηχανικής μάθησης για πρόβλεψη ως προς το ποια μελλοντικά έργα θα εγκριθούν και ποια θα απορριφθούν, ως εκ τούτου, επιτρέποντας στην εταιρεία να είναι καλύτερα προετοιμασμένη όσων αφορά στη διαθεσιμότητα των απαιτούμενων αντικειμένων. Η στατιστική ανάλυση των μοντέλων μηχανικής μάθησης ήταν επίσης σημαντική για τον προσδιορισμό του καλύτερου μοντέλου για το συγκεκριμένο σύνολο δεδομένων
description: Once every few decades an invention changes the landscape of some aspects of our life. Industrial revolutions improved our everyday lives whilst medical revolutions expanded our lifespans. In the path we’re leading, most of sciences will be reduced to computer science, enabling faster and more accurate results. Machine learning is a vast field whose use spans over a plethora of tasks like optical character recognition, search engines and computer vision, to applications on other fields, such as the medical one. Here, two of the three main categories of machine learning are being used; namely unsupervised learning to cluster the data into geographical groups, and an array of different types of supervised learning to make predictions. The data which are subject to machine learning originate from the Hellenic Electricity Distribution Network Operator (HEDNO S.A.), the largest company for the operation, maintenance and development of the power distribution network in Greece. Working with real data is bound to come with solid hurdles, such as a substantial amount of noise in the data, erroneous entries, missing values and incomplete data. To this end, a considerable amount of time was devoted to pre-processing; cleaning up the data, retrieving or extrapolating from it and transforming it into a suitable form for the next steps. Since the dataset consists of projects dealing with construction or repair on actual locations, it has a geographical aspect to it. As the data themselves do not come with associated longitudes and latitudes, a method was devised to retrieve them and in turn use them to cluster the projects into geographical groups. The Last step was to apply 10 machine learning algorithms to predict which future projects are going to be approved and which are not, hence enabling the company to be better prepared in terms of needed items availability. Statistical analysis on the trained machine learning algorithms themselves was also important in order to identify the best model for this dataset