title: Distributed machine learning algorithms via geometric monitoring
title: Κατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησης
Creators: name: Κονιδαρης Βησσαριων-Μπερτχολντ
Publisher: name: Technical University of Crete
Year: 2019

description: Contemporary deep neural network architectures trained on massive datasets can provenly achieve state-of-the-art performance across a wide variety of domains, from image and speech recognition, to text processing, recommendation systems and fraud detection. With the explosion in the amount of data generated online entering its next phase, we are able to train bigger and deeper neural nets which can dramatically increase performance but also training time. What is more, most of the data is generated or received on different remote machines and its massive nature implies prohibitive communication costs if all data is to be collected at a single site. In view of these problems, much effort has been dedicated the past few years into parallelizing the training procedure of such complex models. We introduce a novel method for scaling up distributed training of deep neural networks using the Functional Geometric Monitoring (FGM) communication protocol, a well studied technique that is used to monitor complex continuous queries on high-volume, rapid distributed streams. This protocol is suitable for classic learning with stationary environment properties, as well as non-stationary ones with concept drift. Our goal is to minimize the prediction loss and network communication at the same time. We demonstrate empirically that the protocol achieves up to 95% less network communication than todays' cutting edge methods, while achieving high predictive performance.
description: Οι σύγχρονες αρχιτεκτονικές βαθιών νευρωνικών δικτύων (Deep Neural Networks) μπορούν αποδεδειγμένα πια να επιτύχουν εκπληκτικές επιδόσεις σε ένα ευρύ και ποικίλο φάσμα εφαρμογών. Ο ολοένα και αυξανόμενος ρυθμός παραγωγής ηλεκτρονικών δεδομένων τα τελευταία χρόνια έχει επιτρέψει στην επιστημονική και μη κοινότητα να εκπαιδεύει ολοένα μεγαλύτερα και βαθύτερα νευρωνικά δίκτυα, γεγονός το οποίο αυξάνει την απόδοση τους αλλά ταυτόχρονα και τον χρόνο εκπαίδευσής τους. Επιπρόσθετα, ένας μεγάλος όγκος δεδομένων παράγεται (ή λαμβάνεται) από πολλές διαφορετικές πηγές, με αποτέλεσμα η επικοινωνία που μπορεί να απαιτείται για την κεντρικοποίησή τους σε μια υπολογιστική μηχανή να είναι απαγορευτικά μεγάλη. Τέτοιου είδους προβλήματα έχουν αποτελέσει σημαντικό ερέθισμα για την επιστημονική κοινότητα, ένα μεγάλο μέρος της οποίας έχει επικεντρωθεί τα τελευταία χρόνια στην εφεύρεση αλγορίθμων για την παράλληλη εκπαίδευση των νευρωνικών δικτύων. Παρόλα αυτά, οι σημερινές μέθοδοι παράλληλης εκπαίδευσης τεχνητών νευρωνικών δικτύων, δεν λαμβάνουν υπόψην την εκτεταμένη  επικοινωνία που μπορεί να προκαλέσουν στην εκάστοτε κατανεμημένη τοπολογία, γεγονός που μπορεί για λόγου χάρη να αποβεί ενεργειακά κοστοβόρο σε κατανεμημένα συστήματα αισθητήρων. Σε αυτή την εργασία παρουσιάζουμε μια πρωτοπόρα μέθοδο για την παράλληλη εκπαίδευση νευρωνικών δικτύων χρησιμοποιώντας τη μέθοδο Functional Geometric Monitoring, ένα πρωτόκολλο επικοινωνίας για την παρακολούθηση κατανεμημένων ροών δεδομένων. Στόχος της μελέτης αυτής ήταν η μεγιστοποίηση της απόδοσης του κεντρικού νευρωνικού και η ελαχιστοποίηση της επικοινωνίας της κατανεμημένης τοπολογίας. Αποδεικνύουμε εμπειρικά ότι η προσέγγισή μας επιτυγχάνει μέχρι και 95% μείωση της επικοινωνίας της κατανεμημένης τοπολογίας αστέρα, ενώ παράλληλα διατηρεί υψηλή την ποιότητα των προβλέψεων ενός βαθιού συνελικτικού νευρωνικού δικτύου (Deep Convolutional Neural Network) και ενός απλού Adaptive Online Sequential Extreme Learning Machine (AOS-ELM) ταξινομητή.