Robust architecture-agnostic and noise resilient training of photonic deep learning model
Creators: name: Κίρτας, Εμμανουήλ Αντωνίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Αρχικοποίηση Νευωρικών Δικτύων
Φωτονικά Νευρωμορφικά Νευρωνικά Δίκτυα
Ανθεκτική στον θόρυβο εκπαίδευση
Neural Networks Initialization
Photonic Neuromorphic Neural Networks
Noise-resilient training

description: Neuromorphic photonic accelerators for Deep Learning (DL) increasingly gain attention over the recent years due to their ability for ultra fast matrix-based calculations and low power consumption providing a great potential for DL implementations to deal with a wide range of different applications. At the same time, physical properties of the optical components hinder their application since they introduce a number of limitations, such as easily saturated activation functions as well as the existence of various noise sources. As a result photonic DL models are especially challenging to be trained and deployed, compared with regular DL models, since existing methods do not take into account the aforementioned constraints. To overcome these limitations and motivated by the fact that the information lost in one layer cannot be easily recovered when gradient-descent based algorithms are employed, we propose a novel training method for photonic neuromorphic architectures that is capable of taking into account a wide range of limitations of the actual hardware, including noise sources and easily saturated activation mechanisms. Compared to existing works, the proposed method takes a more holistic view on the training process, focusing both on the initialization process, as well as on the actual weight updates. The effectiveness of the proposed method is demonstrated by using different photonic architectures on two challengingproblems: a) a noisy photonic recurrent neural network evaluated onhigh-frequency time series forecasting, and b) a deep photonic feed-forward setup, consisting of a transmitter, noisy channel and receiver, which is used as an intensity modulation/direct detection system (IM/DD).
description: Τα τελευταία χρόνια παρατηρείται ένα αυξανόμενο ενδιαφέρον στην έρευνα των Νευρομορφικών Φωτονικών Αρχιτεκτονικών για την χρήση τους στο πεδίο της Βαθιάς Μάθησης. Το ενδιαφέρον προκύπτει από την δυνατότητα των φωτονικών νευρομορφικών αρχιτεκτονικών στην διεκπεραίωση πολύ γρήγορων, κοντά στην ταχύτητα του φωτός, πράξεων μεταξύ πινάκων με την ελάχιστη κατανάλωση ενέργειας, προσφέροντας με τον τρόπο αυτό μια τεράστια προοπτική στις αρχιτεκτονικές βαθιάς μάθησης και την χρήση τους σε πλήθος εφαρμογών. Εντούτοις, οι φυσικές ιδιότητες του φωτονικού υλικού (hardware) πολλές φορές περιορίζουν την εφαρμογή των βαθιών αρχιτεκτονικών μάθησης καθώς εισάγουν μια σειρά από περιορισμούς που δυσχεραίνουν την εκπαίδευση. Οι περιορισμοί αυτοί εκτός των άλλων περιλαμβάνουν τις εύκολα κορέσιμες συναρτήσεις ενεργοποίησης καθώς επίσης και την ύπαρξη θορύβου στις φωτονικές υλοποιήσεις. Ως αποτέλεσμα, η εκπαίδευση και η εφαρμογή των βαθιών αρχιτεκτονικών μάθησης με την χρήση νευρομορφικών φωτονικών υλοποιήσεων, γίνεται ιδιαίτερα πιο απαιτητική από αυτές των παραδοσιακών τεχνικών νευρωνικών δικτύων λογισμικού, καθώς δεν λαμβάνουν υπόψη τους παραπάνω περιορισμούς. Παρακινούμενοι από το γεγονός ότι η πληροφορία που χάνεται σε ένα επίπεδο δεν μπορεί να ανακτηθεί εύκολα στα επόμενα, όταν γίνεται χρήση των αλγορίθμων εκπαίδευσης βασισμένη σε παραγώγους, προτείνουμε μια καινοτόμα μέθοδο εκπαίδευσης νευρομορφικών φωτονικών αρχιτεκτονικών που έχει την δυνατότητα να λαμβάνει υπόψη, τους πραγματικούς περιορισμούς των φωτονικών υλοποιήσεων, όπως αυτές του θορύβου και των εύκολα κορέσιμων συναρτήσεων ενεργοποίησης. Σε αντίθεση με τις υπάρχουσες δουλειές της βιβλιογραφίας, στην μέθοδο που προτείνουμε εφαρμόζουμε μια ολιστική διαδικασία εκπαίδευσης, που περιλαμβάνει την αρχικοποίηση των νευρωμορφικών νευρικών δικτύων καθώς και της ανανέωσης των βαρών. Τέλος για την επίδειξη της αποτελεσματικότητας της προτεινόμενης μεθόδου, την εφαρμόζουμε σε δύο απαιτητικές εφαρμογές φωτονικών νευρομορφικών αρχιτεκτονικών: (α) ένα ενθόρυβο φωτονικό ανατροφοδοτούμενο νευρωνικό δίκτυο (Recurrent Neural Network) για πρόβλεψη μεγάλης συχνότητας χρηματιστηριακών χρονοσειρών (β) μια βαθιά φωτονική αρχιτεκτονική, που αποτελείται από έναν πομπό, ένα ενθόρυβο κανάλι και έναν δέκτη, το οποίο χρησιμοποιείται σαν ένα οπτικό σύστημα διαμόρφωσης έντασης και άμεσης ανίχνευσης (Intensity Modulation/direct system detection).