Optical neural networks for deep learning applications
Authors: Μουργιάς-Αλεξανδρής Γεώργιος 
Published: November 2022

Η Βαθιά Μάθηση (ΒΜ) ανθίζει στις μέρες μας εξαιτίας μιας ανεύ προηγουμένου ζήτησης για επεργασία μεγάλου όγκου δεδομένων που προέρχεται από έξυπνες εφαρμογές όπως η ταξινόμηση εικόνων, η επεξεργασία λόγου, τα αυτοοδηγούμενα οχήματα, κτλ. Ταυτόχρονα, το τέλος του νόμου του Moore είναι ήδη μια πραγματικότητα που επιβάλλει φυσικούς περιορισμούς στην ανάπτυξη ενεργειακά αποδοτικών υπολογιστικών συστημάτων με υψηλές υπολογιστικές αποδόσεις με στόχο την αποδοτική εκτέλεση συγχρόνων εφαρμογών ΒΜ. Στο πλαίσιο αυτό, οι Φωτονικοί Επιταχυντές υλικού Νευρωνικών Δικτύων (ΦΕΝΔ) φαίνεται να είναι μια πολλά υποσχόμενη υποψήφια τεχνολογία για την μετά-Moore εποχή των υπολογιστικών συστημάτων υψηλής αποδοτικότητας όπου εισάγει τα πλεονεκτήματα της υψηλής ενεργειακής απόδοσης και υπολογιστικής ικανότητας των οπτικών στον τομέα των υπολογιστικών συστημάτων ΒΜ. Οι κύριες ερευνητικές συνεισφορές που έχουν πραγματοποιηθεί στο πλαίσιο αυτής της διατριβής αφορούν την ανάπτυξη των δομικών στοιχείων που απαιτούνται για την ανάπτυξη ΦΕΝΔ, όπως επίσης και αρχιτεκτονικές ΦΕΝΔ αλλά και τεχνικών εκπαίδευσης ΦΕΝΔ με επίγνωση της φύσης του φωτονικού υλικού ώστε να μεγιστοποιηθεί η απόδοση των υπολογιστικών συστημάτων ΒΜ βασιζόμενων σε ΦΕΝΔ.Ως πρώτο βήμα, αναπτύσσονται δομικά στοιχεία φωτονικού υλικού συμπεριλαμβανομένου μιας Σιγμοειδούς συνάρτησης ενεργοποίησης συμβατή με τα εδραιωμένα μοντέλα Νευρωνικών Δικτύων (ΝΔ), ένας γραμμικός νευρώνας σε φάση η οποία χρησιμοποιείται για να αποτυπωθεί το πρόσημο κάθε τιμής βάρους και Μνήμες Διευθυνσιοδότησης Περιεχομένου (ΜΔΠ) ώστε να αποθηκευτούν προσωρινά οι παράμετροι του μοντέλου ΒΜ πολύ κοντά στον ΦΕΝΔ. Τα ανεπτυγμένα δομικά στοιχεία επικυρώθηκαν πειραματικά χρησιμοποιώντας σήματα 10Gbaud. Επιπλέον, ο γραμμικός νευρώνας σε φάση συνδυάστηκε με την Σιγμοειδή συνάρτηση ενεργοποίησης σχηματίζοντας έναν πλήρως λειτουργικό νευρώνα ο οποίος αξιολογήθηκε μέσω προσομοιώσεων φυσικού επιπέδου στην ταξινόμηση εικόνων.Προχωρώντας προς την υλοποίηση ολοκληρωμένων αρχιτεκτονικών ΦΕΝΔ, σχεδιάστηκαν και επιδείχθηκαν διάφορες τοπολογίες και συστήματα ΝΔ με Ανατροφοδότηση (ΝΔΑ). Πιο συγκεκριμένα, ένας αμιγώς οπτικά ΝΔΑ με Πολυπλεξία Μήκους Κύματος (ΠΜΚ) σχεδιάστηκε και υλοποιήθηκε ώστε να αντιμετωπίσει τις προκλήσεις της αύξησης της ταχύτητας εφαρμογών ΒΜ με ανατροφοδότηση, όπου η ανατροφοδότηση κάθε νευρώνα είναι απαραίτητη ώστε να διασφαλίσει τις δυνατότητες μνήμης του ΦΕΝΔ. Στο πλαίσιο αυτό, επιδείχθηκε στα 10Gbaud μια τοπολογία ΠΜΚ 4 εισόδων, επιβεβαιώνοντας την σωστή λειτουργία της αμιγώς οπτικά εισόδου με ανατροφοδότηση. Επιπλέον, οι ιδιότητες μνήμης της τοπολογίας με ανατροφοδότηση επεκτάθηκαν μέσω μιας επιπλέον οπτικής πύλης ώστε να αποκτήσει ικανότητες επιλεκτικής μνήμης. Αυτή η νέα λειτουργικότητα έχει επικυρωθεί πειραματικά με χρονοσειρές των 10Gbaud, ενώ μια υλοποίηση του φωτονικού ΝΔΑ σε λογισμικό εκπαιδεύτηκε και δοκιμάστηκε επιτυχώς στην πρόβλεψη τιμών μετοχών. Έπειτα, ένα αμιγώς οπτικό σχήμα περιστροφής χώρου ακολουθούμενο από ένα φωτονικό ΝΔΑ αναπτύχθηκε με στόχο την εξάλειψη των αρνητικών βαρών αφού πρώτα γίνει ο κατάλληλος μετασχηματισμός του σήματος εισόδου που επιτρέπει αμιγώς οπτικά βάρη ΠΜΚ. Η προτεινόμενη τοπολογία επιδείχθηκε πειραματικά με την ταξινόμηση χρονοσειρών στα 10Gbaud, επιτυγχάνοντας την ταχύτερη αμιγώς οπτικά ταξινόμηση χρονοσειρών.Το επόμενο βήμα ήταν η μεταφορά των ανεπτυγμένων δομικών στοιχείων ΦΕΝΔ στην πλατφόρμα ολοκλήρωσης φωτονικών κυκλωμάτων σε μια πλατφόρμα ολοκλήρωσης μαζικής παραγωγής και συμβατή με την τεχνολογία CMOS όπως αυτή των φωτονικών κυκλωμάτων σε πυρίτιο. Σε αυτό το πλαίσιο, ένα Φωτονικό Νευρωνικό Δίκτυο σε Φάση (ΦΝΔΦ) με 4 εισόδους σχεδιάστηκε και υλοποιήθηκε σε πλατφόρμα πυριτίου χρησιμοποιώντας ήλεκτρο-οπτικά και θέρμο-οπτικά στοιχεία ώστε να υλοποιήσει το διάνυσμα εισόδου και τα βάρη, αντίστοιχα. Το υλοποιημένο ολοκληρωμένο κύκλωμα επαληθεύθηκε στην ταξινόμηση εικόνων με υπολογιστικό ρυθμό της τάξεως των 5 και 10 G/sec σε κάθε είσοδο, επιτυγχάνοντας ~99% ακρίβεια και 6 φορές μεγαλύτερη υπολογιστική ταχύτητα σε σύγκριση με τις ήδη υπάρχουσες σύγχρονες υλοποιήσεις φωτονικών κυκλωμάτων σε φάση. Για να επιτευχθεί αυτό, αναπτύχθηκαν επίσης οι κατάλληλες διεπαφές μεταξύ του αναλογικού φωτονικού ολοκληρωμένου κυκλώματος και των περιφερειακών ψηφιακών κυκλωμάτων όπως και η κατάλληλη μεθοδολογία αξιολόγησης, υλοποιώντας επαναδειγματοληψία σήματος, συγχρονισμό, φιλτράρισμα, ισοστάθμιση σήματος, κτλ., ώστε να διασφαλισθεί η υψηλή ποιότητα σήματος μετά από τους φωτονικούς υπολογισμούς.Τέλος, αναπτύχθηκαν και επιβεβαιώθηκαν πειραματικά τεχνικές εκπαίδευσης ΦΕΝΔ με γνώση υλικού ώστε να απελευθερωθούν πλήρως οι ικανότητες των ΦΕΝΔ. Στο πλαίσιο αυτό, η ανθεκτικότητα των ΦΕΝΔ σε μη-ντετερμινιστικές πηγές θορύβου μπορεί να αυξηθεί με την ανάπτυξη της κατάλληλης μεθόδου εκπαίδευσης με γνώση θορύβου. Η πειραματική επίδειξη του εκπαιδευμένου μοντέλου με γνώση θορύβου επέτυχε υψηλότερη ακρίβεια ταξινόμησης κατά 2.54%, το οποίο μπορεί να μεταφραστεί και σαν ανοχή σε 1.8dB υψηλότερες κυκλωματικές απώλειες. Έπειτα η επίδραση των ντετερμινιστικών πηγών θορύβου στο σύστημα μετριάστηκαν με την πρόταση ενός μοντέλου εκπαίδευσης με γνώση της απόκρισης του καναλιού το οποίο λαμβάνει υπόψη την συχνοτική απόκριση του υποκείμενου υλικού των ΦΕΝΔ. Η πειραματική επιβεβαίωση αυτής της πρωτοποριακής μεθόδου εμφάνισε 92.1% ακρίβεια ταξινόμησης σε χειρόγραφες εικόνες ψηφίων σε υπολογιστικούς ρυθμούς των 32G/sec σε κάθε είσοδο χρησιμοποιώντας φωτονικά στοιχεία με 7GHz φασματική απόκριση 3dB μόνο.