Simulating the Integration of Photonic Components in Neural Networks
Creators: name: Ασημόπουλος, Οδυσσέας Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Φωτονικά Νευρωνικά Δίκτυα
Επιταχυντής Πολλαπλασιασμού Πινάκων
Φωτονική Υπολογιστική
Photonic Neural Networks
Matrix Multiplication Accelerator
Photonic Computing

description: This thesis explores the integration of photonic components within neural network architectures, emphasizing matrix multiplication computations to enhance computational performance and energy efficiency in artificial intelligence (AI) applications. Traditional neural networks, reliant on GPU/TPU clusters for training and inference, face physical and power limitations that may constrain future performance. Photonic systems, which leverage the parallel processing capabilities of light and lower power requirements, offer a promising alternative. The study begins with a comprehensive review of neural networks, detailing their historical evolution, primary architectures, and computational complexities, followed by foundational insights into photonic computing. The theoretical framework of photonic elements is analyzed, focusing on critical components such as digital-to-analog converters (DACs), Mach-Zehnder Modulators (MZMs), analog-to-digital converters (ADCs), photodiodes (PDs), and lasers, with particular attention to their noise characteristics, operational intricacies. Simulations were developed in Python using a two-layer neural network model with systematic parameter variation of photonic hardware. Parameters such as Effective Number of Bits (ENOB), quantization levels, MZM extinction ratios, filter cutoff frequencies, and insertion loss values were evaluated using the Iris dataset. Experimental results show that photonic neural networks achieve accuracy comparable to traditional GPU-based neural networks. Moreover, a hybrid approach combining photonic and electronic components could provide a viable solution, capitalizing on the strengths of both technologies. This study proves that the use of photonic components for matrix multiplication reveals significant potential, though further testing, especially on larger datasets and across diverse neural network architectures, is necessary to fully realize this promise.
description: Αυτή η διπλωματική διατριβή διερευνά τη δυνατότητα ενσωμάτωσης φωτονικών στοιχείων στις αρχιτεκτονικές νευρωνικών δικτύων, με έμφαση στην υλοποίηση υπολογισμών πολλαπλασιασμού πινάκων για την ενίσχυση της υπολογιστικής απόδοσης και της ενεργειακής αποδοτικότητας σε εφαρμογές τεχνητής νοημοσύνης. Τα παραδοσιακά νευρωνικά δίκτυα, τα οποία στηρίζονται στις συστοιχίες Καρτών Γραφικών (GPU)/Μονάδα Επεξεργασίας Τανυστών (TPU) για εκπαίδευση και πρόβλεψη, πλησιάζουν φυσικούς και ενεργειακούς περιορισμούς που ενδέχεται να περιορίσουν τις μελλοντικές τους επιδόσεις. Η αξιοποίηση φωτονικών στοιχείων προσφέρει μια εναλλακτική, αξιοποιώντας τη φυσική παράλληλη επεξεργασία του φωτός και τις χαμηλότερες απαιτήσεις ισχύος. Η μελέτη ξεκινά με μια ολοκληρωμένη ανασκόπηση των νευρωνικών δικτύων, καλύπτοντας την ιστορική τους εξέλιξη, τις βασικές αρχιτεκτονικές και την υπολογιστική πολυπλοκότητά τους, ακολουθούμενη από τη θεμελίωση της φωτονικής υπολογιστικής. Το θεωρητικό πλαίσιο των φωτονικών στοιχείων αναλύεται διεξοδικά με ιδιαίτερη έμφαση στα χαρακτηριστικά θορύβου και τις ιδιαιτερότητες της λειτουργίας τους. Οι προσομοιώσεις, οι οποίες υλοποιήθηκαν σε Python, χρησιμοποιούν ένα δύο-επιπέδων νευρωνικό δίκτυο με συστηματική μεταβολή των παραμέτρων των φωτονικών στοιχείων, και δοκιμάστηκαν με το σύνολο δεδομένων Iris. Τα πειραματικά αποτελέσματα δείχνουν ότι τα φωτονικά νευρωνικά δίκτυα επιτυγχάνουν συγκρίσιμη ακρίβεια με τα παραδοσια κά νευρωνικά δίκτυα που εκτελούν πράξεις σε κάρτες γραφικών. Επιπλέον, μια υβριδική λύση που συνδυάζει φωτονικά και ηλεκτρονικά στοιχεία θα μπορούσε να προσφέρει μια βιώσιμη προσέγγιση, εκμεταλλευόμενη τα πλεονεκτήματα και των δύο τεχνολογιών. Η μελέτη αποδεικνύει ότι η χρήση φωτονικών στοιχείων στην πραγματοποίηση πολλαπλασιασμών αναδεικνύει σημαντικές δυνατότητες, απαιτώντας όμως περαιτέρω δοκιμές, ιδιαίτερα με μεγαλύτερα σύνολα δεδομένων και σε διαφορετικές αρχιτεκτονικές νευρωνικών δικτύων.