title: A reconfigurable logic based accelerator for bioinspired DNN architectures with dendritic structure and a novel learning rule
title: Σχεδίαση επιταχυντή βασισμένου σε αναδιατασσόμενη λογική για βιοεμπνευσμένες αρχιτεκτονικές με δενδριτική δομή και νέο κανόνα εκμάθησης για βαθιά νευρωνικά δίκτυα

Creators: name: Παλατιανα Νικολεττα
Publisher: name: Technical University of Crete
Year: 2024

description: Artificial Neural Networks (ANNs) have been successfully used in Deep
Learning architectures to solve a variety of challenging machine learning
problems. Nevertheless they usually require a considerable amount of energy.
In addition, they demonstrate weakness in continually learning new
tasks without forgetting the previous ones. They require multiple sets of data
and a considerable amount of trainable parameters. The brain, on the other
hand, operates at a very low energy level without facing problems learning
new things. By drawing inspiration from the human brain and overcoming
the limitations of ANNs, the Poirazi lab at IMBB-FORTH developed a
bio-inspired architecture that incorporates the dendritic structure and receptive
field, along with a novel approach to Hebbian learning. In this thesis
a lower-level Numpy implementation was developed based on their initial
Keras implementation in order to analyze and understand this model and
its training process in greater depth. This was followed by the design, implementation,
and download of an FPGA-based architecture onto the Xilinx
ZCU 102 board for training the ANN. Using the high parallelism and power
efficiency of the FPGA, our architecture has accelerated training and reduced
power consumption. In particular, our proposed FPGA implementation executes
an epoch of training (for the MNIST dataset) in only 13.46 seconds
rather than 490 seconds on the CPU (Keras) and 45 seconds on the GPU
(Keras). Furthermore, it achieves 346 times greater energy efficiency than the
CPU implementation (Keras) and 57.5 times greater energy efficiency than
the GPU implementation (Keras).
description: Τα Artificial Neural Networks (ANNs), έχουν χρησιμοποιηθεί με επιτυχία σε
αρχιτεκτονικές βαθιάς μάθησης για την επίλυση μιας σειράς δύσκολων προβλη-
μάτων μηχανικής μάθησης. Ωστόσο, προκειμένου να επιτύχουν τη μέγιστη από-
δοση, απαιτούν συνήθως σημαντική ποσότητα ενέργειας. Επιπλέον, δυσκολεύον-
ται στην εκμάθηση νέων εργασιών. Απαιτούν μεγάλο όγκο δεδομένων και σημαν-
τικό αριθμό παραμέτρων. Ο εγκέφαλος, από την άλλη πλευρά, λειτουργεί σε πολύ
χαμηλό επίπεδο ενέργειας χωρίς να αντιμετωπίζει προβλήματα στη συνεχή εκμάθηση.
Αντλώντας έμπνευση από τον ανθρώπινο εγκέφαλο και προσπαθώντας να ξεπερασ-
τούν οι περιορισμούς των ANNs, το εργαστήριο Poirazi στο IMBB-FORTH ανέπ-
τυξε μια βιο-εμπνευσμένη αρχιτεκτονική που ενσωματώνει δενδριτική δομή και receptive
field, μαζί με μια νέα προσέγγιση του Hebbian κανόνα. Με βάση την
αρχική υλοποίηση στο Keras στην παρούσα διπλωματική αναπτύχθηκε μια προσέγ-
γιση σε Numpy προκειμένου να αναλυθεί και να κατανοηθεί σε μεγαλύτερο βάθος
αυτό το μοντέλο και η διαδικασία εκπαίδευσής του. Στη συνέχεια, σχεδιάστηκε,
υλοποιήθηκε και μεταφορτώθηκε στην πλακέτα Xilinx ZCU 102 μια αρχιτεκτονική
βασισμένη σε FPGA για τη διαδικασία εκπαίδευσης αυτού του βιοεμπνευσμένου
ANN. Χρησιμοποιώντας τον υψηλό παραλληλισμό και την αποδοτικότητα ισχύος
της FPGA, η αρχιτεκτονική μας κατάφερε να επιταχύνει την εκπαίδευση και να μειώ-
σει την κατανάλωση ισχύος. Συγκεκριμένα, η προτεινόμενη υλοποίηση FPGA εκ-
τελεί μια εποχή εκπαίδευσης (για το σύνολο δεδομένων MNIST) σε μόλις 13,46
δευτερόλεπτα αντί για 490 δευτερόλεπτα στην CPU (Keras) και τα 45 δευτερόλεπτα
που απαιτεί η GPU (Keras). Επιπλέον, είναι 346 φορές πιο αποδοτική ενεργειακά
συγκριτικά με την CPU και 57.5 φορές συγκριτικά με την GPU.