Structured Efficient Self-Attention Showcased on Transformer-based Object Detectors
Creators: name: Μηλίτσης, Νικόλαος Μάριος Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Ανίχνευση Αντικειμένων
Μετασχηματιστές
Μηχανισμοί αυτο - προσοχής
Object Detection
Transformers
Self - Attention

description: Τα δίκτυα Μετασχηματιστών Transformers έχουν εξελιχθεί σε μία από τις πιο ισχυ- ϱές και καινοτόμες αρχιτεκτονικές της σύγχρονης μηχανικής μάθησης, υπερβαίνο- ντας σε πολλές περιπτώσεις παραδοσιακά μοντέλα όπως τα Συνελικτικά Νευρωνικά ∆ίκτυα (CNNs) και τα Αναδρομικά Νευρωνικά ∆ίκτυα (RNNs). Τα CNNs είναι εξαι- ϱετικά στην εξαγωγή τοπικών χωρικών χαρακτηριστικών από εικόνες, αλλά περιο- ϱίζονται στην κατανόηση των καθολικών σχέσεων. Από την άλλη πλευρά, τα RNNs είναι ικανά στην επεξεργασία ακολουθιακών δεδομένων, αλλά έχουν περιορισμούς στη διαχείριση μακροχρόνιων συσχετίσεων και είναι υπολογιστικά απαιτητικά. Οι Transformers, με την εισαγωγή του Μηχανισμού Προσοχής Πολλαπλών Κεφαλών (MHSA), καταφέρνουν να επεξεργάζονται παράλληλα ακολουθίες και να συλλαμ- ϐάνουν καθολικές συσχετίσεις με μεγαλύτερη ακρίβεια από τα RNNs, προσφέροντας ταυτόχρονα μια πιο προηγμένη κατανόηση πολύπλοκων μοτίβων σε σύγκριση με τα CNNs. Ωστόσο, το κύριο μειονέκτημα των Transformers είναι η μεγάλη υπολογιστική τους πολυπλοκότητα. Ο υπολογισμός της προσοχής στο ΜΗΣΑ έχει τετραγωνική πο- λυπλοκότητα ως προς το μήκος της ακολουθίας N . Στα περισσότερα πρακτικά προβλήματα, ιδιαίτερα στην Υπολογιστική ΄Οραση, όπως η ανίχνευση αντικειμένων (Object Detection), η διάσταση των διανυσμάτων χαρακτηριστικών (D) είναι συνήθως πολύ μεγαλύτερη από το μήκος της ακολουθίας (D &gt; N ). Αυτή η ανισορροπία δη- μιουργεί σημαντικά προβλήματα, καθώς οι Transformers απαιτούν την προβολή αυ- τών των διανυσμάτων χαρακτηριστικών σε διανυσματικούς χώρους χαμηλότερων δια- στάσεων για να καταστούν υπολογιστικά διαχειρίσιμοι. Ωστόσο, αυτή η διαδικασία συχνά οδηγεί σε απώλεια πληροφορίας, με αποτέλεσμα να απαιτούνται περισσότερα επίπεδα προσοχής για να αντισταθμιστεί, αυξάνοντας περαιτέρω την πολυπλοκότητα του μοντέλου. Για την αντιμετώπιση αυτής της πρόκλησης, η παρούσα διπλωματική εργασία προτε- ίνει ένα καινοτόμο μοντέλο προσοχής, το Structured Efficient Self-Attention (SESA). Το SESA είναι μια νέα προσέγγιση στην υπολογιστική αποδοτικότητα του ΜΗΣΑ, ϐασισμένη στο Λήμμα Johnson-Lindenstrauss (JL). Εφαρμόζοντας έναν Προσαρμοστι- κό Γρήγορο Μετασχηματισμό JL (A-FJLT), επιβάλλουμε κυκλική δομή στους πίνακες προβολής που προβάλλουν τα διανύσματα χαρακτηριστικών στους υποχώρους των ερωτημάτων (queries), των κλειδιών (keys) και των τιμών (values) του Μηχανισμού Προσοχής Πολλαπλών Κεφαλών0. Αυτό μας επιτρέπει να μειώσουμε τον αριθμό των εκπαιδεύσιμων παραμέτρων κατά 75%, χωρίς να επηρεαστεί σημαντικά η απόδοση του μοντέλου. Χρησιμοποιώντας κυκλικούς πίνακες προβολής και την αποδοτικότητα του Γρήγο- ϱου Μετασχηματισμού Φουριερ (FFT), καταφέρνουμε να μειώσουμε τη ϑεωρητική υ- πολογιστική πολυπλοκότητα της προβολής στους στους υποχώρους των ερωτημάτων (queries), των κλειδιών (keys) και των τιμών (values), σε O(D log D). Αυτή η καινοτομία καθιστά τους Transformers πιο αποδοτικούς σε συστήματα με περιοϱισμένους πόρους GPU, επιτρέποντας τη χρήση μεγαλύτερων παρτίδων δεδομένων (batches) κατά τη διάρκεια της εκπαίδευσης και οδηγώντας σε πιο ομαλή σύγκλιση του μοντέλου. Αξιοποιώντας την καινοτόμα δομή του SESA, μπορούμε να διαχειϱιστούμε αποτελεσματικά διανύσματα χαρακτηριστικών υψηλών διαστάσεων, που είναι κρίσιμα για την αναπαράσταση σημασιολογικής πληροφορίας σε περίπλοκα προβλήματα όπως η ανίχνευση αντικειμένων.
description: The Multi-Head Self-Attention (MHSA) mechanism forms the backbone of modern Transformer architectures, enabling unparalleled expressive power by capturing complex dependencies across input sequences. Despite their performance advantages, the extensive parameterization of MHSA poses significant challenges, particularly in terms of computational cost and memory usage. This complexity becomes especially problematic in high-dimensional tasks like object detection, where transformers must manage both large feature spaces and long sequences. The substantial number of parameters required for projection matrices in tradi- tional MHSA limits its scalability and applicability in resource-constrained set- tings. This thesis introduces the Structured Efficient Self-Attention (SESA) module, a novel approach that drastically reduces the parameterization of MHSA without sacrificing performance. Inspired by the Johnson-Lindenstrauss (JL) lemma, SESA employs an Adaptive Fast JL Transform (A-FJLT), which replaces the full projection matrices used in standard MHSA with a more efficient, structured representation. Specifically, each projection matrix is parameterized by a single learnable vector, resulting in a 75% reduction in learnable parameters while pre- serving the expressive capabilities of the model. This substantial reduction in parameter count not only decreases memory usage but also lowers the computa- tional complexity of the attention mechanism to O(D log D), where D represents the dimensionality of the input features. The effectiveness of SESA is evaluated through extensive experimentation on the challenging COCO object detection benchmark, where it demonstrates compa- rable performance to traditional MHSA models despite using significantly fewer computational resources. By enabling the use of larger batch sizes and reducing training times, SESA opens new possibilities for deploying transformers in real- time and resource-limited environments, such as edge devices and mobile plat- forms. This work thus represents a significant advancement in the development of more efficient transformer architectures, offering a promising path forward for both natural language processing and computer vision tasks.