Noise Aware Training for Post-Training Mixed-Precision Quantization of Neural Networks
Creators: name: Χανδρινός, Νικόλαος Γ.
Publisher: name: Aristotle University of Thessaloniki
Year: 2025
Subjects: Κβάντιση
Νευρωνικά Δίκτυα
Βαθιά Μάθηση
Quantization
Neural Networks
Deep Learning

description: Στην παρούσα εργασία, παρουσιάζουμε μια αυτοματοποιημένη μέθοδο μικτής ακριβείας κβαντοποίησης, η οποία εισάγει το κατάλληλο bit ακρίβειας σε κάθε επίπεδο ενός νευρωνικού δικτύου χωρίς την ανάγκη εξαντλητικής αναζήτησης όλων των πιθανών συνδυασμών. Η προσέγγισή μας βασίζεται στην εισαγωγή θορύβου μέσω εκπαιδεύσιμων παραμέτρων για κάθε επίπεδο, επιτρέποντας στο νευρικό δίκτυο να μάθει την ανοχή τού στον θόρυβο της κβαντοποίησης. Αντί να κβαντοποιουμε το μοντέλο κατά τη διάρκεια της εκπαίδευσης, προσθέτουμε Γκαουσιανό θόρυβο στις εισόδους και στα βάρη κάθε επιπέδου του μοντέλου. Ο θόρυβος αυτός προσομοιώνει το θόρυβο κβάντισης, διατηρώντας παράλληλα τη δυνατότητα υπολογισμού των παραγώγων μέσω της μεθόδου reparameterization. Ο εισαγώμενος θόρυβος κβάντισης καθορίζεται από το εύρος του σήματος του εκάστοτε επιπέδου και το αντίστοιχο bit πολυπλοκότητας. Η εκπαίδευση πραγματοποιείται με τη βελτιστοποίηση τόσο των βαρών του δικτύου όσο και των παραμέτρων θορύβου «α» οι οποίες συνδέονται γραμμικά με το bit πολυπλοκότητας κάθε επιπέδου. Η συνάρτηση κόστους αποτελείται από δύο όρους: τη βασική συνάρτηση του προβλήματος (π.χ. cross-entropy) και έναν όρο regulatization, ο οποίος ενθαρρύνει την εισαγωγή μεγαλύτερης ποσότητας θορύβου, οδηγώντας σε χαμηλότερα bit-width. Μετά την εκπαίδευση, οι τιμές «α» χρησιμοποιούνται για την ανάθεση bit πολυπλοκοτητας στα επίπεδα, εφαρμόζοντας post-train κβαντοποίηση. Δοκιμάσαμε τη μέθοδό σε ένα πληρη συνδεδεμενο νευρικό δίκτυο τριών επιπέδων στο σύνολο δεδομένων MNIST και σε ένα ResNet-8 στο CIFAR-10. Συγκρίναμε την απόδοση της προτεινόμενης μεθοδολογίας με άλλες τεχνικές. Τα αποτελέσματά μας δείχνουν ότι η προσέγγισή μας επιτυγχάνει καλύτερη απόδοση με παρόμοια μεγέθη μοντέλου. Επιπλέον, εξετάσαμε τον χρόνο εκπαίδευσης των μοντέλων και δείξαμε ότι η προτεινόμενη μέθοδος είναι σημαντικά πιο γρήγορη από άλλες, αφού δεν απαιτεί προσομοίωση της κβαντοποιησης κατά την διαρκεια της εκπαίδευσης. Συνολικά, η μέθοδός μας παρέχει έναν πιο αποδοτικό τρόπο επιλογής των bit σε κάθε επίπεδο των νευρωνικών δικτύων, διατηρώντας υψηλή απόδοση με μικρό υπολογιστικό κόστος.
description: The high computational cost and memory requirements of deep learning models have led to a growing interest in quantization techniques to enable efficient deployment on resource-constrained devices. Post-training quantization offers reduced training time but often results in lower accuracy compared to quantization-aware training. In mixed-precision quantization settings, finding the optimal bit precision for each layer is computationally intensive, especially in deep architectures where possible bit permutations grow exponentially. To this end, we propose an automated mixed-precision quantization method that introduces trainable noise to the weights, and inputs of each layer. This noise is controlled by a trainable parameter “α”, optimized through a dedicated loss function, allowing us to estimate the quantization noise each layer can tolerate without simulating the quantization process during training. Based on the learned noise tolerance, we assign different bit precisions to each layer in a post-training quantization manner, allowing the model to "recommend" the appropriate bit precision per layer. Our approach significantly improves the accuracy of post-training quantization to levels comparable with quantization-aware training while maintaining efficient training speeds. We validate our method across various neural network architectures and tasks, demonstrating its ability to reduce the average bit precision without exhaustive search over bit configurations while also maintaining high accuracy. This work advances the deployment of deep learning models in resource-constrained environments by automating mixed-precision quantization through trainable noise estimation. Our method eliminates the need for exhaustive bit precision searches across deep neural network layers, substantially reducing computational demands and deployment time. By enabling models to "self-recommend" optimal bit precision per layer, without the need to simulate quantization, we achieve accuracy levels comparable to quantization-aware training while maintaining efficient training speeds. This innovation enables the use of neural networks on devices with limited computational resources, such as embedded systems.