Local classifier explainability based on keyphrase extraction
Creators: name: Ακριβούσης, Δημήτριος Αλεξίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Επεξηγησιμότητα μηχανική μάθησης
Φράσεις κλειδιά
Εξαγωγή φράσεων κλειδιών
Keyphrase Interpretability
Transformers Interpretability
CAKE

description: Machine learning has become widely usable across various domains, with its most prominent application being the natural language processing domain. Transformer models have become an integral part of natural language processing, being the go-to model for text-based tasks. Due to the high-risk tasks they are assigned to solve, some requirements must be fulfilled by them. One of the most important is interpretability. Interpretability as a sub-field of machine learning has emerged, trying to explain non-interpretable models, such as transformers. In this thesis, a novel interpretation technique for transformer classifiers, called CAKE, is presented, as well as an extended variant applicable to any ML classifier model (CAKES). Being applicable to both, single and multi-label classification, CAKE extracts keyphrases from documents that are related to a class/label and ranks them. After ranking them, a filtering step maintains only the top $k$ of them. CAKE, finally, outputs interpretations based on these keyphrases and their scores, per class/label. CAKE is sparse, fast, and highly controllable by the user, and it can output interpretations in the less explored keyphrases-level or the standard word-level. CAKE was evaluated in multiple datasets, in both single and multi-label scenarios with its word-level explanations, where it showed comparable results to other interpretatability techniques.
description: Η μηχανική μάθηση χρησιμοποιείται σε διάφορους τομείς που συναντάμε στην καθημερινότητα, με έναν από τους πιο δημοφιλής να είναι η επεξεργασία φυσικής γλώσσας. Τα μοντέλα transformer έχουν γίνει αναμφισβήτητο κομμάτι της επεξεργα- σίας φυσικής γλώσσας και προτιμώνται σε διεργασίες που σχετίζονται με κείμενα. Όμως, πολλές φορές αυτά τα μοντέλα αναλαμβάνουν να πάρουν αποφάσεις σε εφαρμογές υψηλού ρίσκου και αυτό τα κάνει να πρέπει να πληρούν κάποιες προϋπο- θέσεις. Μια από τις πιο βασικές προϋποθέσεις είναι η ικανότητα να επεξηγούν τις προβλέψεις τους, κάτι που τα transformer μοντέλα αδυνατούν να κάνουν. Μια υποπεριοχή της μηχανική μάθησης που έχει δημιουργηθεί για να καταπολεμήσει αυτό το πρόβλημα είναι η περιοχή της ερμηνευσιμότητας. Σε αυτήν την εργασία, παρουσιάζεται η καινοτόμα τεχνική CAKE για τη επεξήγηση transformer μοντέλων για κατηγοριοποίηση κειμένων, και στην συνέχεια επεκτείνεται στην τεχνική CAKES, για επεξήγηση οποιουδήποτε μοντέλου κατηγοριοποίησης. Η τεχνική CAKE εξάγει φράσεις κλειδιά από το κείμενο και τις κατατάσσει για κάθε ετικέτα, χρησιμοποιώ- ντας ένα μέτρο ομοιότητας. Μετά την κατάταξη κρατούνται οι πιο σχετικές, και επιστρέφονται επεξηγήσεις βάση των φράσεων-κλειδιών. Το βάρος της κάθε φράσης είναι η κατάταξη της για κάθε ετικέτα. Η CAKE επιστρέφει πολύ αραιές επεξηγήσεις, είναι ιδιαίτερα γρήγορη, και πλήρως ελεγχόμενη από τον χρήστη, ενώ μπορεί να δώσει επεξηγήσεις είτε σε επίπεδο φράσεων-κλειδιών, που είναι ένας τομέας λιγό- τερο μελετημένος στην βιβλιογραφία, είτε σε επίπεδο λέξεων. Η αξιολόγηση της τεχνικής CAKE έγινε με πληθώρα συνόλων δεδομένων και σε μία ετικέτα αλλά και με πολλαπλές, σε επίπεδο επεξήγησης λέξεων και προτάσεων, όπου και έδειξε συγκρίσιμα αποτελέσματα με άλλες τεχνικές του πεδίου.