Local interpretation of machine learning models
Authors: Μολλάς Ιωάννης 
Published: December 2023

Η πρόοδος στον κλάδο της πληροφορικής, και η ανάπτυξη του πεδίου της τεχνητής νοημοσύνης και μηχανικής μάθησης έχει δημιουργήσει έφορο έδαφος για την ανάπτυξη εφαρμογών, με ασύλληπτες έως πρότινος δυνατότητες. Ωστόσο, η χρήση εφαρμογών μηχανικής μάθησης σε ορισμένους τομείς μπορεί να καταστεί απαγορευτική. Πράγματι, όταν διακυβεύονται ανθρώπινες ζωές, οι αποφάσεις των συστημάτων που βασίζονται στην τεχνητή νοημοσύνη πρέπει να είναι αξιόπιστες. Η επεξηγηματικότητα είναι ένας τρόπος για την ικανοποίηση αυτών των κριτηρίων. Ωστόσο, για να επιτευχθεί η επεξηγηματικότητα σε επίπεδο χρήστη, πρέπει να αντιμετωπιστούν προβλήματα που αφορούν την ερμηνευσιμότητα. Αυτό είναι ιδιαίτερα αισθητό σε συστήματα που εμπεριέχουν μοντέλα μηχανικής μάθησης. Παρόλο που ορισμένα μοντέλα είναι εγγενώς ερμηνεύσιμα, τα μοντέλα με τις καλύτερες επιδόσεις είναι μη ερμηνεύσιμα. Τα μοντέλα τυχαίου δάσους, για παράδειγμα, είναι πολύπλοκα μοντέλα που διαπρέπουν σε εργασίες όπως η ανίχνευση απάτης και η πρόβλεψη πιθανότητας ασθένειας. Παρόλο που τα δέντρα αποφάσεων που τα απαρτίζουν είναι ερμηνεύσιμα, τα τυχαία δάση δεν παρέχουν ερμηνείες για τις αποφάσεις τους εγγενώς. Επιπλέον, τα νευρωνικά δίκτυα που επιτυγχάνουν υπεράνθρωπες επιδόσεις κατά την επεξεργασία δομημένων αλλά και αδόμητων δεδομένων είναι σχεδόν πάντα μη ερμηνεύσιμα από τον σχεδιασμό τους λόγω του μεγάλου αριθμού των παραμέτρων τους. Αυτά τα μοντέλα αποδίδουν εκπληκτικά σε πολλές διεργασίες, συμπεριλαμβανομένης της ανίχνευσης ρητορικής μίσους και της προγνωστικής συντήρησης. Η παρούσα διατριβή διερευνά τα δύο αυτά μοντέλα, επιδιώκοντας να αντιμετωπίσει τα προβλήματα ερμηνευσιμότητάς τους. Ξεκινώντας από τα νευρωνικά δίκτυα, αναπτύχθηκε η τεχνική LioNets, η οποία λαμβάνει ενεργά υπόψη την αρχιτεκτονική και τις κρυφές αναπαραστάσεις. H τεχνική LioNets, δοκιμασμένη σε δεδομένα κειμένου και χρονοσειρών, παράγει γείτονες στον κρυφό χώρο του προ τελευταίου επίπεδου του νευρωνικού, για να εξασφαλίσει γειτνίαση μεταξύ των παραγόμενων γειτόνων και της υπό εξέταση περίπτωσης. Η τεχνική LionForests σχεδιάστηκε για να εξηγεί τυχαία δάση, παρέχοντας κανόνες ως εξηγήσεις. Για να το πετύχει αυτό, εξάγει κάθε διαδρομή απόφασης από όλα τα δέντρα που αφορούν μια απόφαση και τις συνδυάζει αποτελεσματικά παράγοντας έναν κανόνα χαμηλής πολυπλοκότητας. Αναπτύχθηκε για εργασίες δυαδικής ταξινόμησης, αλλά αντιμετωπίζει εργασίες ταξινόμησης πολλαπλών κλάσεων και πολλαπλών ετικετών, καθώς και εργασίες παλινδρόμησης. Με την εισαγωγή τέτοιων τεχνικών, για να καταστεί δυνατή η ερμηνευσιμότητα σύνθετων μοντέλων σε διάφορες εργασίες επιβλεπόμενης μάθησης, λήφθηκαν υπόψη συγκεκριμένες ιδιότητες κατά τη διαδικασία, ενώ προτάθηκαν και νέες, όπως η αποτελεσματικότητα. Η τελευταία, σχετίζεται με εξηγήσεις σε μορφή κανόνων, και διασφαλίζει ότι η εξήγηση δεν περιέχει παραπλανητικά ή λανθασμένα στοιχεία. Για την αξιολόγηση της απόδοσης αυτών των νέων τεχνικών, χρησιμοποιήθηκαν διάφορες μετρικές της βιβλιογραφίας, καθώς και μερικές νέες. Η μετρική της ειλικρίνειας, ειδικότερα, παρουσιάστηκε ως παραλλαγή της αληθοφάνειας, με στόχο την προσομοίωση ανήσυχων χρηστών που αξιολογούν μόνοι τους μια εξήγηση. Στο πλαίσιο της παρούσας διατριβής, διερευνήθηκε επίσης μια τεχνική μετα-επεξήγησης, η MetaLion, με στόχο την παραγωγή επεξηγήσεων μέσω της συγκέντρωσης διαφόρων ερμηνειών για μια συγκεκριμένη περίπτωση χρησιμοποιώντας την ειλικρίνεια. Κοινό χαρακτηριστικό όλων των συνεισφορών που αναφέρθηκαν είναι το εύρος των παραγόμενων ερμηνειών. Ενώ υπάρχουν τεχνικές ερμηνευσιμότητάς που παρέχουν ερμηνείες που ισχύουν για ολόκληρη τη δομή του μοντέλου, οι καθολικές ερμηνείες, η παρούσα διατριβή παρουσιάζει τεχνικές που παρέχουν τοπικές ερμηνείες, οι οποίες είναι συγκεκριμένες για μεμονωμένες περιπτώσεις.