Explanatory techniques for the interpretation of deep neural networks
Creators: name: Μπόλαρη, Αγγελική Μάρκου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Επεξηγήσημη Τεχνητή Νοημοσύνη (ΕΤΝ)
Explainable Artificial Intelligence (XAI)

description: Τα βαθιά νευρωνικά δίκτυα (ΒΝΝ) επέτρεψαν τη δημιουργία σύνθετων μοντέλων, των οποίων τα αποτελέσματα είναι μεγάλης ακρίβειας και υψηλής ποιότητας. Παρ'όλες τις εντυπωσιακές επιδόσεις, αυτού του είδους τα μοντέλα συνήθως αντιμετωπίζονται από τους τελικούς χρήστες αλλά και τους ερευνητές ως μαύρα κουτιά. Αυτό οφείλεται στην πολυπλοκότητα τους, η οποία δεν επιτρέπει την κατανόηση της σύνθετης λογικής βάσει της οποίας παράγεται το τελικό αποτέλεσμα. Σε πολλές εφαρμογές, όπως αυτές που αφορούν διάγνωση ασθενειών, αποδοχή ή απόρριψη δανείου ή επενδυτικές επιλογές, είναι αναγκαία για τον κόσμο που τις χρησιμοποιεί η δυνατότητα επεξήγησης των αποφάσεων. Αυτή η έλλειψη διαφάνειας μειώνει την εμπιστοσύνη των χρηστών και έχει ως αποτέλεσμα την απόρριψη της αποδοχής των μεθόδων. Η ανάγκη για επεξήγηση των αποφάσεων των ΒΝΝ έχει δημιουργήσει τον κλάδο της Επεξηγήσημης Τεχνητής Νοημοσύνης (ΕΤΝ), ο οποίος έχει ανέβει πολύ σε δημοτικότητα τα τελευταία χρόνια. Σ' αυτή τη διπλωματική εργασία, προσφέρεται κατατοπιστική εισαγωγή στην ΕΤΝ και περιγράφονται οι μέθοδοι τρέχουσας τεχνολογικής στάθμισης (state-of-the-art). Αναλύονται οι λόγοι που καθιστούν αναγκαία την εφαρμογή της ΕΤΝ καθώς και οι κίνδυνοι που κρύβονται πίσω από μοντέλα που λειτουργούν ως μαύρα κουτιά. Παρουσιάζονται οι διάφορες κατηγορίες μεθόδων που έχουν προταθεί και περιγράφονται οι ιδιαιτερότητες των τεχνικών που χρησιμοποιούν. Πλήθος τεχνικών χρησιμοποιούν τους λεγόμενους χάρτες χαρακτηριστικών (attribution maps). Οι χάρτες αυτοί παρουσιάζονται ως εικόνες, οι οποίες τονίζουν τα χαρακτηριστικά στην εικόνα εισόδου που κρίνονται από το μοντέλο ως σημαντικά για την έξοδο. Αρκετές παραλλαγές έχουν προταθεί για να εξηγήσουν μια απόφαση οι οποίες εκμεταλλεύονται την πληροφορία των διανυσμάτων κλίσης (παραγώγων κατά κατεύθυνση) [gradients] και δημιουργούν τον χάρτη χρησιμοποιώντας τις παραγώγους της εξόδου του μοντέλου ως προς την είσοδο. Οι τεχνικές αυτής της κατηγορίας που μελετήθηκαν είναι οι: Διάνυσμα κλίσης (Gradient), Διάνυσμα κλίσης επί την είσοδο (Gradient * Input), Ομαλό διάνυσμα κλίσης (SmoothGrad),Ολοκληρωμένα διανύσματα κλίσης (Integrated Gradients) και Grad-CAM. Άλλη δημοφιλής κατηγορία μεθόδων εξηγεί τις αποφάσεις του μοντέλου χρησιμοποιώντας μικρές διαταραχές στα δεδομένα εισόδου. Δημιουργώντας στοχευμένες αλλαγές στα δεδομένα εισόδου, μπορούν να αποκαλυφθούν τα κομμάτια των δεδομένων που επηρεάζουν περισσότερο το αποτέλεσμα της εξόδου. Π.χ., η τεχνική που ονομάζεται ευαισθησία σε απόκρυψη (occlusion sensitivity) αποκρύπτει σταδιακά τμήματα της εικόνας εισόδου και μετράει την επίδραση που έχει η παράλειψη του τμήματος στη πρόβλεψη του μοντέλου, αποδίδοντας με αυτόν τον τρόπο βαρύτητα στο κάθε κομμάτι. Μια διαφορετική προσέγγιση αναμιγνύει τη θεωρία παιγνίων με τη μηχανική μάθηση για να δημιουργήσει ένα νέο απλουστευμένο υποκατάστατο μοντέλο (surrogate model), το οποίο προσεγγίζει τοπικά γύρω από τη πρόβλεψη τη πολύπλοκη λειτουργία του αρχικού μοντέλου, συνδυάζοντας τις τιμές Shapley με πυρήνες (SHAP). Εκτός από τεχνικές που επεξηγούν εικόνες χρησιμοποιώντας χάρτες χαρακτηριστικών, επεξήγηση μπορεί να δοθεί με προτάσεις, όπως στη μέθοδο GVE που μελετήθηκε. Σε αυτού του είδους τις μεθόδους γίνεται χρήση του γλωσσικού μοντέλου και περιγράφεται η εικόνα εισόδου αναφέροντας χαρακτηριστικά που απεικονίζονται και ταυτόχρονα διαχωρίζουν την απεικονιζόμενη κλάση από τις υπόλοιπες. Στο πλαίσιο της διπλωματική εργασίας σχεδιάστηκε η αρχιτεκτονική και εκπαιδεύτηκε ένα μοντέλο ταξινόμησης πουλιών στο σύνολο δεδομένων CUB. Tέλος, προγραμματίστηκαν οι υλοποιήσεις των παραπάνω τεχνικών, οι οποίες και εφαρμόστηκαν στο εκπαιδευμένο μοντέλο με σκοπό τη σύγκριση και την ανάλυση των μεθόδων ΕΤΝ
description: Over the last decade(s), we have witnessed an impressive rise of interest in Artificial Intelligence (AI) techniques, which came as a result of the increase in computational power, the abundance of generated data from online users, the availability of new optimization algorithms and architectures, and the release of high-quality open-source frameworks, which allow users to implement and test new models in an easy and fast way. Specifically, Deep Neural Networks (DNN) have enabled the creation of complex models that deliver high quality and accuracy in outputs. They are the hidden technology behind many modern applications, like self-driving cars, voice assistants, automatic suggestions based on one's preferences, face recognition on our smartphones, and many more. However, because of their complexity, these models are usually treated like black boxes, both by developers and users, meaning that the inference process or how the model is influenced to make decisions is not understood. A new study entitled ''The State of Responsible AI:2021'', has shown that 65\% of companies can not explain how their AI models make decisions. In many real-world applications, like medical diagnosis, loan applications, or investments, it is crucial to be able to explain how the model makes a decision. As a result, this lack of explainability is reducing people's trust and ultimately preventing the adoption of the methods. The need for explainability gave rise to the field of Explainable Artificial Intelligence (XAI) and is increasingly gaining popularity in recent years. The thesis offers an explanatory introduction to the field of XAI and describes the state-of-art approaches. Explainability techniques can be applied to different kinds of data like tabular, text, and images, but the focus of this thesis is on images. Popular library implementations of these methods have been developed, and a comparison of the results of each method is offered