User study on preference over different explainability techniques
Creators: name: Καλτσίδης, Μιχαήλ Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Τεχνητή Νοημοσύνη
Μηχανική Μάθηση
Βαθιά Μάθησης
Ερμηνεύσιμη Μηχανική Μάθηση
Μελέτη χρηστών
Ειδήσεις
Artificial Intelligence
Machine Learning
Deep Learning
Interpretable Machine Learning
Interpretable Deep Learning
User study
Real-Fake news

description: In recent years there has been a huge need to provide explanatory power for models used by computer scientists. In particular, in the field of Machine Learning and Deep Learning, subfields of the field of Artificial Intelligence, systems and technologies are being rapidly developed that provide assistance to experts in the fields of medicine and economics. Areas such as medicine require optimal performance from these systems since major issues require high precision because human lives are at stake. Interpretability is key to enhancing the performance of these systems and the models that operate and produce these important results. Interpretability techniques are responsible for correctly interpreting the results of a model so that it can be understood by expert and non-expert users of the system. The main objective of this thesis is to reduce opacity of ML models but to evaluate and compare different techniques that have been researched and developed for Interpretable Machine Learning models in order to optimize their use by users, whether they are experts aiming to optimize existing interpretability techniques or non-experts using this service. Through the development of the user study we found that the Integrated Gradients technique is one of the most efficient in interpreting the results of a transformer and in general that providing an explanation to a user leads them to optimize their decision in the prediction they are asked to make.
description: Τα τελευταία χρόνια έχει σημειωθεί τεράστια ανάγκη για παροχή επεξηγηματικότητας σε μοντέλα τα οποία χρησιμοποιούνται από τους επιστήμονες υπολογιστών. Συγκεκριμένα στον κλάδο της Μηχανικής Μάθησης και Βαθιάς Μάθησης, υποπεριοχές του κλάδου της Τεχνητής Νοημοσύνης, αναπτύσσονται ραγδαία συστήματα και τεχνολογίες οι οποίες παρέχουν βοήθεια στους ειδικούς των τομέων της ιατρικής και των οικονομικών. Τομείς όπως αυτός της ιατρικής απαιτεί βέλτιστη απόδοση από τα συστήματα αυτά μιας και μείζοντα ζητήματα απαιτούν μεγάλη ακρίβεια διότι κρίνεται η ζωή ανθρώπων. Η ερμηνευσιμότητα αποτελεί το κλειδί στην ενίσχυση της απόδοσης των συστημάτων αυτών και των μοντέλων που λειτουργούν και παράγουν τα σημαντικά αυτά αποτελέσματα. Οι τεχνικές ερμηνευσιμότητας έχουν την ευθύνη για την ορθή ερμηνεία των αποτελεσμάτων ενός μοντέλου ώστε αυτό να γίνεται κατανοητό σε ειδικούς και μη χρήστες του συστήματος. Ο κύριος στόχος της εργασίας αυτής είναι να μειώσει την αδιαφάνεια των μοντέλων πρόβλεψης αλλά και να πραγματοποιήσει μία αξιολόγηση και σύγκριση διαφόρων τεχνικών που έχουν ερευνηθεί και αναπτυχθεί για μοντέλα Ερμηνεύσιμης Μηχανικής Μάθησης με σκοπό την βελτιστοποίηση της χρήσης αυτών από τους χρήστες, είτε αυτοί είναι ειδικοί και στοχεύουν στην βελτιστοποίηση υπάρχοντων τεχνικών ερμηνευσιμότητας είτε μη ειδικοί που χρησιμοποιούν την υπηρεσία αυτή. Μέσα από την ανάπτυξη της μελέτης χρηστών διαπιστώσαμε ότι η τεχνική Integrated Gradients είναι μία από τις πιο αποδοτικές στην ερμηνεία των αποτελεσμάτων ενός μετασχηματιστή και γενικά ότι η παροχή μιας εξήγησης σε έναν χρήστη τον οδηγεί στην βελτιστοποίηση της απόφασής του στην πρόβλεψη που καλείται να κάνει.