Απόσταξη γνώσης στην ενισχυτική μάθηση για εκτίμηση αβεβαιότητας πολιτικής
Creators: name: Καπαρινός, Νικόλαος Παναγιώτη
Publisher: name: Aristotle University of Thessaloniki
Year: 2025
Subjects: Ενισχυτική Μάθηση
Αβεβαιότητα
Απόσταξη
Reinforcement Learning
Uncertainty
Distillation

description: Παρά την επιτυχία της Ενισχυτικής Μάθησης (ΕΜ) σε πολλές εφαρμογές, η διασφάλιση της συνεπούς και ασφαλής λειτουργίας των εκπαιδευμένων πολιτικών παραμένει κρίσιμη πρόκληση, ειδικά όταν αυτές εφαρμόζονται σε εφαρμογές κρίσιμης ασφάλειας. Για να διασφαλιστεί η αξιοπιστία και η ασφαλής λειτουργία των πρακτόρων ΕΜ, είναι κρίσιμο να μετρήσουμε την αβεβαιότητα του πράκτορα στην επιλογή της επόμενης ενέργειας, γνωστή ως Αβεβαιότητα Πολιτικής. Μια ευρέως χρησιμοποιούμενη μέθοδος Ενισχυτικής Μάθησης είναι η μέθοδος Deep Q-learning (DQN). Συνεπώς, σε αυτή τη διπλωματική εργασία, προτεί- νουμε για την εκτίμηση της αβεβαιότητας πολιτικής στους Πράκτορες DQN την εφαρμογή της μεθόδου Δίκτυο Απόσταξης Dropout (Dropout Distillation Network, DDN). Η μέθοδος Δίκτυο Απόσταξης Dropout είναι μία μέθοδος η οποία εφαρμόστηκε αρχικά στην μάθηση με επίβλεψη με σκοπό να παραχθεί ένα νέο δίκτυο μαθητή, το οποίο να παράγει καλύτερη εκτίμηση της αβεβαιότητας από το αρχικό δίκτυο καθηγητή, ενώ ταυτόχρονα έχει ταχύτερο χρόνο συμπερασμού από άλλες μεθόδους, όπως τα Μπεϋζιανά νευρωνικά δίκτυα. Η μεθοδο- λογία που προτείνουμε αποτελείται από τρία στάδια: την εκπαίδευση ενός πράκτορα DQN με dropout στα επίπεδα του δικτύου, χρήση του εκπαιδευμένου πράκτορα για αλληλεπίδρα- ση με το περιβάλλον ΕΜ για τη συλλογή ενός συνόλου δεδομένων απόσταξης γνώσης, και εκπαίδευση ενός δικτύου μαθητή χρησιμοποιώντας τα συλλεγμένα δεδομένα απόσταξης γνώσης. Αυτό το δίκτυο μαθητή εκπαιδεύεται μέσω της μεθόδου Δίκτυο Απόσταξης Dropout. Επιπλέον, υπάρχει ένα κενό στη βιβλιογραφία καθώς προηγούμενες δουλειές έχουν επικε- ντρωθεί κυρίως στην πρόταση αλγορίθμων εκτίμησης αβεβαιότητας χωρίς να αξιολογούν την ακρίβεια της εκτίμησής τους. Για να καλυφθεί αυτό το κενό, προτείνουμε ένα νέο αλγόριθμο εκτίμησης αβεβαιότητας πολιτικής Ενισχυτικής Μάθησης ικανό να αξιολογήσει τη εκτίμηση αβεβαιότητας πολιτικής οποιουδήποτε πράκτορα που μπορεί να παρέχει εκτιμήσεις αβεβαι- ότητας πολιτικής, χρησιμοποιώντας έναν προσομοιωτή του περιβάλλοντος Ενισχυτικής Μά- θησης. Συγκρίνουμε την προτεινόμενη μας μεθοδολογία εκτίμησης αβεβαιότητας πολιτικής με τη μέθοδο Monte Carlo Dropout, μια ευρέως χρησιμοποιούμενη προσέγγιση στη βιβλιο- γραφία. Τα πειραματικά μας αποτελέσματα δείχνουν ότι η προσέγγισή μας επιτυγχάνει καλύτερη εκτίμηση της αβεβαιότητας πολιτικής απαιτώντας μόνο ένα μοναδικό πέρασμα από το δίκτυο, κάτι το οποίο είναι κρίσιμο σε πολλές εφαρμογές πραγματικού χρόνου Ενισχυτικής Μάθησης.
description: While success of Reinforcement Learning (RL) has been demonstrated in numerous ap- plications, ensuring the consistency and safety of learned policies remains a major challenge, especially when deployed in safety-critical domains. To ensure the reliable and safe operation of RL agents, it is necessary to quantify the agent’s uncertainty about the choice of the next action, also called Policy Uncertainty. Thus, we propose estimating the policy uncertainty in Deep Q-learning (DQN) Agents by applying Dropout Distillation Network (DDN), a tech- nique originally proposed for supervised learning. Our proposed methodology consists of three steps: training a DQN agent, but with dropout in the network layers, using the trained agent to interact with the RL environment in order to collect a distillation dataset, and training a student network, referred to as DDN, utilizing the collected distillation dataset. Addition- ally, a gap in the literature exists since previous works have primarily focused on proposing uncertainty estimation algorithms without evaluating their estimation accuracy. To address this gap, we propose a novel RL policy uncertainty evaluation algorithm capable of assessing the calibration of any agent that can provide policy uncertainty estimations, by utilizing a simulator of the RL environment. We compare our proposed policy uncertainty estimation methodology with Monte Carlo Dropout, a widely used approach in the literature. Our ex- perimental results indicate that our approach consistently achieves better calibration while only requiring a single forward pass, which is critical in many real-time RL applications.