[en] Reinforcement Learning is a Machine Learning paradigm that seeks to determine the actions an agent should take to maximise the rewards it gets from an environment. It is common for state-of-the-art Reinforcement Learning techniques to describe the agent's behaviour using neural networks. Neural networks produce great results, allowing the agent to perform well in the environment, but they pose a significant problem: they are black-box models that are hard to interpret. As a consequence, it can be difficult to understand the reasons that lead the agent to execute certain actions. Now, ethical concerns regarding the lack of transparency in some systems have led to defining legal requirements that force these systems to have the ability to provide explanations of the decisions they make. To fix this problem, there exist so-called explainability methods that attempt to produce explanations of the decisions or the behaviour of systems that are not interpretable. A previous thesis proposed an explainability method for a simple Reinforcement Learning environment (CartPole) that consisted in extracting a graph that would represent a simplified version of the agent's behaviour. To build this graph, the state representation was simplified by discretising states that the agent visited and grouping similar states under certain predicates. In this thesis, we suggest a new method that seeks to avoid this discretisation. We propose collecting information on the interactions between the agent and the environment to build a decision tree that describes its behaviour. This tree would tell the agent which action to execute in each state it visits. This approach resembles the one based on a graph, the structure that describes the agent's behaviour is similar, but it allows for a more accurate representation of the states. In this document, we provide a detailed description of the method we propose, we evaluate it and we compare it to the method described before.

[es] El aprendizaje por refuerzo es un área del aprendizaje automático que tiene como objetivo determinar qué acciones debe tomar un agente con el fin de maximizar las recompensas que recibe por parte de un entorno. En la actualidad, es habitual que el comportamiento de estos agentes esté descrito por redes neuronales. Las redes neuronales producen buenos resultados y permiten al agente tener un buen rendimiento en el entorno, pero tienen un problema: son modelos de caja negra difíciles de interpretar. La consecuencia es que es complicado entender las razones que llevan al agente a ejecutar ciertas acciones. Ahora, las preocupaciones a nivel ético sobre la falta de transparencia en ciertos sistemas han llevado a definir requisitos legales que obligan a estos sistemas a tener la capacidad de proporcionar explicaciones de las decisiones que toman. Para solventar este tipo de problemas existen los llamados métodos de explicabilidad, que intentan producir explicaciones de las decisiones o el comportamiento de sistemas poco interpretables. En un trabajo anterior, se propuso un método de explicabilidad para un entorno simple de aprendizaje por refuerzo (CartPole) que consistía en extraer un grafo que representara de forma simplificada el comportamiento del agente. Para construir este grafo, era necesario simplificar la representación de los estados en los que se iba encontrando el agente discretizándolos, agrupando estados parecidos bajo ciertos predicados. En este trabajo, sugerimos un nuevo método que busca evitar esta discretización. Proponemos recoger información de las interacciones del agente con el entorno para construir un árbol de decisión que describa su comportamiento. Este árbol indicaría al agente qué acción ejecutar en cada estado en el que se encuentre. Es un enfoque similar al del método basado en un grafo, la estructura que describe el comportamiento del agente es parecida, pero permite mantener una representación más fiel de los estados. En este documento describimos con detalle el método propuesto, evaluamos su validez y lo comparamos con el método descrito anteriormente.