[ca] La tesi se centra en l'ús de l'aprenentatge profund per reforç (DRL) per resoldre problemes NP-difícils (NPH), coneguts per la seva complexitat computacional. Aquests problemes són difícils de resoldre amb mètodes tradicionals, però el DRL ofereix una via prometedora mitjançant l'aprenentatge automàtic per adaptar-se i aprendre estratègies de manera autònoma. Contextualització i Descripció del Problema Aquest treball s'emmarca dins el camp de la intel·ligència artificial (IA) i se centra específicament en el DRL, que combina l'aprenentatge per reforç amb l'aprenentatge profund per abordar problemes d'optimització combinatòria que són NP-difícils. Els mètodes de ML ofereixen diversos avantatges, com una major eficiència, capacitats de presa de decisions en temps real, solucions personalitzades i escalabilitat. No obstant això, hi ha molts aspectes del DRL que encara s'han de millorar, especialment en la capacitat de generalització . Objectius i Metodologia La tesi té com a objectiu principal identificar i abordar les limitacions de les metodologies actuals de DRL mitjançant una anàlisi crítica i l'exploració de nous enfocaments. Això inclou el desenvolupament de nous marcs de DRL amb capacitats de generalització millorades. El treball es basa en una anàlisi sistemàtica i experiments dins de marcs de DRL per descobrir noves idees i solucions innovadores per mitigar les limitacions dels enfocaments actuals . Resultats Experimentals Els resultats experimentals demostren l'efectivitat del marc proposat i les arquitectures de xarxa en la resolució del problema del viatjant de comerç (TSP) amb diferents mides d'entrada. Les troballes subratllen la importància de l'estabilitat i les estratègies d'exploració per aconseguir resultats d'aprenentatge robustos. El "PPO learner" va mostrar una estabilitat consistent, convertint-se en l'opció preferida per a futurs experiments . Conclusions Els problemes NP-difícils i d'optimització combinatòria es troben en moltes situacions de la vida real, com la logística i el disseny de xarxes. La IA, i en particular el DRL, pot ser una eina poderosa per resoldre aquests problemes complexos. Aquesta tesi ha aconseguit desenvolupar un marc general per abordar diversos tipus de problemes, amb una representació d'estat millorada per al TSP, combinada amb una arquitectura de xarxa adequada, tècniques d'exploració i estratègies d'aprenentatge per reforç, capaç d'entrenar una xarxa única per gestionar diferents mides d'instàncies, una fita que no havia estat assolida pels mètodes existents . En resum, aquesta tesi no només contribueix a l'avanç de les metodologies de DRL, sinó que també facilita el desenvolupament de solucions més robustes i eficients per als problemes NP-difícils, fomentant així la seva adopció més àmplia i la seva aplicabilitat en situacions del món real.

[en] In recent years, Deep Reinforcement Learning (DRL) has emerged as a promising avenue for devising heuristic solutions to NP-Hard (NPH) problems, which are notoriously difficult computational puzzles. Unlike traditional approaches, DRL leverages the power of machine learning (ML) to autonomously learn and adapt strategies through interaction with the problem environment. While demonstrating notable advantages over conventional methods, the full potential of DRL remains largely untapped, with many aspects of its application and effectiveness yet to be fully explored. However, despite its promise, current DRL methodologies are not without their drawbacks, presenting significant limitations that hinder their widespread adoption and effectiveness. This thesis endeavors to delve deeper into the realm of DRL, aiming to identify and address these limitations by critically examining various aspects of DRL techniques and exploring novel approaches. This thesis seeks to overcome existing challenges and propel the field towards greater efficacy and applicability. Through a systematic analysis and experimentation within DRL frameworks, this research endeavors to uncover new insights and innovative solutions to mitigate the limitations inherent in current approaches. By doing so, we aspire to contribute to the ongoing advancement of DRL methodologies, ultimately fostering its broader adoption and facilitating the development of more robust and efficient solutions to NPH problems.