[ca] Els vehicles aeris no tripulats, també coneguts com a drons, s'han utilitzat per una gran varietat de tasques, com ara vigilància, reconeixement, lliurament de paquets, etc. i s'espera que el creixement del mercat de drons arribi a nivells notables en un futur proper. Tot i això, els drons poden violar accidentalment o intencionadament les rutes aèries d'aeroports, volar massa a prop d'avions comercials o envair la privacitat de les persones. Per evitar que succeeixin aquestes situacions, cal tecnologia contra-drons capaç d'eliminar les amenaces dels drons maliciosos i deixar els altres integrar-se a l'espai aeri de manera segura. Un sistema contra-drons recolzat per la intel·ligència artificial (IA) pot ser una forma eficient de lluitar contra els drons ilegals, sense necessitat d'intervenció humana. Tenint en compte els avenços recents a la IA, els sistemes contra-drons poden arribar a ser molt precisos i el temps requerit molt menor comparat amb enderrocar-lo amb, per exemple, una pistola làser operada a mà. A més, la IA pot identificar i classificar un dron objectiu amb una alta precisió i evitar un error en neutralitzar un objectiu equivocat. La tecnologia contra-drons amb IA brindarà avantatges importants a les amenaces que suposen alguns drons i ajudarà que el cel es torni més segur. Especialment, un drone pot ser controlat per mètodes d'aprenentatge profund per reforç (DRL) i eventualment arribar a ser completament autònom. L'objectiu principal d'aquesta tesi doctoral és desenvolupar una solució contra-drons controlada per intel·ligència artificial i basada en aprenentatge profund per reforç, per contrarrestar els drons que poden representar una amenaça per a la seguretat. Aquesta solució consisteix en un altre dron, que anomenem agent intel·ligent. Un agent basat en IA pot aprendre i adaptar-se contínuament a un entorn canviant. Un dels avantatges més importants d'aquesta solució és la presa de decisions autònoma i, per tant, mes econòmica. D'aquesta manera, les amenaces dels drons es poden contrarestar de manera ràpida i eficaç, fins i tot en entorns complexos. Aquests agents intel·ligents s'entrenen amb simulacions, cosa que permet una experimentació, prova i validació segures abans de la implementació. En primer lloc, s'ensenya el dron a comportar-se de manera autònoma en un entorn de barri suburbà. En segon lloc, s'estén l'aprenentatge per convertir-se en una solució contra-drons. Aquest segon pas es recolza en un algorisme de detecció d'objectes d'última generació, modificat per a la detecció de drons. En la construcció de models de detecció de drons es fa servir l'aprenentatge per transferència per accelerar l'aprenentatge. Després de l'aprenentatge l'agent pot evitar obstacles de l'entorn i alhora és capaç de neutralitzar un dron en un espai 2D, és a dir, amb el dron agent i el dron objectiu volant a la mateixa altura. Finalment, es desenvolupa un model d'aprenentatge profund per reforç per contrarestar un dron també en un espai 3D, un entorn de complexitat desafiant. Per això el dron agent ha d'aprendre a canviar d'alçada per capturar el dron maliciós. DRL és un enfocament prometedor per a tasques contra-drons. Implica entrenar models d'IA, cosa que requereix molta potència computacional. A més, és important assegurar-se que els agents intel·ligents estiguin degudament capacitats i validats perquè puguin prendre decisions segures i responsables. Sense les proves i la validació adequades, hi ha el risc que els agents intel·ligents, en àrees sensibles, com ara aeroports o infraestructura crítica, puguin fer accions que podrien ser perilloses en violar les normes establertes. En aquesta tesi també s'aborda el desafiament de l'explicabilitat de l'AI perquè les solucions contra-drons basades en DRL puguin ser més pràctiques, eficients i segures per al seu ús en el futur.

[en] Unmanned aerial vehicles (UAV) also known as drones have been used for a variety of reasons such as surveillance, reconnaissance, shipping and delivery, etc. and commercial drone market growth is expected to reach remarkable levels in the near future. However, drones can accidentally or intentionally violate the air routes of major airports, flying too close to commercial aircraft or invading the privacy of someone. In order to prevent these unwanted events to happen, counter-drone technology is needed to eliminate the threats coming from drones and hopefully the drones can be integrated into the skies safely. A number of counter-drone solutions are being developed, but the cost of drone detection ground systems can also be very high, depending on the number of sensors deployed and powerful fusion algorithms. Counter-drone system supported by an artificial intelligence (AI) method can be an efficient way to fight against drones instead of human intervention. Considering the recent advances in AI, counter-drone systems with AI can also be very accurate. The time required to engage with the target can be less than other methods based on human intervention such as bringing down a malicious drone by a laser gun. Also, AI can identify and classify the target with a high precision in order to prevent a false interdiction with the targeted object. Counter-drone technology with AI will bring important advantages to the threats coming from some drones and will help the skies to become safer and more secure. AI has been used in different research areas in aerospace to create an intelligent system. Especially, a drone can be controlled by AI methods such as deep reinforcement learning (DRL) in different purposes. With the support of DRL, drones can become more intelligent and eventually they can be fully autonomous. The main objective of this PhD thesis is to develop an artificial intelligence approach based on deep reinforcement learning to counter drones that may pose a threat to safety or security. AI agents can continuously learn and adapt to new threats and countering drones with DRL has several advantages. One of the most important advantages is autonomous decision-making which enables AI agents to make autonomous decisions based on their environment and the situation. In this way, drone threats can be countered quickly and effectively, even in vulnerable environments. Additionally, AI agents can be trained in simulation, allowing for safe experimentation, testing, and validation before deployment. Firstly, DRL architecture is proposed to make drones behave autonomously inside a suburb neighborhood environment. Secondly, a state-of-the-art object detection algorithm for drone detection is also added to the counter drone solution. The construction of drone detection models involves transfer learning and training a state-of-the-art object detection algorithm. After achieving fully autonomous drone which can avoid obstacles in an environment, a deep reinforcement learning method to counter a drone in a 2D space in an environment is presented. In this way, drone can maintain its current altitude, and it can try to catch another drone without crashing any obstacle in the environment. Finally, a deep reinforcement learning model is developed to counter a drone in a challenging 3D space in an environment. The learner drone is not only moving in a 2D space but also changing altitudes to eliminate the target drone. It is important to ensure that AI agents are properly trained and validated so that they can make safe and responsible decisions. Without proper testing and validation, there is a risk that AI agents in sensitive areas such as airports or critical infrastructure might perform actions that could be dangerous or violate regulations. As a result, DRL-based counter-drone solutions can be made more practical, efficient, and secure for future use.