[en] Unmanned aerial vehicles (UAV) also known as drones have been used for a variety of reasons such as surveillance, reconnaissance, shipping and delivery, etc. and commercial drone market growth is expected to reach remarkable levels in the near future. However, drones can accidentally or intentionally violate the air routes of major airports, flying too close to commercial aircraft or invading the privacy of someone. In order to prevent these unwanted events to happen, counter-drone technology is needed to eliminate the threats coming from drones and hopefully the drones can be integrated into the skies safely. A number of counter-drone solutions are being developed, but the cost of drone detection ground systems can also be very high, depending on the number of sensors deployed and powerful fusion algorithms. Counter-drone system supported by an artificial intelligence (AI) method can be an efficient way to fight against drones instead of human intervention. Considering the recent advances in AI, counter-drone systems with AI can also be very accurate. The time required to engage with the target can be less than other methods based on human intervention such as bringing down a malicious drone by a laser gun. Also, AI can identify and classify the target with a high precision in order to prevent a false interdiction with the targeted object. Counter-drone technology with AI will bring important advantages to the threats coming from some drones and will help the skies to become safer and more secure. AI has been used in different research areas in aerospace to create an intelligent system. Especially, a drone can be controlled by AI methods such as deep reinforcement learning (DRL) in different purposes. With the support of DRL, drones can become more intelligent and eventually they can be fully autonomous. The main objective of this PhD thesis is to develop an artificial intelligence approach based on deep reinforcement learning to counter drones that may pose a threat to safety or security. AI agents can continuously learn and adapt to new threats and countering drones with DRL has several advantages. One of the most important advantages is autonomous decision-making which enables AI agents to make autonomous decisions based on their environment and the situation. In this way, drone threats can be countered quickly and effectively, even in vulnerable environments. Additionally, AI agents can be trained in simulation, allowing for safe experimentation, testing, and validation before deployment. Firstly, DRL architecture is proposed to make drones behave autonomously inside a suburb neighborhood environment. Secondly, a state-of-the-art object detection algorithm for drone detection is also added to the counter drone solution. The construction of drone detection models involves transfer learning and training a state-of-the-art object detection algorithm. After achieving fully autonomous drone which can avoid obstacles in an environment, a deep reinforcement learning method to counter a drone in a 2D space in an environment is presented. In this way, drone can maintain its current altitude, and it can try to catch another drone without crashing any obstacle in the environment. Finally, a deep reinforcement learning model is developed to counter a drone in a challenging 3D space in an environment. The learner drone is not only moving in a 2D space but also changing altitudes to eliminate the target drone. It is important to ensure that AI agents are properly trained and validated so that they can make safe and responsible decisions. Without proper testing and validation, there is a risk that AI agents in sensitive areas such as airports or critical infrastructure might perform actions that could be dangerous or violate regulations. As a result, DRL-based counter-drone solutions can be made more practical, efficient, and secure for future use.

[es] Los vehículos aéreos no tripulados, también conocidos como drones, se han utilizado por una variedad de razones, como vigilancia, reconocimiento, entrega de paquetes, etc. y se espera que el crecimiento del mercado de drones alcance niveles notables en un futuro próximo. Sin embargo, los drones pueden violar accidental o intencionadamente las rutas aéreas de aeropuertos, volar demasiado cerca de aviones comerciales o invadir la privacidad de las personas. Para evitar que sucedan estas situaciones, se necesita tecnología contra-drones capaz de eliminar las amenazas de los drones maliciosos y dejar a los demás integrarse en el espacio aéreo de manera segura. Un sistema contra-drones apoyado por la inteligencia artificial (IA), puede ser una forma eficiente de luchar contra los drones, sin necesidad de intervención humana. Teniendo en cuenta los avances recientes en IA, los sistemas contra-drones pueden llegar a ser muy precisos y el tiempo requerido mucho menor comparado con derribarlo con, por ejemplo, una pistola láser operada manualmente. Además, la IA puede identificar y clasificar el objetivo con alta precisión para evitar un error al neutralizar a un objetivo equivocado. La tecnología contra-drones con IA brindará ventajas importantes a las amenazas que suponen algunos drones y ayudará a que los cielos se vuelvan más seguros. Especialmente, un dron puede ser controlado por métodos de aprendizaje profundo por refuerzo (DRL) y eventualmente llegar a ser completamente autónomos. El objetivo principal de esta tesis doctoral es desarrollar un enfoque de inteligencia artificial basado en el aprendizaje profundo por refuerzo para contrarrestar los drones que pueden representar una amenaza para la seguridad con otro dron, que denominamos agente. Un agente basado en IA puede aprender y adaptarse continuamente a un entorno cambiante. Una de las ventajas más importantes de esta solución es la toma de decisiones autónoma y por tanto económica. De esta forma, las amenazas de los drones se pueden contrarrestar de forma rápida y eficaz, incluso en entornos complejos. Estos agentes inteligentes se entrenan con simulaciones, lo que permite una experimentación, prueba y validación seguras antes de la implementación. En primer lugar, se enseña al dron a comportarse de forma autónoma en un entorno de barrio suburbano con DRL. En segundo lugar, se extiende su aprendizaje para actuar como una solución contra-drones. Este segundo paso se apoya en un algoritmo de detección de objetos de última generación, modificado para la detección de drones. La construcción de modelos de detección de drones usa el aprendizaje por transferencia para acelerar el aprendizaje. Tras el aprendizaje el agente puede evitar obstáculos del entorno a la vez que es capaz de contrarrestar un dron en un espacio 2D, es decir, con el dron agente y el dron objetivo volando a la misma altura. Finalmente, se desarrolla un modelo de aprendizaje profundo por refuerzo para contrarrestar un dron también en un espacio 3D, un entorno de complejidad desafiante. Para ello el dron agente debe aprender a cambiar de altura para capturar al dron malicioso. DRL es un enfoque prometedor para tareas contra-drones. Implica entrenar modelos de IA, lo que requiere mucha potencia computacional. Es importante además asegurarse de que los agentes de IA estén debidamente capacitados y validados, para que puedan tomar decisiones seguras y responsables. Sin las pruebas y la validación adecuadas, existe el riesgo de que los agentes de IA en áreas sensibles, como aeropuertos o infraestructura crítica, puedan realizar acciones que podrían ser peligrosas al violar las normas establecidas. En esta tesis también se aborda el desafío de la explicabilidad de la AI, para que las soluciones contra-drones basadas en DRL puedan ser más prácticas, eficientes y seguras para uso futuro.