[en] This Bachelor's Thesis focuses on the integration of advanced technologies in robotics and automatic control, with a special emphasis on the application of artificial intelligence to address complex engineering challenges. Developed within the Computer Engineering program at the Faculty of Computer Science in Barcelona, the project implements a dynamic balancing system for a sphere on a cylinder, using the UR3e robot from Universal Robots. The heart of the system is an Arduino microcontroller, responsible for collecting data from the distance sensor and communicating in real time with the robot. Crucially, this microcontroller also executes the inference of the neural network trained with the Soft Actor-Critic (SAC) reinforcement learning algorithm, allowing the direct application of adaptive control techniques learned in a dynamic and real environment. The SAC setup has been meticulously adjusted to adapt to the inherent uncertainties of the operating environment. This includes optimizing parameters such as the discount factor and the target entropy, which are essential for balancing the exploration of the action space and the exploitation of the learned knowledge. These adjustments ensure that the system not only achieves maintaining the sphere in balance, but also continuously refines its behavior through real-time learning. The project challenges the transition from control theories and machine learning to practical applications, implementing these advanced algorithms directly on the hardware. The choice of Arduino to run the inference underscores the importance of embedded systems in modern robotics and demonstrates the feasibility of intelligent solutions in real applications.

[es] Este Trabajo de Fin de Grado se centra en la integración de tecnologías avanzadas en robótica y control automático, con un especial énfasis en la aplicación de inteligencia artificial para abordar desafíos complejos de ingeniería. Desarrollado en el marco del programa de Grado en Ingeniería Informática de la Facultad de Informática de Barcelona, el proyecto implementa un sistema de equilibrio dinámico para una esfera sobre un cilindro, utilizando el robot UR3e de Universal Robots. El corazón del sistema es un microcontrolador Arduino, responsable de recoger datos del sensor de distancia y comunicarse en tiempo real con el robot. Crucialmente, este microcontrolador también ejecuta la inferencia de la red neuronal entrenada con el algoritmo de aprendizaje por refuerzo Soft Actor-Critic (SAC), permitiendo aplicar directamente las técnicas de control adaptativo aprendidas en un entorno dinámico y real. La configuración del SAC ha sido meticulosamente ajustada para adaptarse a las incertidumbres inherentes del entorno operativo. Esto incluye la optimización de parámetros como el factor de descuento y la entropía objetivo, que son esenciales para equilibrar la exploración del espacio de acciones y la explotación del aprendizaje adquirido. Estos ajustes aseguran que el sistema no solo logre mantener la esfera en equilibrio, sino que también refine continuamente su comportamiento a través del aprendizaje en tiempo real. El proyecto desafía la transición de teorías de control y aprendizaje automático a aplicaciones prácticas, implementando estos algoritmos avanzados directamente en el hardware. La elección del Arduino para ejecutar la inferencia subraya la importancia de los sistemas embebidos en la robótica moderna y demuestra la viabilidad de soluciones inteligentes en aplicaciones reales.