Augmented reality over video stream acquired from UAVs for operations support

La realidad aumentada (RA) se ha convertido, g los ultimos avances tecnologicos, en una de las disciplinas con mayor crecimiento. El potencial de la RA propicia su estudio, no solo para nuevos dispositivos especificos como gatas y cascos, sino para cualquier dispositivo dotado de una camara. Con esta idea, Airbus impulso un proyecto de innovacion, Situational Awareness Virtual EnviRonment (SAVIER), para incorporar la RA a sus estaciones de tierra, mejorando asi el flujo de video capturado desde la camara de sus vehiculos aereos no tripulados (UAV). Esta tesis se enmarca en ese proyecto y explora distintas estrategias para mejorar la conciencia de situacion de los operadores de UAV durante el transcurso de una mision. Inicialmente, la tesis aborda el geo-registro, que es una estrategia utilizada para localizar al UAV en zonas sin acceso a senal de posicionamiento global (GPS). Esto tiene interes porque conocer la posicion del UAV es esencial para poder proporcionar informacion sobre los alrededores. Por ello, la tesis propone dos sistemas clave para el geo-registro, atendiendo a los diferentes datos de referencia que se utilicen. En primer lugar, un esquema de procesado estereo multi-vista para construir un modelo de terreno denso a partir de imagenes del video capturado por el UAV. Es util cuando se necesita como referencia un modelo del terreno pero no esta disponible, esta desactualizado o tiene baja resolucion. El metodo variacional propuesto impone continuidad no solo a lo largo de la linea epipolar sino tambien transversalmente, en todo el dominio de la imagen. En segundo lugar, la tesis propone un metodo conjunto (geometrico y fotometrico) de registro de imagenes que puede lidiar con tipos de distorsion genericos: deformaciones parametrizadas (como homografias) y transformaciones fotometricas no lineales. Es un metodo de registro basado en zonas de las imagenes, que permite operar en escenarios donde los metodos de geo-registro basados en puntos caracteristicos no son fiables. Por ultimo, se considera el caso general, donde todas las medidas de los sensores tienen suficiente precision y la tesis se centra en mostrar elementos virtuales sobre el flujo de video. Se desarrolla una herramienta de RA para mejorar la conciencia de situacion de operadores de UAV durante misiones de inteligencia y vigilancia. El sistema de RA proporciona informacion sobre la ruta de vuelo y los objetivos; de esta forma el operador puede reducir el tiempo de busqueda para encontrarlos incluso si estan ocultos. La usabilidad de la herramienta propuesta se demostro con la adopcion de estandares de la OTAN y fue plenamente integrada en el demostrador de SAVIER de Airbus, en Getafe, Madrid. ----------ABSTRACT---------- Augmented reality (AR) has become, due to recent technology developments, a fastgrowing discipline. The potential of AR supports its study not only for specific devices such as glasses or helmets, but for anything equipped with a camera. Following this idea, Airbus promoted an innovation project, Situational Awareness Virtual EnviRonment (SAVIER), to incorporate AR in their ground control stations, thus allowing the enhancement of the video stream captured from Unmanned Aerial Vehicles (UAVs). This thesis is framed in that project and explores different approaches to improve the situational awareness of the UAV operators during a mission. Initially, the thesis is focused on geo-registration, a strategy used for the localization of the UAV in GPS-denied environments. This is of interest because knowing the position of the UAV is essential to provide information about the surroundings. For this reason, we proposed two key systems for geo-registration with different reference data. First, a multi-view stereo processing pipeline for building a dense terrain model from images of the UAV video feed. This is helpful when a reference terrain model is needed for geo-registration but it is unavailable, outdated, or it has low resolution. The proposed variational method enforces continuity not only along epipolar lines but also across them, in the full image domain. Second, the thesis proposed a joint geometric and photometric image registration method that can deal with generic types of distortion: parametric warpings (such as homographies) and non-linear photometric transformations. It is built on top of area-based registration methods to be able to operate in scenarios where feature-based geo-registration methods are not reliable. Finally, the general case was considered, in which every sensor measurement is known with enough accuracy and the thesis focused on displaying virtual elements over the video stream acquired by the UAV. An AR tool to improve the situational awareness of UAV operators during intelligence and surveillance missions was developed. The AR system provides information about the flying path and the targets, so that the operator can reduce the time to find them even in the presence of occlusions. The usability of the proposed AR tool was proved by the adoption of NATO standards and it was fully integrated with the Airbus SAVIER demonstrator, in Getafe, Madrid.