# Air-Cobot

Air-Cobot, Aircraft enhanced Inspection by smaRt & Collaborative rOBOT, es un proyecto francés de investigación y desarrollo de un robot móvil de colaboración pueden inspeccionar los aviones durante las operaciones de mantenimiento. Coordinado por Akka Technologies, este proyecto de múltiples asociados implica laboratorios de investigación y la industria. La investigación en torno a este prototipo fue desarrollado en tres dominios: la navegación autónoma, ensayo no destructivo y la colaboración humana-robot.
Air-Cobot se presenta como el primer robot rodante de inspección visual de aeronaves. Los robots de inspección que utilizan otros tipos de sensores se consideraron anteriormente como el del proyecto europeo Robair. Desde el lanzamiento del proyecto, otras soluciones basadas en la visión están comenzando a desarrollarse como el dron de la aerolínea británica EasyJet o el enjambre de drones de la startup Toulouse Donecle o el proyecto Aircam del fabricante de aviones Airbus.
Desde sus inicios en 2013, el robot Air-Cobot está destinado a inspeccionar las partes inferiores del aeronave. En el resto del proyecto, se prevé un acoplamiento con un dron para inspeccionar las partes superiores. En octubre de 2016, Airbus Group anuncia el inicio de su programa de investigación en el hangar del futuro en Singapur. Los robots de los proyectos Air-Cobot y Aircam están incluidos en él para analizar el estado de los aviones.

## Descripción del proyecto
### Meta

Lanzada en enero de 2013, el proyecto es parte del programa del Fonds unique interministériel del clúster Aerospace Valley. Con un total de más de un millón de euros, Air-Cobot tiene como objetivo desarrollar un innovador robot móvil de colaboración, autónomo en sus movimientos y capaz de realizar la inspección de una aeronave con sensores de ensayo no destructivo antes del despegue o durante las fases de mantenimiento hangar. Las pruebas se realizan en las instalaciones de Airbus y Air France Industries.

### Socios

El líder del proyecto es Akka Technologies. Los socios del proyecto están diversificados con dos socios académicos, dos industriales y tres pequeñas y medianas empresas.

#### Socios académicos

* Armines y el Instituto Clément Ader (ICA) de la École nationale supérieure des mines d'Albi-Carmaux están a cargo del ensayo no destructivo.
* Laboratoire d'analyse et d'architecture des systèmes (LAAS-CNRS) con el equipo de Robótica, Acción y Percepción (RAP) se ocupa de la navegación autónoma.

#### Socios industriales

* Akka Technologies, más específicamente el centro de investigación y desarrollo Akka Research Toulouse, reúne el proyecto y proporciona experiencia en análisis de imagen, navegación y mantenimiento aeronáutico. Con el automóvil conectado Link&Go, Air-Cobot es uno de los ambiciosos programas del grupo Akka.
* Airbus Group Innovations es el iniciador del proyecto, proporciona modelos CAD de Airbus A320 y desarrolla los escenarios.

#### Pequeñas y medianas empresas

* 2MoRO Solutions, una empresa con sede en el País Vasco francés, está a cargo del sistema de información de mantenimiento.
* M3 Systems, una compañía de Toulouse, se ocupa de la georreferenciación con una geolocalización basada en los datos del Sistema de Posicionamiento Global (GPS).
* Sterela, con sede al sur de Toulouse, ofrece la plataforma todoterreno móvil 4MOB.

### Financiadores

Los financiadores del proyecto son la Banque publique d'investissement, el consejo regional de Aquitania, el consejo departamental de Pirineos Atlánticos, el consejo regional de Midi-Pyrénées y la Unión Europea.

### Impactos esperados

Regularmente, las aeronaves son inspeccionadas durante las operaciones de mantenimiento, ya sea en el aeropuerto entre vuelos o en un hangar para realizar más inspecciones. Estas inspecciones son llevadas a cabo por operadores humanos principalmente visualmente y algunas veces con la ayuda de herramientas para evaluar los defectos. El propósito del proyecto es mejorar las inspecciones y la trazabilidad de las aeronaves. Una base de datos dedicada a cada dispositivo, que contiene imágenes y escaneos tridimensionales, se puede actualizar después de cada operación de mantenimiento. Esto debería permitir, por ejemplo, controlar la evolución de una grieta.
Los ojos de los operadores humanos se cansan con el tiempo, mientras que una solución automática garantiza la fiabilidad y la repetibilidad de las inspecciones. La reducción de los períodos de inspección es un objetivo principal para los fabricantes de aviones y las aerolíneas. Si las operaciones de mantenimiento son más rápidas, esto también optimizará la disponibilidad del aeronaves y los costos operativos de mantenimiento. Esto debe mejorar la seguridad del transporte aéreo.

## Equipamiento del robot

Todos los equipos electrónicos es transportado por el 4MOB plataforma móvil de la sociedad Stéréla. Este terreno plataforma, equipado con tracción a las cuatro ruedas, puede moverse a una velocidad de 2 m/s (7.2 k/h). Sus baterías de iones de litio para una autonomía de ocho horas. Dos parachoques se encuentran en la parte delantera y en la parte trasera. Estos sistemas de seguridad son los parachoques de detección de obstáculos, se detienen la plataforma si comprimés.
El cobot pesa 230 kg. Cuenta con dos ordenadores, uno con Linux para el módulo de navegación autónoma y uno de Windows para el módulo de ensayo no destructivo. El robot está equipado con varios sensores. cámara Pan Tilt Zoom fabricada por Axis Communications y Eva escáner 3D hecha por Artec 3D están dedicados a la inspección. Los sensores de navegación son una unidad de medición inercial, dos equipos de aparejo estéreo, cada uno equipado con dos cámaras PointGrey, dos sensores de tipo telémetro de láser escanea y una sistema de posicionamiento global. Este dispositivo desarrollado por M3 Systems permite la geovalla en ambiente externo.

## Navegación autónoma

La navegación autónoma del robot Air-Cobot se realiza en dos fases. El primero, la navegación en el aeropuerto o la fábrica, permite que el robot se mueva cerca de la aeronave. La segunda navegación, alrededor de la aeronave, permite que el robot se posicione en los puntos de control a los que se hace referencia en el modelo virtual de la aeronave. Además, el robot debe insertarse en un entorno dinámico donde los humanos y los vehículos se mueven. Para resolver este problema, tiene un módulo de evitación de obstáculos. Muchos algoritmos de navegación se ejecutan constantemente en el robot con restricciones de tiempo real. Las búsquedas se llevan a cabo para optimizar el tiempo de computación.

### Navegación en el aeropuerto o la fábrica

En un entorno al aire libre, el robot puede ir al sitio de inspección localizando a través de los datos del Sistema de Posicionamiento Global (GPS). El dispositivo GPS desarrollado por M3 Systems permite geovalla. En el aeropuerto, el robot opera en corredores de navegación dedicados que respetan los límites de velocidad. Las alertas se envían al operador si el robot ingresa en un área prohibida o excede una velocidad dada.
Otro algoritmo basado en la visión por computadora proporciona, en tiempo real, una detección de marcado de carril. Cuando es visible, los carriles pintados en el suelo pueden proporcionar datos complementarios al sistema de posicionamiento para tener trayectorias más seguras. Si se encuentra en un ambiente interior o exterior donde la información del GPS no está disponible, el cobot puede cambiar al modo seguidor para mover detrás del operador humano y seguirlo a la aeronave para inspeccionar.

### Navegación alrededor del avión

Para realizar la inspección, el robot tiene que navegar alrededor de la aeronave y llegar a los puntos de control llamados en el modelo virtual de la aeronave. La posición de la aeronave en el aeropuerto o la fábrica no se conoce con precisión; el cobot necesita detectar la aeronave para conocer su posición y orientación con respecto a la aeronave. Para hacer esto, el robot puede ubicarse a sí mismo, ya sea con los datos del láser de los telémetros láser o con los datos de imagen de sus cámaras.
Cerca de la aeronave, se adquiere una nube de puntos en tres dimensiones al cambiar la orientación de los sensores de escaneo láser fijos en las unidades de pan-tilt. Después de filtrar los datos para eliminar los clústeres de puntos del suelo o insuficientemente grandes, se utiliza una técnica de registro con el modelo de la aeronave para estimar la orientación estática del robot. El robot se mueve y mantiene esta orientación considerando su odometría de rueda, su unidad de medición inercial y su odometría visual.
Comparación entre los datos tomados y el modelo :
* Adquisición 3D de láser en un entorno exterior.
* Adquisición 3D de láser en un entorno exterior.
* Emparejamiento con el modelo de la aeronave.
* Emparejamiento con el modelo de la aeronave.
* Adquisición 3D de láser en un entorno interior.
* Adquisición 3D de láser en un entorno interior.
* Emparejamiento con el modelo de la aeronave.
* Emparejamiento con el modelo de la aeronave.
Los datos láser también se usan horizontalmente en dos dimensiones. Un algoritmo proporciona una estimación de la posición en tiempo real del robot cuando son visibles elementos suficientes de los trenes de aterrizaje y los motores. Un índice de confianza se calcula en función del número de elementos recogidos por los láseres. Si se logra una buena confianza de datos, la posición se actualiza. Este modo se usa particularmente cuando el robot se mueve debajo del avión.
Para la localización visual, el robot estima su posición relativa a la aeronave utilizando elementos visuales (puertas, ventanas, neumáticos, puertos estáticos, etc.) de la aeronave. Durante la evolución del robot, estos elementos visuales se extraen de un modelo virtual tridimensional de la aeronave y se proyectan en el plano de la imagen de las cámaras. Las formas proyectadas se utilizan para el reconocimiento de patrones para detectar esos elementos visuales. El otro método de detección utilizado se basa en la extracción de características con un enfoque de Speeded-Up Robust Features (SURF). Se realiza un emparejamiento entre las imágenes de cada elemento a detectar y la escena real experimentada.
Mediante la detección y el seguimiento de puntos de referencia visuales, además de estimar su posición relativa a la aeronave, el robot puede realizar un servomotor visual. La investigación en visión también se lleva a cabo en localización y modelado simultáneos también conocido como SLAM (del inglés simultaneous localization and mapping). Se está considerando una fusión de información entre los dos métodos de adquisición y visión láser. Una inteligencia artificial que arbitra varias ubicaciones también se está considerando.

### Evitación de obstáculos

En ambos modos de navegación, Air-Cobot también puede detectar, rastrear, identificar y evitar los obstáculos que se encuentran en su camino. Los datos láser de los sensores de rango del láser y los datos visuales de las cámaras se pueden utilizar para la detección, el control y la identificación de los obstáculos. La detección y el monitoreo son mejores en los datos láser bidimensionales, mientras que la identificación es más fácil en las imágenes de las cámaras; los dos métodos son complementarios. La información de los datos láser se puede usar para delimitar áreas de trabajo en la imagen.
El robot tiene varias respuestas posibles a cualquier obstáculo. Esto dependerá de su entorno (corredor de navegación, área de asfalto sin muchos obstáculos, ambiente interior desordenado, etc.) en el momento del encuentro con un obstáculo. Puede detenerse y esperar una brecha en el tráfico, o evitar un obstáculo al usar una técnica basada en una espiral, o realizar trayectorias de planificación de ruta.

### Optimización del tiempo de cálculo

Dado el número de algoritmos de navegación que calculan simultáneamente para proporcionar toda la información en tiempo real, se han realizado investigaciones para mejorar el tiempo de cálculo de algunos métodos numéricos utilizando matrices de puertas programables también conocido como FPGA (del inglés field-programmable gate array). Investigación centrada en la percepción visual. La primera parte se centró en la localización y modelado simultáneos con un filtro de Kalman Extendido que estima el estado de un sistema dinámico a partir de una serie de medidas ruidosas o incompletas. El segundo se centró en la ubicación y la detección de obstáculos.

## Ensayo no destructivo
### Análisis de imágenes

Después de haberse posicionado para realizar una inspección visual, el robot realiza una adquisición con una cámara PTZ. Se llevan a cabo varios pasos: apuntar la cámara, detectar el elemento a inspeccionar, si es necesario, repasar y hacer zoom con la cámara, adquisición de imágenes e inspección. El análisis de imagen se usa en las puertas para determinar si están abiertas o cerradas; sobre la presencia o ausencia de protección para ciertos equipos; el estado de las palas de los turbofan o el desgaste de los neumáticos del tren de aterrizaje.
La detección utiliza el reconocimiento de patrones de formas regulares (rectángulos, círculos, elipses). El modelo 3D del elemento a inspeccionar se puede proyectar en el plano de la imagen para formas más complejas. La evaluación se basa en índices tales como la uniformidad de las regiones segmentadas, la convexidad de sus formas o la periodicidad de la intensidad de los píxeles de la imagen.
La extracción de características que utiliza Speeded-Up Robust Features (SURF) también puede realizar la inspección de ciertos elementos que tienen dos estados posibles, como las sondas Pitot o los puertos estáticos que están cubiertos o no cubiertos. Se realiza un emparejamiento entre las imágenes del elemento a inspeccionar en diferentes estados y las presentes en la escena. Para inspeccionar estos elementos simples, es posible y preferible un análisis durante la navegación debido a su ahorro de tiempo.

### Análisis de nubes de puntos

Después de haberse posicionado para realizar una inspección de escaneo, el pantógrafo eleva el escáner 3D en el fuselaje. Una unidad de giro e inclinación mueve el dispositivo de escaneo para adquirir el casco. Al comparar los datos adquiridos con el modelo tridimensional de la aeronave, los algoritmos pueden diagnosticar cualquier falla en la estructura del fuselaje y proporcionar información sobre su forma, tamaño y profundidad.
Moviendo las unidades de giro e inclinación de los telémetros láser, también es posible obtener una nube de puntos en tres dimensiones. El reajuste técnico entre el modelo de la aeronave y la nube de puntos de la escena ya se usa en la navegación para estimar la ubicación estática del robot. Está previsto realizar adquisiciones específicas, más simples en términos de movimiento, para verificar la ausencia de calzos delante de las ruedas del tren de aterrizaje o el cierre adecuado de los cerrojos del motor.

## Colaboración hombre-robot

Como sugiere el nombre del proyecto, el robot móvil es un cobot, un robot colaborativo. Durante las fases de navegación e inspección, un operador humano acompaña al robot; él puede tomar el control si es necesario, agregar tareas de inspección, observar un defecto que no está en la lista de verificaciones de robots o validar los resultados. En el caso de las inspecciones previas al vuelo, el diagnóstico del recorrido se envía al piloto que decide si despegará o no.

## Otras soluciones de inspección robótica
### Proyecto europeo Robair

El robot de inspección de proyecto europeo Robair, financiado entre 2001 y 2003, está diseñado para subir a las alas y al fuselaje del avión para inspeccionar filas de remaches. Para su movimiento, el robot utiliza una red flexible de ventosas neumáticas que se adaptan a la superficie. Puede inspeccionar líneas de remaches con ultrasonido, corrientes inducidas y técnicas termográficas. Detecta remaches sueltos y grietas.

### EasyJet VANT

La aerolínea EasyJet también ha estado interesada en inspeccionar aviones utilizando aviones no tripulados. Realizó una primera inspección en 2015. Equipado con sensores láser y una cámara de alta resolución, el dron realiza un vuelo autónomo alrededor de la aeronave. Genera una imagen tridimensional de la aeronave y la transmite a un técnico. Este último puede entonces navegar a través de esta representación y acercarse para mostrar una foto de alta resolución de una parte de la aeronave. El operador debe entonces diagnosticar visualmente la presencia o ausencia de defectos. Este enfoque evita el uso de escaleras mecánicas para observar las partes superiores de la aeronave.

### Donecle VANT

Fundada en 2015, Donecle, una empresa de Toulouse, se ha embarcado también en un enfoque de aviones no tripulados y se ha especializado por primera vez en la detección de rayos en los aviones. Normalmente realizada por quince personas equipadas con arneses y góndolas, esta inspección dura unas ocho horas. La inmovilización de la aeronave y el uso de personal son costosos para las aerolíneas. La operación se estima en 10.000 dólares la hora. La solución propuesta dura veinte minutos.
Donecle utiliza un enjambre de drones equipados con sensores láser y microcámaras. Los algoritmos automáticos de detección de defectos, impulsados por las bases de datos de imágenes existentes con software de aprendizaje, son capaces de identificar varios elementos: irregularidad de textura, sonda pitot, remache, apertura, texto, defecto, corrosión, mancha de aceite. Se envía un informe de daños al touchpad del operador con cada área de interés y la clasificación propuesta con un porcentaje de probabilidad. Después de estudiar las imágenes, el veredicto es emitido por un inspector cualificado.

### Airbus VANT

El proyecto Airbus Aircam tiene por objeto diseñar una solución de aviones no tripulados para realizar una inspección de alto nivel de los aviones. El proyecto se está desarrollando en Airbus BizLab, un acelerador de arranque situado en Toulouse. Es posible definir una inspección específica, volar automáticamente y obtener imágenes de alta definición de la superficie superior. El análisis de los datos recogidos se realiza después del vuelo. Utiliza modelos tridimensionales simplificados de aeronaves para identificar, localizar automáticamente en la estructura y registrar todos los daños. Airbus demostró su solución de inspección de vehículos aéreos no tripulados en el Salón Aeronáutico de Farnborough en julio de 2016.

## Continuación del proyecto

En 2015, en una entrevista concedida al semanario francés Air et Cosmos, Jean-Charles Marcos, director ejecutivo de Akka Research, explica que una vez industrializado y comercializado, el Air-Cobot costaría entre 100 000 y 200 000 euros. Podría satisfacer las necesidades civiles de ensayo no destructivo pero también militar. Una posible continuación del proyecto sería la intervención del robot en aviones más grandes que el Airbus A320. Akka Technologies planea colaborar con un par de robots para su inspección: la misma plataforma móvil, para las partes inferiores, y un vehículo aéreo no tripulado (VANT), para las partes superiores. Si se asignan fondos, esta segunda fase podría tener lugar durante el período 2017-2020.
En el Singapore Airshow en febrero de 2016, Airbus Group presenta Air-Cobot y su uso en su visión del hangar del futuro. En el mismo mes, el gobierno de Singapur contrata a Airbus Group para ayudar a las compañías de mantenimiento a mantenerse competitivas con países vecinos como Indonesia, Tailandia y Filipinas, que son más baratos. Para mejorar la productividad, Airbus Group está lanzando un cobertizo de prueba en octubre de 2016 donde se pueden probar nuevas tecnologías. En este hangar del futuro, el daño de la aeronave será detectado por cámaras ubicadas en la entrada del hangar durante el paso de la aeronave. El robot móvil Air-Cobot y el VANT del proyecto Aircam mejorarán este análisis inicial.
Durante la XIV Conferencia Internacional Remote Engineering and Virtual Instrumentation en marzo de 2017, Akka Research Toulouse, uno de los centros de investigación y desarrollo de Akka Technologies, presenta su visión del aeropuerto del futuro. Además de Air-Cobot , un proyecto anterior orientado en este eje de investigación es Co-Friend, un sistema inteligente de videovigilancia para monitorear y mejorar las operaciones del aeropuerto. La investigación futura se centrará en la gestión de operaciones, vehículos autónomos, pruebas no destructivas e interacciones hombre-máquina para aumentar la eficiencia y la seguridad en los aeropuertos. A partir de agosto de 2017, el robot entra una vez al mes en el museo aeroespacial Aeroscopia de Blagnac. Los investigadores del proyecto están aprovechando la colección para probar y adquirir otros modelos de aviones Airbus A400M, Airbus A300 y Sud Aviation Caravelle.

## Campaña de comunicación

El 23 de octubre de 2014, Airbus Group presentó una patente. Desde 2014 hasta 2016, el robot tuvo presentaciones en cinco expositions, incluidas Salón Internacional de la Aeronáutica y el Espacio de París-Le Bourget 2015, y Singapore Airshow 2016. La investigación desarrollada en el proyecto se presenta en diecisiete conferencias. Dan lugar a dos tesis doctorales y veintiún artículos científicos: diecisiete actas de congresos y cuatro publicadas en periódicos. Algunas de las publicaciones se centran en la navegación y / o inspección llevadas a cabo por Air-Cobot, mientras que el resto se centra en métodos numéricos específicos o soluciones de hardware relacionadas con los problemas del proyecto. En 2016, durante la conferencia internacional Machine Control and Guidance (MCG), el premio a la mejor aplicación final se otorga a los autores de la publicación Human-robot collaboration to perform aircraft inspection in working environment.
El 17 de abril de 2015, Airbus Group transmitió una presentación en video del proyecto, realizado por la agencia de publicidad Clipatize Communication en su canal de YouTube. El 25 de septiembre de 2015, Toulouse Métropole transmitió un video promocional en su canal de YouTube. Se presenta como un ecosistema atractivo, capaz de construir el futuro y destaca su visibilidad internacional. El demostrador de Air-Cobot fue elegido para ilustrar la investigación en robótica de esta metrópoli. Situado en el Laboratoire d'analyse et d'architecture des systèmes durante su desarrollo, los investigadores o ingenieros que trabajan en el proyecto presentan regularmente el demostrador a los visitantes (investigadores externos, socios industriales, estudiantes) y, a veces, al público, como durante el fiesta de la ciencia 2015. Airbus Group, aún a través de su canal de YouTube, está transmitiendo el 17 de febrero de 2016 una presentación en video de su futuro proyecto de hangar en el que planea usar Air-Cobot. A partir de agosto de 2017, el robot entra una vez al mes en el museo aeroespacial Aeroscopia de Blagnac. Mientras el equipo científico prueba el robot con un avión nuevo, se les hacen presentaciones de proyectos a los visitantes. El proyecto Air-Cobot es uno de los eventos presentados en el museo durante el fiesta de la ciencia 2017.