Projet ANR-14-CE27-0009 – VIMAD : navigation autonome des drones aériens avec la fusion des données visuels et inertielles
Programme : Défi de tous les savoirs (DS10)
Année de financement : 2014
Coordinateur du projet : Monsieur Agostino Martinelli (INRIA CENTRE GRENOBLE RHÔNE-ALPES)
Partenaires : Laboratoire public; UZH University of Zurich
Montant : 88817.0 euros
Date de début : 2014
Durée : 48 mois
Résumé : Perception based on visual and inertial sensing; Visual-Inertial sensor fusion; aerial navigation; state estimation; closed form solution; nonlinear observabilityAcquire a deep theoretical comprehension of the problem of fusing visual and inertial measurements. Starting from this knowledge, build a new robust and reliable perception system, only based on visual and inertial measurements, to enhance the navigation capabilities of fully autonomous micro aerial drones.
1. Automatic state initialization by only using monocular vision and inertial data delivered during a short time interval.  2. Observability properties of the visual-inertial sensor fusion problem1. Use of the closed-form solution introduced in [1, 2] for the initialization of a filter that fuses visual and inertial measurements;2. Use of the closed-form solution for the outliers detection;3. Find the range of validity of the method introduced in [3] and, hopefully, derive the general solution of the Unknown Input Observability problem in the nonlinear case;4. Use the method of above to infer the observability properties of the visual-inertial sensor fusion problem;5. Investigate the possibility of introducing new sensor suites, more effective and suitable for micro aerial vehicles.[1] Martinelli A., Vision and IMU Data Fusion: Closed-Form Solutions for Attitude, Speed, Absolute Scale and Bias Determination, Transaction on Robotics, Volume 28, Issue 1 (February), pp 44–60, (2012)[2] A. Martinelli, Closed-form solution of visual-inertial structure from motion, Int. J. of Computer Vision, Vol. 106, N. 2, 138–152, 2014.[3] A. Martinelli, Visual-inertial structure from motion: observability vs minimum number of sensors, to be presented at the International Conference on Robotics and Automation, ICRA, 2014, Hong Kong, China.
1. Simultaneous State Initialization and Gyroscope Bias Calibration in Visual Inertial Sensor Fusion;  2. The Analytic Tool for Nonlinear Observability Analysis with DisturbancesIn order to obtain a method able to perform automatic state initialization by only using monocular vision and inertial data delivered during a short time interval, we carried out an exhaustive analysis based on simulations on the performance of the closed-form solution introduced in [1,2]. This analysis has clearly shown that, while the closed form solution is very robust against the accelerometer bias, its performance is dramatically deteriorated by a gyroscope bias. For this reason, we introduced a new method able to simultaneously initialize the state and to autocalibrate the gyroscope bias.Regarding the investigation of the observability properties of the visual-inertial sensor fusion problem, we started by introducing a new analytic tool, able to perform the observability analysis of nonlinear systems in presence of disturbances. The problem of deriving an analytic tool able to determine the observability properties in presence of unknown inputs is known as the Unknown Input Observability (UIO) problem. This problem was introduced and firstly investigated by the automatic control community in the seventies [3,4]. Because of its complexity, only the linear case has been solved [3]. [1] Martinelli A., Vision and IMU Data Fusion: Closed-Form Solutions for Attitude, Speed, Absolute Scale and Bias Determination, Transaction on Robotics, Volume 28, Issue 1 (February), pp 44–60, (2012)[2] A. Martinelli, Closed-form solution of visual-inertial structure from motion, Int. J. of Computer Vision, Vol. 106, N. 2, 138–152, 2014.[3] G. Basile and G. Marro. On the observability of linear, time invariant systems with unknown inputs. J. Optimization Theory Appl., 3:410–415, 1969.[4] R. Guidorzi and G. Marro. On wonham stabilizability condition in the synthesis of observers for unknown-input systems. Automatic Control, IEEE Transactions on, 16(5):499 âAS 500, oct 1971.
Résumé de la soumission : Le projet VIMAD a deux objectifs principaux :- (Technologique) construire un système de perception robuste et fiable, basé uniquement sur la vision et les capteurs inertiels;- (Scientifique) acquérir une compréhension profonde du problème de la fusion des mesures visuelles et inertiels.Le système de perception sera intégré sur les micros drones pour les rendre capables de naviguer en toute sécurité et de façon autonome sans GPS et dans des environnements inconnus et même d'effectuer des manœuvres agressives.Un système de perception adapté pour un micro véhicule aérien  doit satisfaire plusieurs contraintes, en raison de la petite taille et , par conséquent, la faible charge utile autorisée. Cela impose l'emploi de capteurs de faible poids et des algorithmes de faible complexité. Dans ce contexte capteurs inertiels et caméras monoculaires, grâce à leurs caractéristiques complémentaires, faible poids et faible coût, constituent un ensemble de capteurs intéressant. D'autre part, les technologies actuelles pour la navigation uniquement à base de capteurs visuels et inertiels ont les fortes limitations suivantes :- La tâche de localisation est réalisée par des algorithmes récursifs qui nécessitent une initialisation.- Ils ne sont pas assez précis pour permettre à un micro véhicule aérien d'entreprendre des manœuvres agressives et, plus en général, pour accomplir des tâches complexes.Pour surmonter ces limitations notre système de perception sera élaboré en s'appuyant sur les trois nouveaux paradigmes suivants :- Utilisation de la solution présentée dans [23,24] ;- L'exploitation de l'information contenue dans la dynamique des drones ;- Utilisation de l'outil d'observabilité développée dans [22]Le premier paradigme permettra au système de perception de pouvoir initialiser (ou réinitialiser) la tâche de localisation, sans aide extérieure. En d'autres termes, il rendra la tâche de localisation totalement autonome et robuste contre tout événement sans modèle comme un enlèvement. En outre, elle peut être utilisée pour introduire une méthode peu coûteuse pour la détection d’outliers. Le deuxième paradigme permettra d'améliorer les capacités de perception en termes de précision. Enfin, le troisième paradigme nous permettra à la fois d'acquérir une compréhension plus profonde de la fusion entre vision et inertiels et de concevoir de nouveaux et plus efficaces arrangements de capteurs. Ce sujet scientifique mérite à notre avis une étude théorique profonde puisque le système de perception de la plupart des mammifères se base précisément sur des signaux visuels et vestibulaires. Une compréhension scientifique profonde de ce problème pourrait permettre à la communauté robotique  d’introduire de nouvelles technologies pour la navigation. Plus précisément, nous allons aborder ce problème fondamental en procédant en deux étapes. Dans la première, nous allons étudier un problème ouvert dans le cadre de l’automatique, l'analyse d'observabilité dans le cas d'entrées inconnues. Cela permettra d’étudier les propriétés d'observabilité de la fusion entre vision et inertiels dans le cas où on a une connaissance partielle de données inertiels et éventuellement de concevoir de nouveaux arrangements de capteurs.
Résultats : The main results so far obtained are the following three:
1. Introduction of a new method to detect outliers in data matching based on the closed form solution previously introduced [1];
2. Improvement of the performance of the closed form solution by simultaneously calibrating the gyroscope bias [2];
3. New analytic solution able to extend the observability rank condition, introduced in 1977 in [7], when the dynamics is affected by a single disturbance [3,4,5,6].
[1] Troiani C., Martinelli A, Laugier C. and Scaramuzza D., (2015), Low computationalcomplexity algorithms for vision-aided inertial navigation of micro aerial vehicles, Robotics and Autonomous Systems 69, 80-97
[2] Simultaneous State Initialization and Gyroscope Bias Calibration in Visual Inertial aided Navigation J Kaiser, A Martinelli, F Fontana, D Scaramuzza, IEEE Robotics and Automation Letters (RA-L), January 2016 
[3] Martinelli A, Nonlinear Unknown Input Observability: Analytical expression of the observable codistribution in the case of a single unknown input, SIAM on Control and Applications 2015, SIAM-CT15, Paris, France, July 2015
[4] Martinelli A, Extension of the Observability Rank Condition to Nonlinear systems driven by Unknown Inputs, MED’15 Torremolinos, Spain, June 2015
[5] Martinelli A, Minimalistic sensor design in visual-inertial structure from motion, 2015 IEEE/RSJ International Conference on Robotics and Automation, Seattle (USA)
[6] A. Martinelli, Non linear Unknown Input Observability: Extension of the observability rank condition and the case of a single unknown input, INRIA technical report, available on line on the HAL archive https://hal.inria.fr/hal-01071314v5
[7] Hermann R. and Krener A.J., 1977, Nonlinear Controllability and Observability, Transaction On Automatic Control, AC-22(5): 728-740
Perspectives : Future actions in the frame work of wp1 will include the integration of this method on the perception system currently adopted by UZH for drones localization and navigation. In particular,this would allow aggressive take-off maneuvers, such as hand throwing the drones in the air, as already demonstrated in [1] with a range sensor. With our technique, we could get rid of the range sensor.
Future work in the frame work of wp2 will be devoted to extend the analytic tool to perform nonlinear observability in presence of disturbances to the case of multiple independent disturbances. We are currently working on this direction. We believe that a new abstract operation that extends the Lie brackets must be considered in the framework of Lie algebras.
[1] M. Faessler, F. Fontana, C. Forster, and D. Scaramuzza, âA.Automatic re-initialization and failure recovery for aggressive flight with a monocular vision-based quadrotor, in International Conference on Robotics and Automation (ICRA), 2015.
Publications et brevets : - Troiani C., Martinelli A, Laugier C. and Scaramuzza D., (2015), Low computationalcomplexity algorithms for vision-aided inertial navigation of micro aerial vehicles, Robotics and Autonomous Systems 69, 80-97 available online https://hal.inria.fr/hal-01248800
- Simultaneous State Initialization and Gyroscope Bias Calibration in Visual Inertial aided Navigation J Kaiser, A Martinelli, F Fontana, D Scaramuzza, IEEE Robotics and Automation Letters (RA-L), January 2016 available online  https://hal.inria.fr/hal-01305541
- Martinelli A, Nonlinear Unknown Input Observability: Analytical expression of the observable codistribution in the case of a single unknown input, SIAM on Control and Applications 2015, SIAM-CT15, Paris, France, July 2015, available online https://hal.inria.fr/hal-01248792
- Martinelli A, Extension of the Observability Rank Condition to Nonlinear systems driven by Unknown Inputs, MED’15 Torremolinos, Spain, June 2015, available online https://hal.inria.fr/hal-01248783
- Martinelli A, Minimalistic sensor design in visual-inertial structure from motion, 2015 IEEE/RSJ International Conference on Robotics and Automation, Seattle (USA), available online https://hal.inria.fr/hal-01248785
-  A. Martinelli, Non linear Unknown Input Observability: Extension of the observability rank condition and the case of a single unknown input, INRIA technical report, available on line on the HAL archive https://hal.inria.fr/hal-01071314v5
- Depot A.P.P.  Date : 25/09/2015  IDDN.FR.001.400016.000.S.P.2015.000.10100 VI-SFM, Visual Inertial Sensor Fusion Method