FR 3090170 A1 20200619 FR 1872762 A 20181212 Description Titre de l'invention : Dispositif et procédé d'hybridation inertielle/ vidéo Domaine technique [0001] La présente invention concerne un dispositif et un procédé d'hybridation inertielle/ vidéo. Technique antérieure [0002] 11 est connu d'embarquer dans un porteur tel qu'un aéronef une centrale inertielle produisant des données inertielles relatives à ce porteur (sa position, son attitude, et sa vitesse typiquement). La centrale inertielle produit de telles données à partir de capteurs inertiels tels que des accéléromètres et des gyromètres. [0003] Toutefois, les données produites par une centrale inertielles dérivent. C'est pourquoi il a été proposé d'utiliser d'autres types de capteurs que des capteurs inertiels, produisant des données permettant de corriger les données inertielles produites par la centrale inertielle (on parle également de recalage des données inertielles dans la littérature). Le traitement combinant les données inertielles et les données d'un autre type est communément appelé hybridation. [0004] Différents types d'hybridation ont été proposés. La plus connue est l'hybridation inertielle/satellite (généralement abrégée en GPS/INS), qui consiste à combiner données inertielles et données de positionnement par satellite captées par un récepteur communiquant avec une constellation de satellites. Les données de positionnement par satellite dérivent peu, et sont donc à même de corriger les données inertielles. [0005] Ce type d'hybridation a notamment fait ses preuves pour aider à la navigation d'un aéronef au cours de son vol. [0006] Toutefois, il convient de rappeler que les signaux GPS reçus par le récepteur sont très sensibles à la présence de brouilleurs. De tels brouilleurs sont aujourd'hui utilisés par un grand nombre d'automobilistes pour ne pas pouvoir être géo-localisés et notamment aux abords des zones aéroportuaires. Un autre inconvénient des signaux GPS est que leur propagation est gênée par la présence de bâtiments. Pour toutes ces raisons, un aéronef en phase de roulage ou d'atterrissage reçoit des signaux GPS bruités au point de rendre l'hybridation GPS/INS inefficace. [0007] Pour pallier cet inconvénient, des hybridations alternatives ont été proposées. L'une d'entre elles est l'hybridation inertielle/vidéo. L'hybridation inertielle vidéo consiste à déterminer une vitesse du porteur à l'aide d'images acquises par une caméra qui scrute l'environnement du porteur au cours de son mouvement. C'est cette vitesse qui est utilisée pour corriger les données inertielles. 2 100081 Pour qu'une hybridation inertielle/vidéo fonctionne efficacement, la centrale inertielle et la caméra qui acquiert les images doivent être harmonisées, c'est à dire que le positionnement relatif du repère dans lequel les données inertielles sont exprimées et le repère dans lequel est exprimée la vitesse estimée à partir des images de la caméra est connu. [0009] Une désharrnonisation entre la caméra et la centrale inertielle peut être causée par un déplacement excessif de la caméra par rapport à l'aéronef Dans un tel cas, la vitesse estimée à partir des images acquises par la caméra s'entache d'une erreur substantielle, et devient une source de correction non fiable mettant en péril la précision de l'hybridation inertielle/vidéo. [0010] Or, dans le domaine de l'aéronautique, il est crucial que des erreurs soient maintenues dans un intervalle de tolérance borné afin de respecter des certifications de sécurité (« safety »), et de détecter lorsqu'une erreur quitte son intervalle de tolérance. Exposé de l'invention [0011] Un but de l'invention est de détecter un niveau de désharmonisation excessif entre une centrale inertielle et une caméra d'un dispositif d'hybridation inertielle/vidéo. [0012] 11 est à cet effet proposé, selon un premier aspect de l'invention, un dispositif d'hybridation inertielle/vidéo destiné à être embarqué sur un porteur, le dispositif comprenant : - une caméra configurée pour acquérir une première image montrant un amer prédéterminé fixé sur le porteur, - une unité de traitement configurée pour estimer une vitesse du porteur à partir de la première image acquise, en vue d'hybrider la vitesse estimée avec des données inertielles relatives au porteur produites par une centrale le dispositif étant caractérisé en ce que l'unité de traitement est en outre configurée pour : - localiser une position de l'amer dans la première image acquise, - calculer un écart entre la position localisée et une position de référence de - comparer l'écart calculé avec un seuil prédéterminé, - signaler une alerte lorsque l'écart calculé est supérieur au seuil prédéterminé. [0013] Le dispositif selon le premier aspect de l'invention peut être complété à l'aide des ca- ractéristiques suivantes prises seules ou bien en combinaison lorsque cela est techniquement possible. [0014] La position de référence de l'amer peut être une position de l'amer dans une image de référence acquise par la caméra alors que la centrale inertielle et la caméra sont harmonisés. [0015] Alternativement, le dispositif d'hybridation comprend une deuxième caméra 3 configure° pour acquérir une deuxième image montrant également l'amer, et l'unité de traitement est en outre configuréc pour : - localiser une deuxième position de l'amer prédéterminé dans la deuxième image acquise, - déterminer la position de référence de l'amer en appliquant à la deuxième position une transformation prédéterminée représentative d'un changement de repère depuis la deuxième caméra vers la première caméra. [0016] De préférence, l'unité de traitement est configuree pour ne pas hybrider les données inertielles en se fondant sur la vitesse estimée, lorsque l'écart est supérieur au seuil prédéterminé. [0017] De préférence, l'unité de traitement est configuree pour estimer la vitesse du porteur en s'aidant de l'écart calculé, de sorte à corriger une desharmonisation de la caméra par rapport à la centrale inertielle, lorsque l'écart calculé n'est pas supérieur au seuil prédéterminé, et pour hybrider la vitesse avec les données inertielles de sorte à produire une solution de navigation du porteur. [0018] De préférence, l'unité de traitement est configuree pour : - déterminer un niveau de contraste dans une zone montrant l'amer dans l'image acquise, - calculer un écart de contraste entre le niveau de contraste déterminé dans la zone et un niveau de contraste de référence, - comparer l'écart de contraste avec un seuil de contraste prédéterminé, - signaler une alerte lorsque l'écart de contraste est supérieur au seuil de contraste prédéterminé. [0019] 11 est également proposé un porteur, tel qu'un aéronef, comprenant un dispositif d'hybridation inertielle/vidéo selon le premier aspect de l'invention, et un amer fixé sur le porteur en vue de la caméra. [0020] 11 est également proposé, selon un troisième aspect de l'invention, un procédé d'hybridation inertielle/vidéo, le procédé comprenant des étapes de : - acquisition, par une caméra embarquée sur un porteur, d'une première image montrant un amer prédéterminé fixé sur le porteur, - estimation d'une vitesse du porteur à partir de la première image acquise, en vue d'hybrider la vitesse estimée avec des données inertielles relatives au porteur produites par une centrale inertielle, le procédé étant caractérisé en ce qu'il comprend des étapes de: - localisation d'une position de l'amer dans la première image acquise, - calcul d'un écart entre la position localisée et une position de référence de l'amer, - comparaison de l'écart calculé avec un seuil prédéterminé, - signalement d'une alerte lorsque l'écart calculé est supérieur au seuil prédéterminé. 100211 Le porteur est par exemple un aéronef. Les étapes du procédé peuvent avanta- geusement être mises en oeuvre lorsque l'aéronef est en phase de roulage ou d'atterrissage. Brève description des dessins [0022] D'autres caractéristiques, buts et avantages de l'invention ressortiront de la des- cription qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels : [0023] [fig.11 La figure 1 illustre de façon schématique un dispositif d'hybridation inertielle/vidéo selon un premier mode de réalisation de l'invention, embarqué sur un porteur. [0024] [fig.2] La figure 2 est un organigramme d'étapes d'un procédé selon un mode de réalisation de l'invention. [0025] [fig.3] La figure 3 illustre de façon schématique un dispositif d'hybridation inertielle/vidéo selon un deuxième mode de réalisation de l'invention, embarqué sur un porteur. [0026] Sur l'ensemble des figures, les éléments similaires portent des références identiques. Description des modes de réalisation [0027] En référence à la figure 1, un porteur 1 tel qu'un aéronef comprend un dispositif d'hybridation 2 inertielle/vidéo, plus simplement appelé dispositif d'hybridation 2 dans la suite. 100281 Le dispositif d'hybridation 2 comprend une centrale inertielle 4, une caméra 6, une unité de traitement 8, et une mémoire 10. 100291 La centrale inertielle 4, conventionnelle, comprend une pluralité de capteurs inertiels, tels que des accéléromètres et des gyromètres. La centrale est confieurée pour produire des données inertielles relatives au porteur 1. Ces données inertielles comprennent typiquement des données de position, de vitesse et d'attitude du porteur 1). Les données inertielles sont exprimées dans un premier repère. 100301 La centrale inertielle 4 est fixée sur une paroi du porteur I. 100311 La caméra 6 est fixée sur une surface extérieure du porteur I. La caméra 6 est po- sitionnée pour visualiser l'environnement du porteur 1. La caméra 6 est de plus positionnée de sorte qu'une partie du porteur 1 est dans le champ de vision de la caméra 6. 11 est en particulier fait en sorte qu'au moins un amer 12 prédéterminé, fixé sur le porteur 1, soit en vue de la caméra 6. 100321 Un amer 12 est un élément servant de point de repère de la caméra 6. Un amer 12 peut par exemple être natif, c'est-à-dire être formé par un élément existant de l'aéronef, tel qu'une antenne, un motif, une sonde Pitot, etc. Alternativement, un amer 12 est de nature artificielle, c'est-à-dire qu'il est ajouté à l'aéronef pour servir uniquement de point de repère. Par exemple, l'amer 12 artificiel peut prendre la forme d'une mire appliquée sur une surface extérieure de l'aéronef [0033] L'unité de traitement 8 est configurée pour mettre en oeuvre une hybridation inertielle/vidéo classique à l'aide de données inertielles fournies par la centrale inertielle 4 et des données calculées à partir d'images acquises par la caméra 6. On verra dans la suite que l'unité de traitement 8 est configurée pour mettre en oeuvres d'autres traitements en amont d'une telle hybridation, visant à détecter une désharmonisation excessive entre la caméra 6 et la centrale inertielle 4. [0034] L'unité de traitement 8 comprend par exemple au moins un processeur configure pour exécuter un programme d'ordinateur réalisant ces traitements. [0035] Le dispositif d'hybridation 2 comprend par ailleurs une mémoire 10 configurée pour mémoriser des données. La mémoire 10 comprend notamment des données permettant à l'unité de traitement 8 de reconnaître dans une image chaque amer 12, à l'aide d'un traitement de reconnaissance de formes connu en [0036] En référence à la figure 2, un procédé d'hybridation inertielle/vidéo comprend les étapes suivantes. [0037] Dans une phase préliminaire de calibrage 100, la caméra 6 est positionnée dans une position de référence. Dans cette position, la caméra 6 et la centrale inertielle 4 sont harmonisées. La caméra 6 acquiert une image de référence montrant le ou chaque amer 12 fixé sur le porteur 1. Pour au moins un amer 12, l'unité de traitement 8 applique un traitement de reconnaissance de forme pour reconnaitre l'amer 12 dans l'image de référence. L'unité de traitement 8 localise dans cette image une position de l'amer 12, dite de référence. Cette position est typiquement un pixel de l'image défini par un numéro de ligne et un numéro de colonne (i,j). La position de référence de chaque amer 12 est mémorisée dans la mémoire 10. [0038] Cette phase préliminaire de calibrage 100 est typiquement mise en oeuvre alors que le porteur 1 est à l'arrêt, par exemple au cours d'une période de maintenance du porteur 1. [0039] Dans une phase d'utilisation ultérieure, le porteur 1 se met en mouvement, et le dispositif d'hybridation 2 met en oeuvre les étapes suivantes. [0040] La centrale inertielle 4 produit des données inertielles à l'aide de ses capteurs inertiels, de manière conventionnelle. [0041] En parallèle, la caméra 6 acquiert une pluralité d'images, dont une première image montrant l'environnement du porteur 1 (étape 102). Comme indiqué précédemment, du fait de la position dans laquelle la caméra 6 a été placée sur le porteur 1, la première image acquise par la caméra 6 montrent également le ou chaque amer 12 utilisé [0042] L'unité de traitement 8 applique le traitement de reconnaissance de forme dont elle 6 dispose pour reconnaitrc un amer 12 dans la première image acquise. L'unité de traitement 8 localise la position de l'amer 12 reconnu (étape 104). Cette position est un pixel de l'image défini par un numéro de ligne et un numéro de colonne (i',j'). [0043] Par ailleurs, l'unité de traitement 8 détermine la position de référence Rb (étape 106). Dans le mode de réalisation illustré en figure 1, cette étape de détermination comprend une simple lecture de cette donnée préalablement mémorisée dans la mémoire 10 du dispositif d'hybridation 2. [0044] L'unité de traitement 8 calcule l'écart entre la position de l'amer 12 dans la première image et la position de référence (étape 108). [0045] L'unité de traitement 8 compare ensuite cet écart à un seuil prédéterminé (étape 110). [0046] Si l'écart est supérieur au seuil prédéterminé, alors l'unité de traitement 8 signale une alerte (étape 112). En effet, un écart trop élevé entre la position de référence et la position de l'amer 12 dans la première image est très probablement révélatrice d'un déplacement de la caméra 6 par rapport à sa position de référence, et donc d'une désharmonisation potentielle entre la caméra 6 et la centrale inertielle 4. [0047] L'alerte est par exemple signalée au cours de l'étape 112 à un poste de pilotage du porteur 1, de sorte qu'un pilote du porteur 1 puisse être informée de la défaillance du dispositif d'hybridation 2. [0048] Par ailleurs, en cas d'alerte, l'unité de traitement 8 fait en sorte qu'aucune hy- bridation inertielle/vidéo soit mise en oeuvre à partir d'une vitesse issue de la caméra 6, en particulier une vitesse qui serait calculé à partir (le l'image dans laquelle un écart supérieur au seuil a été décelé. [0049] Si au contraire l'écart n'est pas supérieur au seuil prédéterminé, l'unité de traitement 8 calcule une vitesse estimée du porteur 1 à l'aide de la première image et de l'écart (étape 114). [0050] Plus précisément, au cours de l'étape 114, l'unité de traitement 8 repère au moins un amer externe non fixé au porteur dans deux images acquises à des instants différents par la caméra 6 : la première image et une autre image acquise avant ou après la première image par la caméra 6. Cet amer externe occupe des positions différentes dans ces deux images lorsque le porteur 1 se déplace. L'unité de traitement 8 estime d'abord le déplacement de cet amer externe entre les deux images. Ensuite l'unité de traitement corrige ce déplacement à l'aide de l'écart de position calculé précédemment dans l'étape 108. Le déplacement corrigé est ensuite divisé par la période de temps qui sépare les acquisitions respectives des deux images, de sorte à obtenir la vitesse estimée. [0051] Ensuite, l'unité de traitement 8 met en oeuvre une hybridation entre les données inertielles acquises par la centrale inertielle 4 et la vitesse calculée, de sorte à produire une solution de navigation du porteur 1 (étape 116). 7 [0052] L'unité de traitement 8 peut également, à titre optionnel, déterminer un niveau de contraste dans une zone montrant l'amer 12 dans la première image acquise. Ce niveau de contraste peut être un contraste entre différentes parties de l'amer 12 visualisé (par exemple, dans le cas d'un amer 12 de type mire artificielle, le contraste entre des zones noires et des zones blanches de la mire) ou un contraste entre l'amer 12 lui-même et son environnement). Dans ce cas, l'unité de traitement 8 calcule ensuite un écart de contraste entre le niveau de contraste déterminé dans la zone considérée, et un niveau de contraste de référence, et comparer l'écart de contraste avec un seuil de contraste prédéterminé. Une alerte est signalée sélectivement lorsque l'écart de contraste est supérieur au seuil de contraste prédéterminé. Ces étapes additionnelles permettent de détecter des conditions de visibilité de la caméra 6 conduisant à l'obtention d'une estimée de vitesse insuffisamment fiable pour être injectée dans une hybridation inertielle/vidéo. Ces étapes peuvent être mises en oeuvre avant, pendant ou après les étapes 104, 106, 108, 110. [0053] Les étapes décrites précédemment sont répétées pour plusieurs images acquises par la caméra 6. [0054] On notera que l'emploi d'un seul amer suffit à permettre la détection d'une déshar- monisation, et à corriger dans une certaine mesure la vitesse estimée par l'unité de traitement. Toutefois, utiliser plusieurs amers permet de réaliser une correction plus efficace d'une telle vitesse. [0055] Au cours du procédé décrit ci-dessus, a été utilisée comme position de référence une position mémorisée qui avait été déterminée dans une phase préliminaire durant laquelle le caractère harmonisé de la caméra 6 et de la centrale inertielle 4 pouvait être garanti. [0056] Il convient toutefois de noter qu'un porteur 1 peut être déformable, et donc que certaines parties d'un tel porteur 1 sont susceptibles de se déplacer les unes par rapport aux autres. C'est le cas notamment des extrémités d'ailes d'un aéronef, qui peuvent se déformer par rapport au fuselage de cet aéronef Ainsi, il est possible qu'un amer 12 puisse se déplacer par rapport à la caméra 6, sans pour autant qu'il n'y ait de désharmonisation substantielle entre la caméra 6 et la centrale inertielle 4. On peut par exemple citer le cas d'une caméra 6 montée sur le fuselage, et tournée vers le côté de l'aéronef, en direction d'une aile, et un amer 12 situé au bout de cette aile. Au cours du déplacement de l'aéronef, l'aile peut battre légèrement de bas en haut si bien que la position de l'amer 12 qui sera ensuite déterminé par l'unité de traitement 8 sera variable. Dans une telle situation, le procédé qui précède pourrait conclure à l'existence d'une désharmonisation entre la caméra 6 et la centrale inertielle 2 sur la base d'un écart de position excessif, alors que ce n'est pas le cas. [0057] La figure 3 illustre un deuxième mode de réalisation de dispositif d'hybiidation 2 8 permettant de pallier à ce problème de détection de faux positifs. Le dispositif d'hybridation 2 selon ce deuxième mode de réalisation comprend une deuxième caméra 7 orientée vers au moins un amer 12 déjà vu par la caméra 6. Cette deuxième caméra 7 utilisée comme source de position de référence. [0058] Chacune des deux caméras 6, 7 est harmonisée avec la centrale inertielle 4 au cours de la phase préliminaire de calibrage. Est mémorisée dans la mémoire 10 une transformation permettant de passer d'un repère attaché à la deuxième caméra 7 vers le repère attaché à la première caméra 6. [0059] Le procédé mis en oeuvre par le dispositif d'hybridation 2 selon le deuxième mode de réalisation diffère du procédé décrit précédemment par l'étape de détermination 106 de la position de référence de l'amer 12, laquelle est mise en oeuvre comme suit. [0060] La deuxième caméra 7 acquiert au moins une deuxième image montrant l'amer 12 également montré dans la première image acquise par la première caméra 6. Toutefois, dans la deuxième image, l'amer 12 est vu sous un angle différent, et à une distance différente. [0061] L'unité de traitement 8 applique l'étape 104 à la deuxième image, à savoir reconnaît l'amer 12 dans la deuxième image et localise sa position dans la deuxième image, qu'on appelle par convention deuxième position de l'amer 12. [0062] L'unité de traitement 8 applique ensuite un changement de repère à la deuxième position, de sorte à projeter cette position dans le plan vu par la première caméra 6. Le résultat de ce changement de repère est la position de référence telle que déciite précédemment, dont l'écart avec la position de l'amer 12 dans la première image est ensuite comparé à un seuil. [0063] Si d'aventure les deux caméras 6, 7 restent harmonisées avec la centrale inertielle 4, mais que l'amer 12 se déplace relativement à ces deux caméras 6, 7 à cause d'une déformation du porteur 1, cette déformation est compensée par le calcul de l'écart au cours de l'étape 108, qui sera théoriquement nul. En revanche, si l'une des deux caméras 6, 7 se désharmonise par rapport à la centrale inertielle 4, cette désharmonisation se répercutera dans l'écart de position calculé, qui sera alors de valeur plus élevée. Le dépassement du seuil par cet écart révèlera la désharmonisation d'une des caméras 6, 7 en présence. En définitive, ce deuxième mode de réalisation présente l'avantage d'éviter le signalement de « faux positif » causé par la déformation d'une partie du porteur 1. [0064] Les procédés décrits précédemment trouvent avantageusement application au cours d'une phase de roulage ou d'atterrissage d'un aéronef pour les raisons données en introduction. 9 [Revendication 1] [Revendication 2] [Revendication 3] [Revendication 4] [Revendication 5]