Brevet FR2984001A1 — publié le 20130614

Système infrarouge d'interface tactile de cockpit d'aéronef Le domaine de l'invention est celui des interfaces homme-système utilisés dans les cockpits d'aéronef. Actuellement, les interactions entre les membres d'équipage et le système avionique encore appelé « Cockpit Display System » se font au 5 moyen : - De panneaux de contrôles comportant des boutons-poussoirs et/ou des rotacteurs ; - Des écrans tactiles transparents disposés sur les écrans de visualisation de la planche de bord ; 10 - Des dispositifs de contrôle de pointeurs informatiques comprenant des surfaces tactiles ou « touch-pad » ou des boules de commande ou « trackball » qui sont les équivalents des souris informatiques de bureau ; - Des dispositifs de reconnaissance et de commande vocale. 15 Ces interactions sont, par exemple, des entrées ou des modifications d'information, des demandes d'informations ou des validations. A titre d'exemple, un tel système est représenté de façon schématique en figure 1. Il comporte six grands écrans de visualisation LCD rectangulaires, des panneaux de commande CP et des boutons de 20 commande PB. Ces différents moyens de contrôle mettent en oeuvre de multiples technologies très différentes les unes des autres et dont la gestion globale est complexe à la fois pour les utilisateurs et pour le système de gestion du cockpit. 25 Le système selon l'invention ne présente pas ces inconvénients. Il substitue aux différents moyens d'interaction possibles dans un cockpit un seul et unique moyen optique global, facilitant ainsi la gestion du système, sans entraîner de modifications lourdes des systèmes d'interface du cockpit. 30 La solution technique consiste à créer une zone d'émission infrarouge derrière toute zone d'interaction. Des caméras disposées dans le cockpit permettent l'acquisition de ces zones et un appui est détecté dès qu'une ombre d'un désignateur est créée et reconnue sur une des zones. Le désignateur peut être le doigt ou la main de l'utilisateur ou encore un stylet tenu par l'utilisateur. D'autres solutions techniques permettant de créer des surfaces 5 tactiles à partir de technologies optiques existent. On citera, à titre d'exemple, les solutions basées sur la création de nappes lumineuses soit en propagation aérienne, soit en propagation guidée au-dessus de la surface de détection. La détermination de la position d'un désignateur est effectuée par la détection des ombres perçues par des détecteurs linéaires ou surfaciques 10 disposés en bordure de ladite surface de détection. Ces solutions ne sont pas applicables facilement à toutes les interfaces de commande existantes et d'autre part, la détection multiple de désignateurs pose souvent des problèmes de fausse détection difficiles à résoudre. 15 Plus précisément, l'invention a pour objet un système d'interface tactile de cockpit d'aéronef, ledit système d'interface comprenant des dispositifs de visualisation à écran plat comportant un rétro-éclairage et des zones d'interface comportant des interfaces homme-machine, caractérisé en ce que : 20 chaque rétro-éclairage des dispositifs à écran plat comporte des premiers moyens d'éclairage émettant dans le proche-infrarouge, chaque zone d'interface comporte des seconds moyens d'éclairage émettant dans le proche-infrarouge ; le système comporte : 25 un ensemble de caméras sensibles dans la bande spectrale d'émission des premiers moyens d'éclairage et des seconds moyens d'éclairage, le champ de l'ensemble des caméras couvrant la totalité de la surface des dispositifs de visualisation et des zones d'interface, chaque dispositif de visualisation et chaque zone d'interface étant 30 couvert par deux caméras ; un dispositif d'analyse stéréoscopique d'images comprenant des moyens de détecter la position d'un objet situé au-dessus d'un dispositif de visualisation et/ou d'une zone d'interface par l'analyse des ombres produites par cet objet dans les images issues desdites caméras et représentatives dudit dispositif de visualisation et/ou de ladite zone d'interface. Avantageusement, l'émission dans le proche-infrarouge des premiers moyens d'éclairage et des seconds moyens d'éclairage est 5 synchronisée avec les dispositifs d'acquisition des caméras. Avantageusement, le dispositif d'analyse stéréoscopique comporte des premiers moyens de traitement d'images permettant de réaliser la soustraction d'une image de référence ne comportant pas d'objet à une image comportant un objet. 10 Avantageusement, le dispositif d'analyse stéréoscopique comporte des seconds moyens de traitement d'images permettant de ne prendre en compte que des objets de forme prédéterminée. Avantageusement, les dispositifs de visualisation à écran plat sont des écrans à cristaux liquides et le rétro-éclairage comporte des diodes 15 électroluminescentes infrarouges. L'invention sera mieux comprise et d'autres avantages apparaîtront à la lecture de la description qui va suivre donnée à titre non limitatif et grâce aux figures annexées parmi lesquelles : 20 La figure 1 déjà commentée représente un cockpit d'aéronef selon l'art antérieur ; La figure 2 représente l'image dans le proche infrarouge d'un système d'interface tactile selon l'invention ; Les figures 3 et 4 représentent deux dispositions de deux caméras 25 du système d'interface selon l'invention par rapport à un dispositif de visualisation ; La figure 5 représente l'image dans le proche infrarouge d'un système d'interface tactile selon l'invention en présence de désignateurs, en l'occurrence les mains de l'équipage ; 30 La figure 6 représente la position des désignateurs précédents dans le cockpit après analyse par le dispositif d'analyse stéréoscopique. Le système d'interface tactile de cockpit d'aéronef selon l'invention comporte essentiellement trois parties : La première partie comprend toutes les interfaces permettant d'interagir avec le système avionique, c'est-à-dire l'ensemble des dispositifs de visualisation à écran plat et l'ensemble des zones d'interface comportant des interfaces homme-machine. Dans le système selon l'invention, tous ces dispositifs comportent des moyens d'éclairage émettant dans le proche-infrarouge. La seconde partie comprend un ensemble de caméras sensibles dans la bande spectrale d'émission des moyens d'éclairage. Le champ de l'ensemble des caméras couvre la totalité de la surface des dispositifs de visualisation et des zones d'interface, chaque dispositif de visualisation et chaque zone d'interface étant couvert par au moins deux caméras ; La troisième partie est un dispositif d'analyse stéréoscopique d'images comprenant des moyens de détecter la position d'un objet situé au-dessus d'un dispositif de visualisation et/ou d'une zone d'interface par l'analyse des ombres produites par cet objet dans les images issues desdites caméras et représentatives dudit dispositif de visualisation et/ou de ladite zone d'interface. Les écrans de visualisations sont pour la grande majorité d'entre eux constitués de matrices actives à cristaux liquides dites LCD éclairées en transmission par des éclairages à diodes électroluminescentes. Ces écrans possèdent une bonne transmission naturelle dans le proche infrarouge, quelle que soit l'image affichée. En disposant des sources infrarouges de la même manière que celles utilisées pour le rétro éclairage dans le spectre visible de l'écran, on génère une surface infrarouge uniforme indépendante de l'image affichée sur l'écran. Vue d'une caméra filtrée à la même longueur d'onde infrarouge que celle des sources d'éclairage, l'écran apparaît alors comme un quadrilatère uniformément lumineux. Les zones actives d'interface du cockpit sont également rétro- éclairée en infrarouge dans le même domaine spectral que celui des écrans précédents. Ce sont essentiellement des claviers, des boutons poussoirs ou rotatifs mais aussi toute zone des panneaux de commande déjà éclairée ou non du cockpit et comportant du texte ou des symboles graphiques. L'éclairage de ces différents claviers, boutons, marquages et dessins est obtenu en utilisant des matériaux et/ou des sérigraphies semi-transparents éclairés par des sources infrarouges. Toute zone du cockpit peut ainsi être rendue détectable et « activable » virtuellement. Le spectre d'émission des sources d'éclairage est situé dans l'infrarouge proche, usuellement entre 700 nm et 980 nm. Il est intéressant, lorsque le cockpit doit être utilisé avec des jumelles de vision de nuit, de choisir des sources d'éclairage émettant au-delà de la bande spectrale d'amplification des jumelles tout en restant dans la bande de sensibilité des caméras. Typiquement, la bande spectrale d'émission des sources se situe alors entre 930 nm et 950 nm. Ainsi, comme on le voit sur la figure 2, l'ensemble des caméras voient, sur fond noir, des zones uniformes et brillantes rectangulaires, ponctuelles ou de tout autre profil. Ces caméras sont des caméras grand champ disposées en nombre limité et de manière fixe dans le cockpit. Chaque caméra comporte un filtre optique à bande étroite dont le pic de transmission est centré autour de la longueur d'onde d'émission infrarouge. On évite ainsi que les caméras soient perturbées par les émissions naturelles d'autres éléments du cockpit comprenant un éclairage dans le visible ou illuminés par le soleil. Ces caméras peuvent être de technologie très usuelle à capteurs CCD ou CMOS et à bas coût tout en conservant une résolution suffisante. Il est essentiel que chaque zone interactive soit vue par au moins deux caméras sous deux angles différents de façon à repérer les objets dans l'espace et à déterminer leur distance à une zone d'interface. On place soit des caméras couvrant chacune des zones interactives avec un recouvrement deux à deux comme illustré en figure 3, soit des couples de caméras couvrant toutes les zones interactives comme illustré en figure 4. Le positionnement des caméras est également important. Pour optimiser leur nombre et leur position, on prend en compte les paramètres suivants : - L'absence de masquage des zones interactives par différentes parties du corps ou de la tête des pilotes ; - La protection d'une illumination solaire directe ; - Les possibilités de redondance de chaque zone : toute zone doit être couverte par au moins deux caméras ; - Les possibilités de minimiser les effets d'ombres non désirés ; - Les positions permettant de couvrir la totalité des zones d'interaction avec un minimum de caméras. Un positionnement possible des caméras dans le cockpit peut être : - Un premier couple de caméras installé dans le panneau plafond capturant toutes les zones par-dessus l'équipage ; - un second couple de caméras installé dans l'auvent supérieur qui couvre la planche de bord, auvent connu sous le nom de « glareshield ». Ce couple capture le piédestal de la planche de bord par le dessus. On évite ainsi les effets d'ombres des bras des pilotes sur les zones un peu basses du cockpit. On peut éventuellement doubler chaque couple de caméras si les champs des caméras ne sont pas suffisants ou si l'on souhaite assurer une redondance importante. Il est clair que l'installation des caméras dans l'environnement particulier d'un cockpit d'aéronef présente des avantages importants dans la mesure où l'environnement est parfaitement connu, fixe et maîtrisé. Ainsi, les caméras peuvent être positionnées de manière fixe face aux écrans ou aux panneaux de contrôle. Comme il a été dit, l'ensemble des caméras voient, sur fond noir, des zones uniformes et brillantes rectangulaires, ponctuelles ou de tout autre profil. Dès qu'un objet s'approche d'une zone éclairée en infrarouge, il apparaît en sombre sur le fond lumineux de la zone éclairée comme on le voit sur la figure 5, dans la mesure où lui-même n'est pas éclairé en infrarouge ou de façon très faible. Dans le cas de la figure 5, on distingue la main gauche HI et la main droite H2 du pilote et la main gauche H3 du copilote. Pour la compréhension de la figure, les mains représentées ont un détourage blanc. La fonction du dispositif d'analyse stéréoscopique est de détecter la position d'un objet ou d'un désignateur situé au-dessus d'un dispositif de visualisation et/ou d'une zone d'interface par l'analyse des ombres produites par cet objet dans les images issues des caméras et représentatives du dispositif de visualisation et/ou de la zone d'interface. La détection des ombres ne suffit pas à donner l'information de profondeur permettant de vérifier qu'il y a contact avec la surface des zones interactives, le traitement effectue donc une mesure de parallaxe par la fusion de donnée et le traitement d'image d'au moins deux caméras. La présence d'une main, d'un doigt ou d'un stylo est évaluée en trois dimensions de façon que le contact avec la zone ciblée soit détecté. La détection se fait par corrélation. L'ombre générée sur les zones interactives est la même quand le désignateur créé une ombre au même endroit de l'écran sur les deux caméras. Pour éviter que des zones parasites ne soient perçues par les caméras, les émetteurs des zones interactives sont synchronisés avec les acquisitions des caméras et une soustraction de fond peut être effectuée. Par ailleurs un filtrage optique sélectif par l'ajout d'un filtre passe bande devant les capteurs des caméras permet de limiter la quantité de flux 15 lumineux parasite potentiellement perturbateur. Le système peut éventuellement sécuriser les détections d'appuis en évaluant la forme des désignateurs et en supprimant toute forme d'objet ne correspondant pas à un désignateur prédéterminé. On évite ainsi un appui non volontaire généré par un objet parasite comme une feuille de 20 papier, un liquide renversé ou un insecte. On peut également désactiver certaines zones d'acquisition lorsqu'elles sont perturbées par un objet. Ainsi, la tablette graphique ou le clavier disposé devant le pilote peuvent s'inactiver automatiquement lorsque le pilote y pose son plateau repas pour redevenir opérationnel ensuite. 25 Au final, le dispositif d'analyse stéréoscopique donne les coordonnées des désignateurs trouvés dans les différentes images. Ainsi, dans le cas de la figure 5, le dispositif d'analyse d'image identifie trois objets H1, H2 et H3 dont les positions sont respectivement PH1, PH2 et PH3 dans le repère du cockpit. Il est alors facile de déterminer au-dessus de quelle 30 interface se situent ces trois objets et d'en déduire le type d'action à effectuer. Pour certaines fonctions, il est bien entendu possible d'analyser le mouvement du désignateur dans le temps pour en déduire l'action à effectuer. 35 Les avantages du système selon l'invention sont les suivants: - le système permet de rendre tactile un grande partie du cockpit dans sa globalité que ce soit les écrans, leur pourtour ou les panneaux de contrôle ; - Le système d'interaction est indépendant des écrans ou d'autres instruments, il peut être réparé et remplacé séparément, il peut aussi être optionnel ; - Le système permet l'utilisation en appuis multiples dit « multitouch » ; - Le système est compatible « tout désignateur » ; - Le système peut minimiser la distance d'activation à une valeur prédéterminée pour éviter les fausses manipulations ; - Le système permet la détection de formes complexes et donc d'isoler le doigt ou le stylo de la main pour une acquisition d'écriture ; - Le système permet de paramétrer l'activation d'une zone spécifique, un bouton peut être rendu opérant ou inopérant par logiciel ; - Le système permet de se passer des systèmes de reconnaissance de position du matériel disposé dans le cockpit par « pin prog ». Dans les solutions selon l'art antérieur, lorsqu'un matériel est déplacé dans le cockpit pour effectuer, par exemple, le remplacement d'un écran par un autre, il faut mettre en place un tel système de reconnaissance ; - Le système est adaptable facilement à toutes les tailles d'écran, y compris au cas extrême d'écran unique couvrant tout le cockpit. REVENDICATIONS1. Système d'interface tactile de cockpit d'aéronef, ledit système d'interface comprenant des dispositifs de visualisation à écran plat (LCD) comportant un rétro-éclairage et des zones d'interface comportant des interfaces homme-machine (PB, CP), caractérisé en ce que : chaque rétro-éclairage des dispositifs à écran plat comporte des premiers moyens d'éclairage émettant dans le proche-infrarouge, chaque zone d'interface comporte des seconds moyens d'éclairage émettant dans le proche-infrarouge ; le système comporte : un ensemble de caméras (C1, C2) sensibles dans la bande spectrale d'émission des premiers moyens d'éclairage et des seconds moyens d'éclairage, le champ de l'ensemble des caméras couvrant la totalité de la surface des dispositifs de visualisation et des zones d'interface, chaque dispositif de visualisation et chaque zone d'interface étant couvert par deux caméras ; un dispositif d'analyse stéréoscopique d'images comprenant des moyens de détecter la position d'un objet situé au-dessus d'un dispositif de visualisation et/ou d'une zone d'interface par l'analyse des ombres produites par cet objet dans les images issues desdites caméras et représentatives dudit dispositif de visualisation et/ou de ladite zone d'interface. 2. Système d'interface tactile de cockpit d'aéronef selon la revendication 1, caractérisé en ce que l'émission dans le proche-infrarouge 25 des premiers moyens d'éclairage et des seconds moyens d'éclairage est synchronisée avec les dispositifs d'acquisition des caméras. 3. Système d'interface tactile de cockpit d'aéronef selon la revendication 1, caractérisé en ce que le dispositif d'analyse stéréoscopique 30 comporte des premiers moyens de traitement d'images permettant de réaliser la soustraction d'une image de référence ne comportant pas d'objet à une image comportant un objet. 4. Système d'interface tactile de cockpit d'aéronef selon la revendication 1, caractérisé en ce que le dispositif d'analyse stéréoscopique comporte des seconds moyens de traitement d'images permettant de ne 5 prendre en compte que des objets de forme prédéterminée. 5. Système d'interface tactile de cockpit d'aéronef selon l'une des revendications précédentes, caractérisé en ce que les dispositifs de visualisation à écran plat sont des écrans à cristaux liquides et que le rétro-10 éclairage comporte des diodes électroluminescentes infrarouges.