FR 2502875 A1 19821001 FR 8106330 A 19810330 - 'I - Procédé et dispositif de cadrage et de stabilisation d'image de caméra électro-optique La présente invention concerne le domaine de l'ima- gerie par voie électro-optique et elle a particulièrement s pour objet la stabilisation de l'image d'une scène recons- tituée à partir de signaux fournis par une caméra électro- optique, notamment de télévision ou infrarouge, susceptible de se déplacer par rapport à la scène, ce qui se traduit par une modification de l'emplacement de la scène dans le champ de la caméra. On rencontre notamment un déplacement dans le sens angulaire lorsque la caméra n'est pas stabilisée mécaniquement de façon précise par rapport à la scène. On se trouve confronté à un déplacement se traduisant par une variation de distance, lorsque la caméra est portée par un mobile se rapprochant ou s'éloignant de la scène. Dans ce cas, cette dernière est vue sous un angle solide varia- ble. En l'absence de stabilisation des dimensions de l'image par traitement de signal, l'image de la scène pré- sente une dimension variable qui rend notamment difficile les reconnaissances de forme par comparaison avec une image de référence mémorisée, éventuellement sous forme de ses traits significatifs (graphèmesou histogramme). La présente invention vise notamment à fournir un procédé et un dispositif de stabilisation d'image par traitement de signal, applicable à toute installation com- portant une caméra fournissant une représentation d'image par points élémentaires d'image, dits pels (ou pixels, par abréviation des mots anglosaxons "picture éléments"), définis chacun par ses coordonnées et un signal de brillance (ainsi éventuellement que des signaux de chrominance). Dans ce but, l'invention propose notamment un procédé de stabilisation en temps réel de l'image constituée de pels fournis d'une scène par une caméra électro-optique susceptible de déplacements angulaires par rapport à la scène suffisamment faibles pour que cette dernière reste dans le champ de la caméra, caractérisé en ce que l'on pré- détermine un canevas de cadrage d'image dont la position est immuable par rapport à la scène, canevas défini par un - 2- réseau d'adresses représentatives de points de la scène, en ce que l'on détermine les coordonnées réelles de chaque pel du champ et en ce que l'on affecte les pels à l'adresse du canevas avant la meilleure correspondance avec lesdites coordonnées. Cette dernière opération s'effectue facilement par simple transcodage. Souvent le nombre de pels fournis par la caméra, au moins pour l'une des directions de l'image (direction de balayage de ligne par exemple) est suffisamment élevé pour permettre le transcodage par simple sélection des pels dont l'écart par rapport aux adresses du canevas est inférieur à une valeur déterminée. Cette façon de procé- der ne s'accompagne d'aucune perte de définition lorsqu'il y a redondance entre pels adjacents. Dans d'autres cas, on devra se placer dans la situation inverse et prévoir un canevas suffisamment serré -- au moins pour l'une des directions de l'image -- pour que l'on n'ait qu'à affecter chacun des pels disponi- bles à l'adresse du canevas la plus proche. La mise en oeuvre des étapes ci-dessus définies permet une stabilisation de l'image en position par simple recadrage du canevas en fonction des déplacements angulaires de la caméra depuis le dernier balayage. La stabilisation en dimension peut être effectuée par dila- tation ou contraction du canevas en fonction de la distance. Mais l'intérêt de cette approche ne se limite pas à ce cas, qui a toutefois le grand avantage de fournir une image de dimensions immuables. La contraction ou la dilatation du canevas constitue un moyen permettant de réaliser, de façon tout à fait générale, un effet de zoom par traitement de signal et non plus par voie optique et ce sans modification de brillance des pels, ce qui ne serait pas le cas si on totalisait les signaux représenta- tifs d'un nombre variable de pels adjacents. L'invention trouve une application particulière- ment intéressante, mais nullement exclusive, dans les autodirecteurs de guidage d'engin par reconnaissance de forme sur une image formée par une caméra électro-optique. - 3 - Cette caméra, généralement sensible dans l'infrarouge, fournit une image constituée de pels régulièrement répartis dans les sens horizontal et vertical. Le dispositif peut alors comporter des moyens pour mémoriser l'ensemble des pels obtenus à chaque exploration, représentés par leurs coordonnées en azimut et en site et leur brillance des moyens pour générer un canevas de référence cadré de façon immuable par rapport à la scène et défini par un réseau d'adresses en azimut et en site; et des moyens de transcodage destinés à affecter les pels à l'adresse du canevas ayant la meilleure correspondance avec lesdites coordonnées et les inscrire en mémoire. La caméra sera souvent du type ayant une barrette d'éléments détecteurs associés à des moyens de balayage optique suivant la direction perpendiculaire à la barrette. Les éléments détecteurs peuvent alors être reliés, par l'intermédiaire d'amplificateurs individuels, à un multi- plexeur codeur qui, à intervalles angulaires de balayage réguliers, échantillonne les signaux de sortie de la barrette et inscrit en mémoire un train de signaux compor- tant une adresse commune dans le sens de balayage et un nombre de mots égal à celui des éléments détecteurs cons- titués chacun de l'adresse du détecteur et d'une indication de brillance, les moyens de transcodage faisant une sélection, d'abord en retenant uniquement les adresses dans le sens de balayage les plus proches des lignes correspon- dantes du canevas puis, pour chacune des adresses retenues, par sélection et affectation des mots. Lorsque la caméra est du type à barrette d'éléments détecteurs et à balayage optique, il est possible d'augmenter sans difficulté le nombre de pels dans le sens de balayage et de diminuer leur écartement angulaire. Dans cette même direction, l'écartement des lignes du cane- vas pourra être supérieur à celui des pels. Dans la direction de la barrette par contre, des considérations de prix et d'encombrement limi- tent le nombre d'éléments sensibles, donc de pels. On sera alors fréquemment conduit à adopter un canevas dont les lignes sont plus rapprochées que les pels. Le canevas n'est alors "renseigné" que pro- gressivement, au cours de balayages successifs, mais le retard mis à l'obtention d'une information complète est tolérable. - 4 - - L'invention sera mieux comprise à la lecture de la description qui suit d'un mode particulier de réalisation donné à titre d'exemple non limitatif. La description se réfère aux dessins qui l'accompagnent, dans lesquels: - la Figure 1 est un schéma de principe montrant le mode de couverture du champ par la caméra d'un dispo- sitif mettant en oeuvre l'invention; - la Figure 2 est un synoptique de principe montrant les composants principaux du dispositif; - la Figure 3 montre l'évolution de l'image angulaire de la scène lors du rapprochement de la caméra et de la scène, qui doit être compensée par effet de zoom; les Figures 4 et 5 sont des schémas montrant une fraction du canevas utilisé pour le transcodage de centrage de l'image, respectivement lors du premier balayage et au cours d'un balayage ultérieur, l'emplace- ment des pels étant indiqué par des cercles qui sont hachurés lorsque le pel est rejeté. Le mode de réalisation de l'invention qui sera décrit est destiné à un autodirecteur d'engin prévu pour, successivement, détecter un but et l'acquérir par reconnaissance de forme en imagerie infrarouge, puis assurer la poursuite. On ne décrira pas ici les opéra- tions d'extraction d'image et de guidage de l'engin proprement dit, qui ne sont pas directement liées à l'invention. L'autodirecteur comprend une caméra électro- optique infrarouge à balayage dont les éléments sensibles sont constitués par les n détecteurs d'une barrette de détecteurs à couplage de charge que l'on supposera verticale ou, plus exactement, disposée suivant l'axe de lacet de l'engin. Un dispositif de balayage optique, typiquement deux prismes tournants contrarotatifs ou un miroir oscillant, dispositifs de balayage déjà connus, permet d'animer l'axe optique d'un mouvement angulaire de va et vient en azimut. Dans une disposition typique, - 5 - la barrette comporte n = 32 détecteurs offrant un champ vertical total de 96 milliradians. La zone de balayage utile s'effectue suivant un champ horizontal de 157 milliradians, comme indiqué sur la Figure 1. On peut prévoir, dans une réalisation préférentielle, d'utiliser un dispositif de balayage tel que, au balayage retour ou au balayage suivant, l'axe optique se décale verti- calement d'un demi pas, ce qui permet de doubler le nombre des lignes d'observation, les lignes du balayage retour s'intercalant entre les lignes du balayage aller au lieu de leur être superposées. Ce résultat peut être obtenu par exemple en faisant basculer légèrement le miroir oscillant à chaque changement de direction ou en utilisant deux miroirs tournants légèrement décalés en direction, ou par beaucoup d'autres procédés. Un tel balayage est montré sur la Figure 1, o les lignes aller sont indiquées en trait plein, les lignes retour en tirets. La caméra étant fixée à l'engin, elle suit les déplacements angulaires de celui-ci, en particulier en tangage, déplacements qui peuvent atteindre 50 milli- radians par seconde dans une situation représentative de la réalité. Chacun des détecteurs 10 est associé à un amplificateur 11. Tous les amplificateurs sont reliés à un multiplexeur codeur unique 12 (Figure 2). A chaque instant, les amplificateurs associés aux trente- deux détecteurs 10 de la barrette fournissent chacun un signal analogique. Ces trente-deux signaux sont multiplexés et codés en un temps très bref (typiquement de l'ordre de 0,1 milliseconde) par le codeur unique 12 associé à un cadenceur 13. Ce cadenceur commande l'émission des signaux codés à des positions angulaires en azimut précises du dispositif de balayage de l'axe optique (scanneur). Les trains de trente-deux signaux numériques codés qui sortent du codeur sont figurés en - 6 - 14, 15 et 16; ils sont constitués par une adresse collective en azimut 14, valable pour les trente-deux signaux et trente-deux mots successifs constitués chacun d'une adresse particulière en site 15 suivie du signal lui-même 16. Dans l'exemple non limitatif décrit, il y a soixante-quatre adresses en site différentes (correspondant chacune à une ligne de balayage), les trente-deux adresses impaires étant utilisées à l'aller, les trente-deux adresses paires au retour. Le signal lui-même est en général à quatre bits ou huit bits, suivant la précision de mesure recherchée. Dans l'art antérieur, chacun des signaux serait inscrit à son adresse dans la mémoire 19 et, dès la fin du premier balayage complet, cette mémoire con- tiendrait donc la représentation de l'ensemble des pels représentatifs de l'image; mais cette représentation ne serait précise que si la caméra était fixe par rapport à la scène; avec une caméra mobile, l'image serait brouillée. Dans le dispositif objet de l'invention, on n'accepte dans la mémoire qu'une partie des signaux ceux dont les adresses sont en site et en azimut et sont comprises dans la fenêtre d'observation désirée. Cette fenêtre d'observation peut être déplacée arbitrai- rement (à l'intérieur du champ total de la caméra) en fonction de la position de la scène à observer et des mouvements de la caméra. Comme on l'a vu plus haut, les mouvements de l'axe de l'engin perturbent l'entrecroisement des lignes optiques de prise d'image. En particulier, un mouvement de tangage affecte la concordance des balayages aller et retour. De plus, à défaut de mesure de correc- tion, l'image fournie d'une fraction, de dimension linéaire donnée, de la scène observée par la caméra, apparaîtrait sur l'image avec des dimensions variables du -7- fait du rapprochement. Ce changement apparaît sur la Figure 3, o l'on voit qu'une fraction donnée de l'image, vue sous un angle aO initialement, apparaît sous un angle plus grand a après rapprochement. On décrira maintenant la façon dont l'invention assure de façon simple un recadrage, aussi bien en position qu'en grandeur, et ce en utilisant les caractéristiques propres de la caméra. Il faut dès à présent remarquer que la stabilisation de l'image en dimension par un effet que l'on peut qualifier de zoom permet d'éviter les-modifica- tions d'aspect de l'image, ou du moins de la partie de celle-ci qui reste dans le champ de la caméra, et de conserver à la "fenêtre but" (image du champ ou d'une fraction déterminée de celui-ci) des dimensions linéaires fixes en dépit de la diminution de distance entre engin et cible. La figure 3 montre que ce dernier résultat est obtenu si la largeur angulaire a de l'image suivant chaque direction de celle-ci est modifiée en fonction deD/D., D étant la distance instantanée et D0 la distance initiale. Ces fonctions sont confiées à deux dispositifs de transcodage 17 et 18 (Fig.2) dont on décrira d'abord le procédé de fonctionnement, pour plus de clarté. Cadrage horizontal: Pour simplifier, on supposera que l'analyse de l'image ne s'effectue que sur un champ utile inférieur au champ total, de 40 pixels de large (soit 24 milliradians). On a vu plus haut que, dans le cas particulier envisagé, les pels donnent de l'image une représentation très redondante. Il suffit donc d'explorer une image com- portant un nombre de points plus faible, que l'on supposera être de trente, correspondant encore à une étendue angulaire d'origine de 24 milliradians, ce qui correspond à 0,8 milli- radian entre points. Idéalement, ces points devraient correspondre à des pels écartés de 0,8 D0/D milliradians. Dans la pratique, on devra faire des approximations et, dans ce but, on élaborera un canevas virtuel à l'écartement - 8 - théorique puis on affectera à chaque ligne de ce canevas les pels qui en sont les plus proches. Le dispositif de transcodage est intégré à un moni- teur de prise de vues 20 qui calcule, pour chaque image ou demi- image (cas d'un balayage entrelacé), le cadrage correct du champ utile en fonction de la direction présumée du but, de la direction de l'axe de l'engin et de la distance D. Les éléments de calcul nécessaires seront fournis par une centrale de bord de l'engin et, éventuellement, depuis l'extérieur. Le champ horizontal sera défini par sa posi- tion et sa largeur angulaire. A partir de là, l'analyseur divise le champ horizontal en 30 parties égales et calcule les 30 azimuts correspondants. En fait, le logiciel du moniteur sera conçu pour ne pas effectuer ces calculs explicitement. On définit ainsi les-lignes verticales du canevas de référence. Les figures 4 et 5 montrentl'évolu- tion de ce canevas au cours de balayages successifs. Lors du premier balayage, le canevas est centré sur la position évaluée du but 16 et les lignes verticales sont écartées de 0,8 milliradian. Au cours des balayages ultérieurs, l'écartement des lignes du canevas augmente, pour tenir compte de la diminution de D, comme le montre la figure 5. Le dispositif de transcodage compare alors les 40 coordonnées horizontales (en azimut) des pels mémorisés dans les positions de mémoire 15 et retient uniquement ceux dont les coordonnées sont les plus proches des adresses du canevas. Cette sélection constitue la règle de transcodage d'adresse utilisée pour l'extraction des pels qui compose- ront l'image. Elle est effectuée par un transcodeur 17 dont il n'est pas nécessaire de décrire la constitution, puisqu'elle sera très simple à base de comparateurs. On voit que la précision du cadrage est, pour chaque pel, meilleure que 0, 3 milliradian, c'est-à-dire nettement meilleure que la définition optique de l'image. Cadrage vertical: Le cadrage vertical se heurte, dans le mode de réalisation envisagé ici., à une difficulté que l'on ne rencontre pas pour le cadrage horizontal. L'écartement - 9 - théorique des lignes (1,5 milliradian) est tel qu'il n'y a pas de redondance. De plus, cet écartement n'est pas exactement respecté si l'axe de la caméra a un mouvement de tangage. Les lignes du balayage aller et celles du balayage retour ne s'entrelacent pas correctement. Le procédé qui sera maintenant décrit permet néan- moins d'obtenir une image satisfaisante. Ce procédé con- siste à élaborer, lors du premier balayage, un canevas idéal de 25 lignes parallèles séparées les unes des autres de 1 milliradian, comme le montre la figure 4. Pour élaborer le canevas, le moniteur retient, au premier balayage aller, les neuf lignes de balayage qui encadrent le mieux la position présumée du but 16. La ligne la plus proche de cette position constituera la ligne de base, placée au milieu d'une mémoire de 25 lignes. Les quatre lignes de balayage adjacentes dans la moitié supé- rieure du champ seront mémorisées en tant que lignes de canevas 3, 6, 9 et 12 (en traits pleins sur la figure). De façon similaire, les lignes de balayage adjacentes dans la moitié inférieure de l'image sont mémorisées en tant que lignes de canevas -3, -6, -9 et -12. Le moniteur définit ensuite, par interpolation linéaire entre ces neuf lignes du balayage aller, seize lignes intercalaires (dont quelques unes sont montrées en tirets sur les Figures 4 et 5, qui représentent la position idéale en élévation des lignes des balayages suivants en l'absence du rapprochement). Lors du balayage retour, puis des balayages suivants, l'analyseur ne retient que les lignes de balayage dont la position angulaire est à l'intérieur du canevas défini par les neuf lignes initiales. Et chacune de ces lignes (huit au début puis davantage quand le but se rapproche) est affectée à la ligne de mémoire correspondant à la position la plus proche qui peut être soit une des lignes interca- laires, soit une des lignes initiales. De plus, pour améliorer la précision d'image, on peut prévoir de rejeter purement et simplement les pels dont l'écart avec le canevas dépasse une valeur déterminée (0,3 milliradian par exemple). - 10 - En résumé, les neuf lignes de balayage horizontal les plus proches du but au premier balayage aller définis- sent un canevas de 25 lignes (Figure 4) qui est ensuite renseigné ou rafraîchi, huit lignes par huit lignes (ou davantage quand le but se rapproche), au balayage retour puis aux balayages suivants en tenant compte des mouvements de l'engin pour adresser chaque ligne de balayage à sa position correcte dans l'image stabilisée par voie informa- tique. On adresse ainsi chaque ligne de balayage avec une précision de 0, 5 milliradian, trois fois meilleure que la définition optique de la caméra. Il est important de noter que l'intervalle entre les lignes horizontales des canevas est de 1 milliradian, alors que la définition théorique est de 1,5 milliradian. On pourrait penser que le choix d'un intervalle aussi faible n'apporte aucun gain. En fait, cette façon de procéder présente un grand intérêt. En effet, la précision réelle de définition de l'image peut être nettement supérieure à la définition géométrique théorique (qui est de 1,5 milliradian dans l'exemple choisi) car la dimension de la tache optique de diffraction est habituellement beaucoup plus faible (meilleure que 1 milliradian dans l'exemple considéré). Par conséquent, une petite source thermique donne dans le détecteur une image plus ou moins brillante suivant que sa tache de diffraction est au centre du détecteur, ou au con- traire proche d'un des bords. On peut donc tirer davantage d'informations de l'image en exploitant des pels un peu plus rapprochés qu'on ne le supposerait d'après la dimension du détecteur. L'inconvénient de l'approche utilisée est que l'image risque de ne pas totalement être "renseignée" rapide- ment à partir du premier balayage. Si l'on suppose que le canevas reste de dimensions immuables, la probabilité pour que toutes les liznes aient été renseignées après sept demi balayages (soit en 0,25 seconde avec une cadence de bala- yage représentative) est seulement de 82%. Mais on peut aisément concevoir le logiciel de reconnaissance de forme de façon qu'il conserve une bonne probabilité de classement - il - correct d'image, même si une ligne sur trois du canevas n'est pas encore renseignée. Et le fait que l'image est précise et bien centrée compense largement le fait qu'elle est un peu incomplète pendant quelques dixièmes de seconde. De plus, comme le montre la figure 5, le canevas va se dilater au fur et à mesure du rapprochement,alors que l'écartement angulaire des pels reste le même: en conséquence, on peut prévoir le dispositif de transcodage de façon que, lorsque le rapprochement est suffisant, il y ait rafraîchissement de plus de huit lignes par balayage. L'invention est évidemment susceptible de très nombreuses variantes. Par exemple, le même type de centrage peut être utilisé pour les deux directions, notamment s'il y a redondance (ou absence de redondance) des pels dans les deux directions. Le canevas peut être déterminé de façon arbitraire. Les signaux stockés dans la mémoire 19 pourront être traités par un extracteur d'image dont la complexité sera notablement réduite, du fait qu'il aura toujours à traiter des images ayant la même brillance et la même dimension, donc dont la comparaison sera relativement facile avec une image de référence mémorisée. _ 12 _ Revendications 1. Procédé de stabilisation en temps réel de l'image constituée de pels fournis d'une scène par une caméra électro-optique susceptible de déplacements angu- laires par rapport à la scène suffisamment faibles pour que cette dernière reste dans le champ de la caméra, caracté- risé en ce que l'on prédétermine un canevas de cadrage d'image dont la position est immuable par rapport à la scène, canevas défini par un réseau d'adresses représen- tatives de points de la scène, en ce que l'on détermine les coordonnées réelles de chaque pel du champ et en ce que l'on affecte les pels à l'adresse du canevas ayant la meilleure correspondance avec lesdites coordonnées. 2. Procédé suivant la revendication 1, caractérisé en ce que l'affectation s'effectue par transcodage. 3. Procédé suivant la revendication 2, caractérisé en ce que, le nombre de pels fournis par la caméra pour l'une au moins des deux directions de l'image étant sura- bondant par rapport au nombre de lignes du canevas dans la direction correspondante, le transcodage s'effectue par sélection des pels dont l'écart par rapport aux adresses du canevas est inférieur à une valeur déterminée. 4. Procédé suivant la revendication 1, 2 ou 3, caractérisé en ce-que l'on prédétermine le canevas dans au moins une direction avec un écartement suffisamment faible pour que le transcodage s'effectue par affectation de chaque pel à la ligne du canevas la plus proche de la position idéale. 5. Procédé suivant l'une quelconque des revendica- tions précédentes, caractérisé en ce que l'on contracte ou dilate le canevas pour réaliser un effet de zoom. 6. Dispositif de stabilisation de l'image constituée de pels fournis d'une scène par une caméra electro-optique, caractérisé en ce qu'il comprend: des moyens (14) pour traduire l'ensemble des pels obtenus à chaque exploration sous forme de signaux comprenant, en plus du signal électro-optique proprement dit, les adresses en site et en azimut du pel correspondant; des moyens pour générer un canevas de référence cadré de - 13 - façon immuable par rapport à la scène et défini par un réseau d'adresses en azimut et en site; et des moyens de transcodage (17, 18) destinés à affecter les pels à -l'adresse du canevas ayant la meilleure correspondance avec lesdites coordonnées et les inscrire en mémoire (19). 7. Appareil d'imagerie par voie électro-optique, comportant une caméra et un dispositif de stabilisation suivant la revendication 6, caractérisé en ce que, la caméra étant du type ayant une barrette d'éléments détec- teurs (10) et des moyens de balayage optique suivant la direction perpendiculaire à la barrette, les éléments détec- teurs sont reliés à un multiplexeur codeur qui, à intervalles angulaires de balayage réguliers, élabore un train de signaux comportant une adresse commune dans le sens de balayage et un nombre de mots égal à celui des éléments détecteurs constitués chacun de l'adresse du détecteur et d'une indication de brillance, et en ce que les moyens de transcodage font une sélection, d'abord en retenant uni- quement les adresses dans le sens de balayage les plus pro- ches des lignes correspondantes du canevas, puis, pour chacune des adresses de balayage, affectent dans la direc- tion perpendiculaire à la direction de balayage chacun des différents pels retenus à la ligne du canevas la plus proche de l'adresse de ce pel. 8. Appareil suivant la revendication 7, caractérisé en ce que les moyens de génération du canevas sont reliés à des moyens fournissant des signaux représentatifs de la position de la caméra par rapport à la scène, en orienta- tion et en distance, de façon à déterminer un canevas dont le centrage et l'écartement entre lignes assurent une stabilisation de l'image en position et en dimension. 9. Appareil suivant l'une quelconque des revendica- tions 7 et 8, caractérisé en ce que le canevas prédéterminé comporte des lignes un peu plus rapprochées que les lignes de balayage, en sorte que la définition de l'image enre- gistrée en mémoire (19) est un peu meilleure que si les lignes du canevas étaient exactement au même écartement que les lignes de balayage. - 14 - 10. Appareil suivant l'une quelconque des reven- dications 7 à 9, caractérisé en ce que le champ de la caméra est nettement plus grand que la scène que l'on désire observer, en sorte qu'en faisant varier de manière S convenable le cadrage du champ utile dans le champ total on peut réaliser sans mouvement mécanique l'orientation de la scène observée par rapport à l'axe de la caméra.