Brevet FR3047103A1 — publié le 20170728

PROCEDE DE DETECTION DE CIBLES AU SOL ET EN MOUVEMENT DANS UN FLUX VIDEO ACQUIS PAR UNE CAMERA AEROPORTEE La présente invention a pour domaine celui des procédés de détection de cibles au sol et en mouvement, dans un flux vidéo acquis par une caméra aéroportée. Une caméra aéroportée est une caméra mobile par rapport au sol, non seulement parce que l'aéronef portant la caméra se déplace par rapport au sol, mais également parce qu'un opérateur contrôle, par exemple depuis une station au sol, les mouvements de la caméra par rapport à l'aéronef, de manière à pouvoir observer une zone particulière survolée par ce dernier. Le flux vidéo acquis est transmis, en temps réel, à la station au sol pour analyse. La détection des mouvements au sol de tout type de véhicules (véhicule militaire, voiture, deux-roues, etc.) est un renseignement essentiel à extraire du flux vidéo. La détection automatique de véhicules au sol et en mouvement dans un flux vidéo acquis par une caméra fixe, par exemple montée rigidement sur un mât implanté dans l'environnement, est connue. Le fait que la caméra soit fixe par rapport au sol permet de faire abstraction du décor de la scène observée et de ne traiter que les portions de l'image qui évoluent d'une trame du flux vidéo à la suivante, et qui représentent par conséquent des cibles potentielles. Pour un flux vidéo acquis par une caméra mobile, la détection des portions de l'image qui évoluent d'une trame à l'autre peut être réalisée automatiquement en mettant en oeuvre une procédure de Harris. Une telle procédure consiste, dans un premier temps, à appliquer un algorithme d'identification des points remarquables sur une image du flux vidéo, puis, dans un second temps, à appliquer un algorithme de reconstruction pour associer des points remarquables identifiés dans l'image considérée, de manière à délimiter des portions de l'image qui correspondent à un objet observé. L'évolution de ces portions d'une image à l'autre permet de déterminer si un objet est en mouvement. Cependant, un tel algorithme n'est pas suffisant pour discriminer des cibles de petites tailles, en l'occurrence des véhicules observés à distance par une caméra aéroportée. Mais surtout, un tel algorithme requière un temps de calcul élevé, notamment pour l'association de points remarquables de manière à définir des objets. Un tel temps de calcul n'est pas compatible avec une analyse en temps réel du flux vidéo acquis. Ainsi, actuellement, le flux vidéo acquis par une caméra aéroportée est affiché sur un écran de la station au sol et l'opérateur analyse visuellement la succession des images pour essayer d'y reconnaître des objets en mouvement. L'opérateur peut être contraint à 3047103 2 rester plusieurs heures à réaliser cette analyse visuelle. Son attention ne pouvant pas être maintenue en permanence, la détection de cible de cette manière n'est pas toujours efficace. L'invention a donc pour but de pallier ce problème, en proposant notamment un 5 procédé offrant une aide à l'opérateur en détectant automatiquement et en temps réel, dans le flux vidéo acquis par une caméra embarquée, les cibles constituées par des objets se déplaçant par rapport au décor et en présentant ces cibles potentielles de manière appropriée à l'opérateur. L'invention a pour objet un procédé de détection de cibles au sol et en mouvement 10 dans un flux vidéo acquis par une caméra numérique aéroportée, caractérisé en ce qu'il comporte les étapes consistant à : traiter une pluralité de trames successives de manière à stabiliser les trames comme si elles avaient été acquises par une caméra fixe ; et comparer deux trames traitées, séparées temporellement l'une de l'autre, de manière à identifier les zones de pixels en mouvement d'une trame à l'autre, les zones de pixels en 15 mouvement constituant des cibles détectées. Le procédé selon l'invention permet la détection de cibles au sol et en mouvement (notamment les cibles de faible taille en termes de nombre de pixels dans une image acquise) dans un flux vidéo brut provenant d'une caméra portée par un aéronef, le flux vidéo étant dynamique au sens où l'orientation et/ou l'agrandissement de la caméra par 20 rapport au décor évolue(nt) au cours de la prise de vue. Le procédé est fondé sur la possibilité de faire la différence entre un point au sol et un point d'un objet en mouvement par rapport au sol, à partir de la détermination de leur déplacement relatif, qui évolue de manière distincte à la fois en direction et en intensité. Suivant des modes particuliers de réalisation, le procédé comporte une ou 25 plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles : l'étape consistant à traiter une pluralité de trames successives comporte une étape de correction d'une erreur relative de parallaxe affectant chaque trame de ladite pluralité de trames successives de manière à obtenir, pour chaque trame, une 30 trame corrigée, cette étape mettant en oeuvre un algorithme de détermination d'une transformation projective permettant de passer de la trame à un instant courant à une trame corrigée associée à une trame à un instant d'échantillonnage précédent. l'étape consistant à traiter une pluralité de trames successives comporte une étape de détermination d'un vecteur déplacement de la caméra par rapport au sol, 35 cette étape mettant en oeuvre un algorithme de détermination d'un flot optique permettant 3047103 3 de passer d'une trame corrigée courante à une trame corrigée passée séparée de la trame corrigée courante d'un nombre entier s d'instants d'échantillonnage. l'algorithme de détermination d'un flot optique utilise une grille homogène de points. 5 le nombre entier s est sélectionné entre 5 et 15, de préférence égal à 10. une fois déterminé le vecteur déplacement de la caméra par rapport au sol, une transformation correspondante est appliquée à la trame corrigée courante pour compenser l'effet du déplacement de la caméra et obtenir une trame finale superposable à la trame corrigée passée en tant que trame initiale. 10 l'étape consistant à comparer deux trames consiste à comparer les trames final et initiale entre elles en réalisant successivement les sous-étapes suivantes consistant à : soustraire pixel à pixel la trame initiale de la trame finale de manière à obtenir, pour chaque pixel, une valeur de distance couleur ; appliquer un seuil en distance couleur, chaque pixel ayant une valeur de distance couleur inférieure ou égale audit seuil, 15 prenant la valeur nulle et chaque pixel ayant une valeur de distance couleur supérieure audit seuil prenant la valeur unité, de manière à obtenir une carte binaire ; et appliquer un algorithme de détermination de contour sur la carte binaire pour regrouper les pixels de valeur unité en zones de pixels en mouvement. la carte binaire obtenue à l'issue de la sous-étape d'application d'un seuil 20 étant une carte binaire intermédiaire, les sous-étapes suivantes sont réalisées : application d'une transformation morphologique d'érosion en utilisant un masque adapté ; application d'une transformation morphologique de dilation en utilisant le masque de la transformation morphologique d'érosion. le procédé comporte une étape supplémentaire de vérification de la 25 cohérence des zones de pixels en mouvement identifiées à l'issue de l'étape de comparaison de deux trames, consistant à déterminer, pour chaque zone en mouvement, un indice de corrélation entre les valeurs des pixels des deux trames, une zone en mouvement étant considérée comme correspondant à une cible lorsque l'indice de corrélation est proche de la valeur -1. 30 une zone de pixels en mouvement identifiée à l'issue de l'étape de comparaison est affichée d'une manière adaptée en surimpression sur le flux vidéo affiché sur un écran de contrôle. le flux vidéo est un flux vidéo dans le domaine spectral visible ou Infra- Rouge. 35 le procédé est exécuté en temps réel ou en temps contraint sur le flux vidéo. 3047103 4 le procédé permet la détection de cibles de faible taille, de l'ordre de quelques pixels. L'invention a également pour objet un support d'enregistrement d'informations comportant les instructions d'un programme d'ordinateur propres à être exécutées par un 5 ordinateur pour mettre en oeuvre un procédé de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra digitale aéroportée conforme au procédé précédent. L'invention et ses avantages seront mieux compris à la lecture de la description détaillée qui va suivre d'un mode de réalisation particulier, donné uniquement à titre 10 d'exemple non limitatif, cette description étant faite en se référant aux dessins annexés sur lesquels : La figure 1 est un schéma du système dans lequel le procédé selon l'invention est mis en oeuvre ; La figure 2 est un schéma blocs du procédé selon l'invention ; 15 La figure 3 est une trame courante sur laquelle a été superposée les vecteurs déplacements déterminés au cours du procédé de la figure 2 ; La figure 4 représente l'application d'un masque d'érosion, puis d'un masque de dilatation conformément au procédé de la figure 2 ; et, La figure 5 représente différentes matrices de pixels à différentes étapes du 20 procédé de la figure 2. Comme représenté schématiquement sur la figure 1, le procédé selon l'invention permet la détection d'une cible 2, du type constitué par un véhicule en mouvement à la surface du sol 1, dans un flux vidéo acquis par une caméra 4 portée par un aéronef 6. La caméra 4 permet l'acquisition d'images dans le domaine optique ou infra rouge. 25 La caméra 4 est une caméra digitale, de sorte que chaque image acquise est une matrice de NxM pixels, dénommée dans ce qui suit trame. Le flux vidéo acquis comporte par exemple 24 trames par secondes, mais d'autres fréquences d'acquisition sont envisageables. Au cours de l'acquisition, l'aéronef 6 est mobile par rapport au sol selon six degrés 30 de liberté. Au cours de l'acquisition, la caméra 4 est mobile par rapport à l'aéronef 6. Par exemple, la camera étant fixée sous l'aéronef 6, elle peut être déplacée selon deux degrés de liberté angulaires. La caméra 6 comporte également un degré de liberté en agrandissement, permettant d'effectuer un zoom sur une zone d'intérêt, au sol. 35 Ainsi, au cours de la prise de vue, la camera définie par son centre optique C, son axe optique A, et un axe orthogonal à l'axe optique B (permettant d'orienter le plan image 3047103 5 de la caméra) se déplace par rapport au sol 1 selon trois coordonnées cartésiennes X, Y et Z et trois coordonnées angulaires. A ces déplacements dans l'espace, il faut ajouter la possibilité d'une variation d'agrandissement w. Le flux vidéo est transmis à une station au sol 10 par des moyens de télémesure 5 adaptés 9. La station 10 comporte au moins un ordinateur 12 comportant des moyens de calcul, tels qu'un processeur, et des moyens de mémorisation, tels que des mémoires vive et morte, les moyens de mémorisation stockant les instructions de programmes d'ordinateur propres à être exécutées par les moyens de calcul. En particulier, les moyens 10 de mémorisation stockent un programme permettant, lors de son exécution par les moyens de calcul, de mettre en oeuvre le procédé 100 selon l'invention sur un flux vidéo. De préférence, le programme est exécuté en temps réel sur le flux vidéo brut reçu. Le procédé 100 de détection de cibles au sol et en mouvement dans un flux vidéo 15 acquis par une caméra aéroportée va maintenant être décrit en référence à la figure 2. ETAPE 10 d'acquisition d'un flux vidéo Au cours du vol de l'aéronef 6, la camera 4 réalise une acquisition d'une pluralité de trames successives. Le flux vidéo correspondant est transmis à la station au sol 10. 20 Le flux vidéo reçu par la station au sol 10 est décomposé en trame T. Chaque trame est étiquetée temporellement et stockée dans les moyens de mémorisation de l'ordinateur 12. Si T(0) est la trame à l'instant courant to, T(-1) est la trame précédente, séparée d'un pas de temps égal à l'inverse de la fréquence d'acquisition, f, et T(-s) est la trame 25 passée à l'instant ts qui est séparée de l'instant courant to d'une durée s fois le pas de temps 1/f, s étant un entier naturel. Pour permettre l'application du procédé selon l'invention en temps réel, environ une trame sur deux du flux vidéo initial est prise en compte. Ainsi la fréquence f des trames utilisées est par exemple de 12 trames par secondes. On constatera que le 30 procédé selon l'invention utilise une pluralité de trames successives, qui ne sont pas forcément des trames consécutives du flux vidéo. De plus, la durée entre deux trames successives n'est pas forcément constante. ETAPE 20 de correction de l'erreur de parallaxe affectant chaque trame 35 La première étape de traitement a pour but de transformer un ensemble de s trames successives de manière à les ramener dans un plan de référence commun, fixe 3047103 6 par rapport au sol. Avantageusement, ce plan de référence commun est constitué par le plan des coordonnées d'une trame prise comme référence, par exemple la trame T(-s) à l'instant ts. Cette transformation a pour but de corriger l'erreur relative de parallaxe introduite 5 par le déplacement de la caméra au cours de la durée s, entre les différentes trames. A priori, le plan de référence ne correspond pas au plan XY du sol 1, c'est-à-dire que le plan d'acquisition de l'image à l'instant ts n'est pas parallèle au plan XY de la surface du sol. Ainsi, après transformation, une erreur de parallaxe résiduelle commune affectera l'ensemble des s trames considérées. Cependant, si plutôt qu'à l'identification de 10 la vitesse d'une cible, on s'intéresse au simple déplacement de cette cible, cette erreur de parallaxe résiduelle n'a pas de conséquence. Il est à noter que cette étape de correction permet également de corriger les effets de variation de l'agrandissement w de la caméra et de variation de l'altitude Z de la caméra entre les différentes trames considérées. 15 La trame corrigée, résultant de la correction de l'erreur relative de parallaxe de la trame T(-i) par rapport à la trame T(-s), est notée F(-i). Il s'agit alors de traiter la trame courante T(0) pour corriger l'erreur relative de parallaxe. La correction de l'erreur relative de parallaxe relève des transformations 20 projectives, comportant les translations, les transformations euclidiennes (c'est-à-dire les rotations dans un plan), les similarités (c'est-à-dire les changements d'échelle), les transformations affines et les transformations projectives, ainsi que les combinaisons de ces transformations. Pour déterminer la transformation projective à appliquer à la trame courante T(0) 25 pour obtenir la trame courante corrigée F(0) correspondante, la trame T(0) est comparée avec la trame corrigée précédente F(-1), qui se trouve déjà ramenée dans le plan de référence commun. Cette comparaison doit permettre de déterminer la transformation projective M permettant de passer des coordonnées de la trame courante T(0) vers celles de la trame 30 corrigée précédente F(-1). La matrice de la transformation projective M est définie par : 1 1 1 [ y z., =]t'f* REVENDICATIONS1.- Procédé (100) de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra (4) numérique aéroportée, caractérisé en ce qu'il comporte les étapes consistant à : - traiter (20 - 40) une pluralité de trames successives de manière à stabiliser les trames comme si elles avaient été acquises par une caméra fixe ; et, - comparer (50 - 60) deux trames traitées, séparées temporellement l'une de l'autre, de manière à identifier les zones de pixels en mouvement d'une trame à l'autre, les zones de pixels en mouvement constituant des cibles détectées. 2.- Procédé selon la revendication 1, dans lequel l'étape consistant à traiter une pluralité de trames successives comporte une étape (40) de correction d'une erreur relative de parallaxe affectant chaque trame (T(0)) de ladite pluralité de trames successives de manière à obtenir, pour chaque trame (T(0)), une trame corrigée (F(0)), cette étape mettant en oeuvre un algorithme de détermination d'une transformation projective permettant de passer de la trame (T(0)) à un instant courant (t0) à une trame corrigée (F(-1)) associée à une trame (T(-1)) à un instant d'échantillonnage précédent (t 1). 3.- Procédé selon la revendication 2, dans lequel l'étape consistant à traiter une pluralité de trames successives comporte une étape (30) de détermination d'un vecteur déplacement (v) de la caméra (4) par rapport au sol (1), cette étape mettant en oeuvre un algorithme de détermination d'un flot optique permettant de passer d'une trame corrigée courante (F(0)) à une trame corrigée passée (F(-s)) séparée de la trame corrigée courante d'un nombre entier s d'instants d'échantillonnage. 4.- Procédé selon la revendication 3, dans lequel l'algorithme de détermination d'un flot optique utilise une grille homogène de points. 5.- Procédé selon la revendication 3 ou la revendication 4, dans lequel le nombre entier s est sélectionné entre 5 et 15, de préférence égal à 10. 6.- Procédé selon l'une quelconque des revendications 3 à 5, dans lequel une fois déterminé le vecteur déplacement (v) de la caméra (4) par rapport au sol (1), une transformation (V) correspondante est appliquée à la trame corrigée courante (F(0)) pour 3047103 15 compenser l'effet du déplacement de la caméra et obtenir une trame finale (F'(0)) superposable à la trame corrigée passée (F(-s)) en tant que trame initiale. 7.- Procédé selon la revendication 6, dans lequel l'étape consistant à 5 comparer deux trames consiste à comparer les trames final (F'(0)) et initiale (F(-s)) entre elles en réalisant successivement les sous-étapes suivantes consistant à : - soustraire pixel à pixel la trame initiale (F(-s)) de la trame finale (F'(0)) de manière à obtenir, pour chaque pixel, une valeur de distance couleur ; - appliquer un seuil en distance couleur, chaque pixel ayant une valeur de distance 10 couleur inférieure ou égale audit seuil, prenant la valeur nulle et chaque pixel ayant une valeur de distance couleur supérieure audit seuil prenant la valeur unité, de manière à obtenir une carte binaire ; et, - appliquer un algorithme de détermination de contour sur la carte binaire pour regrouper les pixels de valeur unité en zones de pixels en mouvement. 15 8.- Procédé selon la revendication 7, dans lequel, la carte binaire obtenue à l'issue de la sous-étape d'application d'un seuil étant une carte binaire intermédiaire, les sous-étapes suivantes sont réalisées : - application d'une transformation morphologique d'érosion en utilisant un masque 20 adapté ; - application d'une transformation morphologique de dilation en utilisant le masque de la transformation morphologique d'érosion. 9.- Procédé selon l'une quelconque des revendications précédentes, dans 25 lequel le procédé comporte une étape (70) supplémentaire de vérification de la cohérence des zones de pixels en mouvement identifiées à l'issue de l'étape de comparaison de deux trames, consistant à déterminer, pour chaque zone en mouvement, un indice de corrélation entre les valeurs des pixels des deux trames, une zone en mouvement étant considérée comme correspondant à une cible lorsque l'indice de corrélation est proche de 30 la valeur -1. 10.- Procédé selon l'une quelconque des revendications précédentes, dans lequel une zone de pixels en mouvement identifiée à l'issue de l'étape de comparaison est affichée d'une manière adaptée en surimpression sur le flux vidéo affiché sur un écran 35 (12) de contrôle. 3047103 16 11.- Procédé selon l'une quelconque des revendications précédentes, dans lequel le flux vidéo est un flux vidéo dans le domaine spectral visible ou Infra-Rouge. 12.- Procédé selon l'une quelconque des revendications précédentes, exécuté en temps réel ou en temps contraint sur le flux vidéo. 13.- Procédé selon l'une quelconque des revendications précédentes, permettant la détection de cibles de faible taille, de l'ordre de quelques pixels. 10 14.- Support d'enregistrement d'informations comportant les instructions d'un programme d'ordinateur propres à être exécutées par un ordinateur pour mettre en oeuvre un procédé de détection de cibles au sol et en mouvement dans un flux vidéo acquis par une caméra (4) numérique aéroportée conforme à l'une quelconque des revendications 1 à 13. 15