Brevet FR2958769A1 — publié le 20111014

" Procédé de traitement vidéo pour identifier des objets à partir d'images et de capteurs secondaires avec auto apprentissage croisé, et système mettant en oeuvre un tel procédé." La présente invention se rapporte à un procédé et un système de détection d'objets sur des images d'une zone d'intérêt. Elle trouve une application particulièrement intéressante dans le domaine de la sécurité routière ou la sécurité autour d'engins industriels évoluant hors des routes où io l'on équipe un véhicule de caméras pour la détection d'obstacles sur un parcours. Mais, l'invention est d'un cadre plus large puisqu'elle peut être mise en oeuvre dans tout système de traitement d'image pour la détection d'objets. Il existe de nombreuses techniques de détection d'obstacles utilisant de 15 l'imagerie stéréoscopique de façon à percevoir une structure tridimensionnelle de l'environnement. On connaît le document US 2009/0304263 décrivant notamment un algorithme de classification pour identifier un objet sur un siège à l'intérieur 20 d'un véhicule. Des formes et distances prédéfinies dans des modèles sont comparées à des objets détectés sur les deux images stéréoscopiques de la caméra. La présente invention a pour objectif un procédé de détection d'objets 25 à partir d'images avec un niveau de fiabilité très élevé. Un autre objectif de l'invention est de proposer un système de détection évolutif de façon autonome. On atteint au moins l'un des objectifs précités avec un procédé de 30 traitement vidéo pour identifier des objets sur des images, ce procédé comprenant les étapes suivantes : - a) acquisition d'images d'une zone d'intérêt au moyen d'une caméra, puis localisation et classification en temps réel d'objets contenus sur les images acquises en comparant des parties des images acquises à des 35 signatures d'images prédéfinies et stockées au sein d'une première base de données d'apprentissage ; 2 - b) acquisition de données environnementales, autres que des images acquises, de la zone d'intérêt à partir de capteurs environnementaux, puis localisation et classification en temps réel d'objets en comparant les données environnementales acquises à des signatures environnementales prédéfinies et stockées au sein d'une seconde base de données d'apprentissage, - c) corrélation des données de localisation et de classification obtenues à l'étape a) et à l'étape b) de façon à identifier plus précisément les objets et enrichir mutuellement les deux bases de données d'apprentissage. De préférence, l'étape b) est réalisée en parallèle (en même temps) de io l'étape a). Au sens de l'invention, la détection consiste à localiser et/ou classifier un objet. Avec le procédé selon l'invention, on réalise un auto apprentissage croisé puisqu'à la première détection par vidéo, on ajoute une seconde 15 détection par un capteur différent dit capteur environnemental, de façon à fiabiliser la détection par vidéo. Avantageusement, cette fiabilisation est réciproque de sorte que les deux bases de données d'apprentissage s'enrichissent mutuellement à l'issu de la corrélation. Au cours de la corrélation, on corrèle les informations obtenues avec 20 les différents capteurs (caméra et capteur environnemental) pour chaque objet localisé. Cette étape consiste notamment à éliminer les objets qui ne sont pas localisés via les deux types de capteurs (caméra et capteur environnemental), puis à fusionner les informations obtenues pour chaque objet. 25 Chaque base de données d'apprentissage est évolutive et est apte à intégrer ou élaborer de nouvelles signatures à partir de données provenant d'un processus de détection qui ne lui est pas dédié a priori. En d'autres termes, les objets difficiles à classifier par vision peuvent 30 être classifiés correctement via les capteurs environnementaux ou vice versa. Ainsi, les informations fusionnées permettent de réévaluer le score de classification. Si le score final permet d'obtenir une certitude suffisante sur l'appartenance d'un objet à une classe, on enrichit la base de données d'apprentissage du processus qui avait mal classé l'objet. 35 A titre d'exemple, soit la signature suivant le capteur environnemental de l'objet acquis et classifié par vision est ajoutée à la seconde base de données d'apprentissage, soit la signature visible de l'objet acquis et classifié par les capteurs environnementaux est ajoutée à la première base de données d'apprentissage. Enrichir une base de données consiste également à exécuter ensuite une étape d'apprentissage incrémentai pour prendre en compte le nouvel ajout dans la base de données enrichie, notamment pour les processus de détection ultérieurs. Selon un mode de réalisation préféré de l'invention, la caméra est une caméra stéréoscopique. On peut utiliser des techniques conventionnelles de io détection d'obstacle par stéréoscopie. On peut aussi utiliser par exemple l'algorithme de type SLAM pour « Simultaneous Localization And Mapping » en langue anglaise, pour réaliser la localisation. Par capteur environnemental, on entend un capteur apte à recueillir 15 des informations relatives aux objets présents dans la zone d'intérêt ; ces capteurs étant autres que des capteurs de vision. Selon l'invention, les capteurs environnementaux peuvent comprendre un radar disposé de façon à sonder ladite zone d'intérêt. Dans ce cas, on utilise avantageusement ce radar pour déterminer la position (en utilisant un algorithme de type 20 écholocalisation radar) et la matière des objets dans la zone d'intérêt. Cette matière peut être du métal lorsque l'objet est un véhicule ou bien de la matière organique lorsqu'il s'agit d'un piéton. Selon une autre caractéristique de l'invention, les capteurs environnementaux peuvent comprendre un ou plusieurs capteurs sonores tels 25 que des microphones. On utilise ce ou ces capteurs sonores pour déterminer la position des objets et pour classifier ces objets suivant le type d'émission sonore émise par ces objets dans la zone d'intérêt. Pour ce faire, on peut mettre en oeuvre une localisation utilisant un algorithme par triangulation acoustique. 30 Par ailleurs, on réalise la classification en utilisant de préférence un algorithme de classification par Adaboost, par SVM pour « Support Vector Machine » en langue anglaise, ou par réseaux de neurones. Ces techniques sont tout à fait applicables aux domaines de la vision, du radar et des ondes 35 acoustiques. La classification permet d'obtenir un score de classe associé à chaque objet. Au dessus d'un certain seuil, l'objet est classifié avec certitude. Cependant, en dessous de ce seuil, une erreur de classification est probable. Le procédé selon l'invention permet d'améliorer ce score de classe associé à chaque objet. Selon un autre aspect de l'invention, il est proposé un système pour détecter des objets sur des images, ce système comprenant : - au moins une caméra stéréoscopique pour acquérir lesdites images d'une zone d'intérêt, - au moins un capteur environnemental pour acquérir des données io environnementales, autres que des images stéréoscopiques, - une unité de traitement configurée pour réaliser les étapes suivantes : - a) localisation et classification en temps réel d'objets contenus sur les images acquises en comparant des parties des images acquises 15 à des signatures d'images prédéfinies et stockées au sein d'une première base de données d'apprentissage ; - b) localisation et classification en temps réel d'objets en comparant les données environnementales acquises à des signatures environnementales prédéfinies et stockées au sein d'une seconde base 20 de données d'apprentissage, - c) corrélation des données de localisation et de classification obtenues à l'étape a) et à l'étape b) de façon à identifier plus précisément les objets et enrichir mutuellement les deux bases de données d'apprentissage, 25 - une interface homme-machine pour signaler la détection d'objets selon des critères prédéterminés. Bien entendu, les différentes caractéristiques, formes et variantes de réalisation de l'invention peuvent être associées les unes avec les autres selon 30 diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée d'un mode de mise en oeuvre nullement 35 limitatif, et des dessins annexés, sur lesquels : Les figures 1 et 2 sont des vues générales d'un véhicule de chantier portant le système selon l'invention ; et La figure 3 est un organigramme simplifié illustrant des étapes d'un processus de détection d'objets par auto apprentissage croisé selon la présente invention. Bien que l'invention n'y soit pas limitée, on va maintenant décrire un système selon l'invention monté sur un véhicule de chantier afin de détecter tout obstacle tel que piéton, panneaux ou autre, à proximité d'un véhicule. io On notera que le système peut fonctionner à l'arrêt ou en mobilité embarqué dans tout type de véhicule. Sur la figure 1 on voit un exemple de mise en oeuvre du procédé selon l'invention lors d'un chantier où l'on distingue un camion 1 évoluant dans un 15 environnement dangereux en présence de personnels de chantier en tant que piétons et de différents obstacles matériels. Le camion 1 comporte un système selon l'invention. Ce système comprend une caméra stéréoscopique 2 comme illustrée sur la figure 2 en vue de dessus. Cette caméra est disposée sur l'avant du véhicule, à la partie 20 centrale et comporte un angle de vision de façon à embrasser une zone d'intérêt la plus large possible à l'avant du camion. La caméra est reliée de façon filaire ou non à une unité de traitement 3 installée dans le cockpit du camion. Cette unité de traitement comprend des éléments matériels et logiciels adaptés pour réaliser du traitement d'images, échanger des 25 informations avec différents capteurs et générer des signaux de commande notamment via une interface homme-machine 4 comme représentée très schématiquement sur la figure 2. L'interface homme-machine peut être un écran pour par exemple afficher l'emplacement d'un objet détecté, afficher des signaux d'alarme, et/ou des éléments de diffusion sonore pour avertir le 30 conducteur ou le piéton en danger le cas échéant. La caméra stéréoscopique 2 filme la zone d'intérêt devant le camion de façon permanente ou après consigne du conducteur. Les images acquises sont envoyées en temps réel vers l'unité de traitement pour la mise en oeuvre du procédé selon l'invention. 35 Selon l'invention, des capteurs de natures différentes à la caméra stéréoscopique, dits capteurs environnementaux sont également disposés sur le camion. On distingue un radar 5 et un microphone 6 à proximité de la caméra stéréoscopique 2. Le champ de la caméra couvre toute la zone d'intérêt. Les capteurs environnementaux couvrent cette même zone, ou une zone plus étroite. L'homme du métier comprendra aisément que plusieurs caméras stéréoscopiques et plusieurs radars et microphones peuvent êtres utilisés. Ces capteurs environnementaux communiquent également de façon filaire ou non avec l'unité de traitement. L'unité de traitement contrôle l'activation des différents capteurs io (caméras et capteurs environnementaux). On peut envisager le fait que ces différents capteurs ne s'activent que lorsque le camion pénètre une zone dangereuse. Des détecteurs-émetteurs fixes peuvent être placés aux entrées et sorties de cette zone de façon à communiquer avec l'unité de traitement qui déclenche ensuite le fonctionnement des différents capteurs. De la même 15 manière, lorsque le camion sort de cette zone, l'unité de traitement déclenche l'arrêt des différents capteurs. Sur les figures 1 et 2 est représenté un piéton 7 à proximité du camion 1. L'unité de traitement selon l'invention doit être capable de détecter cet élément 7, identifier qu'il s'agit bien d'un piéton, le localiser, déclencher 20 éventuellement un signal de détection via l'interface homme-machine. Un exemple de mise en oeuvre du principe générale du procédé selon l'invention peut être décrit de la manière suivante. L'unité de traitement intègre des algorithmes de traitement d'images aptes à détecter des 25 obstacles, c'est-à-dire localiser et/ou classifier des objets à partir d'images lorsqu'on utilise la caméra stéréoscopique ou à partir de données environnementales lorsqu'on utilise des capteurs environnementaux. Pour une détection par caméra stéréoscopique, l'unité de traitement comprend une première base de données d'apprentissage contenant des 30 signatures images. Par signature image, on entend un ensemble de paramètres caractérisant un objet donné qui sont constitués d'un ensemble ou d'une combinaison de classifieurs. Par exemple, pour un piéton, à partir d'une pluralité de vidéo montrant des piétons, on a manuellement extrait ces piétons et créé des signatures pour constituer une partie de la première base 35 de données d'apprentissage. Pour une détection par capteurs environnementaux, l'unité de traitement comprend une seconde base de données d'apprentissage contenant des signatures environnementales. Par signature environnementale, on entend un ensemble de paramètres acoustiques, sonores ou autres, caractérisant un objet. En fonctionnement, on effectue l'acquisition vidéo à l'aide de la caméra stéréoscopique puis on traite la vidéo pour pouvoir localiser et classifier des objets dans l'image (piéton, panneaux ou véhicule par exemple) à l'aide de la première base de données d'apprentissage prédéfinie. Cette détection n'est io pas fiable à 100% car elle repose sur une base préétablie qui ne peut pas couvrir tous les cas de figure. Un des principaux problèmes est le cas où lors de la détection, on localise un objet qui n'existe pas et/ou on associe, à cet objet, une classe qui n'est pas appropriée. Avantageusement, on exploite selon l'invention les informations issues 15 des capteurs environnementaux pour faire évoluer la première base de données d'apprentissage. De même, les informations issues de la caméra stéréoscopique sont exploitées pour faire évoluer une seconde base de données d'apprentissage affectée aux capteurs environnementaux. Le système est ainsi doté d'un apprentissage en ligne. Il est donc capable 20 d'améliorer sa fiabilité et de détecter des objets inconnus jusqu'alors par un type de capteur. Sur la figure 3, on voit les principales étapes d'un exemple de mise en oeuvre du procédé d'auto apprentissage croisé selon l'invention. 25 La caméra stéréoscopique 2 filme à l'étape 8 la zone d'intérêt et transmet en temps réel les images à l'unité de traitement 3 qui localise et classifie les objets à l'aide de la stéréo-vision conformément à l'étape 9. La localisation et classification 9 par stéréo-vision (sur la base des images stéréoscopiques) fait intervenir la première base de données d'apprentissage 30 10. L'unité de traitement compare les objets localisés et classifiés à des signatures prédéfinies dans cette première base de données d'apprentissage. On peut par exemple d'ores et déjà aller à l'étape 15 pour valider qu'un piéton ou un panneau a été correctement détecté. On exploite ainsi directement les informations issues de la détection (localisation et 35 classification) par stéréo-vision pour activer l'interface homme-machine 4 et fournir à l'utilisateur la position de l'objet détecté et la classe de celui-ci. Mais de préférence, selon l'invention, on acquière en parallèle à l'étape 11 des données environnementales par des capteurs environnementaux 5 et 6. On réalise également à l'étape 12 une détection en localisant et classifiant des objets de la zone d'intérêt. Cette classification exploite la seconde base de données d'apprentissage 13 prédéfinie. Le radar peut permettre de distinguer si dans la zone d'intérêt se trouve un objet contenant des métaux tel un véhicule ou de la matière organique tel un piéton. Le microphone peut permettre de distinguer si dans la zone d'intérêt se trouve un objet faisant un bruit de moteur tel un véhicule, ou émettant une voix et bruits de pas tel un io piéton. Avantageusement, à l'étape 14, les informations sur les objets (positions, classes) issues de l'étape 12 sont ensuite corrélées avec celles obtenues par stéréo-vision de l'étape 9. L'unité de traitement enrichit les 15 bases de données d'apprentissage primaire et secondaire 10 et 13 à l'aide des résultats obtenus par les deux classifications. La première base de données d'apprentissage ainsi enrichie permet alors d'améliorer la classification dédiée à la stéréo-vision. Cet apprentissage automatique en ligne réduit, ainsi, à la fois les fausses détections et les non-détections. 20 Avec un tel procédé, le score de classe associé à chaque objet détecté est très satisfaisant. On peut ainsi engager sereinement les étapes 15 et 16 après corrélation ou d'autres processus tels que le suivi par exemple. Un processus de suivi d'obstacles dans la zone d'intérêt a pour objet de traiter le cas des occultations complètes ou partielles, mais aussi pour anticiper les 25 situations à risque en estimant la trajectoire relative du piéton par rapport à l'engin. Au cours de l'étape de suivi, l'unité de traitement tient compte de la vitesse du camion. Pour ce faire, un capteur ou système GPS (non représentés) mesure la vitesse du camion par rapport au sol. On peut aussi se connecter au capteur de mesure de vitesse du camion (odomètre). Le 30 calcul de la vitesse peut également être fait par traitement des images fournies par les têtes stéréoscopiques. S'il existe une situation à risque, l'unité de traitement évalue ce risque et déclenche une alarme, notamment via l'interface homme-machine, adaptée à la situation : risque humain ou matériel, faible risque ou risques importants, ... On peut alerter sélectivement 35 le conducteur du camion et/ou le piéton en danger, suivant la configuration du risque. La présente invention permet donc de détecter des objets connus, similaires, voire inconnus, et d'enrichir automatiquement la base d'apprentissage des algorithmes de localisation et de classification par corrélation d'identification multicapteurs. Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. Le procédé selon l'invention peut io s'appliquer à la détection de piéton à partir d'un véhicule mobile ou à l'arrêt, ou à la détection de tout objet présentant des caractéristiques visuelles distinctives. 30 REVENDICATIONS1. Procédé de traitement vidéo pour identifier des objets sur des images, ce procédé comprenant les étapes suivantes : - a) acquisition d'images d'une zone d'intérêt au moyen d'une caméra, puis localisation et classification en temps réel d'objets contenus sur les images acquises en comparant des parties des images acquises à des signatures d'images prédéfinies et stockées au sein d'une première base de io données d'apprentissage ; caractérisé en ce que le procédé comprend en outre les étapes suivantes : - b) acquisition de données environnementales, autres que des images acquises, de la zone d'intérêt à partir de capteurs environnementaux, puis localisation et classification en temps réel d'objets en comparant les données 15 environnementales acquises à des signatures environnementales prédéfinies et stockées au sein d'une seconde base de données d'apprentissage, - c) corrélation des données de localisation et de classification obtenues à l'étape a) et à l'étape b) de façon à identifier plus précisément les objets et enrichir mutuellement les deux bases de données d'apprentissage. 20 2. Procédé selon la revendication 1, caractérisé en ce que la caméra est une caméra stéréoscopique. 3. Procédé selon la revendication 2, caractérisé en ce qu'on utilise un 25 algorithme de type SLAM pour « Simultaneous Localization And Mapping » en langue anglaise pour réaliser la localisation. 4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les capteurs environnementaux comprennent un radar. 5. Procédé selon la revendication 4, caractérisé en ce qu'on utilise le radar pour déterminer la position et la matière des objets dans la zone d'intérêt. 35 6. Procédé selon la revendication 4 ou 5, caractérisé en ce qu'on réalise la localisation en utilisant un algorithme de type écholocalisation radar. 5 2958769 - 11- 7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les capteurs environnementaux comprennent un ou des capteurs sonores. 8. Procédé selon la revendication 7, caractérisé en ce qu'on utilise le ou les capteurs sonores pour déterminer la position des objets et pour classifier ces objets suivant le type d'émission sonore émise par ces objets dans la zone d'intérêt. i0 9. Procédé selon la revendication 7 ou 8, caractérisé en ce qu'on réalise la localisation en utilisant un algorithme par triangulation acoustique. 10. Procédé selon l'une quelconque des revendications précédentes, 15 caractérisé en ce qu'on réalise la classification en utilisant un algorithme de classification par Adaboost, par SVM pour « Support Vector Machine » en langue anglaise, ou par réseaux de neurones. 11. Système pour détecter des objets sur des images, ce système 20 comprenant : - au moins une caméra stéréoscopique pour acquérir lesdites images d'une zone d'intérêt, - au moins un capteur environnemental pour acquérir des données environnementales, autres que des images stéréoscopiques, 25 - une unité de traitement configurée pour réaliser les étapes suivantes : - a) localisation et classification en temps réel d'objets contenus sur les images acquises en comparant des parties des images acquises à des signatures d'images prédéfinies et stockées au sein d'une 30 première base de données d'apprentissage ; - b) localisation et classification en temps réel d'objets en comparant les données environnementales acquises à des signatures environnementales prédéfinies et stockées au sein d'une seconde base de données d'apprentissage, 35 - c) corrélation des données de localisation et de classification obtenues à l'étape a) et à l'étape b) de façon à identifier plusprécisément les objets et enrichir mutuellement les deux bases de données d'apprentissage, - une interface homme-machine pour signaler la détection d'objets selon des critères prédéterminés.5