Brevet FR2809360A1 — publié le 20011130

L'invention concerne un procédé et un dispositif pour détecter des véhicules ou des usagers de la voie publique et des obstacles sur la base d'images d'un appareil de prise de vues, pour la détermination de leur distance par rapport à l'observateur et pour leur classification. La reconnaissance ou la détection précoce d'un choc imminent d'un véhicule ou d'un usager de la voie publique contre le véhicule d'un observateur permet d'améliorer la protection des passagers ainsi que la protection de la partie opposée dans la collision. Le gain de temps, qui peut être obtenu au moyen de la détection visuelle et de l'exploitation de la zone visible en avant du véhicule de l'observateur permet des réactions échelonnées des systèmes de protection des passagers (par exemple un amorçage en douceur de l'air-bag) ou rend simplement possible des réactions pour la protection de la partie opposée dans la collision (par exemple: soulèvement du capot moteur dans le cas d'une collision avec un piéton). En raison de développements servant à réaliser des structures de crash pouvant être commutées, la connaissance du type de la partie opposée dans l'accident (camion, voiture de tourisme, motocyclette, piéton) prend une importance de plus en plus grande. Le développement actuel de capteurs d'état de pré- crash concerne notamment l'examen de procédés basés sur des capteurs sur un laser à infrarouge, sur des capteurs à ultrasons ou sur des capteurs à radar. Des inconvénients de ces systèmes résident en partie dans leur faible portée (ultrasons, laser à infrarouge) et leur incapacité à distinguer la partie potentielle opposée dans la collision, dans le sens d'une détermination sûre du type (camion, voiture de tourisme, motocyclette, personne). Dans le cas de systèmes basés sur un radar, notamment des objets non métalliques (par exemple: des personnes ou des arbres) ne peuvent pas être détectés de façon fiable avec des capteurs bon marché, convenant pour une utilisation dans un véhicule. Une détection fiable et une détermination sûre du type sont cependant nécessaires pour une adaptation d'une réaction échelonnée d'une manière optimale de systèmes de sécurité par rapport à des collisions imminentes. Dans le cas d'une telle réaction étagée, il faut, dans le cas d'une collision avec un piéton, prendre des dispositions actives pour la protection du piéton. On peut imaginer des modifications rapides de la configuration de la carrosserie du véhicule pour réduire la probabilité de blessures plus graves à la tête et aux jambes. La condition de base pour l'activation de ces dispositions est cependant que le système de protection soit à même de reconnaître de façon sûre des véhicules ou des usagers de la voie publique et d'effectuer un classement en fonction de leur type (par exemple: camion, voiture de tourisme, motocyclette, piéton) . D'une manière générale, dans des procédés d'interprétation de scènes sur des images, on a déjà essayé, d'obtenir, dans une première étape, déjà des informations multidimensionnelles de la scène, à l'aide d'un capteur la plupart du temps onéreux (capteur stéréo ou radar à haute résolution ou lidar) en dehors d'une pure information d'image bidimensionnelle. Cependant, pour pouvoir détecter des objets, ces procédés partent de modèles, surtout en ce qui concerne la position et la direction de cibles potentielles ainsi que d'une géométrie fixe prédéterminée dans l'orientation par rapport au capteur et à l'environnement. Cependant, dans la pratique on peut souvent établir que ces modèles et ces hypothèses ne concordent assez souvent pas avec les conditions réelles, ce qui débouche alors sur des interprétations erronées. L'invention a pour but de trouver un procédé et un dispositif approprié, qui permette de détecter des véhicules ou des usagers de la voie publique sur la base d'images d'appareils de prise de vues, de déterminer leur distance par rapport à l'observateur et de classer les véhicules ou usagers de la voie publique. Le problème est résolu à l'aide d'un procédé pour détecter des véhicules ou des usagers de la voie publique et des obstacles sur la base d'images d'un appareil de prise de vues, pour la détermination de leur distance par rapport à l'observateur et pour leur classification, caractérisé en ce qu'une unité de classification agencée pour la reconnaissance de véhicules ou d'usagers de la voie publique et d'obstacles identifie des régions à l'intérieur d'une image bidimensionnelle, obtenue sans résolution de ILS distance, de l'appareil de prise de vues; que lors d'une seconde étape, ces régions ainsi identifiées sont marquées et ensuite leur distance par rapport à l'observateur est mesurée à l'aide de capteurs de mesure de distance, et qu'ensuite des régions sélectionnées sont envoyées à une unité de classification de type pour la reconnaissance des véhicules ou des usagers de la voie publique et des obstacles. En outre le problème est résolu à l'aide d'un dispositif approprié pour la mise en oeuvre de ce procédé pour détecter des véhicules ou des usagers de la voie publique et des obstacles sur la base d'images d'appareils de prise de vues, pour la détermination de leur distance par rapport à l'observateur et pour leur classification, caractérisé en ce qu'un appareil de prise de vues mono- images est couplé à une unité formant capteur de mesure de distance, qu'une unité de classification est insérée dans ce couplage et qu'une unité de classification est montée en aval de ce couplage. L'enregistrement de données et l'identification de l'objet, qui sont subdivisés en plusieurs étapes, permettent l'utilisation d'un système de détection classique et fournissent simultanément le potentiel pour une réalisation devant être mise en oeuvre en temps réel. Selon une autre caractéristique de l'invention, l'image de l'appareil de prise de vues, qui est utilisé pour l'identification de véhicules ou d'usagers de la voie publique, contient uniquement des informations d'image bidimensionnelles sans résolution de distance. Selon une autre caractéristique de l'invention, les informations, fournies par la mesure, sont utilisées pour déterminer la vitesse relative des différents véhicules ou usagers de la voie publique ou des obstacles. Selon une autre caractéristique de l'invention, le dispositif de classification, agencé pour la reconnaissance de véhicules ou d'usagers de la voie publique, est un réseau d'hyper-permutation. Selon une autre caractéristique de l'invention, on utilise un algorithme dit "box" pour le marquage de régions identifiées en tant que véhicules ou usagers de la voie publique. Selon une autre caractéristique de l'invention, le capteur mesurant la distance est un capteur à radar. Selon une autre caractéristique de l'invention, le capteur mesurant la distance est un système de prise de vues stéréo. Selon une autre caractéristique de l'invention, le capteur de mesure de distance est un système de prise de vues à images mono qui, grâce à un traitement approprié de l'image, est à même de réaliser des estimations de distance. Selon une autre caractéristique de l'invention, le système de prise de vues à images mono est le même système que celui avec lequel l'image bidimensionnelle de l'appareil de prise de vues, obtenue sans résolution de distance, a été produite déjà lors de la première étape. Selon une autre caractéristique de l'invention, l'unité de classification pour la classification du type est une unité de classification à fonctions de base radiales. Selon une autre caractéristique de l'invention, l'unité de classification pour la classification du type est une machine vectorielle d'assistance. Selon une autre caractéristique de l'invention, la sélection des régions devant être soumises à une classification de type est exécutée en fonction de leur distance et/ou de leur vitesse relative par rapport à l'observateur. Selon une autre caractéristique de l'invention, la sélection des régions devant être soumises à une classification de type inclut toutes les régions identifiées comme véhicules ou usagers de la voie publique ou obstacles. Selon une autre caractéristique de l'invention, le résultat de la classification de type est transmis à un calculateur de danger servant à prendre une décision concernant des réactions devant être éventuellement déclenchées. En outre selon une autre caractéristique de l'invention, un calculateur de danger est relié à la sortie de l'unité de classification pour réaliser la classification de type. Le procédé et le dispositif sont utilisés pour la reconnaissance ou la détection précoce de situations d'accidents (détection d'état avant crash). 3B Le procédé selon l'invention identifie des régions à l'intérieur de l'image d'un appareil de prise de vues, dans lesquelles sont situés des véhicules ou usagers de la voie publique ou des obstacles. Avantageusement il suffit que cette image de l'appareil de prise de vues contienne une information d'image purement bidimensionnelle sans résolution de distance. L'identification s'effectue à l'aide d'une unité de classification entraînée sur les véhicules ou les usagers de la voie publique et les obstacles, qui doivent être identifiés. Lors d'une étape ultérieure, les régions identifiées de façon correspondante sont alors marquées et leur distance par rapport à l'observateur est mesurée à l'aide d'un capteur de mesure de distance. Enfin des régions sélectionnées sont envoyées à une unité de classification de type pour la détermination précise du type de véhicules ou d'usagers de la voie publique ou d'obstacles. Un dispositif convenant pour la mise en oeuvre de ce procédé inclut un appareil de prise de vues à mono- images, qui est couplé à une unité de détection de mesure de distance. Une unité de classification est insérée dans ce couplage et une unité de classification est branchée en aval de ce couplage. Dans une forme de réalisation avantageuse du dispositif, une unité de sélection, à l'aide de laquelle, le nombre des régions devant être classées peut être commandé, est branchée en amont de l'unité de classification installée en aval. D'autres caractéristiques et avantages de la présente invention ressortiront de la description donnée ci-après, prise en référence au dessin annexé dont la figure unique représente un dispositif selon l'invention pour la mise en oeuvre du procédé selon l'invention. La figure représente schématiquement un agencement avantageux d'un tel dispositif pour la mise en oeuvre du procédé selon l'invention. L'appareil de prise de vues à images mono 1 délivre les données d'images 10 à une unité de classification 2 qui identifie quelles régions de l'image contiennent des véhicules ou des usagers de la voie publique ou des obstacles, et communique les données correspondantes de position à l'unité formant capteur de mesure de distance 3. L'unité formant capteur 3 mesure alors la distance de ces zones par rapport à l'observateur. Ces données de mesure 30 sont délivrées, conjointement avec les données 20 de la première unité de classification 2, à une unité de sélection 4. Le flux de données envoyé à l'unité montée en aval pour la classification du type de véhicules ou d'usagers de la voie publique ou d'obstacles 5 sélectionnés peut être commandé au moyen de l'unité de sélection 4. Les données d'image 40 sélectionnées par l'unité de sélection sont transmises, par la classification, à une unité de classification 5. Les résultats 50 de cette classification de type sont délivrés avantageusement à un calculateur de danger relié à l'unité de classification, de sorte que ce calculateur peut prendre des décisions concernant la nécessité de déclencher des réactions correspondant à la situation. Dans une autre forme de réalisation avantageuse du dispositif selon l'invention, on peut également imaginer que l'unité de sélection 4 est supprimée et que fondamentalement toutes les données 20 et 30 sont envoyées directement à l'unité de classification 5. D'une manière particulièrement avantageuses, le procédé selon l'invention est utilisé pour l'identification de véhicules ou d'usagers de la voie publique et d'obstacles, grâce à l'utilisation d'un réseau d'hyper- permutation dans le cadre de l'unité de classification 2. Un tel réseau est à même de localiser à grande vitesse, sur la base de pixels, à l'intérieur des données d'images 10, des zones qui appartiennent à une classe déterminée (ici véhicules ou usagers de la voie publiques et obstacles). L'avantage de l'utilisation d'une information d'image bidimensionnelle simple se manifeste non seulement dans le fait que le procédé permet d'utilisation d'un appareil de prise de vues simple et bon marché mais notamment dans la possibilité que des algorithmes performants de classification puissent évaluer l'ensemble de l'information d'image, dans des conditions en temps réel. Etant donné que l'information d'image 10 délivrée par un appareil de prise de vues à images mono 1 est très simple, contrairement à des procédés usuels travaillant la plupart du temps sur des données très complexes, il est possible d'enregistrer conjointement chaque pixel individuel d'images dans la classification. A l'intérieur de l'unité de classification 2, dans l'unité de classification proprement dite (par exemple le réseau d'hyper-permutation) est inséré un algorithme, avantageusement un algorithme dit "box" adapté à cette tâche et qui réunit des régions associées pour former des "régions intéressantes" ROI et les marque, de sorte que ces régions peuvent être soumises à un traitement ultérieur. Dans le cadre de ce traitement ultérieur, la distance des zones associées à ces régions ROI, par rapport à l'observateur est mesurée à l'aide d'un capteur de mesure de distance 3. Avantageusement, il est approprié d'utiliser à cet effet des systèmes de radar ou des systèmes d'appareils de prise de vues stéréo. Etant donné que les données fournies par ces capteurs sont utilisées uniquement pour l'estimation de distance et non pour une classification de type en rapport avec le type de véhicules ou d'usagers de la voie publique ou d'obstacles, il n'est pas nécessaire d'équiper ces capteurs de résolutions angulaires extrêmes et de modèles robustes exécutant un calcul extrêmement compliqué. Par conséquent il peut être préférable d'utiliser des capteurs déjà présents dans le véhicule et spécialisés dans leur agencement principal pour d'autres applications. Dans un autre mode de mise en oeuvre avantageux du procédé selon l'invention, on peut cependant également imaginer d'exécuter un estimation de distance, à l'aide d'un appareil de prise de vues à mono- images, en collaboration avec une évaluation complexe de l'image, dans la zone des régions ROI. Etant donné que seules des parties individuelles ROI de l'ensemble de l'information d'image doivent être traitées, dans le cas de l'utilisation de processeurs performants, il est possible d'exécuter la dépense de calcul élevée en temps réel. Il serai particulièrement avantageux que ces informations puissent être obtenues, lors d'une seconde étape de traitement, uniquement à partir des données d'images 10 délivrées par l'appareil de prise de vues à images mono. Il est possible de réaliser le système sans l'utilisation d'un capteur supplémentaire de mesure de distance 3. Avantageusement, dans le procédé selon l'invention, l'information obtenue à partir de la mesure réitérée de la distance des véhicules ou des usagers de la voie publique ou des obstacles par rapport à l'observateur, il est utilisé pour déterminer la vitesse relative de ces obstacles par rapport à l'observateur. Il est particulièrement avantageux que le capteur de mesure de distance 3 fournissent en supplément, en dehors de l'information de distance, également une information de vitesse (par exemple: radar Doppler). De cette manière, on pourrait supprimer l'estimation indirecte de vitesse à partir de la séquence des mesures de distance. L'information de distance et de vitesse 30 est envoyée en commun avec l'information d'image 10 à l'unité de sélection 4. Cette unité de sélection décide alors, conformément aux prescriptions qui sont fixées pour elles, lesquelles des données d'images sont soumises à une classification de type à l'intérieur d'une unité de classification 5 branchée en aval. On peut imaginer que l'unité de sélection 4 est configurée de telle sorte qu'elle envoie fondamentalement toutes les données d'images associées à des zones ROI à une unité de classification de type. Mais d'autre part également seules sont transmises les données d'image de chaque région ROI, qui sont associées à des voitures ou à des usagers de la voie publique ou à des obstacles, qui satisfont à certains critères. Il faut prendre en considération surtout le potentiel de danger ou de risque présent; par exemple la taille d'objets ou leur vitesse, avec laquelle ils se déplacent vers l'observateur ou même leur vitesse relative d'une manière générale (par exemple objets rapides ou fixes). Pour la classification proprement dite de type à l'intérieur de l'unité de classification 5, qui sert à déterminer de façon précise le type de véhicules ou d'usagers de la voie publique ou d'obstacles, on peut utiliser des algorithmes de classification connus, qui sont entraînés spécialement pour ce type d'objet. Avantageusement, il est approprié d'utiliser à cet effet des réseaux neuronaux, comme par exemple un dispositif de classification à fonctions de base radiales ou une machine vectorielle d'assistance. De préférence, le procédé selon l'invention et le dispositif selon l'invention conviennent pour la reconnaissance précoce et l'estimation consécutive de situations d'accidents (détection d'état de pré-crash). il REVENDICATIONS 1. Procédé pour détecter des véhicules ou des usagers de la voie publique et des obstacles sur la base d'images d'un appareil de prise de vues, pour la détermination de leur distance par rapport à l'observateur et pour leur classification, caractérisé en ce que qu'une unité de classification agencée pour la reconnaissance de véhicules ou d'usagers de la voie publique et d'obstacles identifie des régions à l'intérieur d'une image bidimensionnelle, obtenue sans résolution de distance, de l'appareil de prise de vues; que lors d'une seconde étape, ces régions ainsi identifiées sont marquées et ensuite leur distance par rapport à l'observateur est mesurée à l'aide de capteurs de mesure de distance, et qu'ensuite des régions sélectionnées sont envoyées à une unité de classification de type pour la reconnaissance des véhicules ou des usagers de la voie publique et des obstacles. 2. Procédé selon la revendication 1, caractérisé en ce que l'image de l'appareil de prise de vues, qui est utilisé pour l'identification de véhicules ou d'usagers de la voie publique, contient uniquement des informations d'image bidimensionnelles sans résolution de distance. 3. Procédé selon l'une ou l'autre des revendications 1 et 2, caractérisé en ce que les informations, fournies par la mesure, sont utilisées pour déterminer la vitesse relative des différents véhicules ou usagers de la voie publique ou des obstacles. 4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que le dispositif de classification, agencé pour la reconnaissance de véhicules ou d'usagers de la voie publique, est un réseau hyper-permutation. 5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce qu'on utilise un algorithme dit "box" pour le marquage de régions identifiées en tant que véhicules ou usagers de la voie publique. 6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que le capteur mesurant la distance est un capteur à radar. 7. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que le capteur mesurant la distance est un système de prise de vues stéréo. 8. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que le capteur de mesure de distance est un système de prise de vues mono qui, grâce à un traitement approprié de l'image, est à même de réaliser des estimations de distance. 9. Procédé selon la revendication 8, caractérisé en ce que le système de prise de vues mono est le même système que celui avec lequel l'image bidimensionnelle de l'appareil de prise de vues, obtenue sans résolution de distance, a été produite déjà lors de la première étape. 10. Procédé selon l'une quelconque des revendications 1 à 9, caractérisé en ce que l'unité de classification pour la classification du type est une unité de classification à fonctions de base radiales. 11. Procédé selon l'une quelconque des revendications 1 à 9, caractérisé en ce que l'unité de classification pour la classification du type est une machine vectorielle d'assistance. 12. Procédé selon l'une quelconque des revendications 1 à 11, caractérisé en ce que la sélection des régions devant être soumises à une classification de type est exécutée en fonction de leur distance et/ou de leur vitesse relative par rapport à l'observateur. 13. Procédé selon l'une des revendications 1 à 11, caractérisé en ce que la sélection des régions devant être soumises à une classification de type inclut toutes les régions identifiées comme véhicules ou usagers de la voie publique ou obstacles. 14. Procédé selon l'une quelconque des revendications 1 à 13, caractérisé en ce que le résultat de la classification de type est transmis à un calculateur de danger servant à prendre une décision concernant des réactions devant être éventuellement déclenchées. 15. Dispositif pour détecter des véhicules ou des usagers de la voie publique et des obstacles sur la base d'images d'appareils de prise de vues, pour la détermination de leur distance par rapport à l'observateur et pour leur classification, caractérisé en ce qu'un appareil de prise de vues à images mono (1) est couplée à une unité (3) formant capteur de mesure de distance, et qu'une unité de classification (2) est insérée dans ce couplage et qu'une unité de classification (5) est montée en aval de ce couplage. 16. Dispositif selon la revendication 15, caractérisé en ce que l'appareil de prise de vues à images mono (1) est relié à une unité de classification (2), que cette unité de classification (2) contient un module pour identifier des régions de l'image, qui doivent être associées à des véhicules ou usagers de la voie publique et à des obstacles, et qui marque ces régions et fournit les données correspondantes (20) à la sortie du module pour un traitement ultérieur, qu'à la sortie du module est couplée une unité (3) formant capteur de mesure de distance, qui est à même de mesurer la distance des régions marquées par rapport à l'observateur, et de délivrer ces données de mesure au moyen d'une liaison (30) à l'unité de sélection (4), au moyen de laquelle une seconde unité de classification (5) est raccordée à l'ensemble du système et qui classe les régions (40) qui sont envoyées par l'unité de sélection, en rapport avec le type de véhicule ou d'usager de la voie publique ou d'obstacle. 17. Dispositif selon l'une ou l'autre des revendications 15 et 16, caractérisé en ce qu'un calculateur de danger est relié à la sortie de l'unité de classification (5) pour réaliser la classification de type. 18. Utilisation du procédé selon l'une quelconque des revendications 1 à 14, pour la reconnaissance précoce de situations d'accidents (détection avant crash). 19. Utilisation du dispositif selon l'une quelconque des revendications 15 à 17, pour la reconnaissance précoce de situations d'accidents (détection avant crash).