Brevet FR3127611A1 — publié le 20230331

Procédé de détection d’obstacles, comprenant les étapes de : - mettre en œuvre un algorithme de segmentation sémantique pour produire une première image segmentée (Ie1) à partir d’une première image brute de gauche ou de droite ; - rectifier les images stéréos brutes pour obtenir des images stéréos rectifiées (Isr), et la première image segmentée pour obtenir une première image segmentée rectifiée (Ier1) ; - produire une carte de disparité (Cd) ; - produire une deuxième image segmentée rectifiée ; - produire une liste d’instances d’obstacles prédéfinis (Obst) présentes dans l’environnement du véhicule à partir des images stéréos segmentées rectifiées ; - intégrer les instances d’obstacles prédéfinis dans des images intermédiaires obtenues à partir des images stéréos rectifiées (Isr). FIGURE DE L’ABREGE : Fig.2 Procédé de détection d’obstacles L’invention concerne le domaine de la détection d’obstacles pour fournir une assistance au pilotage d’un véhicule ou d’un robot. ARRIERE PLAN DE L’INVENTION Il existe aujourd’hui un grand nombre de systèmes de détection d’obstacles, qui sont destinés à fournir une assistance au pilotage de différents types de véhicules : véhicules volants, terrestres, avec ou sans pilote à bord, véhicules autonomes, robots, etc. Un tel système de détection d’obstacles a notamment pour objectif de réduire autant que possible les accidents de collision en fournissant au pilote ou au système de navigation du véhicule un certain nombre d’informations relatives aux obstacles présents dans l’environnement du véhicule : position des obstacles, distance entre chaque obstacle et le véhicule, taille et type des obstacles, etc. Les obstacles sont par exemple des câbles électriques, des pylônes, des arbres, etc. On connaît ainsi des systèmes de détection d’obstacles qui utilisent la technologie RADAR (pour RAdio Detection And Ranging ) ou la technologie LIDAR (pour LIght Detection And Ranging ). Ces systèmes présentent l’inconvénient d’émettre des ondes électromagnétiques ou des ondes lumineuses qui rendent le véhicule facilement détectable. Or, dans certaines applications, notamment militaires, il est préférable que le véhicule équipé du système de détection d’obstacles soit difficile à détecter (véhicule furtif). On connaît aussi des systèmes qui utilisent la capture et le traitement d’images pour détecter et identifier les obstacles. On connaît par exemple un système passif de détection d’obstacles appelé PODS, pour Passive Obstacle Detection System , qui est développé par Boeing. Ce système est capable de traiter un flux d’images important et fonctionne avec des images capturées dans les bandes visibles, les bandes MWIR (pour Mid-Wave InfraRed ) ou les bandes LWIR (pour Long- Wave InfraRed ), ou bien avec des images produites par des capteurs PMMW (pour Passive MilliMeter Wave ). Cependant, ce système est capable de détecter uniquement des obstacles de type câble, et ne semble fonctionner qu’avec des capteurs petit champ. On connaît aussi des systèmes qui détectent des obstacles grâce à la stéréovision. Certains systèmes utilisent ainsi la cartographie UV mais sont peu précis et sont incapables de faire la différence entre les différents types d’obstacles. D’autres systèmes encore utilisent des images satellitaires, mais n’ont pas pour vocation à être embarqués dans des véhicules tels qu’un hélicoptère ou un drone. OBJET DE L’INVENTION L’invention a pour objet de détecter et d’identifier de manière précise et fiable différents types d’obstacles, sans émettre d’ondes électromagnétiques ou lumineuses, pour fournir une aide au pilotage de tout type de véhicule. En vue de la réalisation de ce but, on propose un procédé de détection d’obstacles, mis en œuvre dans au moins une unité de traitement et comprenant les étapes de : - acquérir des images stéréos brutes, représentatives d’un environnement d’un véhicule et produites par des caméras stéréos, les images stéréos brutes comprenant une image brute de gauche et une image brute de droite ; - mettre en œuvre un algorithme de segmentation sémantique pour produire une première image segmentée à partir d’une première image brute, la première images brute étant l’image brute de gauche ou l’image brute de droite ; - rectifier les images stéréos brutes pour obtenir des images stéréos rectifiées, et la première image segmentée pour obtenir une première image segmentée rectifiée ; - mettre en œuvre un algorithme de calcul de disparité entre les images stéréos rectifiées, pour produire une carte de disparité ; - mettre en œuvre une transformation spatiale de la première image segmentée rectifiée, en utilisant la carte de disparité, pour produire une deuxième image segmentée rectifiée, correspondant au côté opposé à celui de la première image brute, et produire ainsi des images stéréos segmentées rectifiées ; - produire une liste d’instances d’obstacles prédéfinis présentes dans l’environnement du véhicule à partir des images stéréos segmentées rectifiées ; - mettre en œuvre un algorithme de reconstruction en trois dimensions, utilisant la carte de disparité, pour produire des coordonnées en trois dimensions pour chaque pixel des images stéréos brutes ; - intégrer, en utilisant les coordonnées en trois dimensions, les instances d’obstacles prédéfinis dans des images intermédiaires obtenues à partir des images stéréos rectifiées, pour produire des images augmentées destinées à fournir une assistance au pilotage du véhicule. Le procédé de détection d’obstacles selon l’invention permet de détecter et de différencier les obstacles de manière précise et fiable. Le procédé de détection d’obstacles selon l’invention peut fournir une assistance au pilotage de tout type de véhicule et ne nécessite pas l’émission d’ondes électromagnétiques ou lumineuses. Les images augmentées peuvent par exemple être projetées sur la visière du casque d’un pilote. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel l’étape de rectification comprend une correction de distorsion et utilise des premiers paramètres comprenant des paramètres extrinsèques et intrinsèques des caméras stéréos. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel des lignes épipolaires des images stéréos rectifiées et des images stéréos segmentées rectifiées sont horizontales. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, comprenant en outre l’étape, précédant la mise en œuvre de l’algorithme de calcul de disparité, de projeter les images stéréos rectifiées dans un repère associé à un casque d’un pilote du véhicule. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel l’algorithme de reconstruction en trois dimensions utilise des deuxièmes paramètres comprenant des paramètres extrinsèques et intrinsèques des caméras stéréos ainsi que des données de navigation produites par des capteurs de navigation d’une unité de mesure inertielle du véhicule. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel les coordonnées en trois dimensions des pixels reconstruits sont définies dans un repère géographique local associé au véhicule et corrigé en lacet. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, comprenant en outre l’étape, précédant la mise en œuvre de l’algorithme de reconstruction, de vérifier une validité d’une valeur de disparité de chaque couple de pixels homologues comprenant un pixel de gauche d’une image de gauche et un pixel de droite d’une image de droite. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel la vérification de la validité de la disparité du couple de pixels homologues comprend l’étape de vérifier que : disp g (x g , y) = disp d (x g - disp g (x g , y), y) et disp d (x d , y) = disp g (x d + disp d (x d , y), y) disp g étant une disparité estimée en prenant l’image de gauche comme référence, disp d étant une disparité estimée en prenant l’image de droite comme référence, x g étant une coordonnée du pixel de gauche et x d étant une coordonnée du pixel de droite. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel la vérification de la validité de la disparité du couple de pixels homologues comprend l’étape de mettre en œuvre un mécanisme de post-accumulation en projetant des images de disparité passées sur une image de disparité actuelle. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, comprenant l’étape de déterminer qu’un groupe de pixels d’une image stéréo segmentée rectifiée forme une instance d’obstacle prédéfini lorsque lesdits pixels sont connectés entre eux. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel deux pixels sont connectés entre eux si l’un des deux pixels appartient au voisinage de l’autre et si les deux pixels appartiennent à une même classe. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel l’étape d’intégration comprend les étapes, pour chaque instance d’obstacle prédéfini, de déterminer, en utilisant des coordonnées de l’instance d’obstacle prédéfini et les coordonnées en trois dimensions des pixels reconstruits, une distance entre ladite instance d’obstacle prédéfini et le véhicule ainsi que des dimensions de ladite instance d’obstacle prédéfini. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel les images intermédiaires sont les images stéréos rectifiées. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel l’étape d’intégration comprend, pour chaque instance d’obstacle prédéfini, l’étape d’incruster une croix sur un barycentre de ladite instance d’obstacle prédéfini. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel l’algorithme de segmentation sémantique utilise un réseau de neurones U-Net, HRNet, ou HRNet + OCR. On propose de plus un procédé de détection d’obstacles tel que précédemment décrit, dans lequel les caméras stéréos sont des caméras infrarouges. On propose de plus un système comprenant des caméras stéréos et une unité de traitement dans laquelle est mis en œuvre le procédé de détection d’obstacles tel que précédemment décrit. On propose de plus un véhicule comprenant un système tel que précédemment décrit. On propose de plus un programme d’ordinateur comprenant des instructions qui conduisent l’unité de traitement du système tel que précédemment décrit à exécuter les étapes du procédé de détection d’obstacles tel que précédemment décrit. On propose de plus un support d'enregistrement lisible par ordinateur, sur lequel est enregistré le programme d’ordinateur tel que précédemment décrit. L’invention sera mieux comprise à la lumière de la description qui suit d’un mode de mise en œuvre particulier non limitatif de l’invention. Il sera fait référence aux dessins annexés parmi lesquels : la représente schématiquement différents modules d’un hélicoptère dans lequel est mise en œuvre l’invention ; la représente des étapes du procédé de détection d’obstacles selon l’invention ; la représente la mise en œuvre de l’algorithme de segmentation sémantique ; la représente un réseau de neurones U-Net ; la représente un réseau de neurones HRNet ; la représente des images stéréos et permet d’illustrer la vérification de la disparité ; la représente un objet et les centres optiques de deux caméras ; la illustre la manière dont sont reconstruites les coordonnées 3D d’un pixel ; la représente une image correspondant à un résultat réel de la mise en œuvre du procédé de détection d’obstacles selon l’invention. Procédé de détection d’obstacles, mis en œuvre dans au moins une unité de traitement (6) et comprenant les étapes de : - acquérir des images stéréos brutes (Isb), représentatives d’un environnement d’un véhicule (1) et produites par des caméras stéréos (3), les images stéréos brutes comprenant une image brute de gauche et une image brute de droite ; - mettre en œuvre un algorithme de segmentation sémantique pour produire une première image segmentée (Ie1) à partir d’une première image brute, la première image brute étant l’image brute de gauche ou l’image brute de droite ; - rectifier les images stéréos brutes pour obtenir des images stéréos rectifiées (Isr), et la première image segmentée pour obtenir une première image segmentée rectifiée (Ier1) ; - mettre en œuvre un algorithme de calcul de disparité entre les images stéréos rectifiées, pour produire une carte de disparité (Cd) ; - mettre en œuvre une transformation spatiale de la première image segmentée rectifiée, en utilisant la carte de disparité, pour produire une deuxième image segmentée rectifiée, correspondant au côté opposé à celui de la première image brute, et produire ainsi des images stéréos segmentées rectifiées (Iser) ; - produire une liste d’instances d’obstacles prédéfinis (Obst) présentes dans l’environnement du véhicule à partir des images stéréos segmentées rectifiées ; - mettre en œuvre un algorithme de reconstruction en trois dimensions, utilisant la carte de disparité, pour produire des coordonnées en trois dimensions pour chaque pixel des images stéréos brutes (Isb) ; - intégrer, en utilisant les coordonnées en trois dimensions, les instances d’obstacles prédéfinis dans des images intermédiaires obtenues à partir des images stéréos rectifiées (Isr), pour produire des images augmentées (Ia) destinées à fournir une assistance au pilotage du véhicule. Procédé de détection d’obstacles selon la revendication 1, dans lequel l’étape de rectification comprend une correction de distorsion et utilise des premiers paramètres (P1) comprenant des paramètres extrinsèques et intrinsèques des caméras stéréos (3). Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel des lignes épipolaires des images stéréos rectifiées (Isr) et des images stéréos segmentées rectifiées (Iser) sont horizontales. Procédé de détection d’obstacles selon l’une des revendications précédentes, comprenant en outre l’étape, précédant la mise en œuvre de l’algorithme de calcul de disparité, de projeter les images stéréos rectifiées (Isr) dans un repère associé à un casque d’un pilote du véhicule. Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel l’algorithme de reconstruction en trois dimensions utilise des deuxièmes paramètres (P2) comprenant des paramètres extrinsèques et intrinsèques des caméras stéréos (3) ainsi que des données de navigation produites par des capteurs de navigation d’une unité de mesure inertielle (5) du véhicule (1). Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel les coordonnées en trois dimensions des pixels reconstruits sont définies dans un repère géographique local associé au véhicule (1) et corrigé en lacet. Procédé de détection d’obstacles selon l’une des revendications précédentes, comprenant en outre l’étape, précédant la mise en œuvre de l’algorithme de reconstruction, de vérifier une validité d’une valeur de disparité de chaque couple de pixels homologues comprenant un pixel de gauche (15a) d’une image de gauche (16a) et un pixel de droite (15b) d’une image de droite (16b). Procédé de détection d’obstacles selon la revendication 7, dans lequel la vérification de la validité de la disparité du couple de pixels homologues comprend l’étape de vérifier que : disp g (x g , y) = disp d (x g - disp g (x g , y), y) et disp d (x d , y) = disp g (x d + disp d (x d , y), y) disp g étant une disparité estimée en prenant l’image de gauche (16a) comme référence, disp d étant une disparité estimée en prenant l’image de droite (16b) comme référence, x g étant une coordonnée du pixel de gauche (15a) et x d étant une coordonnée du pixel de droite (15b). Procédé de détection d’obstacles selon l’une des revendications 7 et 8, dans lequel la vérification de la validité de la disparité du couple de pixels homologues comprend l’étape de mettre en œuvre un mécanisme de post-accumulation en projetant des images de disparité passées sur une image de disparité actuelle. Procédé de détection d’obstacles selon l’une des revendications précédentes, comprenant l’étape de déterminer qu’un groupe de pixels d’une image stéréo segmentée rectifiée (Iser) forme une instance d’obstacle prédéfini (Obst) lorsque lesdits pixels sont connectés entre eux. Procédé de détection d’obstacles selon la revendication 10, dans lequel deux pixels sont connectés entre eux si l’un des deux pixels appartient au voisinage de l’autre et si les deux pixels appartiennent à une même classe. Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel l’étape d’intégration comprend les étapes, pour chaque instance d’obstacle prédéfini (Obst), de déterminer, en utilisant des coordonnées de l’instance d’obstacle prédéfini et les coordonnées en trois dimensions des pixels reconstruits, une distance entre ladite instance d’obstacle prédéfini et le véhicule (1) ainsi que des dimensions de ladite instance d’obstacle prédéfini. Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel les images intermédiaires sont les images stéréos rectifiées (Isr). Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel l’étape d’intégration comprend, pour chaque instance d’obstacle prédéfini, l’étape d’incruster une croix sur un barycentre de ladite instance d’obstacle prédéfini. Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel l’algorithme de segmentation sémantique utilise un réseau de neurones U-Net, HRNet, ou HRNet + OCR. Procédé de détection d’obstacles selon l’une des revendications précédentes, dans lequel les caméras stéréos (3) sont des caméras infrarouges. Système comprenant des caméras stéréos (3) et une unité de traitement (6) dans laquelle est mis en œuvre le procédé de détection d’obstacles selon l’une des revendications précédentes. Véhicule comprenant un système selon la revendication 17. Programme d’ordinateur comprenant des instructions qui conduisent l’unité de traitement (6) du système selon la revendication 17 à exécuter les étapes du procédé de détection d’obstacles selon l’une des revendications 1 à 16. Support d'enregistrement lisible par ordinateur, sur lequel est enregistré le programme d’ordinateur selon la revendication 19.