Brevet FR3119697A1 — publié le 20220812

L’invention concerne un procédé de génération d’une base de données d’images pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile, l’entrainement dudit réseau de neurones ayant pour but la reconnaissance d’objets, situations ou évènements rares, le procédé comportant les étapes de : - sélectionner (10) une première image réelle, ou image de fond, correspondant à une image préalablement captée par une caméra embarquée à bord d’un véhicule automobile ; - sélectionner (12) au moins une deuxième image réelle, ou image d’incrustation, l’image d’incrustation représentant au moins un premier élément caractéristique d’un objet, d’une situation ou d’un évènement ; - générer (14) au moins une image composée, par incrustation d’au moins une image d’incrustation dans l’image de fond, la génération de l’image composée étant réalisée au moyen d’un algorithme mettant en œuvre un ensemble de réseaux de neurones artificiels organisés en réseaux antagonistes génératifs. Figure pour l’abrégé : Fig. 1 Procédé de génération d’une base de données d’images pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile La présente invention se rapporte au domaine de la détection et de la reconnaissance d’objets, de situations et d’évènements dans l’environnement d’un véhicule automobile. Elle vise en particulier à améliorer les performances de détection et de reconnaissance d’objets au sein d’images par des réseaux de neurones artificiels, grâce à un procédé permettant de constituer rapidement et efficacement une base de données d’entrainement de qualité. Les véhicules automobiles sont de plus en plus fréquemment équipés de systèmes d’aides à la conduite sophistiqués, communément désignés sous l’acronyme anglophone ADAS (pour « Advanced Driver Assistant Systems »), ces systèmes ayant pour objectif d’améliorer la sécurité et/ou le confort de conduite. Certains systèmes d’aides à la conduite, ainsi que les systèmes de conduite autonome, mettent en œuvre des systèmes de détection comportant au moins une caméra et intégrant au moins un réseau de neurones artificiels pour l’analyse des images captées par la caméra, afin de détecter et reconnaitre des objets, tels que des véhicules, des panneaux de signalisation, etc. Ces réseaux de neurones sont préalablement entrainés au moyen de bases de données contenant des images d’entrainement labellisées. De telles bases de données comportent généralement un nombre d’images d’entrainement allant de quelques dizaines de milliers à plusieurs millions. Un tel volume de données est généralement nécessaire afin que l’entrainement d’un réseau de neurones artificiels lui permette de développer des performances jugées satisfaisantes pour la fonction de reconnaissance désirée. Ainsi, la performance d’un réseau de neurones artificiels repose en grande partie sur le volume de la base d’images d’entrainement, ainsi que sur sa diversité. Pour entrainer un réseau de neurones artificiels à reconnaitre des objets susceptibles d’apparaitre sur les images captées par une caméra embarquée à bord d’un véhicule automobile, il est donc nécessaire de disposer d’une base de données d’images d’entrainement suffisamment fournie. Pour constituer une telle base de données, il est connu de générer des images réelles obtenues en déployant une flotte de véhicules équipés d’une caméra embarquée, et en récupérant les images captées par la caméra de l’ensemble des véhicules de la flotte lors de leur roulage. Il est également connu de générer des images virtuelles, c’est-à-dire simulées, mais dont le rendu est en général insuffisamment réaliste. La constitution d’une base de données d’images d’entrainement à partir d’images réelles permet d’obtenir une performance très satisfaisante des réseaux de neurones artificiels entrainés à partir d’une telle base. Toutefois, il peut être difficile de générer une base de qualité, présentant un volume suffisant, lorsque les objets, situations ou évènements sur lesquels on souhaite entrainer un réseau de neurones apparaissent de façon peu fréquente, voire très rarement, en comparaison avec des évènements qu’un véhicule automobile est amené à rencontrer quotidiennement ou très fréquemment. Les situations ou évènements rares peuvent être par exemple : la présence sur la route d’une zone de travaux, d’un véhicule prioritaire, de véhicules de dépannage ou de sécurité, etc. Du fait de la faible ou très faible occurrence de certains évènements, la génération d’une base de données d’images réelles au moyen d’une flotte de véhicules peut s’avérer très longue et fastidieuse, et donc coûteuse. La présente invention vise à pallier les inconvénients de l’état de la technique, et plus particulièrement ceux-ci-dessus exposés, en proposant un procédé de génération d’une base de données, permettant d’alimenter rapidement une base de données avec un grand nombres d’images représentant des objets, situations et évènements rares, ces images présentant une qualité équivalente à celle d’images réelles. À cet effet, l’invention concerne un procédé de génération d’une base de données d’images pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile, l’entrainement dudit réseau de neurones ayant pour but la reconnaissance d’objets, situations ou évènements rares, le procédé comportant les étapes de : - sélectionner une première image réelle, ou image de fond, correspondant à une image préalablement captée par une caméra embarquée à bord d’un véhicule automobile ; - sélectionner au moins une deuxième image réelle, ou image d’incrustation, l’image d’incrustation représentant au moins un premier élément caractéristique d’un objet, d’une situation ou d’un évènement ; - générer au moins une image composée, par incrustation d’au moins une image d’incrustation dans l’image de fond, la génération de l’image composée étant réalisée au moyen d’un algorithme mettant en œuvre un ensemble de réseaux de neurones artificiels organisés en réseaux antagonistes génératifs. Ainsi, en générant des images d’entrainement composées sur la base d’images réelles, c’est-à-dire des images préalablement captées par une caméra ou un appareil photographique, l’invention permet de construire des images d’entrainement réalistes. L’utilisation de techniques d’incrustation et de photomontage pour réaliser des images d’entrainement permet ainsi d’alimenter une base de données d’entrainement relative à des situations et évènements rares de façon bien plus rapide, et donc économique, qu’en se basant uniquement sur les images provenant d’une flotte de véhicules. En réalisant l’étape de génération de l’image composée au moyen de réseaux de neurones artificiels organisés en réseaux antagonistes génératifs, donc des réseaux de neurones ayant fait l’objet d’un entrainement mutuel préalable, l’invention permet d’obtenir des images composées dont la qualité, notamment en termes de réalisme, est équivalente à la qualité d’images réelles. Dans une réalisation, l’étape de sélectionner au moins une image d’incrustation est réalisée notamment en fonction de critères de compatibilité avec au moins une donnée caractéristique de l’image de fond sélectionnée, les critères de compatibilité permettant d’assurer la compatibilité entre le ou les éléments représentés sur l’image de fond et le ou les éléments caractéristiques représentés sur l’image d’incrustation. Dans une réalisation, l’étape de générer au moins une image composée est réalisée en prenant en compte des règles d’incrustation, les règles d’incrustation incluant par exemple des règles relatives à des caractéristiques de disposition des éléments caractéristiques représentés sur la ou les images d’incrustation. Dans une réalisation, le procédé comporte une étape de génération d’au moins une deuxième image composée, la deuxième image composée étant réalisée à partir de la même image de fond que l’image composée précédemment réalisée, par incrustation de tout ou partie des mêmes images d’incrustation. Dans une réalisation, les objets, situations ou évènements rares incluent : - la présence sur une chaussée d’éléments de signalisation d’une zone de travaux ; et/ou - la présence de véhicules prioritaires ou d’urgence ; et/ou - la présence de véhicules arrêtés sur le bas-côté ou sur une bande d’arrêt d’urgence, ou de véhicules accidentés ; et/ou - la présence de véhicules dans une configuration inusuelle ou interdite, par exemple un véhicule roulant à contresens ; et/ou - la présence de véhicules de dépannage ou de sécurité ; et/ou - la présence inusuelle, inadaptée ou interdite de piétons, de cycliste ou d’animaux ; et/ou - la présence d’objets divers sur une chaussée. Dans une réalisation, l’ensemble de réseaux antagonistes génératifs comporte au moins un premier réseau neuronal artificiel, ou réseau discriminateur, et au moins un deuxième réseau neuronal artificiel, ou réseau générateur, le réseau discriminateur et le réseau générateur ayant fait l’objet d’un apprentissage mutuel préalable. L’invention concerne également un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un processeur, conduisent celui-ci à mettre en œuvre les étapes du procédé tel que défini ci-dessus. La présente invention sera mieux comprise à la lecture de la description détaillée qui suit, faite en référence aux dessins annexés, dans lesquels : La est un schéma illustrant les étapes de mise en œuvre du procédé de génération d’une base de données conforme à l’invention. La représente un premier exemple d’image de fond. La représente un deuxième exemple d’image de fond. La représente un ensemble d’images d’incrustation. La représente un premier exemple d’image composée générée conformément au procédé objet de l’invention. La représente un deuxième exemple d’image composée générée conformément au procédé objet de l’invention. On décrit ci-après, en relation avec les figures 1 à 6, les étapes de mises en œuvre du procédé conforme à l’invention, à travers un exemple d’application dans lequel on génère des images composées représentant une route, sur une portion de laquelle est déployée une zone de travaux. Le procédé conforme à l’invention comporte une étape de sélectionner 10 une première image réelle 2, 3, ou image de fond, correspondant à une image préalablement captée par une caméra embarquée à bord d’un véhicule automobile. L’image de fond 2, 3 est sélectionnée dans une première base de données, comportant des images réelles, c’est-à-dire des images préalablement obtenues au moyen d’une caméra embarquée à bord d’un véhicule automobile. Dans l’exemple, la première image de fond 2 illustrée par la représente une vue d’une route 20 comportant plusieurs voies de circulation 22, 24, 26. Sur la voie 26 la plus à droite figurent deux véhicules 28, 30. La deuxième image de fond 3, illustrée par la , représente une vue similaire à celle de la première image de fond. En revanche, aucun véhicule n’est visible sur la deuxième image de fond 3. La présence et la disposition des différents éléments visibles sur une image de fond sélectionnée sont prises en compte afin de déterminer la compatibilité de l’image de fond sélectionnée avec l’image d’entrainement qui sera obtenue. Par exemple, si l’image d’entrainement obtenue doit comporter une zone de travaux sur la voie de circulation 26 de droite, alors la première image de fond 2 ne sera pas sélectionnée car incompatible avec cette finalité, puisque des véhicules 28, 30 sont présents sur la voie de circulation de droite. Dans ce cas, on sélectionnera la deuxième image de fond 3. Le procédé comporte également une étape de sélection 12, dans une deuxième base de données, d’au moins une deuxième image réelle 32, 34, 36, ou image d’incrustation. L’image d’incrustation 32, 34, 36 représente au moins un élément caractéristique représentatif, seul ou en combinaison avec un ou plusieurs éléments caractéristiques du même type et/ou d’un type différent, d’une situation ou d’un évènement susceptible de se produire sur ou à proximité d’une voie de circulation. La représente plusieurs exemples d’images d’éléments caractéristiques pouvant servir à délimiter une zone de travaux ou avertir de la proximité d’une telle zone, à savoir : - une première image d’incrustation 32 représentant un cône de signalisation ; - une deuxième image d’incrustation 34 représentant une balise d’alignement ; et - une troisième image d’incrustation 36 représentant un panneau de signalisation triangulaire. Avantageusement, l’image d’incrustation 32, 34 36 est sélectionnée dans la deuxième base de données en fonction de critères de compatibilité avec au moins une donnée caractéristique de l’image de fond 2 sélectionnée. Ces critères de compatibilité peuvent par exemple concerner les différents types d’éléments caractéristiques rencontrés dans une zone géographique ou un pays donné. Par exemple, si l’image de fond préalablement sélectionnée est associée à une donnée caractéristique relative à son origine géographique indiquant que l’image concernée a été capturée dans un pays donné, alors les critères de compatibilité imposeront de sélectionner uniquement des images d’incrustation représentant des éléments caractéristiques utilisés ou présents dans ce pays. Le procédé comporte ensuite une étape de génération 14 d’au moins une première image composée 4. La première image composée 4 est obtenue par incrustation, dans l’image de fond 2 sélectionnée, d’au moins une image d’incrustation 32 sélectionnée lors de l’étape de sélection 12. Conformément à l’invention, l’image composée 4 est réalisée par un algorithme mettant en œuvre au moins un ensemble de réseaux antagonistes génératifs. Cet ensemble comporte au moins un premier réseau neuronal artificiel, ou réseau discriminateur, et au moins un deuxième réseau neuronal artificiel, ou réseau générateur. Le réseau discriminateur et le réseau générateur ont fait l’objet d’un apprentissage mutuel préalable. Comme visible sur la , la première image composée 4 est réalisée à partir de l’incrustation de plusieurs images d’incrustation 32 et/ou de plusieurs incrustations de la même image d’incrustation 32, ce qui permet d’obtenir plusieurs éléments incrustés 40, 42, 44, 46, 48. Dans l’exemple, l’image d’incrustation 32 sélectionnée représente un cône de signalisation. En incrustant plusieurs images d’incrustation 32, il est ainsi possible d’obtenir une image composée 4 comportant des éléments incrustés 40-48 représentant un alignement de plusieurs cônes, correspondant donc à la délimitation d’une zone de travaux occupant l’une des voies de circulation de la route 20. L’étape de génération 14 d’une image composée est réalisée en prenant en compte des règles d’incrustation. Les règles d’incrustation incluent notamment des règles relatives à des caractéristiques de disposition des éléments caractéristiques faisant l’objet de l’incrustation. Dans l’exemple, les règles d’incrustation prennent en compte les règles et normes locales d’utilisation des éléments de signalisation d’une zone de travaux. Ainsi, ces règles impliquent que les éléments incrustés sont disposés en ligne afin de délimiter la zone de travaux (occupant dans l’exemple la voie de gauche 22). Avantageusement, le procédé comporte une étape de génération 16 d’au moins une deuxième image composée 5, telle que l’image visible sur la . Cette deuxième image composée 5 est réalisée à partir de la même image de fond 2 que la première image composée 4, et à partir des mêmes images d’incrustation de la première image composée, ou d’au moins une partie de ces images d’incrustation. Ainsi, à partir d’une même image de fond et de tout ou partie des mêmes images d’incrustation, il est possible de réaliser rapidement plusieurs images composées 4, 5 différentes, permettant ainsi d’augmenter facilement la variété des images composant la base de données d’images d’entrainement. Dans l’exemple, la deuxième image composée 5 diffère de la première image composée 4 en ce que l’un des éléments d’incrustation 50 est dans une disposition différente (le cône correspondant étant ici renversé). Bien entendu, un grand nombre de paramètres pourront être modifiés pour obtenir plusieurs images composées différentes sur une même base (on peut par exemple citer, dans le cas de la , le nombre de cônes, leur alignement, leur écartement, etc.). Avantageusement, l’étape de générer une image composée comporte une sous-étape de labellisation de cette image, c’est-à-dire la génération pour chaque image composée d’un ensemble de données permettant de décrire les objets, concepts, situations et évènements représentés sur l’image composée concernée. On comprend de la description ci-dessus que le procédé conforme à l’invention permet de réduire le temps et les coûts de création et de labellisation d’images afin de constituer une base de données d’images d’entrainement relative à des évènements rares. Le procédé conforme à l’invention permet de générer des images qui soient réalistes, contrairement aux images simulées. Ainsi, le procédé conforme à l’invention permet d’améliorer la performance des algorithmes destinés à être implémentés dans un système d’aide à la conduite intégrant une fonction de reconnaissance d’image, en particulier la performance dans la reconnaissance de situations et évènements rares. Bien entendu, une base de données générée conformément au procédé objet de l’invention peut également servir à entrainer des réseaux de neurones artificiels lors des phases de conception et de validation de systèmes d’aide à la conduite intégrant une fonction de reconnaissance d’image. On a décrit ci-dessus un exemple d’application du procédé conforme à l’invention dans lequel l’évènement rare considéré est une zone de travaux déployée sur une route. Bien entendu, tout type d’objet, situation ou évènement rare pourra être pris en compte grâce au procédé objet de l’invention, et notamment les éléments de la liste ci-dessous, donnée à titre d’exemple non limitatif : - la présence de véhicules prioritaires ou d’urgence (véhicules de pompiers, des forces de l’ordre, ambulances, etc.), notamment lorsqu’ils sont en cours de déplacement vers une zone d’intervention, ou en cours d’intervention ; - la présence de véhicules arrêtés sur le bas-côté ou sur une bande d’arrêt d’urgence, de véhicules accidentés (par exemple un camion couché sur une ou plusieurs voies de circulation) ; - la présence de véhicules dans une configuration inusuelle ou interdite, par exemple un véhicule roulant à contresens ; - la présence de véhicules de dépannage ou de sécurité (par exemple les véhicules de patrouille présents sur les autoroutes) ; - la présence inusuelle, inadaptée ou interdite de piétons, de cyclistes, d’animaux (par exemple un cycliste présent sur une chaussée à voies séparées alors que cette présence est interdite) ; - la présence d’objets divers sur une chaussée (par exemple : un déchet tel qu’un morceau de carton, des morceaux de pneu, un animal mort, etc.). Procédé de génération d’une base de données d’images pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile, l’entrainement dudit réseau de neurones ayant pour but la reconnaissance d’objets, situations ou évènements rares, le procédé comportant les étapes de : - sélectionner (10) une première image réelle (2, 3), ou image de fond, correspondant à une image préalablement captée par une caméra embarquée à bord d’un véhicule automobile ; - sélectionner (12) au moins une deuxième image réelle (32, 34, 36), ou image d’incrustation, l’image d’incrustation (32, 34, 36) représentant au moins un premier élément caractéristique d’un objet, d’une situation ou d’un évènement ; - générer (14) au moins une image composée (4, 5), par incrustation d’au moins une image d’incrustation (32, 34, 36) dans l’image de fond (2, 3), la génération de l’image composée (4, 5) étant réalisée au moyen d’un algorithme mettant en œuvre un ensemble de réseaux de neurones artificiels organisés en réseaux antagonistes génératifs. Procédé selon la revendication précédente, dans lequel l’étape de sélectionner (12) au moins une image d’incrustation (32, 34, 36) est réalisée notamment en fonction de critères de compatibilité avec au moins une donnée caractéristique de l’image de fond (2, 3) sélectionnée, les critères de compatibilité permettant d’assurer la compatibilité entre le ou les éléments représentés sur l’image de fond (2, 3) et le ou les éléments caractéristiques représentés sur l’image d’incrustation (32, 34, 36). Procédé selon l’une des revendications précédentes, dans lequel l’étape de générer (14) au moins une image composée (4, 5) est réalisée en prenant en compte des règles d’incrustation, les règles d’incrustation incluant par exemple des règles relatives à des caractéristiques de disposition des éléments caractéristiques représentés sur la ou les images d’incrustation (32, 34, 36). Procédé selon l’une des revendications précédentes, comportant une étape de génération (16) d’au moins une deuxième image composée (5), la deuxième image composée (5) étant réalisée à partir de la même image de fond (2) que l’image composée (4) précédemment réalisée, par incrustation de tout ou partie des mêmes images d’incrustation (32). Procédé selon l’une des revendications précédentes, dans lequel les objets, situations ou évènements rares incluent : - la présence sur une chaussée d’éléments de signalisation d’une zone de travaux ; et/ou - la présence de véhicules prioritaires ou d’urgence ; et/ou - la présence de véhicules arrêtés sur le bas-côté ou sur une bande d’arrêt d’urgence, ou de véhicules accidentés ; et/ou - la présence de véhicules dans une configuration inusuelle ou interdite, par exemple un véhicule roulant à contresens ; et/ou - la présence de véhicules de dépannage ou de sécurité ; et/ou - la présence inusuelle, inadaptée ou interdite de piétons, de cycliste ou d’animaux ; et/ou - la présence d’objets divers sur une chaussée. Procédé selon l’une des revendications précédentes, dans lequel l’ensemble de réseaux antagonistes génératifs comporte au moins un premier réseau neuronal artificiel, ou réseau discriminateur, et au moins un deuxième réseau neuronal artificiel, ou réseau générateur, le réseau discriminateur et le réseau générateur ayant fait l’objet d’un apprentissage mutuel préalable. Produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un processeur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’une des revendications 1 à 6.