Brevet FR3128015A1 — publié le 20230414

Système d’aide à la navigation d’un véhicule comprenant un dispositif de gestion (2), ainsi qu’un moyen de calcul (12), un moyen de fusion (13), un moyen d’acquisition d’image, et un moyen d’affichage (15), le moyen de calcul (12) étant également connecté en sortie au moyen de fusion (13) connecté lui-même en sortie, directement ou indirectement, à un moyen d’affichage (15), le dispositif de gestion (2) étant configuré pour générer une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs le moyen de calcul (12) étant configuré pour appliquer la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, le moyen de fusion (13) étant configuré pour superposer les données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie. Figure pour l’abrégé : Figure [Fig 3] Système d’aide à la navigation d’un véhicule. L’invention a pour domaine technique la navigation d’un véhicule automobile, aérien, terrestre ou maritime, et plus particulièrement, les systèmes ADAS (acronyme anglophone pour « Advanced driver assistance services ») pour de tels véhicules, notamment ceux comprenant des réseaux neuronaux. Art antérieur Les systèmes d’aide à la navigation de véhicules, tels que des systèmes ADAS utilisent de plus en plus de moyens de segmentation afin d’enrichir les images acquises par les caméras embarquées. Les moyens de segmentation employés comprennent notamment des réseaux neuronaux et des réseaux neuronaux convolutifs profonds DCNN (acronyme anglophone pour « Deep Convoluted Neural Network ») qui permettent d’obtenir des informations pertinentes dans des durées de traitement restreintes. Les réseaux neuronaux convolutifs profonds (DCNN) sont largement utilisés dans la reconnaissance d'images et de vidéos, les systèmes de recommandation et le traitement du langage naturel. Chaque réseau neuronal convolutif peut réaliser une tâche spécifique telle que la détection ou la segmentation sémantique. Cependant, de nombreuses applications nécessitent désormais une résolution simultanée de ces tâches. Il est donc proposé d'utiliser des ensembles de réseaux neuronaux dits multitâches, qui sont capables de réaliser simultanément plusieurs tâches distinctes mais corrélées et de partager des ressources entre elles. C’est notamment le cas lorsqu’une même image est traitée par deux réseaux neuronaux différents afin d’extraire différentes informations. Chaque tâche peut alors bénéficier de particularités qui n'auraient pas été apprises avec son gradient par elle-même. Pour cela, il existe deux catégories de structures de réseaux neuronaux multitâches, la première permettant un « partage strict des poids », c'est-à-dire l'utilisation d'un ensemble commun de calculs. Quant à la seconde catégorie de structures, elle conduit à un « partage souple des poids », qui permet à chaque tâche de disposer de ses propres poids entraînables avec des contraintes entre les tâches. Cependant, ces structures sont difficiles à intégrer dans un circuit embarqué en raison de leur taille, du temps de calcul nécessaire pour exécuter les tâches et de la mémoire mobilisée à cet effet. Il en découle alors une durée de traitement augmentant avec le nombre de réseaux neuronaux, qui peut mener à un retard dans la disponibilité des informations extraites, se manifestant notamment par un retard d’affichage des images inacceptable pour l’utilisateur final. Il est couramment proposé dans de telles situations de fusionner au moins une paire de réseaux neuronaux appliqués à une même image au niveau de couches de même profondeur ayant des caractéristiques redondantes. Il n'est alors plus nécessaire de calculer les couches antérieures à celle sélectionnée parmi les deux réseaux neuronaux puisque l'accumulation des calculs produit la même carte de particularités. Néanmoins, cette fusion conduit à réentraîner les deux réseaux neuronaux, ce qui nécessite du temps de calcul, de la mémoire et aussi la disponibilité de données annotées. Il existe donc un besoin pour un système d’aide à la navigation et un procédé correspondant permettant de réduire la durée de traitement lorsqu’au moins deux réseaux neuronaux embarqués sont appliqués à une même image acquise sans avoir à les réentraîner. Selon un premier aspect, l'invention concerne un système d’aide à la navigation d’un véhicule comprenant un dispositif de gestion, un moyen de calcul, un moyen de fusion, un moyen d’acquisition d’image, et un moyen d’affichage, le moyen de calcul étant également connecté en sortie au moyen de fusion connecté lui-même en sortie, directement ou indirectement, à un moyen d’affichage. Le dispositif de gestion est configuré pour générer une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs compris dans une mémoire, ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné, de même structure, et dans lequel chacun est capable d'exécuter une tâche distincte, le dispositif comprenant en outre : - des moyens de comparaison capables de réaliser une comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal, et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal, les première et seconde couches de convolution ayant la même profondeur ; - des moyens de sélection capables de sélectionner au moins une des couches de convolution du premier réseau neuronal selon la valeur d'au moins un paramètre et, - des moyens de calcul capables de fusionner ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal et de supprimer l'ensemble des couches de convolution du premier réseau neuronal qui précède ladite couche sélectionnée. Le moyen de calcul est configuré pour appliquer la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, le moyen de fusion étant configuré pour superposer les données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie. Les moyens de sélection peuvent être configurés pour déterminer un point de fusion optimal des réseau neuronaux de la première structure multitâche en : - en déterminant au moins deux points de fusion potentiels, puis - en déterminant pour chaque point de fusion potentiel, la dégradation de performance et le gain en temps de calcul du réseau neuronal subissant la fusion appliqué à un jeu de données non annoté, et - en représentant dans un graphe la perte de performance de calcul du réseau neuronal subissant la fusion en fonction du gain de temps de calcul du réseau neuronal subissant la fusion, puis - en choisissant le point de fusion potentiel présentant la plus petite distance à l’optimal de Pareto dans le graphe. Le jeu de données non annoté peut être différent du jeu de données d’entrainement du premier réseau neuronal et/ou du deuxième réseau neuronal La deuxième structure multitâche obtenue peut être déjà entrainée et apte à générer des données semblables aux données générées par le premier réseau neuronal et le deuxième réseau neuronal. Dans un mode de réalisation, les moyens de calcul sont capables de réaliser la fusion entre le premier et le second réseau neuronal convolutif d'une manière non supervisée et/ou par projection linéaire. Dans un mode de réalisation, la valeur dudit paramètre est déterminée en fonction des résultats de toutes les comparaisons réalisées et/ou en fonction du temps de calcul à allouer à la seconde structure multitâche et/ou en fonction de la précision de calcul des cartes d'activation générées par la seconde structure. La tache exécutée par un réseau neuronal peut être choisie parmi l’inférence de profondeur et la segmentation sémantique. L’invention a également pour objet un procédé d’aide à la navigation d’un véhicule comprenant les étapes suivantes : - acquisition d’une image par un moyen d’acquisition d’image du véhicule, - génération d’une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs prédéfinis, ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné, de même structure, et dans lequel chacun est capable d’exécuter une tâche distincte, - comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal, et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal, les première et seconde couches de convolution ayant la même profondeur ; - sélection d’au moins une des couches de convolution du premier réseau neuronal selon la valeur d'au moins un paramètre et, - fusion de ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal et suppression de l'ensemble des couches de convolution du premier réseau neuronal qui précède ladite couche sélectionnée, - application de la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, - superposition des données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie. La fusion peut utiliser une couche intermédiaire de transition entrainée. Un autre objet de l’invention est un véhicule muni d’un système d’aide à la navigation tel que décrit ci-dessus, notamment un aéronef ou un véhicule automobile. D’autres buts, caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d’exemple non limitatif et faite en référence aux dessins annexés sur lesquels : - illustre les modules d'un dispositif de gestion d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs selon un mode de réalisation de l'invention, - montre un organigramme d'un procédé de gestion de la première structure multitâche, réalisé par ledit dispositif, selon un mode de réalisation de l'invention, - illustre les principaux éléments d’un système d’aide à la navigation selon l’invention, et - , et illustrent un front de Pareto appliqué à la détermination du point de fusion optimal selon différents modes de mise en œuvre. Système d’aide à la navigation d’un véhicule comprenant un dispositif de gestion (2), ainsi qu’un moyen de calcul (12), un moyen de fusion (13), un moyen d’acquisition d’image, et un moyen d’affichage (15), le moyen de calcul (12) étant également connecté en sortie au moyen de fusion (13) connecté lui-même en sortie, directement ou indirectement, à un moyen d’affichage (15), le dispositif de gestion (2) étant configuré pour générer une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs compris dans une mémoire (3), ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné (4, 5), de même structure, et dans lequel chacun est capable d’exécuter une tâche distincte, le dispositif comprenant en outre : - des moyens de comparaison (6) capables de réaliser une comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal (4), et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal (5), les première et seconde couches de convolution ayant la même profondeur ; - des moyens de sélection (7) capables de sélectionner au moins une des couches de convolution du premier réseau neuronal (4) selon la valeur d'au moins un paramètre et, - des moyens de calcul (8) capables de fusionner ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal (5) et de supprimer l'ensemble des couches de convolution du premier réseau neuronal (4) qui précède ladite couche sélectionnée le moyen de calcul (12) étant configuré pour appliquer la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, le moyen de fusion (13) étant configuré pour superposer les données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie. Système d’aide à la navigation selon la revendication 1, dans lequel les moyens de sélection (7) sont configurés pour déterminer un point de fusion optimal des réseau neuronaux de la première structure multitâche en : - en déterminant au moins deux points de fusion potentiels, puis - en déterminant pour chaque point de fusion potentiel, la dégradation de performance et le gain en temps de calcul du réseau neuronal subissant la fusion appliqué à un jeu de données non annoté, - en représentant dans un graphe la perte de performance de calcul du réseau neuronal subissant la fusion en fonction du gain de temps de calcul du réseau neuronal subissant la fusion, puis - en choisissant le point de fusion potentiel présentant la plus petite distance à l’optimal de Pareto dans le graphe. Système d’aide à la navigation selon la revendication 2, dans lequel le jeu de données non annoté est différent du jeu de données d’entrainement du premier réseau neuronal et/ou du deuxième réseau neuronal Système d’aide à la navigation selon l’une quelconque des revendications 1 à 3, dans lequel la deuxième structure multitâche obtenue est déjà entrainée et apte à générer des données semblables aux données générées par le premier réseau neuronal et le deuxième réseau neuronal. Système d’aide à la navigation selon l’une quelconque des revendications 1 à 4, dans lequel les moyens de calcul (8) sont capables de réaliser la fusion entre le premier et le second réseau neuronal convolutif (4, 5) de manière non supervisée et/ou par projection linéaire. Système d’aide à la navigation selon l’une quelconque des revendications 1 à 5, dans lequel la valeur dudit paramètre est déterminée en fonction des résultats de toutes les comparaisons réalisées et/ou en fonction du temps de calcul à allouer à la seconde structure multitâche et/ou en fonction de la précision de calcul des cartes d'activation générées par la seconde structure. Système d’aide à la navigation selon l’une quelconque des revendications 1 à 6, dans lequel la tache exécutée par un réseau neuronal est choisie parmi l’inférence de profondeur et la segmentation sémantique. Procédé d’aide à la navigation d’un véhicule comprenant les étapes suivantes : - acquisition d’une image par un moyen d’acquisition d’image du véhicule, - génération d’une seconde structure multitâche à partir d'une première structure multitâche d'un ensemble de réseaux neuronaux convolutifs prédéfinis, ledit ensemble comprenant au moins un premier et un second réseau neuronal entraîné (4, 5), de même structure, et dans lequel chacun est capable d’exécuter une tâche distincte, - comparaison par régression linéaire entre une première carte d'activation, générée par chaque première couche de convolution du premier réseau neuronal (4), et une seconde carte d'activation, générée par chaque seconde couche de convolution du second réseau neuronal (5), les première et seconde couches de convolution ayant la même profondeur ; - sélection d’au moins une des couches de convolution du premier réseau neuronal (4) selon la valeur d'au moins un paramètre et, - fusion de ladite couche sélectionnée avec la couche de convolution de même profondeur du second réseau neuronal (5) et suppression de l'ensemble des couches de convolution du premier réseau neuronal (4) qui précède ladite couche sélectionnée, - application de la seconde structure multitâche déterminée par le dispositif de gestion à l’image acquise, - superposition des données générées par la seconde structure multitâche avec l’image acquise de sorte à produire une image enrichie. Procédé selon la revendication 8, dans lequel la fusion utilise une couche intermédiaire de transition entrainée. Véhicule muni d’un système d’aide à la navigation selon l’une quelconque des revendications 1 à 7, notamment un aéronef ou un véhicule automobile.