INPI-France/Brevets-Francais-2024-Chunked huggingface dataset:
Selon un mode de réalisation, la deuxième fonction apprenante de spécification entraînée FONC2 comprend une architecture en réseau de neurones. Selon un mode de réalisation, la deuxième fonction apprenante de spécification entraînée FONC2 comprend un réseau de neurones multicouches. Selon un mode de réalisation, la deuxième fonction apprenante de spécification entraînée FONC2 comprend un réseau de neurones convolutif. Selon un mode de réalisation, la deuxième fonction apprenante de spécification entraînée FONC2 comprend un réseau de neurones de type Transformeur.
La deuxième fonction apprenante de spécification entraînée FONC2 a été entraînée précédemment à la mise en œuvre du procédé. Selon un mode de réalisation, l’entraînement de la deuxième fonction apprenante de spécification entraînée FONC2 comprend un entraînement supervisé. Lors de l’entraînement, une base d’image d’entraînement de la deuxième fonction apprenante de spécification SPE2 est utilisée. La base d’images d’entraînement de la deuxième fonction apprenante FONC2 comprend une pluralité d’images, qui sont de préférences des images de l’intérieur de canalisations, qui comprennent des défauts labellisés. Avantageusement, chaque défaut de la base d’entraînement de la deuxième fonction apprenante FONC2 appartient à la même première classe de défaut DEF1. De cette manière, la deuxième fonction apprenante FONC2 est entraînée sur une base lui permettant d’effectuer la spécification d’un défaut donné de parmi les premières classes de défauts DEF1.
Selon un mode de réalisation, le procédé comprend plusieurs deuxièmes fonctions apprenantes de spécification entraînées FONC2. Chaque deuxième fonction apprenante de spécification entraînée FONC2 correspond à une première classe de défaut DEF1. En d’autres termes, à chaque fois que le procédé fait appel à une deuxième fonction apprenante de spécification entraînée SPE2, celle-ci est relative à la classe de défaut DEF1 qui a été sélectionnée.
Chaque deuxième fonction apprenante de spécification entraînée FONC2 est entraînée grâce à une base d’images spécifique. La base d’images d’entraînement spécifique comprend un ensemble d’images labellisées comprenant un défaut de la première classe de défaut DEF1 à laquelle la deuxième classe de spécification SPE2 est relative. Les labels des images comprennent des informations spécifiques à la première classe de défaut DEF1 et à la deuxième classe de spécification SPE2 qui est présente sur les images en question.
Le label de spécification de chaque image utilisée pour l’entraînement a été de préférence attribué par un opérateur à le ou les défauts présents sur l’image. Le label de spécification comprend une information sur la ou les deuxièmes classes de spécification SPE1 présentes sur l’image. Selon un mode de réalisation, la base d’images d’entraînement spécifique comprend au moins 10 images de l’intérieur de canalisation labellisées. Selon un mode de réalisation, la base d’images d’entraînement spécifique comprend au moins 50 images de l’intérieur de canalisation labellisées. Selon un mode de réalisation, la base d’images d’entraînement spécifique comprend au moins 100 images de l’intérieur de canalisation labellisées. Selon un mode de réalisation, la base d’images d’entraînement comprend au moins 1000 images de l’intérieur de canalisation labellisées. Selon un mode de réalisation, la base d’images d’entraînement comprend au moins 10000 images de l’intérieur de canalisation labellisées.
Selon un mode de réalisation, la base d’images d’entraînement spécifique de la deuxième fonction apprenante de spécification entraînée FONC2 est la même base que la base d’images d’entraînement de la première fonction apprenante de labellisation entraînée FONC1.
Selon un mode de réalisation, les images de la base d’images d’entraînement spécifique de la deuxième fonction FONC2 apprenante sont un sous-ensemble de la base d’images d’entraînement de la première fonction apprenante FONC1. Selon ce mode de réalisation, seules les images de la base d’images d’entraînement de la première fonction apprenante ayant comme label la première classe de défaut DEF1 à laquelle est relative la deuxième classe de spécification SPE2 sont utilisées dans la base d’images d’entraînement spécifique. De cette manière, la deuxième fonction apprenante de spécification FONC2 est entraînée à partir d’images qui comportent chacune un ou plusieurs défauts de la première classe de défaut DEF1 que l’on cherche à assigner une classe de spécification SPE2. Cette disposition permet d’améliorer l’entraînement de la deuxième fonction apprenante de spécification FONC2 par une meilleure sélection des images d’entraînement.
Selon un mode de réalisation, les images de la base d’images d’entraînement spécifique sont des images brutes IMBR qui ont subi au moins une étape de redimensionnement RED tel que décrit précédemment. Selon un mode de réalisation, les images brutes IMBR ont additionnellement ou alternativement subi une étape de troncature de l’image. Selon un mode de réalisation, les images brutes IMBR ont additionnellement ou alternativement subi une étape de transformation géométrique de l’image telle que précédemment décrite. Selon un mode de réalisation, les images ont subi une étape de traitement TRAIT de normalisation de l’intensité lumineuse telle que décrite précédemment. De cette manière, l’image peut avoir subi une étape d’ajustement de la luminosité, du contraste, d’écrêtage de la luminosité, et/ou une étape d’ajustement de la saturation. Toutes ces étapes permettent d’obtenir un ensemble d’images d’entraînement spécifique de la deuxième fonction apprenante de spécification SPE2 qui est homogène et permet donc un meilleur entraînement de la fonction. Selon un mode de réalisation, l’étape de traitement TRAIT de normalisation de l’intensité lumineuse comprend une étape d’analyse de l’image permettant de déduire les traitements à effectuer sur l’image pour la normaliser.
Selon un mode de réalisation, le nombre d’images de la base d’images d’entraînement spécifique de la deuxième fonction apprenante FONC2 est augmenté en utilisant des techniques d’augmentation de données. Cette disposition est particulièrement avantageuse quand la base d’images d’entraînement spécifique est un sous-ensemble de la base d’images d’entraînement de la première fonction apprenante, car elle permet d’augmenter un nombre plus restreint d’images de la base. Selon un mode de réalisation, la base d’images d’entraînement spécifique est augmentée en y ajoutant des images de ladite base qui ont subi des transformations géométriques. Selon un mode de réalisation, les transformations géométriques comprennent des rotations des images de la base d’images d’entraînement spécifique. Chaque image qui a subi une rotation est ajoutée à la base d’images d’entraînement spécifique. Selon un mode de réalisation, la base d’images d’entraînement spécifique est augmentée en effectuant un traitement sur les couleurs présentes sur les images. Plus précisément, des traitements de modification des couleurs comprennent non limitativement des traitements de la saturation des images, de la luminosité des images, ou du contraste des images. Les images ainsi traitées sont réincorporées dans la base d’images d’entraînement spécifique en plus des images de base non traitées. De cette manière, le nombre d’images de la base d’images d’entraînement spécifique est augmenté avec des images ayant des défauts et des caractéristiques de couleurs différentes des images initiales de la base. Cette disposition permet d’augmenter l’efficacité de l’entraînement de la fonction apprenante.
Selon un mode de réalisation, la deuxième fonction apprenante de spécification entraînée FONC2 est entraînée grâce à une méthode de « transfer learning » ou autrement appelée apprentissage par transfert. Une méthode d’apprentissage par transfert permet d’utiliser un modèle de reconnaissance d’image pré-entraîné sur des problèmes de reconnaissance d’image comme base au départ de l’entraînement de la deuxième fonction apprenante de spécification entraînée FONC2. Le modèle pré-entraîné est ré-entraîné en utilisant la base d’images d’entraînement spécifique précédemment décrite. Selon un mode de réalisation, le modèle pré-entraîné est entraîné sur de la reconnaissance d’images qui ne sont pas des images de l’intérieur de canalisation. Selon un mode de réalisation, le modèle pré-entraîné est un réseau de neurones convolutif. Selon un mode de réalisation, le modèle pré-entraîné est un réseau de neurones convolutif de type « MobileNet », « ResNet », « EfficientNet» ou « DenseNet ». Selon un mode de réalisation, le modèle pré-entraîné est un réseau de neurones de type Transformeur.
Selon un mode de réalisation, le modèle pré-entraînée est ré-entraîné en ré-entraînant seulement une partie des couches du réseau de neurones sur la base d’images d’entraînement spécifique.
Selon un mode de réalisation, la deuxième fonction apprenante de spécification entraînée FONC2 est entraînée en utilisant un modèle hybride qui assemble une architecture convolutive et une architecture récurrente dans un seul réseau de neurones. Un tel mode d’entraînement permet de mieux exploiter les corrélations entre les différents défauts qui sont présents sur une même première image IM1.
Selon un mode de réalisation, la deuxième fonction apprenante de spécification FONC2 sélectionne la deuxième classe de spécification SPE2 en fonction d’une règle prédéfinie. Selon un exemple, la règle prédéfinie permet d’associer une deuxième classe de spécification SPE2 à une première classe de défaut. Cette association peut être réalisée de manière automatique. Cette disposition est particulièrement avantageuse lorsqu’une deuxième classe de spécification SPE2 représente une grande majorité des cas associés à une première classe de défaut DEF1. Selon un exemple, la règle prédéfinie associée à la deuxième fonction apprenante FONC2 permet la modification de la première classe de défaut DEF1 sélectionnée précédemment.
Règles métier Selon un mode de réalisation, le procédé comporte une étape de sélection SEL3 d’une sous-classe spécifique SPE3 de deuxième classe de spécification SPE2 sélectionnée. La est un logigramme illustrant la sélection d’une règle dans une base de règles REG1. La base de règles peut être enregistrée dans une mémoire de l’équipement utilisé ou dans une mémoire distante accessible depuis un réseau de données. La sous-classe spécifique SPE3 représente un troisième niveau de description du défaut de canalisation qui est identifié sur la première image IM1. L’étape de sélection SEL3 de la sous-classe spécifique SPE3 comprend avantageusement une étape de sélection SEL4 d’au moins une règle au sein d’une base de règles REG1 en fonction de la valeur du premier label LAB1. Ainsi, dans cette étape on sélectionne une règle qui est relative à la première classe de défaut DEF1 et/ou à la deuxième classe de spécification qui ont été identifiées précédemment. On sélectionne donc une règle, qui peut correspondre à une règle métier qui peut être prédéfinie à partir d’une connaissance d’un ou plusieurs opérateurs, ou par la littérature technique d’un domaine de connaissance, qui est caractéristique de la nature du type de défaut identifié. La base de règle comporte avantageusement un ensemble de règles qui sont relatives aux premiers labels LAB1. Cette base de règle comporte avantageusement au moins une règle par premier label LAB1. La règle définit une association entre une valeur caractéristique Vc de la première image IM1 et une valeur prédéfinie définissant un deuxième label LAB2. Le deuxième label LAB2 est avantageusement caractéristique de la sous-classe spécifique SPE3. Par valeur caractéristique Vc de la première image IM1, on entend toute valeur ou donnée qui est associée, issue ou déduite de la première image ou de l’un de ses attributs. La valeur caractéristique Vc de la première image peut par exemple être une métadonnée associée à ladite première image IM1. La valeur prédéfinie définit le deuxième label LAB2 et est obtenue par association avec la valeur caractéristique Vc de la première image IM1. Le deuxième label LAB2 labellise la sous-classe spécifique SPE3 qui est sélectionnée dans cette étape du procédé. L’étape de sélection SEL3 de la sous-classe spécifique comprend ensuite une étape d’attribution de la valeur prédéfinie à la valeur du deuxième label LAB2. L’étape de sélection SEL3 d’une sous-classe spécifique permet donc la génération d’un deuxième label LAB2 venant spécifier encore plus le type de défaut identifié dans la première image IM1.
Selon un mode de réalisation, la valeur caractéristique Vc de la première image IM1 est son premier label LAB1. Selon ce mode de réalisation, la règle sélectionnée est caractéristique de la première classe de défaut DEF1 identifiée et/ou de la deuxième classe de spécification SPE2 qui a été identifiée précédemment. Cette disposition est particulièrement avantageuse, car elle permet d’utiliser une règle permettant la génération du deuxième label LAB2 qui est relative au type de défaut qui est identité. De plus, cette disposition permet aussi la sélection d’une règle de génération du deuxième label LAB2 en fonction de la deuxième classe de spécification SPE2 qui a été identifiée. Selon un premier exemple, une deuxième classe de spécification SPE2 identifiée par le procédé de l’invention correspond à une classe de défaut de type « branchement ». Une règle donnée est alors sélectionnée automatiquement en fonction de cette classe de spécification. La règle permet dans ce cas d’attribuer automatiquement une valeur de « branchement ouvert ». On comprend dans ce cas que la valeur de la seconde classe de spécification peut être complétée par une règle qui attribue une caractéristique supplémentaire au défaut qui ne peut être que d’un seul type dans un cas donné et/ou qui ne peut être déduit directement de l’image. Un autre cas est de permettre de représenter une valeur prépondérante d’un label parmi un ensemble de valeurs possibles. Cette représentation permet avantageusement d’aider un opérateur dans la validation de la caractérisation du défaut dans un grand nombre de cas.
illustre schématiquement un dispositif configuré pour la détection d’un défaut d’étalonnage d’un système de vision stéréoscopique non parallèle embarqué dans le véhicule de la , selon un exemple de réalisation particulier et non limitatif de la présente invention ;
Description des exemples de réalisation Un procédé et un dispositif de détection d’un défaut d’étalonnage d’un système de vision stéréoscopique, par la suite appelé système stéréo, embarqué dans un véhicule vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 à 4. Des mêmes éléments sont identifiés avec des mêmes signes de référence tout au long de la description qui va suivre.
A cet effet, le procédé comprend des étapes de réception de premières et deuxièmes données respectivement représentatives d’une première et deuxième image acquises par respectivement une première et deuxième caméras de l’ensemble de caméras à un même premier instant temporel d’acquisition. La détection d’au moins un objet dans la scène se fait par analyse de la première image, un ensemble de premiers pixels de la première image étant associé à au moins un objet. La détermination d’un ensemble de deuxièmes pixels dans la deuxième image correspondant à l’ensemble de premiers pixels est mise en œuvre à l’aide d’une méthode de calcul par flux optique en fonction de l’ensemble de premiers pixels, un flux optique étant représentatif d’un vecteur de déplacement entre chaque premier pixel de l’ensemble de premiers pixels et le deuxième pixel correspondant à chaque premier pixel. Une première profondeur associée à au moins un objet est calculée à partir de coordonnées des ensembles de premiers et deuxièmes pixels, de distances focales des première et deuxième caméras et d’une distance entre la première caméra et la deuxième caméra.
Le procédé comprend aussi la réception de troisièmes données représentatives d’une troisième image acquise par la première caméra à un deuxième instant temporel antérieur au premier instant temporel d’acquisition de la première image. Un ensemble de troisièmes pixels est déterminé dans la troisième image correspondants à l’ensemble de premiers pixels déterminé par la méthode de calcul par flux optique. Une deuxième profondeur associée à au moins un objet est calculée à partir de coordonnées des ensembles de premiers et troisièmes pixels, de la distance focale de la première caméra et d’un déplacement de la première caméra entre le premier instant temporel d’acquisition et le deuxième instant temporel.
Le procédé détermine une valeur représentative d’un défaut d’étalonnage du système de vision stéréoscopique par comparaison des première et deuxième profondeurs.
Par exemple, le conducteur du véhicule 10 peut avoir une mauvaise visibilité de l’image projetée par le système d’affichage tête haute qui l’empêche de prendre connaissance de ces informations. Le conducteur peut alors décider d’afficher ces informations de conduite sur l’écran central tactile du système d’affichage sur écran central par une action par exemple sur une palette sous le volant.
Selon un exemple de réalisation, le dispositif 3 contrôle le déploiement de la zone dédiée 130 suite à une action d’un utilisateur du véhicule 10 sur l’écran central tactile 13.
Selon un exemple de réalisation, illustré à la , une action de l’utilisateur est un appui glissé de gauche à droite sur l’écran central tactile 13 ou un appui sur une barre verticale située à l’extrémité gauche de l’écran central tactile 13.
Selon un exemple de réalisation, l’utilisateur replie la zone dédiée 130 en effectuant par exemple un balayage de droite à gauche sur l’écran central tactile 13( ).
Selon un exemple de réalisation, le dispositif 3 éteint le système d’affichage tête haute par un appui sur une sous-zone 131 de la zone dédiée 130 ( ). La zone dédiée 130 n’est plus repliable par l’utilisateur pour assurer l’affichage des informations de conduite en permanence requise réglementairement pour assurer la sécurité des passagers du véhicule 10.
Selon un exemple de réalisation, si une préférence utilisateur enregistrée indique que les informations de conduite du véhicule 10 doivent être affichées par le système d’affichage sur écran central, alors le dispositif 3 contrôle le système d’affichage sur écran central en déployant la zone dédiée 130 pour que les informations de conduite représentées par les données utilisées pour la génération de l’image soient affichées dans la zone dédiée et déployée130. Dans ce cas, l’image générée par les données représentatives des informations de conduite du véhicule 10 est également projetée par le système d’affichage tête haute si ce système d’affichage tête haute est opérationnel (pas de défaillance). Les informations de conduite sont alors simultanément affichées par le système d’affichage sur écran central et par le système d’affichage tête haute. Les informations de conduite du véhicule 10 doivent être affichées par le système d’affichage tête haute pour que la zone dédiée 130 redevienne repliable.
Selon une variante, suite au démarrage du véhicule 10, le dispositif 3 contrôle le système d’affichage sur écran central en déployant la zone dédiée 130 pour que des informations de conduite soient affichées sur l’écran central tactile jusqu’à ce que l’image générée par les données représentatives des informations de conduite du véhicule 10 soit projetée par le système d’affichage tête haute. Une fois que l’image est projetée, le dispositif 3 replie la zone dédiée 130.
Cette variante est avantageuse car elle permet l’affichage des informations de conduite dès le démarrage du système d’affichage sur écran central lors du démarrage du véhicule 10 et ce pour palier au temps de démarrage du système d’affichage tête haute.
Cette variante permet également d’informer un utilisateur du véhicule que les informations de conduite peuvent être affichées dans une zone dédiée de l’écran central tactile.
Selon une variante, une information concernant les interactions possibles qu’un utilisateur peut réaliser avec l’écran central tactile pour gérer l’affichage des informations de conduite sur l’écran central est affichée dans la zone dédiée 130.
Selon une variante, l’information concernant les interactions possibles que l’utilisateur peut réaliser avec l’écran central tactile pour gérer l’affichage des informations de conduite est affichée sur l’écran central tactile au démarrage du véhicule et si un profil de l’utilisateur est inexistant.
Par exemple ladite information concernant ces interactions indique les actions décrites en relations avec les figures 3 à 5.
Cette information peut se matérialiser par une fenêtre affichée sur l’écran central tactile dans laquelle peut être projetée une vidéo tutoriel expliquant les différentes actions des figures 3 à 5 ou encore le contrôle de l’affichage des informations de conduite selon la présente invention, c’est-à-dire les différentes opérations et variantes et exemples de réalisation décrits ci-dessus.
Selon une variante, si l’utilisateur a créé un profil utilisateur et qu’il regarde cette vidéo, alors le dispositif 3 enregistre que cet utilisateur a visionné la vidéo tutoriel et cette vidéo tutoriel ne sera plus jamais proposée. Si un utilisateur ne charge ou ne crée pas un profil utilisateur dans une mémoire du véhicule 10, la vidéo tutoriel est projetée à chaque démarrage du véhicule.
L’un des avantages de projeter cette vidéo tutoriel est de rendre visible le mécanisme d’affichage des informations de conduite du véhicule 10 par le systèmes d’affichage sur écran tactile et par le système d’affichage tête haute.
La illustre schématiquement un dispositif 3 configuré pour le contrôle d’affichage d’informations de conduite du véhicule 10 comprenant un système d’affichage tête haute et un système d’affichage sur écran central comprenant un écran central tactile, selon un exemple de réalisation particulier et non limitatif de la présente invention. Le dispositif 3 correspond par exemple à un dispositif embarqué dans le véhicule 10, par exemple un calculateur.
La illustre schématiquement un dispositif 4 configuré pour la détection d’un défaut d’étalonnage d’un système de vision stéréoscopique non parallèle embarqué dans un véhicule 10, selon un exemple de réalisation particulier et non limitatif de la présente invention. Le dispositif 4 correspond par exemple à un dispositif embarqué dans le premier véhicule 10, par exemple un calculateur.
La illustre un organigramme des différentes opérations d’un processus de détection d’un défaut d’étalonnage d’un système de vision stéréoscopique non parallèle embarqué dans le véhicule de la , selon un exemple de réalisation particulier et non limitatif de la présente invention.
Le processus est par exemple mis en œuvre par un ou plusieurs processeurs d’un ou plusieurs calculateurs embarqués dans le véhicule 10, par exemple par un calculateur contrôlant le système stéréo.
Dans une première opération 21, le calculateur reçoit des premières données représentatives d’une première image acquise par une première caméra 11 de l’ensemble de caméras à un premier instant temporel t1 d’acquisition.
Dans une deuxième opération 22, le calculateur reçoit des deuxièmes données représentatives d’une deuxième image acquise par une deuxième caméra 12 de l’ensemble de caméras au même premier instant temporel t1 d’acquisition.
Les deux images reçues correspondent à deux vues d’une même scène se déroulant aux alentours du véhicule 10 à même premier instant temporel t1 donné.
L’opération suivante 23 consiste à détecter au moins un objet dans la scène par analyse de la première image, un ensemble de premiers pixels de la première image étant associé à au moins un objet. Cette opération revient à extraire les éléments caractéristiques (en anglais « feature extraction ») de la première image.