Brevet FR3101715A1 — publié le 20210409

Procédé et système multimodal d’identification d’objets La présente invention a pour objet un procédé d’identification d’objets (1) basé sur un algorithme d’apprentissage automatique comportant une phase d’initialisation (P1) au cours de laquelle, au moins une base de donnée d’images d’objets annotées ou annotées et segmentées est créée de sorte à former une base de donnée d’images d’entraînement (B1) , une phase d’entraînement (P2) au cours de laquelle l’algorithme s’entraîne à l’identification d’objets sur ladite base de donnée d’images d’entraînement (B1) et une phase de déploiement (P3) permettant d’associer un objet à sa classe (13) en capturant une image dudit objet à identifier (11) et en analysant ladite image (11), ledit procédé (1) étant caractérisé en ce qu’il comporte au moins les étapes de: - Création d’au moins une base de données de masses (B2) associant chaque classe à la masse moyenne des objets de cette classe, - Attribution d’une probabilité d’appartenance dudit objet à chaque classe par la fonction exponentielle normalisée, - Utilisation d’une fonction de suppression des non maxima pour supprimer les classes dont les probabilités sont inférieures à un seuil X prédéfini, - Analyse des classes restantes et proposition d’un résultat ; Procédé et système multimodal d’identification d’objets Domaine technique de l'invention La présente invention concerne le domaine de la vision par ordinateur (intelligence artificielle) et plus particulièrement de l’identification de pièces mécaniques par l’utilisation de l’apprentissage profond (communément appelé en anglais « Deep Learning »). Etat de la technique Dans le domaine de l’identification de pièces mécaniques par ordinateur, il est connu d'utiliser un algorithme de type réseau de neurones convolutifs (aussi appelé réseau de neurones convolutionnels) que l’on va entraîner à l’aide de données d’entrée (apprentissage supervisé), en général une base de données d’images brutes associées à des annotations, afin qu’il puisse accomplir sa tâche d’identification de pièce. Plusieurs éléments peuvent diminuer les performances du système: luminosité faible ou trop élevée lors de la capture d’une image de la pièce par exemple…Ce problème de luminosité est régulièrement observé sur les sites industriels et entraînent l’acquisition d’images floues ou de mauvaise qualité. La maîtrise de l’ensemble des paramètres pouvant influencer la qualité de l’acquisition de l’image est d’autant plus importante, lors de l’identification de pièces mécaniques complexes, qui ont très peu d’éléments distinctifs, par exemple, des pièces détachées de moteurs industriels. Pour pallier à ces inconvénients, un éclairage adapté est généralement positionné au niveau de l’appareil d’acquisition de l’image. Cependant, l’angle de positionnement de l’éclairage peut entraîner l’apparition de zones d’ombre au niveau des pièces comprenant de nombreux reliefs (aspérités, ouvertures…) et perturber l’identification. Procédé d’identification d’objets (1) basé sur un algorithme d’apprentissage automatique comportant une phase d’initialisation (P1) au cours de laquelle, au moins une base de donnée d’images d’objets est créée, lesdites images étant au moins annotées de sorte à former une base de donnée d’images d’entraînement (B1), une phase d’entraînement (P2) au cours de laquelle l’algorithme s’entraîne à l’identification d’objets sur ladite base de donnée d’images d’entraînement (B1) et une phase de déploiement (P3) permettant d’associer un objet à sa classe (13) en capturant une image dudit objet à identifier (11) et en analysant ladite image (11), ledit procédé (1) étant caractérisé en ce qu’il comporte lors de la phase d’initialisation (P1), au moins l’étape de: - Création d’au moins une base de données de masses (B2) associant chaque classe à la masse moyenne des objets de cette classe, lors de la phase de déploiement (P3), au moins les étapes de: - Attribution d’une probabilité d’appartenance dudit objet à chaque classe par la fonction exponentielle normalisée, - Utilisation d’une fonction de suppression des non maxima pour supprimer les classes dont les probabilités sont inférieures à un seuil X prédéfini, - Analyse des classes restantes et proposition d’un résultat en sortie de la manière suivante : -- si le nombre de classes restantes est strictement supérieur à 1: acquisition de la masse de l’objet à identifier (10) par un appareil d’acquisition de la masse (A2), et comparaison de ladite masse aux masses moyennes des objets associés aux classes restantes, la classe associée aux objets dont la masse moyenne est la plus proche de la masse de l’objet à identifier (10) est la classe de l’objet (13), --si le nombre de classes restantes est égal à 1: la classe restante est la classe de l’objet à identifier (13), --si le nombre de classes restantes est égal à 0 : la classe de l’objet à identifier (13) n’a pas été retrouvée, soit ledit objet ne fait pas parti de la base de donnée d’images d’entraînement (B1), soit il a été mal positionné lors de la capture d’image et doit donc être repositionné avant de recommencer les étapes de la phase de déploiement (P3), lesdites phases d’entraînement (P2) et de déploiement (P3) au moins, étant effectuées par un algorithme de classification multi-classes basé sur un apprentissage supervisé. Procédé d’identification d’objets (1) selon la revendication 1 caractérisé en ce qu’il comporte lors de la phase d’initialisation (P1), au moins les étapes suivantes : a) Acquisition d’images d’au moins un objet, lesdites images étant annotées de sorte à être associées à la classe dudit objet, et de sorte à former au moins une base de donnée d’images d’entraînement (B1), b) Création d’au moins une base de données de masses (B2) associant chaque classe à la masse moyenne des objets de cette classe (80), lors de la phase d’entraînement (P2), au moins l’étape suivante : c) Entraînement du réseau de neurones convolutifs sur ladite base de donnée d’images (B1) d’entraînement (90), lors de la phase de déploiement (P3), au moins les étapes suivantes : d) Entrée : Capture d’une image de l’objet à identifier (11) par un appareil de capture d’images (A1) et transmission de ladite image (11) au réseau de neurones convolutifs entraîné (100), e) Traitement de ladite image par le réseau de neurones convolutifs: -e1 : Extraction des caractéristiques par les couches de convolution et les couches de regroupement, - e2 : Classification de l’objet à identifier par la couche totalement connectée -e3 : Attribution d’une probabilité d’appartenance dudit objet à chaque classe par la fonction exponentielle normalisée, -e4 : Utilisation d’un fonction de suppression des non maxima pour supprimer les classes dont les probabilités sont inférieures à un seuil X prédéfini, -e5 : Analyse des classes restantes et proposition d’un résultat en sortie de la manière suivante : -- si le nombre de classes restantes est strictement supérieur à 1: acquisition de la masse de l’objet à identifier (10) par un appareil d’acquisition de la masse (A2), et comparaison de ladite masse (10) aux masses moyennes des objets associés aux classes restantes, la classe associée aux objets dont la masse moyenne est la plus proche de la masse de l’objet à identifier est la classe de l’objet (13), --si le nombre de classes restantes est égal à 1: la classe restante est la classe de l’objet à identifier (13), -- si le nombre de classes restantes est égal à 0 : la classe de l’objet à identifier (13) n’a pas été retrouvée, soit ledit objet ne fait pas parti de la base de donnée d’images (B1), soit il a été mal positionné lors de la capture d’image et doit donc être repositionné avant de recommencer les étapes de la phase de déploiement (P3), lesdites phases d’entraînement (P2) et de déploiement (P3) au moins, étant effectuées par un réseau de neurones convolutifs. Procédé d’identification d’objets (1) selon la revendication précédente caractérisé en ce qu’au moins les phases d’entraînement (P2) et de déploiement (P3) sont effectuées par un réseau de neurones convolutif basé sur les régions et en ce que l’étape e commence par une sous étape e0 : Extraction des propositions de régions. Procédé d’identification d’objets (1) selon la revendication 2 caractérisé en ce que l’étape a devient l’étape a’ : Acquisition d’images d’au moins un objet, lesdites images étant annotées et segmentées de sorte à être associées à la classe dudit objet, et de sorte à former au moins une base de donnée d’images (B1) d’entraînement (70), en ce que l’étape e devient l’étape e’ : Analyse de ladite image par le réseau de neurones convolutifs basé sur des régions masquées : -e’1 : Génération de la carte des caractéristiques (110) par le réseau convolutionnel (21) et en parallèle, proposition de régions(111) par le réseau de proposition de région (22), -e’2 : Détection des régions d’intérêt (120), -e’3 : Alignement des régions d’intérêt (ROI) (130) par la couche d’alignement des ROI (23), -e’4 : Utilisation des Fonctions de Classification (140), de Régression (141) par la couche complétement connectée (24), et en parallèle, génération des masques pour chaque ROI (143) par la branche masque (25), -e’5 : Attribution d’une probabilité d’appartenance dudit objet à chaque classe par la fonction exponentielle normalisée (150) et amélioration des cadres de limitation (151), -e’6 : Utilisation d’un fonction de suppression des non maxima pour supprimer les classes dont les probabilités sont inférieures à un seuil X prédéfini (160), -e’6 : Analyse des classes restantes et proposition d’un résultat en sortie: -- si le nombre de classes restantes est strictement supérieur à 1: acquisition de la masse de l’objet à identifier (11) par un appareil (A2) d’acquisition de la masse (180), et comparaison de ladite masse (11) aux masses moyennes des objets associés aux classes restantes (181), la classe associée aux objets dont la masse moyenne est la plus proche de la masse de l’objet à identifier (11) est la classe (13) de l’objet (190), --si le nombre de classes restantes est égal à 1: la classe restante est la classe (13) de l’objet à identifier (190), --si le nombre de classes restantes est égal à 0 : la classe de l’objet à identifier (13) n’a pas été retrouvée, soit ledit objet ne fait pas parti de la base de donnée d’images (B1), soit il a été mal positionné lors de la capture d’image (100) et doit donc être repositionné (170) avant de recommencer les étapes de la phase de déploiement (P3), les phases d’entraînement (P2) et de déploiement (P3) au moins, étant effectuées par un réseau de neurones convolutifs avec masquage de régions (20). Procédé d’identification d’objets (1) selon la revendication précédente caractérisé en ce qu’au moins les phases d’entraînement (P2) et de déploiement (P3) sont effectuées par le réseau de neurones convolutifs avec masquage de régions (20) pré-entraîné à la classification sur une base de données d’images de pré-entraînement (B3), ladite phase d’entraînement (P2) sur la base de données d’images d’entraînement (B1) adaptant ledit réseau de neurones convolutifs (20) à l’identification des nouveaux objets. Système d’identification d’objets (2) caractérisé en ce qu’il comporte au moins : -un dispositif (A1) permettant l’acquisition d’images de l’objet à identifier (11), -un dispositif (A2) permettant l’acquisition de la masse de l’objet à identifier (10), - un dispositif informatique (A3) en communication avec au moins lesdits dispositifs d’acquisition d’images (A1) et de masses (A2), ledit dispositif informatique (A3) étant conçu pour mettre en œuvre au moins le procédé (1) selon les revendications 1 à 5 de classification dudit objet. Système d’identification d’objets (2) selon la revendication 6, caractérisé en ce que le dispositif d’acquisition d’images (A1) permet l’acquisition d’images (11) de haute résolution. Système d’identification d’objets (2) selon les revendications 6 et 7, caractérisé en ce que le dispositif d’acquisition de la masse (A2) a une précision au centième. Dispositif informatique (A3) d’identification d’objets, conçu pour mettre en œuvre au moins le procédé (1) selon les revendications 1 à 5 de classification dudit objet, caractérisé en ce qu’il comporte au moins : -un processeur (30), -une mémoire (31) de stockage accessible au moins audit processeur (30) et stockant un programme informatique pour exécuter le procédé (1) selon les revendications 1 à 5.