Brevet FR3133472A1 — publié le 20230915

Nous proposons un modèle gaussien global-local des caractéristiques des images produites par les couches intermédiaires d’un réseau de neurones du réseau neuronal pour détecter les anomalies sans supervision externe. Un modèle global de mélange gaussien des caractéristiques (ou descripteurs) est d’abord appris en utilisant toutes les caractéristiques disponibles des données normales. Ce modèle global de mélange gaussien est ensuite localisé en apprenant des poids spatiaux pour chaque gaussienne. Enfin, ces poids sont utilisés à la place de ceux du mélange pour détecter les anomalies. Cette méthode permet une modélisation précise de données complexes, même avec des données limitées. Appliquée aux caractéristiques WideResnet 50-2, notre approche surpasse l’état de l’art précédent sur le jeu de données MVTec, en particulier sur la catégorie des objets. Elle est robuste aux perturbations fréquentes sur les lignes de production, comme un alignement imparfait, et est comparable en termes de mémoire et de temps de calcul à l’état de l’art précédent. Figure à publier : figure 1 METHODE POUR LA DETECTION D'ANOMALIE UTILISANT UN MODELE GLOBAL-LOCAL La présente invention propose un procédé de détection d’anomalies dans des images. État de la technique antérieure La détection d’anomalies dans les images consiste à trouver des images, ou des régions d’images, qui ne sont pas conformes au reste des données. Il s’agit d’un problème important dans de nombreuses applications industrielles, médicales ou biologiques. La détection d’anomalies ou de défauts sur des objets industriels est un problème complexe qui nécessite souvent l’intervention d’un opérateur. Cela explique pourquoi le contrôle de la qualité visuelle ou d’aspect dans les chaînes de production a historiquement été laissé aux opérateurs humains. Pourtant, l’automatisation du processus peut accélérer, réduire le coût de production et atténuer les variations de performance causées par la fatigue des opérateurs [24, 33]. Le problème reste cependant un défi pour la vision par ordinateur, car il n’existe pas de définition claire et directe de la normalité dans des données arbitraires ou bien de d’une anomalie de manière générale car les cas d’usage sont très variés. La détection d’anomalies non supervisée pour les applications industrielles fait l’objet d’une attention particulière ces derniers temps, notamment après la publication d’un nouvel ensemble de données de référence par MvTec [3]. L’exigence « non supervisée » est un défi, mais pourrait conduire à une solution générale. Il est généralement admis que la détection d’anomalies n’est pas un problème de classification classique [30]. En effet, les anomalies ne forment pas des classes bien définies. Elles peuvent être rares ou inconsistantes. De nouveaux types d’anomalies peuvent apparaître plus tard, mais doivent être détectées comme telles sur la base de l’expérience passée des données normales. Cela rend l’annotation des anomalies intrinsèquement impossible. Au contraire, les données normales sont abondantes et peuvent être utilisées pour modéliser la normalité. Cela conduit à considérer la détection d’anomalies comme un problème de détection d’un événement hors distribution normale. La détection des anomalies a fait l’objet d’un examen approfondi dans la littérature [13, 23, 29]. Les méthodes peuvent être classées en trois grandes catégories : les méthodes antérieures à l’apprentissage profond, les méthodes basées sur des réseaux préentraînés et enfin les méthodes purement basées sur les réseaux de neurones. Méthodes antérieures à l’apprentissage profond Ces méthodes se concentrent sur la modélisation de données normales, également appelées modèle de fond. Les méthodes homogènes et stochastiques [1, 12, 34, 35, 37] supposent que le modèle de fond suit une distribution connue. Les méthodes centre/environnement [15, 16, 25] modélisent les anomalies comme des événements locaux contrastant avec leur environnement immédiat. Les méthodes basées sur la sparsité [4, 6, 7, 21] apprennent un dictionnaire clairsemé représentant des données normales. Les anomalies sont définies comme des données qui ne vérifient pas la condition de sparsité. Les méthodes non locales [10,41] supposent que chaque patch d’image dans les données normales appartient à un cluster dense dans l’espace des patchs de l’image. Les anomalies se trouvent plutôt loin de leurs plus proches voisins. Les anomalies sont mesurées en regroupant des petits morceaux d’image, aussi appelés patch en langue anglaise, ce qui conduit directement à une mesure de la rareté. La méthode de Davy et al. [10] comble le fossé avec les méthodes utilisant des réseaux préentraînés, car cette méthode peut être appliquée directement sur des patchs d’images ou sur des caractéristiques de réseaux neuronaux. Méthodes basées sur des réseaux préentraînés. Utilisation de réseaux préentraînés. Ces méthodes utilisent des réseaux neuronaux pour intégrer des informations sémantiques dans le processus de détection. Ces réseaux peuvent être préentrainés sur des bases de données publiques généralistes comme COCO [19]. SPADE [9] crée une base de caractéristiques à partir d’un réseau neuronal préentraîné avec les images de référence et utilise la norme L2 entre les caractéristiques d’une image et ses K plus proches voisins, aussi désignés sous le terme kNN, de la base de référence en tant que score. Il implique des caractéristiques à différentes couches pour effectuer une analyse multiéchelle. MahaAD [26] modélise chaque couche comme un modèle gaussien global unique. Les anomalies sont ensuite détectées en calculant et en seuillant la distance de Mahalanobis par rapport à cette gaussienne. PaDim [11] étend MahaAD [26] en apprenant un modèle gaussien par position au lieu d’un modèle global. Réseau de neurones et apprentissage profond En utilisant un auto-encodeur variationnel (VAE), le document [1] et [36] apprennent une représentation des données normales. Afin de localiser l’anomalie, la technique d’attention Grad-cam [32] est utilisée : lorsque l’image n’est pas une anomalie, l’attention doit être uniforme sur toute l’image, ceci change lorsque l’image contient une anomalie. Une version faiblement supervisée est également proposée. Dans [17], les anomalies sont trouvées en se basant sur la distribution des gradients. Liu et al. [20] proposent un type similaire de technique d’attention pour détecter et localiser l’anomalie. Dans [28], un réseau neuronal profond est entraîné en minimisant le volume d’une hypersphère qui entoure les représentations du réseau des données. Yi et Yoon [38] suggèrent d’utiliser plutôt les patchs de l’image. Le score d’anomalie est simplement la distance entre le patch codé et son plus proche voisin. Un réseau de style P est entraîné dans [40]. Il apprend à produire une information de structure à partir de l’image. Les auteurs montrent que cette information contient généralement l’anomalie et aide également pendant l’entraînement à reconstruire l’image. Li et al. [28] utilisent une recherche d’architecture neuronale pour trouver de meilleures architectures d’apprentissage profond. Draem [39] apprend à la fois un modèle de reconstruction et un modèle discriminant en utilisant des anomalies simulées. Aitor Artola et al. se proposent dans [2] une normalisation neuronale de l’ensemble d’entraînement pour ensuite appliquer un détecteur d’anomalie basé sur l’algorithme Non-Local Means. Enfin, les méthodes les plus récentes [14, 27] sont basées sur la normalisation des flux. Les flux normalisateurs sont des réseaux neuronaux inversables qui apprennent un modèle transformant les données en une distribution plus simple, généralement gaussienne. Etat de la technique le plus proche Avec Padim [11], Defard et al. ont proposé d’apprendre une seule gaussienne multivariée par pixel dans un espace de caractéristiques de réseau neuronal. Bien qu’ils aient proposé de réduire la dimension des caractéristiques en utilisant l’ACP ou la sélection aléatoire, la dimension est encore trop grande pour la plupart des cas d’utilisation. En effet, la dimension proposée d = 100 ou d = 550 nécessiterait toujours au moins autant d’échantillons pour estimer une matrice de covariance non contrainte. Cela n’est pas toujours possible dans l’ensemble de données MVTec [3]. De plus, des informations, potentiellement précieuses, sont perdues par la réduction de la dimension. Une autre limitation de ce modèle est l’utilisation d’une seule gaussienne à une position donnée. En effet, un tel modèle pourrait être trop restrictif puisqu’il ne peut pas modéliser les distributions multimodales. Un but de l’invention est de proposer un procédé de détection d’anomalie à partir de descripteurs qui apporte une solution à ces problèmes. Selon un premier aspect de l’invention, il est proposé un procédé de détection d’anomalie non supervisé dans une ou une série d’images testées, mis en œuvre par une unité de calcul, comportant les étapes suivantes : une étape de détermination d’un modèle à partir d’images dites conformes, une étape d’inférence comportant une détermination d’un score d’anomalie par application dudit modèle sur ladite image ou la série d’images testées, caractérisé en ce que l’étape de détermination d’un modèle comporte les étapes suivantes : déterminer un modèle de mélange de famille exponentielles à partir de données d’images conformes, ledit modèle de familles exponentielles présentant un ensemble de poids, pour chaque famille exponentielle dudit modèle de familles exponentielles, déterminer un ensemble de poids spatiaux (pour obtenir une localisation du modèle global de familles exponentielles), déterminer un modèle global local résultant par remplacement de l’ensemble des poids du mélange de familles exponentielles par l’ensemble des poids spatiaux déterminés. De préférence, les données d’images conformes sont des caractéristiques. Les caractéristiques peuvent être extraites depuis un réseau de neurones préentraîné. Selon une possibilité, les données d’images conformes sont extraites en utilisant des points de Harris ou encore au moyen de procédé de décomposition en ondelettes. Avantageusement, les caractéristiques peuvent être extraites par un réseau pré entraîné sur des images, dites conformes, alignées. Les images conformes alignées peuvent être déterminées par alignement sur une image de référence (Iref) à partir d’images dites conformes. Les données d’images conformes peuvent être des morceaux des images conformes. Les caractéristiques peuvent provenir d’une décomposition en ondelettes des images conformes. De préférence, le mélange de familles exponentielles est un mélange gaussien. La détermination du modèle de mélange de familles exponentielles de caractéristiques peut mettre en œuvre une méthode d’apprentissage en ligne. La détermination du modèle de mélange de familles exponentielles de caractéristiques peut mettre en œuvre une méthode d’apprentissage avec l’algorithme K-MLE. Le procédé selon l’invention se concentre sur la modélisation des données normales. Alors que les méthodes selon l’état de l’art proposaient des modèles simples basés sur la distance de Mahalanobis ou sur la normalisation lourde du réseau de réseau de flux, la présente invention propose un modèle global-local qui combine la flexibilité d’une modélisation locale précise avec la robustesse d’un modèle de mélange gaussien global. Le procédé selon l’invention apprend un mélange gaussien global et émule ensuite un modèle différent à chaque position en apprenant les poids du mélange localement ce qui permet de ne pas souffrir du défaut de dimensionnalité lorsque peu de données sont disponibles. Du fait de la sparsité des cartes de poids du modèle, il est aussi efficace que les modèles plus simples proposés précédemment, et est performant sur le jeu de données MVTec [3]. Description des figures D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels : la illustre un procédé de détection non supervisée d’anomalies selon l’invention. Description de modes de réalisation Les modes de réalisation décrits ci-après n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Sur les figures un élément apparaissant sur plusieurs figures conserve la même référence. Inspirés par les méthodes de débruitage d’images, la présente description propose de tirer profit de la redondance des structures dans les objets pour apprendre un modèle plus précis et plus expressif qu’une seule gaussienne, même sous contraintes de données. En effet, pour pallier le manque de données, des méthodes non locales telles que [5] tirent avantage de la redondance, également appelée autosimilarité, des images naturelles pour estimer des modèles de données propres. C’est pourquoi nous proposons le modèle global-local résumé dans la que nous présentons ensuite. Comme visible sur , le procédé comporte une étape d’entraînement Ee et une étape d’inférence Ei. Dans l’exemple représenté, l’étape d’entraînement Ei comporte : une étape optionnelle d’alignement Ea d’images conformes Inorm par rapport à une image de référence Iref, l’étape étant optionnelle en ce qu’elle peut être réalisée préalablement à la mise en œuvre du procédé selon l’invention, une étape optionnelle d’extraction de caractéristiques ECNN (aussi appelés descripteurs d’images) sur les images conformes alignées, l’étape étant optionnelle en ce qu’elle peut être réalisée préalablement à la mise en œuvre du procédé selon l’invention, et également qu’elle peut ou ne pas être réalisée. Lorsque l’étape optionnelle d’extraction de caractéristiques ECNN est mise en œuvre, le mode préféré mais non exclusif de l’extraction de caractéristiques procède par application d’un réseau de neurones préentrainé sur les images conformes alignées. Alignement d’images conformes L’étape d’alignement d’images conformes est une étape de normalisation de la position d’une image par rapport à une image de référence. La normalisation de la position peut être réalisée à partir d’un algorithme de type alignement compositionnel inverse (pour l’anglais inverse compositional alignment ) et/ou de méthodes par moments. Ces procédés sont connus de l’homme du métier et ne seront pas plus décrits. Extraction des caractéristiques L’étape d’extraction des caractéristiques reçoit en entrée des images conformes alignées. L’extraction de caractéristiques peut se faire depuis un réseau de neurones. Par exemple, cette extraction peut être réalisée à partir d’un réseau de neurones à 3 niveaux de couche du réseau. Bien entendu, d’autres niveaux de couches peuvent être envisagés. Avantageusement, le réseau de neurones peut être préentraîné. Il peut par exemple être préentraîné sur des bases de données non spécifiques au cas d’usage traité par le procédé. Alternativement, le réseau de neurones peut être entraîné sur les images conformes, notamment mais non limitativement par l’utilisation d’un réseau de neurones de normalisation ou bien de reconstruction d’images. Étape Ei L’étape Ei comporte en outre les étapes suivantes : déterminer (EGMM) un modèle de famille exponentielles à partir de données d’images conformes, ledit mélange de familles exponentielles présentant un ensemble de poids, pour chaque famille exponentielle du modèle de mélange de famille exponentielles, déterminer (ELWM) un ensemble de poids spatiaux (pour obtenir une localisation du modèle global de mélange gaussien), déterminer un modèle global (EGLM) résultant par remplacement de l’ensemble des poids du mélange de familles exponentielles par l’ensemble des poids spatiaux déterminés. Les données d’images conformes peuvent être des images conformes. Alternativement, les données d’images conformes peuvent être des caractéristiques d’images conformes, obtenues selon l’une des procédés d’extraction de caractéristiques. Dans la suite de la description, le mélange de lois exponentielles est un mélange gaussien. On pourra bien entendu utiliser d’autres lois exponentielles. L’étape Ei comprend, optionnellement, préalablement à l’étape de détermination du mélange gaussien de caractéristiques à partir des caractéristiques, une étape d’initialisation du mélange gaussien. Étape d’initialisation du mélange Zoran et Weiss [42] ont montré qu’un mélange gaussien peut représenter fidèlement l’espace entier des patches d’images conformes. La présente invention développe l’utilisation d’un mélange gaussien comme modèle global pour l’ensemble des caractéristiques extraites d’un réseau de neurones appliqué à un ensemble d’images échantillons conformes. Dans ce qui suit, est utilisé pour désigner un modèle de mélange gaussien à composantes tel que pour un donné, définissent une gaussienne de moyenne et de covariance . Le poids de cette gaussienne à l’intérieur du modèle est représenté par . 4/ Détermination d’un modèle de mélange gaussien de caractéristiques Traditionnellement, les mélanges gaussiens sont appris à l’aide de l’algorithme de maximisation de l’espérance (EM). Cependant, cet algorithme est lent lorsqu’il est appliqué avec de nombreuses gaussiennes à des échantillons de grande dimension. Pour chaque couche c, apprentissage de manière itérative des paramètres du mélange de gaussienne, comme décrit ci-après. De manière préférée, la présente invention met en œuvre l’algorithme alternatif K-MLE [22], qui fonctionne pour les mélanges de famille exponentielles. Cet algorithme est analogue à l’algorithme K-moyennes et se généralise en utilisant les propriétés des familles exponentielles. Il est plus rapide car il attribue chaque échantillon à une seule gaussienne d’indice et n’implique donc pas tous les échantillons dans le calcul de chaque paramètre. Étant donné un ensemble de données en en dimension , ses étapes d’attribution itérative s’écrivent Ensuite, en considérant les ensembles , l’algorithme calcule séparément les paramètres empiriques de chaque mélange gaussien par : et En variante de cette méthode d’apprentissage, l’algorithme K-MLE peut également être utilisé avec une méthode d’apprentissage en ligne [31]. Les gaussiennes présentant moins de deux échantillons sont supprimées. Une régularisation avec est ajoutée la covariance estimée par l’estimateur de covariance d’échantillon pour estimer les matrices de covariance. Selon un mode de réalisation préféré, le procédé comporte un régularisateur de rétrécissement [9] qui prend la forme d’une combinaison convexe de la covariance empirique des échantillons et de la moyenne de ses valeurs propres multipliée par l’identité Id. Le coefficient convexe est choisi pour minimiser l’espérance de l’erreur quadratique moyenne entre la covariance théorique et son estimateur régularisé . La solution optimale du problème est l’oracle . Cependant, il nécessite la connaissance de la covariance théorique à estimer, De préférence, on utilise l’estimateur Oracle Approximating Shrinkage (OAS) [8], qui est meilleur en termes d’erreur quadratique moyenne lorsque . Cet estimateur itératif est défini comme suit et on montre qu’il converge vers une limite équivalente définie par Retour au modèle local (ELWM) A ce stade, le modèle de mélange gaussien est global, et la probabilité d’apparition de chaque caractéristique ne dépend pas de sa position. Cette simplification est excessive. Il est évident qu’une caractéristique peut être normale à une position et anormale à une autre. C’est pourquoi nous proposons une méthode pour ajouter des informations de localisation au modèle, en tirant parti d’un alignement préalable des objets testés. Il est maintenant décrit comment, pour chaque gaussienne du modèle de mélange gaussien, l’on détermine (ELWM) un ensemble de poids spatiaux pour obtenir une localisation du modèle global de mélange gaussien. Les inventeurs ont adapté l'algorithme k-MLE pour apprendre la carte des poids locaux tout en conservant des matrices de covariance et les moyennes fixes. Si désigne le vecteur échantillon de l’image m à la position x, on obtient Pour obtenir plus d’échantillons par position et réduire le nombre de fausses alarmes causées par de petites déformations ou de légères variations de position des objets, les inventeurs proposent d’effectuer le calcul des poids en x en utilisant les échantillons dans un petit cercle de rayon r centré sur x. La valeur r peut par exemple être prédéterminée et être égale à 1 pixel. Étape EGLM Pour éviter une analyse trop locale, selon une possibilité de l’invention, les paramètres appris globaux des gaussiennes sont conservés, mais il est proposé de déduire les poids de mélange dépendants de la position à partir du mélange gaussien. Étape d’inférence Ei L’étape d’interférence comportant une détermination d’un score d’anomalie par application dudit modèle global sur une ou une série d’images testées. Pendant le test, la probabilité d’apparition d’une caractéristique à une position spécifique est estimée à l’aide du modèle global-local. Un score global et une décision sont dérivés de la carte de probabilité. Traditionnellement, les échantillons sont affectés à la gaussienne la plus proche pour détecter les anomalies. La distance de Mahalanobis à cette gaussienne est ensuite mesurée. Cependant, cette attribution implique d’ignorer les interactions entre les gaussiennes. Or, les gaussiennes multivariées d’un mélange peuvent avoir de fortes interactions et des maxima locaux différents des centres des gaussiennes. Le modèle de mélange gaussien est le modèle de mélange préféré dans l’invention, cependant le procédé peut mettre en œuvre d’autres modèles de mélanges de familles exponentielles. Selon l’invention, il est proposé de considérer le mélange dans son ensemble lors de l’analyse d’un nouvel échantillon Ei. En utilisant le modèle global-local, le procédé comporte un calcul de probabilité Ec pour chaque vecteur caractéristique d’une image utilisant le mélange, formant ainsi une carte de probabilité. Le vecteur caractéristique de l’image est obtenu au moyen du réseau de neurones préentraîné, à partir de l’image alignée Ec. Les méthodes les plus récentes évaluent généralement l’image en utilisant la pire valeur (c’est-à-dire la plus petite probabilité) de cette carte, mais les inventeurs ont constaté que le quantile q est plus robuste en ce qui concerne les fausses alarmes. La méthode proposée peut également être rendue multiéchelle en prenant des caractéristiques à différentes couches d’un réseau. Pour cela, la méthode comporte une étape d’ajustement du mélange à chaque couche sélectionnée. La méthode comporte ensuite une agrégation des cartes de probabilité en prenant leur produit, ce qui correspond à supposer l’indépendance des couches. Le score est déterminé parmi les probabilités triées dans l’ordre ascendant dans le masquées, et sélection selon le q-quantile de ces probabilités comme étant le score. Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres. Procédé de détection d’anomalie non supervisé dans une image ou une série d’images testées, mis en œuvre par une unité de calcul, comportant les étapes suivantes : une étape (Ee) de détermination d’un modèle à partir d’images dites conformes, une étape d’inférence (Ei) comportant une détermination d’un score d’anomalie par application dudit modèle sur ladite image ou la série d’images testées, caractérisé en ce que l’étape de détermination d’un modèle comporte les étapes suivantes : déterminer (EGMM) un modèle de mélange de famille exponentielles à partir de données d’images conformes, ledit modèle de familles exponentielles présentant un ensemble de poids, pour chaque famille exponentielle dudit modèle de familles exponentielles, déterminer (ELWM) un ensemble de poids spatiaux, déterminer un modèle global local (EGLM) résultant par remplacement de l’ensemble des poids du mélange de familles exponentielles par l’ensemble des poids spatiaux déterminés. Procédé selon la revendication 1, dans lequel les données d’images conformes sont des caractéristiques. Procédé selon la revendication 2, dans lequel les caractéristiques sont extraites depuis un réseau de neurones préentraîné. Procédé selon la revendication 3, dans lequel les caractéristiques sont extraites (ECnn) par un réseau préentraîné sur des images, dites conformes, alignées. Procédé selon la revendication 4, dans lequel les images conformes alignées sont déterminées par alignement sur une image de référence (Iref) à partir d’images dites conformes. Procédé selon la revendication 1, dans lequel les données d’images conformes sont des morceaux des images conformes. Procédé selon la revendication 2, dans lequel les caractéristiques proviennent d’une décomposition en ondelettes des images conformes. Procédé selon l’une quelconque des revendications précédentes, dans lequel le mélange de familles exponentielles est un mélange gaussien. Procédé selon l’une quelconque des revendications précédentes, dans lequel la détermination (EGMM) du modèle de mélange de familles exponentielles de caractéristiques met en œuvre une méthode d’apprentissage en ligne. Procédé selon l’une quelconque des revendications précédentes, dans lequel la détermination (EGMM) du modèle de mélange de familles exponentielles de caractéristiques met en œuvre une méthode d’apprentissage avec l’algorithme K-MLE.