<figure><img src="image_1.png" /></figure>

# L'IA, un outil de diagnostic pour le contrôle en ligne par radiographie industrielle

Jean-Robert PHILIPPE

¹ Société CYXPLUS, R&D division, France;

*corresponding author, E-mail: jean-robert.philippe@technipenergies.com*

## Résumé général

L'intelligence artificielle (IA) est de plus en plus utilisée pour le diagnostic en ligne dans le domaine de la radiographie industrielle. Les avancées dans les algorithmes de classification et de segmentation sémantique ces dernières années constituent des outils qui permettent une détection plus précise des détails dans les images radiographiques, ce qui constitue une avancée majeure par rapports aux algorithmes traditionnels à base de traitements d'images « classiques » ou méthodes statistiques.

Nous présentons ici 3 approches IA en radiographie industrielle, développées à des fins de diagnostic pour du contrôle sur ligne de production.

- La première approche, basée sur la classification, consiste à élaborer et entrainer un réseau de neurones de type CNN pour un établir un diagnostic qualité sur ligne de production sur image radiographique. Les images d'acquisition radiographique dont il est question ici sont des images acquises au moyen d'un capteur matriciel (projection conique).

- Les deux autres approches traitent du contrôle radiographique industriel sur ligne de production acquises au moyen d'un capteur linéaire (donc géométrie de projection semi-conique).

- La première de ces deux approches consiste à apprendre à un modèle de type Variational Autoencoder un pattern de « normalité », de la structure du matériau analysé, permettant ainsi de s'affranchir de l'apprentissage des défauts.

- La deuxième de ces deux approches consiste par des moyens de segmentation sémantique à détecter des défauts sur un produit à sur l'image. Le modèle ainsi conçu et entrainé, consiste en une segmentation sémantique à 5 sorties (4 classes de défauts et le background).
# Classification par CNN pour un contrôle diagnostic sur ligne de production

## Résumé

* Radiographie industrielle

* Classification binaire (réseau CNN)

* Un outil qui surpasse l'opérateur humain et la plupart des algorithmes dits « classiques »

## Introduction

Pour répondre à une demande émanant de l'industrie pharmaceutique, notre présent travail a consisté à trouver une solution logicielle de classification de flacons de comprimés en fonction de leur nombre contenu, qui devait idéalement être à 56.

Le problème ici est donc un problème de classification à deux sorties : le nombre de comprimés dans un flacon radiographié est « OK » (56 comprimés dans le flacon) ou « Non OK » (un nombre différent de 56).

La figure suivante 1 exhibe différentes occurrences d'images susceptibles d'être rencontrées dans chacune de ces deux classes.

<figure><img src="image_2.png" /><figcaption>Fig.1 Radiographies de flacons de comprimés</figcaption></figure>

Les flacons appartenant aux différentes catégories ont été préparés et « secoués » avant chaque acquisition. 5000 images de flacons contenant le bon nombre de comprimés ont été ainsi collectés ainsi que 5000 images contenant des défauts :

* Nombre de comprimés inférieur

* Nombre de comprimés supérieur

## 1. Approche du problème par analyse d'images « classique »

Le scintillement des sources RX provoque sur les images une topographie de niveaux de gris inconstante dans le temps, tant au niveau de la luminance qu'au niveau de l'absorptiométrie. Autre aléas, au niveau de la présence/absence d'une étiquette sur le flacon, ainsi que, plus subtilement, une variation de l'épaisseur de paroi du flacon, perceptible par exemple lors d'une rotation complète.

Du fait de ces variations, une estimation de la quantité de matière dans le flacon par un traitement classique ne paraît par conséquent pas adaptée.

## 2. Approche du problème par IA

Afin de résoudre cette problématique, qui requiert une image comme donnée d'entrée et produit un résultat binaire (OK ou Non OK), notre choix s'est porté sur les réseaux de neurones convolutifs (CNN) pour plusieurs raisons :

* 1- Il est nécessaire ici que le réseau prenne en entrée des images avec une résolution suffisante pour discerner des détails importants dans l'image, comme le nombre et la forme des comprimés dans un flacon, ainsi que d'autres paramètres variationnels.

* 2- Nous avons besoin d'un modèle qui utilise des couches de convolution avec différents noyaux et filtres pour extraire les caractéristiques visuelles de l'image. Cela comprend la forme, la taille et la position des comprimés dans l'image. Le padding utilisé dans ces couches devra préserver la taille de l'image en sortie, ce qui signifie que toutes les caractéristiques visuelles et variationnelles importantes sont conservées.

* 3- Le modèle CNN permet l'emploi des couches de batch normalization et des fonctions d'activation ReLU pour normaliser les activations des couches précédentes et introduire des non-linéarités. Cela aide le réseau à apprendre des représentations plus complexes des données, ce qui permet de se
positionner à un degré de décision plus élaboré que la
simple inférence statistique.

* 4- Le rôle des couches de Max Pooling sera utile pour réduire la dimensionnalité de l'image tout en conservant les caractéristiques les plus importantes. Cela rend le réseau plus efficace en réduisant le nombre de paramètres à apprendre, tout en préservant les informations nécessaires pour la tâche de classification.

<figure><img src="image_3.png" /><figcaption>**Fig.2** Arborescence du modèle neuronal développé pour le contrôle qualité des flacons: le modèle prend en entrée des images de taille 400x400, et donne une sortie en 2 classes (OK, et Non OK)</figcaption></figure>

3. Résultats

Notre modèle a été soumis à une évaluation sur un
ensemble de 1000 images, distinctes de celles utilisées pour
l'apprentissage. Dans chaque cas, la catégorisation produite
par le modèle a démontré une détection correcte de l'état de
l'image (OK ou Non OK).

<figure><img src="image_4.png" /><figcaption>**Fig.3**
Matrice de confusion des résultats</figcaption></figure>

Une campagne d'acquisition supplémentaire a été mise en œuvre, impliquant des flacons contenant des comprimés brisés ou ébréchés, intégrés à la catégorie des « Non OK ». Suite à la classification effectuée sur un ensemble de 1000 images, à partir du même modèle étendu à 4 sorties, il a été possible de détecter non seulement le bon ou mauvais nombre de comprimés, mais également la présence de comprimés brisés, qu'ils soient coupés en deux (dans 100% des cas) ou simplement ébréchés (dans 97% des cas).

4. conclusion

En exploitant la puissance de l'apprentissage profond,
specifiquement les réseaux de neurones convolutifs (CNN),
nous avons développé un outil de classification binaire
capable de surpasser l'opérateur humain et la plupart des
algorithmes traditionnels.

Notre approche a permis de résoudre un problème de classification spécifique : déterminer si le nombre de comprimés dans un flacon radiographié est « OK » (c'est-à-dire 56 comprimés) ou « Non OK » (un nombre différent de 56). Malgré la complexité inhérente à cette tâche, notamment due à la variabilité des images et notamment l'inconstance des émissions RX, l'utilisation de CNN s'est avérée efficace.

Elle a permis une excellente performance dans la détection du bon nombre de comprimés dans le flacon, mais aussi dans la détection de comprimés cassés et ébréchés.

La qualité des informations obtenues à partir de cette
approche est telle qu'elle offre la même qualité de
diagnostic qu'une méthode 3D (la tomographie, qui aurait
permis un comptage physique des comprimés après
reconstruction), une technique considérablement plus lente
et plus coûteuse, tant en terme de temps qu'en termes de
moyens.

En résumé, ce projet démontre de façon éloquente l'usage
de l'intelligence artificielle pour l'extraction rapide et
pertinente d'information provenant d'une source de
données parcimonieuse (une seule radiographie du produit,
en l'occurrence), ce qui constitue une approche tout aussi
efficace et bien moins contraignante que ce qu'aurait
nécessité une méthode classique.
# Utilisation de l'IA pour la détection des défauts dans un contexte de contrôle en ligne

## Résumé

* Radiographie industrielle de pneumatiques

* Approche non supervisée

* Approche supervisée

* Segmentation sémantique à 5 sorties

* Augmentation virtuelle de la base d'apprentissage

## 1. Introduction

Les pneumatiques s'apparentent à une structure en sandwich composée de nappes de textile métalliques, composées de câbles monodirectionnels, équidistamment séparés, noyés dans une fine couche de matière polymère (mélange de caoutchouc naturel et synthétique). Voir figure 1.

<figure><img src="image_5.png" /><figcaption>Fig. 1
1pneu = empilement de nappes de fils métalliques</figcaption></figure>

L'empilement de ces couches donne en radiographie une image qui s'apparente visuellement à un textile aux mailles plus ou moins régulières (voir figure 2).

<figure><img src="image_6.png" /><figcaption>Fig. 2
Section radiographique de pneumatique</figcaption></figure>

Les défauts recherchés sur les pneumatiques sont principalement des défauts de structure, ou de disposition des fils, assez difficiles à distinguer par des méthodes classiques.

Les défauts ici recherchés sont de 4 types :

A - Espacement localisé des câbles

B - Discontinuités directionnelles

C - Resserrement localisé des câbles

D - Faisceaux en bordure

<figure><img src="image_7.png" /><figcaption>Fig. 2
Représentation des 4 défauts recherchés dans les pneumatiques</figcaption></figure>
## 1.1. Problématique de la scarcité du défaut dans les pneumatiques

Dans l'industrie du pneumatique « Premium », le défaut est un évènement rare, voire exceptionnel.

Pour la constitution d'une base d'apprentissage solide et représentative de la variété topographique des défauts susceptibles d'être rencontrés en radiographie sur un très grand nombre d'individus, la principale difficulté rencontrée est de ne pas être en possession d'un set représentatif de défauts sur une référence de pneumatiques donnés. Dès lors, deux approches sont possibles :

* Une approche non supervisée, dont la finalité est d'enregistrer un « pattern » normal du textile.

* Une approche supervisée qui consistera à contourner ce problème de pénurie de défauts pour augmenter cette base de données de manière virtuelle.

## 2. Approche non supervisée

Nous l'avons vu, sur l'image, la radiographie d'un pneumatique s'apparente à la projection d'un textile avec toute la variabilité que l'on peut retrouver dans un textile (tortuosité des fils, notamment).

L'utilité d'une approche non supervisée dans la détection de pneumatiques réside dans sa capacité à extraire des informations à partir des données sans avoir besoin d'étiquettes préalables.

### 2.1. Présentation de la méthode

En l'état, la méthode des Variational Autoencoders (VAE) est particulièrement adaptée à une approche non supervisée pour la détection de défauts dans une structure textile, comme c'est le cas ici. En effet, les VAEs sont des modèles génératifs probabilistes qui exploitent la structure latente de données d'entrée pour générer de nouvelles données similaires.

<figure><img src="image_8.png" /><figcaption>Fig.3</figcaption></figure>

Représentation schématique d'un VAE

Le principe fondamental de l'adéquation des VAEs dans ce contexte réside dans leur capacité à modéliser la distribution des données "normales" (ici, les patterns textiles sans défaut) lors de la phase d'entraînement. Une fois ce modèle établi, il peut être utilisé pour évaluer si de nouvelles données (i.e., de nouveaux patterns textiles) correspondent à cette distribution "normale". Si ce n'est pas le cas, il peut s'agir d'une indication qu'un défaut est présent.

Dans le cas de la détection de défauts dans une structure textile, on peut considérer chaque pattern textile comme une donnée d'entrée. Les VAEs sont alors entraînés sur des patterns sans défaut, permettant au modèle d'apprendre la structure et la distribution de ces patterns. Une fois l'entraînement terminé, le VAE peut générer de nouveaux patterns basés sur la distribution apprise.

Lorsque nous présentons au modèle un nouveau pattern textile, le modèle infère l'image de celui-ci en se basant sur la structure latente apprise lors de l'entraînement. Si le pattern est sans défaut (c'est-à-dire, qu'il suit la distribution "normale" apprise), le modèle sera capable de le reconstruire fidèlement. En revanche, si le pattern comporte un défaut, la reconstruction sera de moindre qualité, car ce pattern ne correspond pas à la distribution "normale" que le modèle a apprise.

Il faut noter que la détection des défauts en utilisant cette méthode est indirecte : elle se base sur le fait que les défauts sont des anomalies qui dévient de la norme.

Ainsi, l'adéquation de la méthode des VAE dans ce cadre repose sur cette capacité à modéliser la norme, à en décortiquer la signature du pattern, et à détecter les déviations par rapport à celle-ci, en appliquant une soustraction élaborée pour les circonstances.

L'exemple de la figure suivante montre une radiographie de pneumatique comportant initialement un défaut et la transformation de celle-ci par un VAE.

<figure><img src="image_9.png" /></figure>

Image originale

Après reconstruction

<caption>Fig.4</caption>
## 2.2. Conclusion

Il est important de souligner que les Variational Autoencoders (VAEs) se révèlent être un outil précieux pour la détection de défauts dans certaines structures textiles, notamment lorsque les patterns normaux sont relativement simples et ne présentent pas une grande variabilité ou distorsion. Leur capacité à modéliser la distribution de ces patterns "normaux" et à signaler toute déviation notable de cette distribution est une force indéniable dans le contexte de la détection d'anomalies.

Toutefois, si les VAEs sont capables de détecter la présence d'une anomalie, c'est-à-dire un écart par rapport à la norme, ils ne permettent pas de l'identifier précisément. Autrement dit, bien que ces modèles puissent signaler qu'un défaut existe, ils ne fournissent pas d'informations sur la nature spécifique de ce défaut. Cette identification nécessite souvent des analyses complémentaires ou l'utilisation d'autres techniques d'apprentissage machine.

Pour combler cette lacune, surtout lorsqu'il s'agit de détection sur des patterns plus complexes, l'approche du problème par la segmentation sémantique parait plus adaptée.

## 3. Approche supervisée

Notre objectif ici consiste à développer un modèle capable de repérer les défauts dans une image et de les mettre en exergue grâce à une coloration spécifique correspondant à leur classe respective. Pour ce faire, nous avons opté pour la technique de segmentation sémantique, une approche d'apprentissage profond qui attribue à chaque pixel d'une image une étiquette ou une catégorie distincte. Dans ce contexte, notre objectif est d'aboutir à un modèle capable d'effectuer le diagnostic simultané de quatre différents types de défauts.

Nous avons adopté une catégorie de réseaux connus pour leur flexibilité, largement utilisés dans divers domaines, y compris celui de la conduite autonome. Ces réseaux sont d'autant plus appropriés dans notre cas, puisque les structures textiles peuvent souvent présenter des motifs complexes dotés d'une variabilité intrinsèque significative.

Nous avons opté pour une architecture avec un squelette réputé pour sa flexibilité et sa légèreté, présentant de nombreux avantages pour la segmentation sémantique d'images qui présentent une forte variabilité topographique et géométriques. Ceci s'applique particulièrement à notre situation, où nous travaillons avec des images monodimensionnelles affichant une structure textile.

**Compréhension détaillée des formes:** Grâce à son architecture de décodage spécifique, notre modèle est

capable d'appréhender finement les contours et les formes. Cela signifie que le modèle peut identifier de manière fiable des défauts présentant des signatures très différentes, qu'elles soient géométriques ou topographiques.

**Adaptabilité à la topographie de l'image:** L'utilisation d'une architecture solide permet à notre modèle d'extraire efficacement les caractéristiques à diverses échelles spatiales, facilitant ainsi son adaptation à une large gamme de topographies de défauts.

**Flexibilité du modèle:** L'association d'une architecture de décodage spécifique et d'un squelette robuste offre une grande flexibilité, permettant au modèle de s'adapter à un large éventail de défauts et de structures d'images, dans leurs structures directs, ou dans leurs gradients.

**Utilisation efficace de l'information spatiale:**

Notre modèle est capable de combiner des informations à différentes échelles spatiales, améliorant ainsi sa capacité à détecter des défauts dans des images présentant des topographies complexes.

La figure suivante illustre la fonctionnalité du modèle de segmentation sémantique sur images réelles.

<figure><img src="image_10.png" /><figcaption>Fig.5</figcaption></figure>

### 4.1. Augmentation virtuelle de la base d'apprentissage

Comme nous l'avons vu en introduction, la problématique du défaut sur les pneus « Premium » réside en leur extrême rareté. D'où difficulté à fournir une base d'apprentissage représentative, surtout aux abords des frontières du diagnostic « Défaut/Non Défaut ».

Très clairement, dans nos bases d'apprentissage les images représentant les défauts étaient dans le meilleur des cas en sous-nombre, voire même pour certaines références de pneumatiques, complètement absentes.

C'est la raison pour laquelle nous avons constitué une base d'apprentissage virtuelle de défauts, représentative de la variété géométrique susceptible d'être rencontrée dans la réalité (voir figures suivantes), et avec une variabilité
topographique (dans les contrastes, notamment) parfois
exagérée par rapport à ce qu'il est permis de rencontrer dans
la réalité. Par exemple en introduisant des mosaïques
d'atténuation, qui représentent la variabilité d'épaisseur de
matière potentiellement rencontrée dans les pneumatiques,
ainsi que de par les discontinuités variationnelles qu'elles
induisent.

<figure><img src="image_11.png" /><figcaption>**Fig.6**
Extrait de la base d'apprentissage Images/Labels</figcaption></figure>

Tous les défauts réels ont pu être identifiés sur les pneus
réels, à partir d'une base d'images virtuelles composée de
650 images.

Les courbes d'accuracy et de loss, (voir figures ci-dessous)
montrent une certaine adéquation du modèle (Accuracy à
99%) au problème.

<figure><img src="image_12.png" /><figcaption>**Fig.7**
Courbes Accuracy et loss dans le cadre de la
segmentation sémantique</figcaption></figure>

**4.2. Conclusion**

Nous exposons ici une démarche de segmentation
sémantique afin de repérer et classifier différents types de
défauts sur des images radiographiques, vouée à être
implémentée pour du contrôle sur ligne de production. La
flexibilité et la capacité d'adaptation du modèle choisi lui
permettent d'appréhender des formes complexes et de
s'adapter à une grande variété de topographies de défauts.
En raison d'une très grande rareté des défauts sur les pneus
"Premium", l'utilisation d'une base d'apprentissage virtuelle
a du être mise en place et a permis de surmonter les défis
liés à la constitution d'un ensemble d'apprentissage
représentatif. En effet, cette base d'apprentissage virtuelle,
bien que parfois exagérée en termes de variabilité

topographique, a réussi à simuler efficacement la variété
géométrique des défauts susceptibles d'être rencontrés.
Ainsi, tous les défauts réels ont été identifiés avec succès
sur les pneus réels à partir de cette base d'images virtuelles.
Les courbes d'accuracy et de loss démontrent que le modèle,
tout comme les images virtuelles produites, est bien adapté
au problème, atteignant une précision de 99%.