<figure><img src="image_1.png" /></figure>

# Conception assistée par simulation d'une IA pour la classification d'indications ultrasonores lors d'un contrôle TFM de soudures

Stéphane LE BERRE¹ – Xavier ARTUSI¹ – Clément FISHER¹ – David ROUE¹ – Roberto MIORELLI¹ – Pierre CALMON¹

¹ CEA LIST, CEA Saclay, 91191 Gif-sur-Yvette Cedex, France.

*corresponding author, E-mail: stephane.leberre@cea.fr

## Résumé

Les techniques d'intelligence artificielle, et en particulier à base de Machine Learning, ouvrent des perspectives d'avancées significatives pour l'assistance au diagnostic, que ce soit pour la détection ou la caractérisation de défauts. Cependant la conception d'une nouvelle solution basée sur l'IA est une tâche qui peut s'avérer complexe en raison de la multiplicité et la variabilité des paramètres du contrôle, combinées à des données souvent insuffisamment représentatives bien qu'indispensables aux phases d'apprentissage et de validation. Dans cette communication nous présentons une étude pour le développement d'un algorithme de diagnostic par IA pour l'inspection de soudures par ultrasons (TFM). Le cas traité est celui d'une soudure en V et l'objectif visé est la détection et l'identification de défauts de différents types (fissure, manque de fusion, inclusion, manque de pénétration...). Sont ainsi comparées plusieurs stratégies de détection et de caractérisation, exploitant différentes approches (corrélation, algorithmes type SVM, réseaux de neurones), utilisant et combinant des données simulées et expérimentales pour la phase d'apprentissage. Les performances des algorithmes sont évaluées sur des données expérimentales, en tenant compte des incertitudes dues au procédé. Les résultats sont comparés entre les différentes approches, avec pour référence une analyse d'expert. L'ensemble de l'étude a été réalisée à l'aide du logiciel CIVA DS (Data Science), nouveau module de la plateforme CIVA, qui a pour vocation d'accompagner l'utilisateur dans sa démarche de conception et de démonstration de performance de son processus de diagnostic par IA, et qui permet dans un environnement unique de combiner simulation, acquisition, traitements du signal et Machine Learning.

## 1. Introduction

Le contrôle des soudures bout-à-bout des tuyauteries est un cas classique de CND par ultrasons multiéléments, avec notamment des systèmes intégrant deux sondes de part et d'autre de la soudure. Les schémas d'acquisition peuvent être de différents types (Tandem, Balayage angulaire, TFM,

PWI...) et sont généralement combinés afin de s'assurer de la couverture globale du contrôle de la soudure et de garantir la détection et la capacité de caractérisation des défauts recherchés en une seule passe.

On retrouve ce type de soudure dans de nombreux domaines industriels et particulièrement dans les domaines du nucléaire, de l'énergie et de la pétrochimie avec une quantité de contrôles pratiqués dans le monde très importante, et avec de nombreux fabricants et intégrateurs proposant des solutions « clé en main », parfois associées à des outils d'aide au diagnostic dédiés à des cas bien particuliers.

Malgré cette généricité en termes de cas et de pratiques, la phase d'analyse des résultats, cruciale dans le processus, reste coûteuse en temps et en expertise. L'automatisation de l'analyse, complète ou partielle, est un sujet majeur pour améliorer la productivité, mais aussi la traçabilité et la reproductibilité des contrôles. Déjà pratiquée et plus ou moins complexe en fonction des objectifs, des enjeux de sécurité et des coûts des composants inspectés, lorsqu'un diagnostic automatisé est mis en œuvre il est en général basé sur des critères métiers, avec des algorithmes exploitants des seuils, du traitement du signal, des arbres décisionnels, et est dédié à des familles de cas très réduites.

L'émergence de nouvelles méthodes de contrôle telles que la TFM (Total Focusing Method) ou la PWI (Plane Wave Imaging) aujourd'hui en plein essor, favorise un contexte de développement et d'améliorations des processus, y compris pour les phases d'analyse, et ouvre la voie vers de nouvelles pratiques. En parallèle de ce contexte, l'intelligence artificielle, devenue un sujet d'intérêt en pleine expansion comme moyen pour résoudre la problématique du diagnostic, laisse entrevoir des solutions particulièrement innovantes et performantes, tout en étant confrontée à des difficultés majeures pour son application sur le terrain : sa réelle fiabilité et son aspect « peu explicable » d'une part, mais aussi la nécessité de fournir aux algorithmes un grand nombre de données pour la phase d'apprentissage, données souvent peu disponibles, peu fiables et peu couvrantes.
Cet article propose de traiter ce sujet du diagnostic par IA pour le contrôle soudure par imagerie multiéléments, à partir d'un exemple applicatif basé sur un contrôle de soudure en V, et en s'appuyant sur le logiciel CIVA qui intègre l'ensemble des outils nécessaires à la conception de nouveaux algorithmes de diagnostic, que ce soit par ses capacités en traitement des données multiéléments ultrasonores (CIVA Analyse UT), en IA (CIVA Data Science et CIVA Script) et en Simulation pour la génération de bases de données d'apprentissage (CIVA UT – Simulation d'inspection). Les algorithmes et résultats obtenus à travers cet exemple doivent être considérés comme à l'état de preuve de concept et n'ont pas été validés pour une mise en œuvre industrielle.

Cette article présente tout d'abord une démarche générale pour la conception des algorithmes de diagnostic basés sur l'IA. Puis nous illustrerons cette démarche sur un cas concret d'un contrôle de soudure en V par imagerie TFM-PWI.

## 2. METHODE ET OUTILS POUR LA CONCEPTION D'UN DIAGNOSTIC PAR IA

La démarche proposée suit le cheminement suivant :

<figure><img src="image_2.png" /><figcaption>Figure 1 – Méthodologie pour la conception d’algorithmes de diagnostics basés sur l’IA</figcaption></figure>

### 2.1. Etape 1 : Cas d'étude

La première étape consiste à prendre en considération le cas d'étude, les éventuelles spécificités de la méthode de contrôle mise en œuvre, le type de données produites par l'acquisition, le domaine de variabilité que l'on prendra en considération et la récolte des paramètres du contrôle nécessaire à la mise en place d'une configuration de contrôle équivalente pour la simulation. A ce stade il est conseillé de vérifier la bonne correspondance des paramètres d'entrée du modèle

- définir les critères métiers à prendre en considération pour le diagnostic et de vérifier la bonne représentativité de la simulation vis-à-vis de l'expérience sur ces critères

- procéder à une analyse de sensibilité des paramètres influents et du domaine de variabilité à considérer (que ce soit pour couvrir une famille de cas ou que ce soit pour prendre en compte les incertitudes de la mise en œuvre du contrôle)

- définir les objectifs du diagnostic : détection, classification, régression, types de défauts etc....

### 2.2. Etape 2 : Données d'apprentissage

Cette étape vise à constituer une première base d'apprentissage (celle-ci pourra être enrichie) en exploitant d'éventuelles données expérimentales disponibles, mais surtout en utilisant la simulation avec laquelle un grand nombre de situations va pouvoir être considéré (types de défaut, dimension, orientation, positions, variables essentielles etc...). La plan d'expérience devra être couvrant et prendre en compte l'ensemble des paramètres.

Il est important de considérer ici les données que l'on souhaite exploiter pour l'apprentissage (données « brutes » de l'acquisition, sous échantillonnage, extraction de critères métiers, recalage etc...) et de s'assurer qu'un traitement similaire pourra être appliqué sur les données d'acquisition que l'on souhaitera diagnostiquer.

### 2.3. Etape 3 : Apprentissage

L'apprentissage consiste à exploiter la base de données précédemment produite pour nourrir un modèle IA. Le modèle ainsi généré sera capable de produire un diagnostic à partir de données organisées de manière similaires à celles de la base de donnée. En fonction des critères que l'on aura retenus on s'intéressera à la possibilité de réduire ces données en extrayant des valeurs caractéristiques. Contrairement à l'extraction qu'on aura choisi à l'étape précédente, cette deuxième extraction est basée sur des fonctions mathématiques très éloignées de de l'expertise CND et sont inclus dans le modèle IA. On est ici dans la partie mathématique de l'algorithme, pour laquelle l'intuition est difficile. Il faudra donc se donner la possibilité de tester à la fois les familles d'algorithmes et les paramètres associés. D'autres paramètres propre à la constitution du modèle IA devront être réglés en fonction du type d'algorithme mis en œuvre (SVM, Régression, Réseau de neurones, etc...)

### 2.4. Etape 4 : Validation

On peut considérer deux phases d'évaluation. La première se basera sur la base de données d'apprentissage qui sera tronquées pour réserver un ensemble d'échantillons à des fins de test. Cette première validation sera notamment utilisée pour optimiser son modèle IA et converger vers les meilleurs algorithmes et paramètres associés.

Une deuxième phase de validation sera appliquée une fois le modèle figé, pour vérifier sa pertinence sur de nouveaux jeux d'acquisitions. Cette deuxième phase d'évaluation est primordiale notamment dans le cas d'une base d'apprentissage simulée. En effet, dans ce cas, seule la deuxième phase de validation permet de se confronter aux données expérimentales et à la bonne représentativité des données simulées pour l'apprentissage IA. Il est important de noter ici que l'exploitation de la simulation pour l'apprentissage permet de réduire le nombre de données d'acquisition nécessaires, mais ne permet pas de s'en affranchir. S'assurer que le modèle IA obtenu reste efficace
une fois confronté aux données expérimentales est une étape essentielle.

# 3. APPLICATION DE LA METHODE AU CAS D'ETUDE

## 3.1. Etape 1: Cas d'étude

### 3.1.1. Description du contrôle :

**Sonde:** 5MHz 64 éléments Ouverture: 38 mm x 10 mm

Sabot: G3 -S55 / Couplant: gel

**Système d'acquisition:** Système multiéléments 64 : 128 avec 4 voies conventionnelles (M2M)

**Porteur mécanique:** semi-automatique avec encodage suivant un axe.

**Pièce inspectée:**

Assemblage Tube/Tube – Diamètre 300mm - Epaisseur 25mm - Chanfrein en V (30°) - Matériau : Acier

<figure><img src="image_3.png" /></figure>

<table><thead><tr><th rowspan="2">Flaw No</th><th rowspan="2">Flaw Type</th><th rowspan="2">Flaw Length mm</th><th rowspan="2">Distance from 0 mm</th><th colspan="2">Max UT Indication</th></tr><tr><th>dB</th><th>Angle</th></tr></thead><tbody><tr><td>1</td><td>Toe Crack</td><td>24</td><td>113</td><td>+ 0</td><td>45</td></tr><tr><td>2</td><td>Lack of Side Wall Fusion</td><td>22</td><td>248</td><td>+ 11</td><td>60</td></tr><tr><td>3</td><td>Slag</td><td>16</td><td>307</td><td>- 6</td><td>60</td></tr><tr><td>4</td><td>Root Crack</td><td>28</td><td>483</td><td>- 2</td><td>70</td></tr><tr><td>5</td><td>Incomplete Root Penetration</td><td>18</td><td>709</td><td>+ 10</td><td>70</td></tr><tr><td>6</td><td>Lack of Side Wall Fusion</td><td>15</td><td>766</td><td>+ 11</td><td>60</td></tr><tr><td>7</td><td>Porosity</td><td>24</td><td>845</td><td>- 14</td><td>70/60</td></tr></tbody></table>

**Plan du contrôle :**

<table><tr><td>Position de la face avant du traducteur par rapport au centre de la soudure</td><td>22 mm</td></tr><tr><td>Type de TFM</td><td>PWI</td></tr><tr><td>Ouverture active</td><td>64 elts</td></tr><tr><td>Angle minimum</td><td>43°</td></tr><tr><td>Angle maximum</td><td>79°</td></tr><tr><td>Nombre de tirés</td><td>7</td></tr><tr><td>Pas angulaire</td><td>6°</td></tr><tr><td>Dimension de la zone de reconstruction (mm x mm)</td><td>L : 59 x H : 46</td></tr><tr><td>Nombre de pixels</td><td>126 000</td></tr><tr><td>Taille pixel</td><td>0,147</td></tr></table>

<figure><img src="image_4.png" /></figure>

### 3.1.2. Acquisitions réalisées

Dans cette étude nous disposons d'une seule pièce avec une ou plusieurs occurrences des défauts à classifier. Afin d'étendre le nombre de cas tests, cinq acquisitions ont été réalisées :

* La première a été réalisée dans les conditions nominales

* Deux acquisitions ont été réalisées avec un décentrement des sondes de 2mm (modification de la distance entre les sondes)

* Enfin deux autres acquisitions ont été réalisées avec décalage (+/- 2mm) du porte capteur par rapport au centre de la soudure

La zone de reconstruction est dimensionnée et positionnée de telle sorte que les défauts situés proches de la surface ne seront détectés qu'après rebond (et donc situés en bas de l'image TFM reconstruite en mode direct uniquement)

La phase de détection a été réalisée en appliquant un seuil à -12dB : seules les positions avec au moins un écho supérieur à -12dB sont étudiées.

### 3.1.3. Analyse du cas d'étude

La compatibilité des logiciels Capture (GEKKO-EDDYFI) et CIVA (CEA - distribution EXTENDE) va ici grandement faciliter le transfert des paramètres d'acquisition vers la simulation (chargement du fichier avec modèle pré-configuré) et garantira l'exactitude des données capteur, lois de retard, pièce, matériaux etc....

L'objectif de l'étude sera de classifier les échos parmi ces différentes classes :

* Toe (fissure débouchante en surface externe)

* Slag (défaut volumique)

* Chamfer (défaut le long du chanfrein)

* RootFlaw (défaut débouchant en pied de soudure – fissure ou manque de pénétration)

* RootGeom (écho de géométrie lié à des irrégularités de fond de pièce ou à un désaxement des tubes)

L'analyse des critères métiers a été réalisée en collaboration avec un expert de niveau 3. De manière générale on retiendra :

- La nécessité de prendre en compte pour chaque position le résultat de part et d'autre de la soudure. Cette double vision des indications est nécessaire pour couvrir l'ensemble de la soudure et est riche en information tant qu'à la nature du défaut à caractériser.

- La nécessité de conserver les informations relatives à la position de l'écho : en effet dans notre cas la localisation du défaut est un des critères clés, sachant néanmoins qu'elle n'est pas suffisante compte tenu des zones de recouvrement possibles.

- En terme de calibration et d'amplitude : l'amplitude sera dépendante du type de défaut mais plus encore de sa dimension et de sa localisation. Il a été décidé ici de
tenter de s'en affranchir en ne s'intéressant qu'à l'allure des échos : nous avons fait le choix de normaliser chaque résultat sur son maximum d'amplitude (partie gauche et droite cumulées). Cette normalisation sera appliquée aux données d'apprentissage ainsi qu'aux données expérimentales soumises à l'algorithme

- En terme de détection, la procédure appliquée par l'expert dans ce cas est de n'étudier que les positions avec échos supérieur ou égale à -12dB. On appliquera la même démarche en soumettant au classifieur uniquement ces zones, mais on s'intéressera aussi à un algorithme alternatif de détection par apprentissage et corrélation indépendant de l'amplitude absolu (corrélation sur données normalisées)

Quatre types d'extraction seront évaluées :

1. La position du maximum des échos présents dans l'image : évaluer ce critère nous permet de vérifier que le problème auquel on s'attaque n'est pas trivial dans la mesure ou chaque type de défaut recherché est affecté à une zone privilégiée de la soudure (sachant néanmoins qu'il y a un recouvrement entre les zones).

2. Position et rapport d'amplitudes : on ajoutera à la position du maximum le rapport en amplitude entre les réponses des deux capteurs (critère relativement décisif pour certains types de défauts)

3. Echodynamiques verticaux et horizontaux des deux capteurs cumulés : ce critère, plus riche permet de conserver les informations de localisation et de rapport en amplitude tout en prenant en compte les échos multiples dans l'image

4. Images TFM complètes (des deux capteurs) ramenées à une résolution de 50x50 chacune pour assurer une compatibilité mémoire de la phase d'apprentissage sur PC classique

## 3.2. Données d'apprentissage

L'objectif ici est de constituer une base de donnée pour l'apprentissage contenant des exemples couvrants des différents types de défauts considérés, en faisant varier dimension, taille, positionnement et orientation, et en tenant compte des paramètres jugés essentiels et incertains : positions des sondes, caractéristiques matériaux, et épaisseur de la pièce.

<figure><img src="image_5.png" /><figcaption>Figure 2 – Variables essentielles du plan d'expérience numérique (hors défaut)</figcaption></figure>

Les plages de variations appliquées sont les suivantes :

- PCS : +/- 2mm

- Position de la platine et décentrement par rapport à la soudure : +/-2mm

- Epaisseur de la pièce : +/- 1mm

- Vitesse des ondes T : +/- 20 m/s

### 3.2.1. Bases de données d'apprentissage

L'objectif est d'évaluer pour chaque position de contrôle la présence ou non d'un défaut et son type. Les données récoltées et le diagnostic seront donc effectués « par position de sonde ». Les données d'apprentissage seront issues de la simulation, ainsi que de l'expérience pour l'apprentissage « sans défaut » en isolant une zone saine de la pièce. Les données brutes de l'acquisition sont des images TFM-PWI reconstruites en mode direct (Ondes T). Pour chaque position on a deux images TFM-PWI (une image par sonde). La zone de reconstruction est identique pour chaque sonde. L'ensemble de l'étude s'affranchira des aspects amplitudes absolues pour ne travailler qu'en relatif. Toutes les données seront normalisées: pour chaque position, on extraira le maximum d'amplitude des deux images TFM et on normalisera les amplitudes de l'imagerie par rapport à ce maximum. Cette normalisation sera effectuée pour tous les types d'extraction de l'étude.

Les différentes extractions évaluées sont les suivantes :

- Position du maximum dans chaque image PWI : coordonnées du maximum dans l'image par position d'acquisition => 4 valeurs scalaires pour une position de contrôle.

- Position du maximum + rapport en amplitude gauche-droite et droite-gauche entre les deux maximums => 6 valeurs scalaires extraites pour une position de contrôle.

- Echodynamiques: on extraira de chaque image les échodynamiques verticaux et horizontaux (maximums par ligne et colonne) => 1428 valeurs (2x(313+401)) valeurs pour une position de contrôle.
<figure><img src="image_6.png" /><figcaption>Figure 3 – Extraction des échodynamiques</figcaption></figure>

- Image TFM-PWI : à partir des images d'origine on génère des images basses résolutions 50x50 en conservant les maximums (2500 valeurs). Cette réduction de la résolution est motivée par des raisons de performances (CPU et mémoire)

### 3.3. Etape 3 : Apprentissage

#### 3.3.1. Apprentissage pour la detection

Une première étape de l'analyse consiste à détecter les zones avec potentiels défauts.

La procédure métier prévoit un critère simple basé sur un seuil (-12dB) : seules les positions pour lesquelles une indication au moins supérieure à -12dB sont étudiées.

On propose ici une alternative par une détection par apprentissage avec un algorithme de type « Outliers Detection » basé sur la corrélation des données (pour rappel les données sont normalisées en amplitude par position, on ne tiendra donc pas compte de l'amplitude relative entre les positions pour la détection, mais uniquement de l'allure des échodynamiques horizontaux/verticaux/gauche/droite concaténés).

L'apprentissage suppose de fournir des exemples « sans défaut » (dits « Standards ») dans l'objectif de détecter les cas « avec défauts » (dits « Outliers »). Nous avons fait le choix de ne pas utiliser la simulation pour ce type de configuration car il est difficile d'être représentatif des effets de bruits pour un modèle de simulation. Nous avons donc extrait des plages sans défaut (les deux extrémités d'un des fichiers d'acquisition) pour nourrir l'algorithme et fixer un seuil de détection approprié.

Une fois le calcul de corrélation effectué, il est nécessaire de comparer les données issues de ce calcul à des données « avec défauts » auxquelles on applique le même traitement.

<figure><img src="image_7.png" /><figcaption>Figure 4 – Variables essentielles du plan d'expérience numérique (hors défaut)</figcaption></figure>

Lorsque on applique le modèle de détection ainsi généré sur un fichier d'acquisition, on obtient une liste de « zones d'outliers » :

<figure><img src="image_8.png" /><figcaption>Figure 5 – Zones de détections sur Cscan</figcaption></figure>

Si l'on compare ces zones avec les indications retenues par l'expert on constate une très bonne adéquation (Il est à noter que pour cette méthode aucun seuil en amplitude n'a été fixé):

<table><caption>Figure 6 – Zones de détections obtenues par corrélation des échodynamiques après apprentissage sans défaut, comparaison avec les zones obtenues sur critère -12dB</caption><thead><tr><th>Zones Retenue par l'expert avec critère -12dB</th><th>Zones cohérentes avec zone expert</th><th>Zones Supplémentaires détectées par l'algorithme de corrélation</th></tr></thead><tbody><tr><td>97 &gt;103</td><td>96 &gt;102</td><td>169 &gt;173</td></tr><tr><td>120 &gt;137</td><td>115 &gt;139</td><td>Indication à -13dB non retenue par l'expert (écho de géométrie)</td></tr><tr><td>245 &gt;271</td><td>268 &gt;274</td><td>276 &gt;286</td></tr><tr><td>268 &gt;274</td><td>269 &gt;276</td><td>Indication hors zone de souverture à -9dB non retenue par l'expert</td></tr><tr><td>308 &gt;313</td><td>303 &gt;316</td><td></td></tr><tr><td>316 &gt;340</td><td>337 &gt;342</td><td>345 &gt;350</td></tr><tr><td>450 &gt;495</td><td>452 &gt;497</td><td>Écho de géométrie à -10dB non retenue par l'expert</td></tr><tr><td>496 &gt;517</td><td>498 &gt;509</td><td>Écho de géométrie à -11,8dB non retenue par l'expert</td></tr><tr><td>527 &gt;534</td><td>528 &gt;535</td><td></td></tr><tr><td>703 &gt;707</td><td>704 &gt;715</td><td></td></tr><tr><td>758 &gt;775</td><td>757 &gt;782</td><td>Indication à -13,4dB non retenue par l'expert (petite entaille en surface)</td></tr></tbody></table>

#### 3.3.2. Apprentissage et simulation pour la classification

La phase d'apprentissage pour la classification nécessite de fournir des exemples pour chaque classe que l'on souhaitera identifier. Dans notre cas les exemples sont générés par simulation, ce qui permet de s'assurer de pouvoir fournir autant d'exemples que nécessaire.

Pour tous les types de défaut nous avons choisi de prendre en compte une irrégularité de forme afin d'avoir une représentation plus réaliste. La déformation de la surface du défaut est générée aléatoirement (à partir d'une description nominale) et est différente pour chaque calcul

<figure><img src="image_9.png" /></figure>

Pour toutes les simulations nous avons fait le choix d'une simulation 2D considérée comme représentative par rapport aux critères sélectionnés et par rapport à un diagnostic « position par position » dans le plan d'impédance de la sonde. L'ensemble des modes ont été simulés (L/T et conversions avec deux rebonds maximums pour un total de 36 modes), à noter que seule l'imagerie « Direct » est exploitée dans cette étude.
<figure><img src="image_10.png" /><figcaption>Figure 7 – Plan d'expérience numérique sur les défauts</figcaption></figure>

Une fois la base de donnée d'apprentissage calculée, il s'agit maintenant de la soumettre aux algorithmes de classification. De nombreuses alternatives sont possibles et méritent d'être étudiées, car il est difficile de présager des performances de chacune compte tenu d'un problème donné.

### 3.3.3. *Apprentissage pour la classification par méthodes linéaires*

Le logiciel utilisé (CIVA DS) permet de sélectionner 3 choix pour la réduction des données (Données brutes (sans réduction) / UMAP / PCA) et différents types de classificateurs (SVM/Ridge/Naive Bayes).

Au cours de cette étude nous avons évalué les différentes alternatives avec comme critère la qualité du résultat de classification à partir d'évaluations obtenues par validations croisées : une partie de la base d'apprentissage est extraite à des fins de tests (pour ne jamais tester des données qui ont contribuées à l'apprentissage)

Une étude exhaustive ne pourra se faire que par un algorithme d'optimisation automatisé tant il y a de possibilités algorithmiques et de paramètres associés à chacun d'eux.

Il est important de noter que ces scores sont obtenus uniquement à partir des données simulées, et qu'ils ne présagent pas de manière exacte les résultats que nous obtiendrons sur les données d'acquisition.

<table><caption>Figure 8 – Score de validation des alternatives algorithmiques testées sur données simulées</caption><thead><tr><th rowspan="2"></th><th colspan="2">POSITIONS ET RAPPORTS</th><th rowspan="2">ECHDYDYNAMIQUES</th><th rowspan="2">IMAGES TFM, PWI</th><th rowspan="2">Moyenne Scores</th></tr><tr><th>POSITIONS DU MAX</th><th>AMPLITUDE</th></tr></thead><tbody><tr><td>SVM/UMAP</td><td></td><td></td><td>97,0</td><td>92,0</td><td>94,5</td></tr><tr><td>RIDGE/UMAP</td><td></td><td></td><td>70,0</td><td>92,0</td><td>81,0</td></tr><tr><td>NAIVE BAYES/UMAP</td><td></td><td></td><td>94,0</td><td>92,0</td><td>93,0</td></tr><tr><td>SVM/PCA</td><td></td><td></td><td>99,0</td><td>99,0</td><td>99,0</td></tr><tr><td>RIDGE/PCA</td><td></td><td></td><td>91,0</td><td>96,0</td><td>93,5</td></tr><tr><td>NAIVE BAYES/PCA</td><td></td><td></td><td>97,0</td><td>88,0</td><td>92,5</td></tr><tr><td>SVM/DONNEES BRUTES</td><td>93,0</td><td>98,0</td><td></td><td></td><td>95,5</td></tr><tr><td>RIDGE/DONNEES BRUTES</td><td>65,0</td><td>79,0</td><td></td><td></td><td>72,0</td></tr><tr><td>NAIVE BAYES/DONNEES BRUTES</td><td>85,0</td><td>95,0</td><td></td><td></td><td>90,0</td></tr><tr><td>Moyenne Scores</td><td>81,0</td><td>90,7</td><td>91,3</td><td>93,2</td><td></td></tr></tbody></table>

On peut identifier que PCA ou UMAP avec SVM semble une bonne solution, et qu'il sera intéressant d'étudier les performances de l'extraction « Positions et rapports d'amplitudes des maximums » (avec le classifieur SVM)

### 3.3.4. *Apprentissage pour la classification par Réseau de Neurones*

L'apprentissage par réseau de neurones (RN) repose sur l'utilisation d'une architecture composée d'un enchaînement de couches ayant comme but l'extraction de caractéristiques pertinentes pour la tâche d'apprentissage à mener. Dans cette étude, nous utilisons une architecture type Multi-Layers Perceptrons exploitant des couches de neurones denses et une couche de « drop-out » pour limiter les phénomènes de sur-apprentissage. Cette architecture a été faite grâce à la définition paramétrique de différentes familles d'architectures possibles (e.g., nombre de blocs, types de couches par bloc et nombre de neurones) dans un but d'optimisation. L'entrainement a été basé sur la même base de donnée que pour le classifieur par SVM. Le réseau retenu était celui qui garantissait les meilleures performances « à priori » : testé sur l'ensemble des validations (effectuées à partir des données simulées). Il est important de noter que les scores obtenus uniquement à partir des données simulées, ne présagent pas de manière exacte les résultats que nous obtiendrons sur les données d'acquisition. La figure suivante **ERREUR! Source du renvoi introuvable.** présente les résultats obtenus sur la base de validation, c'est-à-dire sur des données inconnues du réseau, sous forme d'une matrice de confusion. Le modèle permet une classification presque parfaite.

<figure><img src="image_11.png" /><figcaption>Figure 9 – Résultats obtenus par réseau de neurones sur la base de validation</figcaption></figure>

### 3.3.5. *Cas de la zone « ROOT »*

Lors de nos premières validations, nous avons constaté une difficulté particulière à distinguer échos de géométrie et écho de défauts dans la zone de fond de pièce. Nous avons étudié la possibilité d'exploiter un algorithme spécifique pour ce cas, basé sur la technique « Outliers detection ». Le fonctionnement est identique à celui décrit pour la détection des zones « avec indications » mais avec un apprentissage réalisé sur les données simulées des défauts « écho de géométrie ». L'algorithme sera sollicité pour toutes les positions de la zone ROOT pour laquelle un défaut RootGeom ou RootFlaw aura été prédit, et le nouvel arbitrage entre les deux classes sera effectué par corrélation (pour chaque position, les données considérées comme étant « hors seuil des échos de géométrie - RootGeom» seront
considérées comme des défauts RootFlaw, le premier arbitrage par classification SVM ou RNP étant ignoré).

### 3.4. Etape 4 : Validation et résultats

Pour cette dernière étape, après sélection des meilleurs classifieurs « à priori » issus de notre phase d'apprentissage, nous avons évalués l'ensemble des zones d'intérêt (sur le critère -12dB) en soumettant position par position les données de 5 fichiers d'acquisition au classifieur.

Pour le calcul des scores, nous avons procédés comme suivant :

- On retient la classe prédite avec la majorité absolue (strictement > à 50%)

- Si aucune classe n'est prédite avec la majorité absolue, on considère le défaut comme « non classifié »

- Dans le cas d'un arbitrage par corrélation, celui-ci prend le dessus sur la classification SVM ou RNP sauf en cas de « non arbitrage » (50/50)

- 53 zones ont été évaluées au total sur les 5 fichiers d'acquisition. A noter que le nombre de zones et de positions à évaluer varient légèrement d'un fichier à l'autre compte tenu du critère d'identification basé sur un seuil à -12dB.

- 4 types de classifieurs ont été évalués :

* SVM

* SVM + Corrélation sur défauts ROOT

* RNP

* RNP + Corrélation sur défauts ROOT

- La note est donnée en pourcentage avec les critères suivants :

* Note 1 : pourcentage des défauts non classifiés (pas de score majoritaire parmi les prédictions de la zone d'intérêt)

* Note 2 : pourcentage des défauts correctement classifiés (parmi les défauts classifiés)

* Note 3 : pourcentage des défauts correctement classifiés en regroupant la classe ROOT

*

Tableau des scores :

<table><thead><tr><th>Classifieur</th><th>Critère d'extraction</th><th>Réduction des données</th><th>Taux "Non classifié"</th><th>Taux Classification exacte</th><th>Taux Classification exacte avec fusion des cas ROOT</th></tr></thead><tbody><tr><td>SVM</td><td>Positions et Rapport des amplitudes max</td><td>Aucune</td><td>4%</td><td>64%</td><td>94%</td></tr><tr><td>SVM</td><td>Echodynamiques</td><td>UMAP 5</td><td>6%</td><td>80%</td><td>98%</td></tr><tr><td>SVM</td><td>Echodynamiques</td><td>PCA 65</td><td>4%</td><td>64%</td><td>94%</td></tr><tr><td>SVM</td><td>TFM 50x50</td><td>UMAP 10</td><td>4%</td><td>64%</td><td>82%</td></tr><tr><td>SVM</td><td>PCA 380</td><td></td><td>6%</td><td>67%</td><td>84%</td></tr><tr><td>SVM + Corrélation ROOT</td><td>Positions et Rapport des amplitudes max</td><td>Aucune</td><td>6%</td><td>84%</td><td>94%</td></tr><tr><td>SVM + Corrélation ROOT</td><td>Echodynamiques</td><td>UMAP 5</td><td>6%</td><td>86%</td><td>98%</td></tr><tr><td>RNP</td><td>Echodynamiques</td><td>Aucune</td><td>6%</td><td>86%</td><td>100%</td></tr><tr><td>RNP + Corrélation ROOT</td><td>Echodynamiques</td><td>Aucune</td><td>6%</td><td>90%</td><td>100%</td></tr></tbody></table>

On constate une tendance générale à très bien classifier les défauts si on ignore la distinction des deux types d'échos en zone de paroi interne (ROOT) (sans surprise le positionnement des échos étant un critère prédominant mais non suffisant).

On peut aussi constater que certains classifieurs ont une très bonne capacité à prédire le type de défaut pour toutes les classes mais que l'algorithmes par corrélation est plus performant pour la zone root et permet d'améliorer les scores de manière significative.

Enfin, le taux de défaut « non classifié » reste faible (à noter qu'il n'engendre pas de risque d'erreur, rendant la main à l'opérateur dans ce cas).

On peut noter aussi des scores médiocres pour certains types d'extraction, notamment lorsqu'on prend l'image TFM basse résolution avec SVM. Ce point mérite d'être étudié plus en avant, mais permet aussi d'illustrer l'importance des critères d'extraction, l'exercice étant de conserver les caractéristiques nécessaires à la classification tout en s'affranchissant des données peu représentatives (en particulier vis-à-vis de la simulation) qui peuvent nuire à l'efficacité de l'apprentissage.

Ces résultats n'atteignent pas les scores nécessaires à une classification automatique, mais permettent d'envisager un outil efficace pour « l'assistance au diagnostic » et confirment l'intérêt de la méthode et des outils employés pour concevoir un algorithme de diagnostic par apprentissage.

## 4. CONCLUSION

Compte tenu du niveau de validation basé sur 5 fichiers expérimentaux d'une même pièce, et malgré les bons scores obtenus, cette étude n'a pas pour objectif de conclure à une solution idéale pour le cas traité. L'objectif était de réaliser une preuve de concept d'une méthodologie pour la conception d'algorithmes de diagnostic basés sur l'apprentissage, avec exploitation de la simulation pour la
génération des données. Dans ce contexte, on a pu montrer
le potentiel et l'intérêt de la simulation pour la génération
des bases de données d'apprentissage, l'importance des
critères à prendre en considération et l'aspect métier
nécessaire à la préparation des données. On a aussi pu
montrer l'intérêt de comparer plusieurs méthodes et
d'envisager des diagnostics complémentaires spécifiques à
certains types de défauts.

Le logiciel CIVA utilisé pour la simulation (CIVA UT), l'apprentissage et la classification (CIVA DS - hors RNP, ce module verra le jour dans une prochaine version) a permis de réaliser l'étude dans un environnement unique avec l'avantage de s'adresser à l'ingénieur expert CND sans expertise particulière en intelligence artificielle et en offrant la possibilité d'itérer et de progresser de manière efficace dans la conception de l'algorithme.

On comprend aussi l'importance de se confronter dès la
phase de conception aux données expérimentales, dans la
mesure où l'apprentissage sur données simulées peut
atteindre des scores de pré-validation (obtenus avec des tests
sur données simulées) assez optimistes comparés à ceux
confronté à la réalité. (Problématique de la représentativité
des données simulées associées aux critères métiers
nécessaires à la classification)

Les prochaines étapes seront d'étendre l'étude avec
notamment :

- Une plus grande palette de données expérimentale (incertitudes, nombre de défauts) nécessaires à une meilleure optimisation dès la phase de conception et à évaluation de la robustesse des algorithmes.

- Une meilleure compréhension des résultats et des échecs (représentativité de la simulation, critères d'extraction, enrichissement de la base de donnée d'apprentissage ...)

- Une classification plus fine et moins corrélée à la localisation (augmentation du nombre de classes, segmentation des différentes situations)

- La prise en compte des zones avec plusieurs types de défauts (niveau de complexité non traité dans cette étude)

- Une extension des cas (Epaisseurs, types de soudures, schéma d'acquisition...)

References

[1] Pedregosa, Fabian, et al. "Scikit-learn: Machine learning in Python." *the Journal of machine Learning research* 12 (2011): 2825-2830.

[2] Miorelli, Roberto, et al. "Supervised learning strategy for classification and regression tasks applied to aeronautical structural health monitoring problems." *Ultrasonics* 113 (2021): 106372.

[3] Nerlikar, Vivek, et al. "Damage detection with ultrasonic guided waves using machine learning and aggregated baselines." *Structural Health Monitoring* (2023): 14759217231169719.

[4] Ahmed, Shamim, et al. "An adaptive sampling strategy for quasi real time crack characterization on eddy current testing signals." *NDT & E International* 103 (2019): 154-165.

[5] Vo, Romain, et al. "Evaluation and Comparison of Two Deep-Learning Strategies for On-Line X-Ray Computed Tomography." *49th Annual Review of Progress in Quantitative Nondestructive Evaluation*. Vol. 86595. American Society of Mechanical Engineers, 2023.

[6] Bai, Long, et al. "Ultrasonic defect characterization using the scattering matrix: A performance comparison study of Bayesian inversion and machine learning schemas." *IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control* 68.10 (2021): 3143-3155.

[7] Miorelli, Roberto, et al. "Defect sizing in guided wave imaging structural health monitoring using convolutional neural networks." *NDT & E International* 122 (2021): 102480.

[8] Chollet, Francois. *Deep learning with Python*. Simon and Schuster, 2021.

[9] Granados, Gerardo E., et al. "Towards a multi-fidelity deep learning framework for a fast and realistic generation of ultrasonic images in complex geometries with the multi-modal Total Focusing Method." *NDT & E International*, (2023) [Under review].

[10] Cantero-Chinchilla, Sergio, Paul D. Wilcox, and Anthony J. Croxford. "Deep learning in automated ultrasonic NDE–developments, axioms and opportunities." *NDT & E International* (2022): 102703.

[11] Pyle, Richard J., et al. "Deep learning for ultrasonic crack characterization in NDE." *IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control* 68.5 (2020): 1854-1865.

[12] Virkkunen, Iikka, et al. "Augmented ultrasonic data for machine learning." *Journal of Nondestructive Evaluation* 40 (2021): 1-11