[image] [image] Ressource protégée - Archive ouverte HAL Accéder directement au contenu

*[image] [image]*

• [Documentation](#)

• FR
Français (FR)

• Anglais (EN)
Se connecter

• [HAL science ouverte](#)

• Recherche
Loading...

## Recherche avancée

Information de documents

Titres

○ [Titres](#)

○ [Sous-titre](#)

○ Titre de l'ouvrage

○ Titre du volume (Série)

○ Champ de recherche par défaut (multicritères) + texte intégral des PDF

○ [Résumé](#)

○ Texte intégral indexé des documents PDF

○ [Mots-clés](#)

○ Type de document

○ Sous-type de document

○ Tous les identifiants du document

○ Identifiant HAL du dépôt

○ Langue du document (texte)

○ Pays (Texte)

○ Ville

○ À paraître (true ou false)

Ajouter

Auteur
# AI Automation for Transmission Electron Microscope Alignment

Loïc Grossetête, Cécile Marcelot, C Gatel, Sylvain Pauchet, Martin J. Hytch

► To cite this version:

Loïc Grossetête, Cécile Marcelot, C Gatel, Sylvain Pauchet, Martin J. Hytch. AI Automation for Transmission Electron Microscope Alignment. EMC2024, Aug 2024, Copenhagen, Denmark. hal-04626351

HAL Id: hal-04626351

https://hal.science/hal-04626351v1

Submitted on 27 Jun 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
## Auteur (multicritères)

○ Auteur (multicritères)

○ Auteur : Nom complet

○ Auteur : Nom de famille

○ Auteur : Prénom

○ Auteur : Complément de nom, deuxième prénom

○ Auteur : Organisme payeur

○ Auteur : IdHal (chaîne de caractères)

○ Auteur : Fonction

○ Auteur : personID (entier)

○ Auteur : Identifiant de l'organisme payeur

○ Auteur : Identifiant de la structure

○ Directeur de thèse

○ Éditeur

○ Éditeur scientifique

○ Éditeur de la série

## Ajouter

### Structure

### Structure (multicritères)

○ Structure (multicritères)

○ Structure : Acronyme

○ Structure : Nom

○ Structure : Code

○ Structure : Pays

○ Structure : Type

○ Structure : État dans le référentiel

○ Structure : Identifiant HAL de la structure

○ Structure/équipe de recherche : Pays

○ Structure/regroupement d'équipes : Pays

○ Structure/laboratoire : Pays

○ Structure/regroupement de laboratoires : Pays

○ Structure/institution : Pays

○ Structure/regroupement d'institutions : Pays

## Ajouter

## Autres
# AI Automation for Transmission Electron Microscope Alignment

**Grossetête Loïc**¹,², Marcelot Cécile¹, Gatel Christophe¹, Pauchet Sylvain², Hytch Martin¹

¹CEMES-CNRS, Toulouse, France, ²ENAC, Toulouse, France

Transmission electron microscopes, like other scientific instruments, are becoming increasingly complicated. Consider the I2TEM in Toulouse, a dedicated TEM for electron holography and in-situ research (HF-3300 C from Hitachi) which has a cold-field emission gun, 9 lenses, 4 apertures, 3 biprisms, 18 pivot points to align, and nearly as many elements in the corrector. Operation involves more than one hundred configurable parameters, but with approximately 10³⁰⁰ theoretically possible configurations, one wonders if the instrument is used to its full potential. Furthermore, appropriate microscope alignment takes between twenty minutes and an hour each day, depending on the experiment and the microscopist's effectiveness. We propose to explore the use of artificial intelligence to automate the alignment, therefore tackling the complexity and reducing the time taken by the task.

## Methods

To address this complexity, we first developed full computer control of the microscope. Hitachi provided access to every single element (including aperture positions, deflector currents and alignment) as well as details about the communication protocol. This enabled us to develop dynamic automation of the microscope to stabilize the specimen and hologram alignment through traditional control and feedback loops in real-time [1]. But to go further, we wondered if the computer could take complete control of the microscope according to the user's needs using artificial intelligence (AI).

Machine Learning, such as Convolutional Neural Networks (CNN), is gradually replacing older forms of automation in various industries. We developed an API to automatically change the microscope parameters while acquiring images (Figure 1). This allowed us to create training datasets for matching the configuration to the images produced by the microscope. Because most configurations would not create an image on the screen, we first aligned the TEM before randomly shifting the parameters around their respective values. This allowed us to predict image characteristics based on the microscope configuration, as well as configurations that met specific image characteristics. In parallel, we have developed a realistic simulation of the I2TEM to produce a dataset of virtual experiments [2] which allows us to test models on various scenarios without the associated cost of directly using the microscope.

## Results

This allowed us to train models for each step of the alignment process on the I2TEM (aperture alignment, condenser astigmatism correction, pivot points correction, eucentric position correction and focus correction). The only remaining step is to correct the objective lens astigmatism, which is handled by the corrector using a different API than the rest of the microscope. Each step of the correction, while not as good as human performance yet, takes up to twenty seconds at most, reducing the correction time to less than two minutes. Figure 1 depicts the first step in the alignment: aperture correction.

## Conclusion

The results show that AI allows for TEM alignment automation, and while precision is still not on par with human levels, the complex task of finding a good alignment is met, allowing for much faster alignment overall. The method could be extended to other microscopes if they can be controlled via an API and the captured images can be processed in real-time. Additionally, the method used could be modified to address issues like object stabilization, or the calibration of new components.

The aim is to integrate the entire solution into an application that allows microscopists to use the automation functions seamlessly while also allowing them to easily generate or strengthen new automation routines. We are also considering developing a reinforcement learning model that can achieve or maintain a set of meta-parameters according to the user's needs. The meta-parameters are the microscope's parameters that users are most interested in, such as beam size, beam position, focus and magnification, rather than the microscope configuration itself. We intend to encode the image in the meta-parameter space using a constrained variational auto-encoder, with limitations to ensure that they either
Champ de recherche par défaut (multicritères)

○ <u>Champ de recherche par défaut (multicritères)</u>

○

○ <u>Revues (multicritères)</u>

○ <u>Revue : Éditeur</u>

○ <u>Revue : Titre abrégé</u>

○ <u>Revue : Titre</u>

○ <u>Revue : Identifiant interne</u>

○ <u>Revue : Date de début de publication</u>

○ <u>Revue : ISSN électronique</u>

○ <u>Revue : ISSN</u>

○ <u>Revue : Éditeur</u>

○ <u>Revue : Couleur dans SHERPA/RoMEO</u>

○ <u>Revue : État dans le référentiel</u>

○

○ <u>Colloque (multicritères)</u>

○ <u>Colloque : Titre</u>

○ <u>Colloque : Organisateur</u>

○ <u>Colloque : date de début (Année)</u>

○ <u>Colloque : date de fin (Année)</u>

○ <u>Conférence invitée (oui/non)</u>

○

○ <u>Projets ANR (multicritères)</u>

○ <u>Projet ANR : Acronyme</u>

○ <u>Projet ANR : Acronyme du programme</u>

○ <u>Projet ANR : Code décision (référence)</u>

○ <u>Projet ANR : Nom</u>

○ <u>Projet ANR : Identifiant interne</u>

○ <u>Projet ANR : État dans le référentiel</u>

○

○ <u>Projets européens (multicritères)</u>

○ <u>Projet européen : Acronyme</u>

○ <u>Projet européen : Identifiant de l'appel à projet</u>

○ <u>Projet européen : Référence</u>

○ <u>Projet européen : Nom</u>

○ <u>Projet européen : Date de fin</u>

○ <u>Projet européen : Financement</u>

○ <u>Projet européen : Date de début</u>

○ <u>Projet européen : État dans le référentiel</u>
coincide with a previously identified parameter, such as the focus, or are at least intelligible to humans. The user can then manipulate the encoded image, and the model will change the configuration accordingly for the microscope to produce an image meeting the user's needs.

Acknowledgements

The authors acknowledge funding from the European Union under grant agreement no. 101094299 (IMPRESS). Views and opinions expressed are however those of the authors only and do not necessarily reflect those of the European Union or the European Research Executive Agency (REA). Neither the European Union nor the granting authority can be held responsible.

Keywords

TEM, AI, CNN, Automation

Graphic

<figure><img src="image_2.png" /><figcaption>Figure 1: Example of the i2TEM condenser aperture alignment using the presented ML method (left is before alignment, right after)</figcaption></figure>

Reference:

[1] C. Gatel, J. Dupuy, F. Houdellier, M.J. Hytch, Appl. Phys. Lett. 113, 133102 (2018). *Unlimited acquisition time in electron holography by automated feedback control of transmission electron microscope*. 10.1063/1.5050906, [hal-01884057v1](https://hal.inra.fr/hal-01884057v1)

[2] J. Dupuy, Contrôle dynamique et optimisation des observations en microscopie électronique en transmission, PhD Université Paul Sabatier, Université de Toulouse (2021)
○ Projet européen : Identifiant interne

O

○ Date de production : année

○ Date de mise en ligne : année

○ Date de publication : année

○ Date d'écriture : année

○ Date de modification du dépôt : année

○ Date de dépôt : année

○ Date de publication électronique : année

O

○ Collection HAL (multicritères)

Collection HAL : catégorie

○ Collection HAL : Code

○ Collection HAL : Nom

○ Collection HAL : Identifiant interne

O

○ Identifiant interne du contributeur/déposant

○ Nom complet du contributeur/déposant

O

○ Domaines

○ Domaine primaire

○ Domaine racine

○ Sous-domaine niveau 1

○ Sous-domaine niveau 2

○ Sous-domaine niveau 3

O

○ Statut du document

○ Version du document

○ Type de dépôt

○ Type de document

○ ISBN

○ Numéro - référence

○ Identifiant DOI

O

○ Classification

○ Audience

○ Vulgarisation

○ Comité de lecture - texte (oui ou non)

○ Actes de colloque

○ Référence interne
○ Financement

○ Collaborations

Ajouter

Lancer la recherche

Recherche experte (SolR)

Recherche experte (SolR)

Lancer la recherche
Vers la recherche avancée

• Déposer

X

X

X

Loading...

X

Le document que vous demandez est en access restreint
jusqu'au 2024-09-26 !

Revenir a la notice

Retourner à l'accueil

[image]

[image]

[image]

[image]

Contact

• Support

Ressources

• Documentation

• FAQ

• API
• OAI-PMH

• AuréHAL

## Informations

• À propos

• Données personnelles

• Mentions légales

• Accessibilité

• Conformité RGAA

## Questions juridiques

• Je publie, quels sont mes droits ?

• Loi pour une République numérique

• Stratégie de non-cession des droits

• SHERPA/RoMEO

## Portails

• Portails institutionnels

• HAL

• HAL SHS

• HAL Thèses

• MédiHAL

## CCSD

• CCSD

• Episciences

• Sciencesconf