Applications et évaluation des Transformers: de FlauBERT à LeBenchmark
Channel: IXXI
Date: 2021-11-26

Alexandre Allauzen (Paris Sciences et Lettres)

Séance du Séminaire IA et langage de l'IXXI du 26 novembre 2021

Résumé : 
L'apparition des transformers dans le paysage déjà riche du deep-learning a profondément modifié la recherche en traitement automatique des langues, mais aussi dans d'autres domaines. Les enjeux soulevés par des modèles comme BERT sont multiples: scientifiques (peut on se passer de cette approche et rester compétitif), technologiques (apprendre de tels modèles n'est pas à la portée de tous) et stratégiques (avoir accès à un modèle adapté est important). Il ainsi souhaitable de mutualiser les efforts scientifiques afin de partager l'accès aux modèles pré-appris, ainsi que les outils d'évaluation. Cet exposé aborde différentes applications des transformers comme par exemple le traitement automatique du français pour les textes écrits (FLauBERT) et la parole (LeBenchmark).