Le 12 juin 2017, un article écrit par Ashish Vaswani, Noam Shazeer, Niki Parmar et 5 autres chercheurs a fait sensation. Intitulé “Attention Is All You Need”, il a présenté une nouvelle architecture appelée Transformers. Ce concept a permis des avancées significatives dans la compréhension et la génération du langage naturel. Il est à la base de modèles avancés tels que GPT de OpenAI ou Bert de Google.