# Mistral AI

Mistral AI est une entreprise française fondée en avril 2023, spécialisée dans l'intelligence artificielle générative. Elle développe des grands modèles de langages open source et propriétaires. Elle est cofondée par Arthur Mensch, Guillaume Lample et Timothée Lacroix.
En un an, elle réalise trois levées de fonds successives, d'un montant total de plus d'un milliard d'euros, et serait valorisée en juin 2024 à près de six milliards d'euros. Mistral est considérée comme l'un des leaders européens de l'intelligence artificielle.
L'entreprise est basée à Paris et dispose de bureaux au Royaume-Uni, ainsi que d'antennes à Palo Alto et à Singapour.

## Historique

Avant de cofonder Mistral AI, Arthur Mensch travaillait chez DeepMind, le laboratoire d'intelligence artificielle de Google, tandis que Guillaume Lample et Timothée Lacroix étaient chercheurs chez Meta, et que Guillaume Lample a fait partie des créateurs de LLaMA$^,$.
En juin 2023, la start-up réalise une première levée de fonds de 105 millions d'euros avec comme investisseurs le fond américain Lightspeed Venture Partners (en), Eric Schmidt, Xavier Niel et JCDecaux Holding notamment. La valorisation est alors estimée par le Financial Times à 240 millions d'euros.
Le 27 septembre 2023, l'entreprise met à disposition son modèle de traitement du langage « Mistral 7B » sous licence libre Apache 2.0. Ce modèle comporte 7 milliards de paramètres, une taille restreinte par rapport à ses concurrents.
Le 10 décembre 2023, Mistral AI annonce avoir levé 385 millions d'euros dans le cadre de sa seconde levée de fonds et devient l'une des licornes françaises, valorisée à 2 milliards de dollars. Ce tour de table implique notamment le fonds californien Andreessen Horowitz, la BNP Paribas et l'éditeur de logiciels Salesforce.
Le 11 décembre 2023, l'entreprise sort le modèle « Mixtral 8x7B » comptant 46,7 milliards de paramètres mais n'en utilisant que 12,9 milliards par token grâce à l'architecture du système d'experts (en). Le modèle maîtrise 5 langues (français, espagnol, italien, anglais et allemand) et surpasse, d'après les tests de ses développeurs, le modèle « LLama 2 70B » de Meta.
Le même jour, Mistral annonce la bêta de sa plateforme de services permettant aux développeurs de solliciter directement ses modèles.
En février 2024, Cédric O, actionnaire et conseiller en affaires publiques de Mistral AI, recrute Audrey Herblin-Stoop pour s'occuper des affaires publiques.
Le 26 février 2024, Mistral lance « Le Chat », un robot conversationnel similaire à ChatGPT permettant d'essayer les modèles de l'entreprise$^,$. Dans la foulée, elle dévoile Mistral Large, un nouveau modèle de langage capable de rivaliser avec GPT-4, une version allégée appelée Mistral Small, et Mistral Next, un prototype conçu pour donner des réponses brèves et concises.
Le même jour, Mistral annonce un partenariat avec Microsoft afin de rendre disponible leur modèle Mistral Large sur le cloud Azure. Au terme de cet accord, l'entreprise américaine devrait prendre une participation minoritaire au capital de l'entreprise. Le partenariat doit permettre à Mistral AI de distribuer ses modèles aux entreprises, en échange d'un partage des revenus avec Microsoft. Le partenariat inclut également une recherche et développement en vue de créer des applications pour tous les gouvernements européens et répondre aux besoins spécifiques du secteur public en IA.
Le mercredi 10 avril, la société publie sur Twitter le modèle « Mixtral 8x22b », téléchargeable depuis un lien magnet sous licence libre Apache 2.0. Il repose sur le principe du système d'experts (en), comme son prédécesseur Mistral 8x7b. Il compte 176 milliards de paramètres et possède une fenêtre de contexte de 65 000 tokens.
Fin mai, l'entreprise lance un modèle de langage appelé « Codestral » dédié à la génération de code informatique. Comptant 22 milliards de paramètres, il est distribué sous une nouvelle licence dite « Mistral AI non-production license ». Celle-ci restreint l'utilisation du modèle à des fins de recherche scientifique et de test et exclut donc les usages commerciaux.
En juin 2024, Mistral lève 600 millions d'euros à l'issue d'un tour de financement mené par le fonds américain General Catalyst (en). 65 % du capital reste français d'après le fondateur Arthur Mensch.
En juillet, l'entreprise dévoile deux nouveaux modèles open source : Codestral Mamba 7B et Mathstral 7B, ainsi que Mistral NeMo 12B, un modèle développé avec NVIDIA (via la plateforme NVIDIA DGX Cloud et le framework NVIDIA NeMo), un modèle aux performances élevées, dopé par l'utilisation du format de données FP8, particulièrement efficace en anglais, français, allemand, espagnol, italien, portugais, chinois, japonais, coréen, arabe et hindi, basé sur un nouveau tokenizer dit « Tekken ». Celui-ci est basé sur Tiktoken et entraîné sur plus de 100 langues. Il surpasse le tokenizer SentencePiece des précédents modèles Mistral pour compresser le langage naturel et le code source : il est environ 30 % plus efficace pour compresser le code source et plusieurs langues majeures et jusqu'à trois fois plus efficace pour le coréen et l'arabe. Les poids du modèle, qui est empaqueté dans un conteneur NVIDIA NIM, sont disponibles sur Hugging Face et la plateforme de Mistral AI. Il peut remplacer les systèmes utilisant Mistral 7B, par exemple pour les agents conversationnels, les tâches multilingues, le codage et la synthèse de document. Selon les tests de Mistral AI, il dépasse Gemma 2 9B et Llama 3 8B, deux modèles open-source sortis quelques mois avant.
En octobre, Mistral publie deux petits modèles dits « Ministraux », Mistral 3B et Mistral 8B. Leur faible nombre de paramètres, respectivement 3 et 8 milliards, en fait des modèles légers qui nécessitent moins de capacité de calcul que la plupart des autres modèles de langage. Cela leur permet d'être embarqués dans des systèmes informatiques autonomes isolés d'internet.
Le 19 novembre 2024, l'entreprise ajoute plusieurs fonctionnalités majeures à son robot conversationnel Le Chat. Celui-ci devient capable de générer des images, grâce à un partenariat avec Black Forest Labs et leurs modèles Flux Pro. De plus, Mistral ajoute la possibilité de chercher des informations sur internet afin d'avoir des informations fiables et à jour. Enfin, elle introduit le système de Canvas, une interface collaborative dans laquelle l'IA crée du code et l'utilisateur peut le modifier. Simultanément, l'entreprise introduit un nouveau modèle, Pixtral Large, une amélioration de Pixtral 12B, intégrant un encodeur visuel d'1 milliard de paramètres couplé à Mistral Large 2. Enfin, celui-ci a également été amélioré, notamment pour les longs contextes et les appels de fonctions.
Le 13 janvier 2025, Mistral sort une version améliorée de Codestral, disposant d'un meilleur tokenizer et d'une architecture plus efficace, ce qui lui permet de compléter le code informatique deux fois plus rapidement. Trois jours plus tard, l’AFP et Mistral officialisent un accord qui permet au Chat d'utiliser toutes les dépêches de l’AFP publiées depuis 1983, soit 38 millions de dépêches à la signature de ce contrat. Il est spécifié qu’elles ne serviront pas à de l’entraînement mais seulement à répondre aux requêtes des utilisateurs. Le 30 janvier, elle sort Mistral small 3, une amélioration du modèle, en ajoutant 2B de paramètre, passant de 22B à 24B.
Début mars 2025, Mistral annonce la mise à disposition d'une API OCR qui permet de traiter des documents PDF complexes.

## Modèles

Mistral met à disposition quatre modèles d'I.A. générative sur sa plateforme Le Chat et met aussi à disposition d'autres modèles via son API.