Mistral AI（2. 2024年ごろ：le Chat, Mixtral 8x22B、Codestral、Mathtral、Mistral NeMo、Pixtral）

本記事は下記の続きです。

https://qiita.com/akagi_hayato/items/d2acb2293bfa7984b452

## le Chat Mistral
2024年2月、Mistral AIはMistralモデル（Mistral Large、Mistral Small、Mistral Next）を利用してビジネス環境に展開できる会話アシスタントのデモであるle Chat Mistralをベータユーザー向けにリリースした（ビジネス用途の、よりカスタマイズ性が高いle Chat Enterpriseの発表も同時に行った）[^20]。

:::note info
le Chatはフランス語であり、「猫」という意味
:::

Mistral AIのCEOであるArthur Mensch氏は、Mistralがdeveloper firstに焦点を置いており、AI開発者とユーザーの境界技術が薄いことをle Chatをリリースした理由の一つとして挙げている[^22]。またle Chatは、ChatGPTの初期モデル（[インタビュー内](https://youtu.be/sQpeIuymJZ8?t=362)ではChatGPT version0と言われている）レベルの性能であり、さらに発展させてエンタープライズ系のソリューションにしていく意向についても言及している[^21]。

[^20]:[Le Chat](https://mistral.ai/news/le-chat-mistral)
[^21]:[Fireside Chat w/ Mistral CEO, Arthur Mensch](https://www.youtube.com/watch?v=sQpeIuymJZ8)
[^22]:[Open sourcing the AI ecosystem ft. Arthur Mensch of Mistral AI and Matt Miller](https://www.youtube.com/watch?v=yinHx5UnYs0&t=1286s)

## Mixtral 8x22B
2024年4月、Mistral AIはMixtral 8x22Bを発表した。2023年に発表されたMixtral 8x7Bと同様にオープンソース（Apache 2.0）であり、英語、フランス語、イタリア語、ドイツ語、スペイン語に対応している[^1]。ただし、Mixtral 8x7Bに比べてContext windowが倍の64Kになっていることなど、性能向上しているのはもちろん、他の70Bクラスのモデルよりも高性能と謳われている。

> ![](https://cms.mistral.ai/assets/32e21531-2377-4231-b152-818f8bd05a5a)
[Measure of the performance (MMLU) versus inference budget tradeoff (number of active parameters)](https://mistral.ai/news/mixtral-8x22b)


[^1]:[Cheaper, Better, Faster, Stronger](https://mistral.ai/news/mixtral-8x22b)

## Codestral, Codestral Mamba
2024年5月、Mistral AI初のコーディングタスク専用に設計された生成AIモデルであるCodestralが発表された。80以上のプログラミング言語（Python, Java, C, C++, JavaScript, Bashなど）に対応しており[^11]、他社製AIモデルと比べて、コンテキストウィンドウは大幅に大きい32k、コーディングパフォーマンスベンチマークのスコアは、ほぼすべてのベンチマークでトップクラスのスコアを記録している[^13]。Codestralは、Fill-In-the-Middle（FIM）と呼ばれる部分的なコード記述を行うこと（VS Codeの変数名の補完のようなイメージ）も可能であり、開発体験を高めている[^11][^12]。

> ![](https://i.gzn.jp/img/2024/05/30/codestral-mistral-ai/s01_m.png)
[Codestralベンチマーク](https://gigazine.net/news/20240530-codestral-mistral-ai/)

Mistral AIは、Codestralもオープンであると表現しているが、利用にあたりMistral AI non-production license (MNPL)というライセンスを導入している[^14]。MNPLでは、Codestralとその成果物をいかなる商業活動においても使用すること、会社の事業活動の文脈で従業員が内部でCodestralを使用することなどを禁じている[^15]。学習データに著作物があったなど、MNPL導入の理由については考察されているが[^16]、Mistral AIから公式の説明はなく、今後はApache 2.0ライセンスで製品をリリースすることを宣言している[^17]。

Codestralに続いて7月に、これまで用いられたTransformerモデルとは異なるMambaというモデルを用いたCodestral Mambaというモデルがリリースされた[^18]。Mambaは、選択的状態空間モデル（Selective SSM：Selective State Space Model）を用いることで、高速かつ効率的に長いcontext windowに対応することが可能であり[^19]、Transformerを代替しうる有望なアーキテクチャであるとされている。Codestral Mamba は Apache 2.0 ライセンスで利用可能とされた[^18]。

> ![](https://substackcdn.com/image/fetch/w_1456,c_limit,f_webp,q_auto:good,fl_lossy/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5547a54a-5f47-41c0-a2ee-2ba5bcceefb8_1920x1080.gif)
[Mamba model](https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mamba-and-state)

> ![](https://cms.mistral.ai/assets/fdd5d6fa-0e15-47b6-a40e-fb81a9f65514)
[Codestral Mamba performance](https://mistral.ai/news/codestral-mamba)

[^11]:[Codestral](https://mistral.ai/news/codestral)
[^12]:[HuggingFace Model card: mistralai/Codestral-22B-v0.1](https://huggingface.co/mistralai/Codestral-22B-v0.1)
[^13]:[Mistral AIが初のコーディング用生成AIモデル「Codestral」をリリース、80以上のプログラミング言語でトレーニング済み](https://gigazine.net/news/20240530-codestral-mistral-ai/)
[^14]:[X post by *Arthur Mensch* at 11:12 PM · May 29, 2024
[^15]:[Mistral AI Non-Production License](https://mistral.ai/static/licenses/MNPL-0.1.md)
[^16]:[Mistral releases Codestral, its first generative AI model for code](https://techcrunch.com/2024/05/29/mistral-releases-its-first-generative-ai-model-for-code/?guccounter=1)
[^17]:[The Mistral AI Non-Production License](https://mistral.ai/news/mistral-ai-non-production-license-mnpl)
[^18]:[Codestral Mamba](https://mistral.ai/news/codestral-mamba)
[^19]:[Codestral Mamba:Mistral AIのMamba搭載次世代型大規模言語モデル](https://recruit.gmo.jp/engineer/jisedai/blog/codestral-mamba/)
[^20]:[Codestral Mamba:Mistral AIのMamba搭載次世代型大規模言語モデル](https://recruit.gmo.jp/engineer/jisedai/blog/codestral-mamba/)

## MathΣtral（Mathtral）
7月、Mistral AIは複雑で多段階の論理的推論を必要とする高度な数学的問題への取り組みを強化するためMathtralというモデルを発表した　（Codestral Mambaと同日）。Mathtralは、数学の分野における人間と人工知能の発展を促進するミッションを掲げる非営利団体である[Project Numina](https://projectnumina.ai/)とコラボし、Mistral 7Bをベースに作られている[^30]。

> ![](https://back-marin.fasfox.net/assets/d2d77e13-903b-4b86-a0fb-771b0c7c9b15)
[Mathtral performance](https://mistral.ai/news/mathstral)

[^30]:[MathΣtral](https://mistral.ai/news/mathstral)

## Mistral NeMo
7月、12BサイズのMistral NeMoという言語モデルを発表した[^50]。Mistral NeMoは、NVIDIAと共同で開発され、NVIDIA DGX Cloud AIプラットフォーム上で学習が行われており、NVIDIA NIM推論マイクロサービスとしてのパッケージ化、NVIDIA TensorRT-LLMエンジンによるパフォーマンス最適化された推論などNVIDIAサービスとの親和性が抜群である[^51]。コンテキストウィンドウは128kと大きく、量子化を考慮した学習が行われているため、取り扱うデータのビット数が少ないことから高速な推論を可能とする、FP8推論が可能である[^52]。
OpenAIが開発した（オープンソース版の）TiktokenというトークナイザーをベースにしたTekkenと呼ばれるトークナイザーを用いており、以前のMistralモデルで使用されていたSentencePieceトークナイザーより効率的になっている[^54]。

:::note info
NeMoはNeural Moduleの略[^55]
:::

> ![](https://cms.mistral.ai/assets/41a3984b-6dd3-47c1-862f-174ff153c577)
[Mistral NeMo permormance](https://mistral.ai/news/mistral-nemo)

> ![](https://www.datocms-assets.com/104802/1709770809-twitter-post-20.png?auto=format&fit=max&w=1200)
[Visualizing FP32, FP16, FP8, and INT8 precisions](https://www.baseten.co/blog/33-faster-llm-inference-with-fp8-quantization/)
通常はFP32かFP16が用いられる[^53]

[^50]:[Mistral NeMo](https://mistral.ai/news/mistral-nemo)
[^51]:[Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model](https://blogs.nvidia.com/blog/mistral-nvidia-ai-model/)
[^52]:[33% faster LLM inference with FP8 quantization](https://www.baseten.co/blog/33-faster-llm-inference-with-fp8-quantization/)
[^53]:[量子化とは](https://www.ibm.com/jp-ja/think/topics/quantization)
[^54]:[【解説】Tekken トークナイザーとは何か？ 〜 Mistral が採用する新世代トークナイザーの特徴](https://blog.qualiteg.com/about-tekken-tokenizer-mistral-bpe-sentence-piece/)
[^55]:[NeMo Fundamentals](https://docs.nvidia.com/nemo-framework/user-guide/latest/nemotoolkit/starthere/fundamentals.html)


## Pixtral 12B, Pixtral Large
2024年9月、Mistral AIは初のマルチモーダルモデルであるPixtral 12Bを発表した[^41]。Microsoft Researchが2023年に発表したマルチモーダルモデルであるLLaVAのアーキテクチャに従い画像とテキストの入力を受け付けており、Vision encoderに`PixtralVisionModel`、Language encoderに`MistralForCausalLM`が用いられている[^42]。

> ![](https://cms.mistral.ai/assets/8ae163bf-f96b-4ed8-b8de-06a82d95f54b.png?width=2138&height=1173)
[Pixtral Model Architecture](https://mistral.ai/news/pixtral-12b)


11月には、Mistral Large 2 をベースに構築された 124BのマルチモーダルモデルであるPixtral Largeが発表された[^40]。

> ![](https://cms.mistral.ai/assets/90e79bdb-19ae-4fa7-8829-19a86e231427)
[Pixtral performance](https://mistral.ai/news/pixtral-large)

[^40]:[Pixtral Large](https://mistral.ai/news/pixtral-large)
[^41]:[Announcing Pixtral 12B](https://mistral.ai/news/pixtral-12b)
[^42]:[Pixtral](https://github.com/huggingface/transformers/blob/main/docs/source/en/model_doc/pixtral.md)


## その他
2024年2月、Mistral AIはMicrosoft社との複数年のパートナーシップを結び、1600万ドルを出資された。最先端のAIインフラへのアクセスが可能となり、ユーザーはAzure AI StudioやAzure Machine LearningモデルカタログのModels as a Service (MaaS)を通じて、この日に発表されたMistral Large[^64]を含めてMistralのモデルが利用できるようになった[^60]。ただしこの提携は、市場の寡占化が進むとして、欧州全域で適用されるAI法の策定を進めてきたEUから激しく非難され、独占禁止法の調査を求める声が上がった[^63][^65]。
また同月、欧州の大手企業および行政機関に対してカスタマイズされた生成AIソリューションを提供するべく、DXのリーディング企業であるSopra Steria社との提携も発表された[^61]。
6月には、ベンチャーキャピタル企業であるGeneral Catalyst社主導する資金調達ラウンドで、Cisco Systems社やNVIDIA社などから6億ユーロを調達し、Mistral AIの評価額は58億ユーロとなったことが明らかになった（2023年12月の評価額は20億ユーロ）[^62]。
続いて7月には、フランスの3D CADやデジタルツイン関連のソリューションを提供するDassault Systèmes社と提携を結び、LLMaaS（LLM as a Service）、産業顧客の膨大なデータ資産の価値向上を[^66]、
10月にはQualcomm社と提携関係を結び、SnapdragonおよびQualcommプラットフォーム搭載デバイスへのMistralモデル搭載を目指す他[^67]、様々な企業と提携関係を結んでいる。

[^60]:[Microsoft and Mistral AI announce new partnership to accelerate AI innovation and introduce Mistral Large first on Azure](https://azure.microsoft.com/ja-jp/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/)
[^61]:[Sopra Steria and Mistral AI Partner to Offer Advanced AI Solutions](https://www.soprasteria.com/newsroom/press-releases/details/sopra-steria-and-mistral-ai-partner-to-offer-advanced-ai-solutions)
[^62]:[Mistral AI raises 600 mln euros in latest funding round](https://www.reuters.com/technology/artificial-intelligence/mistral-ai-raises-600-mln-euros-latest-funding-round-2024-06-11/)
[^63]:[Microsoft's deal with Mistral AI faces EU scrutiny](https://www.reuters.com/technology/microsofts-deal-with-mistral-ai-faces-eu-scrutiny-2024-02-27/)
[^64]:[Au Large](https://mistral.ai/news/mistral-large)
[^65]:[Microsoftが新LLM開発の仏ミストラルAIとのパートナーシップを発表　市場独占の懸念からEUより調査要求が上がる](https://ledge.ai/articles/microsoft_and_mistralai_a_new_partnership)
[^66]:[Dassault Systèmes and Mistral AI Partner to Offer Trusted, AI-Powered Industry-Grade Solutions to Accelerate the Generative Economy](https://www.3ds.com/newsroom/press-releases/dassault-systemes-and-mistral-ai-partner-offer-trusted-ai-powered-industry-grade-solutions-accelerate-generative-economy)
[^67]:[Qualcomm and Mistral AI Partner to Bring New Generative AI Models to Edge Devices](https://www.qualcomm.com/news/releases/2024/10/qualcomm-and-mistral-ai-partner-to-bring-new-generative-ai-model)