Mistral AI（1. 2023年ごろ：Mistral AI創設、Mistral 7B、Mixtral 8x7B、La Plateforme）

## Mistral AI 創設
Arthur Mensch氏は2020年からDeepMind社でLLM開発（flamingo/chinchilla）に携わり、Googleの方向性とスピードに疑念を覚え[^2]、生成AIの主要グローバルプレーヤーになるという野心を持って、ヨーロッパのオープンソースプロジェクトを作成するため[^3]、2023年4月、Meta社でLLaMaの開発に携わっていたGuillaume Lample氏、Timothée Lacroix氏（元Meta社）とともにフランスでMistral AIを設立した[^1][^5]。

>![](https://lsvp.com/wp-content/uploads/2023/07/5.webp)
[Mistral AI co-founders: Guillaume Lample, Arthur Mensch, Timothée Lacroix](https://lsvp.com/stories/meet-europes-next-great-generative-ai-startup-mistral-ai/)

Mistral AIは、設立からわずか1か月後に、シードラウンドで1億500万ユーロ（1億1,350万ドル）を調達し[^4]、衝撃を与えた。

[^1]:[Mistral AI #about](https://mistral.ai/about)
[^2]:[The Story of Arthur Mensch: How to Build a Startup with $2.1B Value in 9 Months](https://thecreatorsai.com/p/the-story-of-arthur-mensch-how-to)
[^3]:[Building With Mistral—Europe’s Next Great Generative AI Startup](https://lsvp.com/stories/meet-europes-next-great-generative-ai-startup-mistral-ai/)
[^4]:[A.I. company raises record $113 million just a month after being founded—despite having no product and only just hiring staff](https://fortune.com/europe/2023/06/14/mistral-ai-startup-record-113-million-seed-round-arthur-mensch/)
[^5]:[France’s Mistral AI raises a $113M seed round to take on OpenAI](https://news.ycombinator.com/item?id=36326706)

## Mistral 7B

2023年9月、Mistral AI社はMistral 7Bを発表した。Apache 2.0ライセンスが適用されたオープンソースのLLMであり、よりモデルサイズの大きいLlama 2 **13B**やLlama 1 **34B**と比べて優位性が示されている[^10]。
Mistral 7Bは、下記の工夫などにより高精度化を達成している。
- Sliding Window Attention （SWA）[^11]
    - 固定サイズのウィンドウを使用して、ウィンドウ長の周辺単語のみアテンションを計算
    - 低コストで長いシーケンスを処理できる
- Grouped-query Attention（GQA）[^12]
    - Headのサブグループごとに共有し、Multi head Attentionに近い品質を実現しつつ、Multi-query Attentionとほぼ同じ速度で動作する
    - 高速推論が可能

> ![](https://aisholar.s3.ap-northeast-1.amazonaws.com/media/August2023/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88_2023-08-05_7.16.49.png)
[LongformerでのAttentionの工夫](https://ai-scholar.tech/articles/bert/longformer)

> ![](https://www.ibm.com/content/dam/connectedassets-adobe-cms/worldwide-content/creative-assets/s-migr/ul/g/3f/b4/mha-mqa-and-gqa.component.l-retina.ts=1737991673014.png/content/adobe-cms/us/en/think/topics/grouped-query-attention/jcr:content/root/table_of_contents/body-article-8/image_700444495)
[What is grouped query attention (GQA)?](https://www.ibm.com/think/topics/grouped-query-attention)

Mistrl 7Bは、GitHubでリファレンス実装が公開、Skypilotを使用してクラウドサービスへデプロイする方法のドキュメントが用意されていたりするほか、Hugging Faceでもモデルが公開されていることなどから[^14]、オープンソースAIコミュニティで広く用いられており、例えば下記のモデルに派生している[^13]。
- Zephyr-7B-beta
    - HuggingFace
- Yarn Mistral 7B 128K
    - NOUS/EleutherAI
- Mistral-Trismegistus-7B
    - Teknium

（それぞれの詳細は後日追記する可能性）

[^10]:[Mistral 7B](https://mistral.ai/news/announcing-mistral-7b)
[^11]:[小型の人気 LLM: Mistral-7B って何で性能いいか知ってる？](https://qiita.com/kernelian/items/98be743010316d44e21e#:~:text=%E3%81%9D%E3%81%93%E3%81%A7%E3%80%81Sliding%20Window%20Attention%20%E3%81%A7%E3%81%AF,%E9%87%8F%E3%81%8C%E5%89%8A%E6%B8%9B%E3%81%95%E3%82%8C%E3%81%BE%E3%81%99%E3%80%82)
[^12]:[Multi-Head Attention と Multi-Query Attention と Grouped-Query Attention](https://qiita.com/kernelian/items/9a61f3957ccd9155ee4e)
[^13]:[Mistral AI's Open Source Initiative | Arthur Mensch, Mistral AI | #aiPULSE 2023](https://www.youtube.com/watch?v=5fNtOsu3YvQ)
[^14]:[本当にオープンソースのライセンスで利用＆検証できる大規模言語モデル「Mistral 7B」が登場、「Llama 2 13B」や「Llama 1 34B」を上回る性能のAI開発が可能](https://gigazine.net/news/20230928-mistral-7b-open-source-llm/)

## Mixtral 8x7B

2023年12月、Sparse Mixture of Experts（SMoE）モデルであるMixtral 8x7BおよびMixtral 8x7B Instructをリリースした。これもApache 2.0で公開されており、英語、フランス語、イタリア語、ドイツ語、スペイン語に対応している[^20]。
Mixture of Experts（MoE）という構造は、1991年にRobert Jacobs氏、Geoffrey Hinton氏による[Adaptive Mixtures of Local Experts](https://www.cs.toronto.edu/~fritz/absps/jjnh91.pdf)という論文で単一のモデルと比較して、複数のモデルを用いることで全体的な精度と柔軟性が向上する構造として提案されており、Mistral AIがLLMと連携させたことになる[^21]。

Mixtral 8x7Bでは、Expertと呼ばれる8つのブロックを有しており、入力に対して8つのうち2つが選択されて出力を得る。さらにそれらの加重合計を最終的な出力とするようになっている[^23]。
また上記の「ブロック」は、DecoderのみのTransformer構造で、内部でGPUカーネルにフィットするようにAttention機構を分解している[Flash Attention](https://hazyresearch.stanford.edu/blog/2023-01-12-flashattention-long-sequences)が利用されている[^22]。

> ![](https://media.licdn.com/dms/image/v2/D4E12AQHLVTIvd3M0XQ/article-inline_image-shrink_1500_2232/article-inline_image-shrink_1500_2232/0/1702284569377?e=1749081600&v=beta&t=eaarrg4t_xfvzPZHsnPwolvGI3zXIXm4trXmNNjauP4)
[Architecture Insights ( Mixtral-8x7B-32K MoE Model ) ](https://www.linkedin.com/pulse/understanding-mixtral-8x7b-dive-mixture-experts-moe-ayoub-kirouane-k7d1e/)

> ![](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/tgi/flash-attn.png)
[Flash Attention](https://huggingface.co/docs/text-generation-inference/conceptual/flash_attention)

Mixtral 8x7Bは、GPT3.5やLLaMA 2 70Bに比べてサイズだけでなく性能面でも優れており、AIコミュニティに大きな衝撃を与えた。

> ![](https://lh7-us.googleusercontent.com/Zj7Vm1-o2eYRQOARWIr4x8QTjn_o2EulpfPYxrRBZcQGbY6T5v4hkgx0zSYtLAsi6uicT3GUoR3K1-pLNnqT0DEY7jHLWJRZrT2tMRMHMZoVrtdp4sqfIVBQrbNcdIqrFySGHwsOEhuG34rYDc30s7c)
[Mistral AI’s Mixtral 8x7B: A Powerhouse Open SMoE Model](https://digialps.com/mistral-ais-mixtral-8x7b-a-powerhouse-open-smoe-model/)

[^20]:[Mixtral of experts](https://mistral.ai/news/mixtral-of-experts)
[^21]:[The History of Mixture of Experts](https://www.upp-technology.com/blogs/the-history-of-mixture-of-experts/)
[^22]:[Understanding Mixtral-8x7b](https://huggingface.co/blog/vtabbott/mixtral)
[^23]:[Mixtral of Experts](https://arxiv.org/abs/2401.04088)

## La Plateforme
2023年12月に、開発およびデプロイメントAPIサービスプラットフォームであるLa Plateformeのベータアクセスを開始した[^30]。このプラットフォームは、APIエンドポイント、Mistralモデルを用いた実験、カスタムデータセットでの微調整、評価、プロトタイプ作成のためのエコシステムを提供する[^31]。

[^30]:[Mixtral of Experts](https://arxiv.org/abs/2401.04088)
[^31]:[What is Mistral AI?](https://www.ibm.com/think/topics/mistral-ai)

---
続きはこちら

https://qiita.com/akagi_hayato/items/8db8fbcbea61f4c776ca