Mistral AI
モデル

| 名前 | リリース日 | パラメータ数 (十億) | ライセンス | 備考 |
| --- | --- | --- | --- | --- |
| Mistral Small 3 25.01 | 000000002025-01-01-00002025年1月 | 24 | Apache 2.0 | 2025年1月のリリース時、Mistral Small 3は、70B未満の「小型」モデルカテゴリーのリーダーとしてベンチマークされており、24Bのパラメータと、より大型モデルに匹敵する機能を備えている。 |
| Mistral Large 2 24.11 | 000000002024-11-01-00002024年11月 | 123 | Template:Partial success |  |
| Pixtral Large 24.11 | 000000002024-11-01-00002024年11月 | 124 | Template:Partial success | 2024年11月19日、同社はPixtral 12Bの改良版であるPixtral Largeを発表した。これは、10億パラメータのビジュアルエンコーダーとMistral Large 2を統合したものである。このモデルは、特に長文コンテキストと関数呼び出しのために強化されている。 |
| Ministral 8B 24.10 | 000000002024-10-01-00002024年10月 | 8 | Template:Partial success |  |
| Ministral 3B 24.10 | 000000002024-10-01-00002024年10月 | 3 | プロプライエタリ |  |
| Pixtral 24.09 | 000000002024-09-01-00002024年9月 | 12 | Apache 2.0 |  |
| Mistral Large 2 24.07 | 000000002024-07-01-00002024年7月 | 123 | Template:Partial success | Mistral Large 2は、2024年7月24日に発表され、Hugging Faceでリリースされた。Mistral Research Licenceで無料で利用でき、商用目的では商用ライセンスが必要となる。Mistral AIは、このモデルが多くのプログラミング言語を含む数十の言語に堪能であると主張している。以前のMistral Largeとは異なり、このバージョンはオープンウェイトでリリースされた。このモデルは1230億のパラメータと128,000トークンのコンテキスト長を持つ。 |
| Codestral Mamba 7B | 000000002024-07-01-00002024年7月 | 7 | Apache 2.0 | Codestral Mambaは、Mamba 2アーキテクチャに基づいており、より長い入力でも応答を生成できる。 Codestralとは異なり、Apache 2.0ライセンスでリリースされた。以前のリリースでは、ベースモデルとinstructバージョンの両方が含まれていることが多かったが、Codestral Mambaではinstructバージョンのみがリリースされた。 |
| Mathstral 7B | 000000002024-07-01-00002024年7月 | 7 | Apache 2.0 | Mathstral 7Bは、Mistral AIが2024年7月16日にリリースした70億パラメータのモデルで、STEM分野に焦点を当てている。 このモデルはProject Numinaとの共同で作成され、 Apache 2.0ライセンス、32kトークンのコンテキスト長でリリースされた。 |
| Codestral 22B | 000000002024-05-01-00002024年5月 | 22 | Template:Partial success | Codestralは、2024年5月29日に発表されたMistral初のコードに焦点を当てたオープンウェイトモデルである。Mistralは、Codestralが80以上のプログラミング言語に堪能であると主張している。 Codestralには独自のライセンスがあり、商用目的でのCodestralの使用を禁じている。 |
| Mistral 8x22B | 000000002024-04-01-00002024年4月 | 22 | Apache 2.0 | Mistralの以前のオープンモデルと同様に、Mixtral 8x22Bは、2024年4月10日にTwitterでBitTorrentリンクを介してリリースされ、 その後まもなくHugging Faceでリリースされた。 このモデルは、Mistral 8x7Bと同様のアーキテクチャを使用しているが、各専門家が70億ではなく220億のパラメータを持っている。合計で、モデルは1410億のパラメータを含んでおり、一部のパラメータは専門家間で共有されているが、より高いパフォーマンスを提供している。 |
| Mistral Small | 000000002024-02-01-00002024年2月 | 不明 | プロプライエタリ | Largeモデルと同様に、Mistral Smallは2024年2月26日に発売された。 |
| Mistral Large 24.02 | 000000002024-02-01-00002024年2月 | 不明 | プロプライエタリ | Mistral Largeは2024年2月26日に発売され、MistralはOpenAIのGPT-4に次ぐ世界2位であると主張している。英語、フランス語、スペイン語、ドイツ語、イタリア語に堪能で、文法と文化的背景の両方を理解しているとMistralは主張しており、コーディング機能も提供する。2024年初頭の時点で、Mistralの主力AIである。 また、Microsoft Azureでも利用可能である。 |
| Mistral Medium | 000000002023-12-01-00002023年12月 | 不明 | プロプライエタリ | Mistral Mediumは、英語、フランス語、イタリア語、ドイツ語、スペイン語、およびコードを含むさまざまな言語でトレーニングされており、MT-Benchで8.6のスコアを獲得している。 LMSys ELOアリーナベンチマークでは、Claudeより上位、GPT-4より下位にランク付けされている。 Mistral Mediumのパラメータ数とアーキテクチャは不明である。Mistralはそれに関する公的な情報を公開していないためである。 |
| Mistral 8x7B | 000000002023-12-01-00002023年12月 | 46.7 | Apache 2.0 | Mistralの最初のモデルと同様に、Mixtral 8x7Bは、2023年12月9日にTwitterに投稿されたBitTorrentリンク、 および2日後のHugging Faceとブログ投稿を介してリリースされた。 以前のMistralモデルとは異なり、Mixtral 8x7Bはスパース混合エキスパートアーキテクチャを使用している。このモデルには8つの異なる「専門家」グループがあり、モデルに合計467億の利用可能なパラメータを与えている。 各単一トークンは129億パラメータしか使用できないため、129億パラメータモデルが発生するであろう速度とコストが得られる。 「Mixtral 8x7B Instruct」と呼ばれる指示に従うようにトレーニングされたバージョンも提供されている。 |
| Mistral 7B | 000000002023-09-01-00002023年9月 | 7.3 | Apache 2.0 | Mistral 7Bは、transformersアーキテクチャを使用した73億パラメータの言語モデルである。2023年9月27日に、BitTorrentマグネットリンク、 およびHugging Face を介して、Apache 2.0ライセンスの下で正式にリリースされた。Mistral 7Bは、標準的な注意メカニズムの変形であるグループ化クエリ注意（GQA）を採用している。このアーキテクチャは、すべての隠れ状態にわたるのではなく、隠れ状態の特定のグループ内で注意を計算することにより、パフォーマンスを最適化し、効率とスケーラビリティを向上させる。 ベースモデルと「instruct」モデルの両方がリリースされ、後者はチャットスタイルのプロンプトに従うために追加のチューニングを受けている。ファインチューニングされたモデルはデモンストレーション目的のみを意図しており、ガードレールやモデレーションは組み込まれていない。 |