Llama

Llama（ラマ、Large Language Model Meta AI）は、Meta が開発している大規模言語モデル（LLM）および小規模言語モデル（SLM）である。Llama は、2018年以降の言語モデリングの標準的アーキテクチャである Transformer アーキテクチャを採用している。

名称は当初はLLaMAだったが、2023年7月18日のLlama 2のリリースの際にLlamaに変更になった。2025年4月5日、Llama 4がリリースされた。

 LLaMA (初代) 
LLaMAの開発者の論文によれば、LLaMAは70億パラメータ（業界の慣習でこれをBillionのBを使って「7B」と書くことがある。以下同様。）から650億パラメータ（65B）まで、いくつものサイズのモデルが作られた。LLaMA-13Bの性能は、GPT-3-175BをほとんどのNLPベンチマークで上回る。そして、LLaMA-65Bの性能は、GoogleのPaLM-540BやDeepMindの-70Bなど、当時の最先端モデルに匹敵した。

 トレーニングデータ 
LLaMAの開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。
これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。

初代のLLaMAは、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。

 コモン・クロールでスクレイピングしたWebページ
 GitHub のオープンソースリポジトリ
 ウィキペディア（20種類の言語）
 プロジェクト・グーテンベルクのパブリックドメインの書籍
 ArXivにアップロードされた科学論文のLaTeXソースコード 
 Stack Exchangeウェブサイトの質問と回答

 学習済みパラメータのリーク 
LLaMAは、2023年2月24日、ブログ投稿と論文により発表された。

それまでは、ほとんどの強力な大規模言語モデルは制限のある API を通じてしかアクセスできなかった。Metaは、LLaMAのモデルで学習の結果得られたパラメータを内部管理し、「世界中の学術研究者、政府・市民社会・学術機関の関係者、産業界の研究所にケースバイケースで許可」として、研究コミュニティにだけ非商用ライセンスで利用許可する方針とした。

ところが2023年3月2日、LLaMAのリリースから1週間でその学習済みパラメータが漏れ、4chan経由で拡散されてしまった。

 ライセンス 
Llama 2のモデルのトレーニングに使用されたコードは Llama 2 Community License Agreement の下で公開されている。

Llamaの公開当初より、MetaはLlama 2及び3.xをオープンソースとしていたが、月間7億アクティブ・ユーザーがいる企業の場合はMetaの利用許可の取得が必要とするなどの条項があるため、実態としてはソースアベイラブルである。これに対しOpen Source Initiativeは「オープンソースを誤解している」として批判し、オープンソース表記を取りやめるよう求めている。2025年11月時点では、MetaはLlamaのライセンスを「独自の商業ライセンス」と回答している。

 バージョン 
 名称  リリース日  パラメータ 学習コスト (ペタFLOP日) コンテキスト長 (トークン)  コーパスサイズ (トークン)  商業利用 LLaMA 2023年2月24日 6.7B
 13B
 32.5B
 65.2B 6,300 2048 1–1.4T  Llama 2 2023年7月18日 6.7B
 13B
 69B 21,000 4096 2T rowspan="6" （制限あり） Code Llama 2023年8月24日 6.7B
 13B
 33.7B
 69B Llama 3 2024年4月18日 8B
 70.6B 100,000 8192 15T Llama 3.1 2024年7月23日 8B
 70.6B
 405B 440,000 128,000 Llama 3.2 2024年9月25日 1B
 3B
 11B
 90B 128,000 9T Llama 3.3 2024年12月7日 70B 128,000 15T Llama 4 2025年4月5日  

 派生モデル 
Llamaの派生モデルは多数あり、Hugging Faceなどでその学習済みパラメータが公開されている。

 Alpaca 
スタンフォード大学の基盤モデル研究センター（Center for Research on Foundation Models, CRFM）は、2023年3月13日、初代のLLaMA-7Bをファイン・チューニングした、Alpaca をリリースした。Alpaca は OpenAI GPT-3.5シリーズの text-davinci-003モデルに匹敵する性能を獲得した。

訓練手法は、まず175個の入出力のペアのデータを作成し、OpenAIに$500支払い text-davinci-003 を使用して52,000個の訓練データに増やし、クラウドのGPUに$100支払いファインチューニングした。これにより text-davinci-003 と同程度の性能となった。なお、OpenAIはOpenAIのモデルを使用して訓練させることを禁止している。

 Stability AI 
Stability AIは、2023年7月21日にLLaMA-65BをファインチューニングしたStable Beluga 1を、2023年7月27日にLlama 2 70BをファインチューニングしたStable Beluga 2を公開した。

 ELYZA LLM for JP 
ELYZA（本社：東京都文京区）は、2023年8月29日、Llama 2 7Bをベースに日本語性能を強化したELYZA-japanese-Llama-2-7bを公開。2024年6月26日、Llama-3-ELYZA-JP（8Bおよび70B）を公開。2024年10月25日、Llama-3.1-ELYZA-JP-70Bを公開。

 サイバーエージェント 
サイバーエージェントは、2024年7月26日、Llama 3.1 70BをファインチューニングしたLlama-3.1-70B-Japanese-Instruct-2407を公開した。

 Sakana AI 
Sakana AIは、2024年8月2日、Llama-3-EvoVLM-JP-v2を公開した。

 脚注 

 出典 

 関連項目 
 Transformer (機械学習モデル)
  (#)

 外部リンク 

 Meta AI

Category:自然言語処理
Category:大規模言語モデル
Category:Metaのハードウェア