LLaMA

LLaMA（Large Language Model Meta AI）は、Meta AI が2023年2月に発表した大規模言語モデル。70億パラメータから650億パラメータまで、さまざまなサイズのモデルが学習された。LLaMA の開発者は、130億パラメータモデルがほとんどのNLPベンチマークにおいてGPT-3（1750億パラメータ）の性能を上回ること、最大のモデルは PaLM や Chinchilla などの最先端モデルに匹敵することを報告している。従来、ほとんどの強力な大規模言語モデルは限られた API を通じてしかアクセスできなかったが、Meta は LLaMA のモデルのウェイトを非商用ライセンスで研究コミュニティに公開した。LLaMAのリリースから1週間で、そのウェイトがリークされた。

アーキテクチャと学習 
LLaMA は、2018年以降の言語モデリングの標準的アーキテクチャである Transformer アーキテクチャを採用している。
LLaMA の開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。
これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。
LLaMA は、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。

 コモン・クロールでスクレイピングしたWebページ
 GitHub のオープンソースリポジトリ
 ウィキペディア（20種類の言語）
 プロジェクト・グーテンベルクのパブリックドメインの書籍
 ArXivにアップロードされた科学論文のLaTeXソースコード 
 Stack Exchangeウェブサイトの質問と回答

リリースとリーク 
LLaMA は、2023年2月23日、ブログ投稿と論文により発表された。 モデルのトレーニングに使用されたコードは、オープンソースのGPLv3ライセンスで公開された。モデルの重みへのアクセスは管理され、「世界中の学術研究者、政府・市民社会・学術機関の関係者、産業界の研究所にケースバイケースで許可される」ことになっていた。 

2023年3月2日、LLaMAのウェイトが4chan経由で拡散された。

応用

Alpaca 
スタンフォード大学の基盤モデル研究センター（Center for Research on Foundation Models, CRFM）は、LLaMA の 70億パラメータ・モデルをファイン・チューニングした、Alpaca をリリースした。Alpaca は OpenAI GPT-3.5シリーズの text-davinci-003モデルに匹敵する性能を獲得した。

脚注

出典

関連項目 
 Transformer (機械学習モデル)

外部リンク 
 Meta AI
 Llama

自然言語処理
大規模言語モデル