LLaMA
LLaMA は、2018年以降の言語モデリングの標準的アーキテクチャである Transformer アーキテクチャを採用している。 LLaMA の開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。 これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。 LLaMA は、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。
コモン・クロールでスクレイピングしたWebページ
GitHub のオープンソースリポジトリ
ウィキペディア(20種類の言語)
プロジェクト・グーテンベルクのパブリックドメインの書籍
ArXivにアップロードされた科学論文のLaTeXソースコード
Stack Exchangeウェブサイトの質問と回答
スタンフォード大学の基盤モデル研究センター(Center for Research on Foundation Models, CRFM)は、LLaMA の 70億パラメータ・モデルをファイン・チューニングした、Alpaca をリリースした。Alpaca は OpenAI GPT-3.5シリーズの text-davinci-003モデルに匹敵する性能を獲得した。