NEWS RELEASE
2024 年（令和 6 年）4 ⽉ 30 ⽇

⼤規模⾔語モデル「LLM-jp-13B v2.0」を構築〜NII 主宰 LLM 勉強会（LLM-jp）が「LLM-jp-13B」のあああ後続モデルとその構築に使⽤した全リソースを公開〜
エヌアイアイ

くろはし さだお

⼤学共同利⽤機関法⼈ 情報・システム研究機構 国⽴情報学研究所（ N I I 、所⻑︓⿊橋 禎夫、東京都千代⽥区）は、昨年 5 ⽉から、⾃然⾔語処理及び計算機システムの研究者を中⼼として、⼤学・企業等から 1,200 名以上（2024 年 4 ⽉末現在）が参加する LLM 勉強会（LLM-jp）を主宰しています。同年 10 ⽉には、初期の開発成果として、パラメータ数(*1)130 億の⼤規模⾔語モデル（LLM）「LLM-jp-13B v1.0」を公開しました。
この開発経験を踏まえ、今年 1 ⽉から、計算資源としてデータ活⽤社会創成プラットフォーム
mdx(*2)を活⽤し、コーパス(*3)やモデル構造の改善、安全性を考慮したチューニングの導⼊などを⾏い、後続モデルとして「LLM-jp-13B v2.0」を構築しました。本⽇、同 LLM を公開しましたのでお知らせします。また、今後のアカデミアや産業界の研究開発に資するため、コーパスを含む、同 LLM の構築に使⽤したすべてのリソースもあわせて公開しています。
LLM の性能が向上し、社会での利活⽤が本格化するにしたがって、LLM の透明性・信頼性の確保、安全性の配慮がより⼀層重要となります。今回のモデルや今後構築するモデルを活⽤してそれらの研究を進め、LLM 研究開発の促進に貢献します。
１．

今回構築した LLM「LLM-jp-13B v2.0」の概要（1） 「LLM-jp-13B v1.0」からの主な変更点
l⽇本語ウェブコーパスの改善︓⼤規模ウェブアーカイブ Common Crawl の全量から「Uzushio」を⽤いて⽇本語テキストを抽出、フィルタリングしたコーパス「⽇本語 Common Crawl」を新たに構築して使⽤。
「LLM-jp-13B v1.0」の学習に使⽤した⽇本語ウェブコーパス「⽇本語 mC4」と⽐較して品質が⼤幅に改善。

lモデルアーキテクチャの改善︓種々の改善が加わった現代的なモデルアーキテクチャを採⽤。最⼤トークン⻑を 2,048 から 4,096 に拡張し、より⻑い⽂脈を処理できるように改善。

l

安全性に配慮したチューニング︓安全性の観点に基づくデータセットを新たに構築し、モデルのチューニングに使⽤。

（2） 利⽤計算資源等
l

データ活⽤社会創成プラットフォーム mdx（16 ノード、NVIDIA A100 GPU 128枚）を利⽤

lmdx の利⽤料⾦は NII、理化学研究所⾰新知能統合研究センター（AIP）、学際⼤規模情報基盤共同利⽤・共同研究拠点（JHPCN）の３組織が負担

lモデル構築には NVIDIA が開発している LLM の学習フレームワーク「MegatronLM」を利⽤

lモデル構築時の評価指標の監視やログの保存には実験管理プラットフォーム「Weights & Biases」を利⽤（3） モデル学習⽤コーパスl

学習データ量︓約 2,600 億トークン
Ø

⽇本語︓約 1,300 億トークン（⽇本語 Common Crawl、⽇本語 Wikipedia）

Ø

英語︓約 1,200 億トークン（英語 Pile、英語 Wikipedia）

Ø

プログラムコード︓約 100 億トークン（4） モデルl

パラメータ数︓130 億個（13B）l

モデルアーキテクチャ︓LLaMA ベースl

最⼤トークン⻑︓4,096（5） チューニング
l

⽇本語インストラクションデータおよび英語インストラクションデータの和訳デー
タ 8 種類を⽤いてチューニング実験を実施（6） 評価l

既存の⽇本語⾔語資源を利⽤した 22 種類の評価データを整備し、横断的に評価を⾏うフレームワーク「llm-jp-eval v1.3.0」を構築・使⽤

l

GPT-4 による⽣成テキストの⾃動評価フレームワーク「⽇本語 Vicuna QA」および「⽇本語 MT Bench」を使⽤

l

⼈⼿による⽣成テキストの安全性に関する評価を実施

lいずれの評価においても「LLM-jp-13B v1.0」と⽐較して⼤幅な性能向上を確認（7） 開発モデル・ツール・コーパスの公開 URL
https://llm-jp.nii.ac.jp/release
注︓今回公開するモデルは、安全性の観点に基づくチューニングを⾏ったものではありますが、まだ研究開発の初期段階のものであり、そのまま実⽤的なサービスに供することを想定しているものではありません。

２．

LLM 勉強会（LLM-jp）の概要（1） NII が主宰する LLM-jp では、⾃然⾔語処理及び計算機システムの研究者を中⼼として、⼤学・企業等から 1,200 名以上（2024 年 4 ⽉末現在）が集まり、ハイブリッド会議、オンライン会議、Slack 等を活⽤して LLM の研究開発について情報共有を⾏うとともに、共同で LLM 構築等の研究開発を⾏っています。具体的には、以下の⽬的で活動しています。
lオープンかつ⽇本語に強い LLM の構築とそれに関連する研究開発の推進l

上記に関⼼のある⾃然⾔語処理および関連分野の研究者によるモデル構築の知⾒や最近の研究の発展についての定期的な情報交換

l

データ・計算資源等の共有を前提とした組織横断的な研究者間の連携の促進

lモデル・ツール・技術資料等の成果物の公開（2） LLM 構築にあたっては、「コーパス構築 WG」「モデル構築 WG」「チューニング・評価 WG」「安全性 WG」「マルチモーダル WG」等を設置し、それぞれ、早稲⽥⼤学 河原⼤輔教授、東北⼤学 鈴⽊潤教授、東京⼤学 宮尾祐介教授、国⽴情報学研究所 関根聡特任教授、東京⼯業⼤学 岡崎直観教授を中⼼に研究開発活動に取り組んでいます。このほか、東京⼤学 ⽥浦健次朗教授、空閑洋平准教授（計算資源 mdx の利⽤）
、東京⼯業⼤学 横⽥理央教授（並列計算⼿法等）等、多数の⽅々の貢献により、活動を進めています。
（3） 詳細については、ホームページ https://llm-jp.nii.ac.jp/ をご参照ください。
３．

今後の予定

LLM を社会で利活⽤していく上では LLM の透明性・信頼性の確保が必要であり、モデルの⾼度化に伴い、安全性の配慮もより重要となります。そのため、NII は、⽂部科学省の補助事業「⽣成 AI モデルの透明性・信頼性の確保に向けた研究開発拠点形成」（https://www.mext.go.jp/content/20240118-ope_dev03-000033586-11.pdf の p.7）の⽀援を受け2024 年 4 ⽉に⼤規模⾔語モデル研究開発センターを設置しました。
今回公開したモデルや、現在経済産業省の「GENIAC」の⽀援のもと構築している 1750 億
パラメータ規模の LLM などの今後構築するモデルを活⽤してそれらの研究を進め、LLM 研究開発の促進に貢献します。

〈メディアの皆様からのお問い合わせ先〉
⼤学共同利⽤機関法⼈ 情報・システム研究機構 国⽴情報学研究所
総務部企画課 広報チーム
TEL:03-4212-2164 E-mail︓media@nii.ac.jp

(*1) パラメータ数︓⼤規模⾔語モデルは⾔語を学習した⼤規模なニューラルネットワークで、パラメータはニューラルネットワークの規模を⽰す指標のひとつ。パラメータ数が多いほど⾼い性能であるといわれている。
(*2) データ活⽤社会創成プラットフォーム mdx︓9 ⼤学 2 研究所が連合して共同運営する、データ活⽤にフォーカスした⾼性能仮想化環境。研究環境を⽤途に合わせてオンデマンドで短時間に構築・拡張・融合できる、データ収集・集積・解析のためのプラットフォーム。今回のモデル構築に当たっては、NII のほか、理化学研究所⾰新知能統合研究センター（AIP）と学際⼤規模情報基盤共同利⽤・共同研究拠点（JHPCN）の資⾦拠出により利⽤。
(*3) コーパス︓⾃然⾔語の⽂章を構造化し⼤規模に集積したデータベース。