jh231006

大規模な日本語モデル構築・共有のためのプラットフォームの形成
相澤彰子（国立情報学研究所）

概要
言語モデルの大規模化に伴い、その構築には多くの GPU 計算資源が必要とされるようになっている。本研究では、(1) 汎用型の日本語言語モデル、(2) 学術分野に特化した日本語言語モデル、の２種類のモデルの構築および評価を通して、大規模言語モデルに関する研究開発を進めるとともに、得られた技術的な知見を公開・共有した。

築と性能評価（早稲田大学（河原大輔、笠1 共同研究に関する情報
1.1

原智仁、伊藤俊太朗、清水博文、今井咲良、共同研究を実施した拠点名

太田聖三郎、王昊、小林俊介、村田栄樹、植松拓也、近藤瑞希）、京都大学（黒橋禎• mdx
1.2

夫、村脇有吾、Chenhui Chu、清丸寛一、

課題分野

植田暢大、大村和正、児玉貴志））• データ科学・データ利活用課題分野
1.3

共同研究分野 (HPCI 資源利用課題のみ)

1.4

参加研究者の役割分担

2 研究の目的と意義言語は学術、教育、ビジネスなど含むあらゆ

本課題では、東京大学情報基盤センターとのる知的活動の基盤であり、計算機による日本共同研究のもと２つのサブ課題を設定して、事語の言語処理は、日本の社会全体のデジタル化前学習済言語モデルの構築および利活用を進しや AI イノベーションの根幹となる情報技術でている。

ある。現在の自然言語処理は、深層学習による• GPU 計算基盤構築を利用した大規模言語「事前学習済み言語モデル」を中核として進展モデル構築に関する技術的サポート（東京しているが、この言語モデルの学習には多くの大学情報基盤センター（田浦健次朗））ノウハウと計算資源が必要で、単一の研究室で•【課題１】分野特化型の日本語言語モデルは人材や資源の確保が困難となっている。このの構築と学術分野への適用（国立情報学研

状況を打開するために、関連研究者が組織横断究所（相澤彰子、金澤輝一、菅原朔）、東京的に連携して、最新の研究成果を反映した日本大学（知田悠生、江俊鋒））

語モデルを戦略的かつ迅速に構築・共有する必•【課題２】汎用型の日本語言語モデルの構要がある。

1

上記を踏まえて本研究では、大規模情報基盤【課題１】分野特化型日本語言語モデル構築

mdx 上の GPU リソースを効率的に活用して、課題１では、医学系の学術ドメインを対象と深層学習による日本語言語モデルの構築およして、日本語の論文テキストを収集して言語モび公開に資する研究開発に取り組む。具体的にデルを構築した。

は、【課題１】においては、汎用型言語モデルのまず、日本語医学系論文の抄録*1 から約 1,160

継続事前学習による高性能な分野特化型モデル万文（1 文あたり平均 54.9 文字、約 1.8 GB）の構築について検討する。【課題２】においてを抽出し、代表的な言語モデル構築手法であは、日本語における汎用型言語モデルの大規模る RoBERTa（A Robustly Optimized BERT化、高性能化を検討する。特に研究期間中で、Pretraining Approach）*2 を適用し、必要とな汎用型言語モデルに対して日本語の外部知識をる GPU 数を同一サーバ上の A100 8 GPU と統合する方法を確立することを目指す。

見積った。これは、１つの言語モデルの学習に１週間程度を要するものである。

3 当拠点公募型研究として実施した

次に、言語モデルのパラメタ調整と評価のた

意義

めに、基本的な単語予測タスク、医学系テキス

大規模言語モデルは急速な進展の途上にあト（カルテ）からの情報抽出に関する共通タス

り、その複雑さからモデル自体のふるまいも未ク（NTCIR -MedNLP）に加え、新たに医学系解明であるなど、解決するべき問題が多い。とテキスト（論文）を対象とした分野分類、索引

りわけ 2022.11 に ChatGPT が公開された後への機能ラベル付与、および索引付与タスクをは、大規模言語モデル（Large Language Mod-定義して、実行環境を整備した。

els, LLMs）の社会的な影響は大きく、アカデ

さらに、上記をを用いて、言語モデルの構築

ミアの視点でモデル構築のデータやノウハウをにおける専門用語辞書の利用やトークン化の共有しつつオープンな形で研究に取り組むこと

手法、語彙サイズの影響を評価し、最終的に４は言語モデルを使う幅広いユーザを支援するだ通りの組み合わせで言語モデルを構築した。現

けでなく、今後のアカデミアとしての研究基盤在、自然言語処理で広く普及している深層学習の維持や研究者育成のために重要である。

フレームワークである Hugging Face Hub*3 上

以上の背景のもと本課題では、大規模情報基で公開した。

盤 mdx 上の GPU リソースを効率的に活用した大規模言語モデルの構築に先行して取り組み、そのノウハウを関連する研究者や技術者に共有した。

4 前年度までに得られた研究成果の*1 論 文 抄 録 は 、JSTAIP 日 独 仏 AI 研 究 、JPMJCR20G9 の 実 施 の た め 、科 学 技 術 振 興 機 構(JST) から提供を頂いた*2 Liu, Y., Ott, M., Goyal, N., Du, J., Joshi,M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa:
A Robustly Optimized BERT Pretraining Approach. ArXiv, abs/1907.11692.
*3 https://huggingface.co/概要以下に示す２つのサブ課題を設定して、それぞれ言語モデルの構築に取り組んだ。

2

【課題２】汎用型大規模日本語言語モデルのモデルを構築することとした。mdx 上の A100

構築

8 GPU を用いて、1 エポックに 1 週間をかけ

課題２では、一般ドメインを対象として日て学習した。先行研究を参考に、少なくとも 10本語言語モデルを構築している。一般ドメイエポックの学習を行う必要があると考え、約ンのテキストとしては、日本語 Wikipedia (約2.5 か月をかけて学習を完了した。学習したモ2,000 万文) および日本語 CC-100 (約 6 億文)

デルは Hugging Face Hub 上で公開した*9 。

を結合して用いる。CC-100 は、ウェブクロー

5 今年度の研究成果の詳細

ルデータ Common Crawl から抽出された各言語のテキストである*4 。

前年度に引き続き、以下に示す２つのサブ課

言語モデルとしては、トークナイゼーショ

題に取り組んだ。２つのサブ課題を中心とするンの単位が異なる以下の二つをターゲットと参加研究者の間では、必要に応じてミーティンした。

グを実施して、日本語の分かち書き（トークナ

一つ目は、文字単位の言語モデルとして、イゼーション）方法、言語モデル構築におけるRoBERTa-large (パラメタ数 330M) を構築しGPU の有効活用法、構築した言語モデルの公た。モデルをより頑健にするために、Whole開方法などについて、互いに情報共有をした。

Word Masking (WWM) を適用した。これは、【課題１】分野特化型の日本語言語モデルのある文字をマスクして予測する場合に、同じ単構築語内の残りの文字もマスクする方法である。こ

前年度では BERT をベースにしたエンコーのモデルを mdx の A100 16 GPU 上で深層学ダー系のモデルを扱っていたが、近年の大規模*5習最適化ライブラリ DeepSpeed を用いて約言語モデルの主流は GPT に代表されるデコー1 か月で学習した。学習したモデルは Hugging

ダー系モデルであることから、比較的小規模なFace Hub 上で公開した*6 。

モデルである GPT-2 をベースに、学術系テキ

二つ目は、単語単位の言語モデルとして、ストを用いた追加学習による言語モデルの構築

GPT2-XL (パラメタ数 1.5B) を構築した。単および評価に取り組んだ。昨今の技術動向を踏

語単位の RoBERTa-large は、我々のグループ

まえて、LLM の事前学習ではなく、トークナ*7ですでに構築、公開 しており、有効性を確認

イズや生成モデルによる専門用語の抽出手法な済みであるため、RoBERTa と同様に代表的などを中心に調査や検討を進めた。
また、これまでの mdx 公募研究で得られた言語モデル構築法である GPT-2 (Generative*8

知見に基づき、医療分野については別途 mdxPre-Training) を用いてパラメタ数が大きな計算資源を確保して、オープンな LLM であるLLaMA（7B パラメタ/13B パラメタ）をベー*4 https://data.statmt.org/cc-100/

スに日本語医療分野論文テキストを事前追加*5 https://github.com/microsoft/DeepSpeed*6 https://huggingface.co/ku-nlp/

学習したモデルを構築して、代表的な医療分野

roberta-large-japanese-char-wwm*7 https://huggingface.co/nlp-waseda/
roberta-large-japanese-seq512*8 Radford, A., Wu, J., Child, R., Luan, D.,
Amodei, D., & Sutskever, I. (2019). Language
Models are Unsupervised Multitask Learners.のベンチマークセットを用いて性能評価を行っ*9 https://huggingface.co/nlp-waseda/

gpt2-xl-japanese3

て、有効性を確認した。さらに、mdx 基盤をコーパスおよびプログラミングコードを含め利用して別途構築された LLM-jp（13B パラメた。このモデルの学習は、A100 16 GPU を用タ）についても、同様に追加学習を適用して、いて 2 週間程度で完了した。JGLUE を用いて医療分野のベンチマークセットを用いた性能評

性能を評価したところ、残念ながら DeBERTa価を行った*10 。

v2 と同等のレベルであったが、英語やコード【課題２】汎用型の日本語言語モデルの構築に関するタスクにも適用可能であるという利点がある。このモデルは Hugging Face Hub で一般ドメインを対象として、現在公開されて公開している*12 。

いる汎用型言語モデルより高性能な日本語モデルの構築に取り組んだ。前年度はエンコーダー

6 今年度の進捗状況と今後の展望

系の RoBERTa ベースのモデルについて、文字単位と単語単位の日本語モデルを構築し公開し【課題１】においては、当初パラメタ数が 1Bた。今年度は、RoBERTa より高性能と言われ以上の大規模言語モデルを mdx 上で動かしてている DeBERTa (v2) に注目し、この文字単位検証や活用を行うことを目標としていた。本年および単語単位の日本語モデルを構築した。学度は mdx 上に別プロジェクトを立てて計算資

習コーパスには、インターネットアーカイブで源を確保することにより、13B の追加学習まある Common Crawl 由来の日本語 Web コーでを実施しており、十分に目標を達成することパスおよび日本語 Wikipedia を用いた。これができた。一方で、学術分野における専門分野らは base サイズのモデル (約 1 億パラメータ)オントロジーへの対応付けについては、言語モであり、A100 8 GPU を用いて、それぞれ 3デルの急激な大規模化の影響により、実際に日週間程度で学習を完了した。文字単位のモデ

本語モデルを構築・公開することはできなかっルについては統合的日本語解析器 KWJA におたが、生成型の LLM を用いた学術文献からのいて、単語単位のモデルについては日本語言語キーフレーズ抽出の有効性を確認し、今後に向理解ベンチマーク JGLUE において性能を評けた知見とすることができた。

価したところ、それぞれ RoBERTa よりも高

【課題２】においては、日本語における汎用性能であることを確認した。これらのモデルは型言語モデルの高性能化に成功し、モデルを公Hugging Face Hub で公開している*11開しており、目標を達成することができた。一。

さらに、上記の DeBERTa モデルの高性能方で、生成型の LLM を含む汎用型言語モデル化を検討したところ、DeBERTa v3 が有望でに対して外部知識を統合する方法を調査・検討あったため、DeBERTa v3 の単語単位の日本したが、これについてはモデルの構築には至ら語モデル (base サイズ) を構築した。学習コーなかった。この研究は後述の LLM-jp 等の活パスには、上記の日本語コーパスに加え、英語動において継続していく予定である。
本提案では、言語モデルを構築するためのノ*10 これらの学習には多くの資源が必要となるため、公ウハウを共有し、計算機による日本語の処理を募研究とは別枠でプロジェクトを設定して実施した。

幅広く支援するための今後の方策を探ることを*11 https://huggingface.co/ku-nlp/

deberta-v2-base-japanese-char-wwm,
https://huggingface.co/ku-nlp/
deberta-v2-base-japanese*12 https://huggingface.co/ku-nlp/

deberta-v3-base-japanese4長期的な目標としていた。近年の大規模言語モ

2023 年 5 月

デルの急速な社会への普及を受けて、2023 年• Akiko Aizawa: Natural Language Pro-

5 月に LLM-jp（大規模言語モデル勉強会）がcessing for Scientiﬁc Paper Analysis.

立ち上がり、mdx 上での大規模言語モデル構Seventh International Workshop on SCI-築の試みがはじまった。本共同研究のメンバー

entiﬁc DOCument Analysis (SCIDOCA

は LLM-jp 立ち上げの中核メンバーでもあり、2023) 、招待講演、2023 年 6 月 6 日

昨年度から継続している本共同研究における• 相澤彰子：2023 年度人工知能学会全国大

知見は、LLM-jp での活動に生かされている。

会 特別企画セッション「日本は生成 AI をLLM-jp では 2023 年度に mdx 上の計算資源を起爆剤にできるのか？」パネリスト、2023

活用して 130 億パラメタの日本語汎用モデル年6月6日を構築・公開している。医療モデルについては• 相澤彰子：大規模言語モデルの構築とドメ

SIP 統合ヘルスケアシステムの活動の一環としイン適応、第 43 回医療情報学連合大会（第ての取り組みがスタートした。さらに 2024.4

24 回日本医療情報学会学術大会）、大会企には国立情報学研究所に大規模言語モデル研究

画 1「生成 AI の医療への応用」パネリス開発センターが設置されるなど、LLM をめぐト、2023 年 11 月

る動きは活発化しており、当初の公募における• 河原大輔：日本語大規模言語モデルと言目的は果たしたといえる。

語理解ベンチマークの共進化、第 43 回医療情報学連合大会（第 24 回日本医療情報7 研究業績一覧（発表予定も含む）

学会学術大会）、共同企画 7 人工知能学会

学術論文 （査読あり）「医学医療における AI 応用」パネリスト、

国際会議プロシーディングス• Nobuhiro Ueda,（査読あり）

2023 年 11 月

Kazumasa Omura,

公開したライブラリ等

Takashi Kodama, Hirokazu Kiyomaru,

その他（特許，プレス発表，著書等）

Yugo Murawaki, Daisuke Kawahara, andSadao Kurohashi:

KWJA: A Uniﬁed

Japanese Analyzer Based on Foundation Models.

In Proceedings of the61st Annual Meeting of the Association
for Computational Linguistics (Volume3: System Demonstrations), pp.538–548,2023.7.
国際会議発表（査読なし）

国内会議発表（査読なし）• 相澤彰子：「自然言語処理による学術論文の解析：現状と展望 」人工知能学会誌 特集：「研究評価と学術情報分析」 38(3) 375-383

5