# ビジネスのドメインに対応した日本語大規模言語モデルの開発

近江崇宏 ${ }^{1}$ 高橋洸丞 ${ }^{1}$ 有馬幸介 ${ }^{1}$ 石垣達也 ${ }^{2}$
 }^{1}$ ストックマーク株式会社 ${ }^{2}$ 産業技術総合研究所


\{takahiro. omi, kosuke. takahashi, kosuke. arima\}@stockmark.co.jp ishigaki. tatsuya@aist. go.jp
## 概要

この一年ほどで日本語に対応した大規模言語モデルが活発に開発されている。今回、我々はビジネスのドメインに対応した 130 億パラメータの日本語の大規模言語モデルの開発を行い、事前学習済みモデル及び指示学習済みモデルの公開をおこなった。本論文では、事前学習や指示学習の詳細や、モデルの評価、特にビジネスのドメインでの優れた質問回答性能について報告する。また、最新の情報の継続的学習に関する初期的な検証結果についても簡単に報告する。

## 1 はじめに

近年、大規模言語モデル (LLM) のユーザーの指示に従って柔軟に応答を行う能力や、少数の例の提示により新規な言語タスクを解く能力が著しく向上し、注目を集めている $[1,2]$ 。ChatGPT の登場を契機に、一般社会でも LLM の活用が進みつつある。これまで開発されてきた LLM の多くは、英語を主な対象としてきたが $[1,3,4]$ 、この一年ほどで、日本語に対応した LLM も多く開発されるようになってきた $[5,6,7,8]$ 。

これまで開発されてきた日本語の LLM のほとんどは、主に Wikipedia や $\mathrm{mC4}$ などの Common Crawl 由来の幅広いドメインや話題を含むコーパスから学習を行った汎用型の LLM である $[5,6,7,8]$ 。その一方で、特定のドメインのタスクを扱う際には、そのドメインの専門用語などの知識を獲得することが重要であり、英語のモデルでは科学、医学、金融などのドメイン特化型のモデルも開発されてきている $[9$, $10,11]$ 。

本研究ではビジネスのドメインに対応した LLM を開発する。そのために、既存の一般のドメインのコーパスに加えて、ビジネスドメインのコーパスを合わせたデータセットを作成し、これを用いて 130 億パラメータの LLM の事前学習を行った。そして、
ビジネスのドメインでの質問回答の性能を評価するために、ビジネスに関する質問を 50 問作成し、ここで開発したモデルが既存のモデルに比べてビジネスのドメインの知識を獲得していることを確かめた。開発した事前学習および指示学習済みのモデルは stockmark-13b 及び stockmark-13b-instruct として、 Huggingface Hub にて公開されている[12,13]。

また、ビジネスのドメインでは最新の情報が重要であるため、LLM に対して最新の情報を継続的に学習させていくことも重要なテーマである。そこで、事前学習を行った後に収集されたデータを用いた継続的学習に関する初期的な検証結果についても簡単に報告を行う。

## 2 事前学習

本節では、事前学習についての詳細を記述する。

## 2. 1 データセット

本研究では、ビジネスのドメインに対応した LLM を開発するために、日本語の LLM $の$ 事前学習で用いられる、一般ドメインの Wikipedia や CC100、mC4、 Common Craw1 などのコーパスに加えて、ビジネスドメインの公開されている Web ページ (2023 年 9 月まで）を収集し、クリーニングを行った Stockmark Web コーパス (非公開) と特許のコーパスを用いて、合計 2200 億トークンからなるデータセットを作成した。各コーパスのデータ量は表 1 にまとめられてい

表 1: 事前学習のデータセット構成

 \\

表 2: 日本語の指示学習のデータセット

る。

事前学習時には、コーパスに応じて重みを変えた。具体的には、 1 エポックの中で、基本的には各デー タは 1 回のみ現れるが、Stockmark Web Corpus と Wikipedia のコーパスに関しては、それぞれのデー タが 2 回現れるようにした。

## 2. 2 モデル

本研究では、130 億パラメータの Llama モデルのアーキテクチャを用いて [4]、ゼロから事前学習を行った (本研究では Meta 社が公開している事前学習済み Llama モデルを利用した継続学習は行なっていない）。モデルのハイパーパラメータは Meta 社が公開している 130 億パラメータのモデルと同じである。

## 2.3 分散学習

事前学習には AWS が開発した Trainium と呼ばれるハードウェアアクセラレータを用いて事前学習を行った [14]。実際には、Trainiumを搭載した trn1. 32xlargeインスタンスを 16 node 用いた。また Trainium 上での分散学習を行うためのライブラリとして neuronx-nemo-megatron を用いた [15]。

## 2.4 その他

今回の事前学習では、2.2 節で説明したデータセットを用いて 1 epochの学習を行い、学習には 30 日を要した。以下では、ここで開発された事前学習済みモデルを stockmark-13b と言及する。

## 3 指示学習

LLM にユーザーの指示に従った応答をさせるためには、事前学習の後に指示学習を行う必要がある。指示学習とは、さまざまな指示に対する望ましい応答を教師あり学習により学習を行うものである。これまでに、いくつかの日本語の指示学習のためのデ


一タセットが開発されてきている（表 2）[16-19]。多くのデータセットは英語のデータセットを日本語に翻訳したものであるが [16-18]、日本では馴染みのない話題が含まれている、機械翻訳により日本語として意味が通じないデータも含まれているといったデータの質に関する課題がある。ichikara-instruct は、このような課題に対応するために、現在構築中の日本語のデータセットである ${ }^{i}[19]$ 。その質は既存の英語のデータセットを翻訳したデータセットと比ベると高いものになっている。

5 節では、それぞれのデータセットで指示学習を行い、用いるデータセットに応じて、下流タスクでの性能がどのように変わるかを調べた。指示学習では、LoRa tuningを用いた。

## 4 ベンチマーク

本研究で開発された事前学習モデルや指示学習モデルの性能を評価する、二つのベンチマークを説明する。

## 4. 1 Stockmark Business Questions

本研究では、ビジネスのドメインに対応した LLM を開発することを目的としている。そのために、今回開発した stockmark-13b が既存のモデルに比べてビジネスのドメインの知識を獲得しているかを検証するために、ビジネスに関する知識を問う質問を 50 問作成した $[20]$ 。具体的には、表 3 にまとめられて

表 3: Stockmark Business Questions の例

 \\

いるような、時事、企業活動、社会課題、トレンドに関する知識を問うような問題である。それぞれの LLM の応答は、人手で評価した。

## 4. 2 Im-evaluation-harness

上のビジネスドメインでの質問回答の精度に追加して、一般の日本語の言語理解についても評価を行った。このために、Im-evaluation-harness のライブラリを用いて、7 の言語タスクでの性能評価を行った [21]。一般に、LLM の性能はどのようなテンプレー トを用いるのかに、大きく依存することがあり、性能を高めるためにプロンプトを調節することがよく行われている。そのため、今回は、それぞれのタスクに対して複数のテンプレートが用意されている場合には、それぞれのテンプレートで評価を行い、最も高いスコアを採用した。用いたタスクやテンプレ ートの詳細については付録を参照のこと。

## 5 結果

## 5.1 同規模のモデルとの比較

今回開発した stockmark-13b と同規模の 100 億パラメータクラスの日本語の LLM との比較を行った。 まずは、Stockmark Business Questions を用いた評価を行う。ここでは同規模のモデルに追加して、 ChatGPT (gpt-3.5-turbo-0613)も評価対象に加えた。 ChatGPT 以外のモデルに関しては、事前学習のみを行ったべースのモデルに対して、一律alpaca_ja のデ一タセットを用いて指示学習したモデルを用いて評価を行った。これは、指示学習で用いるデータセッ卜により性能が大きく変わるので、条件を揃えるためである。

Stockmark Business Questions に対するそれぞれのモデルの正解率は表 4 にまとめられている。この結果から、今回開発した stockmark-13b は、ビジネスドメインの学習データを多く学習したことにより、既存のモデルに比べて、ビジネスのドメイン知識を多く獲得していることが確認できた。参考のため、実際の LLM の応答例を付録の表 A3 に示す。

次に、 $1 \mathrm{~m}$-evaluation-harness を用いて、一般の日本語の言語理解の能力の評価を行った。結果は表 5 にまとめられている。今回調べたモデルの中では、最も高いスコアを示した。各タスクのスコアなどの詳細は付録を参照されたい。表 4: Stockmark Business Question による評価

表 5: Im-evaluation-harness による評価

表 5 のスコアはそれぞれのタスクに対して複数のプロンプトのテンプレートで評価を行い、最も高いスコアを採用したものである。その一方で、最も低いスコアを採用した場合には、stockmark-13b は全体の中では低い值を取ることもわかった。このこは、 プロンプトを適切に調節すれば高い性能を得られるが、プロンプトの違いに対する性能の摇れが大きいことを意味する。

## 5.2 指示学習

次に、指示学習において用いるデータセットに応じて下流タスクでの性能がどう異なるかを調べた （表 6; lm-eval-harness での評価の各タスクのスコアは付録の表 A2 にまとめられている)。Im-evaluationharness と Stockmark business questions での評価では、 いずれの場合も ichikara データセットを用いる場合に、一番スコアが高かった。特に、Stockmark business questions での評価では、用いるデータセットにより、正解率に差が見られた。英語のデータセットを翻訳して作成した alpaca, dolly, oasst などのデータセットでは質の低いサンプルも含まれていることを先に述

## 表 6:指示学習モデルの評価

 \\

べた。そのようなデータセットに含まれるノイズは指示学習で LLM が内在する知識の表現を壊してしまうことが考えられる。そのため、Stockmark business questionsのような知識を問うような問題では、alpaca， dolly, oasst のデータセットを用いた場合には、正解率が下がったことが考えられる。また、ichikaraデー タセットで用いたデータ数は 1000 程度と他のデー タセットに比べて少ないものの、高い性能が得られたことは、指示学習を行う際にはデータの質が重要であることが示唆される。

ichikara データセットで指示学習を行ったモデルは stockmark-13b-instruct として公開されている。

## 6 継続的学習

ビジネスのドメインでは最新の情報が重要であることから、最新の情報で LLM を継続的に学習することも重要なテーマである。この時、問題になるのが破壊的忘却と呼ばれる現象である。これは、最新の情報を追加で学習した時に、過去の学習で得た知識を忘れてしまうという現象である。このような問題に対して、先行研究では、追加データで学習を行うときに、過去の学習データを混ぜることで破壊的忘却を抑止できることが示されている [22]。

今回の事前学習で用いた Stockmark Web Corpus は 2023 年 9 月までのデータを含むが、その後に新たに得られた 2023 年 10 月〜11 月のデータを追加データとして、追加学習を 1 回のみ行う設定で、継続的学習に関する初期的な検証をおこなった。以下では、事前学習で用いた Stockmark Web Corpus を $\mathrm{D}_{0}$ 、追加のデータを $\mathrm{D}_{1}$ で表す。追加学習では、先行研究にならって、 $\mathrm{D}_{1}$ に $\mathrm{D}_{0}$ からランダムにサンプルしたデー タを加えて得られる $\mathrm{D}_{1}{ }^{*}$ のデータセットを用いて、 stockmark-13b に対して追加の学習を行う。ここで、 $\mathrm{D}_{0}$ から追加されるデータ量はパラメータ $r$ によりコントロールされ、 $\mathrm{D}_{1}$ のデータ量に $r$ をかけたものとする。例えば、 $r=0.0$ の時は追加データ $\mathrm{D}_{1}$ のみを用いて追加学習を行うことに対応し、 $r=0.1$ の時には追加データ $\mathrm{D}_{1}$ にそのデータ量の 1 割の $\mathrm{D}_{0}$ からサンプルされたデータを加えて追加学習を行うことに対応する。

ここでは、 $r$ の值をどの程度にすれば、破壊的忘却を防ぎつつ、追加データから最新の情報に関する知識を獲得できるのかを検証する。 $r$ の値としては 0.0,0.1,0.3を考えた。それぞれの $r$ に対して作成された $\mathrm{D}_{1}{ }^{*}$ のデータセットで追加の学習を行い、モデ表 7: 追加学習の評価

 &  \\

ルの評価指標としては過去のデータ $\mathrm{D}_{0}$ と追加デー タ $\mathrm{D}_{1}$ に対する validation loss (val_loss)を用いた。

表 7 は結果をまとめたものであり、表中の base は事前学習のみをおこなったモデルを表したものである。 $r$ の值によらず、追加データ $\mathrm{D}_{1}$ に対する val_loss は追加学習後に下がっており、追加学習により追加データに対するモデルの適合度が上がっていることが示されている。その一方で、過去のデータを追加学習に用いない時 $(r=0.0)$ の時には、過去のデータ Do に対する val_loss が大きく上がってしまい、モデルの適合度が下がってしまっており、破壊的忘却に対応した現象が見られる。過去のデータを一定混ぜた $(r=0.3)$ の時には、過去のデータに対する val_loss の値の減少を抑えることができている。このことは、先行研究で示された結果と同様に、追加学習において、過去の学習データを一定量混ぜることで、破壊的忘却を抑制できることを示している。

## 7 まとめ

本研究では、ビジネスのドメインに対応した日本語 LLM の開発を目指し、ビジネスドメインのコー パスを含めたデータセットで事前学習をおこなった stockmark-13bを開発した。そして、事前学習の詳細や、指示学習、継続的学習での検証結果を簡単に報告した。

継続的学習の検証では、初期的な検証として、事前学習後に得られた 2 ケ月のデータを追加のデータとして、追加かの学習を一回のみ行う実験を行った。 その一方で、実際には、追加の学習は一回だけ行うものではなく、一定の間隔で繰り返し行うことが想定される。そのような状況を想定したような検証は今後の課題である。また、今回の検証ではモデルの性能の指標として val_lossを用いたが、実際のユー スケースに即したようなタスクを用いて評価することも今後の課題である。

## 謝辞

本研究の一部は AWS の LLM 開発支援プログラムの支援を受けました。

## 参考文献

1. Language Models are Few-Shot Learners. T. Brown, et al. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), 2020.

2. Training language models to follow instructions with human feedback. L. Ouyang, et al. Advances in Neural Information Processing Systems 35 (NeurIPS 2022), 2022. 3. PaLM 2 Technical Report. R. Anil, et al. arXiv:2305.10403, 2023.

4. Llama 2: Open Foundation and Fine-Tuned Chat Model. H. Touvron, et al. arXiv:2307.09288, 2023.

5. cyberagent/calm2-7b:

https://huggingface.co/cyberagent/calm2-7b

6. 1lm-jp/1lm-jp-13b-v1.0: https://huggingface.co/1lm-

jp/1lm-jp-13b-v1.0

7. pfnet/plamo-13b: https://huggingface.co/pfnet/plamo-

$\underline{13 \mathrm{~b}}$

8. matsuo-lab/weblab-10b:

https://huggingface.co/matsuo-lab/weblab-10b

9. Galactica: A Large Language Model for Science. R.

Taylor, et al. arXiv:2211.09085, 2022.

10. Large language models encode clinical knowledge. $\mathbf{K}$.

Singhal, et al. Nature 620, 2023.

11. BloombergGPT: A Large Language Model for Finance. S. Wu, et al. arXiv:2303.17564, 2023.

12. stockmark/stockmark-13b:

https://huggingface.co/stockmark/stockmark-13b

13. stockmark/stockmark-13b-instruct:

https://huggingface.co/stockmark/stockmark-13b-instruct

14. https://aws.amazon.com/machine-learning/trainium/

15. https://github.com/aws-neuron/neuronx-nemo-

megatron

16. databricks-dolly-15k-ja:

https://github.com/kunishou/databricks-dolly-15k-ja

17.oasst1-89k-ja: https://github.com/kunishou/oasst1-

$\underline{89 \mathrm{k}-\mathrm{ja}}$

18. alpaca_ja: https://github.com/shi3z/alpaca ja

19. ichikara-instruction: LLM のための日本語インストラクションデータの構築. 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. 言語処理学会第 30 回年次大会(2024).

20. Stockmark business questions:

https://huggingface.co/datasets/stockmark/businessquestions

21. Im-evaluation-harness: https://github.com/Stability-

AI/lm-evaluation-

harness/tree/effdbeaf742e74ea1787871e99272c12146ba 346

22. Fine-tuned Language Models are Continual Learners. T. Scialom, T. Chakrabarty, and S.

Muresan. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

## 付録：

表 A1：タスクとプロンプトのバージョン

 & Fewshot の提示数 \\

表 A2: Im-evaluation-harness による評価

表 A3：「2023 年 3 月に経営破綻したアメリカの 2 つの銀行は?」という質問に対する各モデルの応答。 この例では stockmark-13b のみが正しい答えを出力している。

 \\