ビジネスのドメインに対応した日本語大規模言語モデルの開発

近年、大規模言語モデル(LLM)のユーザーの指示に従って柔軟に応答を行う能力や、少数の例の提示により新規な言語タスクを解く能力が著しく向上し、注目を集めている[1,2]。ChatGPTの登場を契機に、一般社会でもLLMの活用が進みつつある。これまで開発されてきたLLMの多くは、英語を主な対象としてきたが[1,3,4]、この一年ほどで、日本語に対応したLLMも多く開発されるようになってきた[5,6,7,8]。これまで開発されてきた日本語のLLMのほとんどは、主にWikipediaやmC4などのCommonCrawl由来の幅広いドメインや話題を含むコーパスから学習を行った汎用型のLLMである[5,6,7,8]。その一方で、特定のドメインのタスクを扱う際には、そのドメインの専門用語などの知識を獲得することが重要であり、英語のモデルでは科学、医学、金融などのドメイン特化型のモデルも開発されてきている[9,10,11]。本研究ではビジネスのドメインに対応したLLMを開発する。そのために、既存の一般のドメインのコーパスに加えて、ビジネスドメインのコーパスを合わせたデータセットを作成し、これを用いて130億パラメータのLLMの事前学習を行った。そして、ビジネスのドメインでの質問回答の性能を評価するために、ビジネスに関する質問を50問作成し、ここで開発したモデルが既存のモデルに比べてビジネスのドメインの知識を獲得していることを確かめた。開発した事前学習および指示学習済みのモデルはstockmark-13b及びstockmark-13b-instructとして、HuggingfaceHubにて公開されている[12,13]。また、ビジネスのドメインでは最新の情報が重要であるため、LLMに対して最新の情報を継続的に学習させていくことも重要なテーマである。そこで、事前学習を行った後に収集されたデータを用いた継続的学習に関する初期的な検証結果についても簡単に報告を行う。