大規模言語モデルの日本語能力の効率的な強化:継続事前学習における語彙拡張と対訳コーパスの活用

大規模言語モデル（LLM）は幅広い用途を支える基盤としての役割が期待されており[1]，特にわが国の知識や日本語の理解に優れた日本語LLMを構築する方法の確立は重要な研究課題である．英語圏ではオープンなLLMを構築する試みが活発であり，これらの優れた学習ずみLLMを元に日本語テキストを主として学習を継続する，いわゆる継続事前学習は，少ない計算予算で高性能な日本語LLMを構築する有望なアプローチである[2]（図1）．継続事前学習による日本語LLMは複数の開発例1)があるが，その能力を効率的に強化する知見は乏しい．そこで本研究では，Llama2[3]を元に継続事前学習した日本語LLMであるSwallow[2]の開発を基礎として，語彙拡張の影響および対訳コーパスの有効性を報告する．語彙拡張は，トークナイザおよびLLMに語彙を追加する手法である．Llama2が採用するバイト対符号化（BPE[4]）に基づくトークナイザは英語を重視した設計のため，日本語テキストをバイト単位の†Equalcontribution.1)StabilityAIJapan社，ELYZA社，rinna社の事例がある．スク（上段．説明は表1）のスコアが最大で約70%向上．多くのトークンで表現してしまう．このため日本語の単語や文字を追加する語彙拡張は，トークン列を短縮して日本語テキストの学習・生成効率を改善する効果がある．しかし，語彙拡張が性能に及ぼす影響は明らかではない．追加した語彙を上手に扱えなければ直感的には性能を損なう可能性がある一方で，ドメイン適応では性能が改善するとの報告がある[5,6]ほか，同一の計算予算で学習可能なテキスト量の増加が有利に作用しうるためである．対訳コーパスは，継続事前学習に日英対訳文を併用する手法である．多言語文埋め込みでは，対訳コーパスを併用した事前学習が言語間転移を促進すると報告されている[7,8,9]．またLLMでは指示チューニングに翻訳タスクを用いておなじく言語間転移を促す試みもある[10,11]．しかし，継続事前学習での有効性および効果的な用法は明らかでない．本研究では，まずSwallowとLlama2の性能を比較して，継続事前学習による日本語および英語の知.識や能力の変化を考察する．次に，継続事前学習における語彙拡張の影響および対訳コーパスの有効性を調査する．語彙拡張については，拡張しない場合との性能を比較する．対訳コーパスについては，対訳文を学習する順序および学習形式を変えて効果的な学習方法を探る．本論文の貢献は以下のとおり．•継続事前学習は日本語能力の改善，特に知識を用いる質問応答に効果的であることを示した．•語彙拡張は大半のタスクで性能には影響せず，自動要約のみ性能が低下することを示した．•対訳コーパスの併用は翻訳能力を強化し，他のタスクには効果が波及しないことを示した．