継続事前学習による日本語に強い大規模言語モデルの構築

OpenAIのChatGPTやGoogleのBardなどの大規模言語モデル（LLM）は，人間に近い言語理解能力と生成能力，さまざまな分野への適用可能性を示し，大きな注目を集めた．日本でもLLM開発の機運が高まり，2023年は日本語に強いLLM（以降，日本語のLLMと呼ぶ）の開発・発表が盛んに行われた．ところが，日本語のLLM開発において日本語以外の言語資源，特に英語の言語資源の活用について，未だ知見が少ないのが現状である．英語は事実上の世界共通言語であることから，世の中に存在する言語資源の中で英語の割合が突出している．CommonCrawlが発表している統計情報によると，英語のウェブページは日本語のウェブページの約9倍の量であると推定される1）．また，論文の採択・引用されやすさ等の理由も加わり，良質な注釈付きコーパスやデータセットは英語をターゲットとして開発されやすい傾向がある．このため，日本語を含む多くの非英語言語では，高品質なコーパスやデータセットが不足しがちである．英語の言語資源を活用した日本語のLLM構築に関する知見を得るには，日本語と英語の言語データ1）StatisticsofCommonCrawlMonthlyArchives:https://commoncrawl.github.io/cc-crawl-statisticsでLLMの事前学習を行うのが自然であろう．ところが，これには膨大な計算資源が必要であり，計算資源が限られた状況では取り組みにくい．そこで，本研究では英語のLLMの能力や知識を日本語に転移することを狙い，英語のLLMからの継続事前学習（continualpre-training）に取り組む．継続事前学習，或いは追加事前学習（furtherpre-training）は，事前学習済みの言語モデルを下流タスクでファインチューニングする前に，当該タスクのテキストで事前学習タスクを追加的に実施し，ドメイン適応を行う手法であった[1,2,3]．オープンで高性能な英語のLLMが登場してからは，継続事前学習を行い，LLMを他のタスクや言語に適応をさせる試みが増えている[4,5,6,7,8]．継続事前学習で構築された日本語のLLMも公開されているが2）3），継続事前学習の効果について網羅的な調査は行われていない．例えば，継続事前学習に用いる日本語データの量とモデルの性能の関係や，サイズの異なるモデルにおける効果の検証，フルスクラッチで学習したモデルとの比較は不十分である．本研究では，Llama27B,13B,70Bに日本語の継続事前学習を行う．主な貢献は以下の通りである．•すべてのサイズにおいて，継続事前学習による日本語能力の向上および有用性を確認した．•フルスクラッチで学習した日本語LLMよりも高い性能を効率よく発揮することを実証した．•日本語の学習データ量の増加に応じた性能向上（学習のスケール性）を示した．•本研究で構築した日本語LLMであるSwallow7B,13B,70BをHuggingFace上で公開した4）．•Swallow70Bはllm-jp-evalにおいて，日本国内で開発されたモデルの中で最高性能を達成した（2023年12月現在）．2）ELYZA-japanese-Llama-2-7b:https://note.com/elyza/n/na405acaca1303）JapaneseStableLMBeta:https://ja.stability.ai/blog/japanese-stable-lm-beta4）https://tokyotech-llm.github.io/swallow-llama.