LLMは日本語追加学習により言語間知識転移を起こすのか？

現代社会では，先進的な概念やアイディアは英語で表現され，議論されることが多い．特にエンジニアリングの領域では，技術情報を伝える共通言語として英語が定着している．多くの学術論文やチュートリアルが英語で提供されているため，英語が不得意な日本人のエンジニアは機械翻訳を使用するか，日本語での情報提供を待つ必要があった．しかし，ChatGPTの登場により，状況は大きく変化した．ChatGPTは英語でのみ提供されていると思われる技術情報について，日本語で問い合わせると，日本語で流暢なの回答を生成するようになってきている．これは，大規模言語モデル（LargeLanguageModel，LLM）が英語で習得した知識を日本語に転移し，日本語での応答を可能にしていることを示唆している．このような言語間知識転移（Cross-LingualTransfer）には，高い関心が集められている．過去には，多言語のテキストを事前学習した言語モデルが異なる言語間で知識を共有していることを示唆する研究が存在している[1]．しかし，言語間知識転移に関しては，言語による推論能力の不均等さも指摘されており，英語で獲得した知識を他の言語で必ずしも利用できるとは限らない[2]．言語間知識転移の原理への理解を深めることは重要である．本研究の目的は，英語圏で開発されたLLMは日本語追加学習により言語間知識転移を起こすのかを検証することである．英語と比較して日本語テキストデータが不足している背景から，日本語の追加学習は，日本語を強化したLLMの開発において期待される手法である．我々は，言語間知識転移を分析するために，言語間知識転移の需要が高い技術情報に着目する．具体的には，日本語追加学習により，英語で学習し獲得したコード生成能力が，日本語でのコード生成にどのような影響を与えるかを比較実験する．実験を行うにあたり，コード生成能力の標準ベンチマークであるHumanEvalの日本語版「JHumanEval1）」を開発した．本論文では，JHumanEvalの開発方法を紹介し，プログラミングに関する知識転移の発生有無を検証した実験結果を報告する．本論文の残りの構成は以下の通りである．2節では，コード生成に着目した理由を述べる．3節では，JHumanEvalの開発について述べる．4節では，日本語追加学習前後のモデルを使用し，知識転移の発生有無を検証した実験結果を報告する．5節では，関連研究を概観し，6節では，本論文をまとめる．