多言語大規模言語モデルにおける英語指示文と対象言語指示文の公平な比較

近年，大規模言語モデル（LLM）はさまざまな自然言語処理タスクにおいて優れた性能を示している．その能力を最大限に引き出すためには，LLMに適切な指示を与えることが必要不可欠である[1,2]．特に，多言語大規模言語モデル（MLLM）を用いて英語以外の言語（対象言語）のタスクを解く際，そのモデルへの指示文を英語で与えるべきか，それとも対象言語で与えるべきかについてはいくつかの研究で議論されてきた[3,4,5]．この背景には，MLLMの学習データは多くの場合，英語を中心に構築されているという事実がある．このことから，たとえタスクが英語以外の言語であっても，英語で指示を与える方がMLLMの能力をより効果的に引き出せる可能性が指摘されている．実際に多くの先行研究が，対象言語よりも英語で指示文を与える方が高性能になる傾向を報告している[4,5]．しかしながら，これらの先行研究では，対象言語のテストデータセットや指示文として英語から翻訳されたものが使用されている，という問題がある．翻訳によって作成された文は，情報の欠落や不自然さ，母語話者が書いた文とは著しく異なる文体や構造を持つ可能性（Translationese）がある[6,7,8]．これにより，英語から翻訳された対象言語のデータセットでは，表現が英語の文体に近づいたり，内容が英語圏の文化や背景に影響を受けている場合がある．また，対象言語の指示文において翻訳の前後で含んでいる情報が異なる可能性がある．これらの要因から，先行研究では英語指示文が潜在的に有利な設定になっており，英語指示文と対象言語指示文の公平な比較ができていないと考えられる．この問題を解決するために，本研究では，Translationeseの影響を排除して，MLLMにおいて英語指示文と対象言語指示文の公平な比較を行う．具体的には，翻訳に基づかない対象言語のデータセットや，言語的に自然で同じ内容を伝える公平な指示文（図1）を使用し，MLLMの性能の違いをさまざまなタスクで調査する．特に分類タスクでは，複数のラベルセットを使用し，ラベルセットの違いによる結果の変化についても調べる．実験結果から，先行研究とは異なり，英語指示文と対象言語指示文のどちらがより優れているかは，タスクや分類ラベルによって異なる傾向があることを明らかにする．さらに，それぞれの指示文を用いた場合のMLLMが生成するテキストの特徴や活性化するニューロンの違いについての詳細な分析も行う．本.研究は，MLLMにおける指示文言語の公平な比較を行うことで，MLLMの能力を効果的に引き出すための新たな知見を提供する．