「数」に着目したLLMの多言語能力の検証

近年，様々な言語を扱うことのできる大規模言語モデル(LLM)が数多く登場している．近年の性能向上に伴い，これらのマルチリンガルなLLMは翻訳タスクに限らず，要約や雑談など，多様なタスクでの活用が可能となっている．一方でマルチリンガルなLLMを用いた推論・生成においては，英語で指示を与える際，他の言語で指示を与える場合と比較して性能が高くなる現象が報告されている[1,2,3]．しかし，これらの先行研究において比較対象となっている翻訳などのタスクでは正解がただ一つに限定されない．そのため定量的な分析を行う際には，正解となるゴールドデータを適切に選定する必要があり，恣意性を完全に排除することが難しい．また感情分析などのタスクでは正解率を0か1で測定することは容易だが，正答に対する誤りの深刻さの程度を定量的に表現することは容易ではない．そのため，例えば指示言語における英語と日本語の性能差と，英語とドイツ語の性能差を意味のある数値で表現し，分析することは困難である．そこで本研究では性能や誤差のより精緻な定量評価のために「数」に着目したタスク設定を行った．具体的には，LLMに単語や文の文字数を数えさせるいても指示とカウント対象言語をそれぞれ変更する．カウントタスクと，LLMに文字数を指定して文を生成させる生成長制御タスクの2つを設定し，検証を行った．GPT-4[4]をはじめとするLLMは，文字数を正確に数えることができないということがShinら[5]やDaveら[6]によって報告されている．また，Jieら[7]の研究からも見られるように，厳密な生成長制御能力に関しても不完全であり，エラー分析の対象として適しているといえる．これら2つのタスクでは，文字数という絶対的な基準により精度を定量的に評価することが可能である．また誤りの程度を正答の文字数との差で表現することにより，性能差を意味のある数値で表現することができる．本研究では，文字列のカウントタスクと生成長の指示を伴う生成長制御タスクにおいて，指示言語による性能の差を調査した．この際，指示言語とカウント・生成対象の言語が同じ設定のみを考慮すると，厳密な対照実験とはならず，指示言語の影響を他の要因と切り離して考えることが困難である．そのため本研究では図1に示したように，指示言語とカウント・生成対象の言語をそれぞれ独立に変更し.て検証を行った．具体的には5つの言語を指示言語として使用し，指示言語とカウント・生成対象の言語をそれぞれ変更することで，詳細なエラー分析を試みた．結果として，生成長制御タスクにおいては，指示した長さに対応するトークン数が指示言語の種類によって決定され，生成長に影響を及ぼしていることの示唆が得られた．