多言語ゼロショット学習における推論言語に関する分析

GPT-3のようなLLMにおいてin-contextlearningは幅広いタスクに適用することができる．これらの利点としては，LLMのパラメータの更新を必要としないため，パラメータ全体を微調整する従来の方法と比較して，遥かに計算機の訓練コストが低いことである[1,2]．しかし，GPT-3は非英語のテキストはほとんど含まれていない英語中心の訓練データで学習されており，英語に特化したモデルである．近年では，言語バランスを考慮し，より多言語のデータを用いて学習したMultilingualLLM(MLLM)が開発されている[3,4]．MLLMは英語中心のデータで学習されたLLMと比較して，非英語におけるin-contextlearningを高精度に行うことができる．この事前学習時の言語バランスによってプロンプトに様々な言語の組み合わせを用いることで，MLLMの推論能力を引き出すことが考えられる．実際にLinら[3]によって，MLLMのin-contextlearningにおいて，テンプレート言語およびバーバライザー言語の組み合わせが精度を大きく左右することが示されている．また本研究ではテンプレート言語とバーバライザー言語が同じ場合のみを扱うため，以下ではこれらに使われる言語2つをまとめて推論言語と呼ぶことにする．多言語ゼロショット学習とは，推論言語とターゲット言語に異なる言語を用いたゼロショット学習のことである．直感的には，上記に示したように推論言語にターゲット言語と同じ言語を使うことが最適であると考えられる．しかし，全ての設定でそれが最適であるとは限らないことが示されている．Linら[3]はXGLMを用いて，多言語ゼロショット学習を行った．Linらは推論言語にターゲット言語と同じ言語を用いた設定と，ターゲット言語によらず英語を推論言語として用いた設定で実験を行った．その結果，特定のタスクにおいて推論言語にターゲット言語とは異なる英語を用いた方が大幅に精度が高くなるような言語が存在することが明らかになった．具体的には，XNLIタスクにおける中国語の評価では，中国語を推論言語とするよりも，英語を推論言語として用いた方が，10ポイントほど精度が高い．また,これは事前学習時のデータ量や言語間の近さが関係している可能性があると指摘されている．本研究では，MLLMを用いたゼロショット学習の推論において，各ターゲット言語に対し，様々な推論言語を用いた場合について分析し，指摘されていた指標と精度に相関があることを確かめることを目的とする．具体的には以下の3つの問いを立て分析を行う．1.各ターゲット言語に対して，推論言語によって精度が大きく異なるという現象は，複数の.MLLMで同様に起こるものなのか