対訳構造の指示調整は言語間転移を促進するのか

多言語LLMや低資源言語LLMの開発は，非英語圏話者にとって文化や伝統を守るための重要な課題である[1]．英語中心の事前学習データを学習したLLMは，英語では高い性能を発揮する一方で，非英語言語では性能が制限されることが多い[2]．LLMの性能は事前学習データの量が多ければ多いほど向上することが知られている[3]．しかし，英語でさえもデータの枯渇が懸念される中[4]，言語資源の乏しい低資源言語ではデータを収集することも難しい状況である．この状況に対応する手段の一つとして，言語間転移の有効性が議論されている．言語間転移とは，ある言語で学習した知識を異なる言語へ転移することを指す[5]．特に，英語などの高資源言語で学習した知識を人為的に転移させることができれば，低資源言語の性能向上に貢献できる[6]．本研究の目的は，言語間転移を促進するための指示調整手法を探求し，低資源言語の性能を向上させることである．我々は指示調整形式の違いが言語間転移に与える影響を調査するとともに，指示文に二言語の対訳構造を取り入れた対訳指示調整(ParallelInstructionFine-Tuning,PIFT)を提案する.PIFTは，指示文に高資源言語と低資源言語の対訳で与えることにより，低資源言語の指示に対して，高資源言語からの知識転移を期待する設計になっている．我々は，自然言語からのコード生成タスクを用いてPIFTの効果を調査した[7]．コード生成は，事前学習データの多くが英語で構成されている領域であるが[8]，使用する自然言語が異なっても生成されるコード自体は変化しない特性がある．我々は，公開済みモデルに対して，英語-日本語順および日本語-英語順の対訳構造を持つ指示調整形式によるPIFTを適用した．その結果，PIFTは，従来の単言語指示調整や二言語指示調整と比ベて性能を向上させ，さらに指示文の言語順序が影響を与えることを確認した．