多言語LLMや低資源言語LLMの開発において，言語間での事前学習データの不均衡は大きな技術課題である．現状は，英語中心の事前学習データが圧倒的に多い一方、低資源言語のデータ収集や作成は容易ではない．言語間転移は英語で学習した知識を活用して低資源言語の性能を高めることが期待されるが，その発生条件や原理は未解明な部分が多い．本研究では，指示調整を通じて言語間転移を促進させることを目指し，指示文を二言語の対訳構造にした対訳指示調整(ParallelInstructionFine-Tuning,PIFT)を提案する．PIFTの効果を日本語からのコード生成タスクで調査した結果，単言語の指示文を用いた指示調整と比較して性能が向上することを確認した．

多言語LLMや低資源言語LLMの開発は，非英語圏話者にとって文化や伝統を守るための重要な課題である[1]．英語中心の事前学習データを学習したLLMは，英語では高い性能を発揮する一方で，非英語言語では性能が制限されることが多い[2]．LLMの性能は事前学習データの量が多ければ多いほど向上することが知られている[3]．しかし，英語でさえもデータの枯渇が懸念される中[4]，言語資源の乏しい低資源言語ではデータを収集することも難しい状況である．この状況に対応する手段の一つとして，言語間転移の有効性が議論されている．言語間転移とは，ある言語で学習した知識を異なる言語へ転移することを指す[5]．特に，英語などの高資源言語で学習した知識を人為的に転移させることができれば，低資源言語の性能向上に貢献できる[6]．本研究の目的は，言語間転移を促進するための指示調整手法を探求し，低資源言語の性能を向上させることである．我々は指示調整形式の違いが言語間転移に与える影響を調査するとともに，指示文に二言語の対訳構造を取り入れた対訳指示調整(ParallelInstructionFine-Tuning,PIFT)を提案する.PIFTは，指示文に高資源言語と低資源言語の対訳で与えることにより，低資源言語の指示に対して，高資源言語からの知識転移を期待する設計になっている．我々は，自然言語からのコード生成タスクを用いてPIFTの効果を調査した[7]．コード生成は，事前学習データの多くが英語で構成されている領域であるが[8]，使用する自然言語が異なっても生成されるコード自体は変化しない特性がある．我々は，公開済みモデルに対して，英語-日本語順および日本語-英語順の対訳構造を持つ指示調整形式によるPIFTを適用した．その結果，PIFTは，従来の単言語指示調整や二言語指示調整と比ベて性能を向上させ，さらに指示文の言語順序が影響を与えることを確認した．