疎な言語固有の次元の同定およびそれを用いた大規模言語モデルの多言語生成制御

英語中心に事前学習された大規模言語モデルは，限られた非英語データにもかかわらず高い多言語能力を示す.先行研究では，Transformerの中間層で英語の表現が形成され，最終層で目的言語へ投影される段階的な表現遷移が報告されている.本研究では，この言語間遷移が少数かつ疎な言語固有の次元によって制御されるという仮説を立てる.この仮説に基づき，わずか50文の単言語または対訳文のみを用いて言語固有の次元を同定し，推論時にそれらの次元のみを操作して言語を制御する学習不要な手法を提案する.多言語生成制御タスクにおける実験により，提案手法は意味を保ったまま出力言語を切り替え，既存のニューロン操作手法による言語生成制御を一貫して上回る性能を示すことを確認した.