文脈構造を利用した埋め込み表現学習の提案

埋め込み表現とは、テキストや画像などを表現する密ベクトルであり、類似事例検索や検索拡張生成(RetrievalAugmentedGeneration:RAG)などのアプリケーションに利用されている。近年、注目を集めている埋め込み表現学習として、同一のテキストおよび画像を拡張したものを正例とし、その他のテキストおよび画像を負例とする教師なし対照学習がある。これらは教師なし学習にも関わらず、質の高い埋め込み表現を獲得できることが自然言語処理[1]および画像処理[2]において確認されている。文の埋め込みに対する教師なし対照学習であるSimCSE[1]は追加のモジュールが必要なくドロップアウト[3]による単純な正例の拡張から質の良い埋め込み表現を獲得できるフレームワークとして知られている。しかし、先行研究では、文の埋め込み表現だけに着目して対照損失を計算するため、理想的な文の埋め込みを組み立てるうえで重要な文脈構造をうまく捉え切れていないと考える。文脈構造を理解する上で、語順を正しく理解することは重要であり、この並び変え問題は様々な語学教育で取り入れられている。本稿では、語順の並び変え問題を参考にして、文脈構造予測を反映した対照損失を提案する。具体的には、ある文に着目して、文を構成するトークンの語順を入れ替えることで正例を作成する。拡張した文から元の文へと輸送することで語彙の並び替えを学習する。つまり、シャッフルされたトークン表現が正しく文脈を捉えられているかの判定を最適輸送を介して対照損失に組み込む。これにより、文脈構造を考慮しつつ文の埋め込みを獲得することができる。また、追加のモジュールを必要としないため、追加コストが発生しない。実験の結果、定量評価において文脈構造の獲得がより質が高い文の埋め込み表現の獲得に寄与し、定性評価において文脈構造の獲得がノイズに頑健な類似事例検索に寄与していることを確認した。