多言語文埋め込みの意味と言語の分離のための損失関数の分析

本研究では，多言語文埋め込みが言語情報の影響を強く受ける問題に対し，意味情報と言語情報の2要素に分離するアプローチに着目する．分離のための訓練の損失関数は，意味情報または言語情報の各要素内において定義される要素内制約と，両者に跨る要素間制約に大別できる．既存手法ではこれらを併用しているが，制約の違いによる埋め込み分離への影響や，埋め込みモデルのアーキテクチャの違いの影響については明らかになっていない．実験の結果，エンコーダ由来モデルでは両制約の併用が有効であるのに対し，LLM由来モデルでは要素間制約のみが有効であることが示された．また，要素内制約は埋め込み空間の一様性を改善し，要素間制約は対訳文間の整合性を改善するという違いを確認した．