文埋め込み方向介入評価における符号一貫性の擬似生成

文埋め込みは，情報検索や文類似度推定をはじめとする多くの自然言語処理タスクにおいて，下流モデルの性能を規定する基盤的表現である．近年は性能比較にとどまらず，埋め込み空間における特定の方向を概念や属性の軸として解釈し，その方向に沿った表現の摂動（介入）によって下流タスクの挙動を分析・制御しようとする枠組みが提案されてきた．このような介入評価において，介入後の指標が多数の入力で同符号に変化する挙動は，方向が一貫した意味的効果を持つことの根拠として解釈される場合がある．しかし，本稿は，この「同符号で動く」挙動が必ずしも方向の意味性を反映するとは限らず，方向の意味とは独立に生成され得る可能性に着目する．具体的には，(1)埋め込み表現が本質的に持つ異方性，および(2)検索評価における設計要因（候補集合の固定やランキング指標の非線形性）の相互作用により，符号の偏りが見かけ上強く観測され得るという仮説を立てる．この仮説の下，本稿では摂動に対する下流指標変化の符号偏りを要約する量として符号一貫性指標を定式化し，その振る舞いを制御実験によって検証する．検証にあたっては，日本語文埋め込みとMIRACL-ja検索を対象とし，教師なし辞書学習により得られた因子方向への介入を，ランダム方向などの対照条件と比較する．さらに，PCAwhiteningや主成分除去といった操作により表現幾何を明示的に制御し，符号一貫性指標が方向の意味ではなく，表現幾何や評価設計にどの程度依存するかを分析する．本稿の貢献は以下の三点に要約される：•下流指標変化の符号偏りのみに着目した符号一貫性指標を導入し，介入評価で暗黙的に用いられてきた挙動を明示的な分析対象として定式化する．•辞書学習因子方向とランダム対照を同一条件で比較することで，PCAwhiteningや主成分除去により両者の符号一貫性が同水準に縮退し得る条件を示す．•候補集合を条件内で固定した検索評価設定において，Recallを大きく損なわずに符号一貫性が大きく変動し得ることを示し，方向介入評価の解釈上の注意点を整理する．