指示認識テキスト埋め込みモデルの指示によるベクトル変位の分析

となる.こうした背景から,テキストに自然言語によテキスト埋め込みモデルはテキストの意味を埋めるタスク指示を追加し,それを文脈として扱うこと込みとして表現するためのモデルであり,情報検索で,タスクの目的に沿って埋め込みを動的に変化さや質問応答システム,文書分類など様々なタスクでせる手法[3,4,5]が注目を集めている.指示を認識で活用されている.近年では,入力テキストにタスク固きるモデルは,タスク指示を与えることで,こうした有の「指示」を付与することで,各目的に最適化さベクトル空間上での動的な調整を可能にしている.れた埋め込みを獲得する手法が増えている.本研究塚越ら[6]は指示認識埋め込みモデルにおける埋では,そのような指示認識埋め込みモデルにおいて,め込みの冗長性を調査し,分類等では次元削減に頑クエリに対する異なる指示の付与が埋め込み空間上健だが検索では性能低下が大きいことを示しておの配置にどの程度変化をもたらすかを分析する.実り,指示が埋め込みの性質を変える可能性が示唆さ験の結果,タスクの種類によって埋め込み空間上のれる.その一方で,こうしたモデルが指示に応じて具配置の変化の度合いは大きく異なることが明らかに体的にどの程度埋め込み空間を変容させているのなった.また,パラメータサイズの増大は必ずしもタか,その挙動については十分に解明されていない.指スクごとの埋め込み空間の分離を増大するわけでは示を与えることで,どのように空間的な変位するかないことが明らかになった.を明らかにすることは,モデルの解釈性を高め,テキスト埋め込みモデルのさらなる性能向上を図る上で