となる.こうした背景から,テキストに自然言語によテキスト埋め込みモデルはテキストの意味を埋めるタスク指示を追加し,それを文脈として扱うこと込みとして表現するためのモデルであり,情報検索で,タスクの目的に沿って埋め込みを動的に変化さや質問応答システム,文書分類など様々なタスクでせる手法[3,4,5]が注目を集めている.指示を認識で活用されている.近年では,入力テキストにタスク固きるモデルは,タスク指示を与えることで,こうした有の「指示」を付与することで,各目的に最適化さベクトル空間上での動的な調整を可能にしている.れた埋め込みを獲得する手法が増えている.本研究塚越ら[6]は指示認識埋め込みモデルにおける埋では,そのような指示認識埋め込みモデルにおいて,め込みの冗長性を調査し,分類等では次元削減に頑クエリに対する異なる指示の付与が埋め込み空間上健だが検索では性能低下が大きいことを示しておの配置にどの程度変化をもたらすかを分析する.実り,指示が埋め込みの性質を変える可能性が示唆さ験の結果,タスクの種類によって埋め込み空間上のれる.その一方で,こうしたモデルが指示に応じて具配置の変化の度合いは大きく異なることが明らかに体的にどの程度埋め込み空間を変容させているのなった.また,パラメータサイズの増大は必ずしもタか,その挙動については十分に解明されていない.指スクごとの埋め込み空間の分離を増大するわけでは示を与えることで,どのように空間的な変位するかないことが明らかになった.を明らかにすることは,モデルの解釈性を高め,テキスト埋め込みモデルのさらなる性能向上を図る上で

重要である.また,一般に言語モデルの大規模化は表情報検索や文書分類といったタスクにおいて,テ現能力の向上に直結すると考えられているが,テキキスト全体の意味を密なベクトル,すなわち密な埋スト埋め込みモデルにおける指示による空間的変位め込みとして表現するテキスト埋め込み技術の研究能力が,パラメータサイズに比例して向上するかにが盛んに行われている.近年では,対照学習の導入についても明らかでない.よりテキスト全体を適切に表現することに最適化さ本研究では,異なるサイズおよびアーキテクチャれたモデルの開発が進展し,情報検索や類似文検索を持ち,かつ指示を認識できるテキスト埋め込みモなど様々なタスクにおける性能が飛躍的に向上しデルを独自に構築し,タスク指示が埋め込み空間にた[1,2].与える影響を分析する.異なる次元や空間を持つモしかし,同一のテキストであっても,対象とするタデルを公平に比較するため,共通空間への射影を用スクの性質に応じて最適な埋め込み表現は異なるといて同一基準での分析を行う.その結果,指示による考えられる.例えば,「織田信長が生まれた年はい埋め込みの変位は一様ではなく,検索タスクと比較つ?」という入力文に対し,情報検索を行いたい場合して分類や意味的類似度計算（STS）などのタスクは「織田信長の生まれ年は1534年です」のような事において,空間上の移動がより顕著に現れることが実に焦点を当てた文に近い埋め込みが最適である.明らかになった.加えて,パラメータサイズと指示に一方で,意味的類似性の高いテキストを取得したいよる空間分離性能の間には単純な相関が見られない場合は「織田信長がいつ生まれたか知りたい」のよことが示唆された.org/licenses/by/4.0/).