プロンプトに基づくテキスト埋め込みのタスクによる冗長性の違い

テキスト埋め込みは，類似文書検索や検索拡張生成，分類など幅広い用途で活用される自然言語処理の基盤技術である．近年になって大規模言語モデル(LLM)の高い言語理解能力を活用した埋め込みモデルの研究が盛んに行われるようになり[1,2,3,4,5,6]，特に自然言語による指示やタスクを表現する接頭辞を付与することでタスクに適した埋め込み表現を出力できるプロンプトに基づくテキスト埋め込みモデルが注目されている[7,8,9,10,11,12,13,14,15]．プロンプトに基づくテキスト埋め込みモデルは多くのタスクに単一のモデルで対応できる一方，しばしば数千次元の埋め込み表現を出力するため推論コストや保存コストに課題があり，これらのモデルの出力次元数を削減することの実用上の有用性は高い．本稿ではまず，プロンプトに基づくテキスト埋め込みモデルが特定のタスクにおいて，出力埋め込みの一部の次元のみで高い性能を達成できることを示す．特に埋め込み表現に基づくテキスト分類タスクについては，性能劣化なしに元の次元数の1%以下まで次元削減可能であることを示す．次に，埋め込み表現の冗長性を定量的に評価することでこの要因を分析する．具体的には，タスクごとに異なるプロンプトをモデルに入力したとき，モデルから出力される埋め込み表現の固有次元や等方性がタスクごとにどのような傾向を持つかを調査する．