プロンプトに基づくテキスト埋め込みのタスクによる冗長性の違い

近年，プロンプトを与えることでタスクごとに適した埋め込み表現を出力する，プロンプトに基づくテキスト埋め込みモデルが高い性能を示している．しかし，これらのモデルはしばしば数千次元に及ぶ巨大な埋め込み表現を出力するため推論コストや保存コストに課題がある．本稿では，分類，クラスタリング，検索という3種のタスクに対し，事後的にこれらの埋め込みの次元数を削減した場合の性能を調査し，分類・クラスタリングタスクについては次元数を大幅に削除しても性能がほとんど損なわれないことを示す．さらに，固有次元の大きさや等方性を調査することで，大幅な次元削減が可能なタスクに適した埋め込みは冗長性が大きいことを示す．