指示認識テキスト埋め込みモデルの指示によるベクトル変位の分析

重要である.また,一般に言語モデルの大規模化は表情報検索や文書分類といったタスクにおいて,テ現能力の向上に直結すると考えられているが,テキキスト全体の意味を密なベクトル,すなわち密な埋スト埋め込みモデルにおける指示による空間的変位め込みとして表現するテキスト埋め込み技術の研究能力が,パラメータサイズに比例して向上するかにが盛んに行われている.近年では,対照学習の導入についても明らかでない.よりテキスト全体を適切に表現することに最適化さ本研究では,異なるサイズおよびアーキテクチャれたモデルの開発が進展し,情報検索や類似文検索を持ち,かつ指示を認識できるテキスト埋め込みモなど様々なタスクにおける性能が飛躍的に向上しデルを独自に構築し,タスク指示が埋め込み空間にた[1,2].与える影響を分析する.異なる次元や空間を持つモしかし,同一のテキストであっても,対象とするタデルを公平に比較するため,共通空間への射影を用スクの性質に応じて最適な埋め込み表現は異なるといて同一基準での分析を行う.その結果,指示による考えられる.例えば,「織田信長が生まれた年はい埋め込みの変位は一様ではなく,検索タスクと比較つ?」という入力文に対し,情報検索を行いたい場合して分類や意味的類似度計算（STS）などのタスクは「織田信長の生まれ年は1534年です」のような事において,空間上の移動がより顕著に現れることが実に焦点を当てた文に近い埋め込みが最適である.明らかになった.加えて,パラメータサイズと指示に一方で,意味的類似性の高いテキストを取得したいよる空間分離性能の間には単純な相関が見られない場合は「織田信長がいつ生まれたか知りたい」のよことが示唆された.org/licenses/by/4.0/).