テキスト埋め込みからのテキスト復元における予測制御の援用の効果検証

テキスト埋め込みモデルとは,テキストの内容を単一のベクトルに抽出するエンコーダモデルである.テキスト埋め込みでは,2つのテキストの内容の類似度計算が可能であり,情報検索・質問応答・バイテキストマイニングなど様々なNLPタスクに利用されている[2].この抽出されたテキスト埋め込みから元のテキストを復元することは一般に難しい.文献[1]では,テキスト埋め込みからテキストを復元する手法としてVec2Textという手法が提案された.Vec2Textでは,2つのモデルが用いられ,1つ目のモデルでテキスト埋め込みから元のテキストの仮説を生成し,2つ目のモデルで生成したテキストの修正を行なう.そして,2つ目のモデルにより,テキストの修正を反復的に行なうことで,高い精度で元のテキストを復元することが可能になっている.本研究では,Vec2Textとは異なるアプローチにより,テキスト埋め込みからテキストを復元することを目指した.具体的には,Vec2Textの2つ目のモデルを使用せず,1つ目のモデルのテキスト生成方法に予測制御の考え方を用いる方法を考えた.本稿の構成を示す.2章でテキスト埋め込みから元のテキストを復元する“テキスト復元モデル”の構築について,3章で予測制御の考え方を用いたテキスト生成方法とその効果について.4章で結論を述べる.表記:語彙の集合を𝕍とおき,トークンは𝑤∈𝕍で表す.そして,単一および複数のトークンの列をテキストと呼び,𝑥={𝑤𝑖}𝑛𝑖=1∈𝕍𝑛と表す.テキスト埋め込みモデルは関数𝜙:𝕍𝑛→ℝ𝑑で表す.