ガウス埋め込みに基づく文表現生成

文の持つ情報をベクトルで表現する文埋め込みは、文書分類や類似文検索、質問応答など様々な自然言語に関するタスクで用いられている。近年では、事前学習済み言語モデルを用いる機械学習ベースの文埋め込みの生成法が主流となっており、トピックや感情といった文が持つ情報を豊かに表現する文埋め込み生成の試みが広く行われて文埋め込み生成の主なモデルとしては、SiameseNetworkを用いてBERT[1]を微調整するSentence-BERT[2]や、正例と負例の文ペアを構築して対照学習を行うSimCSE[3]などが挙げられる。しかし、これらは文をベクトルとして表現する手法であり、文同士の類似度の指標としては基本的にコサイン類似度のような対称的な指標が用いられることから、包含関係や階層構造など、2文間の非対称的な関係を捉えることができない。そこで本稿では、単語をガウス分布として表現するガウス埋め込みを基に、図1に示すように文をガウス分布として表現する手法を提案する。また、KLダイバージェンスを用いて文同士の階層構造を表現可能な非対称的な類似度指標を提案する。自然文1：Asoccergamewithmultiplemalesplaying.含意文2：Somemenareplayingasport.文3：Themanissleeping.文3文1・文3文1・文2・文2み(右図)の概要図。点埋め込みでは包含関係にある文1と文2のうちどちらが他方を包含するかを表現できない一方、提案手法では包含関係を表現できる。言語推論(NaturalLanguageInference;NLI)分類タスク、および包含関係にある文ペアに対してどちらが包含する側であるかを推測するタスクを用いた実験から、提案手法が従来の文表現と意味表現において同等の性能を保ちつつ、文同士の包含関係を表現できることを示す。