近年、文の持つ情報を埋め込み空間上の点として表現する文ベクトルの研究が盛んである。しかし、点による文の表現は、文の持つ意味の広がりや包含関係などの文同士の非対称的な関係を表現できないなど、文が持つ多様な情報の一部しか表現できない。そこで本研究では、文をガウス分布として領域的に埋め込む手法、および、包含関係の認識のための類似度指標を提案する。実験を通し、自然言語推論タスクにおいて従来の点表現ベースの手法と同等の性能を達成できること、点表現では困難であった包含関係の向きの推定が可能であることを示す。

文の持つ情報をベクトルで表現する文埋め込みは、文書分類や類似文検索、質問応答など様々な自然言語に関するタスクで用いられている。近年では、事前学習済み言語モデルを用いる機械学習ベースの文埋め込みの生成法が主流となっており、トピックや感情といった文が持つ情報を豊かに表現する文埋め込み生成の試みが広く行われて文埋め込み生成の主なモデルとしては、SiameseNetworkを用いてBERT[1]を微調整するSentence-BERT[2]や、正例と負例の文ペアを構築して対照学習を行うSimCSE[3]などが挙げられる。しかし、これらは文をベクトルとして表現する手法であり、文同士の類似度の指標としては基本的にコサイン類似度のような対称的な指標が用いられることから、包含関係や階層構造など、2文間の非対称的な関係を捉えることができない。そこで本稿では、単語をガウス分布として表現するガウス埋め込みを基に、図1に示すように文をガウス分布として表現する手法を提案する。また、KLダイバージェンスを用いて文同士の階層構造を表現可能な非対称的な類似度指標を提案する。自然文1：Asoccergamewithmultiplemalesplaying.含意文2：Somemenareplayingasport.文3：Themanissleeping.文3文1・文3文1・文2・文2み(右図)の概要図。点埋め込みでは包含関係にある文1と文2のうちどちらが他方を包含するかを表現できない一方、提案手法では包含関係を表現できる。言語推論(NaturalLanguageInference;NLI)分類タスク、および包含関係にある文ペアに対してどちらが包含する側であるかを推測するタスクを用いた実験から、提案手法が従来の文表現と意味表現において同等の性能を保ちつつ、文同士の包含関係を表現できることを示す。