文埋め込みにおける意味とスタイルの相違性

SemanticTextualSimilarity(STS)タスクは文ベクトルの評価に用いられる自然言語処理の基盤的なタスクである。”文章の類似性”の定義は本質的に曖昧であり、データセットによって異なるが、多様な種類のデータセット間の包括的な分析を行った研究は限られており、言語モデルが人間と同様に多様な種類の意味やスタイルの違いを捉えているかどうかは不明である。本研究では、凍結したEncoderに軽量なpoolerを取り付ける統一的フレームワークを導入し、STS、Paraphraseidentiﬁcation(PI)、Tripletデータセット間で統一的な分析を行う。21種類のデータセットを用いた実験の結果、意味の概念はSTS/PIタスク間で高い相関を示す一方、スタイルは意味的類似性とは独立した概念であり、明示的な分離が必要であることが分かった。