SemanticTextualSimilarity(STS)タスクは文ベクトルの評価に用いられる自然言語処理の基盤的なタスクである。”文章の類似性”の定義は本質的に曖昧であり、データセットによって異なるが、多様な種類のデータセット間の包括的な分析を行った研究は限られており、言語モデルが人間と同様に多様な種類の意味やスタイルの違いを捉えているかどうかは不明である。本研究では、凍結したEncoderに軽量なpoolerを取り付ける統一的フレームワークを導入し、STS、Paraphraseidentiﬁcation(PI)、Tripletデータセット間で統一的な分析を行う。21種類のデータセットを用いた実験の結果、意味の概念はSTS/PIタスク間で高い相関を示す一方、スタイルは意味的類似性とは独立した概念であり、明示的な分離が必要であることが分かった。

SemanticTextualSimilarity(STS)[1,2]は文章間の意味的な近さを表し、情報検索[3]や文書クラスタリング[4]、重複検出[5]など様々な分野に応用され、STSタスクは文埋め込みモデルの性能を測るベンチマークとして広く採用されてきた。「しかし、意味的な近さという概念は本質的に曖昧で、データセットごとに定義が異なる。また、言語モデルはコーパス中のトークンの共起頻度に強く影響され、人間とは異なる基準で単語の意味をとらえていると報告されている[6]。したがって、言語モデルが文章の意味をどのように捉えているかは明確ではない。こうした背景から、近年は与えられた文対に対して言語モデルがなぜ高いあるいは低い類似度を予測したのかを解釈・説明する研究が注目されている。[7]。既存研究では、予測類似度に対するトークンペア間の寄与を算出する手法[8,9,10]や、モデルの埋め込みの各次元に事前に意味を割り当てて学習を行う手法[11,12]などが提案されている。これらの研セット固有の文章の違いを学習し、(2)共通の推論設定で比較を行う。究はSTSタスクの透明性を向上するものであるが、一方で扱うデータセットがイメージキャプションや表層的な変換に限られるなどスコープが限定的である。文章の違いには語彙や構造の変化だけでなく、数値表現や文体など多様な要素が含まれる。したがって、モデルがこれらの違いをどのように捉えているかを分析するには、様々なドメインやタスクから収集したデータセットによる包括的な検証が必要である。本研究では異なる様式を持つデータセット間での統一的かつ包括的な比較を行うフレームワークを提案する。本アプローチでは、凍結したエンコーダに軽量なpoolerを取り付け、その出力をコサイン類似度による共通スケールで比較することで柔軟な分析を可能にする。本研究の貢献は次の三点である。1)21種類の文章類似度データセットを収集し、共通のフレームワーク上で各データセットが定義する意味やスタイルを比較可能にした。2)意味の違いはSTSデータセットとPIデータセットの間で概ね共通の概念として捉えられる一方、スタイルは意味とは独立した概念として捉えられることを発見した。3)階層クラThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).のスコアを示す(高いほど良い)。Baseは凍結されたEncoderモデルを表す。訓練データセットと評価タスクが同一のpoolerのスコアは赤枠で囲まれている。PIではシグモイド関数の出力に対しバイナリクロスエントロピー損失(BCE)で学習し、評価にはROC曲線下面積(AUC)を用いる。(3)Triplet:各サンプル(𝑠𝑎,𝑠𝑝,𝑠𝑛)∈𝐷𝑖,tripは三文で構成され、訓練時の損失関数にはマージン付きトリプレット損失loss[16]を適用する:𝐿Triplet=max(0,𝑚+cos(e𝑠𝑎,e𝑠𝑛)−cos(e𝑠𝑎,e𝑠𝑝))(4)𝑚はマージンハイパーパラメータである。加えて、アンカーベクトルe𝑠𝑎のスタイルラベルをsoftmax分類器で予測し、クロスエントロピー損失𝐿𝐶𝐸で学習する。最終的な損失は重み𝛼を用いて𝐿CE+𝛼𝐿Tripletで表される。評価指標はTripletalignmentaccuracy(TAA)[17]を適用し、これはテストセット中のcos(e𝑠𝑎,e𝑠𝑝)>cos(e𝑠𝑎,e𝑠𝑛)となるサンプル数の割合を算出する。3実験3.1実験設定EncoderモデルはBERT-largeを基にしたmxbai-embed-large-v1[18]を使用する。poolerの出力次元は𝑑𝑝=256マージン𝑚は0.2、損失重み𝛼は1.0とした。その他の設定は付録Bに記す。3.2結果まず、文が同じ意味を持つかどうかを判定するデータセット群に対して、意味的類似度の概念が共通かどうかを分析する。図2に示すように、Encoder単体でも高い精度を示しており、意味的類似度に関する基本的な概念がデータセット間で共通していることがうかがえる。AFS・BWS・Webis-CPC-11ではスコアが低く、モデルが意味的な違いを捉えにくい概念も存在した。一方、他の多くのデータセットでは未学習の状態でも一貫して高いスコアが得られた。より詳細にモデルの予測傾向を検証するために各文ペアに対する類似度予測についてpooler間の相関係数を計算したところ、すべてのSTSおよびPIデータセットで学習したpooler同士の相関が0.9以上となった(付録C)。この結果は、poolerが普遍的な意味的類似性は捉えているものの、微細な意味の違いを十分に捉えきれていないことを示す。データセット固有の意味的差異を表現するには、より洗練された手法が必要である。Tripletタスクに着目すると、STSやPIタスクとは結果が大きく異なり、対応するデータセットで訓練したpooler以外は低いスコアにとどまった。さらに、損失関数の重み𝛼を変化させて意味とスタイルの分離を強調したところ、スタイル分類精度が向上org/licenses/by/4.0/).する傾向が観察された。これらの結果は、各スタイルが意味や他のスタイルとは独立した概念であり、モデルがこれらを区別して捉えるためには明示的な学習が必要であることを示唆している。3.3分析概念間の関係性をより明示的に分析するために、デンドログラムによるモデルの概念構造の可視化を行う。より具体的には、各データセットの文章間の差異を代表するベクトルを算出し、階層クラスタリングを適用する。まず、各データセットから文章が異なるとラベル付けされた文章ペアのサンプル集合𝐷−𝑖を構築する。STSデータセットからは文章類似度𝑦𝑘が下位100件のサンプル、PIデータセットからは𝑦𝑘=0(言い換えではない)文章ペアをランダムに100件、Tripletデータセットからはアンカーとネガティブのペアをランダムに100組ずつサンプリングする。このサンプル集合を基に、以下で定義されるMeanDiﬀerence(MD)ベクトルを算出する。(ℎ(𝑛)𝑠1−ℎ(𝑛)𝑠2)(5)∑ℎMD𝑖=1𝐾𝑛∈𝐷−𝑖直感的に、このベクトルは各データセット内で一貫する意味やスタイルの違いを表すベクトルであると考えられる。このベクトルは文対の順序に依存するため、Tripletデータセットではアンカーとネガティブを入れ替えた場合も別のMDベクトルとして扱った(StyleDistanceを除く)。最後に、全てのMDベクトルに対してWard法による階層クラスタリングを適用し、結果のデンドログラムを可視化する。図3はその結果を示し、各クラスタがMDベクトルに対応しベクトル間の距離が近いものから順にマージされる。デンドログラムでは意味的な概念同士が最初に結合し、次いで文法・特殊語・スタイル・感情の順に結合した。この結果は、意味的な違いが多様でありながら互いに密接な関係にある一方、スタイルや感情の違いは意味とは明確に区別されることを示している。4おわりに本研究では21種類の文章類似度に関するデータセットを収集し、言語モデルがこれらのデータセットで定義される文章の違いをどのように捉えているかを分析した。意味とスタイルは大きく異なる概念であり、単一の埋め込み空間で双方を同時に扱うことは難しい。そのため、本研究のpoolerのように異なるモジュールを用いて多角的に特徴を捉える設計が有効であると示唆される。org/licenses/by/4.0/).