言語処理学会 第30回年次大会 発表論文集（2024年3月）

加法構成性を活用した最適輸送による文書類似度の定量化
赤松 朋哉 1 中川 慧 2
1 大阪大学大学院理学研究科 2 野村アセットマネジメント株式会社
u149852g@ecs.osaka-u.ac.jp, kei.nak.0315@gmail.com

概要
本 研 究 は，自 然 言 語 処 理 の 基 本 タ ス ク で あ る
Senmantic text similarity (STS) の 精 度 向 上 を 目 的 とし，単語ベースと文章ベースの STS 手法の差異に着目する．特に，金融経済分野をはじめとする専門分野のフレーズ表現に焦点を当て，加法構成性を持つ
単語埋め込みによって得られている単語の分散表現に対し，加法構成性を活用した最適輸送問題に基づく新しい文書類似度の定量化手法を提案する．

1

はじめにフレーズ表現である．これに対して，単語ベースの分散表現である Word2Vec と文章ベースの分散表現である BERT の埋込空間を用いて類似度を計測すると，前者は 0.66，後者は 0.90 と文章ベースはフレーズ表現に対応できていることがわかる．また同様に，「人が売るときに買い，人が買うときには売れ（Buy when others sell; Sell when others buy）」という表現と「 大衆はいつも間違える（The public is alwayswrong）」という群集心理に逆らう重要性を指摘する
フレーズ表現でも，前者は 0.31，後者は 0.85 と文章ベースはフレーズ表現に対応できている．
以上を踏まえて本研究では，加法構成性を持つ単語埋め込みによって得られている単語の分散表現に対し，加法構成性を活用した最適輸送問題を構成することで，Word mover’s distance [8] による STS の精度を向上させる手法を提案する．（図 1）

Senmantic text similarity (STS) は，二つのテキスト間の類似度を計算し，それらの意味的な等価性を測定するタスクである [1]．STS は自然言語処理において最も基本的なタスクの一つであり [2]，情報検索やテキスト要約などの様々なタスクへ応用されて2 準備いる．そのため，正確な STS の計測が可能になる
以下では，正の整数 𝑛 に対し，[𝑛] B {1, . . . , 𝑛} とと，様々な自然言語処理タスクの精度向上が期待で定義する．また，集合 𝑋 に対し，#𝑋 で 𝑋 の濃度
きる [3]．
STS の手法は単語アライメントベースのものと文 （要素の数）を表す．
ベースのものに大別される [4]．ここで，前者はア2.1 問題設定ライメントが得られるため直感的かつ解釈可能であ
まず単語埋め込みの設定について，以下のようにる一方で，性能自体は文ベースの方が良い [5, 6]．こ定義する．の理由として単語のアライメントでは，複数の単語の加法で構成される “フレーズ表現”をうまくとら• 単語全体の集合を 𝕎 とおく．
えることができていない一方，文ベースの手法では• 文全体の集合を 𝕊 とおく．
これをうまくとらえているためであると考えてい• 各文 𝑠 を形態素解析によって #𝑠 個の単語からる．特に，金融経済といった専門領域の文章には独なる順序対とみなし，𝑠 = (𝑠𝑖 )𝑖 ∈ [#𝑠] と記す．
自のフレーズ表現に対応するための専門の辞書が用• 各単語をある次元 𝐷 のユークリッド空間 ℝ𝐷 内意されており [7]，こういった表現が多く含まれるの点と対応付ける操作と考えられる．ゆえに金融や経済分野といった専門
vec : 𝕎 → ℝ𝐷
領域ほどフレーズ表現を捉えることは特に重要でを単 語 埋 め 込 みと 呼 ぶ．単 語 𝑤 に 対 し，ある．例えば，「卵を一つのかごに盛るな（Don’t put
vec(𝑤) (∈ ℝ𝐷 ) を 𝑤 の単語ベクトルという．
all your eggs in one basket）」という表現と「一つの投資先に依存するな（Don’t rely on a single investment）」 単語埋め込みの最も単純な例として，ある成分のみという表現はともに，分散投資の重要性を指摘する
1 でその他の成分は全て 0 であるベクトルによって― 1006 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

vec(𝑠1 )vec(𝑡2 )vec(𝑠2 )vec(𝑡1 )vec(𝑠3 )vec(𝑠3 )vec(𝑡3 )vec(𝑡3 )図 1: 文 𝑠 = (𝑠1 , 𝑠2 , 𝑠3 ), 𝑡 = (𝑡1 , 𝑡 2 , 𝑡 3 ) に対し，それぞれの単語埋め込みが左図のように与えられたとする．このとき，WMD では緑の矢印のような直接的な輸送により文 𝑠, 𝑡 の類似度を測る．本紙では，例えば単語 𝑠1 , 𝑠2及び 𝑡1 , 𝑡 2 の組合せが 1 つのフレーズとして検知できた場合に，これらをまとめて 1 つの “単語”として扱う輸送問題を提案する（右図）．ただしフレーズは必ずしも 1 つの単語として表せないため，単語埋め込みには加法構成性を仮定し，この性質による近似を使用する．また，フレーズとして認識されなかった単語は WMDによる通常の輸送を行う．
各単語を表現する One-hot 表現がある．この手法では有限個の点 𝑥 ∈ ℝ𝐷 に重み 𝜇(𝑥) > 0 が乗っは単語の総数分の次元が必要，すなわち埋め込み先た確率分布である．𝜋 ∈ 𝒫(𝑋 × 𝑋) が確率測度の空間の次元が 𝐷 = #𝕎 となるため，扱う単語数が𝜇, 𝜈 ∈ 𝒫(𝑋) のカップリングであるとは，任意大きい場合は各操作の計算時間が大きくなり実用の部分集合 𝑆 ⊂ 𝑋 に対して 𝜋(𝑆 × 𝑋) = 𝜇(𝑆) かつ的とはいえなくなる．このため埋め込み先の空間

𝜋(𝑋 × 𝑆) = 𝜈(𝑆) であることをいう．𝜇, 𝜈 のカッの次元を #𝕎 に比べて可能な限り削減するというプリング全体の集合を Π(𝜇, 𝜈) (⊂ 𝒫(𝑋 × 𝑋)) とのは単語埋め込みにおける重要な問題意識である．

書く．

この問題を上手く克服した埋め込み手法の 1 つにMikolov ら [9] によって提案された Word2vec がある．

• 輸送距離に関して．𝑐 : 𝑋 × 𝑋 → ℝ を集合 𝑋 上のコスト関数とする．このとき，𝒫(𝑋) × 𝒫(𝑋)上の関数 W1 (·, ·; 𝑐) をÕ
W1 (𝜇, 𝜈; 𝑐) B min𝑐(𝑥, 𝑦)𝜋(𝑥, 𝑦)

Word2vec による単語埋め込みには，特徴を表す単語ベクトルを複数足し合わせることでそれらの特徴を兼ね備えた単語の単語ベクトルを（ℝ𝐷 上の点とし𝜋 ∈Π ( 𝜇,𝜈)て）近似できるという加法構成性がある [10]．加法𝑥,𝑦 ∈𝑋と定義する．𝑐(𝑥, 𝑦) は 𝑥 ∈ 𝑋 から 𝑦 ∈ 𝑋 への単構成性によって例えば次のよく知られた近似が可能

位質量あたりの輸送コストを表していることとなる：

から，右辺の目的関数は 𝜇 から 𝜈 への輸送コvec(royal) + vec(man) ≈ vec(king).

(1)ストの総量である．従って W1 (𝜇, 𝜈; 𝑐) とは，確Word2vec 以外にも Pennington らによる [11] も加法率測度 𝜇, 𝜈 間のコスト関数 𝑐 のもとでの最小構成性を持つことが知られている．本研究では，こ輸送費用である．扱う確率測度は全てサポーのような加法構成性を持つ単語埋め込みを扱う．

トが有限であるため，右辺の最小値が存在す2.2ることも分かる．ここで，コスト関数 𝑐 によっては W1 (·, ·; 𝑐) は距離関数とならない（例えば最適輸送

三角不等式を満たさない）場合があることに最初に，最適輸送による記述を行うための用語を注意する．本紙ではこのような場合においてまとめる．

も W1 (·, ·; 𝑐) を（輸送）距離と呼ぶことがある．

• 確率測度に関して． 確 率 測 度 𝜇 のサ ポ ー ト𝑋 が距離関数 𝑑 : 𝑋 × 𝑋 → ℝ ≥0 を備えた距離supp 𝜇 を supp 𝜇 B {𝑥 ∈ 𝑋 | 𝜇(𝑥) > 0} と定義する．断りのない限り，本紙で扱う確率測度は全空間であるとき，W1 (·, ·; 𝑑) は 𝒫(𝑋) 上の Earthてサポートが有限とする．また，集合 𝑋 に対mover’s distance あるいは 𝐿 1 -Wasserstein 距離とし，𝑋 上の有限サポートを持つ確率測度全体の集合を 𝒫(𝑋) と書く．すなわち 𝜇 ∈ 𝒫(ℝ𝐷 )1） 正確には (𝑋, 𝑑) が完備可分距離空間である必要がある呼ばれる距離尺度である1）．

― 1007 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

次に，[8] で提案された Word mover’s distance (WMD)

WMD はフレーズを単語単位に分解した状態で 2 文を導入する．WMD では 2 つの文の間の類似度を測の距離を測るため，特にフレーズに対しては埋め込る距離尺度であるが，そのためには (1) 文を確率測

みの段階で得られている各単語の分散表現の精度が度に変換する，(2) それらの間をユークリッド距離低下してしまうことが原因だと考えられる．

をコストとした W1 で測る，という 2 つのステップがある．これらを式で書き下すと以下のように3.2

加法構成性を活用した最適輸送問題

なる：

フレーズ
𝑠3 ,
𝑠4 ,

フレーズ
𝑠5 ,
𝑠6𝑠˜ 𝑘2 ,𝑠˜ 𝑘3であるものと定義する．すなわち STUM とは，“単語”“単語”与えられた文 𝑠 = (𝑠𝑖 )𝑖 ∈ [#𝑠] に対し，各単語 𝑠𝑖 の

図 2: 文 𝑠 か ら 𝑠˜ へ の 変 換（式 (4)）．単 語 の 組

単語ベクトル vec(𝑠𝑖 ) の上に合計 1 の重みを均等に乗せる操作である．

合，これらをまとめて “単語”𝑠˜ 𝑘2 , 𝑠˜ 𝑘3 として扱う．

𝑠 = 𝑠1 ,(1)まず，各文 𝑠 を ℝ𝐷 上の確率測度に変換する写

𝑠2 ,像2）STUM : 𝕊 → 𝒫(ℝ𝐷 ) を，各 𝑖 ∈ [#𝑠] に対し
1
STUM vec(𝑠𝑖 ) B#𝑠𝑠˜ B 𝑠˜ 𝑘1 ,(2)(𝑠2 , 𝑠3 , 𝑠4 ), (𝑠5 , 𝑠6 ) がフレーズとして判定された場(2)そして 𝕊 上の距離 Word mover’s distance WMD :𝕊 × 𝕊 → ℝ ≥0 をWMD (𝑠, 𝑡) B W1 STUM(𝑠), STUM(𝑡); 𝑑ℝ𝐷

構成性を活用した最適輸送問題を構成することでである空間 ℝ𝐷 のユークリッド距離である．

提案手法

3.1

背景

本研究では，加法構成性を持つ単語埋め込みによって得られている単語の分散表現に対し，加法と定義する．ここで，𝑑ℝ𝐷 は単語の埋め込み先

3



WMD の精度を向上させる手法を提案する．すなわ

ち，単語埋め込みが与えられた（単語が ℝ𝐷 に埋め込まれた）状況において WMD を修正する．
以下ではフレーズとは連続する 2 語以上からなる単語の組とする．与えられた文 𝑠 = (𝑠𝑖 )𝑖 ∈ [#𝑠] に対し，以下のように定義する．

1 章で述べたように専門領域においては特有の用語・フレーズが豊富である3）．特定の単語が集まった場合に普段使われているのと異なる意味として対処する必要があるため，文脈を考慮しない “静的”な埋め込みである Word2vec などではその特定の• 文 𝑠 に対し，𝑠 内で検出できたフレーズ全体の集合を 𝑃(𝑠) と表す．フレーズは最低 2 語からなるものであり，また文そのものがフレーズであることもあるため 0 ≤ #𝑃(𝑠) ≤ #𝑠/2 である．
• 検出した各フレーズ 𝑝 ∈ 𝑃(𝑠) について，以下のタスクにフォーカスした訓練が必要となる．また，

流れで 𝑝 を構成する 𝑠 の単語たちをまとめて 1

文ベースの STS，文脈をくみ取ってその文の中での単語の意味を表現する Embeddings from Language

成する 𝑠 の単語の数を #𝑝 とし，𝑝 = ( 𝑝 𝑗 ) 𝑗 ∈ [# 𝑝]Models による埋め込み [14] などが有効な手法となる．ただしこれらの手法には加法構成性は期待できないことが多い．
一方で文の距離尺度である輸送距離に関しては，WMD では個々の単語ベースの輸送で文の類似度を測るため，特殊な表現を含む文への適用に十分な妥当性を持たないことがしばしば見受けられる．
（詳しくは [12, 13] などを参照）．任意の次元 𝐷 に対してユー
クリッド空間 ℝ𝐷 は完備可分距離空間である．
2） Sentence To Uniform (Probability) Measure.
3） 実際に本研究と同様の問題意識で専門用語についてはtermextracthttp://gensen.dl.itc.u-tokyo.ac.jp/pytermextract/のように専門用語を抽出する技術が存在する．

― 1008 ―つの “単語”として同一視する．フレーズ 𝑝 を構と表す．このとき，単語埋め込み vec の記号を濫用し，Õvec( 𝑝) = vec ( 𝑝 𝑗 ) 𝑗 ∈ [# 𝑝] Bvec( 𝑝 𝑗 )(3)𝑗 ∈ [# 𝑝]と定める．任意の 𝑗 ∈ [#𝑝] に対して vec( 𝑝 𝑗 ) ∈ℝ𝐷 で あ る た め vec( 𝑝) ∈ ℝ𝐷 で あ る．こ こ で𝑝 ∉ 𝕎 であり，また vec(𝑤) = vec( 𝑝) なる単語𝑤 ∈ 𝕎 は必ずしも存在しないことに注意する．
• このようにして新たに構成された “単語”の順序
対を 𝑠˜ とおき，改めて番号付けしておく（図 2）：𝑠˜ = 𝑠˜ 𝑘1 , . . . , 𝑠˜ 𝑘#[𝑠]˜ .
(4)This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

いま，𝑠˜ の定義より次が成り立つ：
Õ#𝑝 − 1 ≤ #𝑠 .
#𝑠˜ = #𝑠 −Comparison of Word2Vec and BERT Similarities
1.0𝑝∈ 𝑃 (𝑠)0.9

2 つのフレーズ 𝑝 = ( 𝑝 𝑖 )𝑖 ∈ [# 𝑝] , 𝑞 = (𝑞 𝑗 ) 𝑗 ∈ [#𝑞 ] があり，BERT Similarity

これらは互いに似た意味を持っているとする．このとき，単語埋め込み vec に加法構成性を仮定しているため，ℝ𝐷 での (1) のような近似ÕÕvec( 𝑝) =vec( 𝑝 𝑖 ) ≈vec(𝑞 𝑗 ) = vec(𝑞) (5)𝑖 ∈ [# 𝑝]0.80.7𝑗 ∈ [#𝑞 ]0.6が期待できる．

0.5

以 上 の 考 察 を も と に，WMD を 修 正 す る．まず，与 え ら れ た 文 𝑠 か ら 確 率 測 度 へ の 変 換4）

0.6

0.7
0.8
Word2Vec Similarity

0.91.0

図 3: (i) word2vec (ii) BERT の類似度の散布図

STWM : 𝕊 → 𝒫(ℝ𝐷 ) を考える．本設定では重みは 𝑠ではなく 𝑠˜ を構成する単語の単語ベクトルに乗せる．ここで，𝑝 ∉ 𝕎 であることと同様に 𝑠˜ ∉ 𝕊 であるが，𝑠 から 𝑠˜ への変換と合成することで 𝕊 → 𝒫(ℝ𝐷 )の写像を構成できることに注意する．また，検出しま ず，(i) と (ii) の 相 関 を 計 算 す る と 0.101 と なたフレーズに対して重みを割り当てることができり，相関が低いことがわかる (散布図3)．なお，(i)るため，式 (2) のような一様な重みではなく，横井

word2vec の類似度において単語分割ができないことら [4] に導入された Word rotator’s distance (WRD) とにより類似度が 1 となっているペアが存在するが，同様の方法でフレーズの重要度を反映させた重みを考える．実際，フレーズは複数個の単語の組合せでこれを除外すると相関は-0.405 と逆相関となる．
ま た，(i) と (ii) の 類 似 度 の 差 の 統 計 量 は 平 均:-あるため，本研究のような定義を採用する場合，そ0.114，中央値:-0.121，標準偏差:0.099，最小:-0.362，の埋め込み先（=フレーズを構成する単語の単語ベ最大: 0.308 である．定性的にも，「山高ければ谷深クトルの和，定義式 (3) 参照）のノルム（重要度）はし」，「株価の里帰り」というほぼ同じ意味を持つ格

特に意味を持つ．つまり，各 ℓ ∈ [#𝑠˜] に対し，言に対して，(i) 0.61, (ii) 0.79 という類似度が計算さ

STWM vec 𝑠˜ 𝑘ℓ



B Í

れている傾向がみられた．

vec( 𝑠˜ 𝑘ℓ )ℓ ∈ [#𝑠]˜

「山高ければ谷深し」，「株価の里帰り」．(i) 0.61,vec( 𝑠˜ 𝑘ℓ )と定める．ただし ∥ · ∥ : ℝ𝐷 → ℝ ≥0 は ℝ𝐷 のユークリッドノルムである．続いて輸送距離を決める．式(5) の近似を活用するため，ここでは純粋に ℝ𝐷 のユークリッド距離を採用する．したがって本研究で(ii) 0.79.
(i) < (ii) となるのは BERT が word2vec に比べて埋め込みがより文レベルであることによる．一方，これらは同等の意味を持つため，これらのフレーズが検知できた場合は MWMD の値は十分小さくなる導入した輸送距離5）MWMD : 𝕊 × 𝕊 → ℝ ≥0 を

MWMD (𝑠, 𝑡) B W1 STWM(𝑠), STWM(𝑡); 𝑑ℝ𝐷（すなわち類似度をより高く評価できる）ことが期と定義する（図 1も参照）．

54

待できる．

数値例

まとめ
本研究では，加法構成性を持つ単語埋め込みのも株式相場の格言を 47 個取得6）し，それらのペアについて (i) word2vec (ii) BERT それぞれの手法による類似度の数値例を示す．とでの WMD の修正案として，検知したフレーズを形式上の単語として扱った状態で類似度を求める最適輸送問題を構成した．今回の輸送尺度はフレーズを単に単語とみなしているが，このような “単語”を4） Sentence To Weighted (Probability) Measure.
5） Modiﬁed Word Mover’s Distance.
6） https://www.jsda.or.jp/jikan/proverb/proverb26.html

通常の単語と区別するべきかどうかなどの問題はまだ改良の余地があると考えられる．

― 1009 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

contextualized word representations. In Proc. of NAACL,Vol. 5, 2018.

参考文献[1] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor
Gonzalez-Agirre. Semeval-2012 task 6: A pilot on semantic textual similarity. In * SEM 2012: The First Joint Conference on Lexical and Computational Semantics–Volume1: Proceedings of the main conference and the sharedtask, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012),
pp. 385–393, 2012.
[2] Dhivya Chandrasekaran and Vijay Mago. Evolution ofsemantic similarity―a survey. ACM Computing Surveys(CSUR), Vol. 54, No. 2, pp. 1–37, 2021.
[3] John Wieting, Taylor Berg-Kirkpatrick, Kevin Gimpel, andGraham Neubig. Beyond bleu: Training neural machinetranslation with semantic similarity. In Proceedings of the57th Annual Meeting of the Association for ComputationalLinguistics, pp. 4344–4355, 2019.
[4] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, andKentaro Inui. Word rotator s distance. In Proceedingsof the 2020 Conference on Empirical Methods in Natural
Language Processing (EMNLP). Association for Computational Linguistics, 2020.
[5] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning
Representations, 2019.
[6] Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore:
Evaluating generated text as text generation. Advancesin Neural Information Processing Systems, Vol. 34, pp.
27263–27277, 2021.
[7] Tim Loughran and Bill McDonald. When is a liability nota liability? textual analysis, dictionaries, and 10-ks. The
Journal of ﬁnance, Vol. 66, No. 1, pp. 35–65, 2011.
[8] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. InInternational conference on machine learning, pp. 957–966. PMLR, 2015.
[9] T Mikolov, K Chen, G Corrado, and J Dean. Eﬃcientestimation of word representations in vector space. in y.
bengio & y. lecun (eds.), 1st international conference onlearning representations, iclr 2013, scottsdale, az, may 2–4, 2013, workshop track proceedings. 2013.
[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado,and Jeﬀ Dean. Distributed representations of words andphrases and their compositionality. Advances in neural
information processing systems, Vol. 26, , 2013.
[11] Jeﬀrey Pennington, Richard Socher, and Christopher D
Manning. Glove: Global vectors for word representation.
In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532–1543, 2014.
[12] Cédric Villani, et al. Optimal transport: old and new, Vol.
338. Springer, 2009.
[13] Cédric Villani. Topics in optimal transportation, Vol. 58.
American Mathematical Soc., 2021.
[14] E Matthew. Peters, mark neumann, mohit iyyer, matt gardner, christopher clark, kenton lee, luke zettlemoyer. deep

謝辞
第一著者は JST 次世代研究者挑戦的研究プログラ
ム JPMJSP2138 の支援を受けている．

― 1010 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).