加法構成性を活用した最適輸送による文書類似度の定量化

Senmantictextsimilarity(STS)は，二つのテキスト間の類似度を計算し，それらの意味的な等価性を測定するタスクである[1]．STSは自然言語処理において最も基本的なタスクの一つであり[2]，情報検索やテキスト要約などの様々なタスクへ応用されている．そのため，正確なSTSの計測が可能になると，様々な自然言語処理タスクの精度向上が期待できる[3]．STSの手法は単語アライメントベースのものと文ベースのものに大別される[4]．ここで，前者はアライメントが得られるため直感的かつ解釈可能である一方で，性能自体は文ベースの方が良い[5,6]．この理由として単語のアライメントでは，複数の単語の加法で構成される“フレーズ表現”をうまくとらえることができていない一方，文ベースの手法ではこれをうまくとらえているためであると考えている．特に，金融経済といった専門領域の文章には独自のフレーズ表現に対応するための専門の辞書が用意されており[7]，こういった表現が多く含まれると考えられる．ゆえに金融や経済分野といった専門領域ほどフレーズ表現を捉えることは特に重要である．例えば，「卵を一つのかごに盛るな（Don’tputallyoureggsinonebasket）」という表現と「一つの投資先に依存するな（Don’trelyonasingleinvestment）」という表現はともに，分散投資の重要性を指摘するフレーズ表現である．これに対して，単語ベースの分散表現であるWord2Vecと文章ベースの分散表現であるBERTの埋込空間を用いて類似度を計測すると，前者は0.66，後者は0.90と文章ベースはフレーズ表現に対応できていることがわかる．また同様に，「人が売るときに買い，人が買うときには売れ（Buywhenotherssell;Sellwhenothersbuy）」という表現と「大衆はいつも間違える（Thepublicisalwayswrong）」という群集心理に逆らう重要性を指摘するフレーズ表現でも，前者は0.31，後者は0.85と文章ベースはフレーズ表現に対応できている．以上を踏まえて本研究では，加法構成性を持つ単語埋め込みによって得られている単語の分散表現に対し，加法構成性を活用した最適輸送問題を構成することで，Wordmover’sdistance[8]によるSTSの精度を向上させる手法を提案する．（図1）