語義の箱埋め込み学習とその応用

語義曖昧性解消(WordSenseDisambiguation;WSD)とは，文脈における単語の意味(語義)を特定するタスクである[1]．従来のWSDの研究のほとんどは，訓練データに出現する語義の中からテストデータにおける単語の語義を選択することを想定している．しかし，単語の語義は日々変化し，新しい語義も新しく生まれている．そのため，単にあらかじめ定義された語義の中から該当する語義を選ぶのではなく，対象単語が訓練データに存在しない未知の語義(あるいは新しい語義)であるのかを判定することが求められる．従来のWSDに関する研究では分類モデルを学習する際に語義をベクトルで表現していたのに対し，本研究では語義の箱埋め込みを学習することを目的とする．語義の箱埋め込みとは，ベクトル空間における領域によって表された語義の抽象表現である．語義を箱埋め込みで表現することにより，箱埋め込みが表す領域の重なりによって語義間の上位下位関係を自然に表現できる．また，対象単語を含む用例が与えられたとき，その対象単語の語義が新語義なのかを判定したり，新語義の上位語義を推定することができる．図1の例では，𝑥の箱埋め込みがcatやdogといった他の語義と領域が重ならないためにこれらとは異なる語義であること，animalの領域に包含されていることから上位語義はanimalであることが推定できる．このように，語義の箱埋め込みは，新語義の自動検出やWordNet[2]などの概念辞書の自動拡張に応用できる．本研究では既存のWSD手法であるMetricWSD[3]を語義の箱埋め込みを学習するよう拡張する．さらに，モデルの損失を計算するために用いる小さいデータセットを作成する2通りの方法を提案する．提案手法をWSD，新語義の判定，新語義の上位語義の推定の3つのタスクに適用する実験を行い，語義をベクトルで表現する従来手法と比較する．