埋め込み表現の意味適応による知識ベース語義曖昧性解消

語義曖昧性解消（WSD）とは，文脈を考慮して適切な語義を選択するタスクである．WSDの用途は評判分析[1,2]，情報検索[3]，機械翻訳[4]がある．本研究は，WordNet[5]の語彙資源のみを用いる知識ベースWSDの精度向上に取り組む．知識ベースWSDは教師ありWSDに対して精度面で劣るが，高コストな語義注釈付き用例文を用いずに済む．知識ベースWSDの有望な方法論は，文脈依存埋め込みによる最近傍法である[6]．具体的には，BERT[7]などの事前学習ずみ言語モデルを用いて，語釈文の埋め込み—語義埋め込み—および，用例文内の対象単語の埋め込み—文脈埋め込み—を計算し，文脈に最も近い語義を選択する．最近傍法の鍵は，語釈文と用例文の対応付けである．すなわち埋め込み空間上で正しい語義・用例対を近づけ，WSDに適応させたい．語義注釈付き用例文を用いず，語彙資源のみで対応付けを改善できるだろうか？既存研究ではふたつの改善策がある．ひとつは語彙知識による埋め込み表現の適応である．SREF[6]は，意味的に関連する語義対の埋め込みを近づけて精度を改善した．しかし関連しない語義対や，語義・用例対は活用していない．もうひとつは文脈情岡崎直観東京工業大学情報理工学院okazaki@c.titech.ac.jp換して適応させる（上）．変換関数の最適化は，距離制約のもとで，吸引・反発学習と自己学習を併用する（下）．報の拡張である．COE[8]は，評価文書内の隣接文などを用いて最高精度を達成した．しかし，SNS短文などの文単体には適用できず，汎用性に欠ける．本研究は，BERT埋め込みを変換してWSDに適応させる手法（図1）に取り組む．本研究の提案の核心は，関連する語義対および語義・用例対を近づけ，関連しない語義対および異義対は遠ざけることである．具体的には，距離制約のもとで，吸引・反発学習（図1-a）および自己学習（図1-b）を行う．前者は語義間の識別性を，後者は語義と用例の擬似的な対応付けをそれぞれ学習する．提案手法の主な新規性は，知識ベースWSDへの吸引・反発学習の適用および自己学習の併用である．埋め込み表現の意味適応手法の総称[9]に準じて，提案手法をSemanticSpecializationforWSD(SS-WSD)と呼ぶ．実験の結果，提案手法の精度は従来の埋め込み表現適応法を上回った．また既存研究で有効とされる最近傍語義探索の経験則を併用すると，文書の情報を用いずに現時点の世界最高精度を達成した．本研究の貢献は次の2点である．文単体に適用可能な，吸引・反発学習と自己学習の併用による新手法の提案．知識ベースWSDの最高精度の達成．.