言語処理学会 第24回年次大会 発表論文集 (2018年3月)

単義語の分散表現と単語間の係り受け関係を用いた語義曖昧性解消
遊佐 宣彦 1
1

佐々木 稔 2

古宮 嘉那子 2

新納 浩幸 2

茨城大学大学院理工学研究科情報工学専攻2

茨城大学工学部情報工学科{16nm726a, minoru.sasaki.01, kanako.komiya.nlp, hiroyuki.shinnou.0828}@vc.ibaraki.ac.jp

１はじめに

この解決方法として、本研究では単義語自然言語に含まれている多義語を分析すの分散表現と単語の係り受け関係に注目しることは、自然言語処理の分野にとって大た。単義語は語義を一つしか持たないため、きな課題となっている。例えば、「研究には”その単語ベクトルは複数の語義の特徴を含意味”がある」という文の訳を計算機に判別まず一意に決定される。また、単語の係り受させる場合、“意味”は「（辞書的な言葉の）け関係を用いることで対象単語と意味的な意味」や「（行為の）価値」といった語義がつながりのある単語を特徴として捉えるこある多義語であるため、どの語義が正しいとができる。そこで本研究では、単義語の分のかを判別するための処理（語義曖昧性解散表現と係り受け関係にある単語の分散表消 (Word Sense Disambiguation, WSD)）を現を語義曖昧性解消の素性として用い、そ行わなければならない。の有効性を明らかにする。

多義語の WSD を行う際、一般的な手法は周辺の共起単語を特徴として利用する。

２関連研究

また、近年では word2vec を用いた単語の分語義曖昧性解消では一般的に、多義語と散表現の研究が数多く行われており、周辺共起する単語が語義識別の有効な手掛かりの共起単語を word2vec の分散表現へと置になるとされている[2]。本研究では、単語き換えたものを使用した WSD は有用な結の分散表現、多義語と共起する単義語、多義果を得られることが分かっている[1]。しか語と係り受け関係にある単語を素性としてし、word2vec では文章中に出現する単語を用いる。

対象にベクトルを生成してしまう問題があ

単語の分散表現は、単語の意味的特徴をる。例えば、岩波国語辞典の“ある”には 3 つ捉える上で有効であるため自然言語処理のの語義が存在するが、入力データでは区別様々なタスクでの性能向上が期待されていがついていないので“ある”のベクトルは一る。特に Mikolov ら[3]の提案した skip-つしか生成されない。この場合「ある意味」

gram モデルと CBoW モデルは、良質な分と「意味（が）ある」という二つの文の文脈散表現の学習を高速に行うことができるたを表すベクトルは同一になってしまい、二め、近年では word2vec を利用した研究が数つの文で登場している「意味」という多義語多く行われている[1][4]。また、菅原ら[5]の語義判別を行いたい場合に有効な特徴がの研究では、教師あり学習の語義曖昧性解得ることができない。他にも、既存の語義曖消タスクにおいて分散表現の有効性が検証

昧性解消の手法では、周辺の共起単語すべされている。てを特徴とするため語義識別に有効ではな

Li ら[6]の報告では単義語を語義曖昧性い単語も特徴として含めてしまい精度が低解消の素性として利用する手法を提案しそ下するという問題がある。の有効性が報告されている。しかし、ニュー― 524 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ラルネットワークに基づいたベクトル表現

つ語義がただ一つのものだけを選び、それは利用しておらず、日本語の用例文での有を単義語とした。また、それ以外の単語を多効性については検証されていない。

義語と定義した。学習では訓練データの用

また、永松ら[7]の報告では類似性判定な

例文中の対象単語において前後 2 単語に出らびに文章検索において、周辺単語を抽出現する単義語を利用し、単義語一つ一つにした場合よりも係り受け関係にある単語をその用例文における語義を紐づける。最後素性として利用した場合において、よい検に語義の付いた単義語を分散表現へ置き換索結果が得られることを示している。本研えることで、それを特徴とする。

究では、多義語に共起する単義語や係り受け関係にある単語の分散表現を教師あり

3.1.3 係り受け関係にある単語の分散表現をWSD の素性として用い、その有効性の検証利用した特徴抽出を行う。

係り受け解析器を利用して、学習モデルを作成する。まず、訓練データの用例文中の３WSD 手法対象単語に注目し、対象単語が係る単語と3.1 WSD モデルの学習対象単語に係る単語のみを抽出し、それぞWSD モデルを構築するために訓練デーれを分散表現に置き換える。次に、抽出したタから特徴の抽出を行い、教師あり学習手単語の分散表現を次元毎に加算し、平均ベ法を用いて学習を行う。この時、本研究ではクトルを取ることで対象の文の文脈ベクト

単義語の分散表現、係り受け関係にある単ルとする。作成した文脈ベクトルにその用語の分散表現、及びそれらを併用した場合例文の語義を紐づけることで、それを特徴の特徴抽出を行った。更に、比較評価を行うとする。

ために従来手法である文脈全体の分散表現による特徴抽出についても実験を行った。

3.1.4 単義語の分散表現と係り受け関係にあ訓練データには対象単語の用例文に語義がる単語の分散表現を併用した特徴抽出

ついたデータを用い、あらかじめ形態素解析器で単語毎に分割する。

対象単語の品詞によって上記二つのどちらの手法を利用するかを区別する。動詞・形

以下に、使用する特徴抽出の手法を列挙する。

容詞・名詞（副詞可能、形容動詞語幹）なら3.1.2、名詞（それ以外）なら 3.1.3 の特徴を用いる。

3.1.1 文脈全体の分散表現を利用した特徴抽出（従来手法）3.2 対象単語の語義推定

訓練データについて、用例文の対象単語3.1 で説明した各特徴抽出手法から学習

以外の全単語を分散表現に置き換え、次元モデルを構築し、対象単語の語義推定に利毎に加算したものを平均化することで文脈用する。テストデータの用例文を入力するベクトルを作成する。その後、用例文の語義ことによって、対象単語の語義推定を行う。と紐づけることで、それを特徴とする。

テストデータは、対象単語の用例文が含まれ、形態素解析器で単語毎に分割されてい3.1.2 単義語の分散表現を利用した特徴抽出る。

単義語を利用するために、本研究では、岩波国語辞典から大分類に対応する語義番号の 2 番目以降がすべて 0(XXXX-0-0-0-0)か3.2.1 文脈全体の分散表現を利用した WSD― 525 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

（従来手法）使用ベクトル

テストデータ中の対象単語以外のすべて

朝日新聞skipgram

従来手法(3.2.1) 提案手法(3.2.4)
69.52%

70.04%

cbow

69.16%

69.96%

glove69.20%

70.60%

70.16%

72.08%の単語を分散表現に置き換え、次元毎に加〃算したものを平均化することで文脈ベクト〃ルを作成する。その後、訓練データ全てのベnwjc2vec

クトルと類似度を比較し、最も類似しているベクトルの語義を正解として出力する。
3.2.4 単義語の分散表現と係り受け関係にある単語の分散表現を併用した WSD

3.2.2 単義語の分散表現を利用した WSD
訓練データと同様に、テストデータにつ対象単語の品詞によって上記二つのどちいても対象単語の前後 2 単語の単義語を利らの手法を利用するかを区別する。動詞・形用する。抽出した単義語は分散表現に置き容詞・名詞（副詞可能、形容動詞語幹）なら換えた後にそれぞれ訓練データの全ベクト3.2.2、名詞（それ以外）なら 3.2.3 の訓練デルと比較し、テストデータの単義語と最もータを用いた WSD 手法を行う。

高い類似度を持つ訓練データの単義語の語義を正解として出力する。また、前後 2 単4 実験

語に単義語が存在しない場合には、前後 24.1 データセット

単語に存在する全ての単語をテストデータ

本実験では、辞書として岩波国語辞典をとして利用する。その場合には文脈ベクト利用し、形態素解析器としてMeCab*1、係ルを作成し、訓練データの中で最も類似しり受け解析器としてCabocha*2を利用しているベクトルの語義を正解として出力すた。テストデータおよび訓練データとしてる。

は、Semeval2010 日本語WSD タスクで課題として公開されたデータを利用する

3.2.3 係り受け関係にある単語の分散表現を[8]。Semeval2010 では対象単語が50個用利用した WSD意され、訓練データとテストデータとして訓練データと同様に、テストデータについても対象単語と係り受け関係にある単語その単語を使用した用例文が各50件用意されている。

を利用する。係り受け関係にある単語を分

また、分散表現のデータとして、国立国語散表現に置き換えた後、次元毎に加算し、平研究所が作成した nwcj2vec[9]、及び、朝日均ベクトルを取ることで文脈ベクトルとす

新聞のデータセットから作成したベクトルる。その後、テストデータの文脈ベクトルと三つを利用した[10]。

最も類似度の高い訓練データの文脈ベクトルの語義を正解として出力する。また、テス4.2 結果

トデータの用例文中に対象単語と係り受け3 節で説明した各手法を用いて比較実験関係にある単語が存在しない場合は、前後を行った。各 WSD 手法の精度を表 1 に示

2 単語に存在するすべての単語をテストデす。従来手法と比較すると、前後 2 単語のータとして利用する。その場合においても、単義語の分散表現を使用した WSD 手法はテストデータの文脈ベクトルと最も類似度精度が低下している一方で、係り受け関係の高い訓練データの文脈ベクトルの語義をにある単語の分散表現を使用した WSD 手正解として出力する。

法と二つを併用した WSD 手法はそれぞれ
表２：3.2.4 手法の使用ベクトル毎の比較

表１：各 WSD 手法の全体精度*1 http://taku910.github.io/mecab/*2 https://taku910.github.io/cabocha/― 526 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

分散表現を利用した手法を選択したが、品使用手法

全体精度

従来手法(3.2.1)

70.16%

単義語(3.2.2)

68.40%とでさらなる WSD システムの性能向上に係り受け(3.2.3)

70.56%寄与することが期待できる。

単義語・係り受け(3.2.4)

72.08%

詞毎の特徴をより捉えた手法を利用するこ

参考文献[1] 佐々木稔・古宮嘉那子・新納浩幸(2016). 「分散表現精度が向上していることが分かる。特に、二に基づく日本語語義曖昧性解消における辞書定義文の有つの手法を合わせた手法は従来手法と比べ効性」言語処理学会第 22 回年次大会発表論文集,P11-て 1.92％の精度上昇がみられた。

1,pp.449-452.

また、別のデータセットでも同様の結果[2]D.

Yarowsky.

Unsupervisedwordsenseを得られるか比較実験を行った。朝日新聞

disambiguation rivaling supervised methods. In Proc. ofのデータセットから作成した分散表現 3 つACL 1995, pages 189–196, 1995.と nwjc2vec を用いた場合の精度を表２に[3] T. Mikolov, I. Sutskever, K. Chen, G. S Corrado, and示す。従来手法と比べるといずれの場合もJ. Dean. Distributed representations of words and phrases

精度が 0.52%~1.92％上昇していることがand their compositionality. In Advances in Neural

分かる。

Information Processing Systems 26,

以上のことから、対象単語の周辺に出現[4] X. Chen, Z. Liu, and M. Sun. A unified model for word

する単義語は主に名詞の語義識別に有効な

sense representation and disambiguation. In Proc. of

特徴を持っていることが分かる。その一方

EMNLP 2014, pages 1025–1035, 2014.

で、対象単語の品詞が、副詞的な用法や形容[5] 菅原拓夢・笹野 遼平・高村 大也・奥村 学「単語の動詞的な用法で用いられる名詞、動詞、形容分散表現を用いた語義曖昧性解消」言語処理学会 第 21

詞の場合、共起する単義語は有効な特徴で回年次大会 発表論文集 (2015 年 3 月)pp.648-651ないことも分かった。また、係り受け関係に[6] J. Li, and C. Huang(1999). “A Model for Word Sense

ある単語は対象単語の品詞に関わらず有効

Disambiguation” Cmputational Linguistics and Chineseな特徴を持っていることも分かった。この[7] 永松 健司・田中 英彦「コーパスから抽出した係り受ように対象単語の品詞毎に特徴を捉えたけ共起情報に基づく類似度と文書検索における評価」自

WSD 手法を選択することで、全体の精度を然言語処理(1996)116-11,pp.73-78上昇させることができると考えられる。

[8] Okumura, M., Shirai, K., Komiya, K., and Yokono, H.
(2011). “On SemEval-2010 Japanese WSD Task.” 自然言

5 結論

語処理, 18 (3), pp. 293–307.

本研究では語義曖昧性解消タスクにおい[9] 浅原正幸・岡照晃(2017).「nwjc2vec『国語研日本語て、対象単語周辺に出現する単義語の分散ウェブコーパス』に基づく単語の分散表現データ」言語

表現と対象単語と係り受け関係にある単語処理学会第 23 回年次大会講演論文集,E1-5, pp.82-85.の分散表現を利用したシステムの有効性を[10] 田口雄哉, 田森秀明, 人見雄太, 西鳥羽二郎, 菊田検証した。実験の結果、二つの手法を併用し洸. 同義語を考慮した日本語単語分散表現の学習. 情報たシステムが従来手法の精度を上回ること

処理学会第 233 回自然言語処理研究会, Vol.2017-NL-233,が確認され、これらの手法が有効であるこNo.17, pp.1-5. October 2017とが明らかになった。今回は MeCab における品詞区分により、単義語の分散表現を利用した手法と、係り受け関係にある単語の― 527 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.