言語処理学会 第24回年次大会 発表論文集 (2018年3月)

話題に基づく語義曖昧性解消
桾澤 優希

山本 和英

長岡技術科学大学{gumizawa, yamamoto}@jnlp.org

1

どは行わず，作成した辞書資源とデータセットをもとはじめににした本ツールについて日本語解析器雪だるま [5] に語義曖昧性解消はコンピュータが意味理解するため実装し検証を行う．に必要であり，NLP のタスクにおいて大きな問題となっている．それ故に語義曖昧性解消について様々な手法が提案されており，教師あり学習や教師なし学習，

2

関連研究

半教師あり学習などの様々な手法が提案されており一各カテゴリへの分類を行う形での語義曖昧性解消の定の精度が得られたことを報告している [1, 2]．
しかしながら近年においては語義曖昧性解消の分野研究はいくつか存在する．Class に基づく語義曖昧性は若干下火になってきており，多くの手法が提案され解消はそれらの研究の一つであり [6]，対象単語を人ているにも関わらず語義曖昧性解消を用いて後段処理を行うといった研究は非常に少ないように見える．de

Lacalle らはこれらの原因について「語義曖昧性解消の精度」と「後段処理において有用な粒度」に関する問題の 2 つを上げている [3]．両者の関係は非常に密接に結びついている．より細かい粒度での語義曖昧性解消は非常に有用であるが，その一方で精度が落ちてしまい実用的ではなくなってしまう．そのため近年では粗い粒度での語義曖昧性解消の研究も行われており[4]，高い精度の語義曖昧性解消をアプリケーションに落とし込むという動きも見られる．また，これらの原因に加えて「後段処理において有用な出力形式」も問題になる．通常の語義曖昧性解消タスクは辞書の語義タグを推定する問題であり，その出力は数字であるため，それを後段処理へ活かすためには語義タグに対する情報の付与が必要となる．
我々はこれらの問題に対して「話題に基づく語義曖昧性解消」を提案する．これは文の話題を考慮し複数の話題で使われるような多義語をその話題のカテゴリへ分類するというタスクである．この語義曖昧性解消
では話題を持たない語は無理に曖昧性解消を行わないため，通常の語義曖昧性解消に比べて粗いものであり高い精度が期待できる．更に出力結果として得られるものは語義タグではなくその語の話題のカテゴリであるため，その話題に関連する語を多く参照できる．
本研究の主眼は実用性のある語義曖昧性解消のツール化である．そのため，本論文では新規手法の提案なや場所などの意味属性に基づいて語義曖昧性解消する研究である．日本語においても村本らが意味カテゴリに基づく語義曖昧性解消について提案しており，「食べ物」や「衣類」「武器」などの様々な意味カテゴリを設け，それらのカテゴリを単語に付与する形での語義曖昧性解消を提案している [7]．
我々が提案する語義曖昧性解消の粒度はこれらに非常に近いものである．一方で，我々が提案する手法において用いるカテゴリは「話題」に基づくものである．
意味カテゴリにおいて「中学 3 年生」と「黒板」という語はそれぞれ「学齢」と「製品名」に分類されるが1 ，話題に基づいたカテゴリでは両方「学校」というようなカテゴリに属する．このように話題に基づく語義曖昧性解消ではその文の話題を特定するような形で曖昧性解消を行うということである．
話題に基づく語義曖昧性解消の利点としてその曖
昧性解消のしやすさがある．例えば「私はタクシードライバーです」という文中の「ドライバー」という単語が「タクシー」という単語から「自動車」に属することは容易にわかる．このように話題に基づく語義曖昧性解消ではその語義を周辺の単語に結びつく話題によって曖昧性の解消が可能であると考えられる．そこで我々は単語に結びつく話題の辞書を作成し，辞書に基づき訓練データを作成，ツールの実装を行うことで精度が高く実用的な語義曖昧性解消ツールを提供する．
1 意味カテゴリは関根の拡張固有表現に基づくため固有表現でないこれらの分類は厳密には正しいとは言えない．
https://sites.google.com/site/extendednamedentityhierarchy/― 248 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

3

話題に基づいた分類辞書の作成

4

話題の基づいた分類辞書は以前我々が作成した辞書を更に拡張したものを使用する [8]．

データセットの構築
日本語語義曖昧性解消のデータセットには Se-mEval2010 のデータ [9] 等が存在するが，ここでは話

この話題辞書では著者らの主観によって話題となるカテゴリを以下の 3 サイトから抽出している．

題に基づいて語義曖昧性解消を行うため複数の話題を持つ単語に対して一からデータセットの構築を行った．
複数の話題を持つ語の選定には岩波国語辞典第五版

1. Wikipedia に存在する記事タイトル一覧

タグ付きコーパス4 を用いた．岩波国語辞典にて複数

2. Yahoo!知恵袋に存在するカテゴリ一覧 2の語義を持つ単語について辞書の定義文と前章で作っ3. Yahoo!ブログに存在するカテゴリ一覧 3

た各カテゴリに含まれる単語群について Word2Vec に

これらの話題や場面に基づいてカテゴリの候補となて類似度を求め，類似度が高いものから順番に人手でる語を著者の主観で抽出し，それらの単語について同話題の付与を行い，複数の語義を持つ単語がどのようじものを指す語や関連度の高い語についてカテゴリをな話題に写像されるかの辞書を作成した．

統合した．結果として表 1 のような形で 380 単語から145 カテゴリを選定している．

データセットの構築にはクラウドソーシングを活用した．クラウドソーシングは不特定多数の人に作業依頼の募集をかけ，報酬などの条件に合意が得られた作

表 1: 話題に基づく辞書のカテゴリ対象となる単語
お笑い芸人
駅
鉄道列車
ゲーム

業者に対して指示し作業を行なってもらうものである．
この方法では専門的なドメインが必要な作業は不可能

カテゴリ名であるが，今回のように一般的に使われる単語を対象お笑い・芸人にした語義の付与では非常に有用である．岩波国語辞典に基づいて作成した複数の話題を持つ単語について

鉄道・列車

それらを含む文を日本語ウェブコーパス 20105 から抽ゲーム出し，話題カテゴリの付与を行った．なるべく高品質なテキストのみを対象にするため事前の処理として 70

また，作成したカテゴリに対して Wikipedia のリンク情報や Word2Vec などを用いてカテゴリに属する語の候補を作成し，それらの候補について正しくカテゴ
リに当てはまるか著者らの主観によって判断し辞書への追加を行っている．カテゴリに属す対象語は名詞だ
けでなく動詞や形容詞も含まれる．実際に作成された辞書の一部を表 2 に示す．実際の辞書には現時点で計12,462 語が収録されている．

字以下の文，記号や空白が多い文，似た文等を除外しなるべく多様性をもたせた形で抽出した文を対象にアノテーションを行っている．今回クラウドソーシングの対象とした単語は全部で 50 語である．対象となる
文数は 28,872 文であり，1 単語あたりの平均訓練事例数は約 577 文である．語義の付与を行う人数は 2 人に設定し，それぞれ約 14,500 文ずつカテゴリを付与する作業を行ってもらった．語義曖昧性解消の対象となった単語を表 4 に示す．また，実際にクラウドソーシン

表 2: 話題に基づく辞書の一部グを行って作成したデータの一部を表 3 に示す．実際に作成したデータにおいては各単語に付与された話題

学校

結婚・恋愛

食材・料理のカテゴリ以外にその他のカテゴリを設けている．こホームルーム
遠足進級
黒板校庭入学する
登校する
夏休み
宿題
学生

恋人
デート
カップル
不倫
プロポーズする
許嫁
ブライダル
フィアンセ
駆け落ちする
見合い

鍋
調理する
クッキング
台所
流し台
盛り付け
てんこ盛り
まな板
塩もみする
フランベ

れは文を読んだ時にどの話題にも当てはまらないような単語を分類するためのカテゴリである．

5手法
日本語解析器雪だるまにツールを実装する上で用いる手法には，周辺単語の分散表現をつなぎ合わせる

Sugawara らの提案手法である Context Word Embedding(CWE) を用いる [10]．この手法は窓幅 N を 5 と2 http://chiebukuro.yahoo.co.jp/dir/dir list.php

4 http://www.gsk.or.jp/catalog/gsk2010-a/

3 http://blogs.yahoo.co.jp/FRONT/cat.html

5 http://s-yata.jp/corpus/nwc2010/― 249 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 3: データセットの一部
対象単語

カテゴリ

ドライバー

工具

ドライバー

自動車

ドライバー

ゴルフ

文
その後、ホームセンターに行ってラジオ・ペンチや精密ドライバーなどの工具を買って自分で修復を試みるも、フレームを傷つけるはネジはなくすわで、状況は悪くなるばかり
日中の最高気温が 4.3 度まで上がったこともあり、除雪作業が進まない道路では積もった雪が一気に解けだし、ドライバーは深いわだちや大きな水たまりに悪戦苦闘した
飛ばしたいクラブ=長いクラブ (ドライバーなど) の場合は、この基本幅より大きく、飛ばしたくないクラブ=短いクラブ (アプローチウエッジなど) は、狭くします

表 4: 語義付与対象単語一覧
節
喰うフラット
タイトル
パート
洗う
翼
株
カード
台所
脱水
トラック
ラム

ドライブ
バック
法
コート
市場
軌道
コース
マフラー
グラス
糸前線
ツアー
ショット

アーチ
アクセス
角オープン
パス
ウイルス
鉢
洋画
ポスト
ストック
カット
ベース

銀戦線
リード
ターミナル
スクリーン
ホーム
クリーム
ミキサー
ドライバー
プレーヤー
コード
刑事

図 1: 各手法における素性

6

実験と考察
5 章で説明した素性について話題辞書の有効性と曖昧性解消の精度を検証する．データセットには 4 章でし，換言対象前の単語を w1 , w2 , w3 , w4 , w5 とし，それ作成したものを訓練データ 7 割，テストデータ 3 割らの分散表現を表すベクトルを vw1 , vw2 , vw3 , vw4 , vw5に分割したものを用いる．訓練データは 50 単語に対とした時にそれらをつなぎ合わせたベクトルを素性として 20,211 文が割り当てられるため 1 単語あたりのして用いる手法である．この素性の次元は分散表現の訓練事例数は約 404 文となる．テストデータは残った次元を L とすると 2 × N × L となる．

8661 文である．分散表現の構築には 2016 年 3 月 5 日

さらに我々はこの CWE の素性に対して文中に含の日本語 Wikipedia のデータ6 を wp2txt7 で処理したまれる話題を持つ語の情報を Bag-of-Words のようにコーパスを用いる．単語分割に用いる解析器には日本

数えて素性として加える方法 (Bag-of-Topics) も検討

語解析器雪だるま [5] を用い，gensim8 の Word2Vec でをする．これは 2 章で述べたように話題に基づいた学習させ単語の分散表現として使う．Word2Vec には

語義曖昧性解消ではそのほとんどの語義を周辺の単語Skip-gram を用い，階層的ソフトマックスとネガティに結びつく話題によって曖昧性解消が可能であり，周ブサンプリング両方を使用する．学習に使用する窓幅

辺単語と結びついた話題を素性として加えることが精は 5，ネガティブサンプリングは 5，ダウンサンプリ度に大きく貢献すると考えられるからである．Bag-ングの割合は 10−3 に設定し各ベクトル表現は 200 次

of-Topics の次元数は話題辞書に含まれるカテゴリと元に設定した．分類器には Scikit-learn9 で実装されて同数の 145 次元である．つまりこの素性の次元数はいる SVM の LinearSVC を使用し，正則化パラメータ2 × N × L + 145 となる．

として C = 1.0 を使用した．また語義曖昧性解消の素素性の具体的な例を図 1 に示す．図中の CWE で性として使う窓幅の値には 5 を設定した．の手法は周辺単語の分散表現をつなぎ合わせたものに

表 5 に各手法における精度を示す．分散表現をつななっており，それらの手法に対して周辺単語の話題をぎ合わせる手法に比べて話題辞書を用いて単語に結びBag-of-Words のように表したベクトルを末尾につなぎ合わせたものが CWE と話題辞書を組み合わせた素性である．

6 https://ja.wikipedia.org/wiki/Wikipedia:データベースダウンロード
7 https://github.com/yohasebe/wp2txt
8 https://radimrehurek.com/gensim/
9 http://scikit-learn.org/― 250 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ついた話題のカテゴリを素性として加える手法では精謝辞

度が約 3.5 ポイント向上している．このことから文脈
本研究は、平成 27〜31 年科学研究費補助 基盤（B)が異なる場面で使われる語の語義曖昧性解消の精度向

課題番号 15H03216、課題名「日本語教育用テキスト上に話題辞書が大きく貢献することがわかる．
一方で語義曖昧性解消の精度自体はあまり高くな解析ツールの開発と学習者向け誤用チェッカーへの展

く，実用的な精度には至っていない．日本語語義曖昧開」、及び平成 29〜31 年科学研究費助成事業挑戦的萌性解消タスク [9] でベースラインとなったシステムで芽 課題番号 17K18481、課題名「やさしい日本語化実は精度が 75.28%であり，それより粒度が粗く使われ証実験による言語資源構築と自動平易化システムの試る文脈が大きく異なる本タスクとあまり精度が変わら作」の助成を受けています。

ない．この原因の一つとしてクラウドソーシングの質の問題がある．データセットの構築では各作業者に対してそれぞれ別のデータを渡し語義の付与を行ってもらったため，作業者ごとにデータの質に大きな違いがあった．例えば文を 1 回読んで文脈が読み取れない場
合カテゴリ その他 を付与する作業者や，良く文を読みなるべくカテゴリを付与する作業者などである．
また，間違いも多く存在し文にそぐわない話題が付与されたデータも多い．そのため，このようなあまり高くない精度になったのだと考えられる．これに対する対策としては 3 人に同じデータをアノテーションしてもらい，確度の低いデータは自分で確認するなどの対策がある．
表 5: 手法ごとの語義曖昧性解消の精度
素性CWE
CWE + Bag-of-Topics

7

精度
76.47%
79.95%

結論
本論文では話題に基づく語義曖昧性解消を提案し，辞書やデータセットの整備を行った．また作成したデー
タセット，辞書に基づき語義曖昧性解消を行うツールを実装した．結果として話題に基づく語義曖昧性解消において単語に結びついた話題の情報を使うことが精度向上に大きく寄与することがわかった．その一方で，曖昧性解消自体の精度はそのデータセットの質の問題によってあまり高くないことがわかった．今後はノイズの多いデータセットを整備し，高品質なデータを用いた際の精度を確認してより実用性の高い語義曖昧性解消ツールを作成していきたい．
本論文中で整備した辞書や語義曖昧性解消のデータセットは今後公開予定である．また作成したツールは日本語解析器雪だるまに実装し Web 上で公開する予定である．それぞれのデータ，ツールが日本語の語義曖昧性解消に役立つことを願う．

参考文献[1] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In Proceedings of the 33rd Annual Meeting of the Association
for Computational Linguistics, pp. 189–196, June
1995.
[2] Dayu Yuan, Julian Richardson, Ryan Doherty, Colin
Evans, and Eric Altendorf. Semi-supervised word
sense disambiguation with neural models. In COLING 2016, 2016.
[3] Oier Lopez de Lacalle and Eneko Agirre. A methodology for word sense disambiguation at 90% basedon large-scale crowdsourcing. In Proceedings of theFourth Joint Conference on Lexical and Computational Semantics, pp. 61–70, Denver, Colorado, June
2015. Association for Computational Linguistics.
[4] Roberto Navigli, Kenneth C. Litkowski, and Orin
Hargraves. Semeval-2007 task 07: Coarse-grained
english all-words task. In Proceedings of the FourthInternational Workshop on Semantic Evaluations(SemEval-2007), pp. 30–35, Prague, Czech Republic, June 2007. Association for Computational Linguistics.
[5] 山本和英, 宮西由貴, 髙橋寛治. 日本語解析システム「雪だるま」 : 単語解析部の設計思想 (言語理解とコミュニケーション) – (第 7 回テキストマイニング・シンポジウム). 電子情報通信学会技術研究報告 = IEICE
technical report : 信学技報, Vol. 115, No. 222, pp.
13–18, Sep 2015.
[6] Rubén Izquierdo, Armando Suárez, and German
Rigau. An empirical study on class-based word sense
disambiguation. In Proceedings of the 12th Conference of the European Chapter of the ACL (EACL2009), pp. 389–397, Athens, Greece, March 2009.
Association for Computational Linguistics.
[7] 村本英明, 鍜治伸裕, 吉永直樹, 喜連川優. Web テキス
トを対象とした語義曖昧性解消のための言語資源の半自動構築. 情報処理学会論文誌, Vol. 52, No. 12, pp.
3338–3348, dec 2011.
[8] 桾澤優希, 山本和英. 語の話題に基づく分類辞書の作
成. NLP 若手の会 第 11 回シンポジウム, Aug 2016.
[9] Manabu Okumura, Kiyoaki Shirai, Kanako Komiya,and Hikaru Yokono. Semeval-2010 task: Japanesewsd. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 69–74, Uppsala,Sweden, July 2010. Association for ComputationalLinguistics.
[10] Hiromu Sugawara, Hiroya Takamura, RyoheiSasano, and Manabu Okumura. Context representation with word embeddings for wsd. In International
Conference of the Pacific Association for Computational Linguistics, pp. 108–119, 2015.

― 251 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.