言語処理学会 第25回年次大会 発表論文集 (2019年3月)

文書内における単語の共起を利用した上位下位概念の推定
平野 正徳 1坂地 泰紀 2木村 笙子 3

和泉 潔 2

松島 裕康 2

長尾 慎太郎 3加藤 惇雄 4

東京大学 工学部 2 東京大学 工学系研究科
3
大和証券投資信託委託株式会社 4 株式会社大和総研
11

hirano@g.ecc.u-tokyo.ac.jp{sakaji, izumi, matsushima}@sys.t.u-tokyo.ac.jp
3{shoko.kimura, nagao.s}@daiwa-am.co.jp 4 atsuo.kato@dir.co.jp
2

1

はじめに上位下位概念抽出の手法を提案し，その有用性について議論する．

上位下位概念の抽出は自然言語処理において重要なタスクとなっている．大きく分けて二つのアプローチがある．一つは X such as Y などといった，文中で共2起している単語の包摂関係を示すようなパターンを使用した研究 [2] から始まり，そこからブートストラッ
プ的にパターンを見つけていく研究 [9] などがある．

Word2vec[6] の登場以降は，もう一つのアプローチとして，単語の特徴ベクトルを組み込んだ研究が行われている [5]．さらに，それらを融合し，機械学習を取り入れた方法として，HypeNET[8] などがある．
上位下位概念の抽出を含む，オントロジー構築に関する研究は様々な形で行われている．日本語に関しては，「森羅：Wikipedia 構造化プロジェクト 2018」[7] などがあげられる．英語などを対象とした例として，YAGO[10] などの手法がある．しかし，YAGO はWikipedia のカテゴリー構造に依存しており，汎用性が低い．無論，Wikipedia はオープンなリソースで，様々な言語のデータがあるため，非常に便利ではあるが，特定のドメインに特化したオントロジーを作成しようとすると障害がある．
上記の手法の多くはテキストを学習させるなどして行われるため，学習量の少ない場合や新語の足りない場合，特定のドメインに絞ったドキュメントを使用する場合には精度に限界があると考えられる．我々が提案したスキーム [3] の一部を拡張すると，上位下位概念の抽出において，学習量に依存が少なく，かつ，新語や特定のドメインに絞った場合などにも適用可能であると可能性が高い．そこで，本論文内では，新たな提案手法
任意の語、又は、テーマに関して記述された文書を用意する．Wikipedia であれば，特定の言葉や事象に関する記事それぞれを一つの文書として利用可能である．企業情報を利用するのであれば，一つの企業に関する説明や資料をひとまとめにしたものを一つの文書として利用することが可能である．ここで，これらの文書を doc1 , doc2 , · · · , docN とラベリングする．
次に，上位下位概念の関係にあるかどうかを知りたい単語ペアを用意する．これを wordA , wordB とする．
さらに ，wordA , wordB を含む 文書を 取り出 し ，wordA を含む文書群を setA ，wordB を含む文書群をsetB とする．この時，次式のように定義する．
PAB =|setA ∩ setB ||setA ∩ setB |，RAB =|setA ||setB |

(1)

wordA が wordB の下位概念である場合，多くの文書において，wordA の説明として，wordB が文書内に同時に登場する可能性が高いという仮定をおけば，

PAB > RAB が成立すると予想される．逆の場合も然りである．そこで，閾値を設定して，以下のように定義し，分類する．閾値を thr と表記する．

本論文の内容や意見は執筆者個人に属し，いかなる組織の公式見解を示すものではありません．連絡先:〒 113-8656 文京区本郷7-3-1 東京大学工学部システム創成学科 和泉・坂地研究室 平野正
徳 HP: https://mhirano.jp/― 597 ―1. PAB < thr かつ RAB < thr の時：wordA , wordB間には上位下位概念がないとする．
2. PAB ≥ thr かつ RAB < thr の時：wordA がwordB の下位概念とする．
3. PAB < thr かつ RAB ≥ thr の時：wordA がwordB の上位概念とする．

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

4. PAB ≥ thr かつ RAB ≥ thr の時：

上位下位概念のない単語ペア 1,000 ペアの合計 2,000(a) PAB > RAB の時 wordA が wordB の下位概念とする．

ペアをパラメータ thr のチューニング用に使用し，残り 31,085 ペアずつ，合計 62,170 ペアを評価データとして使用した．

(b) PAB < RAB の時 wordA が wordB の上位概念とする．

結果の評価，またはパラメータ thr のチューニングには精度評価を利用した．精度評価の方法は以下の(c) PAB = RAB の時 wordA と wordB は同等通りである．まず，上位下位概念のある単語のうち，wordA が上位，wordB が下位になるように整理した．の概念とする．

以下では，wordA からみて wordB が下位概念である
時に，“down”，上位概念である時に “up”，同等の概3

実験

念である時に “even”，上位下位概念の関係にない時を提案手法の精度を検証するために，実験を行なった．
今回は，文書として，日本語版 Wikipedia の記
事1 を利用した．バージョンとしては，02-Oct-2018

13:53 を利用した．Wikipedia のそれぞれの記事をdoc1 , doc2 , · · · , docN とし，記事タイトルも文書の一“not” と表記する．つまり，上位下位概念のある単語ペアにおいては，“down” と判定されるのが正解であり，上位下位概念のない単語ペアにおいては，“not”と判定されるのが正解である．これらの条件下で，結果は表 1 のように分類されるはずである．表 1 にお部とした．なお，N = 1, 122, 013 であった．

表 1: 結果の分類
Pred.

さらに，上位下位概念の正解データ，評価データを作成する必要があるため，その目的のために，日本語版 Wordnet[4]2 を利用した．日本語版 Wordnet の仕様は基本的に Wordnet[1] と同様である．この日本語版 Wordnet には 57,238 概念 (synset 数)，93,834 語，158058 語義 (synset と単語のペア)，135,692 定義文，

up

even

down

not

上位下位概念あり

ABCD

上位下位概念なし

EFGH

表 2: 結果の正誤に基づいた分類
上位下位 TPFN
FPTN

48,276 例文が含まれている．
この日本語版 Wordnet の中から，概念 (synset) 同あり

CA+B+DG

E+F +H

士の関連のうち，上位下位概念のセットを取り出し，なしH

E+F +G

D

A+B+C

その概念に対応する単語 (日本語) を取り出してきてペアにすることで，Wordnet に基づいた上位下位概念いて，正解であるのは C と H である．これに基づいのある日本語の単語ペア 32,085 ペアを抽出した．(実て精度計算を行う．表 2 は結果の正誤に基づく分類

際に単語ペアは 37,113 ペア存在したが，Wikipedia のである．TP, FN, FP, TN はそれぞれ True Positive,文書に一度も含まれない単語などは除外した．)

False Negative, False Positive, True Negative である．

さらに，Wordnet に含まれている日本語の名詞65,788 個のうち，ランダムで 2 つ語を選び，擬似的これに基づき，それぞれのケースに対して Precision,な上位下位概念のない日本語の単語ペア 32,085 ペアして，算術平均を取ることで，Macro-f1 を計算した．

を生成した．(厳密にはランダムで生成しているのでこの Macro-f1 を最終的な評価値として利用した．

Recall, F1 を計算した．さらに，その 2 つの F1 に対上位下位概念のあるペアが含まれている可能性は若干あるが，以下では上位下位概念のないペアと呼ぶ．

4

結果

4.1

32,085 ペアと上位下位概念のない単語ペア 32,085 ペ

テストデータにおける結果とパラメー
タチューニング

アのうち，上位下位概念のある単語ペア 1,000 ペアとまず，thr を 0 から 1 で 0.001 ずつ変化させた結果

また，Wikipedia の文書に一度も含まれない単語などは同様にこちらでも削除して，代わりのペアを生成した．) こうしてできた，上位下位概念のある単語ペア

1 Available
at https://dumps.wikimedia.org/jawiki/
latest/.
2 Available at http://compling.hss.ntu.edu.sg/wnja/.

を提示する．図 1 は thr を変化させていった場合の，上位下位概念あり単語ペア 1,000 セットの評価結果で― 598 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

化させていった場合の，上位下位概念のない単語ペア

1.0

1,000 セットの評価結果である．こちらは，thr を引き

score

0.8上げていくと，Recall が上昇し，Precision が減少する傾向にある．最後に図 3 だが，これは thr を変化さ

precision
recallf1

0.60.4せた時の Macro-f1，つまり，図 1 と図 2 における F1の平均の変化である．この結果によると，Macro-f1 はthr の変化に対して，極大点を持つことがわかる．そこ
で，さらに，thr の変化の刻みを 0.00001 として，極大0.2点を探索したところ，極大点における thr は 0.00991

0.00.20.4

thr0.60.81.0であり，その時の Macro-f1 は 0.65556 であるとわかった．この極大点における thr を thr の最適値として採図 1: thr を変化させた場合の上位下位概念ありのペ用した．

アでの Presicion, Recall, F1

4.2

評価

次に，上記で定めた thr = 0.00991 を利用して，評1.0

価用データ 62,170 ペア (上位下位概念あり 31,085 ペ
ア，上位下位概念なし 31,085 ペア) に対して，実験を0.8
score行なった．表 3 は評価データに対する分類結果を示して0.6
表 3: 評価用データに対する分類結果
上位下位
Pred.

0.4
0.2

precision
recall
f1

0.0
0.0

0.2

0.4

thr

0.6

0.8

1.0

概念

up

even

down

not

あり

5, 81020

13, 72211, 533

なし

2, 50902, 59325, 983いる．上位下位概念ありペアにおいて，正しく “down”
図 2: thr を変化させた場合の上位下位概念のない単に分類されたのは 13, 722 ペアで，また，11, 533 ペア

語ペアでの Presicion, Recall, F1が “not”，つまり上位下位概念なしと判定されている．
一方，上位下位概念のない単語ペアについては，大半が “not”，つまり上位下位概念なしと判定されている．

Macro-f1

0.65

これらの結果に基づき，各種精度を計算したところ，

0.60

表 4 の通りになった．表 4 にある通り，上位下位概score0.550.50

表 4: 評価用データに対する分類結果
上位下位概念 Precision
Recall
F1

0.45
0.40
0.35
0.30
0.0

0.2

0.4

thr

0.6

0.8あり

0.841070.441430.57899

なし

0.69258

0.835870.75751

Macro-f1: 0.66825

1.0

念ありと判定された場合 (今回の場合，wordA が上位概念で wordB が下位概念と判定された場合，つまり

図 3: thr を変化させた場合の Macro-f1 の変化“down” と判定された場合)，その適合率は 84%ほどとある．thr を引き上げていくにつれて Precision が向なっている．一方で，上位下位概念ありのペアのうち，上し，Recall が減少する傾向にある．図 2 は thr を変正しく上位下位概念ありと判定されたのは 44%であ― 599 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

り，あまり良くない結果となっている．また，擬似的に含まれる上位下位概念をデータとして実験を行った．に上位下位概念の関係がないものとして作成したペア

その結果，精度は低いものの，一定の有効性を確認すにおいて，正しく上位下位概念なしと判定されたのがることができた．本手法は非常に少ない訓練データで同様に 84%程度であった．しかし，上位下位概念なし必要なパラメータのチューニングが可能であることもと判定されている中で本当に上位下位概念なしで合っわかった．

たものは 69%ほどであった．

参考文献

5考察
今回の実験において，thr を変化させると明確な極大点を持っており，パラメータのチューニング方法は充分であったと考えられる．
しかし，実験結果の精度については議論の余地がある．直接比較はできないが，HypeNET[8] の lexical

split における F1 は 0.700 であり，それと比べると，精度は低いと考えられる．直接比較する必要があるた
め，これに関しては，今後の検討課題であると考える．
今回提案しているモデルはチューニングすべきパラメータは 1 つであるという特徴があり，今回は，テス
トデータ 2,000 に対して，評価データ 62,170 としたが，評価データとテストデータでは精度に大きな差は存在しなかった．そのため，非常に少ない訓練データでチューニング可能であるということも特徴であると考えられる．また，PAB などのみを使用する場合などには教師なしで使用することができることも非常に大きな特徴であると考える．
さらに，今回は手軽に手に入る Wikipedia の記事を使用したが，実際には他のテキストでも代用可能である．我々の以前の研究 [3] では，doc1 , doc2 , · · · , docNに各企業の決算短信などの企業情報を使用しており，それぞれの分野に合わせて特有の文書を使うことが可能になっており，そうすることで，適用先の分野にあった結果になることが予想される．
今後の展望としては，上で述べた評価における直接比較のほか，第 2 節の提案手法における分類の 4.(a)-(c) のアップデートが必要であると考える．同等の概念だった場合でも，PAB = RAB となるわけではなく，多少の誤差が発生すると考えられるからである．

6

おわりに本研究において，文書内における単語の共起を利用した上位下位概念の推定の手法を提案した．本手法に基づき，Wikipedia の記事を文書として使い，Wordnet[1] Christiane Fellbaum. WordNet: An Electronic Lexical Database. The MIT Press, 1998.
[2] Marti A. Hearst. Automatic acquisition of hyponyms from large text corpora. In Proceedings ofthe 14th conference on Computational linguistics -,Vol. 2, p. 539, Morristown, NJ, USA, 1992. Association for Computational Linguistics.
[3] Masanori Hirano, Hiroki Sakaji, Shoko Kimura,Kiyoshi Izumi, Hiroyasu Matsushima, Shintaro Nagao, and Atsuo Kato. Selection of Related Stocks using Financial Text Mining. 18th IEEE International
Conference on Data Mining Workshops (ICDMW),
pp. 191–198, 2018.
[4] Hitoshi Isahara, Francis Bond, Kiyotaka Uchimoto,
Masao Utiyama, and Kyoko Kanzaki. Developmentof the Japanese WordNet. Proceedings of the 6th International Conference on Language Resources andEvaluation, pp. 2420–2423, 2008.
[5] Maria Karyaeva, Pavel Braslavski, and Yury Kiselev. Extraction of Hypernyms from Dictionaries
with a Little Help from Word Embeddings. In Analysis of Images, Social Networks and Texts, pp. 76–87. 2018.
[6] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Eﬃcient Estimation of Word Representations in Vector Space. Proceedings of the International Conference on Learning Representations(ICLR), pp. 1–12, 2013.
[7] Sekine Satoshi, Kobayashi Akio, Ando Maya, Baba
Yukino, and Inui Kentaro. Wikipedia 構造化データ「森羅」構築に向けて. 言語処理学会 第 24 回年次大会
発表論文集, 2018.
[8] Vered Shwartz, Yoav Goldberg, and Ido Dagan. Improving Hypernymy Detection with an Integrated
Path-based and Distributional Method. In Proceedings of the 54th Annual Meeting of the Association
for Computational Linguistics, pp. 2389–2398, 2016.
[9] Rion Snow, Daniel Jurafsky, and Andrew Y.NG.
Learning syntactic patterns for automatic hypernym discovery. In Advances in Neural Information
Processing Systems 17 (NIPS 2004), pp. 1297–1304,2004.
[10] Fabian M. Suchanek, Gjergji Kasneci, and Gerhard
Weikum. YAGO: A Core of Semantic Knowledge
Unifying WordNet and Wikipedia. In Proceedingsof the 16th international conference on World Wide
Web - WWW ’07, p. 697, New York, New York,USA, 2007. ACM Press.

― 600 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.