言語処理学会 第21回年次大会 発表論文集 (2015年3月)

既存の言語知識を援用した想起データの分析
林 良彦 (早稲田大学理工学術院・実体情報学博士プログラム)

yshk.hayashi@aoni.waseda.jp

1

はじめに᝿㉳䝕䞊䝍;WtEͿᴫᛕᑐᛂ௜䛡
;WtEї ZͿ

大規模コーパスに対して統計的な手法を適用することにより，単語の意味表現を多次元ベクトルとして獲᭱▷⤒㊰᥈⣴;Z䝛䝑䝖䝽䞊䜽ୖͿ

得する研究 (例えば [5]) が盛んに行われており，様々Zᴫᛕ㎡᭩

な自然言語処理の応用に適用できるものとして注目を⣔ิ䝟䝍䞊䞁䝬䜲䝙䞁䜾集めている．一方で，言語産出の結果であるテキストデータからは獲得できない，あるいは，獲得しにくいタイプの意味情報が存在するのも事実であり，例えば，

図 1: 想起データ分析の流れ

画像から得られる視覚情報のような人間の知覚・感覚と結びついた属性情報を，テキストコーパスから得ら分析の対象とする想起データは英語の想起データれる意味表現と統合しようとする研究 (例えば [7]) も[1] であり，Princeton WordNet(以下，PWN) におけ活発化しつつある．

るある語彙概念 (起点概念と呼ぶ) がどの程度，別の知覚に関する属性情報以外に，テキストデータから直接獲得することが困難なタイプの意味的な関係・情語彙概念 (ターゲット概念と呼ぶ) を思い浮かばせる(bring to mind) かを被験者に評定させたデータであ報として，心的な想起 (evocation) がある．想起は，「ある．PWN はネットワーク構造をなしており，起点概る概念がどの程度，別の概念を思い浮かばせる (bring

念からターゲット概念に至る経路を求めることが可能to mind) か」として定義される [1, 3]．具体的な想起である．しかし，PWN における関係情報にはいわゆ

データは人間の評定者から得る以外に収集の手段はなる格フレーム的な情報などが含まれていないため，得く，収集コストの高いデータである．また，想起をもられる経路情報は限定的であり 2 ，想起をもたらす概たらす心的な過程の構造は必ずしも自明ではなく，結念連鎖のパターンを分析するには十分ではない．

果として，想起的なデータを機械的に生成することも困難である．

そこで本研究では，より豊富な概念間の関係情報を有する言語知識として EDR 電子化辞書 (以下，EDR)[8]

本研究ではまず，「想起とは直接は観測できない概念を援用する．このため，各想起データを構成する PWNレベルでの顕著な連想系列の始端・終端が取り出され上の起点・ターゲット概念に対応する (あるいは，近たもの」と仮定する．この仮定のもと，すでに得られい) EDR 概念を事前に求めておく．次に起点概念からている想起データを既存の大規模言語知識に関連付けターゲット概念に至る EDR ネットワーク上の最短経て分析することにより，想起の背景にある概念連鎖の路を収集し，得られた経路情報を系列パターンマイニパターンを探る 1 ことを目的とする．上記の仮定があングの手法により分析することにより，想起をもたらる程度検証でき，妥当な想起をもたらす概念連鎖に関す概念連鎖において特徴的なパターンを探索する．

する知見が得られれば，すでに得られている想起データを拡張するための見通しが得られるものと期待する．

3
2

分析の概要

想起データ
本研究の対象とする想起データは，PWN の研究グループが提供するデータ [1]3 である．このデータは，
図 1 に本報告の分析の流れを示す．
1 想起の機序は，概念連鎖には限定されないと思われる．しかし

本研究では，概念連鎖として定式化できる範囲を明確化したい．

2 そもそも [1] の研究の動機も PWN により多くの関係情報を付与することにあった．
3 http://wordnet.cs.princeton.edu/downloads.html― 453 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

PWN においてコアとなる 1,000 の語彙概念 (synset)のペアから抽出された 119,652 件の語彙概念ペアの間

Zの想起の強さを 0〜100 のスコアにより 20 名の被験者ŝͺŽďũĞĐƚϯĐĞĂĞϯ΀䛒䜛≧ែ䛻䛩䜛΁ϭϬϱĞϱĂĞ΂෭ ΃ƵƉƉĞƌͺŽĨƐĐĞŶĞ;ŽďũĞĐƚ䛾㏫㛵ಀͿに評定させたものである．この中で，0 以上の評定値

ůŽǁĞƌͺŽĨϭϬĞϲϳĂ΂෭ⶶᗜ䠈෭ⶶᐊ͕͙΃が付与されたペアは，39,309 件 (32.9%) であり，それらの評定値の平均値は 9.25 と報告されている．

Ϭďϰϯϱϳ΂ᐮẼ΃ϯĚϬĨĂĂ΂ᐮ෭΃WtEĞǀŽĐĂƚŝŽŶƐĐŽƌĞсϲϰ͘ϲϳ

3.1ϬϯϮϳϯϵϭϯͲŶ΂ĨƌŝĚŐĞ͕ĞůĞĐƚƌŝĐͺƌĞĨƌŐĞƌĂƚŽƌ΃

データ群の構成ϬϱϬϭϱϭϭϳͲŶ΂ůŽǁͺƚĞŵƉĞƌĂƚƵƌĞ͕ĐŽůĚŶĞƐƐ͕͙΃

想起の強さ，また，想起の非対称性との関連を調べるため，今回は，これらのデータから以下の 3 つの図 2: 概念連鎖の最短経路例データ群を抽出し，それぞれ分析対象とした．ただし，以下における閾値には大きな意味はなく，初期の分析

EDR 概念辞書の利用4に適した範囲に限定し，かつ，各データ群を同程度の規模にバランスさせるために設定した．なお以下の定義より，B 群と C 群は排他的ではなく，双方に含まれるデータが存在する．

EDR 電子化辞書 [8]6 は，概念辞書を含む各種の辞書から構成される大規模な言語資源である．概念辞書
はさらに，(1) 概念見出し辞書，(2) 概念体系辞書，(3)概念記述辞書の 3 つから構成される．(1) は概念体系• A 群: 想起の強さ x が 0 < x < 0.4 と低いもの(337 件)．

におけるノードをなす各概念に識別子を与え，日本語・英語による概念見出し，および，概念説明を提示する• B 群: 想起の強さ x が 0.4 ≤ x < 20.0 と中程度であり，かつ，想起の非対称性が比較的強い (逆方向の想起の強さとの差の絶対値が 10 以上) もの(383 件)．

ことにより概念の内容を規程・説明する．(2) は概念間の上位・下位関係を提供し，(3) は格関係中心にした上位・下位関係以外の概念間の関係を記述している．
今回の分析では，この概念辞書における各概念をノードとし，概念間関係を有向エッジとするネットワーク• C 群: 想起の強さ x が x > 25.0 と相応に高いもの (335 件)．

を利用する．表 1 に関係の種別・説明，および，関係の数を示す 7 ．ただし，概念辞書で与えられる概念関係の方向性はある意味恣意的なものなので，以下で述

3.2

PWN 語彙概念の EDR 概念への対応付け

べる最短経路の探索においては，それぞれの逆関係を表す有向エッジを無条件にネットワークに加えた．

上記のデータ群に含まれるユニークな PWN 語彙概念の総数は 745 であり，これらを EDR 概念に対応付けた．この対応付けにおいては，まず EDR 概念をPWN 語彙概念に対応付けるための手法 [2] を逆方向に適用し 4 ，対応付けの候補を抽出した．具体的には，
上記の手法により 745 個の PWN 語彙概念中の 683 個

5

主な分析結果5.1

最短経路探索図 2 に実際に抽出した経路探索の例を示す．
最短経路探索においては，概念関係の種別にかかわ(91.7%) に対して，対応する EDR 概念を上位 10 件内に抽出できた 5 ので，これらの中から人手により正解らず一様の重み (=1) を各エッジに付与する場合 (α)，
上位・下位関係の重みを 1 としそれ以外の関係の重みとする対応付けを決定し，対応付けが行えた PWN 語を 0.5 とする場合 (β) の 2 通りの方法を試みた．後者

彙概念を起点・ターゲット概念とする想起データのみの意図は，上位・下位関係以外の関係によるエッジがを以下の分析の対象とした．この結果，各データ群のより選ばれやすいという状況を作り出すためである．

件数 (歩留まり率) はそれぞれ，A 群:286 件 (84.8%)，

なお定義より，αの場合の重み和はパス長と等しい．

B 群:321 件 (83.8%)，C 群:275 件 (82.1%) となった．
4 [2] では，PWN が提供する語義タグ付きコーパスを利用したが，これに相当するものとして，EDR 日本語コーパスを利用した．
5 順位 1 位のものが正解であった割合は 49.5%，正解逆順位のの平均 (MRR) は 0.694 であった．

6 http://www2.nict.go.jp/out-promotion/techtransfer/EDR/J_index.html
7 EDR 概念辞書の仕様書にはこれら以外にも多数の概念関係が示されているが，実際の辞書データには付与されていない．

― 454 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1: EDR 概念辞書における概念関係
関係子 (ラベル)
upper ofagent
objecta-object
implement
cause
goal
place
scene

説明
上位関係
有意志動作を引き起こす主体
動作・変化の影響を受ける対象
属性をもつ対象
有意志動作における道具・手段
事象の原因，理由
事象の主体または対象の最後の位置
事象の成立する場所
事象の成立する場面Ɖϭ;ϯϳͿ

表 2: 各データ群におけるパス長，パス重み和の平均値
データ群ABC

パス長2.892
2.882
2.825

パス重み和
1.601
1.567
1.527

関係の数
413,854
40,218282,733
41,13820,0389,620
46,12926,01636,173ƉϮ;ϮϵͿ ɴɴƌĞů ϭƌĞů ϮɶɲƉϯ;ϳϳͿ

表 2 に各データ群におけるパス長，パス重み和の平ƌĞů ϭƌĞů ϭɴɶɲƉϰ;ϴͿƌĞů ϮƌĞů ϮɴƌĞů ϭƌĞů Ϯ

均値を示す．想起の強さが強いほど，パス長・パス重み和はわずかに小さくなる傾向が確認できたが，有意ɲɶɲɶ

差は認められなかった (p 値が最小 (p = 0.206) となったのは，A 群と C 群のβの場合の比較)．

図 3: パス長=2 の概念連鎖パターンの形式的類型

一方で，比較的想起の強い C 群 (想起の強さが 20.0より大きい) における 275 件のデータについて，想起の強さとパス長，および，パスの重み和との間の相関(Spearman の順位相関係数; βの場合) を調べてみると，ρ = 0.158/0.134 程度のごく弱い正の相関 (p =5.3

概念連鎖の基本パターン

ここでは，系列マイニングにおいて頻出系列として抽出された概念連鎖系列の中から，特にパス長が 2 で0.008/0.02) がみられた．
いずれにせよ，想起の強さと概念連鎖の長さや重みの間には顕著は相関は確認できず，この結果は，想起ある部分系列 (α→β→γ) のパターン化を試みる．の強さと意味的類似度の間の相関が低いことを報告し(p1〜p4) に形式的に分類する．ここでは，最適経路探た [1] の結果と符合している．以下では，比較的強い索によって選択された逆方向のエッジは方向性を逆転想起である C 群のデータに対して，上記βの条件にし，EDR 概念辞書のオリジナルの関係の方向性に戻よって抽出した最短経路を検討する．

して考えている．図中の p1 などの後ろの括弧内の数

図 3 に 2 つのエッジと 3 つのノードから構成される部分系列を 2 つのエッジの方向性をもとに 4 つの類型

字は経路における出現 (利用) 頻度を示す．推移的な連5.2

鎖 (p1, p4) よりも共通的な要素を介した連鎖 (p2, p3)

系列パターンマイニングの方が多いという結果となっている．

上記により得られた EDR ネットワーク上の経路を

表 3 に rel-1，rel-2 の関係種別ごとにみた内訳を示

概念連鎖の系列とみなし，系列パターンマイニングをす．以下では，各類型における特徴について議論する．

適用した．本報告では，エッジの両端の概念ノードは無視し，関係種別を表すエッジのラベルの連鎖のみを見た場合の結果について，サポート事例の頻度が 4 以上の部分系列についてのケーススタディを示す．なお，マイニングには，prefix span と呼ばれるアルゴリズ
ム [6] を実装したツール 8 を用いた．

• p1: #1 におけるγ，#4, #6 におけるαは形容詞的概念 (以下，a 概念) にあたるので，これらは，共通の名詞的概念 (以下，n 概念) を介した a 概念と動詞的概念 (以下，v 概念) の関係を表す．それ以外のパターンは，共通の n 概念を介した v 概念
どうしの関係と言える．特に，rel-1 と rel-2 の関係種別が等しい場合 (#3, #5) は，類義の n 概念

8 http://prefixspan-rel.sourceforge.jp/― 455 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

における最短経路から探る試みとその可能性について
表 3: 概念連鎖のパターン分類#12345678910111213141516171819

類型
p1p1p1p1p1p1p2p2
p2
p3
p3
p3
p3
p3
p3
p3
p3
p4
p4

rel-1
objectagent
scene
a object
agent
scene
objectobjectimplement
goal
object
scene
agent
scene
a object
objectobjectagent
objectrel-2
a object
object
scene
scene
agent
a object
objectupper ofobjectobjectscene
goal
objectobjecta obj
implement
agent
object
scene

議論した．

頻度
127644418741412
12101086544

最短経路が妥当な概念連鎖 (連想) を与えうるためには，ネットワークのノードやエッジに適正な重みが付与されていることが必要となる．本報告ではアドホックな重みを付与したに過ぎないので，中心性 (centrality)のようなノード，エッジの重要性を表す指標 [4] を導入するとともに，得られる経路の妥当性の評価を進める必要がある．ある程度の量の評価データが収集できれば，機械学習的な手法の適用も考えられる．
本研究では，PWN ベースの想起を分析するために，全く別の言語資源である EDR を援用するという「荒技」を用いたが，本来ならば，この 2 つに限らず様々な言語資源を組み合わせ的に利用できることが望まれる．このためには，語義・概念のレベルで言語資源の構成要素を対応付けること，さらには，そのような統合的な利用を可能とする枠組みの研究が必要と考える．
一方で，想起のような心的な関係が実際の言語処理の間の関係となっていることが推定される．の応用 (例:多義解消，意味的類似度，含意認識) にお• p2: #8 は上位概念を利用した格関係を表す．それ以外には，2 つの格フレームが関与しており，例いてどの程度有用であるかも評価していく必要がある．

えば，「予約:αを 済ませること:βを 求める:γ」

謝辞
本研究は JSPS 科研費#26540144 の助成を受けた．

におけるαとγ (すなわち，予約と求める) のような高階な関係を表す．このような類型の頻度が高くないことは，ここでのαとγは想起の基盤を形参考文献成する可能性が高くないことを示唆する．逆にい[1]うと，このパターンに現れるαとγのペアは，特別な個別的な事由で結ばれている可能性がある．

• p3: この類型が全体の約半数を占めた．#15 は，βにあたる単一の a 概念が 2 つの n 概念の属性となっている場合である．すなわち，a 概念の属性が共通する n 概念が想起されているパターン (例:リンゴもトマトも赤い) である．その他は，全てある v 概念に対して格要素となっている n 概念間の想起を表すといってよい．すなわち，同一の格フレームにおける別の構成要素が想起の基盤を形成することが最も多いといえる．

• p4: 逆方向に推移的なこの類型の頻度は非常に低く，抽出された実例も適切とは考えにくいものがほとんどであるため，想起の概念連鎖のパターン化において考慮する必要は低いと思われる．

6Boyd-Graber, J., et. al. 2006. Adding dense,weighted, connections to WordNet. Proc. of theThird International WordNet Conference, pp.29–36.

[2] Hayashi, Y. 2012. Computing cross-lingual synonym set similarity by using Princeton annotatedcorpus. Proc. of the 6-th International Global WordNet Conference (GWC2012). pp.134–141.
[3] Ma, X. 2013. Evocation: analyzing and propagating
a semantic link based on free word association. Language Resources and Evaluation, Volume 47 Issue
3, pp.819–837.
[4] Mihalcea, R., and Radev, D. 2011. Graph-BasedNatural Language Processing and Information Retrieval. Cambridge University Press.
[5] Mikolov, T., et al. 2013. Distributed Representations of Words and Phrases and their Compositionality. Proc. of NIPS 2013.
[6] Pei, J. et al. 2001. PrefixSpan: mining sequential patterns eﬃciently by prefix projected patterngrowth. Proc. of ICDE’01, pp.215–224.
[7] Silberer, C., et al. 2013. Models of semantic representation with visual attributes. Proc. of ACL 2013,
pp.572–582.

おわりに想起を概念連鎖のショートカットと仮定し，観測できない概念連鎖のパターンを言語知識のネットワーク[8] Yokoi, T. 1995. The EDR electronic dictionary.
Communications of the ACM, Volume 38, Issue 11,
pp.42–44.

― 456 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.