コーパスから抽出した係り受け共起情報に基づく類似度と文書検索における評価
永松 健司

田中 英彦

東京大学大学院 工学系研究科
概要

自然言語処理において、単語（概念）間の類似性を判定する処理は他の様々な処理への基礎となる指標を与えるものであり、多義語語義の曖昧さの解消の問題と絡めて様々な手法が提案されている。本稿では、コーパスから抽出した単語の共起情報による類似度計算に、同じくコーパスから抽出した単語間の係り受け関係に基づく重み付けを行なう手法を提案する。また、類義語対と非類義語対の集合の分離精度による評価と併せて、実際の問題への応用という面から、文書検索処理に類似度計算を利用した場合の評価を行なう。

Evaluation of a similarity measure based on
co-occurrence and dependency between words

Hidehiko Tanaka
Kenji Nagamatsu
University of Tokyo Faculty of Engineering
ABSTRACTIn natural language processing, similarity between words can be a basis for otherprocessings. In fact, various similarity measures have been proposed and evaluatedespecially in word sense disambiguation processes. In this paper, we propose asimilarity measure based on co-occurrence of words and syntactic dependency ofwords. These informations are extracted from a corpus. Moreover, We evaluate
this measure using large sets of synonym and non-synonym pairs and in a simple
document retrieval task.
1

1 はじめに

2 類似性規準の被覆率による評価
2.1

自然言語処理において，ある表現と別の表現との類似性を判定する処理は，様々な場面で基礎的な指これまでの概念間の類似性に関する研究における標としての利用が考えられる．特に，様々な曖昧性評価では，出力された類似度に対する主観的な印象（ 意味，構造など ）の解消処理においては，既出のや，サンプリングした標本の被験者による判断を求文脈情報との類似性を考慮することにより，より適める心理実験によるものが多かった．これは，類似切な結果を決定することが可能になることが予想さ性という基準を客観的に評価することが難しかった

れ，実際に，多義語の語義の曖昧さの解消に関してことを示している．

は，いろいろな類似性の尺度と共に、それを用いた

これに対して本稿では，類似性規準に対してある曖昧さ解消の様々な手法が提案されている．

スレッショルド を設定した場合に，与えられた類義表現の類似性を判定する処理の内，特に単語，も語対と非類義語対の集合の内，それぞれどのくらいしくは概念間の類似度を計算する処理について，この割合が類似であると判定されるかを示す指標（以れまでの研究に見られる手法を分類すると，大きく次の類義語対と非類義語対の被覆率下，被覆率と呼ぶ）の間の関係として図示すること3 つに分類される．

で評価する．

1. シソーラスや概念ネットワークの構造に基づく すなわち，ある類似性規準に対してスレッショル
ド t を設定した場合に，ある単語対の集合 S の内，類似度 [4, 5, 2, 9, 12, 6, 1]
類似と判定される単語対の集合を S (t) で表記すると，類似性を判定できる単語の範囲が広い．類似性
8>< x = SS tの規準が緩やか．
(1)>:
Sty= S
2. コーパスから得た統計的情報に基づく類似度 [11,3, 7, 14, 13, 10, 8]
類義語対 ( )jjj

類義語対 j

非類義語対 ( )jjj

非類義語対 jというパラメータ表現で図示される関係となる．

語の使用に則した様々な類似性の考慮．判定可
能な単語の範囲はコーパスの大きさに依存．

2.2

3. 各概念に与えた属性値（性質）集合に基づく類

代表的な既存の手法での評価例

シソーラス構造を用いた類似性規準，統計的情報を

2.1
1 と図 2 に用いた類似性規準の内，代表的なものについて，似度節で述べた評価方法を適用した結果を図以上の分類，およびその特失はそれぞれ代表的な特示す．ここでは，シソーラス構造による類似性規準

徴を述べたものであり，これらの手法の境界が必ずとして，単語間の共通上位概念の深さ(depth) と単語間のリンク数 (link#) によるものを，統計的情報[4] や [5] などは概念ネットワーク的な手法に による類似性規準として，共通の共起単語の IDF 値共起情報という統計的な指標を組み合わせている他， (Inverse Document Frequency) を共起確率で重み付[6] ではシソーラスと統計情報とを組み合わせること けした値の和 (cooccur1) と共通の共起単語の共起確などが研究されている．
率値の和 (cooccur2) によるものを評価した．図中で本稿では，単語（ 概念）間の類似性判定処理にお は，同じ記号で 2 つのデータ系列が示されているが，しもはっきりしていることを示すものではない．例
えば，いて，統計的な共起確率情報と共に、コーパスからより上に位置する群は類義語対集合として分類語彙抽出した係り受けデータを考慮する類似度計算の手表から抽出したものを，下に位置する群はIPAL 辞3 節）．また，評価の指標として類義 書から抽出したものを使用した場合である（後述）．
%
シソーラス構造による類似性規準に対しては，シか）を用いた評価（ 2 節、3 節），および応用面での ソーラスとして EDR 概念体系辞書を利用し，入力法を述べる（語対と非類義語対集合の被覆率（ 何 カバーできる評価として，文書検索処理における文書のカテゴ リの単語対に対応する概念の組み合わせの中から最も分け問題での評価（ 節）を示す．

類似度が高いものを出力とした．

421. シソーラス構造による類似度に対しては
 EDR 日本語単語辞書から無作為に抽出した単語対（ 100,000 対）
2. 共起単語による類似度，係り受け共起関係による類似度に対しては

 それぞれの共起辞書に含まれる見出し単語から無作為に抽出した単語対（100,000 対）を使用した．ただし，今回は非類義語対として無作為抽出による単語対を使用したため，必ずしも類義語でないものばかりが含まれるわけではなく，一部，

図

1: 類義語対 (x) と非類義語対 (y) の被覆率の関係 実際には類義だと判断されるような単語対も一定割合で入ることが考えられる．よって，ここではあくまでも，非類義語対の近似集合であり，評価の際にはそのことを考慮する必要があることを指摘しておく．
最後に，ここで評価した各手法を用いて類似性を判定することができた類義語対と非類義語対の数を表1 に示す．それぞれの手法で用いている辞書やシソーラスに含まれない単語があるため，上述の数値よりもいくらか減少しており、これはそれぞれの手法が適用できる単語の範囲の広さを示すと見なせる。
2.3

既存の類似性規準についての考察

式 1 によると，図 1 や図 2 で下に位置する類似性
2: 類義語対 (x) と非類義語対 (y) の被覆率の関係 規準ほど ，ある一定割合の類義語対を覆うようなス（ 図 1 の一部を拡大）
レッショルド の設定に対して，より少ない割合の非図類義語対を類義だと判定する，すなわち，類義語対また，共起単語による類似性基準に対しては，毎 と非類義語対の分離精度が高いことを示している．
毎日新聞「 年版」の記事中
日新聞社のここから， 節で述べたように，統計情報（ここCD-94

記事を形態素解析プログラム

74,793

1

JUMAN[15] で解析し では共起単語）を用いた類似性規準はシソーラス構た結果から内容語に絞って，各語の共起単語とその造による類似性規準よりも高い分離精度を持つこと頻度を抽出した共起単語辞書を作成、利用している． が確かめられる．

1 で実際に判定できた単語対の数を見ると，シソーラス構造による類似性規準では約 9 割以

この評価で使用する類義語対／非類義語対の集合

また，表として，類義語対には

1. IPA による日本語辞書 IPAL の各見出し 単語 上に対して適用できるのに対して，統計情報によると，その同義語／類義語フィールドに含まれる 類似性規準では約 7 割前後となり，統計情報をそのまま使う場合の適用範囲の狭さが示されている．
単語との対（ 10,297 対）
2. 国立国語研究所による分類語彙表で最も下位の係り受け共起関係による類似性
分類項目に含まれる単語集合から無作為に 2 つ 3の単語を選択した単語対（ 10,000 対）
本節では，本稿で評価を行なう係り受け共起関係の 2 つの集合を，一方，非類義語対にはを利用した類似性規準について述べる．
3

IPAL 辞書の類義語対
9,709 / 10,297
7,443 / 10,297
7,443 / 10,297

類似性の規準シソーラス構造による類似度
共起単語による類似度
係り受け共起関係による類似度表
3.1

分類語彙表の類義語対

非類義語対

9,126 / 10,000
6,755 / 10,000|

98,699 / 100,000
100,000 / 100,000
100,000 / 100,000

1: 評価の際に使用した単語対の数，および実際に類似度を計算できた単語対の数
w の共起頻度を f (w jw) で表記すると，共起データへの係り受け関係の考慮

0

1 節，2.3 節で述べたように，単語の共起情報を用

0

Xf (w jw)

P r ( w jw ) =00

いた類似性規準は，判定可能な単語（ 概念）が利用

x C (w )したコーパスに依存するという問題があるとは言え，

f (xjw)(3)

8 2

シソーラス構造を用いた類似性規準よりも分離精度 で与えられる．
は高い．しかし，現在のところ，各単語の共起単語
この式は個々の単語の性質として何も仮定しない

IDF 値などのように個々の単として抽出する単語は，ある一定範囲内に存在するものの場合であるが，内容語などというような判断基準であり，まだ確固語に付与された性質を利用する場合も，共起確率でとした選択基準があるわけではない．の平均操作を行なうという点ではほぼ 同じである．

そこで，本稿ではその判断の一端として，共起単よって，係り受けによる重み付けも，この共起確率語間での係り受け関係によって重み付けを行なう類値へ対して行なうのが自然だと考えられる．そこで，(3) 式の共起確率値 P r(w jw) を一部変更し，次式に似性規準において，その評価を行なった．つまり，本0

研究での係り受け共起関係とは，共起データ（共起よる重み付けを導入する．

単語対）の内，元コーパスにおいて構文的な係り受

 単語 wと w が係り受け関係になり得る場合は0

け関係を持っているものを指している．

P r(w jw) =共起関係は単語間の関連性を示す尺度であり，そ0f (w jw)
X(4)( 0 1)f (w jw) +f (xjw)の関連性の範囲を緩めるには抽出する共起単語の数0や種類を増やすことで対応できるが，逆により強い

0x C (w )関連性を示す方向へ類似性規準を変更しようとする

8 2と，個々の共起単語が持つ性質を考慮せざるを得な
一方，係り受け関係にあるかど うかの判定についい．この理由から本研究では，意味的な関連性にも影響を持ち，ある程度，客観的な判断が行なえる，構 ては，類似性判定という，比較的，計算コストが小さいことが要求される処理において，構文レベルの文的な係り受けという関係を利用した．
解析処理を入れることには問題があると考え，本研
3.2

究では係り受け関係の判定においてもコーパスから係り受けによる共起情報の重み付け

まず，類似性規準として，単語対の共起単語の内，共通に含まれるものの共起確率値の和を利用する場抽出した統計データを用いている．具体的には，解析済みコーパス（EDR コーパス）から，意味的な係2.2 節の cooccur2 で利用した）の式を示す．単 まれる単語対に対しては係り受け関係にある（なり語 w の共起単語の集合を C (w) で表記すると，単語得る）と判定している．
w と単語 w の類似度 Sim(w ; w ) は，Sim(w ; w ) =
3.3
評価結果
X
P r(wjw ) + P r(wjw )(2) 図 3 と図 4 に，この類似性規準 (ck) の評価結果を
2
w C w1 C w 2示す．ここでは，類義語対として IPAL 辞書から抽と表される．ここで，P r(w jw) は単語 w に対して， 出した 10,297 対のみについて評価を行なっている．
単語 w が共起する確率を示し，単語 w の共起単語 (4) 式の には，恣意的であるが = 2:0 として計り受け関係にある単語対を抽出しておき，ここに含合（121122182()\ (2)0044 文書検索実験での評価
本節では，類似性規準を実際の問題に応用する場合の一例を通して，類似性規準の評価を行なう．
ここで行なった実験は，毎日新聞
ら無作為抽出した

94 年 1 月分か464 記事について，そのカテゴ リ推定の正答率の評価，および代表的なカテゴ リに属する記事ついて検索を行なった場合の適合率・再現率による評価である．この新聞記事

DB では各記事に，「 １面」，「 社説」などのカテゴ リ名が付与されており，ここではその内，内容との関連が高いと思われる，「 文化」「， 経済」「， 芸能」「， 国際」「， 家庭」「，社図「 スポーツ」の 7 カテゴ リを選び，サンプルと3: 類義語対 (x) と非類義語対 (y) の被覆率の関係 会」，なる記事もこれらのカテゴ リに含まれるもののみに限定してある．
それぞれの記事に対しては以下の処理を行なう．

1. 上記の 7 カテゴ リのラベルの共起単語の内，生起頻度が大きいものからそれぞれ 5 単語を選択する．

2. 記事中の内容語の内， IDF 値が大きいものから 5 単語を選択する．
3. 各カテゴ リの 5 単語と記事に対する 5 単語の，すべての組み合わせにおける類似度の和を求め，この値をその記事がそのカテゴ リに属する度合を示す値とする．

4: 類義語対 (x) と非類義語対 (y) の被覆率の関係（ 図 3 の一部を拡大）

4. カテゴ リ推定では，この値の最も大きいカテゴ

2.2 節に示したシソーラス構造と共起情報を用いた類似性規準（それぞれ 2 つずつ）の5. 検索では，与えられたカテゴ リに対して，この図リを出力する．

算した．また，値へのスレッショルドを次第に低くしていった場合に，判定される記事が正しく選択されたか結果も比較のために示している．
これらの図から分かるように，係り受け関係によど うかで，その適合率と再現率を求める．

る重み付けを採用することで類義語対／非類義語対以下に、カテゴ リ推定での正答率の結果を示す．の分離の精度が向上している．具体的に，類義語対手法
正答率の被覆率のいくつかに対する非類義語対の被覆率で見ると，類義語対

80%
90%
95%

link#
10.9
24.0
33.9

cooccur1
5.0
17.8
35.2

cooccur2
5.2
16.8
33.0

ck
4.0
13.1
28.9

1

手法
正答率

2

depth
16.8%
cooccur1
34.3%

link#
17.3%
cooccur2
30.9%

ck
34.7%

図 （ 図 ）で下にある手法（ 類義語対と非類義語対の分離精度が良い）ほど ，ここでの正答率も高くなっていることが分かる．

5のようになり，係り受け関係を判定することで，従一方，検索処理での再現率と適合率の結果を図来の手法よりも非類義語対を過剰に類似と判定してに示す．これはカテゴ リ「経済」に対する記事を検しまう割合を低くすることが可能となっている．

索した場合での結果である．

5Sense Disambiguation using Conceptual Distance,
Proceedings of 1st International Conference on
100%
depth
RecentAdvances in Natural Language Processing
90%
link#(1995).
cooccur1
80%
cooccur2ck[2] Dagan, I. and Pereira, F.: Similarity-Based Esti70%
mation of Word Cooccurrence Probabilities, Pro60%
ceedingsof ACL-94 (1994).
50%[3] Iwayama, M. and Tokunaga, T.: Hierarchical40%
Bayesian Clustering for Automatic Text Classi ca30%
人工知能学会研究会資料, pp. 127{134 (1994).
tion,20%
SIG-J-9401-17.
10%[4] Kozima, H. and Furugori, T.: Similarity between
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Words Computed by Spreading Activation on anprecision
English Dictionary, Proceedings of the 6th Conference of the European Chapter of the Association
for Computational Linguistics (EACL-93), ACL,
図
新聞記事のカテゴ リ検索での再現率と適合率
pp. 232{239 (1993).
[5] Niwa, Y. and Nitta, Y.: CO-OCCURRENCEVECTORS FROM CORPORA VS. DISTANCE
全体的な精度はあまり高くないが 、結果についてVECTORS FROM DICTIONARIES, Proc. COL言えば，カテゴ リ推定での順番，および図 （ 図 ）ING 94 , Vol. 1, pp. 304{309 (1994).
での順番と一致していることが示されている．
[6] Resnik, P.: Using Information Content to Evaluate
Semantic Similarity in a Taxonomy, Proceedings of
本節での評価結果は， 節や 節で示した大量のthe 14th International Joint Conference on Arti データに対する類似性規準の統計的な性質が，具体
cial Intelligence , Vol. 1, pp. 448{453 (1995).
的な個々の単語間での類似性判定でも同様に期待で[7] Yang, Y. and Chute, C. G.: An Example-Based
きることを示していると考えられる．
Mapping Method for Text Categorization and Retrieval, ACM Transactions on Information Systems , Vol. 12, No. 3, pp. 252{277 (1994).
おわりに[8] 新谷研, 角田達彦, 大石巧, 長尾眞: 形態素の共起頻度と出現位置による新聞関連記事の検索手 法, 信学技報言語理解とコミュニケーション , Vol. 96, pp. 1{8
本稿では，コーパスから抽出した係り受け関係を(1996). NLC96-1.
利用した類似性の判定手法について述べた．また，類[9] 池野篤司: 分野依存性を考慮した単語間類似度の獲義語対と非類義語対の被覆率による評価を示し，他
得と利用, 人工知能学会研究会資料, pp. 143{150(1994). SIG-J-9401-19.の既存の類似性判定手法との比較を行ない，本手法の有効性に関して考察を行なった．さらに，応用面 [10] 宇津呂武仁: 類似度計算テンプレートを用いた検索質
問生成による最近隣検索法の最適化, 人工知能学会研での評価の一例として，文書検索処理に利用した場究会資料, pp. 1{8 (1995). SIG-KBS-9502-1.
合の実験を行なって，ある場合には，その他の手法[11] 芥子育雄, 乾隆夫, 石鞍謙一郎: 大規模文書データよりも有用であることを示した．
ベースからの連想検索, 信学技報人工知能と知識処理,
Vol. 92, pp. 73{80 (1993). AI 92-99.
本稿で示した様々な類似性判定の手法にはそれぞれ適する場合が存在する．今後は，それらをどのよ [12] 佐々木寛, 羽生田博美, 木下哲男: 単語表記情報に基づく情報検索向き単語関係の抽出, 信学技報 人工知うに組み合わせることで全体的な判定の精度が向上
能と知識処理, pp. 9{16 (1995). AI 95-7.
するかを調べる必要があると考える．
[13] 城風敏彦, 羽生田博美, 木下哲男: 統計的シソーラスを用いた分散型ネットワークニュース検 索システム,
本研究には，情報処理振興事業協会の計算機用日信学技報人工知能と知識処理, pp. 15{22 (1995). AI，国立国語研究所の分類語彙表，毎本語辞書
95-24.
毎日新聞「 年版」を利用させてい [14] 徳永健伸, 岩山真: 重み付き IDF を用いた文書の自動
日新聞社のただいた．
分類について, 情報処理学会研究報告, Vol. 94, No. 28,
pp. 33{40 (1994). 94-NL-100.
[15] 松本裕治, 黒橋禎夫, 宇津呂武仁, 妙木裕, 長尾真: 日本
参考文献
語形態素解析システム JUMAN 使用説明書 version
2.0 (1994).
[1] Agirre, E. and Rigau, G.: A Proposal for Word
recall5:12235

IPALCD-946