DEIM Forum 2014 A8-1

オブジェクト間の意外な共通点の発見
佃洸摂†,††

大島 裕明†

加藤

誠†

田中

克己†

† 京都大学大学院情報学研究科社会情報学専攻 〒 606–8501 京都府京都市左京区吉田本町†† 日本学術振興会 特別研究員
E-mail: †{tsukuda,ohshima,kato,tanaka}@dl.kuis.kyoto-u.ac.jp
あらまし

本稿では，オブジェクトと属性値を入力として与えたときに，オブジェクトと属性値の関係の認知度を推定するための手法を提案する．提案手法を用いることで，たとえばオブジェクトを “中国”，属性値を “ワイン” としたとき，“中国” と “ワイン” は実際の関連度は高いがその関係の認知度は低い，といったことが求められる．提案手法では，（1）オブジェクトの認知度が高（低）ければ，オブジェクトと属性値の関係の認知度は実際の関連度よりも高（低）くなる．
（2）オブジェクトの多くの類似オブジェクトと属性値の関係の認知度が高（低）ければ，オブジェクトと属性値の関係の認知度は実際の関連度よりも高（低）くなる．という仮説のもと関係の認知度を推定する．さらに，提案手法を用いた，オブジェクト間の意外な共通点の発見について考察を行う．
キーワード

意外性, オブジェクト集合, 知識抽出

いるとは限らない．たとえば，“三十三間堂” というオブジェク

1. は じ め に（注 1）

トと “入母屋造” という属性値の関係を考える．“三十三間堂”（注 2）などの既存の Web 検索エの同位語らしい語の中には “醍醐寺” や “仁和寺”，“東寺” など

ンジンでは，ユーザが入力したクエリとの適合度や人気度にがあり，これらはいずれも “入母屋造” と関連があるが，そのよって Web ページをランキングし，検索結果を返す．クエリ関係は一般にはあまり知られていないと考えられる．つまり，に適した文書の検索を可能にするために，これまで様々な検索

実際の関連度と関係の認知度は必ずしも一致しないため，これ手法が提案されてきた．たとえば，BM25 [1] はテキスト情報にまでのアプローチとは異なった方法でオブジェクトと属性値の基づいた手法であり，HITS [2] や PageRank [3] は Web ページ

関係の認知度を測る必要がある．

Googleや Yahoo

（注 3）

，Bing

間のリンク構造に基づいた手法である．

類似関係に依らず語間の関係の認知度を正しく推定できれば，

しかし，これらの手法を用いて意外な情報を発見するのは困多くのオブジェクトが同じ属性値と関係があるが実は知られて難である．そのため，我々はこれまで入力として与えられた 1

いないこと，のようなこれまでの提案手法では発見が難しかっ語のクエリに関する意外な情報を発見するための手法を提案したオブジェクト間の意外な共通点の発見も可能になると考えらてきた [4]．提案手法では，たとえば “落合博満” というクエリれる．意外な共通点には様々なものが存在する．情報を提示す（オブジェクト）に対して “ガンダム” という語（属性値）を意

るユーザの興味を引くか否かという観点と，情報が有用である

外な語として発見し，それに基づいて “落合博満はガンダムマ

か否かという観点を考えたときに，ユーザの興味を引く有用なニアである” という意外な情報を発見していた．その際，“長嶋情報を発見し提示することは以下のような状況で有益になり得茂雄” や “野村克也”，“王貞治” などの “落合博満” の多くの同る．たとえば，京都にある 4 つの寺に観光に行こうとしている

位語らしい語は “首位打者” という語と関連があるため，“落合ユーザに対して，その 4 つの寺の意外な共通点を提示すること博満” と “首位打者” の関係はありふれたものであり意外ではで，寺に対するユーザの興味をより喚起することができる．他

ないが，“落合博満” の多くの同位語らしい語は “ガンダム” とにも，ある 5 人の戦国武将について勉強をしているユーザに対関連がないため，“落合博満” と “ガンダム” の関係は意外であして，その 5 人の戦国武将の意外な共通点を提示することも勉る，というように，オブジェクトの多くの同位語らしい語が対

強内容に対する興味の喚起につながりうる．

象の属性値と関係があるか（本稿ではこれを “類似関係” と呼ぶ）を基に，語間の関係の意外度を測っていた．

本 研 究 の 最 終 的 な 目 的 は ，オ ブ ジェク ト 集 合 O={to1 , to2 , · · · , ton } と O の全てのオブジェクトに共通する属

しかし，オブジェクトの多くの同位語らしい語が同じ属性値

性値 ta を入力として与えたときに，O にとっての ta の意外度と関連があるからといって，必ずしもその関係が良く知られてを測ることである．この目的を実現するためには，上述したように各 toi ∈ O と ta の関係の認知度を正しく求める必要があ（注 1）：http://www.google.com（注 2）：http://www.yahoo.com（注 3）：http://www.bing.com

る．そこで，本稿では特にオブジェクトと属性値の関係の認知度を推定することに焦点を当て，手法の提案と評価を行う．語
間の関連度を測ることを目的として，これまでに多数の手法が提案されてきたが [5] [6] [7] [8] [9] [10] [11]，提案手法では，これ一方の Web ページにしか含まれていない意外な情報を，各らの手法を拡張し，オブジェクトの認知度および，オブジェク

Web ページに含まれるキーワードを比較することで発見する

トの類似オブジェクトと属性値の関係の認知度を考慮すること手法を提案している．Web ページをオブジェクトとみなすと，

でオブジェクトと属性値の関係の認知度を推定する．

彼らの研究ではオブジェクト間で共通していない意外な情報の我々は “国”，“野菜”，“京都の観光地”，“電機メーカー”，“野発見を目的としていると言える．

球選手” の 5 カテゴリに関する 25 語の属性値を対象としてオブ

Mejova ら [13] は，入力として与えられた 1 語のクエリに対ジェクトと属性値の関係の認知度推定に関する評価実験を行っする意外な語を発見することを目的とし，手法を提案している．

た．実験の結果，オブジェクトの認知度および，オブジェクト

彼らの手法は，ある文書集合の中で，出現する文書数が少なく，の類似オブジェクトと属性値の関係の認知度を考慮することで，かつクエリとの共起度が高い語はクエリにとって意外な語であ

既存手法に比べて有意に高い精度で関係の認知度を推定できるるという考えに基づいている．

ことが明らかになった．また，実験の結果を基に意外な共通点

2. 2 語間の関連度推定に関する研究の発見への応用について考察を行った．

こ れ ま で に ，WebJaccard や WebDice，WebOverlap や本稿の以降の構成は下記の通りである．2. 章では関連研究に

NGDW，WebPMI など，Web 検索エンジンの検索結果を用いついて述べる．3. 章ではオブジェクトと属性値の関係の認知度て語間の関連度を計算する手法が多数提案されてきた．Bolle-

推定のアプローチについて述べ，4. 章で関係の認知度推定手法

gala ら [6] は検索結果数に加えて，検索結果のスニペットからを説明する．5. 章では実験結果を示し，6. 章ではオブジェクト

抽出した構文パターンを用いることで高い精度で語間の関連度

間の意外な共通点の発見に関する考察を行う．7. 章ではまとめを求めることを可能とした．検索結果のスニペットを用いた手と今後の課題について述べる．

法としては，関連度を求めたい 2 語の検索結果のスニペットの2. 関 連 研 究
2. 1 意外な情報発見に関する研究

類似度に基づく手法 [7] や，1 方の語をクエリとした Web 検索
結果中のスニペットにもう 1 方の語がどの程度出現するかという情報を用いる手法 [8] などもある．

これまでにも意外な情報を発見することを目的とした

Wikipedia の情報を用いて語間の関連度を求める研究も行わ

研究はいくつか行われてきた [12] [13] [14] [15]．Noda ら [15]

れている [9] [10] [11]．Strube ら [9] は Wikipedia 上での 2 つの（注 4）のカテゴリ間の関係を分析することで，記事間のパスの長さや，2 つの記事間での語の重複度合いを元に(Wikipedia の見出し語，カテゴリ名 1，カテゴリ名 2) で表語間の関連度を求めている．Gabrilovich ら [10] は Wikipedia

される 3 つ組の中で意外性のある知識を発見する手法を提案しの見出し語が属するカテゴリ情報に基づいて語間の関連度をは Wikipedia

た．彼らの手法を用いることで，たとえば “麻生太郎” という求める手法を提案した．Milne ら [11] は 2 語が与えられたとき

Wikipedia の見出し語を入力語として与えると，“日本の内閣に，各語が見出しとなっている Wikipedia の記事に対してリン総理大臣” と “オリンピック射撃競技日本代表選手” という 2 語

クを張っている Wikipedia の記事集合同士の比較と，各語がのカテゴリ名が意外性のある語として出力される．すなわち，

見出しとなっている Wikipedia の記事がリンクを張っている“麻生太郎は，日本の内閣総理大臣というカテゴリに属していWikipedia の記事集合同士の比較に基づいて 2 語の関連度を求る一方で，オリンピック射撃競技日本代表選手というカテゴリ

めている．Milne らの手法は Strube らの手法よりも高い精度にも属している” という情報を発見することができる．彼らので語間の関連度を求めることができ，Gabrilovich らの手法よ

目的は 1 つのオブジェクト（Wikipedia の見出し語）にとってりも低いコストで Gabrilovich らの手法と同程度の精度が出る

意外な属性値（カテゴリ名）を発見することであり，我々の目ことが示されている．

的とは異なる．

Nadamoto ら [14] は，ブログや SNS といったコミュニティ型

3. 語間の関係の認知度推定のアプローチ

コンテンツを対象として，コミュニティ内の議論においてユー

本章では，人が語間の関係の強さを判断する際に影響を与えザが気づいていない情報を発見する手法を提案している．彼ら

ると考えられる要因について述べる．語間の関係の認知度推定の手法では，コミュニティ型コンテンツで，1 語の Wikipediaの最終的な目的は，語の組 (t1 , t2 ) が与えられたときに t1 と t2の見出し語と，それについて語られている文集合を入力としての絶対的な関係の認知度を求めることであるが，本稿ではまず，与える．それらの入力に対して，入力として与えた見出し語のあるカテゴリ c と c に属する語集合 Tc = {to1 , to2 , · · · , ton , }，Wikipedia の記事内から，コミュニティ型コンテンツで語られ語 ta が与えられたときに，toi ∈ Tc と ta の関係の認知度を求ていないトピックで，かつコミュニティ型コンテンツで語られめ，その値が高い順に toi ∈ Tc をランキングすることを目的とているトピックとは最も類似度の低いトピックに関する文集合

する．これにより，たとえば c を “国”，Tc を国名の集合，taを発見し出力する．つまり，与えられた文集合には存在しないを “ワイン” とすると，ワインとの関係の認知度が高い順にラ

意外な情報を発見することを目的としている．

ンキングされた国名のリストが返される．以降では説明のため，Liu ら [12] の研究では，2 つの Web ページを与えたときに，

toi ∈ Tc をオブジェクト，ta を属性値と呼ぶ．
1. 章で述べたように，語間の実際の関連度と，その関係がど（注 4）：http://ja.wikipedia.org/の程度知られているかという関係の認知度は必ずしも一致しな

いと考えられる．我々はその原因として，人が語間の関連度に我々は，これまで提案されてきた語間の関連度を測る手法をついて考える際に，以下に述べるように考えることで，実際の拡張することで関係の認知度を推定するというアプローチをと

関連度と人が感じる関連度に差が生じるのではないかと考えた．

る．そのためにまず，4. 1 節では本稿で用いる既存手法を説明

3. 1 オブジェクトの認知度する．次に 4. 2 節でオブジェクトの認知度を考慮した手法，4. 3

カテゴリを “野球選手”，属性値を “ゴールデングラブ賞” と節でオブジェクトの類似語を考慮した手法について述べる．最したときの，野球選手とゴールデングラブ賞の関係の認知度

後に 4. 4 節でオブジェクトの認知度と類似語を共に考慮した手について考える．まず，“落合博満” と “ゴールデングラブ賞”

法について述べる．

の関係の認知度について考える．実際には落合博満はゴール

4. 1 既 存 手 法

デングラブ賞を獲得したことがないため，関連度は低い．しか

本稿では語間の関連度を測る手法として以下の 3 手法を用しユーザは “落合博満は有名な野球選手なのでゴールデングラ

いる．

ブ賞とも関係があるのでは” と考え，本来の関連度よりも高く

4. 1. 1 WLM 手法

見積もられてしまう．次に，“岡田彰布” と “ゴールデングラブ

1 つ目は Milne ら [11] により提案された手法であり，語 t1 と賞” の関係の認知度について考える．実際には岡田彰布はゴー語 t2 の関連度を測る際に Wikipedia 上で t1 と t2 それぞれのルデングラブ賞を獲得したことがあるため，関連度は落合博満

リンク先ページの類似度と t1 と t2 それぞれのリンク元ページの場合より高い．しかしユーザは “岡田彰布はあまり聞いたこの類似度を基に語間の関連度を測る．

とのない野球選手なのでゴールデングラブ賞とも関係がないの

まずリンク先ページの類似度は TF-IDF を基にした手法で求では” と考え，本来の関連度よりも低く見積もられてしまう．

める．リンク元ページを s，リンク先ページを t としたときに，これらの考えに基づき，次のような仮説を立てる．
【仮説 1】 オブジェクトの認知度が高（低）ければ，オブジェ
クトと属性値の関係の認知度は実際の関連度よりも高（低）くなる．

3. 2 オブジェクトの類似オブジェクトと属性値の関係の認知度
カテゴリを “国”，属性値を “コーヒー” としたときの，国とコーヒーの関係の認知度について考える．まず，“アルゼンチン” と “コーヒー” の関係の認知度について考える．実際はアルゼンチンはコーヒーの生産量や消費量において世界の国の中では上位には入っておらず，関連度はそれほど高くない．しかしユーザは “アルゼンチンと似た国であるブラジルやコロンビs から t へのリンクの重みは次式により求められる．
()|W |w(s → t) = log
if s ∈ Bt , 0 otherwise.
|Bt |ここで Bt は t のリンク元ページ集合，W は Wikipedia の全ページ集合である．この値を要素とするベクトルを t1 と t2 それぞれに対して作成する．つまり式（1）において s は t1 または t2 であり，t1 と t2 のリンク先ページ集合を Ft1 ，Ft2 とすると t は Ft1 ∪ Ft2 に含まれる全てのページとなる．最後に t1と t2 の各ベクトル間のコサイン類似度 simf orward (t1 , t2 ) を求める．
続いて t1 と t2 それぞれのリンク元ページ集合の類似度を次式により求める．

ア，メキシコはコーヒーと関係が強いのでアルゼンチンもコー
ヒーと関係が強いのでは” と考え，本来の関連度よりも高く見simbackward (t1 , t2 ) =積もられてしまう．次に，“インド” と “コーヒー” の関係の認知度について考える．実際はインドはコーヒーの生産量において世界の中で上位に入っているため，関連度は高い．しかしのでは” と考え，本来の関連度よりも低く見積もられてしまう．
これらの考えに基づき，次のような仮説を立てる．
【仮説 2】 オブジェクトの多くの類似オブジェクトと属性値の関係の認知度が高（低）ければ，オブジェクトと属性値の関係の認知度は実際の関連度よりも高（低）くなる．

最後に，上記の 2 つの式の線形和により t1 と t2 の関連度

wlm(t1 , t2 ) =1
1· simf orward (t1 , t2 ) + · simbackward (t1 , t2 ).
2
2(3)

4. 1. 2 WebPMI 手法
2 つ 目 は Web 上 で の 2 語 の 共 起 を 基 に 関 連 度 を 測 る
WebPMI [6] [5] を用いる．WebPMI では，語 t1 と語 t2 の関連度は次式により求められる．

ただし，この仮説に従うならば，上記の例で人が “コロンビア” と “コーヒー” の関係の認知度を考えるときは，“コロンビア” と似た国である “アルゼンチン” と “コーヒー” の関係の認知度も影響を与えている，というようにオブジェクトと属性値の関係の認知度は再帰的に決まるものとなる．

4. 関係の認知度推定手法
本章では 3. 章で述べた 2 つの仮説に基づいて，語間の関係の認知度を推定する手法について述べる．

log (max (|Bt1 |, |Bt2 |)) − log (|Bt1 ∩ Bt2 |).
log (|W |) − log (min (|Bt1 |, |Bt2 |))(2)wlm(t1 , t2 ) を求める：

ユーザは “インドと似た国である中国やパキスタン，スリラン
カはコーヒーと関係が弱いのでインドもコーヒーと関係が弱い(1)

web pmi(t1 , t2 ) =


0
log
2

(

if hit(t1 , t2 ) <=c)hit(t1 ∧t2 )/Notherwise.
(hit(t1 )/N )×(hit(t2 )/N )(4)hit(t) は t で Web 検索を行った際の検索結果数を表す．検索
結果数の取得には Clue Web 09 の日本語データセットを用いた（注 5）．本稿では Bollegala ら [6] に倣い，c = 5 とした．N は
全 Web ページ数であり，Clue Web 09 の日本語データセット（注 5）：http://lemurproject.org/clueweb09/

では N = 67, 337, 717 であった．

は，これを実現するために biased PageRank アルゴリズム [20]検索エンジンの検索結果数を元に単語間の関連度を測る手法

を用いる．biased PageRank を用いるのは，biased PageRank

としては WebJaccard や WebDice，WebOverlap や NGD がが以下のような性質を持つためである．

あるが，これらの手法の中では WebPMI が最も精度高く語間（ 1 ） より多くの重要なページからリンクされているページの関連度を推定できることが示されている [5], [6]．

は重要である．

4. 1. 3 Noda 手法（ 2 ） あらかじめ重要であることがわかっているページはリ

3 つ目も Web 上での 2 語の共起を基に関連度を測る手法でンク構造に依らず重要である．

あり，野田ら [16] によって提案された手法に基づいたものであ

性質（1）は，仮説 2 において属性値との関係の認知度が高い

る．この手法では，語 t1 と語 t2 の関連度は次式により求めら

多くのオブジェクトと同位語らしいオブジェクトは属性値とのれる．

関係の認知度が高いという部分に対応している．また仮説 2 で

hit(t1 ∧ t2 )2noda(t1 , t2 ) =.
hit(t1 ) · hit(t2 )(5)係の認知度は実際の関連度と全く無関係ではなく，性質（2）がこの手法では，WebPMI よりも 2 語の共起回数が語間の関連度に与える影響が大きくなっている．

オブジェクトと属性値の実際の関連度を考慮していることに対応している．

4. 2 オブジェクトの認知度を考慮した関係の認知度推定手法
3. 1 節の仮説 1 に基づき，オブジェクトと属性値の関連度とオブジェクトの認知度を考慮した，オブジェクト toi と属性値

ta の関係の認知度 rel pop(toi , ta ) を次式により求める．
rel pop(toi , ta ) = rel(toi , ta ) · pop(toi )“実際の関連度よりも高（低）くなる” と述べているように，関Biased PageRank を適用するため，まず隣接行列を作成する．Tc = {to1 , to2 , · · · , ton } としたとき，(i, j) 要素の値がcoordinate(toj , toi ) であるような n 次正方行列を作成する．次に，各列の和が 1 になるように正規化し，隣接行列とする．つ(6)

まり，隣接行列の (i, j) 要素の値 ai,j は次式により求められる．

ai,j = ∑ここで rel(toi , ta ) はオブジェクトと属性値の関連度であり，4. 1

coordinate(toj , toi )tok ∈Tc coordinate(toj , tok )節で述べたいずれかの手法により求める．pop(toi ) はオブジェ.

(7)

クトの認知度であり，本稿では Wikipedia 上での toi のリンク

この隣接行列を用いて，オブジェクト toi と属性値 ta の関係の元のページ数の対数を toi の認知度とみなす．我々はこれまで

認知度 rel crd(toi , ta ) は次式により求められる．

に Wikipedia 上でのリンク元のページ数と認知度の間に高い相関があることを示している [17]．

rel crdl+1 (toi , ta ) =α ·∑ai,j · rel crdl (toi , ta )

1<
=j <
=n

4. 3 類似オブジェクトを考慮した関係の認知度推定手法

rel(toi , ta ).
to ∈Tc rel(toj , ta )(8)

+ (1 − α) · ∑4. 3. 1 類似オブジェクトの取得

j

本稿では，オブジェクト toi の同位語らしい語を toi の類似
オブジェクトとする．同位語とは共通の上位語を持つ語のうち式（8）中の第 1 項，第 2 項がそれぞれ biased PageRank の性

特に意味の異なる語 [18] である．我々はこれまでに，与えられ質（1），性質（2）に対応している．α はダンピングファクターた語に対する同位語らしい語を求める手法を提案してきた [19]．

であり，0 <
=α<= 1 の値をとる．α の値が大きいほど同位語とこの手法では，ALAGIN フォーラムから提供されている上位

属性値の関係の認知度の影響が大きくなる．実験では α の値の下位関係抽出ツール （注 6）を用いる．このツールは，Wikipedia

違いによる関係の認知度推定の精度についても評価を行う．

で記事の見出し語やカテゴリ名となっている名詞句をその上位語，下位語関係に基づいて階層化したものであり，約 20 万語の上位語と約 245 万語の下位語を含む．このツールを用いて，

4. 4 オブジェクトの認知度と類似オブジェクトを考慮した関係の認知度推定手法
オブジェクトの認知度と類似オブジェクトを共に考慮してオ

まず toi の全上位語と，toi と 1 つ以上の上位語を共有する同位ブジェクト toi と属性値 ta の関係の認知度を推定する際は，次語集合を取得する．次に，上位語と同位語の間で上位下位関係式のように biased PageRank においてオブジェクトと属性値にある語を枝で結び，二部グラフを作成する．その二部グラフの関連度の初期値を 4. 2 節で求めた値とする．

に対して HITS アルゴリズム [2] を拡張した手法を適用し，同rel pop crdl+1 (toi , ta ) =α ·位語を toi との同位語らしさに応じてランキングする．この手+ (1 − α) · ∑値の関係の認知度を推定する場合，オブジェクトとその同位語と属性値の関係の認知度は再帰的に求める必要がある．本稿でrelpop (toi , ta )toj ∈Tc relpop (toj , ta )位語らしさ coordinate(toi , toj ) を求める．

3. 2 節で述べたように，仮説 2 に基づいてオブジェクトと属性

ai,j · rel pop crdl (toi , ta )

1<
=j <
=n

法を用いることで，オブジェクト toi に対する同位語 toj の同

4. 3. 2 関係の認知度推定

∑

5. 実

験

.

(9)

提案手法の有用性を検証するために実験を行った．実験では以下の 2 点を明らかにすることを目的とする．
（ 1 ） オブジェクトの認知度を考慮することはオブジェクト（注 6）：https://alaginrc.nict.go.jp/hyponymy/index.htmlと属性値の関係の認知度を推定するうえで有用であるか．

表 1 評価に用いたカテゴリと属性値および各カテゴリのオブジェクト数．
カテゴリ オブジェクト数

属性値

国

169

ワイン，ビール，コーヒー，ピザ，バナナ

野菜

117

ビタミン C，食物繊維，鉄分，タンパク質，カルシウム

京都の観光地155

織田信長，豊臣秀吉，徳川家康，足利義満，千利休

電機メーカー

481 携帯電話，液晶テレビ，デジタルカメラ，炊飯器，パソコン

野球選手

157

本塁打王，首位打者，盗塁王，MVP，ゴールデングラブ賞

表 2 各カテゴリで関係の認知度の評価に使用したオブジェクトの数．

ৣ੶भ਎੃भ௴୾৉भরद௶িਦশधঢ়બऋँॊध
ઓअुभ॑ःऎणदु৭උखथऎटऔः‫؛‬カテゴリ オブジェクト数
国

40

野菜

39

஬਷஁

੸૖ଗ

਴਍ઋ૝

ਕેਕ৑ൡ

京都の観光地

13

ূমൢ஁

ূ஁

ਧমൢ஁

ழ௳ઋ঺

電機メーカー

30

সద஁

ຟ૧੹

਒ద஁

ਕ૸੹

野球選手

32

๯ৄഏ෰প঺
ःङोधुঢ়બमऩः

（ 2 ） オブジェクトの類似オブジェクトと属性値の関係の認知度を考慮することはオブジェクトと属性値の関係の認知度を推定するうえで有用であるか．

図1

カテゴリが “京都の観光地”，属性値が “織田信長” の場合のアンケートの例．

5. 1 データセット
関係の認知度の評価には “国”，“野菜”，“京都の観光地”，“電のオブジェクトの一覧を評価者に見せ，属性値と関係があると機メーカー”，“野球選手” の 5 カテゴリ，各カテゴリで 5 語ず

思うものをいくつでも選択させた．このとき評価者には，関係つの属性値を使用した．本実験では，各カテゴリに属するオブの有無について本や Web で調べたり，他人に聞いたりしないよ

ジェクト集合は著者が人手で作成した．4. 1. 1 項の WLM 手法

う求めた．また，いずれのオブジェクトも属性値と関係が無いを用いるため，また 4. 3. 1 項で述べた方法でオブジェクトのと思う場合には “いずれとも関係はない” を選択させた．
（京都

同位語を取得するため，オブジェクトおよび属性値はいずれもの観光地，織田信長）の組に対するアンケートのインタフェー

Wikipedia に記事が存在する語とした．各カテゴリで用いたオスを図 1 に示す．カテゴリと属性値の 1 つの組のアンケートにブジェクトの数と属性値を表 1 に示す．

対してクラウドソーシング上で 20 人の回答を集め，各オブジェ

本実験で用いた Wikipedia のデータは 2008 年 6 月 24 日にクトに対して 20 人の中で属性値と関係があると回答した人数

ダンプされた Wikipedia 日本語版のデータベースをダウンローをそのオブジェクトと属性値の関係の認知度の正解値とした．

ドして利用した．このデータ上での式（1）における |W | の値

5. 3 手法・評価指標

は 1, 342, 098 であった．

関係の認知度の推定手法として，4. 1 節で述べた 3 つの既

5. 2 関係の認知度の正解セット

存手法（WLM 手法，WebPMI 手法，Noda 手法），4. 2 節で4. 章で述べた手法を評価するためには，オブジェクトと属性述べたオブジェクトの認知度を考慮した手法（WLM+pop

値の関係の認知度の正解値が必要となる．本実験ではクラウド

手 法 ，WebPMI+pop 手 法 ，Noda+pop 手 法 ） ，4. 3 節 でを用いて関係の認知度の正解セットを作成する．

述 べ た 類 似 オ ブ ジェク ト を 考 慮 し た 手 法（WLM+BPR 手

属性値とオブジェクトの関係の有無を評価者に問う際，評価者法，WebPMI+BPR 手法，Noda+BPR 手法）4. 4 節で述べがオブジェクトのことを全く知らないと関係の有無を推測する

た オ ブ ジェク ト の 認 知 度 と 類 似 オ ブ ジェク ト を 考 慮 し た

ソーシング

（注 7）

ことも難しい．そこでまず，各カテゴリのオブジェクトについ手 法（WLM+pop+BPR 手 法 ，WebPMI+pop+BPR 手 法 ，て Wikipedia でのバックリンク数の多い上位 40 語を認知度のNoda+pop+BPR 手法）を用いた．Biased PageRank を用い高い語として取り出した．さらに，各語のことを知っているかる手法では，式（8）および式（9）においてダンピングファク

どうかをクラウドソーシングを用いて 1 語あたり 10 名にアンターの値を 0.1 から 0.9 まで 0.1 ずつ変化させた手法を用いた．

ケートをとった．最後に，10 名のうち 5 名以上が知っているとカテゴリと属性値の組に対して手法の評価を行う際は，各手回答した語はある程度認知度のある語として関係の認知度の評法で求められる，属性値との関係の認知度が高い順にランキン価に使用した．各カテゴリで 5 名以上が知っていると回答した

グされたオブジェクトのリストと，5. 2 節で作成した正解セッ

オブジェクトの数を表 2 に示す．

ト内でのその属性値との関係の認知度が高い順にランキングさ関係の認知度の正解セットを作成する際は，（京都の観光地，れたオブジェクトのリストを比較し，スピアマンの順位相関係

織田信長）のようなカテゴリと属性値の組に対して 1 つのアン数を求めた．

ケートを作成する．アンケートでは表 2 に示した対象カテゴリ

5. 4 結果

5. 3 節で述べた各手法に対する全カテゴリの相関係数の平均（注 7）：本実験ではランサーズ（http://www.lancers.jp/）を使用した．

値および各カテゴリの相関係数の平均値を図 2 に示す．棒グラ

RULJLQDO

SRS

%35

SRS%35

৸ढ़ॸ०জ




ব



‫ک‬
‫ٲ‬

‫ک‬
‫ٲٲ‬
























:/0

:HE30,

‫ک‬






1RGD

:/0

:HE30,

1RGD

:/0

















:HE30,

1RGD

図2

1RGD

৙ૉ৭ু



:/0

:HE30,

ਗ਼ਃও‫ش‬ढ़‫ش‬਎੃भ௴୾৉



৙ཅ





‡‡‡




:/0
:/0

:HE30,:HE30,

1RGD



1RGD

全手法に対する全カテゴリと各カテゴリの相関係数の平均値．棒グラフ上の α の値はダン
ピングファクターの値である．*，**，***はそれぞれ original の手法との間に有意水準

10%，5%，1%で有意差があることを表す．同様に★，‡はそれぞれ pop と pop+BPR，
BPR と pop+BPR の間の有意差を表す．
৸ढ़ॸ०জ

ব

৙ཅ

਎੃भ௴୾৉

ਗ਼ਃও‫ش‬ढ़‫ش‬৙ૉ৭ু:/0%35



1RGD%35:HE30,%35



















































:/0SRS%35












































































1RGDSRS%35:HE30,SRS%35







































図 3 Biased PageRank を用いた手法で全カテゴリと各カテゴリでダンピングファクターの値を変化させた際の相関係数の平均値．

フの縦軸はスピアマンの順位相関係数を表す．図中で “original”

仮説 1 および仮説 2 は正しいことが示された．WLM 手法とと記述しているものは WLM 手法，WebPMI 手法，Noda 手

Noda 手法ではオブジェクトの認知度と類似オブジェクトをと法のいずれかを指す．Biased PageRank を用いる手法では，ダもに考慮した手法（図 2 中の pop+BPR）がいずれか一方のみ

ンピングファクターの値を変化させたときに相関係数の平均を考慮する手法を有意に上回っており，両方の要因を同時に考値が最も高かった手法のみを記載しており，そのときのダンピ

慮することの有用性を示している．各カテゴリでの結果を見る

ングファクターの値は棒グラフ上に記載されている．全カテゴと，“野菜” カテゴリ以外では，オブジェクトの認知度や類似オリの平均値を見ると，WLM 手法，WebPMI 手法，Noda 手法

ブジェクトを考慮することで既存手法より相関係数の値は高くのいずれの場合も，オブジェクトの認知度だけを考慮した場合なった．野菜カテゴリでは，評価に用いた多くの野菜が十分に（図 2 中の pop），類似オブジェクトだけを考慮した場合（図 2

知名度の高いものであったため，オブジェクトの認知度による中の BPR）ともに既存手法に比べて有意に高い精度でオブジェ影響が小さく，仮説 1 が成り立たなかったと考えられる．

クトと属性値の関係の認知度を推定できており，3. 章で述べた

次に，biased PageRank を用いた 6 手法について，ダンピン表3

カテゴリが “国”，属性値が “ワイン” の際の既存手法と提案手

表5

オブジェクト間の意外な共通点として得られた結果の例．

法の結果の比較．
順位

Noda 手法 Noda+BPR 手法（α = 0.9）

カテゴリ

属性値

意外度の順位

オブジェクトの組み合わせ1{ ケニア，南アフリカ共和国 }55（最下位）{ オーストラリア，フランス }3{ アルジェリア，ミャンマー }1

フランス（1）

フランス（1）2

イタリア（2）

イタリア（2）

3

日本（7）

日本（3）

国

4

スペイン（3）スペイン（4）京都の5

ドイツ（6）

ドイツ（6）

観光地

6

中国（-）

イギリス（13）7

タイ（-）

オーストラリア（8）8 オーストラリア（8）ポルトガル（10）9インド（-）

インド（-）

10

イギリス（13）

ニュージーランド（17）機メーカー”，属性値が “冷蔵庫” のときの WebPMI 手法と

0.698

WebPMI+pop+BPR 手法で α = 0.9 としたときの，冷蔵庫と

相関係数

0.457

国

芸能人

ラグビー
石油
足利義満

{ イラン，日本 }136（最下位）
1{ 仁和寺，八坂神社 }28（最下位）{ 金閣寺，相国寺 }1{ 堀江由衣，秋元康 }読売ジャイアンツ 190（最下位）{ 中居正広，石橋貴明 }の関係の認知度が高いと推定された上位 10 語ずつを記載して
表4

カテゴリが “電機メーカー”，属性値が “冷蔵庫” の際の既存手いる．提案手法で 5 位以内にある語はいずれも正解データでも法と提案手法の結果の比較．

5 位以内に含まれていた語であり，既存手法よりも大幅に精度

順位

1

WebPMI+pop+BPR 手法
WebPMI 手法（α = 0.9）
ダイキン工業（9）が改善されていた．ただし，既存手法では上位に “象印マホー

日立製作所（1）ビン” や “日本ビクター” が含まれていたが，実際にはこれらの2 象印マホービン（8）東芝（3）メーカーでは冷蔵庫は製造されておらず，関連度は低くなるべ3

シャープ（4）シャープ（4）

き語であった．このように，実際の関連度が正しく求められて4

三菱電機（2）三菱電機（2）いない例は他のカテゴリや属性値でも見られたため，Bollegala

5

日本ビクター（5）パナソニック（5）6三洋電機（6）

ソニー（10）7

ケンウッド（-）

富士通（7）

8

パナソニック（5）三洋電機（6）9東芝（3）日本電気（11）10日立製作所（1）

ダイキン工業（9）

相関係数

0.400

0.714

ら [6] や Gabrilovich ら [10] により提案された手法のような，より精度高く語間の関連度を推定する手法を基にして提案手法の有用性を評価することが今後の課題としてあげられる．

6. オブジェクト間の意外な共通点の発見
6. 1 ケーススタディ
本章では，実験で得られた知見を基にオブジェクト間の意外

グファクターの値を変化させた際の相関係数について，全カテな共通点発見への手法の適用を試みる．オブジェクト間の意外

ゴリの平均値と各カテゴリの平均値を図 3 に示す．多くの手法な共通点の発見を行う際の入力には様々なものが考えられるが，とカテゴリにおいてダンピングファクターの値を大きくしすぎ

本稿ではカテゴリ c，オブジェクト数 m，属性値 ta を入力とると相関係数が小さくなっていることからも，類似オブジェク

して与える．この入力に対してシステムは，c に含まれるオブトを考慮しすぎうと関係の認知度を推定する上で精度の低下をジェクトのあらゆる m 個の組み合わせに対して ta を共通点と招くことが分かる．

して持つことの意外度を計算し，意外度の高い順にランキング

類似オブジェクトを考慮することが有効に働いた例を表 3 にされたオブジェクト集合のリストを返す．カテゴリ c で m 個示す．表 3 にはカテゴリが “国”，属性値が “ワイン” のときののオブジェクトを含む集合 Om = {o1 , o2 , · · · , om } が ta を共Noda 手法と Noda+BPR 手法で α = 0.9 としたときの，ワイ

通点として持つことの意外度は次式により求める．

ンとの関係の認知度が高いと推定された上位 10 語ずつを記載している．カッコ内の数値は正解データ内での順位であり，“-”は関係があると回答した評価者がいなかったことを表す．Noda
手法では中国やタイ，インドといった国が 10 位以内に含まれており，これらの国では実際ワインが作られているため，関連度は高いと言える．しかし，いずれの国もワインと関係があると回答した評価者はおらず，関係の認知度は低い．中国は大韓
民国や朝鮮民主主義人民共和国との同位語らしさが高く，かつこれらの国は Noda 手法により求められるワインとの関連度が低かったため，Noda+BPR 手法では 17 位に下げることができていた．同様にタイは 26 位に下がっていた．
オブジェクトの認知度と類似オブジェクトを共に考慮することが有効に働いた例を表 4 に示す．表 4 にはカテゴリが “電unexp(c, Om , ta ) =∏(1 − rel pop cred(oi , ta )) (10)oi ∈Om

本稿では m = 2 とし，rel pop cred(oi , ta ) には 5. 章の実験において全カテゴリの平均値が最も高かった Noda+pop+BPR
手法でダンピングファクターを 0.5 としたものを用いた．
上記の方法により得られた意外な共通点の例を表 5 に示す．
たとえば表 5 では “ラグビー” と関係のある国の組み合わせの中で最も意外度の高いものは “ケニア” と “南アフリカ共和国”
であり，最も意外度の低いものは “オーストラリア” と “フランス” であった．“ケニア” と “南アフリカ共和国” はいずれもラグビーが盛んであるが，一般にはそのようなイメージがないため，筆者にとっては意外な共通点であった．

6. 2 意外な共通点発見のための課題

24240013，24680008，12J03993）によるものです．ここに記

最後に，本稿では考慮しなかったが，今後オブジェクト間のして謝意を表します．

意外な共通点の発見に取り組むうえで考慮すべき要素の中でも特に重要であると考えられるものを 2 つあげる．

1 つ目はオブジェクト間の類似度である．たとえば 2 つの国から成る集合 { フランス，イタリア } がある共通の意外な属性値を持ち，また別の 2 つの国から成る集合 { フランス，イ
ンドネシア } がある共通の意外な属性値を持ち，式（10）によって計算されるそれらの意外度は等しいとする．しかしこの
場合，後者の方が人の感じる意外度は前者より高くなると考えられる．なぜなら，フランスとイタリアは似た国であるイメージがあるため，何らかの共通点を持っていることは意外でないのに対して，フランスとインドネシアは似た国であるイメージがないため，共通点を持っていること自体が意外であるためである．このように，オブジェクト間の類似度が低くなるほど共通点の意外度が高くなるように考慮する必要がある．オブジェ
クト間の類似度を測る方法としては，オブジェクトが見出しのWikipedia の記事間の類似度を計算したり，オブジェクト間の同位語らしさを計算するといった方法が考えられる．

2 つ目は属性値が記述される文脈の類似度である．本稿ではオブジェクトと属性値がどのような文脈で関係があるのかを考慮していなかったため，たとえば “フランス” と “コーヒー” に関係があるというのが “フランスではコーヒーの生産量が多い”のか，“フランスではコーヒーの消費量が多い” のか，あるいはそれ以外の関係なのかがわからない．オブジェクト間の意外な共通点を発見する場合には，各オブジェクトと属性値の関係の文脈も類似している方が望ましいと考えられるため，文脈が高くなるほど共通点の意外度が高くなるように考慮する必要がある．文脈の類似度を測る方法としては，オブジェクトが見出しの Wikipedia の記事中で属性値が含まれる文を抽出し，文間の類似度を計算するといった方法が考えられる．

7. ま と め
本稿では，入力として与えられたオブジェクトと属性値の関係の認知度を推定するための手法を提案した．手法を提案するにあたり，我々は人が語間の関係を考える際に，（1）オブジェクトの認知度が高（低）ければ，オブジェクトと属性値の関係の認知度は実際の関連度よりも高（低）くなる，（2）オブジェクトの多くの類似オブジェクトと属性値の関係の認知度が高（低）ければ，オブジェクトと属性値の関係の認知度は実際の関連度よりも高（低）くなる，という仮説を立てた．5 カテゴリで合計 25 語の属性値に対して関係の認知度推定の評価実験を行った結果，提案手法が既存手法より有意に高い精度で関係の認知度推定ができており，2 つの仮説が正しいことを示した．さらに，提案手法を応用することで，オブジェクト間の意外な共通点の発見の可能性について考察した．今後は，オブジェクト間の意外な共通点の発見について定量的な評価を行う予定である．

謝

辞本研究の一部は，文部科学省科学研究費補助金（課題番号文

献[1] S. E. Robertson and S. Walker: “Some simple eﬀective
approximations to the 2-poisson model for probabilistic
weighted retrieval”, Proc. of ACM SIGIR 1994, pp. 232–
241 (1994).
[2] J. M. Kleinberg: “Authoritative sources in a hyperlinked
environment”, J. ACM, 46, pp. 604–632 (1999).
[3] S. Brin and L. Page: “The anatomy of a large-scale hypertextual web search engine”, Proc. of WWW 2007, pp.
107–117 (1998).
[4] K. Tsukuda, H. Ohshima, M. Yamamoto, H. Iwasaki and
K. Tanaka: “Discovering unexpected information on the basis of popularity/unpopularity analysis of coordinate objects
and their relationships”, Proc. of SAC 2013, pp. 878–885(2013).
[5] G. Lu, P. Huang, L. He, C. Cu and X. Li: “A new semantic
similarity measuring method based on web search engines”,
W. Trans. on Comp., 9, 1, pp. 1–10 (2010).
[6] D. Bollegala, Y. Matsuo and M. Ishizuka: “A web searchengine-based approach to measure semantic similarity between words”, IEEE Trans. on Knowl. and Data Eng., 23,7, pp. 977–990 (2011).
[7] M. Sahami and T. D. Heilman: “A web-based kernel function for measuring the similarity of short text snippets”,
Proc. of WWW 2006, pp. 377–386 (2006).
[8] H.-H. Chen, M.-S. Lin and Y.-C. Wei: “Novel association
measures using web search with double checking”, Proc. of
ACL-44, pp. 1009–1016 (2006).
[9] M. Strube and S. P. Ponzetto: “Wikirelate! computing semantic relatedness using wikipedia”, Proc. of AAAI 2006,
pp. 1419–1424 (2006).
[10] E. Gabrilovich and S. Markovitch: “Computing semantic
relatedness using wikipedia-based explicit semantic analysis”, Proc. of IJCAI 2007, pp. 1606–1611 (2007).
[11] D. Milne and I. Witten: “An eﬀective, low-cost measure ofsemantic relatedness obtained from wikipedia links”, Proc.
of WIKIAI 2008, pp. 25–30 (2008).
[12] B. Liu, Y. Ma and P. S. Yu: “Discovering unexpected information from your competitors’ web sites”, Proc. of ACM
SIGKDD 2001, pp. 144–153 (2001).
[13] Y. Mejova, I. Bordino, M. Lalmas and A. Gionis: “Searching for interestingness in wikipedia and yahoo!: answers”,
Proc. of WWW 2013, pp. 145–146 (2013).
[14] A. Nadamoto, E. Aramaki, T. Abekawa and Y. Murakami:“Content hole search in community-type content”, Proc. of
WWW 2009, pp. 1223–1224 (2009).
[15] Y. Noda, Y. Kiyota and H. Nakagawa: “Discovering
serendipitous information from wikipedia by using its network structure”, Proc. of ICWSM 2010, pp. 299–302 (2010).
[16] 野田武史, 大島裕明, 小山聡, 田島敬史, 田中克己：“主題語からの話題語自動抽出とこれに基づく web 情報検索”, 日本データベース学会論文誌 DBSJ Letters, 5, 2, pp. 69–72 (2006).
[17] 佃洸摂, 大島裕明, 山本光穂, 岩崎弘利, 田中克己：“語の認知度と語間の関係の非典型度に基づく wikipedia からの意外な情報の発見”, p. to appear (2013).
[18] 大島裕明, 小山聡, 田中克己：“Web 検索エンジンのインデック
スを用いた同位語とそのコンテキストの発見”, 情報処理学会論文誌. データベース, 47, 19, pp. 98–112 (2006).
[19] 佃洸摂, 大島裕明, 田中克己：“上位下位概念辞書を用いた同位語・上位語のランキング手法の提案”, Web とデータベースに関するフォーラム (WebDB Forum 2013) (2013).
[20] T. H. Haveliwala: “Topic-sensitive pagerank”, Proc. of
WWW 2002, pp. 517–526 (2002).