Wikipedia をトピック体系とする日本語ブログ空間のトピック分布推定∗
川場 真理子†
中崎寛之†
宇津呂 武仁†福原 知宏‡
筑波大学大学院 システム情報工学研究科† ，東京大学 人工物工学研究センター‡

1

はじめに

このような現状をふまえて，本研究では，巨大なブロ

近年，ブログの爆発的普及により，多くの人が個人の関グ空間へのアクセスを実現するにあたって，より適切な心や評判などをウェブ上で発信するようになった．それ

粒度で，しかも，十分に体系化された索引付けの一つのに伴い，多くの情報がブログを通じてウェブ上から取得方式として，あらゆる事柄が詳細に体系化された知識体できるようになった．ブログからの情報収集の方法とし系である Wikipedia とブログサイトを対応付けるアプては，既に多くのサービスがあり，様々な研究もなされローチをとる ．ている．特定のキーワードに対する評判情報や時系列分

本論文では，[川場 08] の手法を用いて，Wikipedia を布をブログから取得するサービスには Kizasi.jp1 などがトピック体系として日本語ブログ空間のおけるブログサあり，また，キーワードでブログを検索するサービスにイトの分布を求めた．また，検索ヒット数が一定数ある

は Yahoo!ブログ検索2 や Google ブログ検索3 がある．こ

トピックは，それに関連するブログサイトが存在するとれらの検索サービスは，巨大なブログ空間に対する索引仮定した．この仮定をもとに，Wikipedia エントリをブ付けという観点から見ると，キーワードや評判，時系列ログ検索し，得られたヒット数を利用して，Wikipedia変化などによる索引付けを行い，それらの索引を用いてエントリに対応するブログサイトの有無の推定を行った．

利用者の検索要求を満たすブログ記事やブログサイトをその結果，ヒット数が 1 万から 50 万の範囲のエントリに検索する，と位置付けることができる．また，テクノラ

は，そのエントリについて詳細な記述をしたブログサイ

ティ4 のようなカテゴリ式のブログ検索サービスもよくトが多く分布している事が分かった．また，ブログサイト知られている．この場合，ブログ空間に対する索引付けが多く分布するトピックの有無をより正確に推定するたという観点から見ると，主として人手により付与された

めには，個々のブログサイトを判定する必要がある．そこ

カテゴリ情報が，ブログ空間に対する索引であると位置で，Wikipedia エントリから得られる知識を素性として付けることができる．

機械学習 (Support Vector Machines(SVM) [Vapnik98])

ここで，これらの既存のブログ検索サービスは，ブロによってブログサイトのトピック判定を行う方式を提案

グ空間に対する索引付けの粒度と体系化の二点においてする．

不十分であると言える．まず，カテゴリ式のブログ検索

2

Wikipedia

2.1

カテゴリ・エントリの階層的構造サービスにおいては，人手により設定されたカテゴリの体系が十分な網羅性を持つとは言えず，また，実際の検索要求に比べて，カテゴリの粒度が粗すぎる傾向がある．
一方，キーワードや評判，時系列変化などによるブログ検索サービスの場合は，個々の索引の粒度が細かく，また，それらの索引全体を体系化してとらえることが困難である．したがって，利用者が，検索要求に対して適切な索引を想起することができなければ，巨大なブログ空間に対して容易にはアクセスできない．
∗ Estimating Topic Distribution of Japanese Blogsphere with
Wikipedia as a Topic Hierarchy† Mariko Kawaba, Hiroyuki Nakasaki, Takehito Utsuro, Graduate School of Systems and Information Engineering, Universityof Tsukuba‡ Tomohiro Fukuhara, Research into Artifacts, Center for Engineering, University of Tokyo
1 http://kizasi.jp
2 http://blog-search.yahoo.co.jp
3 http://blogsearch.google.co.jp
4 http://www.technorati.jp

Wikipedia とは多くの人が自由に書くことができるイン
ターネット上の巨大な百科事典であり，日本語で約 55万エントリ存在する (2009 年 1 月現在)．本論文の実験では 2007 年 11 月の段階での日本語約 40 万エントリから，「過去ログ」「日付」のようなノイズになりそうなエントリを除外した 305,986 エントリを対象としている．

Wikipedia は図 1 に示すように，カテゴリがグラフ構造になっており，任意の位置にあるカテゴリの節点が任意の個数のエントリを持つ．日本語 Wikipedia では，エントリを一つ以上持つカテゴリが，29,970 カテゴリ存在する．また，カテゴリ節点間の最長リンク数は 10 である．
本論文では，Wikipedia の階層構造の，根に相当するカテゴリの子にあたる 8 つのカテゴリ「学問・技術・自然・社会・地理・人間・文化・歴史」を第一層のカテゴリ

のは「人」「ブログ」などの一般語が多く含まれ，逆に検䉦䊁䉯䊥:ᄢቇ

索ヒット数が少ないものはあまり人に知られていない地䉣䊮䊃䊥䋺࿖┙ᄢቇ

名や人名などが多く見られた．また，検索ヒット数が 1䉣䊮䊃䊥䋺⑳┙ᄢቇ

万から 50 万のエントリのトピックには，「養子縁組」
「デ…

パ地下」
「盲導犬」などのブログサイトが存在するトピックが多いことがわかった．この結果，ヒット数 1 万から䉦䊁䉯䊥:ᣣᧄ䈱ᄢቇ䉦䊁䉯䊥:ቇㇱ

50 万の範囲のエントリにブログサイトが多く分布する䉣䊮䊃䊥䋺᧲੩ᄢቇ䉣䊮䊃䊥䋺ℂቇㇱ

ことがわかった．そこで，本節では，この傾向を定量的䉣䊮䊃䊥䋺╳ᵄᄢቇ䉣䊮䊃䊥䋺ቇ⧓ቇㇱに検証するために，エントリ名のヒット数とブログサイ…

…

トの有無に相関があるか否かを分析した結果を示す．

図 1: Wikipedia の構造

3.2

評価対象の Wikipedia エントリおよびブログサイトと定義する5 また，第一層のカテゴリから 1 ステップで以下の節では，まず，評価対象となる Wikipedia エント辿る事の出来るカテゴリ約 300 個を，第二層のカテゴリリおよびブログサイトを選定する手順について述べる．と定義する．さらに，第二層のカテゴリから 1 ステップ

3.2.1

でたどることのできるカテゴリを第三層のカテゴリ，第まず，本論文では，前節の観察に基づいて，Wikipedia三層のカテゴリから 1 ステップで辿ることのできるカテエントリに対して，タイトルのヒット数が 1 万以下，1ゴリを第四層のカテゴリと定義する．また，第二層のカ万から 50 万，50 万以上の 3 つの範囲を設けて，各範囲テゴリ以降は同じ階層のカテゴリにも親子関係がある場ごとに Wikipedia エントリを選定することとする6 ．

Wikiepdia エントリの選定手順合がある．本論文では，Wikipedia の第一層カテゴリか次に，Wikipedia のエントリ内から無作為にカテゴリらの最短距離を用いて，各カテゴリの階層を決定した． を選び，それらのカテゴリに属するエントリを数個 (無2.2

Wikipedia エントリと上層カテゴリの 作為に) サンプリングした．サンプリング手順を図 3 に示す．サンプリングの結果，ヒット数 50 万以上を 13 エ対応付け

本論文では，任意の日本語 Wikipedia のエントリを，そントリ，ヒット数 1 万から 50 万以上を 82 エントリ，ヒッのエントリから最短の第一層もしくは第二層カテゴリにト数 1 万以下を 87 エントリ，それぞれサンプリングす対応付けた．Wikipedia の各エントリから，第一層もしることができた．

くは第二層カテゴリを幅優先で再帰的に探索する．エン

3.2.2

ブログサイトの収集

トリから，第一層もしくは第二層カテゴリのいずれかに次に，前節で選定した各 Wikipedia エントリ e につい到達すると探索を終え，辿りついたカテゴリとエントリて，人手評価の対象とするブログサイトを収集する．以が対応付けられる．また，同じ距離に対象カテゴリが複下ではエントリ e に対応して用いる検索クエリとして，数ある場合は重複を認め，同距離に複数のカテゴリが無Wikipedia エントリ名 t(e) を用いる．ここで，検索さい場合は，三位までの最短カテゴリを対応付けた．

れるべきブログサイトは，Wikipedia エントリ e に対応するトピックについて詳細な記述が多いブログサイト

3

Wikipedia エントリのタイトルの である．このことを実現するために，本論文では，検索ヒット数を用いたブログサイトの有 クエリとして用いる Wikipedia エントリ名 t(e) の，ブログサイト内での出現数を用いて，Wikipedia エントリ
無の推定

3.1

概要

Wikipedia のエントリを無作為に選んで，ヒット数とWikipedia エントリに対応するトピックのブログサイトの有無の相関性を調べたところ，検索ヒット数が多いもe のトピックとの対応度合いを測定する．具体的には，
Wikipedia エントリ名 t(e) を検索クエリとした通常の検索方法でブログサイトを検索した後，エントリ名の出現数順にブログサイトを並び替えて，その上位 20 ブログサイトを対象として，Wikipedia エントリ e とのトピッ

5 階層構造の根の子に相当するカテゴリとしては，本論文に記した8 個以外に「総記」カテゴリが存在するが，「総記」カテゴリにリンクするエントリ・カテゴリは「過去ログ」「履歴」のような Wikipediaに独特のものである．よって，本論文の実験においては「総記」カテゴリ，および，「総記」カテゴリのみにリンクするカテゴリを除外している．

6 参考情報として，Wikipedia エントリすべてに対して，ブログ空間全体におけるエントリ名の検索ヒット数を求め，検索ヒット数による Wikipedia エントリの分布を求めた結果を図 2 に示す．この結果においては，ヒット数が１万から 50 万のエントリは 40,852 個あり，全体の 14%であった．

䊍䉾䊃ᢙ0
䋨24,075䉣䊮䊃䊥䋩䊍䉾䊃ᢙ50ਁએ਄
1% 䋨4,753䉣䊮䊃䊥䋩8%

表 1: ブログサイトの有無推定結果の評価基準

䊍䉾䊃ᢙ1ਁએ਄50ਁᧂḩ
䋨40,852䉣䊮䊃䊥䋩14%5%

䊍䉾䊃ᢙ1ਁએ਄5,000ᧂḩ䋨16,562䉣䊮䊃䊥䋩72%
䊍䉾䊃ᢙ1એ਄
5,000ᧂḩ䋨219,772䋩

評価基準

C1C2
C3HU
HL
E

トピックについて詳しいブログサイトが 10 件以上
トピックについて詳しいブログサイトが 5 件以上トピックについて詳しいブログサイトが 1 件以上
トピックの上位概念についてのブログサイトがある
トピックの下位概念についてのブログサイトがある
トピックについて詳しいブログサイトがない䊑䊨䉫䉰䉟䊃䈏䈗䈒䉒䈝䈎䈚䈎䈭䈇䊃䊏䉾䉪䈏ᄙ䈇

図 2: Wikipedia エントリにおけるブログヒット数の分

䊑䊨䉫䉰䉟䊃䈏5ઙએ਄䈅䉎䊃䊏䉾䉪䈏ᄙ䈇ᄙ䈒䈲৻⥸⺆䈣䈏䇮䇸䊏䉝䊉䇹╬䈱䊑䊨䉫䉰䉟䊃䈏ᄙ䈇䊃䊏䉾䉪䉅ሽ࿷䈜䉎

布 (総数 305,986)
䉦䊁䉯䊥䉕⥄േ⊛䈮ㆬቯ䉦䊁䉯䊥䈮ዻ䈜䉎䉣䊮䊃䊥ᢙ
7897

ੱ‛
ᇅᭉ
ᐕ⴫

…
50᳓ᢥቇ
⥄േゞᛛⴚ౏ⴐⴡ↢ቇᇅᭉ䋨5539䋩䊶↢‛䋨3052䋩䊶䊧䉳䊞䊷䋨2052䋩
䉮䊮䊏䊠䊷䉺䋨1525䋩䊶⿰๧䋨1191䋩䊶ක≮䋨550䋩
ஜᐽ䋨513䋩䊶ᴺ䋨466䋩䊶␠ળ໧㗴䋨330䋩
ᚢ੎䋨220䋩䊶␠ળ೙ᐲ䋨243䋩䊶ᖱႎ␠ળ䋨167䋩
⥄ὼ଻⼔䋨151䋩䊶቟ోᛛⴚ䋨76䋩䊶⥄ὼἴኂ䋨69䋩
⑔␩䋨66䋩䊶౏ⴐⴡ↢ቇ䋨52䋩䊶᡽ᴦ䋨1153䋩

䉦䊁䉯䊥䈮ዻ䈜䉎䉣䊮䊃䊥䈱ᢙ䈏
50એ਄䈱䉅䈱

䈠䉏䈡䉏䈱䉦䊁䉯䊥䈎䉌䊃䊏䉾䉪䉕⥄േ䉰䊮䊒䊥䊮䉫

HL0%

…

図 3: Wikipedia エントリのサンプリング手順
クの対応を人手で評価した．ここで，ブログサイトを検索するために，Yahoo!Japan 検索 API を利用し，大手11 社7 のドメインを対象とした．

評価結果

ブログサイト単位でのトピックの判定結果に基づいて，表 1 の評価基準を用いて，トピック単位での評価を行った．その結果，ヒット数 1 万から 50 万の範囲に，ブログサイトが存在するトピックが多く分布していた．よって，トピックのヒット数と Wikipedia エントリの対応するブログサイトの有無には相関性があることがわかった．
トピックの評価の分布をヒット数のレンジごとに示したものを図 4 に示す．ここで，検索クエリとなったトピッ
クに対応するブログサイトの数は，ヒット数 50 万以上のトピックでは，209 ブログサイト中 51 ブログサイト，
ヒット数 1 万から 50 万の範囲のトピックでは，1150 ブ

HL0%

E22%

C352%

C1C27%
7%

C119%

HU16%
C319%

䊍䉾䊃ᢙ1000䌾1ਁ䈱䉣䊮䊃䊥

C224%

䊍䉾䊃ᢙ1ਁ䌾50ਁ䈱䉣䊮䊃䊥

E47%

C327%
HL12%

HU0%
䊍䉾䊃ᢙ50ਁએ਄䈱䉣䊮䊃䊥

図 4: 各レンジの Wikipedia エントリの分布䊃䊏䉾䉪䊥䉴䊃⍹䊅䊉䊁䉪䊉䊨䉳䊷䉦䊦䉼䊠䊤䊦䊶䉴䉺䊂䉞䊷䉵

3.3EC112% 10% C29%
HU17%

ขᓧ䈘䉏䈢䉦䊁䉯䊥䋨᜝ᒐౝ䈲ዻ䈜䉎䉣䊮䊃䊥ᢙ䋩

トピックの判定をより正確に行うためには，各々のブログサイトについてトピック判定を行う必要がある．本節では，Wikipedia から得られるトピックの関連語を利用して，ブログサイトのトピック判定を自動で行った．具
体的には各々のブログサイトに対して，トピックの関連語のヒット数や関連語の出現種類数を素性とする機械学習 (Support Vector Machines (SVM)) を適用した．

4.1

学習および判定手順

本節では SVM を用いて，ブログサイトがトピックについて書かれたものかどうかを判定する．SVM のツールとして TinySVM8 を用いた．また，訓練および評価事例を be , c と記述する．ここで，be は Wikipedia エント
リ名 t(e) をトピックとして検索されたブログサイト，cは be がそのトピック t(e) について書かれたものかどうかを示す．be が正解の場合 c = + となり，そうでない場合 c = − となる．
また，素性としては，エントリ名のブログサイト内

ログサイト中 326 ブログサイト，ヒット数 1 万以下のトピックでは，1125 ブログサイト中 204 ブログサイトで

表 2: ブログサイト内での関連語のヒット数・種類数をあった．

用いた素性一覧4

機械学習によるブログサイトのトピックの自動判定

3 節の分析結果から，トピックのヒット数を用いてWikipedia エントリに対応するブログサイトの有無を粗く推定することが可能であることがわかった．しかし，
7 FC2.com， yahoo.co.jp， rakuten.ne.jp， ameblo.jp，goo.ne.jp， livedoor.jp，Seesaa.net，jugem.jp，yaplog.jp，webry.info.jp， hatena.ne.jp

ID
12
3
4
5678

素性
ピックのヒット数
H 関連語のヒット数の総和
M 関連語のヒット数の総和
L 関連語のヒット数の総和
H 関連語の種類数
M 関連語の種類数
L 関連語の種類数
全関連語の種類数

8 http://chasen.org/~taku/software/TinySVM/

表 3: SVM を用いたブログサイトのトピックの自動判万，1 万以下の各範囲で，ブログサイトの正例・負例が定の評価結果 (%)

同数になるように調整した．そのため，ヒット数 50 万(a) ヒット数 1 万以下のトピック
条件
素性
適合率 再現率
ベースライン
162.5
36.1
F値1位
3(+6)
55.871.6
適合率 1 位
3+769.4
42.6
適合率 1 位 (信1+880.016.4
頼度閾値 0.9)以上での訓練および評価事例は 102 個，ヒット数 1 万
F値
49.363.756.048.2(b) ヒット数 1 万 ∼50 万のトピック
条件
素性
適合率 再現率 F 値
ベースライン
159.876.9
68.4
F値1位
1+366.3
72.069.2
適合率 1 位
3+873.3
46.359.8適合率 1 位 (信1+883.9
20.352.1
頼度閾値 0.9)(c) ヒット数 50 万以上のトピック
条件素性
適合率 再現率
ベースライン
165.345.7
F 値/適合率 1 位
3+6+887.565.0
適合率 1 位 (信3+686.354.9
頼度閾値 0.2)から 50 万では 652 個，ヒット数 1 万以下では 408 個となった．これらに対して，それぞれ 10 分割交差検定を行った．カーネル関数として，二次多項式カーネルを採用した．

4.2

評価結果

実験を行った結果を表 3 に示す．ヒット数 1 万以上のトピックに関してはいずれもベースラインよりより高い性能を達成している．これは，もともとのトピックにある程度のヒット数があり，関連語の情報も多く得られたためであると考えれられる．一方，ヒット数 1 万以下のトピックに対しては，相対的に性能が低くなったが，これは，もともとのヒット数が少ないために，関連語のヒッ

F値
55.5
76.3
70.6

ヒット数に加えて，Wikipedia から得られる関連語を利ト数などの情報を十分に得ることができなかったためであると考えられる．今後は，ヒット数が少ない範囲のトピックについても適合率を上げるために，Wikipedia の本文テキストの情報や，ブログサイトの記事単位の情報を素性として利用する．

関連研究用した．Wikipedia のエントリから得られる関連語とし

5ては Wikipedia エントリ中のリンクテキスト，太字，リブログサイトの検索に関する関連研究として，ブロガーダイレクト語がある．また，加えて，エントリと同名のの熟知度に基づき，ブログサイトをランキングする研Wikipedia カテゴリがあった場合，その Wikipedia カテ

究 [中島 08] などがある．また，TREC の 2007 年度のBlog Distillation タスク [Macdonald07] では，ある特定した．このようにして関連語を取得した結果，一トピッ のトピックについて検索したときに，そのトピックにつクあたり平均 15 個の関連語が得られた．これらの関連 いて詳しく書かれていて，繰り返し見たいと思うブログ語を API で検索し，関連語のヒット数および，各ブロ サイトを検索するというタスクを行っている．本研究のゴリの持つ子エントリのエントリ名も関連語として利用

グサイト内での関連語のヒット数を取得した．ここで， タスクにおいてもこれらのタスクで用いられた手法の適関連語の持つヒット数を 50 万以上，1 万から 50 万，1 用を検討する予定である．
万以下の 3 つの範囲に分け，それぞれ H 関連語，M 関連語，L 関連語とした．これらの情報を用いて設計した素性を表 2 に示す9 ．
また，分離平面からの距離を信頼度とし，信頼度が一定の範囲以下であるものを除外した．信頼度を用いて候補を絞りこむと，再現率が下がってしまうが，本研究ではトピックごとについて詳しく書かれたブログがあるかないかということを正確に判定する必要があるため，再現率よりも適合率を重視する．信頼度は F 値が最低でも 50 前後になる範囲で，適合率が最大にになるところを閾値とした．
訓練および評価事例には，3 節で評価したブログサイトを利用した．また，ヒット数 50 万以上，1 万から 50
9 素性 ID=1∼4 の素性は，5 段階のレンジに分けて，各レンジに該当するか否かを個別の二値素性とした．

6

おわりに

本論文では，ブログ空間における Wikipedia のエントリの分布を，各エントリのブログ検索ヒット数で近似した．
また，SVM を用いて各トピックの持つブログサイトの評価を行った．

参考文献[川場 08] 川場真理子, 中崎寛之, 宇津呂武仁, 福原知宏：Wikipedia エント
リとブログサイトの対応付けによる日本語ブログ空間のトピック分布推定,
情報処理学会研究報告, Vol. 2008, No. (2008–NL–187), pp. 83–90(2008).
[Macdonald07] Macdonald, C., Ounis, I. and Soboroﬀ, I.: Overviewof the TREC-2007 Blog Track, Proc. TREC-2007 (Notebook),pp. 31–43 (2007).
[中島 08] 中島伸介, 稲垣陽一, 草野奉章：ブロガーの熟知度に基づいたブログランキング方式の提案, 電子情報通信学会第 19 回データ工学ワークショップ，
第 6 回日本データベース学会年次大会 (DEWS2008) 論文集 (2008).
[Vapnik98] Vapnik, V. N.:
Interscience (1998).

Statistical Learning Theory, Wiley-