DEIM Forum 2011 A6-3

ニュース記事中の話題に関連するブログ記事の収集手法
佐藤

由紀†

横本

大輔†

牧田

健作††

宇津呂武仁†

福原知宏†††† 筑波大学大学院システム情報工学研究科 知能機能システム専攻 〒 305-8573 茨城県つくば市天王台 1-1-1†† 筑波大学理工学群工学システム学類 〒 305-8573 茨城県つくば市天王台 1-1-1††† 独立行政法人 産業技術総合研究所 サービス工学研究センター 〒 135-0064. 東京都江東区青梅 2-3-26
あらまし

本論文においては，ニュース記事中において話題を表すキーワードを自動選定し，それらのキーワードに関して詳細な記述をしているブログ記事を収集する手法を提案する．特に，Wikipedia を知識源としてニュース記事中の話題に密接に関連するキーワードを選定する手法，および，ニュース記事のタイトルおよび冒頭部分からキーワー
ドを選定する手法の比較を行う．また，検索エンジン API を利用して，ニュース記事との間で類似度の高いブログ記
事を選定する．
キーワード 情報検索，Wikipedia，ニュース，ブログ，トピック分析

Collecting Blog Posts related to Topics in a News Article
Yuki SATO† , Daisuke YOKOMOTO† , Kensaku MAKITA†† , Takehito UTSURO† , and Tomohiro
FUKUHARA†††† Graduate School of Systems and Information Engineering,University of Tsukuba, Tsukuba, 305-8573, Japan†† College of Engineering Systems, School of Science and Engineering, University of Tsukuba,
Tsukuba, 305-8573, Japan††† Center for Service Research, National Institute of Advanced Industrial Science and Technology,
Tokyo, 135-0064, Japan
Abstract This paper studies complementary navigation of news and blog, where, given a news article, keywords
indicating topics in the news article are automatically selected, and then, blog posts that are closely related the
topics are collected. In this framework, we compare two approaches. In the ﬁrst approach, Wikipedia entries are
utilized as fundamental knowledge source for linking news articles and blog posts. In the second approach, keywords
extracted from the beginning part of the news article are selected. Finally, in our framework, we utilize a searchengine API for collecting blog posts that are closely related to those extracted keywords.
Key words information retrieval, Wikipedia, news, blog, topic analysis

1. は じ め に本語では，約 72 万 5,000 のエントリ (2011 年 1 月現在) が収録
されており，しかも，多くの人が自由にエントリを書くことが本研究では，検索エンジン等を用いた検索行動のうちでも，できるため，ニュースやブログで話題となる事項のエントリが，特に，客観的かつ恒久的な事実を記載した Wikipedia，詳細な迅速に作成されるという特徴を持っている．Wikipedia を利用

事実情報を報道するニュース，および，個人の主観的意見や経した研究事例としては，図書館の分類体系と Wikipedia カテゴ

験などを豊富に記載したブログの検索に焦点を当てて，利用者

リの対応付けを行う研究 [8] や，Wikipedia の言語間リンクをの検索行動を支援する枠組みを提供することを目的とする．本

利用して多言語対訳辞書を作成するという研究 [1] などがある．

研究では，これらの三種類の情報源の間で，密接に関連する項

ニュースとブログを比較すると，ニュースは，従来より，日々目や記述部分の間を相互にナビゲートする機能を実現し，利用の報道を閲覧するという形で利用されてきた．一方，ブログに者の検索行動を支援する (図 1)．

ついても近年，世界中でブログサービスやブログツールが普Wikipedia，ニュース，ブログの三者を比較すると，Wikipedia

及し，各地域の人々がそれぞれインターネット上で個人の意見

は，インターネット上の最大規模の百科事典として，近年，様々や評判を発信することが可能になるのに伴って，様々な情報がな研究分野において利用されている (例えば，文献 [1], [8])．日

ブログに記載され，また，商用ブログ検索サービスを利用す

図 1 Wikipedia， ニュース， ブログ間の相補的ナビゲーションの枠組みることでそれらの情報を取得することが出来るようになった．
（注 1）

中において話題を表すキーワードを自動選定する手法としては，

（注 2）

，

Wikipedia を知識源とする手法とニュース記事中に位置を用い

kizasi.jp（注 3）などが挙げられる．これらの検索サービスは，巨る手法を併用する (4. 1. 3 節) ことにより，それぞれの手法が相大なブログ空間の索引付けという観点から見ると，キーワード

補的に機能し，評価対象の全ニュース記事に対する総合的な性や評判，時系列変化や人手によって作成されたカテゴリ情報な能が改善できることを示す．

具体的なサービスの例として，Technorati，BlogPulse

どを索引として用いて，利用者の求めるブログ記事やブログサ
イトを検索する．

2. 関 連 研 究

本研究において，Wikipedia，ニュース，ブログの三種類のニュース記事に対して関連するブログ記事を対応付ける方式

情報源の間で，密接に関連する項目や記述部分を相互にナビに関する関連研究は，大別すると，ニュース記事およびブログ

ゲートする機能を実現するにあたっては，まず，あるトピック

記事のテキスト情報の間の関連性に基づく手法 [3]，および，ブについて，Wikipedia のエントリから関連する用語を抽出し，ログ記事からニュース記事へのリンクによる引用情報を用いる

これらの用語を知識源として，関連するニュース記事，ブロ手法 [2], [4], [5] に分けられる．このうち，本論文の手法は，文グサイト，ブログ記事を検索する．この検索のうち，特にブロ

献 [3] と同様に，ニュース記事およびブログ記事のテキスト情

グサイトの検索においては，我々はすでに，文献 [6] において，報の間の関連性に基づく手法に相当する．

Wikipedia エントリの記述内容をトピックとする有用なブログ
サイトを検索する方式を確立している．この方式においては，

Wikipedia エントリタイトルを検索クエリとして，商用検索エ
ンジン API により上位のブログサイトを収集し，これを，当該キーワード，および Wikipedia エントリから抽出した関連語の出現数順に順位付けするという要素技術を用いている．
一方，本論文においては，本研究におけるこれまでの成果を

本論文の手法と文献 [3] の手法との間の主要な違いは以下の通りである．

(a) ニュース記事のトピックを表すキーワードの選定手法(b) ブログ記事の収集方式 (独自のクローリングか既存の検索エンジン API か)(c) ブログ記事の日付の扱い(d) ニュース記事ベクトルおよびブログ記事ベクトルのふまえて，ニュース記事中において話題を表すキーワードを次元自動選定し，それらのキーワードに関して詳細な記述をして(a) に関しては，文献 [3] においては，ニュース記事のトピッいるブログ記事を収集する手法を提案する．本論文におけるクを表すキーワードを選定する手法として，その候補を，タ「ニュース記事に関連するブログ記事収集の枠組み」の模式図

イトル，および，一文目に含まれる語に限定するという手法

を図 2 に示す．本論文では，特に，Wikipedia を知識源として(4. 1. 2 節「ニュース記事中の位置を用いた方法」) を採っていニュース記事中の話題に密接に関連するキーワードを選定する．一方，本論文では，ニュース記事における記述内容との間る手法，および，ニュース記事のタイトルおよび冒頭部分からで高い類似度を持つ Wikipedia エントリを選定し，これらのエキーワードを選定する手法の比較を行う．また，検索エンジン

ントリのタイトルによってニュース記事のトピックを表すといAPI を利用して，ニュース記事との間で類似度の高いブログ記

う手法 (4. 1. 1 節「Wikipedia を用いた方法」) を提案する．な事を選定する手法を用いる．評価実験を通して，ニュース記事

お，評価実験の結果では，両手法を併用する (4. 1. 3 節) ことにより，それぞれの手法が相補的に機能し，評価対象の全ニュース記事に対する総合的な性能が改善できることがわかった．(b)（注 1）：http:/technorati.com/（注 2）：http://www.blogpulse.com/（注 3）：http://kziasi.jp/（日本語のみ）

に関しては，文献 [3] では，ブログ記事の収集において，既存の検索エンジン API は用いず，独自にブログのクローリング

図 2 ニュース記事に関連するブログ記事収集の枠組みを行っている．一方，本論文では，独自のクローリングは行わ

ブ情報推薦システムを提案している．具体的にはニュースサイ

ず，より容易に利用可能な既存の検索エンジン API を用いる．

トとブログの対応付けを行い，ユーザの嗜好にあったニュース

特に，ニュース記事のトピックを表すキーワードを自動選定し，記事を推薦するということを行っている．また，文献 [9] では，

検索エンジン API に与えることにより，ニュース記事に関連

同じ事象について，複数の情報源の情報の伝え方の異なりかたするブログ記事を収集するアプローチを採用している．(c) にを分析することを目的として，複数の国の代表的なメディアが関しては，文献 [3] においては，ニュース記事の日付以降，7 日発信するニュースを情報源として，各々の国の世論がどのよう以内の日付のブログ記事に限定して，関連ブログ記事の収集をに事象を分析しているのかを把握する方式を提案している．

行なっている．特に，手法面においては，ニュース記事とブロ
グ記事との間の文書類似度において，ニュース記事の日付の直3. Wikipedia を用いた関連語の収集後における語の出現頻度の推移を考慮した重み付けを用いるこ

3. 1 Wikipediaとにより，ニュース記事に関連したブログ記事の対応付けの性Wikipedia とは多くの人が自由に書くことができるインター能を改善している．一方，本研究では，ニュース記事の日付以ネット上の巨大な辞書のことであり，日本語で約 72 万 5,000

降，1 週間以内の日付のブログ記事に限定して関連ブログ記事のエントリ (2011 年 1 月現在) がある．さらに，10 個程度の主の収集を行った場合，および，ブログ記事の日付に対する制限

要カテゴリ以下にサブカテゴリ，エントリが連なる，巨大なグは設けず，ニュース記事の日付の前後の任意の日付のブログ記

ラフ構造になっている．また，カテゴリがグラフ構造の節にあ事を収集対象とした場合の比較を行った．その結果，ニュースたり，エントリが節内に列挙されている．他の知識源と比較し記事のトピックによって，特にニュース記事の日付直後に関連た場合の Wikipedia の最大の利点として，日常的に，新たなエ

ブログ記事が投稿される度合いの大きいトピックと，ニュース

ントリの作成と記述の更新が行われており，ブログにおける分記事の日付の前後の任意の日付にわたって関連ブログ記事が広析対象となり得る主要なトピックが網羅されている点が挙げらく分散するトピックの両方が存在することが分かった．(d) にれる．

関しては，文献 [3] においては，ニュース記事ベクトル，ブロ

3. 2 Wikipedia 関連語の収集

グ記事ベクトルとも，茶筌によって形態素解析を行った後の名

トピック名がタイトルである Wikipedia エントリを知識源と詞，アルファベット，未知語を次元としているが，本論文では，して，トピック名に密接に関連する Wikipedia 関連語を収集す

Wikipedia エントリのタイトルを次元としており，ニュース記

る．特に，本論文においては，各エントリのリダイレクト，各事，および，ブログ記事のトピックに相当する可能性の高い固エントリ本文中の太字，各エントリの段落タイトル，および，有表現等の名詞句を次元とできている点が異なっている．

本文中における名詞句（注 4）を Wikipedia 関連語として収集する．

一方，ブログ記事からニュース記事へのリンクによる引用情報を用いる手法 [2], [4], [5] のうち，例えば，文献 [5] においては，
ブログ記事中で参照しているウェブサイトやニュース記事をそのユーザの興味の対象として，ブロガーの嗜好を利用したウェ（注 4）：茶 筌 (http://chasen-legacy.sourceforge.jp/) お よ び IPAdic(http://sourceforge.jp/projects/ipadic/) を用いて形態素解析を行った
後，名詞，接頭詞，未知語のいずれかが連続する形態素列を連結したものを名詞句とした．

4. ニュース記事に関連するブログ記事の収集
4. 1 ニュース記事のトピックを表すキーワードの選定
本節では，ニュース記事のトピックを表すキーワードを選定– ヒット数が 100 万未満– ヒット数が 1,000 万未満•

類似度 Simn,w (e, d) の下限，および，10 ブログホスト

におけるヒット数の上限の両方の条件を満たすエントリのうちする手法について述べる．なお，本論文では，2009 年 6 月 1 日の，類似度の高い上位 10 エントリの集合．

∼2010 年 5 月 31 日の 1 年間の期間において収集したニュース

そして，予備実験において性能の高かった以下の二種類のエン記事集合（注 5） から選定したニュース記事を評価対象として用い

トリ集合を評価対象とした．

る．また，ニュース記事集合に対する DF(文書頻度)，IDF(逆•1· · · 10 ブログホストにおけるヒット数が 100 万未満
Ew

文書頻度) の統計量を算出する際には，この記事集合の全ニューのエントリのうち，類似度 Simn,w (e, d) の高い上位 10 エント

ス記事を用いる．

リの集合．

4. 1. 1 Wikipedia を用いた方法
本論文の手法においてニュース記事 d のトピックを表すキー
ワードを選定するにあたっては，ニュース記事 d 中に出現する

Wikipedia エントリのタイトルをキーワードの候補とする．そ•2· · · 類似度の下限 Simn,w (e, d) > 15 を満たし，10
Ew

ブログホストにおけるヒット数が 1,000 万未満のエントリのうち，類似度 Simn,w (e, d) の高い上位 10 エントリの集合．

4. 1. 2 ニュース記事中の位置を用いた方法

して，各 Wikipedia エントリの本文 e とニュース記事 d との文献 [3] においては，ニュース記事のトピックを表すキーワー

間で類似度を測定し，この類似度の高いエントリのタイトルをドは，ニュース記事のタイトルおよび一文目に集中していると選定する．

して，ニュース記事ベクトルの次元の候補をタイトル，および，本手法の詳細を以下で述べる．まず，Wikipedia エントリ

一文目に含まれる語に限定している．また，それらの語に対しの本文 e とニュース記事 d との間の類似度の定式化においてて，ニュース記事集合全体を用いて TFIDF の値を算出し，こは，両文書に共通する次元として，3. 2 節において e から収の値の上位の語をキーワードとして選定している．本論文で集した Wikipedia 関連語の集合 R(e) を用いる．具体的には，も，上述した Wikipedia を用いる方法と併用する目的で，このWikipedia エントリの本文 e は，e から収集した Wikipedia 関

ニュース記事中の位置を用いる方法を採用する．

連語集合 R(e) の要素 r を次元とし，各次元の値が 1 である

具体的には，まず，上述した Wikipedia を用いる方法の場合

ベクトルとする．ニュース記事 d も同様に，e から収集した各と同様に，ニュース記事 d のタイトルおよび一文目に出現する

Wikipedia 関連語集合 R(e) の要素 r を次元とし，ニュース記

Wikipedia エントリのタイトルをキーワードの候補とする．そ事 d 中における関連語 r の頻度 TF(d, r) を値とするベクトルとして，これらのキーワード候補に対して，ニュース記事集合全する．そして，ベクトル e と d の内積によって，Wikipedia エ

体を用いて TFIDF の値を算出し，この値の上位 10 エントリ

ントリの本文 e とニュース記事 d との間の類似度 Simn,w (e, d)の集合を Epos として，以降の手続きにおいて用いる．

を定式化する．

Simn,w (e, d) =4. 1. 3 両手法を併用した方法



1 × TF(d, r)r∈R(e)

上述した Wikipedia を用いる方法，および，ニュース記事中の位置を用いる方法を併用するために，両者のエントリ集合の和集合をとり，これを用いる．以上をふまえて，以降の評価実次に，予備実験（注 6） において，以下のエントリ集合の評価を行った．

•

ニュース記事 d との間の類似度 Simn,w (e, d) の高い上位 10 エントリの集合．

•

類似度 Simn,w (e, d) の下限を満たすエントリのうち，類似度の高い上位 10 エントリの集合．ただし，類似度の下限としては，以下の二通りを評価した．

– Simn,w (e, d) > 10
– Simn,w (e, d) > 15•

験においては，各手法単独での Wikipedia エントリ集合，および，両手法による Wikipedia エントリ集合の和集合として，以下の 4 通りを評価対象とする（注 7）．
1· · · 10 ブログホストにおけるヒット数が 100 万未（ 1 ） Ew

満のエントリのうち，類似度 Simn,w (e, d) の高い上位 10 エン
トリの集合．
1
1∪ Epos · · · Ewとニュース記事中の位置を用いて（ 2 ） Ew

選定したエントリ集合 Epos の和集合．
2∪ Epos · · · 類似度の下限 Simn,w (e, d) > 15 を満（ 3 ） Ew

4. 2 節においてブログ記事収集の対象とする 10 ブログ

たし，10 ブログホストにおけるヒット数が 1,000 万未満のエンホストにおけるヒット数の上限を満たすエントリのうち，類似トリのうち，類似度 Simn,w (e, d) の高い上位 10 エントリの集度の高い上位 10 エントリの集合．ただし，ヒット数の上限としては，以下の二通りを評価した．

2と Epos の和集合．
合 Ew
1
2
∪ Ew
∪ Epos（ 4 ） Ew

次節以降では，説明のため，上記の 4 通りのいずれかの手法に（注 5）：日経新聞 (http://www.nikkei.com/)，朝日新聞 (http://www.asahi.

com/)，読売新聞 (http://www.yomiuri.co.jp/) の各新聞社のサイトから収集

2
（注 7）
：E w
および Epos においては，4. 3 節のブログ記事順位付けの結果，した 56,503 記事，38,758 記事，および，62,684 記事の合計 157,945 記事．

ニュース記事とブログ記事との間で共有される Wikipedia エントリタイトルの：2008 年 1 月 1 日 ∼9 月 29 日の期間に収集したニュース記事 10 記事（注 6）

数が少なく，類似度が同点となるブログ記事が多数収集される場合が多かった．

を対象として行った．

そこで，5. 節においては，これらの評価結果は割愛した.

より選定された Wikipedia エントリ集合を E と記述する．そTF を考慮せず，ブログ記事集合中から算出した IDF の値のみして，ニュース記事のトピックを表すキーワードの集合としてを用いる方が高性能であるとしている．さらに，ニュース記事

は，集合 E の各要素 e のタイトル t(e) の集合を用いる．

とブログ記事の類似度としては，ニュース記事ベクトルとブロ

4. 2 ブログ記事の収集

グ記事ベクトルの内積および余弦を比較評価し，内積を用いる

前節の手順によりニュース記事 d から選定された方が高性能であるとしている．

Wikipedia エントリ集合 E に対して，ニュース記事 d に関連

以上をふまえて，本論文においても，ニュース記事ベクトルするブログ記事の候補集合 P (E) を収集する．本論文では，ブの各次元の値としては，ニュース記事集合全体を用いて算出しログ記事の収集においては，Yahoo!Japan 検索 API（注 8）を利用た TFIDF の値を用いる．具体的には，次式の TFIDFn (d, t(e))（注 9）する．ただし，ブログホスト大手 10 社のドメインに限って検索を行った．検索の際には，Wikipedia エントリ集合 E の要
素 e のタイトルを検索クエリとして，複数のブログホストを一を用いる．

TFIDFn (d, t(e)) = TF(d, t(e)) × log

Nn
DFn (t(e))

度に指定して検索し，1,000 件の記事を取得する．次に，ブロ

ただし，上式において，TF(d, t(e))，Nn ，DFn (t(e)) は，それグ記事検索後，検索結果の URL をブログサイト単位にまとめ

ぞれ，ニュース記事 d 中における t(e) の頻度，ニュース記事集

る．その結果，一つの検索クエリあたり約 200 前後のブログサ

合全体の記事数，ニュース記事集合全体における t(e) の文書頻イトが取得される．次に，各ブログサイトをドメイン指定し，度である．また，ブログ記事ベクトルの各次元の値としては，

Wikipedia エントリ e のタイトルを検索クエリとすることによ

前節においてブログ記事収集の対象とした 10 ブログホストにり，各ブログサイト中において Wikipedia エントリ e のタイト

おける IDF の値を推定したものを用いる．具体的には，総ブ

ルを含むブログ記事を収集し，ブログ記事集合 P (e) を作成す

ログ記事数 Nb ，および，t(e) の文書頻度 DFb (t(e)) の推定値

る．最終的に，Wikipedia エントリ集合 E 中の全要素 e に対を用いて算出した次式の IDFb (t(e)) を用いる．

して収集されたブログ記事集合 P (e) の和集合を，ニュース記
事 d に関連するブログ記事の候補集合 P (E) とする．

P (E) =



P (e)

e∈E

IDFb (t(e)) = log

Nb
DFb (t(e))

ただし，総ブログ記事数 Nb の推定値としては，10 ブログホス
トにおけるヒット数が十分に大きい値を示す一般語のヒット数

なお，本論文において評価対象としたブログ記事については，を用いた（注 11）．また，t(e) の文書頻度 DFb (t(e)) の推定値とし2010 年 8 月 ∼11 月の期間に収集した.

ては，10 ブログホストにおける t(e) のヒット数を用いた．さら4. 3 ブログ記事の順位付けに，ニュース記事 d とブログ記事 p との間の類似度 Simn,b (d, p)

本論文の手法においては，ニュース記事 d，および，前節では，ベクトル d と p の間の内積によって定義する（注 12）．

収集した関連ブログ記事候補集合の各要素 p との間で類似度を測定し，この類似度の降順にブログ記事を順位付けて，上位のブログ記事を選定する．
本手法の詳細を以下で述べる．ニュース記事 d とブログ記事

Simn,b (d, p) =

TFIDFn (d, t(e)) × IDFb (t(e))

e∈E

5. 評

価

p との間の類似度の定式化において，両文書に共通する次元と5. 1 評 価 手 順

しては，4. 1 節において，ニュース記事のトピックを表すキー

2009 年 6 月 1 日 ∼2010 年 5 月 31 日の 1 年間の期間においワードの集合として選定した Wikipedia エントリ集合 E の各て収集したニュース記事集合から，20 記事を選定し，評価対象

要素 e のタイトル t(e) を用いる．具体的には，ニュース記事 d，および，ブログ記事 p はいずれも，Wikipedia エントリ集合 E（注 11）：予備実験において，総ブログ記事数 Nb の推定値を変動させて，ニューの各要素 e のタイトル t(e) を次元とするベクトルとして表現す

ス記事に関連するブログ記事の順位付け性能を比較したが，順位付け性能の変動（注 10）る．

ここで，文献 [3] において，ニュース記事とブログ記事の類は見られなかった．
：ニュース記事との関連性が最も高い Wikipedia エントリ上位 10 個
（注 12）
を用いて収集したブログ記事の集合に対して，ニュース記事との間の関連性の似度を測定する際には，ニュース記事ベクトルの各次元の値と強さによってブログ記事の順位付けを行う方式として，文献 [7] においては，各して，ニュース記事集合全体を用いて算出した TFIDF の値を

Wikipedia エントリとブログ記事の間の関連性の強さ (文献 [6] において我々が用いている．また，ブログ記事ベクトルの各次元の値としては，提案した尺度) を考慮する方式を提案している．この方式では，Wikipedia エントリから抽出したエントリタイトル，リダイレクト，各エントリ本文中の太字，

TFIDF と IDF とを比較評価した結果，ブログ記事におけるおよび，本文中における他エントリへのリンクのアンカーテキストの情報を用い（注 8）：http://www.yahoo.co.jp/を測定する．そして，ニュース記事との関連性が最も高い Wikipedia エントリることにより，まず，各 Wikipedia エントリとブログ記事の間の関連性の強さ（注 9）：fc2.com,yahoo.co.jp,rakuten.co.jp,ameblo.jp,goo.ne.jp,livedoor.上位 10 個との間の関連性の強さの総和をとることにより，ニュース記事とブロ

jp,Seesaa.net,yaplog.jp,webry.info.jp,hatena.ne.jp

グ記事との間の関連性の強さを測定している．しかし，本論文で述べる評価実験（注 10）：ニュース記事とブログ記事との間の類似度の次元として，ニュース記の予備実験として，2008 年 1 月 1 日 ∼9 月 29 日の期間に収集したニュース

事，および，ブログ記事中に出現する全 Wikipedia エントリをベクトルの次元

記事 10 記事を対象として行った評価実験においては，本節で述べる手法の性能として類似度を測定する方式の評価も行ったが，エントリ集合 E の各要素 e のが，文献 [7] の手法の性能を上回ったため，5. 節で述べる評価実験においても，

タイトル t(e) を次元とする方式の方が高い性能であった．

本節で述べる手法の評価結果のみを示す．

表 1 ニュース記事・関連ブログ記事間の共有キーワード数 / 関連ブログ記事収集結果の正解率
ニュース記事・関連ブログ記事間の共有キーワード数の平均値
ニュース記事

ニュース

ニュース

記事全文

記事 2 文目以降から選定されたから選定された

キーワード

キーワード

9.8

8.1

4.3

57.5

6.4

—

—

—

9.1

—

—

—
61.5

から
キーワード選定手法

選定された
キーワード数の平均値

Wikipediaを用いる方法

ブログ記事
収集結果の正解率 (%)

1 : 10 ブログホストにおけるヒット数が 100
Ew

万未満のエントリのうち，類似度 Simn,w (e, d)の高い上位 10 エントリの集合
2 : 類似度の下限 Sim
Ewn,w (e, d) > 15 を満たし，10 ブログホストにおけるヒット数が 1,000
万未満のエントリのうち，類似度 Simn,w (e, d)の高い上位 10 エントリの集合

Epos : ニュース記事中の位置を用いて選定したエントリ集合
両手法

1 ∪E
Ew
pos

15.6

12.2

4.1

を併用

2 ∪E
Ew
pos

12.0

10.1

2.0

53.5

した方法

1 ∪ E2 ∪ E
Ew
pos
w

16.4

12.8

4.7

62.0

とする．各ニュース記事の話題は，「年金」に関するものが 5 記

ニュース記事中の 2 文目以降から選定されたキーワードのうち，事，「地球温暖化」，「医療」，「喫煙」に関するものがそれぞれ 4

ニュース記事と関連ブログ記事の間で共有されたものが一定数

記事，「北朝鮮」に関するものが 2 記事，「振り込め詐欺」に関す存在することが分かる．

るものが 1 記事となっている．各ニュース記事の文字数は，約次に，選定されたキーワード集合が包含関係にあり，正解率

200 文字から 600 文字程度であり，平均で約 400 文字である．

の差が相対的に大きい手法の組に対して，各手法間の正解率の評価においては，ニュース記事のトピックを表すキーワード

1
1∪ Epos と Ewの組，お差を詳細に分析する．具体的には，Ewの選定法としては，4. 1. 3 節において述べた 4 通りの手法を用いる．また，一つのニュース記事に対して収集されたブログ記

1
2
2
∪ Ew
∪ Epos と Ew
∪ Epos の組が対象となる．
よび，Ew
1
1
∪ Epos と Ewの組についての分析結果を示す．
まず，Ew

事集合に対して，4. 3 節で述べた類似度を用いてブログ記事の

1
1
1
1
Ew
∪ Epos と Ewの組について，「Ew∪ Epos の正解率 > Ewの順位付けを行い，上位 10 ブログ記事を評価対象とする．評価

1
1
1∪ Epos の正解率 < Ewの正解率」，「E w∪ Epos の
正解率」，
「E w

の際には，収集されたブログ記事がニュース記事に関連するか

1の正解率」となるニュース記事の数は，それぞれ，
正解率 = Ew

否かを人手で判定し，正解率を算出する．ただし，「関連ブログ1
8 記事，4 記事，8 記事であった．このうち，まず，「Ew∪ Epos記事」の判定においては，比較的狭い範囲の話題のブログ記事

1の正解率 > Ewの正解率」の場合について，ニュース記事，に絞って「関連ブログ記事」と判定した．例えば，図 2 に示す

および，関連ブログ記事として判定されたブログ記事の例を

ニュース記事「昨年度の温室ガス、95 年以降で最少 . . . 金融危

表 2(a) に示す．両者の性能の差は，ブログ記事収集に用いら機で」の場合には，日本国内における温室効果ガスの排出量のれた Wikipedia エントリタイトルの集合の違いに起因するた変移を話題とするブログ記事までを「関連ブログ記事」と判定

1
1∩ Epos に含まれるエントリ，Ew
のみに含め，表中には，Ew

し，その他の，環境・エネルギー問題対策による雇用の創出や，まれるエントリ，および，Epos のみに含まれるエントリをそれ

温室効果ガス削減方法といった周辺の話題についてのブログ記

ぞれ示す．このうち，実際に両者の性能差の原因となっている

事は，「関連ブログ記事」とは判定しなかった．

のは，Epos のみに含まれる，比較的一般語に近い 5 エントリで

5. 2 評価結果: ブログ記事の日付を考慮しない場合

1
およびある．表 2(a) に例として示した関連ブログ記事は，Ew

表 1 に，各手法ごとに，ニュース記事から選定されたキーブログ記事の両方に含まれる 8 エントリのタイトルを用いたブ

ワード数，ニュース記事および関連ブログ記事間で共有されログ記事の収集段階においては，収集されなかった．このようたキーワード数，および，関連ブログ記事収集結果の正解率に，表 2(a) に例として示したニュース記事の場合は，Epos のを示す．なお，ニュース記事および関連ブログ記事間で共有さみに含まれる，比較的一般語に近いエントリを併用することにれたキーワード数については，ニュース記事全文から選定さより，関連ブログ記事収集の正解率が改善されることが分かる．

れたキーワード分とあわせて，ニュース記事の 2 文目以降か1
1∪ Epos の正解率 < Ewの正解率」の場合につい
次に，
「E w

ら選定されたキーワード分も示す．この結果から分かるようて，ニュース記事，および，関連ブログ記事として判定されたに，Wikipedia を用いる方法とニュース記事中の位置を用いる

ブログ記事の例を表 2(b) に示す．この場合，表 2(a) とは逆に，方法の両手法を併用した場合に，正解率が最大になる．また，1
表 2(b) に例として示した関連ブログ記事は，エントリ集合 Ew

1 ∪E
1
表 2 キーワード選定手法 Ew
pos と Ew の間における 10 位以内の関連ブログ記事の比較の例 (ブログ記事の日付を考慮しない場合)
1 ∪E1(a) 「Ew
pos の正解率 > Ew の正解率」となるニュース記事の例

ニュース記事
日付

ブログ記事収集結果の正解率 (%)

タイトル2009 年 11 月 11 日 「昨年度の温室ガス、95 年以降で最少 . . . 金融危機で」

1 ∪E
Ew
pos

1
Ew

90

70

1 ∪E
Ew
pos のみにおいて 10 位以内に順位付けされた関連ブログ記事の例
1 にEw

ブログ記事との間で共有されたエントリ数 (エントリ)
ブログ記事の

1 ∩E
Ew
pos に

1 のみに
Ew

Epos のみに

おける

日付・要約

含まれる

含まれる

含まれる

ブログ記事

エントリ

エントリ

エントリ

の順位

2010 年 3 月 26 日「2008 年度の 4 エントリ (環境省， 4 エントリ (京都議 5 エントリ (温室，排出量は低下したが . . . 努力した 金融危機，温室効果
ガス，温室効果)

結果ではなく . . .」定書，議定 書，景年度，環境，排出，

気，森林)

ガス)

収集されない1 ∪E1(b) 「Ew
pos の正解率 < Ew の正解率」となるニュース記事の例

ニュース記事
日付

ブログ記事収集結果の正解率 (%)

タイトル2009 年 6 月 25 日 「患者取り違え事故、後絶たず

05 年以降で 85 件」

1 ∪E
Ew
pos

1
Ew

10

30

1 のみにおいて 10 位以内に順位付けされた関連ブログ記事の例
Ew

ブログ記事との間で共有されたエントリ数 (エントリ)

1 ∪E
Ew
pos

ブログ記事の

1 ∩E
Ew
pos に

1 のみに
Ew

Epos のみに

おける

日付・要約

含まれる

含まれる

含まれる

ブログ記事

エントリ

エントリ

エントリ

の順位

2009 年 11 月 22 日「「医療版事 1 エントリ (医療4 エントリ (横浜 4 エントリ

故調査委員会 (事故調)」創設の議 事故)

市大，横浜市，医(患者，医療，論がストップ . . .」療機関，義務)事故，過去)

のみを用いたブログ記事の順位付けにおいてのみ上位に順位付

15 位のブログ記事に限定して関連ブログ記事の収集を行った（注 13）．

けされている．一方，このブログ記事は，Epos のみに含まれる，日付の考慮の有無の比較結果を表 3 に示す．評価対象の全 20

1∪ Epos
比較的一般語に近い 4 エントリを含むエントリ集合 Ew

ニュース記事全体での評価においては，日付を考慮しない方がを用いたブログ記事の順位付けにおいては，15 位にまで順位

高い正解率となった．なお，日付を考慮しない場合について，を下げている．これは，この 4 エントリ (あるいは，Epos のみ

上位に順位付けされ，関連ブログ記事として判定されたブログに含まれるその他のいずれかのエントリ) を記事中に含む「当記事のうち，ニュース記事の日付から 8 日以降の日付となるブ該ニュース記事には関連しないブログ記事」が順位付けの上位

ログ記事の割合は約 80%であった．逆に，日付を考慮する場合を占めるためである．このように，表 2(b) に例として示したについて，上位に順位付けされ，関連ブログ記事として判定さニュース記事の場合は，Epos のみに含まれる，比較的一般語にれたブログ記事のうち，日付を考慮する場合にのみ判定対象と近いエントリを併用しない方が，関連ブログ記事収集の正解率なったブログ記事の割合は，約 65%であった.

が改善されることが分かる．

5. 3 ブログ記事の日付の有無の比較

ここで，ニュース記事ごとの傾向を分析するために，全 20 記
事を，i) 日付の有無とは無関係に中程度の正解率 (50%) 以上と次に，ニュース記事中のトピックを表すキーワードの選定手

なる 5 記事，ii) 日付の有無とは無関係に低い正解率 (20%以下)

1
2
∪ Ew
∪ Epos を用いた場合について，ニュース記法として Ewとなる 4 記事，iii) 日付を考慮する場合に比べて，日付を考慮

事およびブログ記事の日付を考慮する場合，および，日付を考しない方が (20%以上) 高い正解率となる 10 記事，iv) 日付を

慮しない場合の比較を行う．

考慮しない場合に比べて，日付を考慮する方が高い正解率とな

具体的には，ニュース記事およびブログ記事の日付を考慮す

る 1 記事，に分類し，平均正解率を比較するとともに，ニューる場合については，ニュース記事の日付以降，7 日以内の日付（注 13）：各ブログホストについて，ブログ記事の HTML ファイルから日付を抽出するパターンを記述することにより，ブログ記事が投稿された日付の抽出を
行った．

表3

関連ブログ記事収集性能におけるブログ記事の日付の有無の比較
1 ∪ E2 ∪ E(キーワード選定手法: Ew
pos の場合)
w

分類

ニュース

平均正解率 (%)

記事数

日付無

ニュース記事の日付・タイトル

日付有(典型例) および 話題の特徴
2009 年 7 月 7 日「北朝鮮ミサイル発射を非難，国連安保理が「議長談話」」· · · 報

日付の
有無とは
無関係

中正解率

(50%)

道直後の時期を含めて，ブロガーが幅広い期間に渡って関心を持つ．

5

84.0

76.0

2009 年 12 月 2 日「たばこ１箱千円に、がん対策協議会長が提言」· · · ブロガーの関心が報道直後に集中し，日付を考慮した場合に上位に順位付けられる関連ブログ

以上

記事の半数前後は，日付を考慮しない場合も上位に順位付けられる．
低正解率(20%以下)

4

12.5

7.5

10

76.0

23.3

話題性が低いため，時期を問わず，ブロガーに関心を持たれない．

2009 年 8 月 26「たばこの死者、世界で年 600 万人 . . . 米推計」· · · ブロガーは，

日付無の方が(20%以上)2009 年 6 月 3 日「有害微小物質、たばこの煙こもる店の 3 分の 1 で基準超え」· · ·とりたてて報道直後の時期に集中して関心を持つというわけではなく，幅広い期間

高い正解率に渡って関心を持つ．

日付有の方が無の場合でも近い話題のブログ記事が上位に順位付けられているが，ニュース記事2009 年 6 月 25 日「患者取り違え事故、後絶たず
高い正解率

1

10

80

20

62.0

36.1

05 年以降で 85 件」· · · 日付

における直接の話題 (「医療事故」) から少しずれるため，日付有の場合の方が密接に関連するブログ記事が多く上位に順位付けられる．

全体

ス記事の日付・タイトルの典型例，および，話題の特徴を表 3に示す．
この結果から，i)∼iv) の分類ごとに，それぞれニュース記事の話題，および，ブログ記事における関心に動向の傾向が大きく異なることが分かる．例えば，i) においては，特にニュース
記事の日付直後に関連ブログ記事が投稿される度合いが大きく，
日付の考慮の有無によらず，比較的高い正解率で関連ブログ記
事が収集できる．一方，ii) においては，ニュース記事の話題性が低いため，時期を問わず，ブロガーに関心を持たれない．また，全体の半数を占める iii) においては，ニュース記事の日付とは無関係に，幅広い期間に渡って関連ブログ記事が投稿されるため，日付を考慮せずブログ記事を収集した方が，正解率が高くなる．

6. お わ り に
本論文においては，ニュース記事中において話題を表すキー
ワードを自動選定し，それらのキーワードに関して詳細な記述をしているブログ記事を収集する手法を提案した．特に，Wikipedia を知識源としてニュース記事中の話題に密接に関連するキーワードを選定する手法，および，ニュース記事のタイトルおよび冒頭部分からキーワードを選定する手法の比較を行った．評価実験を通して，ニュース記事中において話題を表すキーワードを自動選定する手法としては，Wikipedia を知識源とする手法とニュース記事中に位置を用いる手法を併用する
ことにより，それぞれの手法が相補的に機能し，評価対象の全ニュース記事に対する総合的な性能が改善できることを示した．
謝辞

本論文で使用したニュース記事に関して協力して頂いた，北海道大学大学院情報科学研究科 吉岡真治准教授に感謝
する．
文

献

[1] 新井嘉章, 福原知宏, 増田英孝, 中川裕志. Wikipedia を用いた
多言語ブログ検索のための訳語抽出. 情報処理学会第 70 回全国—大会講演論文集, 第 5 巻, pp. 55–56. 情報処理学会, 2008.
[2] M. Gamon, S. Basu, D. Belenko, D. Fisher, M. Hurst, and
A. C. Konig. Blews: Using blogs to provide context for news
articles. In Proc. ICWSM, pp. 60–67, 2008.
[3] 池田大介, 藤木稔明, 奥村学. blog とニュース記事の自動対応
付け. 言語処理学会第 11 回年次大会論文集, pp. 1030–1033,
2005.
[4] 石崎諒, 青野雅樹. Web ニュースに対するブログ意見の分析ツー
ル. 電子情報通信学会技術研究報告, WI2-2008-52, pp. 11–12,
2008.
[5] 小原恭介, 山田剛一, 絹川博之, 中川裕志. Blogger の嗜好を利用した協調フィルタリングによる Web 情報推薦システム. 第 19回人工知能学会全国大会発表論文集, 2005.
[6] 中崎寛之, 川場真理子, 横本大輔, 宇津呂武仁, 福原知宏. 多言語
Wikipedia エントリを知識源とする特定トピックの日英ブログ
サイト検索と日英対照ブログ分析. 人工知能学会論文誌, Vol. 25,
No. 5, pp. 613–622, 2010.
[7] 佐藤由紀, 横本大輔, 宇津呂武仁, 福原知宏. Wikipedia を介した関連ニュース・ブログの対応付けにおける複数トピックの統合
方式. 第 24 回人工知能学会全国大会論文集, June 2010.
[8] 田村悟之, 清田陽司, 増田英孝, 中川裕志. 図書館における自動レファレンスサービスシステムの実現 Web 上の二次情報と図書館の一次情報の統合. 情報処理学会研究報告, Vol. 2007, No.
(2007–FI–179), pp. 1–8, 2007.
[9] 吉岡真治. 複数のニュース源の差異を考慮したニュース分析の研究. 言語処理学会第 13 回年次大会「大規模 Web 研究基盤上
での自然言語処理・情報検索研究」 ワークショップ論文集, pp.
27–20, 2007.