 論文：時間的トピックの推移



類似度計算において，文書の内容の類似度だけでなく文書の新規性も考慮することで，新規性の高い文書により着目したクラスタリング結果を導出する．ポイントとなるのは，文献書誌学で用いられる老化（ ）の概念を取り込んだことにあり，若い文書（入手されて間もない文書）ほど，クラスタリング結果に与える影響が高くなるようにしている．



新たに文書の追加の際にはインクリメンタルな更新処理を行い，更新コストを削減している．クラスタリングのアルゴリ
ズム自体は    法に基づき，それを拡張することでインクリメンタルな処理を実現している．



上述のように本手法では老化の概念を導入しており，文書が古くなると，他のどの文書とも類似しなくなり，外れ値（ ）となる．外れ値がある場合にクラスタリング結果を悪化させないための処理が工夫されている．また，十分古くなった文書は，寿命に達したとされ，自動的にクラスタリングの対象から削除される．

をとらえる可視化システム
         
長谷川 幹根 石川 佳治

     

インターネット上では，ニュースなどの大量のテキストデータの配信が日々なされている．本論文では，このようなテキストデータにおける，時間的なトピックの推移をとらえるための可視化システム

 について述べる．本システムは，下位の時系列的な文書クラスタリングシステムのクラスタリング結果をもとに，クラスタの関連を巻き物（）状に提示する．本論文では，システムのアイデア，機能，実現手法等について述べる．

                                                                                                                   はじめにインターネット上の情報提供・配信サービスの進展により，今日では，ネットワークを介したニュース配信が盛んに行われている．
それに伴い，大量の情報を要約しフィルタリングするための，オンラインテキスト情報処理の重要性がさらに増してきており，時々刻々と配信される時系列的な文書データに適した情報の要約と提示に関する新たな技術の開発が求められている ．
このような背景を受け，本研究では，一般のユーザが大量のニュースのトピックの大まかな推移を容易に把握できるようにするためのユーザインタフェースである （  ）システムの開発を行っている．  は文書クラスタリングシステムの上位に位置し，その出力を利用して，クラスタリングされた結果を可視化してユーザに提示する．その特徴は，各時点で得られたクラスタをラベルを付与して時間軸上に配置し，クラスタ間の関連性を表すリンクを示すことで，トピックの流れを表す点にある．画面上にクラスタリングの結果を巻き物上に表示することから，システムを   と呼んでいる．あるトピックに興味をもったユーザは，対話的な操作により，必要に応じてより詳細な情報を得ることが可能となる．

 新規性に基づく時系列文書のクラスタリング

本研究が基礎とするのは，   において提案されている，新規性に基づく文書クラスタリング手法である．その特徴は以下の
 点である．
学生会員

 正会員

  で用いられた影響力の逓減モデルでは，文書の価値（重み）が時間の経過にしたがって指数的に逓減していくと想定し，文書 に対する文書の重みを ¼  ½ と与える．ただし， は現在の時刻を表し， は文書 が入手された時刻を表す． は文書の影響力の逓減の度合いを表すパラメタである．一方， 個の文書からなる文書集合 ½      の文書の重みの総和を の文書集合中での生起確率を½  で与え，文書ÈÖ´ µ   という主観確率で定める．この確率は，古い文書ほど値が小さくなり，古い文書を考慮の対象から外す（忘却する）というアイデアを表現している．
文書の類似度は，上記の式や他の仮定をもとに確率的なモデリングに基づいて導出される  ．その一般形は
  

名古屋大学情報連携基盤センター   ´ µÈÖ´ µ ÈÖ´ µ   であり，文書ベクトルの内積を文書長の積で割ったものに各文書の生起確率を掛けたものとなる．よって，この文書類似度は，単に文書どうしが類似しているかどうかだけでなく，各文書がどの程度古いかも考慮し，十分古くなった文書は他のどの文書にも類似しなくなるという性質を有している．このような類似度をクラスタリングに用いることにより，文書の新規性を重視したクラスタリングの実現を図っている．

  システムの概要  システムの特徴

本研究で開発を進めている   テムの特徴は，主として以下のようになる．

  シス

継続的なクラスタリングにより得られた各時点のクラスタリング結果を時間軸上にトピックを表すラベルとともに表示し，各時点における主要なトピックを把握可能とする．ニュース記事などのトピックやトレンドの流れが巻き物のように表示されることから，本システムを   と呼んでいる．



興味のあるクラスタを選択することで，より詳細な情報（関連キーワードのリスト）や元記事を対話的に参照することが可能である．

ある時点で得られたクラスタ集合に対し，一つ前の時点で得られたクラスタ集合から，関連度の強さに応じてリンクを張ることで，隣接する時刻におけるクラスタ間の関連の把握を容易にする．

ユーザインタフェース上に表示する時間軸の刻み幅をユーザの指定により調整可能とすることで，要求に合わせた詳細度で分析が行える．特に，時間軸の刻み幅を広くとり，ト名古屋大学工学部電気電子・情報工学科．

  

日本データベース学会    論文

  

レンドを大まかにとらえる粗視化の機能が重要であり，これは，    !  ""  におけるロールアップ（ ）の機能に対応づけることができる．

  システムの概要

図  に，  システムのインタフェースの概念図を示す．図は，# 月  日から  週間刻みで # 月  日までのクラスタの流れを表示している様子を示している．インタフェース上では左から右に時間が流れており，画面下部のスライドバーにより，前後の時点に移動することも可能である．画面上で同じ縦の点線上にある楕円は同じ時点で得られたクラスタの集合を表している．






ゲーム

サッカー

ウィルス

10 / 110 / 810 / 15

図 $   システムの概念% $ &   '   !" (クラスタ上のラベルは，クラスタ中の文書に含まれる語で，スコアが最大のものを選択して表示する．いくつかのスコア付けを比較した結果，現在の実装では，クラスタにおける語  のスコアを   ´ µ¾ ÈÖ´ µ  で求めている．つまり，クラスタ内の各文書について，語  についての語頻度（ ( ' ) !）  を，その文書の重み ÈÖ´ µ と掛け合わせ，その総和をとっている．なお，クラスタ上に複数の単語（たとえばスコアが上位  件の語）を並べて提示することも考えられるが，実システムで検討したところ，画面表示が煩雑になるため  語だけを選んでいる．
楕円の面積はクラスタに含まれる文書の数の量に対応しており，トピックの規模を示している．図で示されるように，一部のクラスタ間には左から右にリンクが張られている．これはクラスタ間の関連性の深さを示している．クラスタ間の関連度は ´  µ    という式により定義する．クラスタ に含まれる文書がクラスタにどれだけ含まれているかを調べることにより関連性の深さを測っている． つのクラスタから # 個以上のリンクが出ることを許し，トピックの消滅（# 個のリンクで表現）や分岐（複数個のリンクで表現）を表す．
 実装システムの機能  インタフェース画面図  では，##* 年 # 月  日から  週間刻みで  月  日までの時間的トピックの推移を表示した例を示している．楕円はそれぞれのクラスタを表しており，それぞれ # 個ずつにクラスタリングされている．前節で述べたように，楕円の大きさはクラスタのサイズを大まかに反映する．
クラスタのサイズだけでなく，クラスタの質の良さも把握できるようにするため，  ではクラスタの質の高さを色分けして表示する．具体的には，楕円の輪郭の線の色により，クラスタの質の良さを表現する．可視光線のスペクトル分解を参考にし，赤に近いほどクラスタの質が高く，紫に近いほどクラスタの質が低いことを意味する．クラスタ について，その品質のスコアを， ´ µ ´ µと与える

．ここで    ´ µ

½ ´   ½µ   はクラスタ¾ ´ µ

中の文書数を表し，

図 $   のインタフェース画面% $ + '    ,- ."" ´ µ はクラスタ内の文書の平均類似度を表している．すなわち， ´ µ は，文書数が多いだけでなく，クラスタ内の文書が互いに似ている場合に大きい値をとるようなスコアとなっている．  のクラスタリング処理では，クラスタリングの結果生じるクラスタ集合において，それらの品質の総和が最大となることを目標としてクラスタリングを行う．
 節で述べたように，クラスタ間のリンクは，クラスタ間の関連度が大きいことを表し，ある閾値以上の関連度についてリンクを作成している．

  クラスタの詳細情報

図  のように，クラスタに対するラベルとして  つのキーワードを与えるだけでは，クラスタ内容を判断するのが困難な場合もある．そこで本システムでは，クラスタの内容を容易にブラウズできる機能も提供している．クラスタ上（楕円上）にマウスカーソルが乗ると，そのクラスタに関連の深い複数のキーワードが表示される．実行した様子を図  に示す．クラスタ内の単語のうち，スコアが上位 # 位のものを順に表示している．

図 $ クラスタのキーワードリストの表示% $ / !,

" 0"! '

 &"上記のようなキーワード表示機能によってクラスタの内容はわかるが，実際にクラスタに含まれる文書はわからない．よって，本システムでは更に，クラスタの上をクリックすることでクラスタに含まれる文書を表示する機能も実現している．実行の様子を図 に示す．図  では，クラスタに含まれる文書のうち発行日時が日本データベース学会    論文
新しいもの上位 # 位のタイトルを表示している．文書の内容はタイトルをクリックすることによって表示される．また，詳細情報をクリックすることにより，クラスタに含まれるすべての文書を表示する機能も実装している．

  の 67 ファイルを読み込み，ユーザの指定に応じて内容を解析し，インタフェース画面に表示するための 89 形式のファイルを作成する．作成された 89 ファイルはブラウザに即座に読み込まれ，図  に示したインタフェース画面が表示される．89 ファ
イル中には 43  のコードが埋め込まれており，その中から必要に応じて により記述されたモジュールが実行される．

 システムの評価  システム利用による評価

図 $ クラスタ内の文書の表示% $ 0( 0"! ,+ &" システムの実装

本システムは以下の図  のような構成をしている．本システム
は，新規性に基づく時系列文書のクラスタリングのプログラム と連携し，その出力を利用する形で構築している．各時点で取得された新たな文書集合をバッチ的に与えることで，その時点の最新のクラスタリング結果を出力する．

まず，実際にシステムを利用した筆者により得られた知見を報告する．今回は， 節で述べた  つのサイトからの記事を対象としており， 日あたり平均しておよそ ## 件のニュース記事が取得されている．設定により，各時点において # 件のクラスタが作成され表示されている．表示の対象とする期間については，長期（例：ヶ月以上）に設定することはあまり有効とはいえなかった．
トピックの推移は 〜ヶ月程度ぐらいの範囲でとらえる方が分かりやすいという点と，長期の場合には表示が煩雑になり，また，インタフェースの動作が重くなるためである．
時間間隔の設定については， 日刻みで表示した場合には比較的単調な表示となる．その様子を図 * に示す．この図は， 月 日から  日刻みで  月 # 日までトピックの推移を表示している．利用した印象としては表示が冗長であるという感触を得た．これは， 日程度では大きなトピックの変化がないためである．一方， 週間刻みで表示した場合（図  参照）には，トレンドを把握するという意味ではより適切な表示であると感じられた．インタフェースの表示においても，クラスタ間のリンクの交差などが見られ，視覚的には面白いものとなっている．ただし，たまにリンクが張られている隣接するクラスタでトピックがずれていること，すなわちトピックドリフトが見られた．

䉪䊤䉴䉺䊥䊮䉫䉲䉴䊁䊛౉ജᢥᦠ----------------------

XML䊐䉜䉟䊦

(Ruby)
䉪䊤䉴䉺䊥䊮䉫䊝䉳䊠䊷䊦౉ജ಴ജ----------------------(Perl)
䊂䊷䉺ᄌ឵䊝䉳䊠䊷䊦౉ജ䊂䊷䉺䊔䊷䉴಴ജ----------------------

䉰䊑䊝䉳䊠䊷䊦
(Perl)
౉ജ䉮䊙䊮䊄౉ജ

T-Scroll䊜䉟䊮䊝䉳䊠䊷䊦䉰䊑䊝䉳䊠䊷䊦(JavaScript)

䋨Perl䋩

䊑䊤䉡䉱಴ജ䊒䊤䉫䉟䊮----------------------SVG೙ᓮ
䊝䉳䊠䊷䊦SVG䊐䉜䉟䊦(JavaScript฽䉃)(Perl)

T-Scroll

図 $ システム構成図% $ !" (   1

本実験において対象とした情報源は，2 データを提供しているニュースサイトである -- .  "+( " " 3(（サッカー・野球）の  つのサイトである．情報収集は  時間おきに行っている．それぞれの 2 サイトにアクセスし，前回情報収集した時から更新された情報について，リンク先などの必要な情報を取得する．次いで，取得したリンク先情報をもとに，サイトにアクセスしウェブページから記事の本文を抽出する．
  のメインモジュールは 43  で記述されており，5 . ブラウザ内に読み込まれ動作する．ユーザインターフェース
に関する一部の処理は 43  および 46 の機能を用いて実現している．ユーザから対象の期間や分析の時間間隔の入力を受けた後でインタフェース画面を表示するが，そのためには，メインモジュールから で作成されたサブモジュールを呼び出すことになる．実際にはこのサブモジュールがクラスタリング結果

図 *$   全体図（ 日刻み）% *$ + '   ! .""##* 年度後半の実際のデータについて観測できたさまざまな知見については，紙面の都合によりここでは省略する．詳細は を参照いただきたい．

  クラスタのトレンド評価

本節では，##* 年後半に実際に起きた出来事の流れとクラスタのトレンドを比較し，  のクラスタのトレンドの正確性を評

日本データベース学会    論文
価する．評価にあたり，各クラスタの内容判断は，クラスタに含まれる文書のうち発行日時が新しいもの上位 # 件までを対象とし，上位 # 件までに対象とする出来事に対する記事がどれくらいの割合で含まれているかを評価の値（トレンド値と呼ぶ）として用い，クラスタのトレンドとしてグラフに表し評価する．
##* 年 # 月  日から  月  日までの様々な出来事に対するクラスタのトレンドの評価を行ったが，ここでは例として「知事談合」に関するクラスタのトレンドの評価を示す．知事談合に関する主要な出来事は，以下のようになっている．
: 月 ; 日頃：福島県知事談合問題発生
# 月 ; 日頃：和歌山県知事談合問題発生
# 月  日：福島県知事逮捕
 月  日：和歌山県知事逮捕
 月 * 日頃：宮崎県知事談合事件発生
 月 < 日：宮崎県知事逮捕

図 ; に知事談合に関するクラスタのトレンドを示す．# 月  日から  月 # 日まで  日ごとのクラスタのトレンドを示している．実際の事件のトピックのトレンドときわめて整合した結果となっている．詳細な分析は  で述べている．

  た，川の幅は各時点における記事の量を表している．トピックの流れを左右にスクロールするインタフェースで表現するという点では   と共通しているが，クラスタリングを用いているわけではない．視覚的なインパクトはあるが，トピックの推移は表現できず，複数の時間間隔での表示なども可能でない．大まかなトレンドの把握には利用可能であるが，実際に時系列的な文書データを分析的にブラウズするには，必ずしも強力なツールではない．
, と  は，トピックを表現する ( を表示する
インタフェースを提案した *．指定された期間における時系列的な文書を分析して，継続して出現するトピックを検出し，画面上に時区間を表す棒状の表示（(  ）を提示する．また，( には併せてキーワードが表示される．検出されたトピックごとに( が提示されるため，ユーザは画面を眺めることでトピックがどの期間に見られるかを把握できる．クラスタリングではな
く，統計的指標を用いてトピックの検出を行っており，主要なトピックとその期間を提示することに焦点を当てている．その点に関しては   より優れている面もあるが，トピック間の関連や，複数の時間間隔による分析機能はない．

" まとめと今後の課題

本論文では，時系列的な大量のオンライン文書のトピックの変遷・推移を対話的に分析するためのインタフェースである  
システムの特徴，機能，構成，そしてその評価について述べた．今後の課題としては，日本語以外の記事への対応，および，マルチユーザ環境への対応が考えられる．

㪈㪅㪉㪈㪇㪅㪏䊃䊧䊮 㪇㪅㪍䊄୯㪇㪅㪋#謝辞$㪇㪅㪉㪇㪈ᣣ 㪋᦬㪈㪇ᣣ 㪎ᣣ 㪇ᣣ 㪊ᣣ 㪍ᣣ 㪐ᣣ 㪉ᣣ 㪌ᣣ 㪏ᣣ 㪈ᣣ ᣣ 㪍ᣣ 㪐ᣣ 㪉ᣣ 㪌ᣣ 㪏ᣣ 㪈ᣣ 㪋ᣣ 㪎ᣣ 㪇ᣣ ᣣ 㪍ᣣ 㪐ᣣ 㪉ᣣ 㪌ᣣ 㪏ᣣ 㪈ᣣ 㪋ᣣ 㪎ᣣ 㪇ᣣ㪈 㪈 㪈 㪉 㪉 㪉 㪊㪈 㪈 㪈 㪈 㪉 㪉 㪉 㪊 ᦬㪊㪈 㪈 㪈 㪉 㪉 㪉 㪊 ᦬㪊㪈㪈㪈㪉⑔ፉ⺣ว๺᱌ጊ⺣วችፒ⺣ว

図 ;$ 「知事談合」に関するトレンド% ;$  '=&+>0 ?

本研究の一部は，文部科学省科学研究費（:##;），日本学術振興会科学研究費（:###;），放送文化基金，および柏森情
報科学振興財団の助成による．

#文献$

                 /,  ## 4  

ヶ月のクラスタのトレンドの評価より得た知見を以下に示す．

¯ スポーツや自然災害などのクラスタのトレンドは時期が去っても高いトレンド値を維持することが多い．これは，スポー
ツや自然災害などが他の種の記事とあまり類似度が高くないため，ある文書の重みが小さくなっても程度の記事が消滅するまで残ってしまうと考えられる．
¯ 政治に関するクラスタのトレンドがほとんど現れない．これは，先に述べた通り今回利用したニュースサイトが政治に関する記事が少なかったことと政治に関する記事は  つのクラスタに集まりやすいためだと推測される．
¯ 裁判の判決など事前に起こる時期が分かっている出来事は，発生よりも前から低いトレンド値でクラスタのトレンドが現れることが多い．また，地震や事件など先に予測できない出来事は，急にクラスタのトレンドが現れることが多い．
¯ 多くのクラスタのトレンドが事件などの発生時期よりも遅れる．これは，まとまったクラスタとして現れるためには，それなりの記事の量が必要であるためであると考えれる．
  のクラスタのトレンドは，事件などの発生や時期が過ぎた後に正確でないトレンド値を記録することがあるが，最もホットな時期にはクラスタのトレンドの中で最高値を記録することがほとんどである．これにより，  は大まかなトピックのトレンドをとらえるのには有効であると評価できる．

! 関連研究

長谷川幹根 石川佳治  ：時間的トピックの推移をとらえる可視化システム 電子情報通信学会データ工学ワーク
ショップ（0@5##;） ##;  A3 "   + ( 23   
# ## D E"+-, D &+( "

$ 8"1  + ( +      8 < B   :C(   "   ( +A /, ."!  "  C: ##  /+! D E"+-, "  ( +# $( " E '    ' " EA /,   ##;    * 2 ,長谷川 幹根'(4   ( 3 !.""#  # 

' 3!  %& '(  :C* ###3 , ##; 年名古屋大学工学部電気電子・情報工学科情報工学コース卒．情報検索の研究・開発に従事．現在，日本製粉 株 に勤務．

石川 佳治

   名古屋大学情報連携基盤センター教授．データベース，データ工学，情報検索等に興味を持つ．日本データベース学会，情報処理学会，電子情報通信学会，人工知能学会，&7，E@@@ & 各会員．

+ ( 23 は，トピックの流れを川に見立てて表示を行う可視化システムであり，川が画面の左から右に流れるような表示を用いる．川の中にいくつかの色分けされた流れが表示されており，これが一つ一つのトピック（テーマ）に対応している．ま

日本データベース学会   