アクティブ情報収集システムに関する検討
A Thought on Active Information Gathering Systems
北村泰彦
kitamura@info.eng.osaka-cu.ac.jp
大阪市立大学大学院工学研究科
概要
An active information gathering system efficiently collects information from a number of
frequently updating information sources on the Internet, considering the quality and cost of
information gathering, to meet demands from human users or active mining systems. In thispaper, we summarize functions required for active information gathering systems and relatedworks. Then we propose a system called Intelligent Ticker. Intelligent Ticker consists of multiple
information gathering modules and an information integration module. An information
gathering module produces Tickers based on the difference between an updated Web page andthe original one. The information integration module integrates multiple Tickers by using aTicker Integration Template to assist the user in his decision making or problem solving.
Keywords: WWW, Active Information Gathering, Information Integration, Ticker

1. はじめにするための一時的な解決法として検索エンジンが開発

インターネット(Internet)は我々の生活を支えるインされている．しかしながら検索エンジンはキーワードフラストラクチャの一つとして急速に社会に浸透しつ入力に対して，それを含む Web ページの集合を出力つある．インターネットをベースとしたサービスの中するだけである．中には，膨大な数の Web ページをでも WWW (World Wide Web)はその中でも最も人気出力したり，また多数の関係のない Web ページを含が高く，学術研究，電子商取引，個人やグループなどむようなものも存在する．今後は得られた Web ペーによる情報発信など，さまざまな目的のために利用さジから有用な情報を自動的に発見するようなデータマれている．WWW はいまや情報量の見地からは地球規イニングシステムが望まれる．

模の知識ベースを構築しているといっても過言ではな

しかしながら，このようなデータマイニングシステム

いであろう．の実現するためには以下のような Web 情報源の特徴

WWW システムの特徴は，従来の分散データベースシを考慮する必要がある．

ステムと異なり，情報源がボトムアップに構築されるl

Web 情報の記述形式は非定型である．Web 情報

ところにある．情報発信者はコンピュータをインター

源は一般にそれぞれが URL(Universal Resource

ネットに接続し，Web サーバを立ち上げるだけで，即Locator)によって指定可能な Web ページの集合座に世界に向けた情報発信が可能になる．このようにと見なすことができる．Web ページは一般にWWW システムは，集中的な管理機構無しに，膨大なHTML (Hyper Text Mark-up Language)により数の情報源が自律分散的に連携しているシステムであ記述されていることが多いが，HTML では Webるといえる．

ページをブラウザで表示する際に必要な視覚的一方で，一利用者の観点からは有用な情報がネットワな構造を表現することが可能であっても，Webークの中に埋没してしまい，容易に見つけ出すことがにより記述されている情報の意味的な構造を記できないという問題も引き起こしている．これに対処述することは困難である．この問題への対処としアクティブマイニング
短時間で更新される多種多様な情報源からのデータ

ユーザの目的に応じて発掘した興味深い知識

目的に応じて変化する必要データ
時間と状況に応じて変化するユーザの目的

アクティブ
アクティブ
情報収集
マイニング

監視対象を変更す
る指令

アクティブ
ユーザ
リアクション

意思決定を支援するデータ

図 1：アクティブマイニングシステムの構成図ては意味的構造も記述可能とする次世代の Weblページ記述言語である XML1や Web 情報の機械なインターネット情報源からアクティブマイニ的処理を目的とした Semantic Web2の研究や導ングモジュールや利用者に対して必要な情報を入が行われている．

監視・提供する役割を果たす．
ll

アクティブ情報収集モジュールは動的で大規模アクティブマイニングモジュールはアクティブ

Web 情報源に蓄積されている情報は日々，急速な情報収集モジュールにより収集された情報を解勢いで増加している．多くの情報源が 1 日に数回析し，利用者にとって有用な情報を発見する．の情報更新を行っている．また株価情報や道路情lアクティブユーザリアクションモジュールは利報などは数分毎に情報更新を行っているものも用者とのインタフェースの役割を果たし，利用者少なくない．データマイニングシステムが情報収の要求に変化が生じた場合はそれをアクティブ集し，何らかの情報を発見したとしても，その情情報収集モジュールやアクティブマイニングモ報がすでに古いものであれば，それは利用者にとジュールに伝達する．って有用であるとはいえない．
以上のような三つのモジュールが互いに連携しあうこ
本論文では以上のような Web 情報源の特徴を考慮しとによりアクティブマイニングが達成される．

ながら，膨大な数の動的な情報源の中から利用者にと本論文ではこの中でアクティブ情報収集に焦点を絞り，って適切な情報源を選択し，その中から有用な情報を

2 節ではアクティブ情報収集システムに要求される機発見するのがアクティブマイニングシステムについて

能と関連研究について述べる．3 節では Web ページの議論する．アクティブマイニングシステムの構成は図差分情報を基づくアクティブ情報収集システム

1 に示される．3

Intelligent Ticker の構想について述べ，4 節でまとめとする．

図 2：HtmlDiff の出力画面

利用者はこのように頻繁に更新される情報源から効率

2. アクティブ情報収集システム

よく情報収集を行うことを望んでおり，そのような要アクティブ情報収集システムはインターネット上に存求に応えるいくつかのシステムが開発されている．

在する動的に変化する Web 情報源から利用者の要求

AT&T で 開 発 さ れ た AIDE (AT&T Internet

を満たす情報を効率よく収集し，さらにその変化を監Difference Enigne)4は WWW の変化を監視し，その視するシステムである．アクティブ情報収集システム

違いを表示するシステムである．この中で二つの Webに求められる機能は以下のようにまとめられる．

ページを比較し，その違いを表示する HtmlDiffaと呼ばれるモジュールが開発され公開されている．またそ情報監視機構の改良を行い，Java により実装したものとして

Web 情報源の特徴の一つは情報源が頻繁に更新されTopBlend5がある．

ることである．更新の頻度は情報源により異なるが，

Lawrence Livermore National Laboratory で開発さ大学のホームページのように 1 週間に 1 度程度しか更れている DataFoundrybは情報源の変化を発見し，デ新が行われないようなものから，新聞社のホームペーータウェアハウスのメンテナンスを行うシステムであジのように 1 時間に数回の更新が行われるようなもの

る．6,7ここでは科学データ源におけるデータベーススもある．さらには，株価，スポーツ中継，オークショ

キーマをグラフ表現し，データとスキーマの変化の検ン，道路情報などの情報提供サイトでは数分に一度の割合で更新が行われるものもある．

a http://www.research.att.com/~douglis/aide/b http://www.llnl.gov/casc/datafoundry/index.html

知する．従来，科学データベースにおいてスキーマ変できるならば有意義である．また，同種の情報源から更は頻繁に行われるが，それを手作業で行うにはコスの情報を組み合わせることも有用である．例えば，同トがかかっていた．情報源を定期的に監視し，自動的じ話題のニュースであっても，それが多くの情報サイにスキーマを変更しようとする試みである．

トで取り上げられているとすれば，そのニュースがよ

また INRIA では XML ベースのデータウェアハウスり重要であることが分かる．のためのデータ監視システム Xylemecが開発されていこのような情報統合機構を実現する場合には，情報収る．8集の質とコストを考慮する必要がある．12例えば，情これ以外にも情報源監視を連続的なクエリ報の質を収集した情報源の数で評価するとするならば，（continuous query）とみなすデータベースシステム

より高い質の情報を得るためには，より多くの情報源からのアプローチとして Oregon Graduate Instituteから情報収集する必要があり，より多くのコストが必の CONQUER 9 や University of Wisconsin の要になる．したがって一般には情報収集の質とコスト

NiagaraCQ10と呼ばれるシステムも開発されている．

はトレードオフの関係にあるといってよいであろう．
質とコストをうまくバランスをとりながら情報収集す

差分表示機構るためにはそのためのプランニング機構が必要になる．

Web 情報源の変化が検知されたとき，利用者はその変

このような目的で Massachusetts 大学では BIG と呼化が知らされるだけでなく，どのように変化したかをばれる情報収集エージェントが開発されている．13

分かりやすく知りたいという要求がある．このような目的にために前節で述べた HtmlDiff システムでは図２のように，二つの Web ページの違いを際立たせる

3. ア ク テ ィ ブ 情 報 収 集 ・ 統 合 シ ス テ ムIntelligent Ticker の構想

ために過去のデータには取り消し線を，新しいデータ頻繁に更新される情報源からの情報収集を考えた場合，はイタリックで表示させるようにしている．

一般に更新されるそれぞれの情報の量はそれほど大きくはない．例えば，新聞社のサイトにおいてそのトッ評価機構

プページは数分の単位で頻繁に更新されるが，更新さWeb 上には同様の情報を扱う情報源が多数存在する．

れる量は Web ページ中の数行である．テレビ等で行例えば，新聞社のホームページなどは多数あり，同様われるニュース速報にしても数行のテキストが画面のの情報を発信しているといえるが，その視点や頻度は上部に表示されるだけである．

それぞれ異なっている．利用者はより早く，より有用

我々はこのように少量で速報性のある情報オブジェクな情報を入手したいと望むであろう．これは複数の情トをTickerと呼び，それらをWeb情報源から収集し，報源を監視し，更新の早さや量を比較することにより，統合することで利用者の意思決定や問題解決を支援す情報源の近似的な評価を行うことが可能になると思わる Intelligent Ticker システムを提案する．

れる．

Intelligent Tickerは図3に示すように情報収集部と情報統合部から構成される．情報収集部は指定された統合機構

Web 情報源に対して，その変化を監視し，その変化が複数の Web 情報源から得られる情報を統合すること存在した場合は，その差分のみを Ticker と呼ばれる情はそれぞれの情報源の付加価値を高めることになる．

報オブジェクトを生成する．

11例えば，新聞サイトから東海道新幹線が運休するニ

ュースを入手した東京にいる旅行者が，航空会社のサ

情報統合部は複数の情報収集部で生成された Ticker

イトから羽田空港発の航空便の空席情報を直ちに入手を選択，組み合わせることにより利用者の意思決定や問題解決を支援する．利用者は情報統合部で得られた

c http://www.xyleme.com/index.jsp

Ticker を直接表示させることも可能である．

Web情報源

情報収集部1
利用者

Web情報源

情報収集部2

Web情報源

情報収集部n

情報統合部

図３：Intelligent Ticker の構成図

情報収集モジュールInternet

差分抽出モジュール(HtmlDiff)

WebBase

差分表示
モジュール

Browse図 4：情報収集部の構成
東京から大阪に旅行する．

新幹線を利用する．

航空機を利用する．

夜行バスを利用する．

ホテルに宿泊する．

NoYes

Unknown

Unknown

翌日，新幹線を利用する．

Unknown

翌日，航空機を利用する．

Unknown

図 ５：Ticker Integration Template

出された差分を表示するが,差分のみを表示するだけ
情報収集部

では，その文脈が取り去られてしまい差分の意味が理

情報収集部の構成は図４のようになっている．情報収解しにくくなってしまうことが考えられる．そこで集モジュールはインターネット上の情報源から定期的Web ページを構成する HTML 文書のタグの入れ子構に Web ページをフェッチし，WebBase に保存する．

造を解析し，差分の上位概念を示す構造は残すように差分抽出モジュールは利用者から WebBase に格納さしている．すなわち図５の例では，ニュースの差分だれている二つの Web ページの指定に対してその違い

けでなく，そのジャンルを表す「最新ニュース」，「社を抽出する．このモジュールは先述の HtmlDiff を利会」，「経済」といったヘッダ情報も表示されている．

用することができる．HtmlDiff はもともとの Web ペ

情報収集部は情報源の変化に対して Ticker を生成すージにタグを埋め込むことによりその違いを表示してる．Ticker は以下の要素から構成される．

いるが，差分表示モジュールでは図 5 のように，変化した部分だけを利用者に対して表示する．
差分表示モジュールでは差分抽出モジュールにより抽l

オブジェクト：更新された情報の断片そのもの．
テキストやハイパーリンクなどにより表現される．

動的情報源からのアクティブ情報収集」（課題番号l

タイムスタンプ：更新された時刻．

13131209）によるものである．

l

ロケーション：更新された情報の URL.

l

コンテキスト：更新された情報の文脈．

情報収集モジュールでは情報源の更新頻度を考慮した

参考文献
1 Klein, M.: XML, RDF, and Relatives. IEEE

Intelligent Systems 16:2, 26-28 (2001)
2 Fensel, D., Musen, M.A.: The Semantic Web: ABrain for Humankind. IEEE Intelligent Systems
1 回しか更新されないことが分かっている情報源に対16:2, 24-25 (2001)
して，1 時間ごとに情報収集したとしても無駄である． 3
元田浩：情報洪水時代におけるアクティブマイニン
したがって情報収集の操作を行いながら，情報源の更グの実現，科学研究費補助金「特定領域研究(B)」申請
書 (2001)
新頻度を学習し，それに応じて情報収集の間隔を変化
4 Douglis, F., Ball, T., Chen, Y.-F., Koutsofios, E.:させるような適応的な機能が必要になるであろう．
The AT&T Internet Difference Engine: Tracking
and Viewing Changes on the Web. World Wide Web,
1: 27-44 (1998)
情報統合部
5 Chen, Y.-F., Douglis, F., Huang, H., Vo, K.-P.:
情報収集部は一つの情報源を監視し，変化が生じたと
TopBlend: An Efficient Implementation of HtmlDiff
きに Ticker を発生するシステムである．情報統合部はin Java. In WebNet'00 (2000)
6 Adam, N., Adiwijaya, I., Critchlow, T., Musick, R.:
複数の情報収集部で発生する Ticker を選択し，統合すDetecting Data and Schema Changes in Scientificる．
Documents. In IEEE Advances in Digital Library
Ticker の統合には図に示されるような TIT (Ticker(2000)
7 Critchlow, T., Fidelis, K., Ganesh, M., Musick, R.,
Integration Template)が用いられる．この図では東京
Slezak, T.: DataFoundry: Information Managementから大阪に旅行する場合のプラン候補が示されている． for Scientific Data. IEEE Trans Inf Technol Biomed,
現在情報統合部は新幹線情報に関する Ticker と航空
4(1): 52-57 (2000)
8 Nguyen, B., Abiteboul, S., Cobena, G., Preda, M.:
便情報に関する Ticker を選択しており，現在新幹線はMonitoring XML Data on the Web. In ACM
満席で利用不可能，航空機は空席があり利用可能であSIGMOD (2001)
9 Ling Liu, Calton Pu, Wei Tang, and Wei Han.
るとする．ここで航空機が結構になったことを通知す
Conquer: A continual query system for update
る Ticker を受け取ると，新たに夜行バスに関するmonitoring in the www. International Journal of
Ticker を収集し，それが利用可能でない場合は，ホテComputer Systems, Science and Engineering, 14(2):99-112 (2000)
ルと翌日の交通手段に関する情報を収集する．もちろ
10 Jianjun Chen, David DeWitt, Fend Tian, andん，情報収集の途中で新幹線に空席が生じれば，夜行Yuan Wang. NiagaraCQ: A scalable continous query
バスやホテルに関する情報収集は停止してもよい．こsystem for the internet databases. ACM SIGMOD,
379 (2000).のように情報統合部では得られる Ticker の内容に応11 山田誠二，村田剛志，北村泰彦．知的 Web 情報シ
じて動的に情報収集の方法を変更してゆく．
ステム，人工知能学会誌，16(4):495-502 (2001)
12 北村泰彦，野田知哉，辰巳昭治．動的情報メディエ
4. まとめータのための知的情報収集手法，電子情報通信学会論アクティブ情報収集システムに要求される機能につい文誌 D-I, J84-D-I(8):1256-1265 (2001)
13 Lesser, V., Horling, B., Klassner, F., Raja, A.,てまとめ，Intelligent Ticker と呼ばれるアクティブ情
Wagner, T., Zhang, S.X.: BIG: An agent for
報収集システムの提案を行った．
resource-bounded information gathering anddecision making. Artificial Intelligence, 118(1-2):
197-244 (2000)
謝辞
情報アクセスが望まれる．すなわち，例えば，1 日に本研究は科学研究費補助金（特定領域研究(B)）
「分散