WWW 情報統合のための協調型アーキテクチャ
A cooperative architecture for WWW information integration
野田知哉，北村泰彦，辰巳昭治

Tomoya Noda, Yasuhiko Kitamura and Shoji Tatsumi
ftnoda,kitamura,tatsumig@kdel.info.eng.osaka-cu.ac.jp
大阪市立大学工学部情報工学科

Department of Information and Communication Engineering
Faculty of Engineering, Osaka City University
Abstract
The Internet has spread over our society, and the WWW has been widely used as a means of information
sharing. There are a number of information integration systems like search-engines on the WWW.
However as the number of the Internet users increases,the number and the complexity of their demands forinformation integraion will increase. In this paper, to satisfy these demands we propose a exible WWW
information integration system which can run even on a PC. Our agent-based cooperative architecture
makes the integration tasks exible and robust.

1 はじめには，文献，タンパク質のアミノ酸配列と立体構造，免疫系など の細胞構造といった多種多様なデータがデー
タベース化され，WWW で公開されている2 ．これら

今日インターネットは社会に急速に普及し ，我々の生活に欠かすことのできない基盤の１つになりつのデ ータベースは単独で使用するより，互いに 参照つある．中でも WWW は，学術研究，企業広告や電するとより有用であり，ハイパーリンクによるデ ー子商取引など 様々な目的で利用されている．これら

タの相互参照が行われている．

独で利用するのが 一般的であったが，複数の情報源には，多大な手間と時間がかかる．しかし ，情報統を組み合わせて利用することができれば ，その利用合システムによって，検索から結果をまとめるまで価値が高められる．このような情報統合の試みはすの一連の作業を自動的に行うことができれば ，利用の WWW 情報源はブラウザを介してアクセスし，単人間がブラウザを介して上記と同様の操作をするでにいくつかなされてきた．

者はわずかな操作で必要な情報を取得できる．このMetaCrawler1は複数の検索エンジンに同じ 条件

ように情報統合は，利用者の時間の節約と手間の軽で検索を行い，得られた複数の結果をまとめるメタ減ができる．

Metacrawler やゲ ノムデータベースでは，ハイパ検索エンジンである．その検索結果の質は，検索エンジンを単独で使うときと比較して向上している．またーリンクによって該当するページを利用者に示すペー

ShopBot[1] は，インターネット上にある複数のバージ単位の統合を行っている．一方，ShopBot は統合のチャルショップから価格など の商品情報を抽出し，そ対象となるページから必要とする部分だけを取り出して，それらをまとめている．ShopBot の様なペーれらをまとめて表示する．
学術研究の分野では，ヒト ゲ ノム計画のデ ータジより細かい単位での統合は，利用者の不要な部分ベース間で統合が行われている．ヒトゲノム計画でが取り除かれ，ページ単位の統合と比べて情報がよ 連絡先：大阪市立大学工学部情報工学科知識情報工学講座
1

り明確になる．

〒 558-8585 大阪市住吉区杉本 3-3-138

http://www.go2net.com/search.html

2

1

http://www.genome.ad.jp

ページの構成はぞれぞれの WWW 情報源独自のところで，先に紹介したシステムは，情報提供者，ものであり，１つの WWW ページに様々な情報情報利用者以外の第三者が統合を行っているために，それらの仕様はシステム開発者の決定した固定されが混在する．他には，FORM の入力パラメータたものである．そのため，利用者の要求する統合との仕様もそれぞれ独自のものであり，統一性がシステムの仕様が異なる場合，利用者の要求に応じない．

ることができない．このように第三者による情報統

半構造化情報: WWW 情報源は HTML を用いて情報合は，様々な利用者の要求に応じられないという点を表現するが，HTML は視覚構造を表現する言で限界がある．

語であり，文書の意味的な構造を表現するのに今後，インターネットの利用者は急増することがは適さない．そのため，機械的な解析によって予想され，利用者の情報統合に関する要求が多岐に必要な情報を取り出すことは困難である．

渡るのは避けられない．し たがって，様々な利用者

動的な WWW 情報源: WWW 情報源の発信する情の要求に応じ ることができる情報統合システムが必要になる．

報は，時間とともに内容や構造が更新される．

そこで本稿では，クライアント側で柔軟に WWW

様々な統合要求: 情報統合の対象とする WWW 情報情報源の統合を行ったり，利用者によって統合可能なWWW 情報源を追加することができる，エージェン
トベースの協調的な WWW 情報源統合システムを提源や，それらの組合せがそれぞれの利用者で異なる．

案する．

柔軟な情報統合を行うには，これらの問題に対処で

２章では，WWW 情報統合と我々の提案する情きるシステムが必要になる．

報統合システムの概要を述べ，３章では WWW エー

まず，WebL[2] や MetaCommnader[3] の様なスクリプト，あるいは Java の様な言語による情報統合処

ジェントの機能について説明する．４章ではメッセー
ジの参照や，統合について述べる．５章では，統合可理の記述を考えてみる．スクリプトはその自由な表現

能な WWW 情報源を増やす方法について提案する．

2

力で，ページより細かい単位での抽出が可能で，個々の利用者の要求に応えることができる．しかし ，以WWW 情報統合

下のような欠点を持つ．

 利用者の要求が変化すると，スクリプト 全体を修正する必要があり，柔軟性を持たない．

本論文において，WWW 情報統合とは，以下の操作によって利用者の要求する情報を得ることを指す．

 動的な WWW 情報源が原因で，スクリプトの想定しているページ構造と実際の構造にずれが生じると，その WWW 情報源からの抽出ができな
くなる．

抽出: WWW 情報源にアクセスし ，そこから必要な情報を取り出す．
統合: 複数の情報源で得られた情報を，利用者の指定した条件で１つにまとめる．あるいは，あるWWW 情報源で得た情報を用いて，別の WWW 利用者がスクリプトに関する知識を持たないと，抽出処理を記述できない．

情報源にアクセスする．

このように，スクリプトによる WWW 情報統合は柔保存・表示: 抽出や統合の結果をファイルに保存した

軟性や頑健性に問題があり，他の手段を考える必要り表示する．

がある．

このような情報統合を考えると以下の問題点がある．

そこで我々は，図１に示されるエージェントベー

自律分散した情報源: WWW 情報源は インターネッ

スのシステムを提案する．まず，情報統合の処理機ト上に分散して存在し，その運営や管理は個別に能を独立性の高い機能に分解し ，それぞれの機能を行われている．情報源へのアクセスは，ブラウザ担当するエージェントを用意する．エージェントのによるアクセスを想定しており，情報抽出や統合交換を可能にするために ，エージェントの入出力イを前提としている情報源は少ない．また，WWWンタフェースを統一する．エージェントは独立性が2

<result><hits>10</hits><item><title>大阪市立大学ホームページ </title><url>http://www.osaka-cu.ac.jp</url><score>94%</score><size>4369</size><update>98/11/18</update><description>2 月 2 日より大学の郵便番号が 5588585(杉本キャンパス )，545-...</descrition></item><!-- 2 件目以降の記述 --></result>

Client machine
Input / Output
agent

integration agent

integration agent

WWW agent

WWW agent

WWW agent

図 2: メッセージの例

WWW agentInternetWWW resource

WWW resource

WWW resource

出を目的とし てい るが ，HTML 構造は それぞれのWWW 情報源で 異なり，機械的な抽 出は困 難である．よって，それぞれの WWW 情報源に対し ，個別に WWW エージェントを提供するのが適当といえる．

WWW resource

図 1: エージェントによる情報統合

次に，エージェントの出力する情報の表現形式について考える．統合を行うには，出力されたデ ータ

高く，あるエージェントの交換は他のエージェントにがそれぞれど のような意味を持つかを指定する必要影響しにくく，エージェントの再利用性が高まる．こがある．例えば，あるエージェントが数字を出力しうして，機能を分担したエージェントを自由に組みても，受信側ではそれが何を意味しているか (値段，合わせることができ，様々な統合要求に応えられる．

重さ，得点など ) を知ることはできない．そのため，次に，どのようなエージェントが必要かを考える．

情報統合は，WWW 情報源からの情報抽出，利用者データに意味情報を付加する必要がある．そこで，出の指定し た条件による複数の抽出情報の統合，統合セージと呼ぶ．XML は要素をタグを用いて表す汎用

力情報はその表現形式を XML とし ，以降これをメッ

結果のファイルへの保存の手順を組み合わせて実現的なデ ータ記述言語である [4]．メッセージの例を挙される．そこで，統合処理機能を抽出，統合，保存のげると，典型的な検索エンジンを対象とする WWW

独立性の高い３つの機能に分解し ，それぞれのエーエージェントでは，図２の様に検索エンジンの検索ジェントを提供する．

結果を構造化したメッセージを出力する．

HTTP を介して WWW 情報源にアクセスし，得られた WWW ページから必WWW エージェント :メッセージの送信先 (あるいは受信元) のエージェントを特定するために ，リンクを定義する．リンク

要な情報を抽出する．抽出結果は，意味情報をは２つのエージェント 間に接続され，メッセージは付加して構造化を行う．

単方向のみに流れる．また，１つのエージェントから統合エージェント : WWW エージェントの収集した複数のエージェントへリンクを接続することも可能

複数の情報を，利用者の指定した条件で１つにで，このとき メッセージは複製されて各々の出力先まとめる統合を行う．のエージェントへ送られる．エージェントはメッセー
ジを受信すると，それを参照し てそれぞれ固有の処

入出力エージェント : 統合結果のファイルへの保存理を行う．その結果，新たな メッセージが作成されや，利用者の要求の送信など を行う．

ると，新しいメッセージは更にリンクを介して別のWWW 情報源からの情報抽出を考えると，WWWエージェントへ送られる．このように メッセージの情報源は，先に述べたように自律分散的であり，そ送受信を繰り返して，統合処理を行う．

WWW 情報源からページより細かい単位で情報抽WWW エージェント，統合エージェント，入出力エー

れぞれの WWW 情報源は独立性が高い．本稿では，

こ う し て ，WWW 情 報 源 に 個 別 に 対 応し た3

を提案する (図１)．また，エージェントとそれらを結

2. では，あらかじ めスクリプトで記述された抽出手順に従って情報の抽出を試みる．しかし ，WWWぶリンクの集まりを，統合ネットワークと呼ぶ．

情報源は 時間ととものその内容や構造が変化する．

ジェントから 構成される，情報統合を行うシステム

3

情報抽出

3.1

抽出手段

そのため，WWW エージェントの抽出手順と実際のWWW ページの構造にずれが生じ て，一部 (あるいはすべて) の情報が抽出できなくなることがある．

3. では 2. で抽出された情報の型を確認する．なぜある WWW 情報源からの情報抽出の手段として，なら，抽出で得られた結果文字列に意図しない文字 正規表現によるパターンマッチングし まうことがあるからである．このような誤った抽 WWW ページを木構造とみなし ，ツリーマッチングを行う

出に対応するために，抽出情報の型を確認する．型には，文字列，符号つき整数，符号なし 整数，符号つ 文脈自由文法

らかじめ指定しておいた型に一致するかを確認する．

列が含まれていたり，まったく別の部分を取り出してき小数，符号なし 小数を用意し ，抽出情報の型があもし 型が一致しなければ，その情報は出力しない．

 スクリプト言語

4. ではこうして得られた情報を XML に変換し てメッセージを作成し ，WWW エージェントの出力となどが考えられる．しかし ，正規表現では表現不可能なデータ構造がある．例えば，aibi j(i > 1) の様に反する．

復回数の記憶を必要とするデータ構造を表現することはできない．ツリーマッチングや文脈自由文法につ3.3差分の利用いても，その表現能力に限界があり，これらの問題点は [2] で指摘されている．WebL や MetaCommander

利用者の本システムの利用方法の１つに，固定さといった，HTML 文書からの情報抽出を目的とし た

れた統合ネット ワークで，定期的にその処理結果をスクリプト言語が存在するように，WWW エージェ確認する利用方法が考えられる．例えば ，複数の新ントが情報抽出を行うには，スクリプト言語を使用聞社の WWW ページから毎朝トップ記事を集める処するのが適当といえる．

理が挙げられる．このような場合，利用者は前回にアクセスしたときに得られた情報と，今回得られた3.2情報で，異なっている部分 (更新された部分) に特に抽出手順注目すると考えられる (以降，差分と呼ぶ)．しかし ，WWW エージェントは，以下の手順で WWW 情

大規模なデ ータベースで検索すると，大量の件数の報源から情報抽出を行う．

結果を出力することがあり，人間がここから 差分を

1. WWW 情報源にアクセスする．

見付けるのは時間がかかり，見落とす可能性も高い．
そこで 出力結果の内，差分のみを利用者に提示する

2. 情報抽出を行う．と，利用者の時間を節約したり，手間を軽減できる．
この処理は，利用者が差分の取得を希望する WWW

3. 抽出された情報の型を確認する．

エージェントで，先に述べた抽出手順の 3. と 4. の間

4. 最終的に得られた結果を XML で表現し，メッセで行われる．

ージとし て出力する．

1. で，対象とする WWW 情報源に HTTP を介してアクセスし，WWW ページを得る．ところが，ネットワークの混雑や，サーバの混雑などで，WWW 情報源にアクセスできないときがある．このとき，WWW

4

統合操作
メッセージは，エージェント間での情報伝送に用いられ る．メッセージは各種エージェントの出力する意味構造を保持するために，その形式を XML とすエージェントは，再度アクセスを試みる．もし ミラーる．検索エンジンを対象とする WWW エージェント

サーバがあれば，そちらのアクセスも試みる．

4

であれば ，図 2 の様なメッセージを出力する．各種

代表タグ

エージェントは受信したメッセージを参照したり，要素の追加や削除といった処理を行う必要があり，その表現手段とし て SQL を用いることとする．
4.1

派生タグ

price
cost, fare, 価格, 値段 . . .
university
univ, college, 大学, . . .
carmotorcar, automobile, 自動車, . . .

SQL による記述

図 3: 同義タグ リスト

最初に 特定の要素の指定方法について述べる ．

XML は 木構造をし ていると見ると，タグ 名を根か照したり，ある要素の持つデ ータを参照する必要がら順に指定することで要素の特定が出来る．ここでは，その書式を tag1:tag2 の様にする．図 2 の例で urlある．ここでは，複数のメッセージを統合するときに発生する 2 つの問題について述べる．

を指定するには result:item:url と記述し，10 件の要素を得る．こうして特定の要素を指定できる．

次に SQL による参照について下の簡単な例を挙

4.2.1

タグ 名の不一致

XML はタグにより構造を管理し ，タグ名ですべげて述べる．

SELECT result:item:url; result:item:title
FROM AGENT
WHERE result:item:score  75ての要素を参照できる．ところで，後述する利用者にFROM 行では メッセージを指定するために入力元とWWW エージェントによりそのタグ名が異なる可能性がある．例えば，値段を表すタグに "price" ,"sales"," 値段" ," 価格" といった名前を付加することは何らよる WWW エージェントの開発が原因で問題が発生する．WWW エージェントの出力要素の名前は開発者が自由に決定するので，同じ意味のタグであってもなるエージェントを指定する．上の例では，エージェ

ント AGENT から送られて来たメッセージを指す．
次に WHERE 以下の条件を満たす部分木を探す．該

不自然ではない．ところが，統合エージェントでタグ当する部分木の中で， SELECT で指定した要素を取を参照する際に，これらのタグは別のタグとし て扱われ，利用者の意図する結果を得ることが出来なくり出す．
複数のメッセージをまとめる統合は，結合質問を行なる．そこで タグ 名が異なっていても対処できるよ

方の結果に含まれ，両方のスコアが 50 以上の WWW

ストの各項は代表タグと，複数の派生タグから 構成

うに，同義タグリストを用意する (図 3)．同義タグリ

うことに相当する．２つの検索エンジン A と B で，両ページの URL とページタイトルを取り出したい場合

され ，派生タグは代表タグと同じ 名前とみなす．図３の例で，メッセージに item:sales という項目があには，次の SQL で実現できる．

SELECT
FROM
WHERE
ANDAND

れば，それは item:price と読み換える．同義タグ リ

A:result:item:url; A:result:item:title
A; BA:result:item:url = B:reult:item:url
A:result:item:score  50
B:result:item:score  50

ストによるタグ 名の読み換えは SQL による統合処理の直前に行う．また XML では，タグ名の大文字と小文字を区別するので， \price" と"Price" は区別される．これらも同一とみなすのが望ましいので ，アルファベットは小文字に統一する．以上の結果，同じ意味のタグでその名前が WWW エージェント毎に異なっていても統合等の処理が可能になる．

また，入れ子質問の様なより複雑なクエリーや，更新 (INSERT) や削除 (DELETE) も同様に表現することが出来る．
4.2

4.2.2

略称等の問題WWW エージェントの抽出する情報の書式は，抽データ照合に関する問題

出元の WWW 情報源の表現方法に従い，XML では

複数のメッセージの統合を行うには，メッセージすべてのデ ータを文字列とし て扱う．そのため同じに含まれる特定の要素を指定するためにタグ 名を参意味の文字列であっても，その表現が異なることが5

ある．例えば ，1000 円を表す文字列に ，"1000 円",スクリプトの記述はやさしいとはいえない．そのた"1,000yen" ," 千円" など が考えられ，文字列とし て見るとこれらはすべて異なるが，数字 (値段) としてめ，WWW エージェントを開発できる人間が限られてしまう．そこで，スクリプトの知識を持たなくても，式名称の他に複数の略称があるが，これらを同一のWWW エージェントを開発できる環境が必要になる．
[5] では利用者がシステムにどの情報を抽出するかを例ものとし て扱う必要がある．略称等の問題を解決す示することで，抽出の記述を試みている．この方法は見ると同じ 意味を持つ．他には ，会社や大学名は正る案の１つとして，同義タグ リストと同様に代表名"Demonstration-oriented User Intersace"(DoUI) とと，派生名から構成されるリストを用いる方法が考呼ばれている．

えられる．

また派生タグリストによって，タグ名の読み換えを行っているが，すべての組合せを羅列するのは無5 エージェント の共有と再利用理がある．この対策とし ては ，類義語辞書を用いた
り，２つの文字列が同じ 意味を持つかを推測し たりある WWW 情報源から情報抽出をするには，そのする機能が考えられる．

情報源に対応した WWW エージェントが必要である．
逆に言うと，対応する WWW エージェントがなけれ謝辞

ば，その情報源は統合の対象にできない．本システ
ムの様に WWW 情報源に個別に対応するシステムで本研究の一部は，文部省科学研究補助金特定領域研究 A(1)「ゲノムサイエンス」(課題番号 08283103)

は，いかに多くの WWW 情報源を統合の対象にできるかが，重要な課題の１つと言える．そこで，WWWによるものである．

エージェントの利用者による開発と，それらの共有を提案する．

参考文献

利用者が自由に WWW エージェントを開発でき[1] Robert B. Doorenbos, Oren Etzioni andDaniel S. Weld, A Scalable ComparisonShopping Agent for the World-Wide Web,Proc. 1st International Conference on Autonomous Agents,39-48(1997).

ると，統合可能な範囲が拡大し ，利用者に利便性をもたらす．しかし ，利用者が WWW エージェントを開発できても，個人の力では開発できる WWW エー

ジェントには限りがある．そこで，個々の利用者が開発した WWW エージェントを，すべての利用者の間で共有すると，統合可能な WWW 情報源は個人の[2] Thomas Kistler, Hannes Marais, WebL - a programming language for the Web, Proc. of 7th
WWW Conference(1998).

ときのそれと比べて増加する．

6 まとめ[3] 北村泰彦，野崎哲也，辰巳昭治，スクリプトに基づく WWW 情報統合支援システムとゲノムデー

クライアントマシンで WWW 情報統合を行うアーキテクチャについて述べた．WWW 情報統合に必要タベースへの応用，電子情報通信学会論文誌，

J81-D-I(5):451-459(1998).

な機能をエージェントに分解し ，それらを組み合わせることで WWW 情報統合を行うことができる．ま[4] XML/SGML サロン . 標準 XML 完全解説, 技術評論社 (1998).

たエージェントは再利用可能であり，エージェントの組合せを変えたり，参照する入力パラメータを変化[5] Craig A. Knoblock, Steven Minton, JoseLuis Ambite etc, Modeling Web Sources forInformation Integration, Proc. 15th National Conference on Arti cial Intelligence, 211218(1998).

させることで ，様々な統合要求に応えることが出来る．利用者による WWW エージェントの開発とそれらの共有は，統合可能な範囲を拡大させる．

今後の課題としては，WWW エージェント開発支援が挙げられる．本システムでは，スクリプトを用いて抽出処理を記述するが，計算機の非専門家にとって，6