(57)【特許請求の範囲】
【請求項１】
情報提供者が提供する閲覧文書から、該閲覧文書の構造・形式に依らないサービス提供用のデータベースを構築するためのコンテンツ属性情報正規化方法であって、
情報提供者が提供する、閲覧文書中の文字列をタグでマークアップすることで、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報の含まれる文書ファイルを収集するステップと、
前記収集した文書ファイルについて、文字コードを正規化するステップと、
前記文字コードが正規化された文書ファイルから、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を抽出するステップと、
前記抽出された閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を、サービス提供に適した構造・形式に正規化するステップ（以下、属性正規化ステップ）と、
前記正規化されたコンテンツ属性情報をコンテンツデータベースにコンテンツ単位に格納するステップとを有し、
前記属性正規化ステップは、
前記抽出されたコンテンツ属性情報について、コンテンツの展開、属性名の正規化、属性の分割、他属性への変換を行って、閲覧文書に合わせた構造をサービス提供に適した構造に正規化するステップと、
前記構造が正規化されたコンテンツ属性情報について、文字表現形式の正規化、数値表現の正規化を行うステップと、
を含むことを特徴とするコンテンツ属性情報正規化方法。
【請求項２】
請求項１記載のコンテンツ属性情報正規化方法において、属性正規化処理の正規化ルールとして、分野非依存・属性非依存ルール、分野依存・属性非依存ルール、分野非依存・属性依存ルール、分野依存・属性依存ルールを備え、コンテンツ分野と属性名で管理することを特徴とするコンテンツ属性情報正規化方法。
【請求項３】
情報提供者のＷｅｂサイト、ホスト装置、ユーザ端末がネットワークを介して接続された情報収集・サービス提供システムにおいて、
ホスト装置は、
ネットワーク上に分散配置されたＷｅｂサイトの情報提供者が提供する、閲覧文書中の文字列をタグでマークアップすることで、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報の含まれる文書ファイルを収集する自動情報収集手段と、
前記収集した文書ファイルについて、文字コードを正規化し、該文字コードが正規化された文書ファイルから、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を抽出する属性抽出手段と、
前記抽出された閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を、サービス提供に適した構造・形式に正規化する属性正規化手段と、
前記正規化されたコンテンツ属性情報をコンテンツ単位に蓄積するコンテンツデータベースと、
前記コンテンツデータベースに蓄積されたコンテンツ属性情報を使用して、ユーザ端末からの要求に対してサービスを行うサービス提供手段とを備え、
前記属性正規化手段は、前記属性抽出手段で抽出されたコンテンツ属性情報について、コンテンツの展開、属性名の正規化、属性の分割、他属性への変換を行って、閲覧文書に合わせた構造をサービス提供に適した構造に正規化し、該構造が正規化されたコンテンツ属性情報について、文字表現形式の正規化、数値表現の正規化を行うことを特徴とする情報収集・サービス提供システム。
【請求項４】
請求項３記載の情報収集・サービス提供システムにおいて、ホスト装置は、更に、正規化処理の正規化ルールとして、分野非依存・属性非依存ルール、分野依存・属性非依存ルール、分野非依存・属性依存ルール、分野依存・属性依存ルールを備え、コンテンツ分野と属性名で管理することを特徴とする情報収集・サービス提供システム。
【請求項５】
情報提供者が提供する閲覧文書から、該閲覧文書の構造・形式に依らないサービス提供用のデータベースを構築するためのコンテンツ属性情報正規化プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
情報提供者が提供する、閲覧文書中の文字列をタグでマークアップすることで、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報の含まれる文書ファイルを収集する処理と、
前記収集した文書ファイルについて、文字コードを正規化する処理と、
前記文字コードが正規化された文書ファイルから、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を抽出する処理と、
前記抽出された閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を、サービス提供に適した構造・形式に正規化する処理（以下、属性正規化処理）と、
前記正規化されたコンテンツ属性情報をコンテンツデータベースにコンテンツ単位に格納する処理とを有し、
前記属性正規化処理は、
前記抽出されたコンテンツ属性情報について、コンテンツの展開、属性名の正規化、属性の分割、他属性への変換を行って、閲覧文書に合わせた構造をサービス提供に適した構造に正規化する処理と、
前記構造が正規化されたコンテンツ属性情報について、文字表現形式の正規化、数値表現の正規化を行う処理とを含み、
これら処理をコンピュータで実行するためのプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ネットワーク上に分散したコンテンツ情報を自動収集し、検索サービス等に再利用する技術に係り、詳しくは、複数のＷｅｂサイトから収集したコンテンツ情報を統合・整理し、検索サービス等に必要な属性を抽出・正規化する方法、それを適用した検索エンジンなどの情報収集・サービス提供システム、並びに、コンテンツ属性情報を正規化するプログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
ネットワーク上に分散したコンテンツ情報を自動収集して検索サービス等に再利用するための、二、三の一般的な従来技術を以下に示す。
【０００３】
図２４はコンテンツ属性情報を考慮しない検索エンジンシステムを示す。図において、２４００は検索エンジン、２４１０はネットワーク、２４２０は該ネットワーク上に分散配置されたＷｅｂサイト、２４３０はユーザ端末である。Ｗｅｂサイト２４２０は、情報提供者（ＩＰ）の用意した閲覧用文書ファイル（一般的にはＨＴＭＬで記述）を保持している。検索エンジン２４００は、制御部２４０３の制御で、自動情報収集部２４０１にてネットワーク２４１０上のＷｅｂサイト２４２０を巡回して閲覧用文書ファイル（ＨＴＭＬ文書）を収集し、解析部２４０２にて、該文書ファイルを解析して、ページ単位で要約情報、キーワードインデックス等を作成し、該ページ単位の情報をコンテンツデータベース（コンテンツＤＢ）２４０４に格納する。一方、検索部２４０５では、ユーザ端末２４３０から検索要求があると、コンテンツＤＢ２４０４を検索し、検索結果をユーザ端末２４３０へ返送する。ユーザ端末２４３０のユーザは、該検索結果を元に、必要ならＷｅｂサイト２４２０の文書ファイルを直接閲覧する。
【０００４】
図２５に、該従来技術で対象とする文書ファイル（ＨＴＭＬ文書）の構造を示す。また、図２６に具体例として、ＨＴＭＬ言語で記述された商品カタログの一例を示す。図２５（ａ）や図２６に示すように、対象とする文書ファイル（ＨＴＭＬ文書）には、複数のコンテンツが格納されており、区切りが不明確、コンテンツの分野も不明確であり、また、コンテンツの属性情報は文章の中に含まれている。解析部２４０２は、該文書ファイルを自然言語解析などして必要情報を抽出するが、低い精度でしか抽出できず、コンテンツＤＢ２４０４には各ページが雑多に格納されることになる。図２５（ｂ）に示すように、文書はツリー構造で表すことができるが、閲覧用の文書（ＨＴＭＬ文書）は、閲覧スタイル、もしくは文章の論理構造に基づき、構造化されているため、サービス提供（検索サービス）に適した属性情報をそこから抽出することは難しい。
【０００５】
図２７は、コンテンツ属性情報が固定的な自動収集分類システムを示す。図において、２７００は情報自動収集分類装置、２７１０はネットワーク、２７２０は該ネットワーク上に分散配置されたＷｅｂサイト、２７３０はユーザ端末である。本従来例では、Ｗｅｂサイト２７２０に、文書本体（ＨＴＭＬ文書）とは別にコンテンツ属性情報を用意する。図２８に、本従来技術が対象とする文書の構成例を示す。なお、閲覧用文書中の文字列をコンテンツ属性情報としてタグでマークアップして、閲覧用文書中にコンテンツ属性情報を含ませることも可能である。
【０００６】
情報自動収集分類装置２７００では、制御部２７０４の制御下で、自動情報収集部２７０１にてネットワーク２７１０上のＷｅｂサイト２７２０を巡回して該当ファイル（文書ファイル、属性情報ファイル）を収集し、分離部２７０２にてコンテンツ属性情報を分離し、属性抽出部２７０３にてコンテンツ属性情報を解釈し、該コンテンツ属性情報をほぼそのままコンテンツＤＢ２７０５に格納する。サービス提供部２７０６の動作は、図２４の検索部２４０５と同様である。本従来例では、コンテンツ属性情報を閲覧情報とは別に用意するので、サービス提供に便利なような構造とすることができる。
【０００７】
図２９は、コンテンツ属性情報を閲覧用タグ及び文字列と対応づける自動収集分類システムを示す。図において、２９００は情報自動収集分類装置、２９１０はネットワーク、２９２０は該ネットワーク上に分散配置されたＷｅｂサイト、２９３０はユーザ端末である。本従来例は、図２４の検索エンジンシステムと同様にＷｅｂサイト２９２０には閲覧情報のみの文書ファイル（ＨＴＭＬ文書）を用意するが、情報自動収集分類装置２９００内に、あらかじめ閲覧用文書ファイルの中の閲覧用タグ、及び文字列とコンテンツ属性との対応ルール２９０４を保持しておき、これを参照して閲覧文書からコンテンツ属性の抽出を可能にするものである。対応ルール２９０４としては、例えば、「円」という文字の前には必ず「価格」が出現するなどというルールを作っておく。
【０００８】
情報自動収集分類装置２９００では、制御部２９０３の制御下で、自動情報収集部２９０１にてネットワーク２９１０上のＷｅｂサイト２９２０を巡回して閲覧用文書ファイル（ＨＴＭＬ文書）を収集し、属性抽出部２９０２にて、文書ファイル中の文字列、及び閲覧用の構造を表わすタグと属性との対応ルール２９０４を参照して、コンテンツ属性情報を文書ファイル中から抽出し、コンテンツＤＢ２９０５に格納する。サービス提供部２９０６の動作は、図２４の検索部２４０５と基本的に同様である。本従来例では、コンテンツ単位（例えば、商品単位）で属性情報をコンテンツＤＢ２９０５に格納することができるため、コンテンツ分野指定検索、属性検索、関連付け検索が可能である。
【０００９】
次に、属性情報設定装置について説明する。属性情報設定装置とは、テキスト情報中の文字列をマークアップすることで、コンテンツ属性情報を設定する装置である。一般の構造化文書作成装置（例えば、ＳＧＭＬエディタと呼ばれるもの）も同等の機能を持っている。
【００１０】
図３０は従来の属性情報設定装置のブロック図を示したもので、全体メニュー部３００１、属性設定部３００２、属性削除部３００３、属性範囲変更部３００５、ファイル入力部３００６、ファイル出力部３００７、構造検証部３００８等で構成される。ファイル入力部３００６から対象となる文書ファイルを入力し、全体メニュー部３００１のエディタ画面を見ながら、属性設定部３００２、属性削除部３００３、属性変更部３００４、属性範囲変更部３００５等の機能を利用してコンテンツ属性情報の設定、削除、変更、範囲変更を実施し、ファイル出力部３００７から出力する。文書オブジェクトは閲覧用タグとコンテンツ属性用タグを区別しないで管理し、構造検証部３００８で検証する。
【００１１】
図３１は、属性タグ付き文書（一般にはＸＭＬ文書）の閲覧用文書構造とコンテンツ属性情報の概念図である。図中、白丸が閲覧用タグ、黒丸がコンテンツ属性用タグを示している。従来の属性情報設定装置３０００の構造検証部３００８では、閲覧用文書とコンテンツ属性情報を同一に管理するため、例えば親子関係までしか検証できない場合には、白丸と黒丸相互には文法的な制限が存在せず、白丸同士黒丸同士には制限がある場合でも、検証できない場合がある。したがって、制限を緩くすることになってしまい、有効な文法検証ができない。
【００１２】
【発明が解決しようとする課題】
上記従来技術において、コンテンツ属性情報を考慮しない検索エンジンシステムには次のような問題がある。
(１)  文書内のコンテンツ（例えば、商品情報）の区切りが不明で、ページ単位で分類、ページ単位でしか検索できない。
(２)  コンテンツの分野を指定できず、検索結果にノイズが多い。例えば、「日本酒が買いたい」と考え、キーワード「日本酒」で検索すると、日本酒の通販だけでなく、日本酒好きの人のウンチクなどまで検索されてしまう。
(３)  コンテンツの属性（たとえば、商品の価格、色など）が認識できない。したがって、属性による検索はできない。例えば、「３０００円以下の日本酒」という検索は不可能である。また、情報の再利用が困難である。即ち、属性を利用して他のＤＢと関連づけることができない。
【００１３】
これに対して、コンテンツ属性情報が固定的な自動収集分類システムでは、文書内あるいはその文書とは別にコンテンツ属性情報が用意され、システムが属性情報を取得できることから、コンテンツ単位での分類が可能、コンテンツの分野を指定した検索が可能、コンテンツの属性による検索が可能（例：「３０００円以下の日本酒」という検索が可能）、コンテンツの属性を利用した他のデータとの関連付けが可能であり、コンテンツ属性情報を考慮しない検索エンジンシステムの問題点をほぼ解消している。
【００１４】
しかしながら、このコンテンツ属性情報が固定的な自動収集分類システムでは、閲覧用の文書の構造・表現形式とサービス提供に適した属性情報の構造・形式は一般に一致しないため、次のような問題点があらたに生じる。
(１)  閲覧用文書とは別にコンテンツ属性情報を用意する場合（いわゆるメタデータと呼ばれる情報）、文書ファイルを直接閲覧した情報と、自動収集して得た情報が一致しない別能性がある。特に、複数のコンテンツについて記述した文書ファイルの場合（商品カタログなど）、二重にその情報を記述することになり、その可能性が高い。
(２)  閲覧用文書中の文字列をコンテンツ属性情報としてタグでマークアップする場合（これはＸＭＬの一般的な使い方）、文書ファイル中の文書構造・記述形式を制限するか、逆にサービス提供の情報を文書ファイル中の文書構造・記述形式と同一にしなくてはならない。
特にＸＭＬをそのまま利用するだけでは、同一のコンテンツに対する属性の付与の仕方、属性の名称、記述形式等が作成者によって異ったり、他のサービスへ適用するのに適した属性が付与されている保証がない。即ち、複数の計算機（サイト）から収集した文書を他のサービスの提供を考慮した共通の構造形式（ＤＢテーブル等）に格納することができない。
【００１５】
一方、コンテンツ属性情報を閲覧用タグ、及び文字列と対応づけるシステムでは、閲覧文書ファイル内には閲覧情報のみ格納し、その中の閲覧用タグ、及び文字列とコンテンツ属性との対応ルールをシステムがあらかじめ保持しておき、これを参照して閲覧文書からコンテンツ属性を抽出する。このため、対応ルールが正しいという条件の元では、コンテンツ属性情報を考慮しない検索エンジンシステムの問題点は解決できる。また、コンテンツ属性情報が固定的な自動収集分類システムの上記（１）の問題も存在しない。
しかしながら、閲覧用文書が対応ルールに従わなくてはならない、という制約が必要であり、その閲覧文書の構造に強い制約が生じてしまう。商品カタログなどの場合には、消費者に対しての表現の自由が制限されてしまい、大きな問題となる。これは、コンテンツ属性情報が固定的な自動収集分類システムの上記（２）と同等の問題である。
【００１６】
次に、従来の属性情報設定装置には次のような問題がある。
(１)  一般ユーザが閲覧した際の結果は見ることができるが、自動収集・分類装置などが属性を抽出・正規化（構造、値形式）処理を行った結果を見る機能は持っていないので、データ作成者はデータがどのように利用されるかを知ることができない。
(２)  閲覧用タグとコンテンツ属性用のタグを区別して管理していないため、タグの構造検証が煩雑になる。図３１でも示したように、一般に閲覧用タグ同士、コンテンツ属性用タグ同士の制限は比較的強いが、閲覧用タグとコンテンツ属性用タグの間には緩い制限しかないことが多い（たとえば、ＸＭＬ言語における適性形式としての制限程度）。その場合、それぞれを区別して管理していないため、親子関係までしか検証できない構造検証部では、全体の制限としては緩い制限にせざるをえず、有効に機能しない。
【００１７】
本発明の目的は、上記従来技術の問題点を解決して、ネットワーク上に分散したコンテンツ情報を、単なる閲覧以外に自由に再利用可能とするサービスを実現することにある。
【００１８】
より詳しくは、本発明の目的は、サービス提供時の情報形式と情報提供者の用意した閲覧用文書の構造形式とを自由に設定可能として、ネットワーク上に分散したコンテンツ情報を自動収集し、情報提供者の閲覧用文書の構造・形式に縛られることなく、サービス提供用データベースの構築を可能とすることにある。
【００１９】
【課題を解決するための手段】
請求項１の発明は、情報提供者が提供する閲覧文書から、該閲覧文書の構造・形式に依らないサービス提供用のデータベースを構築するためのコンテンツ属性情報正規化方法であって、
情報提供者が提供する、閲覧文書中の文字列をタグでマークアップすることで、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報の含まれる文書ファイルを収集するステップと、
前記収集した文書ファイルについて、文字コードを正規化するステップと、
前記文字コードが正規化された文書ファイルから、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を抽出するステップと、
前記抽出された閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を、サービス提供に適した構造・形式に正規化するステップ（以下、属性正規化ステップ）と、
前記正規化されたコンテンツ属性情報をコンテンツデータベースにコンテンツ単位に格納するステップとを有し、
前記属性正規化ステップは、
前記抽出されたコンテンツ属性情報について、コンテンツの展開、属性名の正規化、属性の分割、他属性への変換を行って、閲覧文書に合わせた構造をサービス提供に適した構造に正規化するステップと、
前記構造が正規化されたコンテンツ属性情報について、文字表現形式の正規化、数値表現の正規化を行うステップとを含むことを特徴とする。
【００２０】
また、請求項２の発明は、請求項１記載のコンテンツ属性情報正規化方法において、属性正規化処理の正規化ルールとして、分野非依存・属性非依存ルール、分野依存・属性非依存ルール、分野非依存・属性依存ルール、分野依存・属性依存ルールを備え、コンテンツ分野と属性名で管理することを特徴とする。
【００２１】
請求項３の発明は、情報提供者のＷｅｂサイト、ホスト装置、ユーザ端末がネットワークを介して接続された情報収集・サービス提供システムにおいて、
ホスト装置は、
ネットワーク上に分散配置されたＷｅｂサイトの情報提供者が提供する、閲覧文書中の文字列をタグでマークアップすることで、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報の含まれる文書ファイルを収集する自動情報収集手段と、
前記収集した文書ファイルについて、文字コードを正規化し、該文字コードが正規化された文書ファイルから、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を抽出する属性抽出手段と、
前記抽出された閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を、サービス提供に適した構造・形式に正規化する属性正規化手段と、
前記正規化されたコンテンツ属性情報をコンテンツ単位に蓄積するコンテンツデータベースと、
前記コンテンツデータベースに蓄積されたコンテンツ属性情報を使用して、ユーザ端末からの要求に対してサービスを行うサービス提供手段とを備え、
前記属性正規化手段は、前記属性抽出手段で抽出されたコンテンツ属性情報について、コンテンツの展開、属性名の正規化、属性の分割、他属性への変換を行って、閲覧文書に合わせた構造をサービス提供に適した構造に正規化し、該構造が正規化されたコンテンツ属性情報について、文字表現形式の正規化、数値表現の正規化を行うことを特徴とする。
【００２２】
請求項４の発明は、請求項３記載の情報収集・サービス提供システムにおいて、ホスト装置は、更に、正規化処理の正規化ルールとして、分野非依存・属性非依存ルール、分野依存・属性非依存ルール、分野非依存・属性依存ルール、分野依存・属性依存ルールを備え、コンテンツ分野と属性名で管理することを特徴とする。
【００２３】
請求項５の発明は、情報提供者が提供する閲覧文書から、該閲覧文書の構造・形式に依らないサービス提供用のデータベースを構築するためのコンテンツ属性情報正規化プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
情報提供者が提供する、閲覧文書中の文字列をタグでマークアップすることで、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報の含まれる文書ファイルを収集する処理と、
前記収集した文書ファイルについて、文字コードを正規化する処理と、
前記文字コードが正規化された文書ファイルから、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を抽出する処理と、
前記抽出された閲覧文書に合わせた構造・形式を持つコンテンツ属性情報を、サービス提供に適した構造・形式に正規化する処理（以下、属性正規化処理）と、
前記正規化されたコンテンツ属性情報をコンテンツデータベースにコンテンツ単位に格納する処理とを有し、
前記属性正規化処理は、
前記抽出されたコンテンツ属性情報について、コンテンツの展開、属性名の正規化、属性の分割、他属性への変換を行って、閲覧文書に合わせた構造をサービス提供に適した構造に正規化する処理と、
前記構造が正規化されたコンテンツ属性情報について、文字表現形式の正規化、数値表現の正規化を行う処理とを含み、
これら処理をコンピュータで実行するためのプログラムを記録したことを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明の一実施の形態について図面により説明する。
図１は本発明を適用したシステムの一実施例として、ネットワーク上に分散したコンテンツ情報を自動収集し、属性を抽出・正規化して検索サービス等に再利用する情報収集・サービス提供システムのブロック図を示したものである。図において、１００は検索エンジンなどとなるホスト装置（ここでは、情報自動収集分類装置と呼ぶ）、１１０はインタネットなどのネットワーク、１２０はネットワーク上に分散配置された情報提供者（ＩＰ）のＷｅｂサイト、１３０は情報自動収集分類装置１００を利用するユーザ端末である。
【００２５】
Ｗｅｂサイト１２０は、コンテンツ属性情報を含んだ閲覧用文書ファイル（例えば、ＸＭＬ文書）を作成する属性情報設定装置１２５を具備する。この属性情報設定装置１２５により、多様な構造をとりうる閲覧用文書（一般にはＨＴＭＬ文書）にコンテンツ属性情報を一元的に保持する形態で含ませることが可能になる。なお、属性情報設定装置１２５の構成については後述する。
【００２６】
情報自動収集分類装置１００は、ネットワーク１１０上のＷｅｂサイト１２０を巡回し、コンテンツ属性情報が含まれた文書ファイル（例えばＸＭＬ文書）を自動収集する自動情報収集部１０１、該収集した文書ファイルからコンテンツ属性情報を抽出する属性抽出部１０２、該抽出したコンテンツ属性情報を、検索サービス等の再利用のために構造変換、属性名・属性値形式変換等の正規化を行う属性正規化部１０３、これら各部を制御する制御部１０４、属性正規化部１０３で正規化されたコンテンツ属性情報を、商品単位等のコンテンツ単位で格納するコンテンツデータベース（コンテンツＤＢ）１０５、属性正規化部１０３での正規化処理のためのルールを、コンテンツ分野、属性名等で管理する正規化ルール１０６、コンテンツＤＢ１０５の内容を利用して、ユーザにコンテンツ属性情報による検索サービスなどを提供するユーザサービス提供部１０８などで構成される。なお、破線の対応ルール１０７はオプションを示し、先の図２９の対応ルール２９０４と同様に、閲覧文書ファイル中の閲覧用タグ及び文字列とコンテンツ属性との対応ルールを保持することで、属性抽出部１０２は、閲覧情報のみの文書ファイル（一般にはＨＴＭＬ文書）からもコンテンツ属性が抽出可能であることを示している。
【００２７】
ユーザは、ユーザ端末１３０を利用して情報自動収集分類装置１００にアクセスして、分野指定検索、関連付け検索などを行い、検索結果を元にＷｅｂサイト１２０の文書ファイルを直接閲覧する。
【００２８】
情報自動収集分類装置１００の全体の処理フローを図２及び図３に、また、ここで対象とする文書の構造、その処理過程での遷移を図４に示す。以下、図２乃至図４に従って、本発明によるコンテンツ属性情報の抽出・正規化処理の一実施例について説明する。なお、図２及び図３に示すフローチャートの各処理プロセスを記述したプログラムは、コンピュータが読み取り可能な記録媒体、例えばフロッピーディスクやメモリカード、ＣＤ−ＲＯＭなどに記録して提供することが可能である。
【００２９】
本実施例で対象とする文書はＸＭＬ文書とする。ＸＭＬはタグを自由に定義可能な文書構造記述（マークアップ）言語であり、このＸＭＬで定義したコンテンツ属性用タグを利用することで、コンテンツ属性を自動的に抽出できる。また、閲覧時は使用しない属性を含めることも可能である。
【００３０】
図１において、情報提供者（ＩＰ）は、属性情報設定装置１２５を利用して、閲覧用文書（一般にはＨＴＭＬで記述）中の文字列をタグでマークアップすることで、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報の含まれた文書ファイル（ＸＭＬ文書）を作成し、Ｗｅｂサイト１２０に用意する。図４（ａ）はＨＴＭＬ文書の構造、同図（ｂ）はＸＭＬ文書の構造を示している。なお、Ｗｅｂサイト１２０の文書ファイルは、はじめからＸＭＬの形式で記述されたものでもよい。
【００３１】
情報自動収集分類装置１００の自動情報収集部１０１は、ネットワーク１１０上のＷｅｂサイト１２０を巡回して、文書ファイル（ＸＭＬ文書）を自動収集し、該文書ファイルからＩＰ単位の情報、ページ単位の情報を抽出する（ステップ２０１〜２０３）。ここで抽出される情報は、閲覧文書に合わせた構造・形式を持つコンテンツ属性情報が閲覧用情報と混在して含まれたＸＭＬ文書そのままのものである（図４の（ｃ））。
【００３２】
属性抽出部１０２は、自動情報収集部１０１で収集・抽出されたＸＭＬ文書について、文字コードを正規化した後（ステップ２０４）、コンテンツ属性情報のみを抽出する（ステップ２０５）。ここで、文字コードの正規化は、ネットワーク上の文書ファイルは様々な文字コードで記述されることが多いので、これに対処するためである。文書ファイルからのコンテンツ属性情報のみの抽出は、例えば、タグを解釈するパーサ（ＳＧＭＬパーサ等）をコンテンツ属性情報用タグのみを解釈するように動作させる（閲覧用のタグは無視）することで可能である。どのタグがコンテンツ属性情報用タグなのかは、設定ファイルとして保持し、それを参照するようにする。例えば、ＳＧＭＬにおけるＤＴＤのデフォルト属性として保持する。この場合、文書作成・編集用の設定ファイルとして再利用が可能である。ここで抽出されたコンテンツ属性情報は、閲覧文書に合わせた構造・形式を持つ。図４（ｄ）はこれを示している。
【００３３】
なお、この属性抽出部１０２では、閲覧用タグ、及び文字列とコンテンツ属性との対応ルール１０８（例えば、「円」という文字の前には、必ず「価格」が出現するなど）を保持しておけば、該ルール１０８を参照して、閲覧文書からコンテンツ属性情報を抽出することができる。
【００３４】
属性正規化部１０３は、正規化ルール１０４を参照して、属性抽出部１０２で抽出された閲覧文書に合わせた構造・形式をもつコンテンツ属性情報を、検索サービスなどのサービス提供に適した形式に正規化する。正規化ルール１０４には、分野非依存／属性非依存ルール、分野依存／属性非依存ルール、分野非依存／属性依存ルール、分野依存／属性依存ルールなどが存在し、コンテンツ分野と属性名で管理している。
【００３５】
属性正規化部１０３では、まず、対象コンテンツ（閲覧文書の構造と同形のコンテンツ属性情報）の分野を、コンテンツ属性情報のカテゴリタグの値で認識する（ステップ２０６）。これは、分野によって、コンテンツＤＢ１０５のスキーマが異なるため、はじめに認識しておく必要があるためである。次に、当該対象コンテンツ（コンテンツ属性情報）について、閲覧文書に合わせた構造をサービス提供に適した構造に正規化し（ステップ２０７）、更に、該構造が正規化されたコンテンツ属性情報について、文字表現形式の正規化（ステップ２０８）、数値表現の正規化（ステップ２０９）を行う。図４（ｅ）は正規化の概念を示す。最後に、この正規化されたコンテンツ属性情報を、コンテンツＤＢ１０５にコンテンツ単位で格納する（ステップ２１０）。なお、文字表現形式の正規化と数値表現の正規化は、処理順序が逆でもよい。また、例えば数値部分と単位部分に分けるなど、属性構造の変換を伴う場合もある。
【００３６】
以下、属性構造の正規化、文字表現形式の正規化及び数値表現正規化の処理について詳述する。
【００３７】
属性構造の正規化は、コンテンツ展開処理、属性名の正規化、属性の分割、他属性への変換に大別される。さらに、コンテンツ展開処理は二つに分けられる。ここでは、それらをコンテンツ展開処理（１）、コンテンツ展開処理（２）と呼ぶことにする。
【００３８】
閲覧情報として一つのコンテンツの異形を表すために、同一属性を複数持つ構造になっていることがあるが、サービス提供時には別コンテンツとして格納してある方が便利な場合がある。このような場合、コンテンツ展開処理（１）を適用し、別コンテンツとして展開する。例えば、ある飲料商品が中身は同一で容量により価格が変化するような場合には、閲覧文書上（商品カタログ）は同一商品の異形として表現してあり、再利用して表現したコンテンツ属性情報も同じような形になっている。サービス提供時にそれぞれの商品として扱う場合が多く、その場合には、それらを展開する機能が必須となる。図５に、コンテンツ展開処理（１）の概念図を示す。なお、先の図４（ｅ）のコンテンツ展開処理の例は、このコンテンツ展開処理に対応する。
【００３９】
一方、閲覧情報として同一のジャンルのコンテンツを一くくりの位置に記述することが多い。その場合、コンテンツ展開処理（２）を適用して、一くくりをオブジェクトと考え、そのオブジェクトに設定された属性情報をその子オブジェクトのデフォルトの属性とし展開する。例えば、ある飲料商品の一連の商品種がすべて吟醸という製品に属する場合、カタログ上では、吟醸と大きく記述し、その後の商品はすべて暗黙の内に吟醸であると書く場合がある。サービス提供時には、それぞれの商品として扱うため、各商品情報の属性に製法＝吟醸であると付加する必要がある。図６に、コンテンツ展開処理（２）の概念図を示す。
【００４０】
属性名の正規化は、概念的に同一な属性の項目名が異なる場合に行う。図７に、属性名の正規化の一例を示す。逆に、属性の分割は、概念的に複数の属性に分割した方が扱いやすい場合に行う。図８に、属性の分割の一例を示す。
【００４１】
他属性への変換（正規化）は、単数、あるいは複数の属性から別の単数、あるいは複数の属性へ変換する処理である。例えば、日本酒度、酸度から呑み口を計算し、図９のどの領域に入るかによって、呑み口を判断する（不等式で計算）。
【００４２】
文字表現形式の正規化は、例えば、日本酒製法を大吟醸、吟醸、普通の３種類に分類して、サービス提供したい場合、閲覧用文書中の表現としては、「大吟醸酒」でも、「大吟醸のお酒」でも大吟醸と正規化することである（「大吟醸」という表現しか認めないと、一般のお客様向けの商品カタログの表現が制限されることになる）。その他、コード体系の正規化などを行う。この場合、論理式などの条件文が使用できる。
【００４３】
数値形式の正規化は、例えば図１０の処理手順で行う。閲覧文書上では、数値は全角／半角表現、通常の数値／漢数字、カンマ区切り入り／なし、など表現にばらつきがあるので、これらを正規化する（ステップ１００１）。単位付きの数値では、単位の表現の仕方にばらつきがある。たとえば、価格の表現として￥１０００、１０００円、１０００ｙｅｎなどが存在する。これらを認識する（ステップ１００２）。この認識した単位系からサービス提供で用いる単位系に変換する（ステップ１００３）。また、複数の値や、範囲のある数値を認識して変換する（ステップ１００４）。たとえば、「１０００円以上２０００円未満、及び３０００円以上４０００円未満」といった情報を元にサービス提供に適した形式に変換する。サービス提供上、二つの数値範囲を一つのコンテンツで扱えれば、そのまま格納するし、一つの数値範囲しかなければ、２つのコンテンツに展開して格納することになる。
【００４４】
図１１乃至図１９に、本実施例によるコンテンツ属性情報抽出・正規化の具体的処理例を示す。
図１１は情報提供者が提供する文書ファイル（ＸＭＬ文書）であり、閲覧用文書（ＨＴＭＬ文書）中の文字列を任意に定義されたタグでマークアップすることで、コンテンツ属性情報が設定されている。図１１において、太字で示すタグ（例えば〈ＭＥＭＯ〉・・・〈／ＭＥＭＯ〉）で囲まれた部分がコンテンツ属性情報である。
【００４５】
図１２は、図１１の文書ファイル（ＸＭＬ文書）中からコンテンツ属性情報をそのまま抽出したデータであり、コンテンツ属性情報は情報提供者の閲覧文書に合わせた構造・形式のままである。この図１２のコンテンツ属性情報を木構造形式で表現したのが図１３である。図１３から分かるように、これは必ずしも検索サービス等の提供に適した構造・形式になっていない。
【００４６】
図１４は、図１２の対象コンテンツ（コンテンツ属性情報）について、コンテンツ展開処理（２）を適用した結果を示したものである。図１５は、図１４の展開結果に対して、さらにコンテンツ展開処理（１）を適用した結果を示したもので、結局、図１２の対象コンテンツは４つのコンテンツに展開されたことになる。図１６は、図１５のコンテンツ展開処理結果について、文字表現形式の正規化と数値形式の正規化を適用した結果を示したものである。
【００４７】
図１６の正規化ずみコンテンツ属性情報を木構造形式で表現すると、図１７及び図１８のようになる。図１３に比べて、一見して検索サービス等の提供に適した構造・形式になっているのが分かる。
【００４８】
図１９は、図１６の正規化ずみコンテンツ属性情報を表形式で表現したもので、図１のコンテンツＤＢ１０５には、このような形式でコンテンツ属性情報が格納される。このようにして、閲覧用文書（ＨＴＭＬ文書）の構造・形式に縛られることなく、検索サービス提供用等のデータベース（関連データベース）を構築することが可能になる。
【００４９】
次に、属性情報設定装置について説明する。
図２０は属性情報設定装置の一実施例を示すブロック図である。本属性情報設定装置２０００の特徴は、図３０に示した従来の装置に属性抽出・正規化プレビュー部２００８と複数のタグセットを別に管理し検証する構造検証部２００９を設けた点にある。属性抽出・正規化プレビュー部２００８は、図１の情報自動収集分類装置１００内の属性抽出部１０２、属性正規化部１０３などと基本的に同様の機能（同等かその簡略版）であり、作成された文書ファイル（ＸＭＬ文書）からコンテンツ属性情報の抽出・正規化を行いプレビューする。また、構造検証部２００９は、複数のタグセットを閲覧用文書とコンテンツ属性情報とで別々に管理し、相互に無視して構造を検証する。
【００５０】
該属性情報設定装置２００は、図１のシステムで装置１２５で示したように、Ｗｅｂサイト１２０に設置して使用する。この場合、属性情報の抽出・正規化プレビュー部２００８によれば、情報提供者（ＩＰ）は、作成した文書ファイル（ＸＭＬ文書）について、情報自動収集分類装置１００で、コンテンツ属性情報がどのように抽出・正規化されるか、プレビューして見ることができ、より有効なコンテンツ属性情報の設定を行うことが可能となる。図２１に、図１１の文書ファイル（ＸＭＬ文書）のエディタ画面、図２２に、これに対応する属性抽出・正規化結果のプレビュー画面を示す。なお、この例の属性抽出・正規化結果プレビュー部２００８は、単位変換機能を持たない簡略版であるため、容量は「ｌ」と「ｍｌ」表記が混在している。また、構造検証部２００９によれば、相互の制限が弱く同種のタグ間での制限が強い複数のタグセットを扱う場合に、閲覧用文書とコンテンツ属性情報それぞれのタグセットについて、例えば相互に無視して文法検証することで、より厳しい文法検証を行うことが可能となる。図２３に、構造検証部２００９による複数タグセットの管理・検証の概念図を示す。
【００５１】
【発明の効果】
本発明を適用した情報収集・サービス提供システムでは、検索エンジンなどのホスト装置に、再利用する閲覧用文書ファイル中の属性情報の構造、属性名、属性値形式等を変換する機能を持つことで、閲覧用文書（たとえば商品カタログ）の表現の自由度を増すことができる。逆に、すでに存在する閲覧用文書の構造・形式に縛られること無く、サービス提供用のデータベースを構築することが可能になる。
【００５２】
また、テキスト情報中の文字列をマークアップすることで、コンテンツ属性情報を設定する装置に、属性抽出・正規化プレビュー機能と複数のタグセットを別々に管理し検証する機能を設けることにより、データ作成者が、ホスト装置が属性を抽出・正規化（構造、値形式）処理を行った結果を見ることができ、より有効な属性設定を行うことが可能、相互の制限が弱く同種のタグ間の制限が強い複数のタグセットを扱う場合に、それぞれのタグセットについて文法検証することで、より厳しい文法検証を行うことが可能となる。
【図面の簡単な説明】
【図１】  本発明を適用した情報収集・サービス提供システムの一実施例のブロック図である。
【図２】  図１の動作を説明するための全体的処理フローチャートの一部である。
【図３】  図２の処理フローチャートの続きである。
【図４】  本発明の対象とする文書の構造と処理過程の概要を示す図である。
【図５】  本発明による属性構造正規化のコンテンツ展開処理（１）を説明する図である。
【図６】  同じくコンテンツ展開処理（２）を説明する図である。
【図７】  属性名の正規化を説明する図である。
【図８】  属性の分割を説明する図である。
【図９】  他属性への正規化を説明する図である。
【図１０】  数値形式の正規化を説明するフローチャートである。
【図１１】  本発明の対象とする文書ファイルの具体例である。
【図１２】  図１１の文書ファイルから抽出したコンテンツ属性情報である。
【図１３】  図１２のコンテンツ属性情報を木構造形式で表現した図である。
【図１４】  図１１のコンテンツ属性情報にコンテンツ展開処理（１）を適用した結果を示す図である。
【図１５】  図１４のデータについて、さらにコンテンツ展開処理（２）を適用した結果を示す図である。
【図１６】  図１５のデータについて、文字表現形式と数値形式の正規化を適用した結果を示す図である。
【図１７】  図１６のデータを木構造形式で表現した一部の図である。
【図１８】  図１７の木構造形式表現の続きの図である。
【図１９】  図１６のデータを表形式で表現した図である。
【図２０】  本発明による属性情報設定装置の一実施例のブロック図である。
【図２１】  本属性情報設定装置での図１１の文書ファイルのエディタ画面を示す図である。
【図２２】  本属性情報設定装置での図１９に対応するエディタプレビュー結果を示す図である。
【図２３】  本発明による属性情報設定装置での複数タグセットの管理・検証を説明する図である。
【図２４】  従来のコンテンツ属性情報を考慮しない検索エンジンシステムのブロック図である。
【図２５】  図２４のシステムで対象とする文書の構造を説明する図である。
【図２６】  図２４のシステムが対象とする文書の具体例を示す図である。
【図２７】  従来のコンテンツ属性情報が固定的な自動収集分類システムのブロック図である。
【図２８】  図２７のシステムが対象とする文書の構造を説明する図である。
【図２９】  従来のコンテンツ属性情報を閲覧用タグ及び文字列と対応づけるシステムのブロック図である。
【図３０】  従来の属性情報設定装置のブロック図である。
【図３１】  従来の属性情報設定装置でのタグセットの管理・検証を説明する図である。
【符号の説明】
１００  情報自動収集分類装置（ホスト装置）
１０１  自動情報収集部
１０２  属性抽出部
１０３  属性正規化部
１０４  制御部
１０５  コンテンツデータベース
１０６  正規化ルール
１０７  対応ルール
１０８  サービス提供部
１１０  ネットワーク
１２０  Ｗｅｂサイト
１３０  ユーザ端末
１２０，２０００  属性情報設定装置
２００８  属性抽出・正規化プレビュー部
２００９  構造検証部
【図１】
0004042830.tif 000002
【図２】
0004042830.tif 000003
【図３】
0004042830.tif 000004
【図４】
0004042830.tif 000005
【図５】
0004042830.tif 000006
【図６】
0004042830.tif 000007
【図７】
0004042830.tif 000008
【図８】
0004042830.tif 000009
【図９】
0004042830.tif 000010
【図１０】
0004042830.tif 000011
【図１１】
0004042830.tif 000012
【図１２】
0004042830.tif 000013
【図１３】
0004042830.tif 000014
【図１４】
0004042830.tif 000015
【図１５】
0004042830.tif 000016
【図１６】
0004042830.tif 000017
【図１７】
0004042830.tif 000018
【図１８】
0004042830.tif 000019
【図１９】
0004042830.tif 000020
【図２０】
0004042830.tif 000021
【図２１】
0004042830.tif 000022
【図２２】
0004042830.tif 000023
【図２３】
0004042830.tif 000024
【図２４】
0004042830.tif 000025
【図２５】
0004042830.tif 000026
【図２６】
0004042830.tif 000027
【図２７】
0004042830.tif 000028
【図２８】
0004042830.tif 000029
【図２９】
0004042830.tif 000030
【図３０】
0004042830.tif 000031
【図３１】
0004042830.tif 000032