(57)【要約】【課題】調査目的に合致した情報を多く含むサイトを効率的に抽出する。【解決手段】インターネット上からＷｅｂ文書を多数取得し、それらの文書が属するサイトＵＲＬを取得し、該サイトＵＲＬ毎に文書に含まれる風評表現の出現頻度、および文書の内容的特徴を表すサイト特徴を算出し、サイト管理テーブルに記憶する。システム利用者が入力した検索条件を基に得られたＷｅｂ文書について、上記と同様の方法でサイトＵＲＬ毎のサイト特徴を算出し、システム利用者が指定したサイトの特徴リストに含まれるサイト特徴と類似するサイトを目的のサイトとして出力する。【選択図】        図１
2004280569.tif 000002
【特許請求の範囲】
【請求項１】
インターネット上の文書から、Ｗｅｂ文書を巡回収集し、収集された文書と文書ＵＲＬを出力するクローラ部と、
上記クローラ部で収集された各文書から、予め設定された風評表現を抽出し、抽出された風評表現に対応する評価値に基づいて各文書の風評度を算出して出力する第１の風評度算出部と、
上記クローラ部で出力された文書ＵＲＬから、各文書の属するサイトＵＲＬを抽出する第１のサイト抽出部と、
上記サイトＵＲＬで指定されるサイトの内容的特徴を表すサイト特徴を出力し、サイトＵＲＬとサイト特徴を対応付けてサイト管理テーブルに記憶する第１のサイト特徴算出部と、
上記サイト管理テーブルから、システム利用者により指定されたサイトＵＲＬのサイト特徴Ｂを抽出するサイト選択部と、
入力された検索条件を基にインターネット上の文書を検索し、検索結果として文書ＵＲＬおよび更新日時を含む文書情報を出力する文書検索部と、
文書ＵＲＬ毎の文書情報を記憶するＵＲＬ管理テーブルを参照し、上記文書検索部により出力された文書ＵＲＬのうち、上記ＵＲＬ管理テーブルに登録されていない文書ＵＲＬおよび文書情報が更新されている文書ＵＲＬを新規ＵＲＬとして出力し、上記ＵＲＬ管理テーブルに該新規ＵＲＬの文書情報を登録する新規ＵＲＬ抽出部と、
上記新規ＵＲＬの文書をインターネット上から取得するダウンロード部と、
上記ダウンロード部で取得された各文書から、予め設定された風評表現を抽出し、抽出された風評表現に対応する評価値に基づいて各文書の風評度を算出して出力する第２の風評度算出部と、
上記新規ＵＲＬから、各文書の属する新規サイトＵＲＬを抽出する第２のサイト抽出部と、
上記新規サイトＵＲＬで指定されるサイトの内容的特徴を表すサイト特徴Ａを出力する第２のサイト特徴算出部と、
上記サイト特徴Ａと上記サイト特徴Ｂの類似度を算出し、類似度が一定値以上の新規サイトＵＲＬを出力すると共に、当該新規サイトＵＲＬの文書情報をサイト管理テーブルに記録する類似サイト抽出部とを備えた情報監視装置。
【請求項２】
第１の風評度算出部および第２の風評度算出部は、
予め登録した抽出意図と、該抽出意図に関連付けられた意図抽出表現を記憶する風評抽出規則テーブルを参照し、クローラ部で収集された各文書から上記意図抽出表現に合致する語を抽出し、上記意図抽出表現に対して予め設定されたスコアを上記抽出意図毎に集計し、各文書の風評度として出力する風評抽出部を備えたことを特徴とする請求項１記載の情報監視装置。
【請求項３】
第１のサイト特徴算出部および第２のサイト特徴算出部は、各サイトに属する文書に含まれる複数の単語の出現傾向を数値化し、該サイトのサイト特徴とすることを特徴とする請求項１または請求項２記載の情報監視装置。
【請求項４】
サイト選択部は、
サイトＵＲＬとサイトＵＲＬに含まれる文書の内容を表すキーワードとの対応を索引化して保持する索引記憶部に登録された上記キーワードが、システム利用者により指定された検索条件キーワードに合致するサイトＵＲＬを抽出し、指定サイトＵＲＬとして出力するサイト検索部と、
サイト管理テーブルから、上記指定サイトＵＲＬのサイト特徴を取得し、指定サイト特徴リストを生成して出力するサイト特徴取得部とを備えたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の情報監視装置。
【請求項５】
サイト選択部は、
サイトＵＲＬとサイトＵＲＬに含まれる文書中における複数の単語の出現傾向の特徴を表すベクトル情報との対応を索引化して保持する索引記憶部に記憶された上記ベクトル情報が、システム利用者により指定された検索条件における複数の単語の出現傾向を表すベクトル情報と類似度の高いサイトＵＲＬを抽出し、指定サイトＵＲＬとして出力するサイト検索部と、
サイト管理テーブルから、上記指定サイトＵＲＬのサイト特徴を取得し、指定サイト特徴リストを生成して出力するサイト特徴取得部とを備えたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の情報監視装置。
【請求項６】
クローラ部により収集された文書の内容を解析し、サイトの内容を特徴付けるサイト属性情報を抽出する属性情報抽出部を備え、
第１のサイト特徴算出部は、サイト管理テーブルに上記サイト属性情報を記憶することを特徴とする請求項１から請求項５のうちのいずれか１項記載の情報監視装置。
【請求項７】
属性情報抽出部は、クローラ部により収集された文書中から、予め登録された属性を表す語句を記憶する複数のテーブルより構成された属性情報抽出知識記憶部に登録された上記テーブル中の語句を抽出することを特徴とする請求項６記載の情報監視装置。
【請求項８】
属性情報抽出部は、クローラ部により収集された文書中から、具体的な製品名や企業名を記憶した風評対象テーブルに登録された上記製品名や企業名を抽出し、
第１のサイト抽出部は、サイト毎に、抽出された上記製品名や企業名と、それらの出現頻度とを出力し、
第１のサイト特徴算出部は、サイト管理テーブルに上記製品名や企業名とそれらの出現頻度を、文書中での風評の対象となる具体的な製品や企業の情報として記憶することを特徴とする請求項７記載の情報監視装置。
【請求項９】
属性情報抽出部は、クローラ部により収集された文書中から、掲示板を表す特徴語を記憶した掲示板抽出知識テーブルに登録された上記掲示板を表す特徴語を抽出し、
第１のサイト抽出部は、サイト毎に、上記掲示板を表す特徴語の存在有無を出力し、
第１のサイト特徴算出部は、サイト管理テーブルに上記掲示板を表す特徴語の存在有無を、当該サイトの掲示板との関連の有無に関する情報として記憶することを特徴とする請求項７記載の情報監視装置。
【請求項１０】
類似サイト抽出部が出力する新規サイトＵＲＬおよび当該新規サイトＵＲＬの文書情報を提示するレポートを作成するレポート作成部を備えることを特徴とする請求項１から請求項９のうちのいずれか１項記載の情報監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、インターネット上の文書を収集し、所望の情報を抽出して配信するための情報監視装置に関するものである。
【０００２】
【従来の技術】
インターネット上に大量に存在するＷｅｂ文書の中から業務上の分析に役立つ情報を抽出し、企業の危機管理や顧客ニーズの発掘、販売促進などに利用しようとする企業は多い。しかし、インターネット上で公開される掲示板やメールマガジンなどの情報提供サイトは非常な勢いで増加しており、それらのサイトで提供される情報は随時更新されているため人手で調査することは不可能である。
【０００３】
企業から調査依頼を受け、インターネット上で提供される情報の中から製品の苦情や企業の風評など所望の情報を抽出して調査報告書を作成し、依頼元へ配信する情報クリッピングサービスへの需要も急速に高まっている。
情報クリッピングサービスは、（１）調査内容に関連するＷｅｂ文書を収集し、（２）収集したＷｅｂ文書の中から苦情や風評等必要な情報を抽出し、（３）抽出した情報を整理して依頼元の企業へ配信する、という三段階の処理に分けられる。従来では、（１）〜（３）の処理を全て自動で行なう代行システムはなく、一般に公開されて用いられている全文検索エンジンや、その他の検索ソフトウエアを用いてＷｅｂ文書を収集し、人手作業を介して全体の作業を行っているのが通常である。
【０００４】
従来の情報クリッピングサービス支援技術として、例えば特許文献１に示されたＷｅｂページ検索レポート装置においては、調査依頼人によって指定された検索条件を用いて複数の検索エンジンによるＷｅｂページ検索を行う。検索の結果得られたＷｅｂページのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）は、該Ｗｅｂページの更新日時と共にデータベースに保存される。新たに得られたＷｅｂページまたは更新されたＷｅｂページが報告対象としてダウンロードされる。さらに、ダウンロードしたＷｅｂページの中から検索キーワードを含む前後文が抜粋され、検索結果レポートが作成されて調査依頼人に提供される。
【０００５】
【特許文献１】
特開２００１−３２５２７５公報
【０００６】
【発明が解決しようとする課題】
このように従来の情報クリッピングサービスでは、検索キーワードが掲載されたＷｅｂページを抽出することができる。しかし、情報クリッピングサービスに対しては、Ｗｅｂページ単位の検索のみならず、調査の目的に合致した内容が多く含まれる情報提供サイト自体を発見し、継続してそのサイト全体の情報を監視したいという要求が高い。
ここでいうサイトとは、あるＷｅｂサーバ上に構築された、情報提供の話題に関するＷｅｂページの集合体のことを意味しており、一般に、トップページとトップページ以下の下位階層とからなる構造を有している。
従来の方法ではＷｅｂページ単位のＵＲＬは抽出できるが、そのＷｅｂページが属するサイトのトップページのＵＲＬ（サイトＵＲＬ）を抽出することができなかった。さらに、サイトに含まれる各Ｗｅｂページの内容を判定する管理機能がないため、調査の目的に合致したサイトを発見する手段がないという問題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、調査目的に合致した情報を多く含むサイトを抽出する情報監視装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る情報監視装置は、インターネット上の文書から、Ｗｅｂ文書を巡回収集し、収集された文書と文書ＵＲＬを出力するクローラ部と、クローラ部で収集された各文書から、予め設定された風評表現を抽出し、抽出された風評表現に対応する評価値に基づいて各文書の風評度を算出して出力する第１の風評度算出部と、クローラ部で出力された文書ＵＲＬから、各文書の属するサイトＵＲＬを抽出する第１のサイト抽出部と、サイトＵＲＬで指定されるサイトの内容的特徴を表すサイト特徴を出力し、サイトＵＲＬとサイト特徴を対応付けてサイト管理テーブルに記憶する第１のサイト特徴算出部と、サイト管理テーブルから、システム利用者により指定されたサイトＵＲＬのサイト特徴Ｂを抽出するサイト選択部と、入力された検索条件を基にインターネット上の文書を検索し、検索結果として文書ＵＲＬおよび更新日時を含む文書情報を出力する文書検索部と、文書ＵＲＬ毎の文書情報を記憶するＵＲＬ管理テーブルを参照し、文書検索部により出力された文書ＵＲＬのうち、ＵＲＬ管理テーブルに登録されていない文書ＵＲＬおよび文書情報が更新されている文書ＵＲＬを新規ＵＲＬとして出力し、ＵＲＬ管理テーブルに新規ＵＲＬの文書情報を登録する新規ＵＲＬ抽出部と、新規ＵＲＬの文書をインターネット上から取得するダウンロード部と、ダウンロード部で取得された各文書から、予め設定された風評表現を抽出し、抽出された風評表現に対応する評価値に基づいて各文書の風評度を算出して出力する第２の風評度算出部と、新規ＵＲＬから、各文書の属する新規サイトＵＲＬを抽出する第２のサイト抽出部と、新規サイトＵＲＬで指定されるサイトの内容的特徴を表すサイト特徴Ａを出力する第２のサイト特徴算出部と、サイト特徴Ａとサイト特徴Ｂの類似度を算出し、類似度が一定値以上の新規サイトＵＲＬを出力すると共に、当新規サイトＵＲＬの文書情報をサイト管理テーブルに記録する類似サイト抽出部とを備えたものである。
【０００９】
【発明の実施の形態】
以下、この発明の実施の様々な形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１によるインターネット情報監視装置（情報監視装置）１００の構成を示すブロック図である。
図に示すように、インターネット情報監視装置１００はクローラ部１、第１の風評度算出部２、第１のサイト抽出部３、第１のサイト特徴算出部４、サイト管理テーブル５、文書検索部６、新規ＵＲＬ抽出部７、ＵＲＬ管理テーブル８、ダウンロード部９、第２の風評度算出部１０、第２のサイト抽出部１１、第２のサイト特徴算出部１２、サイト選択部１３、および類似サイト抽出部１４を備える。
【００１０】
インターネット情報監視装置１００は、インターネット接続機能やＷｅｂページ閲覧機能等を備えたコンピュータである。また、クローラ部１、第１の風評度算出部２、第１のサイト抽出部３、第１のサイト特徴算出部４、文書検索部６、新規ＵＲＬ抽出部７、ダウンロード部９、第２の風評度算出部１０、第２のサイト抽出部１１、第２のサイト特徴算出部１２、サイト選択部１３、および類似サイト抽出部１４は、インターネット情報監視装置１００の中央演算処理装置の動作を制御するプログラムのモジュールに従って該中央演算処理装置を便宜的に分割したものである。
【００１１】
サイト管理テーブル５およびＵＲＬ管理テーブル８は、リレーショナル型データベース等によって管理されるデータレコードの集合であり、インターネット情報監視装置１００外部の記憶装置等に格納される。なお、サイト管理テーブル５およびＵＲＬ管理テーブル８は同一の記憶装置に格納されていてもよい。
【００１２】
次に、インターネット情報監視装置１００による情報監視処理について説明する。
情報監視処理は、サイト登録処理とサイト情報抽出処理の２段階の処理に分けることができる。まず、図２のフローチャートに従って、サイト登録処理について説明する。
【００１３】
まず、クローラ部１において、監視対象サイトの候補を収集するため、Ｗｅｂ上の文書が巡回収集される（ステップＳＴ２０１）。クローラ部１に対しては予め設定された巡回収集の起点となるシードＵＲＬリストが与えられる。クローラ部１は、シードＵＲＬリストの先頭から順にＵＲＬを取り出し、該当するＵＲＬにアクセスする。クローラ部１は、当該ＵＲＬの文書内容を解析し、リンク先として指定されているＵＲＬを順次たどっていくことによりリンクされている文書を巡回収集する。この際、文書のタイトル、ＵＲＬ、更新日時などの文書情報もあわせて取得する。巡回収集は、リンクの深さやアクセス回数などの所定の終了条件で終了する。
【００１４】
次に、第１の風評度算出部２において、ステップＳＴ２０１で収集された各文書を解析し、各文書に含まれる風評表現を抽出する。風評表現とは、例えば、企業や製品に対する評判や苦情などの情報である。第１の風評度算出部２は、後述する風評度算出処理によって、文書毎に風評表現の含まれる度合い（風評度）を数値化し、風評抽出結果として出力する（ステップＳＴ２０２）。
【００１５】
次に、第１のサイト抽出部３において、ステップＳＴ２０１で取得した各文書の内容を解析し、各文書が属するサイトのＵＲＬを抽出する（ステップＳＴ２０３）。
例えば、ある文書がＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）で記述されている場合には、ＨＴＭＬ文書を解析し、トップページへのハイパーリンクに対応するアンカータグがあればそこから各文書が属するサイトのＵＲＬを抽出する。具体的には、トップページを表わす特徴語（「トップ」、「ＴＯＰ」、「ＨＯＭＥ」、「ホーム」など）を含むアンカータグのリンク先ＵＲＬ（ｈｒｅｆ属性の値）を抽出する。
あるいは、予め代表的なサイトのＵＲＬを保持しておき、それらとの照合によりサイトＵＲＬを決定してもよい。
【００１６】
次に、第１のサイト特徴算出部４において、ステップＳＴ２０１で取得した各文書のうち、同一サイトに属する文書の内容を総合的に判断した結果をサイト特徴としてサイト毎に出力する（ステップＳＴ２０４）。
図４を用いてサイト特徴の生成方法を具体的に説明する。図中、Ｗｉ（ｉは１〜ｎの自然数）はある単語を表し、Ｓｊ（ｊは１〜ｍの自然数）はサイトＵＲＬ識別番号を表す。サイトＵＲＬ識別番号は、１つのサイトＵＲＬに対して割り当てられる番号である。
【００１７】
ｗｉｊは、単語ＷｉのサイトＵＲＬ識別番号Ｓｊで示されるサイト内における出現傾向の特徴を表す重みを示す値であり、所定の算出基準で算出される。
ｗｉｊの算出方法の例について説明する。まず、サイトＵＲＬ識別番号Ｓｊで示されるサイトに属する複数の文書の中から、ステップＳＴ２０２で得られた風評度の値が高い文書を複数選択する。それらの文書のテキスト情報をマージしてサイトテキスト情報を作成する。次に、サイトテキスト情報を利用して単語Ｗｉの出現頻度に関する統計情報を取得し、ｗｉｊとする。統計情報としては、例えばＴＦ−ＩＤＦ値、χ２値等を利用することができる。また、単語の出現傾向の特徴を表すものであれば、他の方法により算出してもよい。
実施の形態１では、図中の点線の枠で囲った部分、すなわちサイトＵＲＬ識別番号Ｓｊのサイトにおける各単語のｗｉｊを要素とするベクトルを当該サイトのサイト特徴とする。
【００１８】
次に、第１のサイト特徴算出部４において、ステップＳＴ２０２〜ステップＳＴ２０４で取得した情報をサイトＵＲＬに関連付けてサイト管理テーブル５へ記録する（ステップＳＴ２０５）。
図５は、サイト管理テーブル５のレコードの例を示す図である。サイト管理テーブル５は、サイトＵＲＬ毎にサイトＵＲＬ識別番号を保持し、該ＵＲＬ識別番号に対応するサイト特徴を管理する。また、サイトＵＲＬに関する更新日時やタイトルなどの文書情報、およびサイトＵＲＬ内の複数の文書のうち、ステップＳＴ２０２で算出された風評度の値が高い文書に対応する代表ＵＲＬとその風評度を保持する。さらに、サイトＵＲＬに関する種々の属性情報なども管理する。
【００１９】
次に、サイト選択部１３において、システムの利用者によって予め指定されたサイトＵＲＬに対応するサイト特徴がサイト管理テーブル５から取得され、指定サイト特徴リストが出力される（ステップＳＴ２０６）。
指定サイトは、システムの利用者が監視対象としたいサイトＵＲＬであり、図示しない入力手段によって指定することができる。
サイト特徴リストは、各利用者に対して作成され、図示しないテーブルに格納される。あるいは、ファイルとして保存されるようにしてもよい。
【００２０】
次に、図３のフローチャートに従って、サイト情報抽出処理について説明する。
以下の処理では、システム利用者が予め設定した検索条件を用いて自動的にＷｅｂ文書を取得し、その中から、サイト登録処理時に作成された指定サイト特徴リストに含まれるサイトと同一または内容が類似するサイトの情報を抽出する。これにより、システム利用者は大量の検索結果文書の中から調査目的に合致した情報を多く含むものを効率よく取得することができる。
【００２１】
利用者は、予め調査対象とする内容に関する検索キーワードを検索条件（クエリ）として設定しておく（ステップＳＴ３０１）。ここで、検索条件とは、情報クリッピングサービスへの依頼者が情報の監視内容を指定するため、収集したい文書内容に関するキーワードの組を事前に顧客プロファイルデータとして登録したものである。例えば、依頼者が、監視したい調査内容に関係する語を、文書収集に用いられる検索キーワードとして自由に設定することができる。キーワードとしては、例えば企業名や人名、「テレビ」、「携帯電話」、「車」などの製品カテゴリ名や具体的な製品名、その他「ブランド」、「株価」、「経営」といった調査したい分野名などに関する語が考えられる。さらに、更新日時、言語、ドメイン名、などの文書情報に関する条件を検索条件に追加して補助的に用いてもよい。顧客プロファイルデータは、例えば記憶装置（図示せず）に登録され、検索を実行する際に文書検索部６に供給される。
【００２２】
次に、文書検索部６において、顧客プロファイルデータに設定された検索条件に従って、定期的にＷｅｂ上の文書検索が実行される（ステップＳＴ３０２）。検索の結果、結果文書ＵＲＬおよび更新日時などを含む文書情報が取得される。文書情報には、文書検索部６で用いる検索エンジンが検索結果として出力する各文書のタイトル、ＵＲＬ、更新日時、概要などの各種情報が含まれている。
【００２３】
次に、新規ＵＲＬ抽出部７においてＵＲＬ管理テーブル８が参照され、ステップＳＴ３０２で取得された文書ＵＲＬのうち、ＵＲＬ管理テーブル８に未登録（新規）の文書ＵＲＬ、または登録済みの文書ＵＲＬで文書情報が更新されているものが新規ＵＲＬとして抽出される（ステップＳＴ３０３）。
ＵＲＬ管理テーブル８には、検索結果文書の文書ＵＲＬおよび更新日時などを含む文書情報が記憶されている。新規ＵＲＬ抽出部７は、新規ＵＲＬの文書ＵＲＬおよび文書情報をＵＲＬ管理テーブル８に更新する。
【００２４】
次に、ダウンロード部９において、ステップＳＴ３０３で抽出された新規ＵＲＬにアクセスし、文書をダウンロードすることにより取得する（ステップＳＴ３０４）。
【００２５】
次に、第２の風評度算出部１０において、ステップＳＴ３０４で取得された各文書についての風評抽出結果が出力される（ステップＳＴ３０５）。なお、第２の風評度算出部１０における風評度算出処理は、後述する第１の風評度算出部２における処理と同様に行われる。
【００２６】
次に、第２のサイト抽出部１１において、ステップＳＴ３０４で取得した各文書の内容を解析し、文書が属するサイトＵＲＬを抽出する（ステップＳＴ３０６）。第２のサイト抽出部１１における処理は、ステップＳＴ２０３での第１のサイト抽出部３における処理と同様なので説明を省略する。
【００２７】
次に、第２のサイト特徴算出部１２において、ステップＳＴ３０４で取得した各文書のうち同一サイトに属する文書の内容を総合的に判断し、その判断結果をサイト特徴（サイト特徴Ａ）としてサイト毎に出力する（ステップＳＴ３０７）。第２のサイト特徴算出部１２におけるサイト特徴算出処理は、ステップＳＴ２０４での第１のサイト特徴算出部４における処理と同様であるので説明を省略する。
【００２８】
次に、類似サイト抽出部１４において、図２のステップＳＴ２０６でサイト選択部１３において出力された指定サイト特徴リストから指定サイトのサイト特徴（サイト特徴Ｂ）を取得し、サイト特徴Ａとの類似度を算出する（ステップＳＴ３０８）。類似度としては、例えばサイト特徴Ａおよびサイト特徴Ｂそれぞれの特徴ベクトルの内積値を利用することができる。他にも、サイト特徴Ａとサイト特徴Ｂの類似度を表すものであれば利用することができる。
【００２９】
算出された類似度が一定値以上である場合は、サイト特徴Ａとサイト特徴Ｂとの類似度が高いので、類似サイト抽出部１４においてサイト特徴Ａに対応するサイトＵＲＬが出力される。このようにして、システム利用者は入力した検索条件を満たし、かつ予め指定しておいたサイトまたはそれに類似したサイトのサイトＵＲＬを取得することができる。出力されたサイトＵＲＬの文書情報は、サイト管理テーブル５に登録・更新される（ステップＳＴ３０９）。
【００３０】
次に、図６〜図９を用いて、第１の風評度算出部２および第２の風評度算出部１０における風評度算出処理について説明する。なお、第１の風評度算出部２および第２の風評度算出部１０の構成および風評度算出処理の動作は同一であるため、ここでは第１の風評度算出部２についてのみ説明する。
【００３１】
図６は、第１の風評度算出部２の構成を示すブロック図である。図に示すように、第１の風評度算出部２は、風評抽出部１５と風評抽出規則テーブル１６を備える。風評抽出規則テーブル１６は、インターネット情報監視装置１００内部の記憶部に保持されているか、あるいは外部の記憶装置等に格納されている。風評抽出規則テーブル１６は、文書中から風評表現に該当する記述を抽出するための予め決められた規則（風評抽出規則）を保持するデータレコードの集合である。なお、風評抽出規則テーブル１６は、サイト管理テーブル５およびＵＲＬ管理テーブル８と同一の記憶装置に格納されていてもよい。
【００３２】
図７は、第１の風評度算出部２における風評度算出処理のフローチャートである。
まず、第１の風評度算出部２に、図２のステップＳＴ２０１で取得された文書の文書ＵＲＬおよび文書情報のリストが入力される（ステップＳＴ６０１）。文書情報リストには、各文書のテキスト、タイトル、ＵＲＬ、更新日時、概要などの情報が含まれている。なお、文書情報リストは別途データベースに記憶しておいてもよい。この場合には、風評抽出部１５へは該当データベース名を入力し、風評抽出部１５がデータベースを参照して文書情報を取得する。
【００３３】
次に、風評抽出部１５において、ステップＳＴ６０１で取得した文書情報リストが空であるか否かを判定する（ステップＳＴ６０２）。文書情報リストが空でないと判定されれば、ステップＳＴ６０３へ進み、空であると判定されれば、ステップＳＴ６１１へ進む。
【００３４】
ステップＳＴ６０２で、文書情報リストが空でないと判定された場合には、風評抽出部１５は、文書情報リストから一文書分のテキスト内容を読み込む（ステップＳＴ６０３）。
【００３５】
次に、ステップＳＴ６０４では、文書から記述単位Ｕが取得可能か否かを風評抽出部１５において判定する。記述単位Ｕは、文書中のテキストの一部、あるいは全てのテキストであってもよい。例えば、風評抽出部１５は、句点、疑問符、改行などの字句情報から一文単位を切り出して記述単位Ｕとする。あるいは、記述単位Ｕは、文書中の単語の位置情報を参照し、一定範囲の位置に存在する記述を切り出すことにより取得してもよい。あるいは、ＨＴＭＬ文書のような構造を持った文書であれば、タグ情報により区切ってもよい。また、インターネットの掲示板であれば個別の記事ごとに入力文書を分割してサブ文書としてもよい。この場合、タグ情報を参照して、テキスト情報が含まれている記述のみを選択して記述単位Ｕとする。上記のようにして切り出された記述単位Ｕは一時的なバッファＴに格納しておく。
【００３６】
上記の判定の結果、記述単位Ｕが取得可能であれば、ステップＳＴ６０５に進んで該記述単位Ｕに対する形態素解析を行う。記述単位Ｕが取得可能でなければステップＳＴ６０２へ戻り、文書情報リストに未処理の文書ＵＲＬが残っていればステップＳＴ６０３に進んでその文書を読み込み、ステップＳＴ６０４の処理を繰り返す。
【００３７】
続いて、ステップＳＴ６０５では、風評抽出部１５は、一時的なバッファＴに格納された記述単位Ｕに対して形態素解析を実行する。
ステップＳＴ６０５で行われる形態素解析は、テキストを構成する単語の見出しや品詞などの言語情報を解析する手法であり、広く知られた公知の技術であるため説明を省略する。形態素解析の結果、記述単位Ｕの単語見出しと品詞の情報が取得される。
【００３８】
次に、風評抽出部１５は、ステップＳＴ６０５で得られた、記述単位Ｕに含まれる単語およびその品詞情報と、風評抽出規則テーブル１６の内容を照合する（ステップＳＴ６０６）。
図８は、風評抽出規則テーブル１６の内容の例を示す図である。図中、抽出意図は、文書の書き手の意図を分類したものである。抽出意図に対しては、品詞情報付き単語見出しの組である意図抽出表現が関連付けられている。重みは、意図抽出表現が文書中で照合されて合致した場合に、文書に与えられるスコア（意図スコア）に加算される値であり、各風評抽出規則の重要度に従って予め決めておく値である。
例えば、図に示すように「対応（サ変）／悪（形容詞）」を含む表現、具体的には「対応が悪い」等は、何らかのクレームに関する情報として抽出され、スコアに１．０が加算される。
【００３９】
風評抽出部１５は、バッファＴに格納された記述単位Ｕに、意図抽出表現に該当する品詞情報付き単語が含まれるかどうか判定する（ステップＳＴ６０７）。
意図抽出表現が含まれていると判断された場合にはステップＳＴ６０８へ進み、含まれていないと判断された場合にはステップＳＴ６０４へ戻る。
【００４０】
次に、風評抽出部１５において、記述単位Ｕに含まれていた意図抽出表現を特徴表現として抽出する。また、該意図抽出表現に対応する抽出意図を風評抽出規則テーブル１６より取得し、抽出した特徴表現に対応付ける（ステップＳＴ６０８）。
【００４１】
次に、風評抽出部１５において、ステップＳＴ６０８で取得された特徴表現を特徴表現リストに追加する（ステップＳＴ６０９）。
特徴表現リストは、例えば図９に示すような情報を持つリストである。図に示すように、特徴表現、対応する抽出意図（ラベル）、文書中での該特徴表現の抽出位置、抽出意図に対応する重みが格納されている。
【００４２】
次に、ステップＳＴ６１０へ進み、特徴表現にマッチした風評抽出規則の重みを、文書の意図スコアに加算する。文書の意図スコアは、例えば、文書内で抽出された特徴表現の重みの総和であり、抽出意図別に管理される。ステップＳＴ６１０までの処理が終了すると、ステップＳＴ６０４へ戻る。
【００４３】
ステップＳＴ６１０までの処理が終了すると、再びステップＳＴ６０４へ戻り、記述単位Ｕが取得できなくなるまで処理を繰り返す。
【００４４】
ステップＳＴ６０２で、文書情報リストが空であると判定されたら、風評抽出部１５は各文書のスコアの集計値および特徴表現リストを、風評抽出結果として文書内容とともに、第１のサイト抽出部３へ出力する。
第２の風評度算出部１０においても、同様にステップＳＴ６０１〜ステップＳＴ６１１の処理を行い、第２のサイト抽出部１１へダウンロード部９においてダウンロードした文書のスコアの集計値および特徴表現リストを出力する。
【００４５】
以上のように、この実施の形態１によれば、サイト登録処理時に、クローラ部１によってＷｅｂ文書を大量に収集し、第１の風評度算出部２、第１のサイト抽出部３、および第１のサイト特徴算出部４によって、収集したＷｅｂ文書の特徴を表す情報をサイトの単位で取得し、サイト管理テーブル５に記録する。このようにして得られたサイト管理テーブル５の情報を基に、サイト選択部１３は、システム利用者が予め指定した監視したいサイトの特徴リストを作成し、指定サイト特徴リストとして出力する。
サイト情報抽出時には、システム利用者が指定したキーワードに従って文書検索部６がＷｅｂ上の文書の検索を行い、その中から、新規ＵＲＬ抽出部７において新規のＵＲＬを抽出し、ダウンロード部９により文書を取得する。第２の風評度算出部１０、第２のサイト抽出部１１、および第２のサイト特徴算出部１２は、ダウンロードしたＷｅｂ文書の特徴を表す情報をサイトの単位で取得し、登録処理時に作成された指定サイト特徴リストに含まれるサイトの特徴を表す情報と比較することにより、同一または類似するサイトを抽出する。これにより、システム利用者は大量のＷｅｂ文書から、依頼者の調査目的の内容に合致した新規の風評サイトを発見して提供できるようになる。
【００４６】
また、風評抽出規則テーブル１６は、複数の抽出意図に対する風評抽出規則を記憶し、風評抽出部１５は、各文書について風評抽出規則に基づいて文書に含まれる特徴表現のスコアを抽出意図毎に算出し、特徴表現リストとして出力するようにしたので、利用者は文書に含まれる風評の内容をより詳しく知ることができる。
【００４７】
さらに、この実施の形態１によれば、第１のサイト特徴算出部４および第２のサイト特徴算出部１２は、サイトＵＲＬに属する文書における各単語の出現傾向の特徴を算出してベクトル情報とし、サイトＵＲＬのサイト特徴とするようにしたので、文書中の単語の出現傾向に基づいて調査目的に合致した新規サイトを容易に取得できるという効果がある。
【００４８】
実施の形態２．
実施の形態１では、サイト選択部１３において、システムの利用者が指定したサイトＵＲＬの指定サイト特徴リストが出力される。実施の形態２では、サイト選択部に対して直接サイトＵＲＬを指定しなくても、サイトの検索条件を指定することにより条件に合致したサイトＵＲＬの指定サイト特徴リストが出力される。
【００４９】
図１０は、実施の形態２によるサイト選択部１７の構成を示すブロック図である。サイト選択部１７は、図１のサイト選択部１３に代替される構成要素である。なお、サイト選択部１７以外の構成要素は、図１と同様である。
サイト選択部１７は、サイト検索部１８、索引記憶部１９、サイト特徴取得部２０を有する。索引記憶部１９は、インターネット情報監視装置１００内部の記憶部に保持されているか、または外部の記憶装置に格納されている。索引記憶部１９は、サイトＵＲＬとサイトＵＲＬに含まれる文書の内容を表すキーワードとの対応を索引化して保持するデータベースである。なお、索引記憶部１９は、サイト管理テーブル５およびＵＲＬ管理テーブル８と同一の記憶装置に格納されていてもよい。
【００５０】
サイト選択部１７の動作について説明する。
サイト検索部１８は、図示されていない入力手段によってシステム利用者が入力した検索キーワードに基づいて索引記憶部１９を検索し、検索キーワードと索引記憶部１９中のキーワードとが合致するサイトＵＲＬを取得する。
サイト特徴取得部２０は、サイト管理テーブル５の中から、サイト検索部１８が取得したサイトＵＲＬに対応するサイト特徴を取得し、サイト特徴リストを出力する。
なお、索引記憶部１９の検索方法は、キーワードを用いた検索に限らず、索引を検索する手段であればどのようなものでもよい。例えば、入力する検索条件および索引記憶部１９に格納するキーワードをテキストとし、それぞれその中に含まれる単語の出現傾向の特徴を表す重みのベクトルを作成する。検索条件のベクトルと索引記憶部１９の中のベクトルとの類似度を算定し、類似度の高いサイトＵＲＬを出力するという方法でもよい。
【００５１】
以上のように、この実施の形態２によれば、サイト選択部１７において、索引記憶部１９の中からサイト検索部１８で入力された検索条件に合致するサイトＵＲＬを取得し、サイト特徴取得部２０は、取得したサイトＵＲＬのサイト特徴をサイト管理テーブル５から抽出することにより指定サイト特徴リストを作成するようにした。これにより、システム利用者はサイトを直接指定しなくても、調査目的に合致したサイトＵＲＬの指定サイト特徴リストを効率的に取得できる。
【００５２】
実施の形態３．
実施の形態３では、サイト特徴や風評度に加え、さらにサイトの内容を特徴付ける情報（属性情報）をサイト管理テーブルに登録する。ここでは、そのような情報の例として、文書中に現れる具体的な製品名や企業名、あるいは掲示板とのリンクの有無を登録する。
【００５３】
図１１は、この発明の実施の形態３によるインターネット情報監視装置１０１の構成を示すブロック図である。図に示すように、インターネット情報監視装置１０１は属性情報抽出部２１を有する。また、属性情報抽出知識記憶部２２は、インターネット情報監視装置１００外部の記憶装置に格納されている。属性情報抽出知識記憶部２２は、サイト管理テーブル５およびＵＲＬ管理テーブル８と同一の記憶装置に格納されていてもよい。その他の構成は実施の形態２と同様である。
【００５４】
属性情報抽出部２１は、図１２に示すように対象名抽出部２３と掲示板有無抽出部２４を有する。また、属性情報抽出知識記憶部２２には、対象名テーブル（風評対象テーブル）２５と掲示板抽出知識テーブル２６が含まれる。対象名テーブル２５には、具体的な製品名や企業名のリストが格納されている。また、掲示板抽出知識テーブル２６には、掲示板を表す特徴語のリストが格納されている。なお、属性情報抽出部２１は対象名抽出部２３または掲示板有無抽出部２４のどちらか一方のみを備えていてもよい。また、属性情報抽出知識記憶部２２についても、属性情報抽出部２１が対象名抽出部２３のみを備えている場合には対象名テーブル２５のみを有していればよく、属性情報抽出部２１が掲示板有無抽出部２４のみを備えている場合には掲示板抽出知識テーブル２６のみを有していればよい。
【００５５】
次に、属性情報抽出部２１の動作について説明する。
対象名抽出部２３は、第１の風評度算出部２によって抽出された各文書の特徴表現の中から、対象名テーブル２５に登録されている製品名や企業名と一致する企業名や製品名を抽出する。
【００５６】
対象名テーブル２５にはシステムの利用者が予め指定した企業名や製品名が記憶されており、これにより、システム利用者は、風評の対象となっている製品や企業名を知ることができる。対象名抽出部２３は、得られた企業名や製品名を属性種類「風評対象」の属性値として出力する。
【００５７】
次に、掲示板有無抽出部２４は、クローラ部１で収集された各文書中に、掲示板抽出知識テーブル２６に登録されている掲示板を表わす特徴語と一致する語が含まれているかどうか検索する。掲示板抽出知識テーブル２６には、「掲示板」、「ＢＢＳ」等の掲示板を表す語や、システム利用者が予め指定した掲示板のサイトＵＲＬが登録されている。
掲示板有無抽出部２４は、文書がＨＴＭＬのような形式言語で記述されている場合には、ＨＴＭＬ文書を読み込み、ハイパーリンクを表すアンカータグがあるか否かを解析する。アンカータグがある場合には、そのタグ中に、掲示板抽出知識テーブル２６に登録された掲示板を表わす特徴語が含まれているかどうか解析する。特徴語が含まれていた場合には、属性種類「掲示板」の属性値として「関連あり」を出力し、特徴後が含まれていなかった場合には、属性種類「掲示板」の属性値として「関連なし」を出力する。
【００５８】
属性情報抽出部２１で得られた属性種類「風評対象」の属性値については、第１のサイト抽出部３において、サイト毎に各製品名および企業名の出現頻度が算出され、第１のサイト特徴算出部４において、該当サイトＵＲＬに対応して製品名および企業名とそれらの出現頻度がサイト管理テーブル５に記憶される。
【００５９】
また、得られた属性種類「掲示板」の属性値については、第１のサイト抽出部３において、各サイトの掲示板へのリンクの有無が出力され、第１のサイト特徴算出部４において、当該サイトＵＲＬに対応して掲示板へのリンクの有無がサイト管理テーブル５に記憶される。
【００６０】
このように、属性情報抽出部２１を設け、風評の対象となっている製品名や企業名、および掲示板とのリンクの有無などのサイトの属性情報をサイト管理テーブル５に登録するようにした。これにより、サイト選択部１７においてサイト特徴リストを作成する際に、サイトの指定条件としてそれらの属性情報も利用することができるという効果がある。
なお、サイト管理テーブル５に登録する属性情報は、上記の製品名や企業名あるいは掲示板との関連有無に限らず、サイトの特徴を表すものであればよい。その場合には、属性情報抽出知識記憶部２２には、対象名テーブル２５および掲示板抽出知識テーブル２６以外に、他の属性情報を抽出する目的で使用されるテーブルを格納する。
【００６１】
実施の形態４．
実施の形態４では、サイト情報抽出処理において、類似サイト抽出部１４が抽出した新規サイトの情報をレポートにして提供する。
【００６２】
図１３は、実施の形態４によるインターネット情報監視装置１０２の構成を示すブロック図である。図１と同一の符号は同一の構成要素を表している。図に示すように、インターネット情報監視装置１０２はレポート作成部２７を有する。その他の構成は実施の形態１と同様である。
【００６３】
レポート作成部２７によるレポート作成処理について説明する。
レポート作成部２７は、類似サイト抽出部１４が出力するサイトＵＲＬおよびサイトＵＲＬに関する文書情報に基づいてレポートを作成して出力する。
【００６４】
出力されるレポートは調査を依頼した顧客ごとに作成され、例えば図１４に示すように、依頼者が登録した検索キーワード、調査対象として設定された指定サイト、および今回抽出された新規サイトのＵＲＬとその概要が報告される。また、抽出された新規サイト内の風評度の高い文書ＵＲＬを併せて提示してもよい。
【００６５】
このように、レポート作成部２７を設けたことにより、新規サイトの抽出結果をレポートにすることができるので、調査依頼者は、レポートを利用して調査目的に合致したサイトの情報を継続して監視することができる。
【００６６】
【発明の効果】
以上のように、この発明によれば、調査目的に合致した情報を多く含むサイトを抽出する情報監視装置を得られるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１によるインターネット情報監視装置の構成を示すブロック図である。
【図２】この発明の実施の形態１によるサイト登録処理のフローチャートである。
【図３】この発明の実施の形態１によるサイト情報抽出処理のフローチャートである。
【図４】この発明の実施の形態１によるサイト特徴ベクトルを説明するための図である。
【図５】この発明の実施の形態１によるサイト管理テーブルの例を示す図である。
【図６】この発明の実施の形態１による第１の風評度算出部の構成を示すブロック図である。
【図７】この発明の実施の形態１による第１の風評度算出部における風評度算出処理のフローチャートである。
【図８】この発明の実施の形態１による風評抽出規則テーブルの例を示す図である。
【図９】この発明の実施の形態１による特徴表現リストの例を示す図である。
【図１０】この発明の実施の形態２によるサイト選択部の構成を示すブロック図である。
【図１１】この発明の実施の形態３によるインターネット情報監視装置の構成を示すブロック図である。
【図１２】この発明の実施の形態３による属性情報抽出部および属性情報抽出知識記憶部の構成を示すブロック図である。
【図１３】この発明の実施の形態４によるインターネット情報監視装置の構成を示すブロック図である。
【図１４】この発明の実施の形態４によるレポートの内容の例を示す図である。
【符号の説明】
１  クローラ部、２  第１の風評度算出部、３  第１のサイト抽出部、４  第１のサイト特徴算出部、５  サイト管理テーブル、６  文書検索部、７  新規ＵＲＬ抽出部、８  ＵＲＬ管理テーブル、９  ダウンロード部、１０  第２の風評度算出部、１１  第２のサイト抽出部、１２  第２のサイト特徴算出部、１３  サイト選択部、１４  類似サイト抽出部、１５  風評抽出部、１６  風評抽出規則テーブル、１７  サイト選択部、１８  サイト検索部、１９  索引記憶部、２０  サイト特徴取得部、２１  属性情報抽出部、２２  属性情報抽出知識記憶部、２３  対象名抽出部、２４  掲示板有無抽出部、２５  対象名テーブル（風評対象テーブル）、２６  掲示板抽出知識テーブル、２７  レポート作成部、１００，１０１，１０２  インターネット情報監視装置。
【図１】
2004280569.tif 000003
【図２】
2004280569.tif 000004
【図３】
2004280569.tif 000005
【図４】
2004280569.tif 000006
【図５】
2004280569.tif 000007
【図６】
2004280569.tif 000008
【図７】
2004280569.tif 000009
【図８】
2004280569.tif 000010
【図９】
2004280569.tif 000011
【図１０】
2004280569.tif 000012
【図１１】
2004280569.tif 000013
【図１２】
2004280569.tif 000014
【図１３】
2004280569.tif 000015
【図１４】
2004280569.tif 000016