(57)【特許請求の範囲】
【請求項１】
ネットワークを介して収集された複数の構造化文書を格納する構造化文書データベースと、
上記構造化文書データベースから任意の複数の構造化文書をサンプリングする構造化文書サンプリング手段と、
上記構造化文書サンプリング手段によりサンプリングされた上記複数の構造化文書を格納するサンプル構造化文書データベースと、
構造化文書を予め定めた複数の種別に分類するための指標となる、説明変数に相当する特徴のリストを格納する構造化文書特徴情報データベースと、
上記サンプル構造化文書データベースに格納された各構造化文書から、上記構造化文書特徴情報データベースに格納された特徴のリストにしたがって、各説明変数の値に相当する各特徴の値（以下特徴値と称する）を抽出する特徴値抽出手段と、
上記サンプル構造化文書データベースに格納された構造化文書の種別を教師データとして入力する教師データ入力手段と、
上記サンプル構造化文書データベースに格納された各構造化文書に対応した、上記特徴値抽出手段により抽出された特徴値と上記教師データ入力手段により入力された教師データとを格納する特徴値及び教師データ・データベースと、
上記特徴値及び教師データ・データベースに格納されたデータの一部を格納する機械学習用特徴値及び教師データ・データベースと、
上記特徴値及び教師データ・データベースに格納されたデータの残りを格納する検証用特徴値及び教師データ・データベースと、
上記機械学習用特徴値及び教師データ・データベースに格納された構造化文書、特徴値及び教師データに基づいて、上記構造化文書が上記特徴を条件として上記複数の種別のいずれに分類されるかを判定する判定ルールを作成する判定ルール作成手段と、
上記判定ルール作成手段により作成された判定ルールにしたがい、上記検証用特徴値及び教師データ・データベースに特徴値及び教師データが格納された各構造化文書について上記複数の種別のいずれに分類されるかを判定する判定ルール実行手段と、
上記判定ルール実行手段により得られた判定結果と上記検証用特徴値及び教師データ・データベースに格納された教師データとの差異に応じて、上記判定ルールの精度を評価する判定ルール評価手段と、
上記判定ルール作成手段による判定ルール作成をチューニングするための約束事に相当するチューニングパターンのリストを格納するチューニングパターンデータベースと、
上記チューニングパターンデータベースから順次チューニングパターンを選択して上記判定ルール作成手段に与え、上記判定ルール作成手段に上記チューニングパターンにしたがって判定ルールを再度作成させ、上記判定ルール実行手段に該判定ルールにしたがって再度判定を実行させ、上記判定ルール評価手段に上記判定ルールを評価させる一連の処理を、上記チューニングパターンデータベースに格納された全チューニングパターンについて判定ルール作成及び評価が終了するまで繰り返し、得られた複数の判定ルールの中から最適な判定ルールを導出する最適判定ルール導出手段と
を備えた構造化文書種別判定システム。
【請求項２】
上記構造化文書特徴情報データベースに格納された特徴のリストを編集する構造化文書特徴情報データベース編集手段を備えたことを特徴とする請求項１記載の構造化文書種別判定システム。
【請求項３】
ネットワークを介して構造化文書を収集し上記構造化文書データベースの内容を更新する収集手段と、上記サンプル構造化文書データベースの内容を更新して最新の最適判定ルールを得るべく当該構造化文書種別判定システムを起動する制御手段と、教師データ入力者に関する情報を格納する教師データ入力者データベースと、上記教師データ入力者データベースに登録された教師データ入力者に上記教師データ入力手段を介した教師データ入力の依頼を通知する通知手段と、過去の最適な判定ルールにしたがい上記判定ルール実行手段により得られた過去の判定結果を格納する過去判定結果データベースとを備えており、上記最適判定ルール導出手段は、上記過去判定結果データベースに格納された過去の判定結果と上記最新の最適判定ルールにしたがって上記判定ルール実行手段によって得られた最新の判定結果とを比較して上記最新の最適判定ルールを評価することを特徴とする請求項１または請求項２記載の構造化文書種別判定システム。
【請求項４】
上記教師データ入力手段は、上記ネットワークを介して上記サンプル構造化文書データベースの内容を取得し、入力された教師データを上記ネットワークを介して上記特徴値及び教師データ・データベースへ格納することを特徴とする請求項３記載の構造化文書種別判定システム。
【請求項５】
上記制御手段は、管理者の指示したときまたは所定の時間間隔で上記構造化文書サンプリング手段を起動し、上記サンプル構造化文書データベースの内容を更新することを特徴とする請求項３または請求項４記載の構造化文書種別判定システム。
【請求項６】
上記制御手段は、管理者の指示したときまたは所定の時間間隔で、上記特徴値及び教師データ・データベースにデータが揃っているか否かをチェックし、上記特徴値及び教師データ・データベースにデータが揃っている場合に、上記通知手段を起動することを特徴とする請求項３から請求項５のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項７】
上記通知手段は、上記サンプル構造化文書データベースの全部または一部の構造化文書について教師データを入力する旨の指示を上記教師データ入力者データベースに登録された教師データ入力者に通知することを特徴とする請求項３から請求項６のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項８】
上記最適判定ルール導出手段は、上記判定結果データベースに格納された最新の判定結果と上記過去判定結果データベースに格納された過去の判定結果とを比べて過去の最適判定ルールと最新の最適判定ルールのいずれが精度が高いかを判定し、精度の高いほうを選択することを特徴とする請求項３から請求項７のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項９】
上記制御手段は、同一構造化文書について複数の教師データ入力者からの異なる複数の教師データ入力がある場合、多数決によって唯一の教師データ入力を決定することを特徴とする請求項３から請求項８のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項１０】
上記判定ルール作成手段は、データマイニングツールを用いて判定ルールを作成することを特徴とする請求項１から請求項９のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項１１】
構造化文書は、Ｗｅｂページであることを特徴とする請求項１から請求項１０のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項１２】
特定のＷｅｂページのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）のリストを格納する特定サイト情報データベースを備え、上記特徴値抽出手段は、上記サンプル構造化文書データベースに格納された各Ｗｅｂページと、上記特定サイト情報データベースに格納された上記リストに含まれるＵＲＬとのリンク数に相当する特徴値を抽出することを特徴とする請求項１１記載の構造化文書種別判定システム。
【請求項１３】
上記構造化文書特徴情報データベースに格納された特徴のリストは、以下の特徴のいずれかまたは複数を組み合わせたものを含むことを特徴とする請求項１１または請求項１２記載の構造化文書種別判定システム。
（１）Ｗｅｂページを構成する全タグのそれぞれの使用数
（２）Ｗｅｂページを構成する全タグのそれぞれにおける、各属性を含むものの使用数
（３）Ｗｅｂページを構成する全タグのそれぞれにおける、所定の連続値または離散値を有する属性を含むものの使用数
（４）Ｗｅｂページのサイズ
（５）Ｗｅｂページの表示サイズ
（６）Ｗｅｂページで使用される文字コード種別
（７）半角カナ文字の数
（８）絵文字の数
（９）イメージファイルの形式種別
（１０）Ｗｅｂページの識別子であるＵＲＬに含まれる特定の文字列の有無
（１１）Ｗｅｂページの識別子であるＵＲＬの長さ
（１２）Ｗｅｂページの識別子であるＵＲＬの拡張子
（１３）外部リンクの数
（１４）内部リンクの数。
【請求項１４】
上記構造化文書特徴情報データベースに格納された特徴のリストは、所定のタグシーケンスの有無を含むことを特徴とする請求項１１から請求項１３記載の構造化文書種別判定システム。
【請求項１５】
上記構造化文書特徴情報データベースに格納された特徴のリストは、各種別のＷｅｂページと判定されたリンク元の数及び各種別のＷｅｂページと判定されたリンク先の数を含むことを特徴とする請求項１１から請求項１４のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項１６】
上記構造化文書特徴情報データベースに格納された特徴のリストは、上記特定サイト情報データベースに含まれるＷｅｂページへのリンクの数と、上記特定サイト情報データベースに含まれるＷｅｂページからのリンクの数とを含むことを特徴とする請求項１１から請求項１５のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項１７】
複数の種別は、少なくともｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、パーソナルコンピュータ向けＷｅｂページの２つの種別を含むことを特徴とする請求項１１から請求項１６のうちのいずれか１項記載の構造化文書種別判定システム。
【請求項１８】
構造化文書サンプリング手段により、構造化文書を格納する構造化文書データベースから任意の複数の構造化文書をサンプリングしてサンプル構造化文書データベースを作成するサンプル構造化文書データベース作成ステップと、
構造化文書特徴情報データベース編集手段により、構造化文書を予め定めた複数の種別に分類するための指標となる、説明変数に相当する特徴のリストを設ける特徴リスト設定ステップと、
特徴値抽出手段により、上記サンプル構造化文書データベースに格納された各構造化文書から、上記特徴のリストにしたがって、各説明変数の値に相当する各特徴の値（以下特徴値と称する）を抽出し、教師データ入力手段により、上記サンプル構造化文書データベースに格納された各構造化文書が上記複数の種別のいずれに分類されるか判定された判定結果である教師データを入力し、特徴値及び教師データ・データベース作成手段により、上記サンプル構造化文書データベースに格納された各構造化文書に対応した、上記抽出された特徴値と上記入力された教師データとを含む特徴値及び教師データ・データベースを作成する特徴値及び教師データ・データベース作成ステップと、
機械学習用、検証用特徴値及び教師データ・データベース作成手段により、上記特徴値及び教師データ・データベースを２つに分割して機械学習用特徴値及び教師データ・データベースと検証用特徴値及び教師データ・データベースとを作成する機械学習用、検証用特徴値及び教師データ・データベース作成ステップと、
判定ルール作成手段により、データマイニングツールを用いて、上記機械学習用特徴値及び教師データ・データベースから、構造化文書が上記特徴を条件として上記複数の種別のいずれに分類されるかを判定するための判定ルールを作成する判定ルール作成ステップと、
判定ルール実行手段により、上記判定ルールにしたがい、上記検証用特徴値及び教師データ・データベースに特徴値及び教師データが格納された各構造化文書について上記複数の種別のいずれに分類されるかを判定して判定結果を求める判定ルール実行ステップと、
判定ルール評価手段により、該判定結果と上記検証用特徴値及び教師データ・データベースに格納された教師データとの差異に応じて、上記判定ルールの精度を評価する判定ルール評価ステップと、
最適判定ルール導出手段により、判定ルール作成をチューニングするための約束事に相当するチューニングパターンのリストから順次チューニングパターンを選択して上記判定ルール作成ステップに与え、上記判定ルール作成ステップで上記チューニングパターンにしたがって判定ルールを再度作成し、上記判定ルール実行ステップで上記判定ルールにしたがって再度判定を実行し、上記判定ルール評価ステップで上記判定ルールを評価させる一連の処理を、上記チューニングパターンデータベースに格納された全チューニングパターンについて判定ルール作成及び評価が終了するまで繰り返し、得られた複数の判定ルールの中から最適な判定ルールを導出する最適判定ルールステップと
を備えた構造化文書種別判定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等で記述されたＷｅｂページのような構造化文書の種別を判定する構造化文書種別判定システム及び構造化文書種別判定方法に関するものである。
【０００２】
【従来の技術】
図２１は特開２０００−２９９０２公開公報に開示された従来の構造化文書種別判定システムの構成を示すブロック図であり、図において、４００は構造化文書種別判定装置であり、４１０は構造的特長抽出部であって、文書データベース５００に格納されたＨＴＭＬ文書のタグとキーワードのペアからなる特徴を抽出するキーワード特徴抽出部４１１、上記ＨＴＭＬ文書に含まれるイメージの特徴を抽出するイメージ特徴抽出部４１２、上記ＨＴＭＬ文書に含まれるリンクの特徴を抽出するリンク特徴抽出部４１３及び上記ＨＴＭＬ文書のタグ構造の特徴を抽出するタグ構造特徴抽出部４１４を内包する。４２０は構造的特徴抽出部４１０により抽出された構造的特徴に点数付けを行うためのルールを含む構造的特徴ルールベース、４３０は構造的特徴抽出器４１０により抽出された構造的特徴とルールの照合を行って各種別についての総点数を求め、ＨＴＭＬ文書の各種別への適合度を計算する照合器、６００は構造化文書種別判定装置４００により生成されたＨＴＭＬ文書の種別を保持する種別インデックスである。
【０００３】
次に動作について説明する。
構造化文書種別判定装置４００は、ＨＴＭＬ文書を文書データベース５００から一つずつ取り出し構造的特徴抽出器４１０へ入力する。構造的特徴抽出器４１０は、キーワード特徴抽出部４１１、イメージ特徴抽出部４１２、リンク特徴抽出部４１３及びタグ構造特徴抽出部４１４を起動し、ＨＴＭＬ文書に含まれる特徴を抽出し照合器４３０へ送る。構造的特徴ルールベース４２０は、ＨＴＭＬ文書の種別を判定するのに使用される、種別に応じた特徴記述の条件とその点数とを表現した図２２に示すようなルールを含んでいる。図２２に示すルールは、「ｋｅｙｗｏｒｄ、ｉｍａｇｅ、ｌｉｎｋまたはｓｔｒｕｃｔｕｒｅ：種別：点数：タグまたは条件式：キーワードリストまたは条件式」の形式を有している。第１項が“ｋｅｙｗｏｒｄ”の場合、当該ルールがキーワード特徴抽出部４１１に対応していることを示している。第１項が“ｉｍａｇｅ”の場合、当該ルールがイメージ特徴抽出部４１２に対応していることを示している。第１項が“ｌｉｎｋ”の場合、当該ルールがリンク特徴抽出部４１３に対応していることを示している。第１項目が“ｓｔｒｕｃｔｕｒｅ”の場合、当該ルールがタグ構造特徴抽出部４１４に対応していることを示している。第２項は当該ルールがある種別に特有のルールであることを示している。第３項は照合に成功した場合その種別に対して加える点数を示している。第４項は、第１項が“ｋｅｙｗｏｒｄ”の場合、キーワードが含まれるタグを示しており、第１項が“ｉｍａｇｅ”または“ｌｉｎｋ”の場合、第４項はイメージファイルまたはリンクに対する条件式を示しており、第１項が“ｓｔｒｕｃｔｕｒｅ”の場合、第４項は抽出するタグの部分構造であることを示している。第５項は、第１項が“ｋｅｙｗｏｒｄ”の場合、タグに含まれるキーワードのリストを示しており、第１項が“ｓｔｒｕｃｔｕｒｅ”の場合、第４項のタグ構造中の変数またはタグ構造の個数に対する条件式を示しており、これはオプションである。第１項が“ｉｍａｇｅ”または“ｌｉｎｋ”の場合、第５項はない。
【０００４】
照合器４３０は、分類すべきＨＴＭＬ文書から抽出され構造的特徴抽出器４１０から送られた特徴と図２２に示すように種別ごとに設定された各判定ルールとを照合する。この際、照合器４３０は、合致したルールがあれば、そのルールに設定された点数を種別毎に加算していく。例えば、図２２の第４行目のルールは、＜ｈ１＞タグが「仕様」または「スペック」というキーワードを含んでいる場合、「商品カタログ」という種別に３点を加えることを意味している。照合器４３０は、分類すべきＨＴＭＬ文書について複数の種別のそれぞれについて適合度を計算して種別インデックス６００へ保存する。各種別について、適合度は例えば全てのルールが合致した場合の点数（満点）に対する獲得した点数の比率で計算される。そして、構造化文書種別判定装置４００は、算出した適合度にしたがいＨＴＭＬ文書を特定の種別に分類する。
【０００５】
図２１に示した従来の構造化文書種別判定システムは、照合器４３０によって計算される適合度を微調整する点数調整器を備えることができる。点数調整器は、図２３に示すような、種別間の関連などから微調整するために使用される調整ルールを用いて各種別に対する適合度を微調整することができる。例えば、図２３の第１のルールは、「商品カタログと個人ページの適合度の差が０％より大きく且つ１０％以下で、且つ、個人ページの適合度が５０％以上で、且つ、商品カタログの適合度が９０％以下である場合、商品カタログの適合度を１０％上げ、個人ページの適合度を１０％下げる」を意味している。
【０００６】
図２１に示した従来の構造化文書種別判定システムは、構造的特徴ルールベース４２０のみでは精度の高い分類ができない場合、図２３に示すような調整ルールを用いて精度を上げる必要がある。
【０００７】
なお、特開２０００−２９９０２公開公報は、図２２に示すような構造的特徴ルールベース４２０に格納されたルール及び図２３に示すような調整ルールの導出方法、ならびにルールとなる特徴の選択方法を開示していない。また、言うまでも無く、上記従来の構造化文書種別判定システムでは、構造的特徴ルールベース４２０及び調整ルールの構築や調整が必須である。
【０００８】
【発明が解決しようとする課題】
従来の構造化文書種別判定システムは以上のように構成されているので、構造的特徴ルールベース及び調整ルールの構築や調整が必須であり、このために、ルールのベースとなる特徴を選び出し、各ルールに与える点数を設定するなどのチューニングが必要であり、多くの経験知識とそれを用いた試行錯誤の繰り返しが必要であるので、精度のよい判定を行うには多くの手間と時間を要するという課題があった。
【０００９】
また、インターネット上のＷＷＷサイトが提供するＷｅｂページの変化に即座に対応できないという課題があった。すなわち、Ｗｅｂページの特徴は日々変化しており、この変化に応じて、最初に判定ルールベースを作成したのと同様に、経験知識を積み重ねながら試行錯誤を繰り返してルールを作成する必要がある。例えば、商品カタログでは、「商品」、「サービス」または「製品」というキーワードを使わなくなり、「プロダクト」などの言葉が多用されるかもしれない。したがって、このような場合は、「プロダクト」などの言葉が多用されるという事実を何らかの方法で入手し、構造的特徴ルールベースを再構築する必要がある。
【００１０】
この発明は上記のような課題を解決するためになされたもので、Ｗｅｂページなどの構造化文書の種別判定のための経験知識を必要とせずに構造化文書の種別判定のための判定ルールを容易に作成し、変化の激しいＷｅｂページにも即座に対応することができる構造化文書種別判定システム及び構造化文書種別判定方法を得ることを目的とする。
【００１１】
【課題を解決するための手段】
この発明に係る構造化文書種別判定システムは、ネットワークを介して収集された複数の構造化文書を格納する構造化文書データベースと、構造化文書データベースから任意の複数の構造化文書をサンプリングする構造化文書サンプリング手段と、構造化文書サンプリング手段によりサンプリングされた複数の構造化文書を格納するサンプル構造化文書データベースと、構造化文書を予め定めた複数の種別に分類するための指標となる、説明変数に相当する特徴のリストを格納する構造化文書特徴情報データベースと、サンプル構造化文書データベースに格納された各構造化文書から、構造化文書特徴情報データベースに格納された特徴のリストにしたがって、各説明変数の値に相当する各特徴の値（以下特徴値と称する）を抽出する特徴値抽出手段と、サンプル構造化文書データベースに格納された構造化文書の種別を教師データとして入力する教師データ入力手段と、サンプル構造化文書データベースに格納された各構造化文書に対応した、特徴値抽出手段により抽出された特徴値と教師データ入力手段により入力された教師データとを格納する特徴値及び教師データ・データベースと、特徴値及び教師データ・データベースに格納されたデータの一部を格納する機械学習用特徴値及び教師データ・データベースと、特徴値及び教師データ・データベースに格納されたデータの残りを格納する検証用特徴値及び教師データ・データベースと、機械学習用特徴値及び教師データ・データベースに格納された構造化文書、特徴値及び教師データに基づいて、構造化文書が上記特徴を条件として複数の種別のいずれに分類されるかを判定する判定ルールを作成する判定ルール作成手段と、判定ルール作成手段により作成された判定ルールにしたがい、検証用特徴値及び教師データ・データベースに特徴値及び教師データが格納された各構造化文書について複数の種別のいずれに分類されるかを判定する判定ルール実行手段と、判定ルール実行手段により得られた判定結果と検証用特徴値及び教師データ・データベースに格納された教師データとの差異に応じて、判定ルールの精度を評価する判定ルール評価手段と、判定ルール作成手段による判定ルール作成をチューニングするための約束事に相当するチューニングパターンのリストを格納するチューニングパターンデータベースと、チューニングパターンデータベースから順次チューニングパターンを選択して判定ルール作成手段に与え、判定ルール作成手段にチューニングパターンにしたがって判定ルールを再度作成させ、判定ルール実行手段に該判定ルールにしたがって再度判定を実行させ、判定ルール評価手段に判定ルールを評価させる一連の処理を、チューニングパターンデータベースに格納された全チューニングパターンについて判定ルール作成及び評価が終了するまで繰り返し、得られた複数の判定ルールの中から最適な判定ルールを導出する最適判定ルール導出手段とを備えたものである。
【００１２】
この発明に係る構造化文書種別判定システムは、構造化文書特徴情報データベースに格納された特徴のリストを編集する構造化文書特徴情報データベース編集手段を備えたものである。
【００１３】
この発明に係る構造化文書種別判定システムは、ネットワークを介して構造化文書を収集し構造化文書データベースの内容を更新する収集手段と、サンプル構造化文書データベースの内容を更新して最新の最適判定ルールを得るべく当該構造化文書種別判定システムを起動する制御手段と、教師データ入力者に関する情報を格納する教師データ入力者データベースと、教師データ入力者データベースに登録された教師データ入力者に教師データ入力手段を介した教師データ入力の依頼を通知する通知手段と、過去の最適な判定ルールにしたがい判定ルール実行手段により得られた過去の判定結果を格納する過去判定結果データベースとを備えており、最適判定ルール導出手段は、過去判定結果データベースに格納された過去の判定結果と最新の最適判定ルールにしたがって判定ルール実行手段によって得られた最新の判定結果とを比較して最新の最適判定ルールを評価するものである。
【００１４】
この発明に係る構造化文書種別判定システムは、教師データ入力手段が、ネットワークを介してサンプル構造化文書データベースの内容を取得し、入力された教師データをネットワークを介して特徴値及び教師データ・データベースへ格納するものである。
【００１５】
この発明に係る構造化文書種別判定システムは、制御手段が、管理者の指示したときまたは所定の時間間隔で構造化文書サンプリング手段を起動し、サンプル構造化文書データベースの内容を更新するものである。
【００１６】
この発明に係る構造化文書種別判定システムは、制御手段が、管理者の指示したときまたは所定の時間間隔で、特徴値及び教師データ・データベースにデータが揃っているか否かをチェックし、特徴値及び教師データ・データベースにデータが揃っている場合に、通知手段を起動するものである。
【００１７】
この発明に係る構造化文書種別判定システムは、通知手段が、サンプル構造化文書データベースの全部または一部の構造化文書について教師データを入力する旨の指示を教師データ入力者データベースに登録された教師データ入力者に通知するものである。
【００１８】
この発明に係る構造化文書種別判定システムは、最適判定ルール導出手段が、判定結果データベースに格納された最新の判定結果と過去判定結果データベースに格納された過去の判定結果とを比べて過去の最適判定ルールと最新の最適判定ルールのいずれが精度が高いかを判定し、精度の高いほうを選択するものである。
【００１９】
この発明に係る構造化文書種別判定システムは、制御手段が、同一構造化文書について複数の教師データ入力者からの異なる複数の教師データ入力がある場合、多数決によって唯一の教師データ入力を決定するものである。
【００２０】
この発明に係る構造化文書種別判定システムは、判定ルール作成手段が、データマイニングツールを用いて判定ルールを作成するものである。
【００２１】
この発明に係る構造化文書種別判定システムは、構造化文書が、Ｗｅｂページであるものである。
【００２２】
この発明に係る構造化文書種別判定システムは、特定のＷｅｂページのＵＲＬリストを格納する特定サイト情報データベースを備え、特徴値抽出手段は、サンプル構造化文書データベースに格納された各Ｗｅｂページと、特定サイト情報データベースに格納されたリストに含まれるＵＲＬとのリンク数に相当する特徴値を抽出するものである。
【００２３】
この発明に係る構造化文書種別判定システムは、構造化文書特徴情報データベースに格納された特徴のリストは、以下の特徴のいずれかまたは複数を組み合わせたものを含むものである。
（１）Ｗｅｂページを構成する全タグのそれぞれの使用数
（２）Ｗｅｂページを構成する全タグのそれぞれにおける、各属性を含むものの使用数
（３）Ｗｅｂページを構成する全タグのそれぞれにおける、所定の連続値または離散値を有する属性を含むものの使用数
（４）Ｗｅｂページのサイズ
（５）Ｗｅｂページの表示サイズ
（６）Ｗｅｂページで使用される文字コード種別
（７）半角カナ文字の数
（８）絵文字の数
（９）イメージファイルの形式種別
（１０）Ｗｅｂページの識別子であるＵＲＬに含まれる特定の文字列の有無
（１１）Ｗｅｂページの識別子であるＵＲＬの長さ
（１２）Ｗｅｂページの識別子であるＵＲＬの拡張子
（１３）外部リンクの数
（１４）内部リンクの数。
【００２４】
この発明に係る構造化文書種別判定システムは、構造化文書特徴情報データベースに格納された特徴のリストが、所定のタグシーケンスの有無を含むものである。
【００２５】
この発明に係る構造化文書種別判定システムは、構造化文書特徴情報データベースに格納された特徴のリストが、各種別のＷｅｂページと判定されたリンク元の数及び各種別のＷｅｂページと判定されたリンク先の数を含むものである。
【００２６】
この発明に係る構造化文書種別判定システムは、構造化文書特徴情報データベースに格納された特徴のリストが、特定サイト情報データベースに含まれるＷｅｂページへのリンクの数と、特定サイト情報データベースに含まれるＷｅｂページからのリンクの数とを含むものである。
【００２７】
この発明に係る構造化文書種別判定システムは、複数の種別が、少なくともｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、パーソナルコンピュータ向けＷｅｂページの２つの種別を含むものである。
【００２８】
この発明に係る構造化文書種別判定方法は、構造化文書サンプリング手段により、構造化文書を格納する構造化文書データベースから任意の複数の構造化文書をサンプリングしてサンプル構造化文書データベースを作成するサンプル構造化文書データベース作成ステップと、構造化文書特徴情報データベース編集手段により、構造化文書を予め定めた複数の種別に分類するための指標となる、説明変数に相当する特徴のリストを設ける特徴リスト設定ステップと、特徴値抽出手段により、サンプル構造化文書データベースに格納された各構造化文書から、特徴のリストにしたがって、各説明変数の値に相当する各特徴の値を抽出し、教師データ入力手段により、サンプル構造化文書データベースに格納された各構造化文書が複数の種別のいずれに分類されるか判定された判定結果である教師データを入力し、特徴値及び教師データ・データベース作成手段により、サンプル構造化文書データベースに格納された各構造化文書に対応した、抽出された特徴値と入力された教師データとを含む特徴値及び教師データ・データベースを作成する特徴値及び教師データ・データベース作成ステップと、機械学習用、検証用特徴値及び教師データ・データベース作成手段により、特徴値及び教師データ・データベースを２つに分割して機械学習用特徴値及び教師データ・データベースと検証用特徴値及び教師データ・データベースとを作成する機械学習用、検証用特徴値及び教師データ・データベース作成ステップと、判定ルール作成手段により、データマイニングツールを用いて、機械学習用特徴値及び教師データ・データベースから、構造化文書が特徴を条件として複数の種別のいずれに分類されるかを判定するための判定ルールを作成する判定ルール作成ステップと、判定ルール実行手段により、判定ルールにしたがい、検証用特徴値及び教師データ・データベースに特徴値及び教師データが格納された各構造化文書について複数の種別のいずれに分類されるかを判定して判定結果を求める判定ルール実行ステップと、判定ルール評価手段により、判定結果と検証用特徴値及び教師データ・データベースに格納された教師データとの差異に応じて、判定ルールの精度を評価する判定ルール評価ステップと、最適判定ルール導出手段により、判定ルール作成をチューニングするための約束事に相当するチューニングパターンのリストから順次チューニングパターンを選択して判定ルール作成ステップに与え、判定ルール作成ステップでチューニングパターンにしたがって判定ルールを再度作成し、判定ルール実行ステップで判定ルールにしたがって再度判定を実行し、判定ルール評価ステップで判定ルールを評価させる一連の処理を、チューニングパターンデータベースに格納された全チューニングパターンについて判定ルール作成及び評価が終了するまで繰り返し、得られた複数の判定ルールの中から最適な判定ルールを導出する最適判定ルールステップとを備えたものである。
【００２９】
【発明の実施の形態】
以下、この発明の実施の形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による構造化文書種別判定システムの構成を示すブロック図である。図において、１００は構造化文書種別判定システムであり、１０１はＨＴＭＬなどで記述された構造化文書を格納する構造化文書データベース、１０２は構造化文書データベース１０１から任意の複数の構造化文書をサンプリングする構造化文書サンプリング部（構造化文書サンプリング手段）、１０３は構造化文書サンプリング部１０２によりサンプリングされた上記複数の構造化文書を格納するサンプル構造化文書データベース、１０４は構造化文書を予め定めた複数の種別に分類するための指標となる、構造化文書から抽出すべき特徴（説明変数とも称する）のリストを格納する構造化文書特徴情報データベース、１０５は構造化文書特徴情報データベース１０４の内容を編集する構造化文書特徴情報データベース編集部（構造化文書特徴情報データベース編集手段）、１０６はサンプル構造化文書データベース１０３に格納された各構造化文書から、構造化文書特徴情報データベース１０４に格納された特徴のリストにしたがって、各特徴の値（以下特徴値と称する）を抽出する特徴値抽出部（特徴値抽出手段）、１０７はサンプル構造化文書データベース１０３に格納された各構造化文書が複数の種別のいずれに分類されるか判定した結果（教師データとも称する）を入力する教師データ入力部（教師データ入力手段）、１０８はサンプル構造化文書データベース１０３に格納された各構造化文書について、特徴値抽出部１０６により抽出された特徴値と教師データ入力部１０７により入力された教師データとを含む特徴値及び教師データ・データベース、１０９は特徴値及び教師データ・データベース１０８の一部から成る機械学習用特徴値及び教師データ・データベース、１１０は特徴値及び教師データ・データベース１０８の残りから成る検証用特徴値及び教師データ・データベース、１１１は機械学習用特徴値及び教師データ・データベース１０９から、構造化文書が複数の種別のいずれに分類されるかを判定するための判定ルールを作成する判定ルール作成部（判定ルール作成手段）、１１２は判定ルール作成部１１１により作成された判定ルールを格納する判定ルールデータベース、１１３は判定ルールデータベース１１２に格納された判定ルールにしたがい、検証用特徴値及び教師データ・データベース１１０に特徴値及び教師データが格納された構造化文書及びインターネット、イントラネットなどのネットワーク上の構造化文書のそれぞれについて複数の種別のいずれに分類されるかを判定する判定ルール実行部（判定ルール実行手段）、１１４は判定ルール実行部１１３により得られた判定結果を格納する判定結果データベース、１１５は判定結果データベース１１４に格納された判定結果と検証用特徴値及び教師データ・データベース１１０に格納された教師データとを比較することにより、判定ルールデータベース１１２に格納された判定ルールを評価する判定ルール評価部（判定ルール導出手段、判定ルール評価手段）、１１６は判定ルール作成部１１１による判定ルール作成をチューニングするためのチューニングパターンのリストを格納するチューニングパターンデータベース（判定ルール導出手段）、１１７はチューニングパターンデータベース１１６から順次チューニングパターンを選択して判定ルール作成部１１１に与え、判定ルール作成部１１１にチューニングパターンにしたがって判定ルールを再度作成させ、判定ルール実行部１１３に判定ルールにしたがって再度判定を実行させ、判定ルール評価部１１５に判定ルールを評価させる一連の処理を、チューニングパターンデータベース１１６に格納された全チューニングパターンについて判定ルール作成及び評価が終了するまで繰り返し、得られた複数の判定ルールの中から最適な判定ルールを導出する最適判定ルール導出部（判定ルール導出手段、最適判定ルール導出手段）である。
【００３０】
次に動作について説明する。
この実施の形態１による構造化文書種別判定システムの種別判定対象となる構造化文書は、ＨＴＭＬやＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などのいかなる形式で記述されたものであっても構わない。また、管理者（教師データ入力者でもあり得る）は、構造化文書が分類されるべき複数の種別を予め決定し、後述するように、サンプリングされた各構造化文書の種別を判定しその結果を教師データ入力部１０７を介して特徴値及び教師データ・データベース１０８へ格納する。なお、管理者と教師データ入力者は別の人物であってもよい。
【００３１】
構造化文書データベース１０１は、インターネット、イントラネットなどのネットワークから収集された全ての構造化文書を格納することができる。一般に、構造化文書はクローラと呼ばれるロボットによってインターネットなどのネットワーク上のＷｅｂサイトなどから収集される。
【００３２】
構造化文書サンプリング部１０２は、構造化文書データベース１０１から任意の複数の構造化文書をサンプリングし、これをサンプル構造化文書データベース１０３へ格納する。この際、構造化文書サンプリング部１０２は、予め設定された量の構造化文書を構造化文書データベース１０１からランダムに抽出してもよいし、構造化文書データベース１０１に格納された順に適当な間隔でサンプリングしてもよい。また、サンプリングされる構造化文書の量は後で述べる判定ルールの精度と教師データ入力者による判定結果すなわち教師入力データ入力の手間とを考慮して決定される。すなわち、判定ルールの精度と教師入力データを入力する手間とはトレードオフの関係にあり、サンプリングされる構造化文書の量が多いと教師データ入力者の負荷が大きくなるが、得られる判定ルールの精度は高くなる。サンプリングされる構造化文書の量は、例えば、構造化文書データベース１０１に格納された構造化文書の数パーセント程度である。
【００３３】
構造化文書特徴情報データベース１０４は、構造化文書を予め定めた複数の種別に分類するための指標となる、構造化文書から抽出すべき特徴のリストを格納している。特徴のリストは、構造化文書が記述されるＨＴＭＬなどの記述言語で規定される全要素に含まれるタグ、属性、属性の値、ＵＲＬ、文字列などに関連した特徴を含んでおり、構造化文書を予め定めた複数の種別に分類するために使用される指標となるものであればどのようなものであってもかまわない。すなわち、特徴のリストは、構造化文書を予め定めた複数の種別に分類するために使用される指標となり得る特徴を網羅している。
【００３４】
例えば、構造化文書がＨＴＭＬで記述されたＷｅｂページの場合、特徴のリストは、構造化文書で使用可能な全タグのそれぞれの使用数、全タグのそれぞれにおける、各属性が含まれるものの使用数などを含んでいる。また、構造化文書がＸＭＬで記述されたＷｅｂページの場合にも、同様に、リストは、構造化文書で使用可能な全タグのそれぞれの使用数、全タグのそれぞれにおける、各属性が含まれるものの使用数などを含むが、ＸＭＬではＤＴＤ（Ｄｏｃｕｍｅｎｔ  Ｔｙｐｅ  Ｄｅｆｉｎｉｔｉｏｎ）でタグ名や属性を自由に定義可能であるので、様々な分野で作成されている共通ＤＴＤで定義されたタグに関する特徴を含んでいることが好ましい。いずれの場合においても、構造化文書特徴情報データベース１０４に格納されている各特徴すなわち各説明変数は、構造化文書が予め設定された複数の種別のいずれに分類されるのかを判定するための一指標となっており、後で述べるように、リストに含まれる１つ以上の特徴値すなわち説明変数の値に応じて構造化文書の種別が判定される。なお、後で述べるように、判定ルール作成部１１１としてデータマイニングツールが使用されるので、構造化文書特徴情報データベース１０４が判定に不要な特徴をたとえ含んでいても、判定ルールとして利用されないので問題ない。
【００３５】
管理者は、構造化文書特徴データベース編集部１０５を介して、構造化文書特徴情報データベース１０４の内容の変更、追加、削除などの編集を行うことが可能である。好ましくは、構造化文書特徴情報データベース１０４はデフォルトの特徴リストを含んでいる。管理者は随時その特徴リストを編集することが可能である。
【００３６】
図２は特徴値抽出部１０６の動作を示すフローチャートである。特徴値抽出部１０６は、ステップＳＴ２１でサンプル構造化文書データベース１０３に格納された複数の構造化文書のいずれか一つを順に取出し、ステップＳＴ２２で構造化文書特徴情報データベース１０４から順に特徴を取出し、ステップＳＴ２３で、取り出した構造化文書について、ステップＳＴ２２で取り出した特徴の値を得て、ステップＳＴ２４でその値を特徴値及び教師データ・データベース１０８の取り出した構造化文書の該当する項目に格納する。次に、特徴値抽出部１０６は、ステップＳＴ２５で構造化文書特徴情報データベース１０４に格納されているリストに含まれる全ての特徴の値を得たか否かを確認し、未だ値が得られていない特徴があるならば、ステップＳＴ２２に戻り未だ値が得られていない特徴の一つを取り出しその値を得る。一方、ステップＳＴ２５において全ての特徴値の獲得が完了したと判定されると、特徴値抽出部１０６は、ステップＳＴ２６でサンプル構造化文書データベース１０３に格納された全構造化文書について特徴値すなわち説明変数値の獲得が完了したか否かを判定し、未だ特徴値が得られていな構造化文書があるならば、ステップＳＴ２１に戻り未だ特徴値が得られていな構造化文書の一つを取り出し、この取り出した構造化文書についてステップＳＴ２２〜Ｓ２５の処理を繰り返す。一方、ステップＳＴ２６においてサンプル構造化文書データベース１０３に格納された全構造化文書について全特徴値の獲得が完了したと判定されると、特徴値抽出部１０６は、特徴値の抽出処理を終了する。
【００３７】
教師データ入力部１０７は、サンプル構造化文書データベース１０３に格納された各構造化文書を表示装置（図示せず）に表示して、教師データ入力者に各構造化文書を予め設定した複数の種別のいずれかに分類させることを可能にする。すなわち、表示装置に表示された各構造化文書を見て、教師データ入力者はその構造化文書の種別（種別１，２など）を判定し、判定結果である教師データを入力する。教師データ入力部１０７は、入力されたこの教師データを特徴値及び教師データ・データベース１０８の各構造化文書の該当する項目に格納する。
【００３８】
図３は特徴値及び教師データ・データベース１０８の一例を示す図である。説明上、特徴値抽出部１０６により得られた特徴値と教師データ入力部１０７により入力された教師データは分けて描かれている。図３に示すように、特徴値及び教師データ・データベース１０８は、サンプル構造化文書データベース１０３に格納された全構造化文書（構造化文書１〜構造化文書Ｎ）について、構造化文書特徴情報データベース１０４に格納されたリストの全特徴（特徴１〜特徴Ｍ）の値と、教師データ入力者による判定結果である教師データとを格納している。
【００３９】
構造化文書種別判定システム１００は、図３に示すように、特徴値及び教師データ・データベース１０８を分割して機械学習用特徴値及び教師データ・データベース１０９と検証用特徴値及び教師データ・データベース１１０とを作成する。この際、特徴値及び教師データ・データベース１０８を２等分ないしほぼ２等分に分割してもよいし、特徴値及び教師データ・データベース１０８に含まれる全データセットからランダムに複数のデータセットを抽出して機械学習用特徴値及び教師データ・データベース１０９を作成し、残りのデータセットから検証用特徴値及び教師データ・データベース１１０を作成してもよい。とにかく、なんらかの方法を用いて、構造化文書種別判定システム１００は、特徴値及び教師データ・データベース１０８を分割して機械学習用特徴値及び教師データ・データベース１０９と検証用特徴値及び教師データ・データベース１１０とを作成する。
【００４０】
判定ルール作成部１１１は、機械学習用特徴値及び教師データ・データベース１０９から、構造化文書が複数の種別のいずれに分類されるかを判定するために使用される判定ルールを作成し、作成した判定ルールを判定ルールデータベース１１２に格納する。例えば、判定ルール作成部１１１は、市販されているデータマイニングツールなどの、機械学習の一つの手法である決定木を用いたデータマイニングツールを用いて、機械学習用特徴値及び教師データ・データベース１０９に対してデータマイニングを実施して図４に示すような判定ルールを作成し、判定ルールデータベース１１２に格納する。図４は決定木を用いた判定ルールの一例を示している。この例では、決定木は最上位ノードとして条件１を有しその子ノードとして複数の条件２〜条件ｉを含んでおり、構造化文書はこれらの条件により複数の種別１〜ｋに分類される。
【００４１】
判定ルール実行部１１３は、検証用特徴値及び教師データ・データベース１１０に格納された各構造化文書に対して判定ルールデータベース１１２に格納された判定ルールを適用して、その種別を判定する。そして、判定ルール実行部１１３はその判定結果を判定結果データベース１１４に格納する。この際、判定ルール実行部１１３は、検証用特徴値及び教師データ・データベース１１０に格納された各構造化文書について、教師データ入力部１０７を介して設定された教師データ入力者の判定結果である教師データも、自身が得た判定結果と対応付けて判定結果データベース１１４に格納する。
【００４２】
判定ルール評価部１１５は、判定結果データベース１１４を元に判定ルールデータベース１１２に格納された判定ルールの精度を評価し評価結果を判定結果データベース１１４に格納する。判定ルール評価部１１５は、教師データ入力部１０７を介して入力され教師データ入力者によって得られた判定結果である教師データと、判定ルールを用いて判定した判定結果との差異で判定ルールを評価することができる。例えば、判定ルール評価部１１５は、教師データ入力者によってある種別の構造化文書であると判定された文書の数に対する、判定ルールデータベース１１２に格納された判定ルールにしたがいその種別の構造化文書であると判定された構造化文書の数の比率である再現率で判定ルールの精度を評価できる。判定ルール評価部１１５は、判定ルールにしたがいある種別の構造化文書であると判定された構造化文書の数に対する、教師データ入力者によってその種別の構造化文書であると判定された構造化文書の数の比率である適合率で判定ルールの精度を評価してもよい。また、これに代わって、判定ルール評価部１１５は再現率と適合率の組み合わせで判定ルールの精度を評価してもよい。評価方法は上記のものに限定されるものではなく、判定ルールの精度を評価できるものであればどのようなものであってもよい。
【００４３】
最適判定ルール導出部１１７は、チューニングパターンデータベース１１６から順次チューニングパターンを選択して判定ルール作成部１１１に与える。チューニングパターンは、例えば、「種別１を種別２と判定してもよいが種別２を種別１と判定してはならない」のような約束事である。この結果、判定ルール作成部１１１は選択したチューニングパターンにしたがって判定ルールを再度作成して判定ルールデータベース１１２に格納するとともに、判定ルール実行部１１３はこの判定ルールを検証用特徴値及び教師データ・データベース１１０に格納された各構造化文書に適用してその種別を再度判定する。そして、判定ルール実行部１１３はその判定結果を判定結果データベース１１４に格納する。さらに、判定ルール評価部１１５は、判定結果データベース１１４に格納された新たな判定結果を元に再度作成され判定ルールデータベース１１２に格納された判定ルールの精度を評価し評価結果（すなわち、再現率、適合率、またはこれらの組み合わせなどの評価を示す指標）を判定結果データベース１１４に格納する。
【００４４】
最適判定ルール導出部１１７は、このような一連の処理をチューニングパラメータデータベース１１６に格納された全チューニングパラメータについての判定ルール作成が終了するまで繰り返し、最適判定ルールを導きこれを判定ルールデータベース１１２に現在の最適判定ルールとして格納する。この際、最適判定ルール導出部１１７は、判定ルール評価部１１５によって得られた判定ルールの評価を示す指標（例えば再現率、適合率、またはこれらの組み合わせ）が最も高い判定ルールを最適判定ルールとして決定する。
【００４５】
なお、判定ルール実行部１１３は、最適判定ルールの導出を行った後、最適判定ルールにしたがいネットワーク上の構造化文書の種別を判定する。判定ルール実行部１１３は、ネットワークを介して収集された構造化文書を格納している構造化文書データベース１０１の構造化文書の種別を判定することができるうえに、ネットワークにアクセスしてネットワーク上の任意の構造化文書の種別を判定することもできる。
【００４６】
以上のように、この発明の実施の形態１によれば、クロールなどにより大量に収集した構造化文書から予め設けた特徴のリストに基づき最適判定ルールを効率よく導出することができるので、判定ルール作成のための試行錯誤を不要にする効果がある。また、この実施の形態１による構造化文書種別判定システムは、クロールなどによって新たな構造化文書などが収集され構造化文書データベース１０１の内容が更新されるたびに最適判定ルールの導出を行うことができるので、構造化文書の変化に迅速に対応することが可能である。
【００４７】
さらに、新たな特徴が構造化文書に加えられたり、新たな特徴が発見されたような場合には、管理者は構造化文書特徴情報データベース編集部１０５を介して構造化文書特徴情報データベース１０４にその特徴を追加するだけで、新たな特徴の値を考慮に入れた新たな最適判定ルールを作成することが可能であるので、このような場合において判定ルール作成のための試行錯誤を不要にする効果がある。
【００４８】
実施の形態２．
図５はこの発明の実施の形態２による構造化文書種別判定システムの構成を示すブロック図である。図において、２００は構造化文書種別判定システムであり、２０１はＨＴＭＬなどで記述されたＷｅｂページを格納するＷｅｂページデータベース（構造化文書データベース）、２０２はＷｅｂページデータベース２０１から任意の複数のＷｅｂページをサンプリングするＷｅｂページサンプリング部（構造化文書サンプリング手段）、２０３はＷｅｂページサンプリング部２０２によりサンプリングされた上記複数のＷｅｂページを格納するサンプルＷｅｂページデータベース（サンプル構造化文書データベース）、２０４はＷｅｂページを予め定めた複数の種別に分類するための指標となる、Ｗｅｂページから抽出すべき特徴のリストを格納するＷｅｂページ特徴情報データベース（構造化文書特徴情報データベース）、２０５は特定のＷｅｂサイトのＵＲＬを格納する特定サイト情報データベース、２０６はＷｅｂページ特徴情報データベース２０４の内容を編集するＷｅｂページ特徴情報データベース編集部（構造化文書特徴情報データベース編集手段）、２０７はサンプルＷｅｂページデータベース２０３に格納された各Ｗｅｂページから、Ｗｅｂページ特徴情報データベース２０４に格納された特徴のリストにしたがって、各特徴値を抽出する特徴値抽出部（特徴値抽出手段）、２０８はサンプルＷｅｂページデータベース２０３に格納された各Ｗｅｂページが複数の種別のいずれに分類されるか判定した結果すなわち教師データを入力する教師データ入力部（教師データ入力手段）、２０９はサンプルＷｅｂページデータベース２０３に格納された各Ｗｅｂページについて、特徴値抽出部２０７により抽出された特徴値と教師データ入力部２０８により入力された判定結果である教師データとを含む特徴値及び教師データ・データベース、２１０は特徴値及び教師データ・データベース２０９の一部から成る機械学習用特徴値及び教師データ・データベース、２１１は特徴値及び教師データ・データベース２０９の残りから成る検証用特徴値及び教師データ・データベース、２１２は機械学習用特徴値及び教師データ・データベース２１０から、Ｗｅｂページが複数の種別のいずれに分類されるかを判定するための判定ルールを作成する判定ルール作成部（判定ルール作成手段）、２１３は判定ルール作成部２１２により作成された判定ルールを格納する判定ルールデータベース、２１４は判定ルールデータベース２１３に格納された判定ルールにしたがい、検証用特徴値及び教師データ・データベース２１１に特徴値及び教師データが格納されたＷｅｂページ及びインターネット、イントラネットなどのネットワーク上のＷｅｂページのそれぞれについて複数の種別のいずれに分類されるかを判定する判定ルール実行部（判定ルール実行手段）、２１５は判定ルール実行部２１４により得られた判定結果を格納する判定結果データベース、２１６は判定結果データベース２１５に格納された判定結果と検証用特徴値及び教師データ・データベース２１１に格納された教師データとを比較することにより、判定ルールデータベース２１３に格納された判定ルールを評価する判定ルール評価部（判定ルール導出手段、判定ルール評価手段）、２１７は判定ルール作成部２１２による判定ルール作成をチューニングするためのチューニングパターンのリストを格納するチューニングパターンデータベース（判定ルール導出手段）、２１８はチューニングパターンデータベース２１７から順次チューニングパターンを選択して判定ルール作成部２１２に与え、判定ルール作成部２１２にチューニングパターンにしたがって判定ルールを再度作成させ、判定ルール実行部２１４に判定ルールにしたがって再度判定を実行させ、判定ルール評価部２１６に判定ルールを評価させる一連の処理を、チューニングパターンデータベース２１７に格納された全チューニングパターンについて判定ルール作成及び評価が終了するまで繰り返し、得られた複数の判定ルールの中から最適な判定ルールを導出する最適判定ルール導出部（判定ルール導出手段、最適判定ルール導出手段）である。
【００４９】
次に動作について説明する。
この実施の形態２による構造化文書種別判定システムはＷｅｂページ種別判定を行うシステムである。構造化文書種別判定システムの種別判定対象となるＷｅｂページは、ＨＴＭＬ、ＸＭＬなどのいかなる形式で記述されたものであっても構わない。公知のように、様々な分野のＷｅｂページがインターネット、イントラネットなどのネットワーク上に存在している。加えて、パーソナルコンピュータ（ＰＣ）向けＷｅｂページ以外にもＮＴＴドコモ（株）のｉ−ｍｏｄｅ（登録商標）、ａｕ（株）のＥＺｗｅｂ（登録商標）などの携帯端末向けＷｅｂページもインターネット上に存在している。このようなＷｅｂページの中から目的とするＷｅｂページをすみやかに且つ的確に検索することは、重要な技術的な課題である。この発明の実施の形態２による構造化文書種別判定システムは、このようなＷｅｂページ検索に適している。
【００５０】
管理者は、Ｗｅｂページが分類されるべき複数の種別を予め決定する。例えば、管理者はＰＣ向けＷｅｂページ、ｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、ＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページなどを複数の種別として設定することができる。ｉ−ｍｏｄｅ（登録商標）は、Ｗｅｂぺージの記述言語としてＣｏｍｐａｃｔＨＴＭＬに独自の機能を実現するタグを追加したｉ−ｍｏｄｅ（登録商標）向けのＨＴＭＬを使用しており、ＥＺｗｅｂ（登録商標）は、Ｗｅｂぺージの記述言語としてＨＴＭＬと互換性のないＨＤＭＬ（Ｈａｎｄｈｅｌｄ  Ｄｅｖｉｃｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）を使用している。勿論、上記複数の種別はＰＣ向けＷｅｂページ、ｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、ＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページに限定されるものではなく、Ｊ−ｓｋｙ携帯端末向けＷｅｂページなどの他の携帯端末向けＷｅｂページを含んでいてもよい。また、管理者は、ニュース、掲示板、その他のＷｅｂページを複数の種別として設定することもできる。
【００５１】
Ｗｅｂページデータベース２０１は、インターネット、イントラネットなどのネットワークから収集された全てのＷｅｂページを格納することができる。一般に、Ｗｅｂページはクローラと呼ばれるロボットによってインターネットなどのネットワーク上のＷｅｂサイトから収集される。
【００５２】
Ｗｅｂページサンプリング部２０２は、Ｗｅｂページデータベース２０１から任意の複数のＷｅｂページをサンプリングし、これを図６に示すようなサンプルＷｅｂページデータベース２０３へ格納する。この際、Ｗｅｂページサンプリング部２０２は、予め設定された量のＷｅｂページをＷｅｂページデータベース２０１からランダムに抽出してもよいし、Ｗｅｂページデータベース２０１に格納された順に適当な間隔でサンプリングしてもよい。また、サンプリングされるＷｅｂページの量は後で述べる判定ルールの精度と教師データ入力者による判定結果すなわち教師入力データ入力の手間とを考慮して決定される。すなわち、判定ルールの精度と教師入力データを入力する手間とはトレードオフの関係にあり、サンプリングされるＷｅｂページの量が多いと教師データ入力者の負荷が大きくなるが、得られる判定ルールの精度は高くなる。サンプリングされるＷｅｂページの量は、例えば、Ｗｅｂページデータベース２０１に格納されたＷｅｂページの数パーセント程度である。
【００５３】
Ｗｅｂページ特徴情報データベース２０４は、Ｗｅｂページを予め定めた複数の種別に分類するための指標となる、Ｗｅｂページから抽出すべき図７に示すような特徴のリストを格納している。図７の特徴リストは以下の情報を含む。
【００５４】
（１）ＨＴＭＬなどで規定されている全タグのそれぞれの使用数
（２）ＨＴＭＬなどで規定されている全タグのそれぞれにおける、各属性を含むものの使用数
例えば、＜Ａ＞タグは、ＡＣＣＥＳＳＫＥＹ，ＨＲＥＦなどの属性を有するが、ＡＣＣＥＳＳＫＥＹ属性を含む＜Ａ＞タグの使用数、ＨＲＥＦ属性を含む＜Ａ＞タグというように、各タグについて各属性を含む使用数がリストアップされている。
【００５５】
（３）ＨＴＭＬなどで規定されている全タグのそれぞれにおける、所定の値を有する属性を含むものの使用数
ある属性が連続値を取り得る場合、その連続値の最大、その連続値の最小、及び連続値の平均のそれぞれが所定の値として設定される。また、ある属性が離散値を取りえる場合、数値（０，１，．．．，９）、記号（＊，＃，．．．）、アルファベット（Ａ，Ｂ，．．．）などの集合の各要素が所定の値として設定される。
【００５６】
（４）Ｗｅｂページのテキストサイズ
（５）Ｗｅｂページの全表示サイズ
＜ＩＭＧ＞タグのＳＲＣ属性、＜ＯＢＪＥＣＴ＞タグのＤＡＴＡ属性などで引用されるＷｅｂページ（例えばイメージファイル）をすべて加算したサイズである。
【００５７】
（６）文字コード種別（ＳＪＩＳ，ＪＩＳ，ＥＵＣなど）
（７）半角カナ文字の使用数
（８）絵文字の使用数
（９）イメージファイルの形式種別（ＧＩＦ，ＪＰＥＧ，ＰＩＮＧなど）
【００５８】
（１０）ＵＲＬ中の所定の文字列パターンの有無
（１１）ＵＲＬの長さ
（１２）ＵＲＬの拡張子
【００５９】
（１３）外部リンクの数（他のサーバへのリンクの数）
（１４）内部リンクの数（同一サーバへのリンクの数）
【００６０】
（１５）所定のタグシーケンスの有無
管理者は、データマイニングツールを使用して、あらかじめ設定した複数の種別に応じて、サンプリングした特定のＷｅｂページからタグシーケンスを導き出し上記所定のタグシーケンスとして設定することが可能である。また、管理者自身が、所定のタグシーケンスを導出してもよい。
【００６１】
（１６）各種別のＷｅｂページと判定されたリンク元の数
（１７）各種別のＷｅｂページと判定されたリンク先の数
（１８）アクセス元情報（例えば使用ブラウザー名（Ｕｓｅｒ−Ａｇｅｎｔ））を変化させた場合における、Ｗｅｂページの内容の変化の有無
【００６２】
（１９）特定サイト情報データベース２０５に含まれるＷｅｂページ（例えば、ある特定種別のＷｅｂページ）へのリンクの数
（２０）特定サイト情報データベース２０５に含まれるＷｅｂページ（例えば、ある特定種別のＷｅｂページ）からのリンクの数
特定サイト情報データベース２０５は、管理者により設定可能な図８に示すようなＷｅｂページのＵＲＬリストを格納している。例えば、管理者がＰＣ向けＷｅｂページ、ｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、ＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページなどを複数の種別として設定した場合、管理者はｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであることが判明しているＷｅｂページのＵＲＬを特定サイト情報データベース２０５に書き込むことにより、構造化文書種別判定システムに上記（１９），（２０）の項目のリンク数にしたがいＷｅｂページをｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであるか否かを容易に判定させることが可能になる。
【００６３】
図９は特徴値抽出部２０７の動作を示すフローチャートである。特徴値抽出部２０７は、ステップＳＴ８１でサンプルＷｅｂページデータベース２０３に格納された複数のＷｅｂページのいずれか一つを順に取出し、ステップＳＴ８２でＷｅｂページ特徴情報データベース２０４から順に特徴を取出し、ステップＳＴ８３で、取り出したＷｅｂページについて、ステップＳＴ８２で取り出した特徴の値を得て、ステップＳＴ８４でその値を特徴値及び教師データ・データベース２０９の取り出したＷｅｂページの該当する項目に格納する。次に、特徴値抽出部２０７は、ステップＳＴ８５でＷｅｂページ特徴情報データベース２０４に格納されているリストに含まれる全ての特徴の値を得たか否かを確認し、未だ値が得られていない特徴があるならば、ステップＳＴ８２に戻り未だ値が得られていない特徴の一つを取り出しその値を得る。一方、ステップＳＴ８５において全ての特徴値の獲得が完了したと判定されると、特徴値抽出部２０７は、ステップＳＴ８６でサンプルＷｅｂページデータベース２０３に格納された全Ｗｅｂページについて特徴値すなわち説明変数値の獲得が完了したか否かを判定し、未だ特徴値が得られていないＷｅｂページがあるならば、ステップＳＴ８１に戻り未だ特徴値が得られていなＷｅｂページの一つを取り出し、この取り出したＷｅｂページについてステップＳＴ８２〜Ｓ８５の処理を繰り返す。一方、ステップＳＴ８６においてサンプルＷｅｂページデータベース２０３に格納された全Ｗｅｂページについて全特徴値の獲得が完了したと判定されると、特徴値抽出部２０７は、特徴値の抽出処理を終了する。
【００６４】
図１０は特徴値及び教師データ・データベース２０９の一例を示す図である。説明上、特徴値抽出部２０７により得られた特徴値すなわち説明変数値と教師データ入力部２０８により入力された教師データは分けて描かれている。図１０に示すように、特徴値及び教師データ・データベース２０９は、サンプルＷｅｂページデータベース２０３に格納された全Ｗｅｂページ（Ｗｅｂページ１〜ＷｅｂページＮ）について、Ｗｅｂページ特徴情報データベース２０４に格納されたリストの全特徴すなわち全説明変数の値と、教師データ入力者による判定結果である教師データとを格納している。
【００６５】
構造化文書種別判定システム２００は、図１０に示すように、特徴値及び教師データ・データベース２０９を分割して機械学習用特徴値及び教師データ・データベース２１０と検証用特徴値及び教師データ・データベース２１１とを作成する。この際、特徴値及び教師データ・データベース２０９を２等分ないしほぼ２等分に分割してもよいし、特徴値及び教師データ・データベース２０９に含まれる全データセットからランダムに複数のデータセットを抽出して機械学習用特徴値及び教師データ・データベース２１０を作成し、残りのデータセットから検証用特徴値及び教師データ・データベース２１１を作成してもよい。とにかく、なんらかの方法を用いて、構造化文書種別判定システム２００は、特徴値及び教師データ・データベース２０９を分割して機械学習用特徴値及び教師データ・データベース２１０と検証用特徴値及び教師データ・データベース２１１とを作成する。
【００６６】
判定ルール作成部２１２は、機械学習用特徴値及び教師データ・データベース２１０から、Ｗｅｂページが複数の種別のいずれに分類されるかを判定するために使用される判定ルールを作成し、作成した判定ルールを判定ルールデータベース２１３に格納する。例えば、判定ルール作成部２１２は、市販されているデータマイニングツールなどのデータマイニングツールを用いて、機械学習用特徴値及び教師データ・データベース２１０に対してデータマイニングを実施して図１１または図１２に示すような判定ルールを作成し、判定ルールデータベース２１３に格納する。図１１は、予め設定された複数の種別がｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、ＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページ、ＰＣ向けＷｅｂページである場合の、決定木を用いた判定ルールの一例を示している。この決定木の一番上のノードは“＜ＨＤＭＬ＞タグを含むか否か”である。上記したように、ＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページはＨＴＭＬ，ＣｏｍｐａｃｔＨＴＭＬと互換性のないＨＤＭＬで記述されているので、＜ＨＤＭＬ＞タグを含んでいるＷｅｂページはＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページであると判定される。最上位のノードで“Ｎｏ”の場合には、“Ｗｅｂページサイズが５００バイト以下であるか否か”のノードに進む。“Ｗｅｂページサイズが５００バイト以下であるか否か”のノードは、２つの子ノード：“＜ＦＲＡＭＥ＞タグを含むか否か”及び“＜Ａ＞タグがＡＣＣＥＳＳＫＥＹ属性を含むか否か”を含んでおり、Ｗｅｂページサイズが５００バイト以下である場合には“＜ＦＲＡＭＥ＞タグを含むか否か”の子ノードに進み、Ｗｅｂページサイズが５００バイトを超える場合には“＜Ａ＞タグがＡＣＣＥＳＳＫＥＹ属性を含むか否か”の子ノードに進む。そして、前者の場合、＜ＦＲＡＭＥ＞タグを含んでいればＰＣ向けＷｅｂページであると判定され、＜ＦＲＡＭＥ＞タグを含んでいなければｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであると判定される。
【００６７】
他方、後者の場合、“＜Ａ＞タグがＡＣＣＥＳＳＫＥＹ属性を含むか否か”のノードは、さらに、２つの子ノード：“ＡＣＣＥＳＳＫＥＹ属性の値はアルファベットか否か”、“リンク元がｉ−ｍｏｄｅ（登録商標）であるか否か”を含んでおり、＜Ａ＞タグがＡＣＣＥＳＳＫＥＹ属性を含む場合には、“ＡＣＣＥＳＳＫＥＹ属性の値はアルファベットか否か”の子ノードに進み、＜Ａ＞タグがＡＣＣＥＳＳＫＥＹ属性を含まない場合には、“リンク元がｉ−ｍｏｄｅ（登録商標）であるか否か”の子ノードに進む。前者の場合、ＡＣＣＥＳＳＫＥＹ属性の値がアルファベットならばＰＣ向けＷｅｂページであると判定され、そうでなければｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであると判定される。他方、後者の場合、リンク元がｉ−ｍｏｄｅ（登録商標）であるならばｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであると判定され、そうでなければＰＣ向けＷｅｂページであると判定される。
【００６８】
図１２は決定木を用いた判定ルールの他の例を示している。図１２は、予め設定された複数の種別がニュース、掲示板、その他のＷｅｂページである場合の、決定木を用いた判定ルールの一例を示している。この決定木の一番上のノードは“ＵＲＬが日付パターンを含むか否か”である。このノードは、ＵＲＬが日付パターンを含むものはニュースまたは掲示板に限定されると推測されることに基づく。この場合、Ｗｅｂページ特徴情報データベース２０４は、“ＵＲＬに含まれる日付パターンの有無”を特徴すなわち説明変数として含んでいる。
【００６９】
“ＵＲＬが日付パターンを含むか否か”のノードは、２つの子ノード：“２０以上の内部リンクを含むか否か”及び“５以上の＜ＩＭＧ＞タグを含むか否か”を含んでおり、ＵＲＬが日付パターンを含む場合には“２０以上の内部リンクを含むか否か”の子ノードに進み、そうでない場合には“５以上の＜ＩＭＧ＞タグを含むか否か”の子ノードに進む。そして、前者の場合、２０以上の内部リンクを含んでいればニュースサイトのＷｅｂページであると判定され、２０以上の内部リンクを含んでいなければ“１０以上の＜ＴＡＢＬＥ＞タグを含むか否か”のノードに進む。そして、１０以上の＜ＴＡＢＬＥ＞タグを含んでいるならば、掲示板サイトのＷｅｂページであると判定され、そうでなければニュースサイトのＷｅｂページであると判定される。
【００７０】
他方、最上位のノードにおいて“Ｎｏ”であり“５以上の＜ＩＭＧ＞タグを含むか否か”の子ノードに進んだ場合、５以上の＜ＩＭＧ＞タグを含むならば、ニュースサイトのＷｅｂページであると判定される。そうでない場合、“＜ＴＥＸＴＡＲＥＡ＞タグを含むか否か”の子ノードへと進む。＜ＴＥＸＴＡＲＥＡ＞タグを含む場合には、“＜ＴＥＸＴＡＲＥＡ＞タグのＲＯＷＳ属性の値が５以上であるか否か”の子ノードへさらに進む一方で、＜ＴＥＸＴＡＲＥＡ＞タグを含まない場合にはその他のＷｅｂページであると判定される。他方、“＜ＴＥＸＴＡＲＥＡ＞タグのＲＯＷＳ属性の値が５以上であるか否か”の子ノードにおいて、“ＹＥＳ”ならばニュースサイトのＷｅｂページであると判定され、“Ｎｏ”であれば掲示板サイトのＷｅｂページであると判定される。
【００７１】
なお、図１１及び図１２は判定ルールデータベース２１３に格納される決定木の例であって、この実施の形態２による構造化文書種別判定システムによって得られる判定ルールはこれらのいずれにも限定されるものではない。
【００７２】
判定ルール実行部２１４は、検証用特徴値及び教師データ・データベース２１１に格納された各Ｗｅｂページに対して判定ルールデータベース２１３に格納された判定ルールを適用して、その種別を判定する。そして、判定ルール実行部２１４はその判定結果を図１３に示すような判定結果データベース２１５に格納する。この際、判定ルール実行部２１４は、検証用特徴値及び教師データ・データベース２１１に格納された各Ｗｅｂページについて、教師データ入力部２０８を介して設定された教師データ入力者の判定結果である教師データも、自身が得た判定結果と対応付けて判定結果データベース２１５に格納する。
【００７３】
判定ルール評価部２１６は、判定結果データベース２１５を元に判定ルールデータベース２１３に格納された判定ルールの精度を評価し評価結果を判定結果データベース２１５に格納する。判定ルール評価部２１６は、教師データ入力部２０８を介して入力され教師データ入力者によって得られた判定結果である教師データと、判定ルールを用いて判定した判定結果との差異で判定ルールを評価することができる。例えば、判定ルール評価部２１６は、教師データ入力者によってある種別のＷｅｂページであると判定されたＷｅｂページの数に対する、判定ルールデータベース２１３に格納された判定ルールにしたがいその種別のＷｅｂページであると判定されたＷｅｂページの数の比率である再現率で判定ルールの精度を評価できる。判定ルール評価部２１６は、判定ルールにしたがいある種別のＷｅｂページであると判定されたＷｅｂページの数に対する、教師データ入力者によってその種別のＷｅｂページであると判定されたＷｅｂページの数の比率である適合率で判定ルールの精度を評価してもよい。また、これに代わって、判定ルール評価部２１６は再現率と適合率の組み合わせで判定ルールの精度を評価してもよい。評価方法は上記のものに限定されるものではなく、判定ルールの精度を評価できるものであればどのようなものであってもよい。
【００７４】
最適判定ルール導出部２１８は、チューニングパターンデータベース２１７から順次チューニングパターンを選択して判定ルール作成部２１２に与える。チューニングパターンは、例えば、「種別１を種別２と判定してもよいが種別２を種別１と判定してはならない」のような約束事である。この結果、判定ルール作成部２１２は選択されたチューニングパターンにしたがって判定ルールを再度作成して判定ルールデータベース２１３に格納するとともに、判定ルール実行部２１４はこの判定ルールを検証用特徴値及び教師データ・データベース２１１に格納された各Ｗｅｂページに適用してその種別を再度判定する。そして、判定ルール実行部２１４はその判定結果を判定結果データベース２１５に格納する。さらに、判定ルール評価部２１６は、判定結果データベース２１５に格納された新たな判定結果を元に再度作成され判定ルールデータベース２１３に格納された判定ルールの精度を評価し評価結果（すなわち、再現率、適合率、またはこれらの組み合わせなどの評価を示す指標）を判定結果データベース２１５に格納する。
【００７５】
最適判定ルール導出部２１８は、このような一連の処理をチューニングパラメータデータベース２１７に格納された全チューニングパラメータについての判定ルール作成が終了するまで繰り返し、最適判定ルールを導きこれを判定ルールデータベース２１３に現在の最適判定ルールとして格納する。この際、最適判定ルール導出部２１８は、判定ルール評価部２１６によって得られた判定ルールの評価を示す指標（例えば再現率、適合率、またはこれらの組み合わせ）が最も高い判定ルールを最適判定ルールとして決定する。
【００７６】
なお、判定ルール実行部２１４は、最適判定ルールの導出を行った後、最適判定ルールにしたがいネットワーク上のＷｅｂページの種別を判定する。判定ルール実行部２１４は、ネットワークを介して収集されたＷｅｂページを格納しているＷｅｂページデータベース２０１のＷｅｂページの種別を判定することができるうえに、ネットワークにアクセスにネットワーク上の任意のＷｅｂページの種別を判定することもできる。
【００７７】
上記したように、判定ルール作成部２１２は、市販されているデータマイニングツールなどのデータマイニングツールを用いて、機械学習用特徴値及び教師データ・データベース２１０に対してデータマイニングを実施して判定ルールを作成する。市販されているデータマイニングツールの代表的なものとしてＳｅｅ５／Ｃ５．０（ＲｕｌｅＱｕｅｓｔ  Ｒｅｓｅａｒｃｈ  Ｐｔｙ  Ｌｔｄ（ｈｔｔｐ：／／ｗｗｗ．ｒｕｌｅｑｕｅｓｔ．ｃｏｍ／））がある。以下では、このデータマイニングツールを使用した場合の具体例について説明する。
【００７８】
データマイニングツールＳｅｅ５／Ｃ５．０を使用する場合、Ｗｅｂページ特徴情報データベース２０４は図１４に示すようなｎａｍｅｓファイル（拡張子がｎａｍｅｓ）から構成され、機械学習用特徴値及び教師データ・データベース２１０は図１５に示すようなｄａｔａファイル（拡張子がｄａｔａ）から構成され、検証用特徴値及び教師データ・データベース２１１は図１６に示すようなｃａｓｅｓファイル（拡張子がｃａｓｅｓ）から構成される。判定の対象であるデータの名称を“ＨＡＮＴＥＩ”（データマイニングツールＳｅｅ５／Ｃ５．０ではアプリケーション名と呼ばれる）とした場合、図１４から図１６はそれぞれＨＡＮＴＥＩ．ｎａｍｅｓファイル、ＨＡＮＴＥＩ．ｄａｔａファイル、ＨＡＮＴＥＩ．ｃａｓｅｓファイルである。なお、図１４において、一行目の“ｉ−ｍｏｄｅ（登録商標），ＰＣ，ＥＺｗｅｂ”は作成する判定ルールにしたがってＷｅｂページをｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、ＰＣ向けＷｅｂページ、ＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページのいずれかに分類することを示している。２行目以降の“ｓｉｚｅ：ｃｏｎｔｉｎｕｏｕｓ”，“ｔａｇ＿Ａ：０，１”，．．．は、Ｗｅｂページ特徴情報データベース２０４の内容の各項目を示しており、ｓｉｚｅはＷｅｂページのサイズ、ｔａｇ＿Ａは＜Ａ＞タグの有無（有れば１、無ければ０）を示している。図１５のＨＡＮＴＥＩ．ｄａｔａファイルにおいて、各行は対応するＷｅｂページについて図１４に示すＨＡＮＴＥＩ．ｎａｍｅｓファイルの一例でリストアップされている項目のそれぞれに対する値を示している。なお、ここでは、ｓｉｚｅ及びｔａｇ＿Ａの有無についてのみの値が示されている。例えば、１行目は対応するＷｅｂページのｓｉｚｅ（Ｗｅｂページサイズ）が１０でｔａｇ＿Ａが１（＜Ａ＞タグが有る）であり、その種別がｉ−ｍｏｄｅ（登録商標）（ｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ）であることを示している。また、図１６に示すＨＡＮＴＥＩ．ｃａｓｅｓファイルの一例は、図１５に示すＨＡＮＴＥＩ．ｄａｔａファイルと同一の形式で記載されており、対象となるＷｅｂページが異なっている点が図１５に示すＨＡＮＴＥＩ．ｄａｔａファイルと異なる。
【００７９】
データマイニングツールＳｅｅ５／Ｃ５．０は、図１５に示すようＨＡＮＴＥＩ．ｄａｔａファイルから成る機械学習用特徴値及び教師データ・データベース２１０から図１７に示すような処理結果を作成する。なお、この処理結果は判定ルールデータベース２１３及び判定結果データベース２１５に対応する。図１７の“Ｄｅｃｉｓｉｏｎ  ｔｒｅｅ：”で指定された内容は作成された判定ルールを示しており、図１８に示す決定木に対応している。図１８に示すように、この決定木の最上位のノードは“＜Ａ＞タグを含むか否か？”であり、“Ｙｅｓ”の場合にはＰＣ向けＷｅｂページであると判定され、“Ｎｏ”の場合には“サイズが３０バイト以下であるか否か”の子ノードへ進む。そして、サイズが３０バイト以下の場合には、ｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであると判定され、そうでない場合には、図示していない子ノードへ進む。また、図１７の“Ｅｖａｌｕａｔｉｏｎ  ｏｎ  ｔｒａｉｎｉｎｇ  ｄａｔａ：”で指定された内容はこの判定ルールの精度を示している。ここには、ＨＡＮＴＥＩ．ｄａｔａファイルすなわち機械学習用特徴値及び教師データ・データベース２１０に特徴値及び教師データが格納された複数のＷｅｂページについての精度が示されている。この例では、教師データ入力者によりｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであると判定された１００個のＷｅｂページの内９１個のＷｅｂページが正しく判定され、９個のＷｅｂページがＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページであると間違って判定されている。また、図１７の“Ｅｖａｌｕａｔｉｏｎ  ｏｎ  ｔｅｓｔ  ｄａｔａ：”で指定された内容もこの判定ルールの精度を示しているが、ここには、ＨＡＮＴＥＩ．ｃａｓｅｓファイルすなわち検証用特徴値及び教師データ・データベース２１１に特徴値及び教師データが格納された複数のＷｅｂページについての精度が示されている。すなわち、図１７の“Ｅｖａｌｕａｔｉｏｎ  ｏｎ  ｔｅｓｔ  ｄａｔａ：”は判定結果データベース２１５に対応している。図１７の例では、教師データ入力者によりｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであると判定された２０００個のＷｅｂページの内１６６６個のＷｅｂページが正しく判定され、３３４個のＷｅｂページがＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページであると間違って判定されている。さらに、教師データ入力者によりＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページであると判定された２０００個のＷｅｂページの内１８６９個のＷｅｂページが正しく判定され、１３１個のＷｅｂページがｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページであると間違って判定されている。
【００８０】
なお、上記した具体例はデータマイニングツールＳｅｅ５／Ｃ５．０を使用した場合の一例であって、図１４に示すＨＡＮＴＥＩ．ｎａｍｅｓファイルすなわちＷｅｂページ特徴情報データベース２０４の内容に応じて作成される判定ルールも図１８に示すものとは異なることは言うまでも無い。さらに、複数の種別はＰＣ向けＷｅｂページ、ｉ−ｍｏｄｅ（登録商標）携帯端末向けＷｅｂページ、ＥＺｗｅｂ（登録商標）携帯端末向けＷｅｂページに限定されるものではなく、Ｊ−ｓｋｙ携帯端末向けＷｅｂページなどの他の携帯端末向けＷｅｂページを含んでいてもよい。
【００８１】
以上のように、この発明の実施の形態２によれば、クロールなどにより大量に収集したＷｅｂページから予め設けた特徴のリストに基づき最適判定ルールを効率よく導出することができるので、判定ルール作成のための試行錯誤を不要にする効果がある。また、この実施の形態２による構造化文書種別判定システムは、クロールなどによって新たなＷｅｂページが収集されＷｅｂページデータベース２０１の内容が変更されるたびに最適判定ルールの導出を行うことができるので、Ｗｅｂページの変化に迅速に対応することが可能である。
【００８２】
さらに、新たな特徴がＷｅｂページに加えられたり、新たな特徴が発見されたような場合には、管理者はＷｅｂページ特徴情報データベース編集部２０６を介してＷｅｂページ特徴情報データベース２０４にその特徴を追加するだけで、新たな特徴の値を考慮に入れた新たな最適判定ルールを作成することが可能であるので、このような場合において判定ルール作成のための試行錯誤を不要にする効果がある。
【００８３】
実施の形態３．
図１９はこの発明の実施の形態３による構造化文書種別判定システムの構成を示すブロック図である。図において、図５に示すものと同一の符号は上記実施の形態２によるものと同一の構成要素または相当する構成要素を示しており、以下ではその説明を省略する。
【００８４】
また、図１９において、１０はインターネット、イントラネット等のネットワーク２０を介して構造化文書種別判定装置３００に接続され、ネットワーク２０を介してサンプルＷｅｂページデータベース２０３の内容を取得し、教師データ入力者３０により入力された教師データをネットワーク２０を介して特徴値及び教師データ・データベース２０９へ格納する教師データ入力部（教師データ入力手段）であり、３０３は教師データ入力者３０に関する情報を格納する教師データ入力者データベースであり、３０１は教師データ入力者データベース３０３に登録された教師データ入力者３０に教師データ入力部１０を介した教師データ入力の依頼を通知する通知部（通知手段）であり、３０２は管理者が指示したときまたは所定の時間間隔でサンプルＷｅｂページデータベース２０３の内容を更新して最新の最適判定ルールを得るべく構造化文書種別判定装置３００を起動する制御部（制御手段）であり、３０４は過去の最適判定ルールにしたがい判定ルール実行部２１４により得られた過去の判定結果を格納する過去判定結果データベースであり、３０５は制御部３０２の指示により特徴値及び教師データ・データベース２０９にデータが揃っているか否かをチェックする特徴値及び教師データ・データベースチェック部（制御手段）であり、６０はネットワーク２０に接続されたＷｅｂサイト等のＷｅｂ情報提供者５０から提供されるＷｅｂ情報４０からＷｅｂページを収集しＷｅｂページデータベース２０１の内容を更新する収集部（収集手段）である。
【００８５】
次に動作について説明する。
この発明の実施の形態３による構造化文書種別判定システムは、基本的には、上記実施の形態２によるものと同様に動作するので、以下では、実施の形態３に特徴的な部分についてのみ説明する。
【００８６】
制御部３０２は、管理者の指示したときまたは所定の時間間隔でＷｅｂページサンプリング部２０２を起動すると同時に、特徴値及び教師データ・データベースチェック部３０５に特徴値及び教師データ・データベース２０９にデータが揃っているか否かをチェックさせ、特徴値及び教師データ・データベース２０９にデータが揃っている場合に、通知部３０１を起動する。この際、特徴値及び教師データ・データベースチェック部３０５は、前回のサンプルＷｅｂページデータベース２０３の更新の際の教師データの入力が全て完了しているか否かをチェックする。なお、後述するように、追加された全てのＷｅｂページ及び更新された全てのサンプルＷｅｂページのそれぞれについて教師データが揃っている必要はない。
【００８７】
通知部３０１は、教師データ入力者データベース３０３に情報が格納された少なくとも一人の教師データ入力者３０にネットワーク２０を介して教師データ入力部１０による教師データ入力の依頼を通知する。この際、通知部３０１は電子メール等の手段を用いて通知する。図２０は教師データ入力者データベース３０３の一例を示す図であり、各教師データ入力者について教師データ入力者ＩＤ、メールアドレス、パスワードが格納されている。この図に示すように、複数の教師データ入力者３０が設定可能である。教師データ入力の依頼の際に、通知部３０１は、サンプルＷｅｂページデータベース２０３のＷｅｂページの全部または一部（例えば新たに追加されたＷｅｂページ及び更新されたＷｅｂページの全てまたは一部）について教師データを入力する旨の指示をすることができる。これは、Ｗｅｂページの全部について教師データ入力の強制する必要はなく、教師データがブランクのものについては評価の対象から除外すればよいからである。
【００８８】
通知を受けた教師データ入力者３０は、教師データ入力部１０を用いて、サンプルＷｅｂページデータベース２０３の内容例えば新たに追加されたＷｅｂページ及び更新されたＷｅｂページをネットワーク２０を介して取得する。そして、教師データ入力者３０は取得した各Ｗｅｂページの種類を判定し、その判定結果である教師データをネットワーク２０を介して特徴値及び教師データ・データベース２０９に格納する。制御部３０２は、特徴値及び教師データベースチェック部３０５を介して、同一Ｗｅｂページについて複数の教師データ入力者３０からの異なる複数の教師データ入力があるか否かをチェックし、異なる複数の教師データ入力がある場合、多数決によって唯一の教師データ入力を決定する。
【００８９】
最適判定ルール導出部２１８は、最新の最適判定ルールにしたがって判定ルール実行部２１４により得られ判定結果データベース２１５に格納された最新の判定結果と過去判定結果データベース３０４に格納された過去の判定結果とを比べて、過去の最適判定ルールと最新の最適判定ルールのいずれが精度が高いかを判定し、精度の高いほうの判定ルールを判定ルールデータベース２１３に登録する。なお、前回のサンプルＷｅｂページデータベース２０３の更新の際に、最適判定ルール導出部２１８は、最適判定ルールにしたがって判定ルール実行部２１４により得られた判定結果を過去判定結果データベース３０４に格納する。
【００９０】
クローラなどを使用して収集部６０は、管理者の指示したときまたは所定の時間間隔で、Ｗｅｂ情報提供者５０が提供するＷｅｂ情報４０からＷｅｂページを収集する。この際、収集部６０は、少なくとも新たに追加されたＷｅｂページ及び更新されたＷｅｂページを収集する。収集部６０は、判定ルールデータベース２１３に格納された現在の最適判定ルールにしたがって予め設定した複数の種別のいずれかに分類されるＷｅｂページのみをネットワーク２０を介してＷｅｂ情報４０から収集して、Ｗｅｂページデータベース２０１に格納するようにしてもよい。これによって、予め設定した複数の種別に関連するＷｅｂページのみを収集することができるので、最適な判定ルールを効率よく導出できる。
【００９１】
以上のように、この発明の実施の形態３によれば、管理者の指示したときまたは所定の時間間隔でクロールなどによりインターネットなどのネットワークを介して大量に収集したＷｅｂページから予め設けた特徴のリストに基づき最適判定ルールを自動的に導出することができるので、判定ルール作成のための試行錯誤を不要にするとともに、Ｗｅｂページデータベース２０１の内容が変更されるたびに最適判定ルールの導出を自動的に行うことができ、Ｗｅｂページ種別判定の精度を自動的に維持ないし向上させつつ、Ｗｅｂページの変化に迅速に対応することができる効果がある。
【００９２】
なお、この実施の形態３は実施の形態１にも適用可能であり、その場合においても同様な効果が得られることは言うまでもない。また、実施の形態１から実施の形態３で説明した構造化文書種別判定システムは、コンピュータとそのコンピュータで実行されるプログラムによって実現され得る。
【００９３】
【発明の効果】
以上のように、この発明によれば、構造化文書種別判定システムは、大量に収集した構造化文書から適切なルールを自動的に導出することができるので、判定ルールを効率よく生成することができる効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による構造化文書種別判定システムの構成を示すブロック図である。
【図２】  実施の形態１による構造化文書種別判定システムの特徴値抽出部の動作を示すフローチャートである。
【図３】  実施の形態１による構造化文書種別判定システムの特徴値及び教師データ・データベースの一例を示す図である。
【図４】  実施の形態１による構造化文書種別判定システムの判定ルールデータベースに格納された判定ルールの一例を示す図である。
【図５】  この発明の実施の形態２による構造化文書種別判定システムの構成を示すブロック図である。
【図６】  実施の形態２による構造化文書種別判定システムのサンプルＷｅｂページデータベースの一例を示す図である。
【図７】  実施の形態２による構造化文書種別判定システムのＷｅｂページ特徴情報データベースの一例を示す図である。
【図８】  実施の形態２による構造化文書種別判定システムの特定サイト情報データベースの一例を示す図である。
【図９】  実施の形態２による構造化文書種別判定システムの特徴値抽出部の動作を示すフローチャートである。
【図１０】  実施の形態２による構造化文書種別判定システムの特徴値及び教師データ・データベースの一例を示す図である。
【図１１】  実施の形態２による構造化文書種別判定システムの判定ルールデータベースに格納された判定ルールの一例を示す図である。
【図１２】  実施の形態２による構造化文書種別判定システムの判定ルールデータベースに格納された判定ルールの他の例を示す図である。
【図１３】  実施の形態２による構造化文書種別判定システムの判定結果データベースの一例を示す図である。
【図１４】  実施の形態２による構造化文書種別判定システムのＷｅｂ特徴情報データベースの一具体例を示す図である。
【図１５】  実施の形態２による構造化文書種別判定システムの機械学習用特徴値及び教師データ・データベースの一具体例を示す図である。
【図１６】  実施の形態２による構造化文書種別判定システムの検証用特徴値及び教師データ・データベースの一具体例を示す図である。
【図１７】  実施の形態２による構造化文書種別判定システムの判定ルールデータベースおよび判定結果データベースの一具体例を示す図である。
【図１８】  実施の形態２による構造化文書種別判定システムにより作成された判定ルールの一具体例を示す図である。
【図１９】  この発明の実施の形態３による構造化文書種別判定システムの構成を示すブロック図である。
【図２０】  実施の形態３による構造化文書種別判定システムの教師データ入力者データベースの一例を示す図である。
【図２１】  従来の構造化文書種別判定システムの構成を示すブロック図である。
【図２２】  図２１に示す従来の構造化文書種別判定システムの構造的特徴判定ルールベースの一例を示す図である。
【図２３】  図２１に示す従来の構造化文書種別判定システムの調整判定ルールの一例を示す図である。
【符号の説明】
１０  教師データ入力部（教師データ入力手段）、２０  ネットワーク、３０  教師データ入力者、４０  Ｗｅｂ情報、５０  Ｗｅｂ情報提供者、６０  収集部（収集手段）、１００  構造化文書種別判定システム、１０１  構造化文書データベース、１０２  構造化文書サンプリング部（構造化文書サンプリング手段）、１０３  サンプル構造化文書データベース、１０４  構造化文書特徴情報データベース、１０５  構造化文書特徴情報データベース編集部（構造化文書特徴情報データベース編集手段）、１０６，２０７  特徴値抽出部（特徴値抽出手段）、１０７，２０８  教師データ入力部（教師データ入力手段）、１０８，２０９  特徴値及び教師データ・データベース、１０９，２１０  機械学習用特徴値及び教師データ・データベース、１１０，２１１  機械学習用特徴値及び教師データ・データベース、１１１，２１２  判定ルール作成部（判定ルール作成手段）、１１２，２１３  判定ルールデータベース、１１３，２１４  判定ルール実行部（判定ルール実行手段）、１１４，２１５  判定結果データベース、１１５，２１６  判定ルール評価部（判定ルール導出手段、判定ルール評価手段）、１１６，２１７  チューニングパターンデータベース（判定ルール導出手段）、１１７，２１８  最適判定ルール導出部（判定ルール導出手段、最適判定ルール導出手段）、２００  構造化文書種別判定システム、２０１  Ｗｅｂページデータベース（構造化文書データベース）、２０２  Ｗｅｂページサンプリング部（構造化文書サンプリング手段）、２０３  サンプルＷｅｂページデータベース（サンプル構造化文書データベース）、２０４  Ｗｅｂページ特徴情報データベース（構造化文書特徴情報データベース）、２０５  特定サイト情報データベース、２０６  Ｗｅｂページ特徴情報データベース編集部（構造化文書特徴情報データベース編集手段）、３００  構造化文書種別判定装置、３０１  通知部（通知手段）、３０２  制御部（制御手段）、３０３  教師データ入力者データベース、３０４  過去判定結果データベース、３０５  特徴値及び教師データ・データベースチェック部（制御手段）。
【図１】
0004226261.tif 000002
【図２】
0004226261.tif 000003
【図３】
0004226261.tif 000004
【図４】
0004226261.tif 000005
【図５】
0004226261.tif 000006
【図６】
0004226261.tif 000007
【図７】
0004226261.tif 000008
【図８】
0004226261.tif 000009
【図９】
0004226261.tif 000010
【図１０】
0004226261.tif 000011
【図１１】
0004226261.tif 000012
【図１２】
0004226261.tif 000013
【図１３】
0004226261.tif 000014
【図１４】
0004226261.tif 000015
【図１５】
0004226261.tif 000016
【図１６】
0004226261.tif 000017
【図１７】
0004226261.tif 000018
【図１８】
0004226261.tif 000019
【図１９】
0004226261.tif 000020
【図２０】
0004226261.tif 000021
【図２１】
0004226261.tif 000022
【図２２】
0004226261.tif 000023
【図２３】
0004226261.tif 000024