(57)【要約】【課題】本発明は、正確率が高いウェブ情報検出方法及びシステムを提供する。【解決手段】  本発明では、ウェブページ本文のキーワードを予め抽出し、当該ウェブページ本文から抽出されたキーワードと当該ウェブページのＵＲＬとの対応関係をデータベースに記憶させ、ウェブページ情報を検出する際に、まず、検出すべきウェブページのソースファイルを取得し、その後、検出すべきウェブページと同じＵＲＬをもつウェブページのキーワードをデータベースから検索し、前記キーワードを用いて、検出すべきウェブページのソースファイルコンテンツとマッチングさせ、マッチングの度合いに基づいて検出すべきウェブページ情報の有無を特定する。本発明は、ウェブページ情報の検出正確率を向上することが可能である。【選択図】図２
2014502753.tif 000002
【特許請求の範囲】
【請求項１】
ウェブページ情報のキーワードを予め抽出し、このウェブページ情報から抽出されたキーワードと、このウェブページのＵＲＬとの対応関係をデータベースに記憶させ、ウェブページ情報を検出する際に、まず、検出すべきウェブページのソースファイルを取得し、その後、検出すべきウェブページと同じＵＲＬをもつページのキーワードをデータベースから検索し、このキーワードを利用して、検出すべきウェブページのソースファイルのコンテンツとマッチングさせ、マッチングの度合いに基づいて検出すべきウェブページ情報の有無を特定することを特徴とするウェブページ情報の検出方法。
【請求項２】
前記ウェブページ情報のキーワードを抽出する方法は、
（１）ウェブページのソースファイル情報を取得するステップと、
（２）ソースファイル情報から本文を抽出するステップと、
（３）本文からキーワードを抽出するステップとを含むことを特徴とする請求項１に記載のウェブページ情報の検出方法。
【請求項３】
ステップ（１）においてウェブページのソースファイル情報を取得する過程において、
まず、ＨＴＴＰリクエストのシミュレーションによって情報ステータスコードを戻し、ステータスコードは２００ではなく、或いは異常が現れたとき、当該ウェブページ情報が削除されたものと判定し、さもなければ、ウェブページのソースファイルのバイト配列及びそのコード化形式を取得し、コード化形式によって、ソースファイルのバイト配列を文字形式のソースファイル情報に変換することを特徴とする請求項２に記載のウェブページ情報の検出方法。
【請求項４】
ステップ（１）においてウェブページのソースファイル情報を取得した後、ウェブページのソースファイル情報におけるタイトルを抽出すると共に、タイトルを単語セグメント化させ、タイトルがなければ、或いはタイトルを単語セグメント化させることができなければ、タイトルを空きにすることを特徴とする請求項３に記載のウェブページ情報の検出方法。
【請求項５】
ソースファイル情報から本文を抽出する前に、ソースファイル情報をフィルタリングし、領域分割タグ及びタグ中に含まれる情報のみを残すことを特徴とする請求項４に記載のウェブページ情報の検出方法。
【請求項６】
前記本文を抽出するステップ（２）において、
（ａ）領域分割タグによりフィルタリング済みのソースファイル情報を若干のテキストブロックに分割すると共に、各テキストブロックにおける文字コンテンツとこれに隣り合う次のテキストブロックとの間の距離を記憶させ、
（ｂ）テキストブロックにおいて文字情報が最も多く含まれている１つのブロックを、基準テキストブロックとして選定し、
（ｃ）基準テキストブロックを基準にして、上方テキストブロック及び下方テキストブロックの文字数と基準テキストブロックから上方テキストブロック及び下方テキストブロックまでの距離との比と、設定された閾値との関係に基づいて本文の上限ブロックと下限ブロックを特定し、上、下限ブロック及びそれらの間のコンテンツを本文サンプルとして特定することを特徴とする請求項５に記載のウェブページ情報の検出方法。
【請求項７】
前記（ａ）において、各テキストブロックにおける文字コンテンツを、次のテキストブロックとの距離とともにリンクリストに記憶し、
ここで、記憶の類型は、テキストブロックにおける文字コンテンツと、隣り合う次のテキストブロックとの間の距離と、この２つの属性が含まれることを特徴とする請求項６に記載のウェブページ情報の検出方法。
【請求項８】
前記（ａ）において、各テキストブロックにおける文字コンテンツと、次のテキストブロックとの間の距離とを文字配列に記憶し、テキストブロックにおける文字コンテンツを離散的に文字配列に記憶させ、隣り合う２つのテキストブロックの間の距離を、文字配列において２つのテキストブロックの文字コンテンツの記憶位置が離間する空値で標識することを特徴とする請求項６に記載のウェブページ情報の検出方法。
【請求項９】
前記（ａ）で、各テキストブロックと、これに隣り合う次のテキストブロックとの間の距離の算出において、
２つの隣り合うテキストブロックをＡ１とＡ２とし、領域分割タグをＢ１…Ｂｎとし、タグの重み付けをＷＢ１…ＷＢｎとし、Ａ１とＡ２の間の領域分割タグの数をそれぞれｎＢ１…ｎＢｎとしたら、Ａ１とＡ２の間距離ｄＡ１Ａ２の算式は、ｄＡ１Ａ２＝ｎＢ１×ＷＢ１＋ｎＢ２×ＷＢ２＋…ｎＢｎ×ＷＢｎであることを特徴とする請求項６〜８の何れか１項に記載のウェブページ情報の検出方法。
【請求項１０】
前記（ｃ）で、上方テキストブロック及び下方テキストブロックの文字数と、基準テキストブロックから上方テキストブロック及び下方テキストブロックまでの距離との比と、設定された閾値との関係に基づく本文の上限ブロック及び下限ブロックの特定において、
基準テキストブロックをＡとし、その中に含まれている文字数をａとし、当該基準テキストブロックに隣り合う前のテキストブロックをＡ１とし、その中に含まれている文字数をａ１とし、当該基準テキストブロックに隣り合う次のテキストブロックをＡ２とし、その中に含まれている文字数をａ２とし、テキストブロックＡ１とテキストブロックＡとの距離をｄ１とし、テキストブロックＡとテキストブロックＡ２との距離をｄ２とし、閾値をＭとし、
ａ１／ｄ１＝Ｍ１≧Ｍ、かつａ２／ｄ２＝Ｍ２≧Ｍの場合に、Ｍ１とＭ２の平均値Ｍａｖｇを、上、下限ブロックを算出する評価基準として採用し、
Ｍ１とＭ２のうち、閾値Ｍ以上の数値が１つしかない場合、Ｍ以上の数値と、Ｍとの平均値Ｍａｖｇを上、下限ブロックを算出する評価基準として採用し、
いずれも満足できない場合に、テキストブロックＡをそのまま本文サンプルとして特定し、
Ｍａｖｇを算出した後に、テキストブロックＡを次のように整合し、
ａ１／ｄ１＝Ｍ１≧Ｍ、かつａ２／ｄ２＝Ｍ２≧Ｍの場合、Ａ’＝Ａ１＋Ａ＋Ａ２とし、その後、Ａ１を基準にして上方へ探索し、これに隣り合う前のテキストブロックＡＳ１に含まれている文字数とＡ１ＡＳ１間の距離ｄＳ１との比を、Ｍａｖｇと比較し、その比がＭａｖｇよりも大きい場合、ＡＳ１における文字コンテンツをＡに整合し、そして、条件を満たさないテキストブロックまで、ＡＳ１を基準に上方へ探索し、これと同様に、条件を満たさないテキストブロックがまで、Ａ２を基準にして下方へ探索し、最終的なテキストブロックＡを本文サンプルとし、
Ｍ１とＭ２のうち、閾値Ｍ以上の数値が１つしかない場合、例えば、Ｍ１≧Ｍ２、この時に、Ａ’＝Ａ１＋Ａとし、その後、条件を満たさないテキストブロックまで、Ａ１を基準に上方へ探索し、最終的なテキストブロックＡ’を本文サンプルとすることを特徴とする請求項６〜８の何れか１項に記載のウェブページ情報の検出方法。
【請求項１１】
タイトルが空きの場合、前記（ｂ）の本文サンプルをそのまま本文とするが、さもなければ、次の操作を行い、
（ｉ）タイトル単語に基づいて本文サンプルを検証する。
（ｉｉ）検証が失敗した場合、文字数が２番目に多く含まれているテキストブロックを基準テキストブロックとし、前記（ｃ）を繰り返し、その後、前記（ｉ）に移行し、検証が成功した場合、本文サンプルを本文として特定することを特徴とする請求項６〜８の何れか１項に記載のウェブページ情報の検出方法。
【請求項１２】
タイトル単語に基づいて本文サンプルを検証する前記（ｉ）において、
タイトル単語と本文サンプルとをマッチングさせ、マッチングの度合いＰ’に基づいて本文サンプルが本文であるか否かを検証し、マッチングの度合いＰ’が設定された閾値Ｍ’以上であれば、検証に成功し、さもなければ、検証に失敗することを特徴とする請求項１１に記載のウェブページ情報の検出方法。
【請求項１３】
前記マッチングの度合いＰ’の計算において、
タイトル単語をそれぞれＷ１…Ｗｎとし、タイトル単語の重み付けをそれぞれｗ１…ｗｎとし、タイトル単語の本文でのマッチング数をそれぞれｎ  ｗ１…ｎｗｎとした場合に、
Ｐ’＝ｎｗ１×ｗ１＋ｎｗ２×ｗ２＋…ｎｗｎ×ｗｎを特徴とする請求項１２に記載のウェブページ情報の検出方法。
【請求項１４】
前記本文からキーワードを抽出するステップ（３）において、
＜１＞本文の各段落を切り出し、各段落に含まれている文字数を集計し、
＜２＞本文から要約を抽出し、
タイトルが空きの場合、本文の中に文字数が最も多く含まれている段落を要約として特定し、
タイトルが空でない場合、タイトルに対して単語セグメント化を行い、本文の中に文字数が最も多く含まれている段落とタイトルとのマッチング度合いＰ”を下記の式で計算し、
Ｐ”＝ｎ’ｗ１×ｗ１＋ｎ’ｗ２×ｗ２＋…ｎ’ｗｎ×ｗｎ
（式中、ｗ１…ｗｎはそれぞれタイトル単語Ｗ１…Ｗｎの重み付けを示し、式１において当該パラメータが表す意味及び数値と同じである。ｎ’ｗ１…ｎ’ｗｎはそれぞれ文字数が最も多く含まれている段落でのタイトル単語のマッチング数を示す。マッチングの度合いＰ”は０より大きくなると、当該段落を要約として用いる。さもなければ、本文中に文字数が２番目に多く含まれているテキストブロックを検証する。）
＜３＞要約を単語セグメント化させ、要約からキーワードを抽出し、
タイトルが空きの場合、要約単語が要約において現れた回数が多い順に若干の単語をキーワードとして抽出し、
タイトルが空きではない場合、タイトル単語の要約におけるマッチング度合いＰ”を下記の式で計算し、
Ｐ”’＝ｎ”ｗ１×ｗ１＋ｎ”ｗ２×ｗ２＋…ｎ”ｗｎ×ｗｎ
（式中、ｗ１…ｗｎはそれぞれタイトル単語Ｗ１…Ｗｎの重み付けを示し、ｎ”ｗ１…ｎ”ｗｎはそれぞれ要約におけるタイトル単語のマッチング数を示す。Ｐ”’が多い順に若干のタイトル単語を抽出する。）
また、要約単語のそれぞれが要約において現れる回数を算出し、回数が多い順に若干の要約単語を抽出し、
抽出された単語のうちの重複な単語を削除し、残りの単語からキーワードとして若干抽出することを特徴とする請求項４に記載のウェブページ情報の検出方法。
【請求項１５】
前記キーワードを用いて検出すべきウェブページのソースファイルコンテンツとマッチングを行う前に、検出すべきウェブページのソースファイルコンテンツに対してフィルタリングを行い、タイトルを含む無用の情報をフィルタリングすることを特徴とする請求項１に記載のウェブページ情報の検出方法。
【請求項１６】
ウェブページの本文からキーワードを抽出するための抽出装置（１１）と、
ウェブページの本文から抽出されたキーワードと当該ウェブページのＵＲＬとの対応関係をデータベースに記憶させる記憶装置（１２）と、
検出すべきウェブページのソースファイルを取得するための取得装置（１３）と、
検出すべきウェブページと同じＵＲＬをもつウェブページのキーワードをデータベースから検索し、前記キーワードを用いて検出すべきウェブページのソースファイルコンテンツとマッチングを行い、マッチングの度合いＰに基づいて検出すべきウェブページ情報の有無を特定するためのマッチング装置（１４）と、
を備えることを特徴とするウェブページ情報の検出システム。
【請求項１７】
ウェブページのソースファイル中の無用の情報をフィルタリングするためのフィルタリング装置（１５）をさらに備えることを特徴とする請求項１６に記載のウェブページ情報の検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ監視技術分野に関し、具体的にウェブページ情報の検出方法及びシステムに関する。
【背景技術】
【０００２】
インターネットによるグローバル化の迅速な発展に伴い、インターネットを介して様々な情報、特にニュース情報の伝送や取得を行うことは、現在の人々の主な手段となる。人々はインターネットを経由して、コンピュータの画面上に必要な文字や画像に便利にアクセスすることができる。また、オンラインのニュースサービスのコンテンツや方式も日々に増え、電子メールやネットワークニュース、ウェブ閲覧、ネットワークフォーラムなどなどが挙げられる。これによって、インターネットはマスコミにおいて新に現れた重要なメディアキャリアの一つとなっている。
【０００３】
インターネットの情報のコンテンツが煩雑且つ多様であり、進歩的、健康的且つ有益な情報も大量含めば、反動的、俗信的かつ下品なコンテンツもある。インターネットは加速に膨らんでいる思想の集合体に加え、その仮想性、隠蔽性、発散性、浸透性及び随意性などの特徴を有するため、より多くの人々はこのチャンネルを介して自分のアイディアや発想を表現しやがる。従って、ネットワーク世論の爆発は漸次に「コンテンツ脅威」という形で社会公共安全を脅かしている。
【０００４】
ネットワーク世論監視システムの使用によって、煩雑なネットワーク情報に対して有効な監視を行うことが可能となるが、ほとんどの世論監視システムは、有害情報のＵＲＬが存在しているが、コンテンツが削除されたり、回復されたりするような「かくれんぼ」みたいな経営方式に対して無力で仕方がない。したがって、ネットワーク世論につき、ウェブ情報の検出の正確率を向上できるようなウェブ情報検出システムが求められている。
【０００５】
現在、国内外では、ウェブ情報の検出方式は主として下記の幾つかの種類が挙げられる。
１．ＸＭＬＨＴＴＰの幾つかの方法や属性を利用してサーバの情報を取得し、戻し要求されたステータスコードを取得することで、アクセスするＵＲＬのウェブページが削除されたか否かについて検出する。この方法によって、ＵＲＬが削除されたか否かだけを検出できるが、ＵＲＬが存在しているが、コンテンツが削除されたり変更されたりするような情況を検出することができないから、検出する正確率が低い。
２．ＨＴＴＰからメッセージに応答してステータスコードを取得し、ステータスコードが２００であるか、それとも４０１であるかを判断することによって、ＵＲＬが削除されたか否かを検出する。この方式では、単にコンテンツだけが削除された情況を検出することができないから、正確率が低い。
３．ドメイン名をＩＰアドレスに解析するとき、Ｓｏｃｋｅｔｓに異常が生じるか否かを判定することによって、ＵＲＬが削除されたか否かを検出する。この方式では、同様にコンテンツが削除された情況に対応することができない。
【０００６】
従来のウェブ情報検出方式は通常に正確率が低く、ほぼステータスコードの戻しによってＵＲＬの削除を検出するので、ＵＲＬが存在しているが、コンテンツが削除されたり、変更されたりするような情況に対応することができなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の技術に存在している問題点を解決するために、本発明は、正確率が高いウェブ情報の検出方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記した目的を達成するために、本発明で採用される技術手段は下記の通りである。
【０００９】
本発明は、ウェブページ情報の検出方法であって、ウェブページ本文のキーワードを予め抽出し、当該ウェブページ本文から抽出されたキーワードと当該ウェブページのＵＲＬとの対応関係をデータベースに記憶させ、ウェブページ情報を検出する際に、まず、検出すべきウェブページのソースファイルを取得し、その後、検出すべきウェブページと同じＵＲＬをもつウェブページのキーワードをデータベースから検索し、前記キーワードを用いて、検出すべきウェブページのソースファイルコンテンツとマッチングさせ、マッチングの度合いに基づいて検出すべきウェブページ情報の有無を特定することを特徴とする。
【００１０】
また、本発明はウェブページ情報の検出システムであって、ウェブページの本文からキーワードを抽出するための抽出装置と、ウェブページの本文から抽出されたキーワードと当該ウェブページのＵＲＬとの対応関係をデータベースに記憶させる記憶装置と、検出すべきウェブページのソースファイルを取得するための取得装置と、検出すべきウェブページと同じＵＲＬをもつウェブページのキーワードをデータベースから検索し、前記キーワードを用いて検出すべきウェブページのソースファイルコンテンツとマッチングを行い、マッチングの度合いＰに基づいて検出すべきウェブページ情報の有無を特定するための検知装置と、を備えることを特徴とする。
【００１１】
本発明に記載の方法及びシステムは、ウェブページ情報から抽出されたキーワードを、当該ウェブページ情報の有無を検出する根拠とすることで、ＵＲＬが存在しているが情報が変わった情況を強力で検出することができるので、ウェブページ情報の検出の正確率を大幅に向上させ、良好なネットワーク環境を有効に維持し、ネットワークの安全性の保護を提供している。また、構造が複雑で、形態がそれぞれ異なるＨＴＭＬ情報から正確な本文情報を抽出し、本文及びタイトル情報に基づいてウェブページコンテンツに相関する段落の要約やキーワードなどの情報を取得することができるから、他のネットワーク製品が本文や要約及びキーワードを表示するために用いられる。
【図面の簡単な説明】
【００１２】
【図１】具体的な実施形態におけるウェブページ情報の検出システムの構成を示すブロック図である。
【図２】具体的な実施形態におけるウェブページ情報の検出方法を示すフロチャートである。
【図３】具体的な実施形態においてウェブページ情報のキーワードを抽出する方法を示すフロチャートである。
【図４】具体的な実施形態において文字配列にテキストブロックを記憶することを示す模式図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しながら、具体的な実施例を使って本発明を詳細に説明する。
【００１４】
本発明は主に、ウェブページのアドレスが存在しているが、ウェブページのコンテンツが変化している場合に、ウェブページの情報の有無を検出することに適用される。本発明の主旨としては、ウェブページ情報のキーワードを予め抽出し、このウェブページ情報から抽出されたキーワードと、このウェブページのＵＲＬとの対応関係を、このウェブページ情報を検出する証拠としてデータベースに記憶させ、ウェブページ情報を検出する際に、まず、検出すべきウェブページのソースファイルを取得し、その後、検出すべきウェブページと同じＵＲＬをもつページのキーワードをデータベースから検索し、このキーワードを利用して、検出すべきウェブページのソースファイルのコンテンツとマッチングさせ、マッチングの度合いに基づいて検出すべきウェブページ情報の有無を特定する。
【００１５】
図１は、本実施形態におけるウェブページ情報の検出システムの構造を示す。図１に示すように、当該システムは、抽出装置１１と、抽出装置１１に接続されている記憶装置１２と、取得装置１３と、取得装置１３に接続されているフィルタリング装置１５と、フィルタリング装置１５に接続されているマッチング装置１４とを備える。
抽出装置１１は、ウェブページ情報のキーワードを抽出する。
記憶装置１２は、ウェブページ情報から抽出されたキーワードと当該ウェブページのＵＲＬとの対応関係を、検出の証拠としてデータベースに記憶させる。
取得装置１３は、検出すべきウェブページのソースファイルを取得する。
フィルタリング装置１５は、検出すべきソースファイル中の、タイトルを含む無用の情報をフィルタリングする。
検出装置１４は、検出すべきウェブページと同じＵＲＬをもつページのキーワードをデータベースから検出し、前記キーワードを利用して、検出すべきウェブページのソースファイルのコンテンツとマッチングさせ、マッチングの度合いに基づいて、検出すべきウェブページ情報の有無を特定する。
【００１６】
図２は、図１に示されるシステムによってウェブページ情報を検出する方法のプロセスを示す。図２に示すように、当該方法は下記のステップを含む。
（１）取得装置１３によって検出すべきウェブページのＨＴＭＬソースファイルを取得する。
（２）フィルタリング装置１５によって、検出すべきソースファイル中の、タイトルを含む無用の情報をフィルタリングし、フィルタリング済の文字情報ソースファイルを取得する。
【００１７】
まず、無用のＨＴＭＬタグライブラリを予め定義して無用のＨＴＭＬタグを格納する。前記無用のＨＴＭＬタグは、ヘッダタグと、プログラム用語と、メディア用語と、修飾語、フォーム入力、リンクなどの類型のタグを含む。
【００１８】
ソースファイル情報に基づいて、無用のＨＴＭＬタグライブラリを利用して、所定の正則表現による語句を作成することによって無用のタグ及びタグで修飾されているコンテンツを削除し、領域を分割できるタグ及びタグに含まれるコンテンツのみを残す。
【００１９】
ここで、タイトルタグ内のコンテンツをフィルタリングすることは、ページ情報が削除されたものの、タイトルがまだ存在している場合に検出に妨げるのを防止するために行われるわけである。
【００２０】
（３）マッチング装置１４によって、検出すべきウェブページと同じＵＲＬをもつページのキーワードをデータベースから読み取り、その後、読み取られたキーワードとフィルタリングされた検出すべきウェブページのソースファイルの情報とをマッチングさせる。
【００２１】
データベース内に格納されたキーワードの証拠を利用して、文字情報ソースファイルとマッチングさせ、それから、マッチングの度合いＰに基づいてウェブページ情報の有無を検出する。マッチングの度合いＰについて、具体的な適用環境に応じて、完全にマッチングするか、それとも部分的にマッチングするかを決定可能である。
【００２２】
図３は、本実施形態においてウェブページ情報のキーワードを抽出する方法のプロセスを示す。図３に示すように、抽出工程は下記のステップを含む。
【００２３】
（ａ）ウェブページのソースファイル情報を読み取る。
ウェブページのソースファイルを読み取るとき、まず、ＨＴＴＰリクエストのシミュレーションによって情報ステータスコードを戻す。ステータスコードは２００ではなく、或いは異常が現れたとき、当該ＵＲＬのウェブページ情報が削除されたと直接に判定できる。２００を正常に戻せば、ＨｔｔｐＭｅｔｈｏｄＢａｓｅによるｇｅｔＲｅｓｐｏｎｓｅＢｏｄｙ（）法によってウェブページソースファイルのバイト配列及びそのコード化形式を取得し、コード化形式によって、ソースファイルのバイト配列を文字形式のソースファイル情報に変換する。
【００２４】
（ｂ）ソースファイル情報からウェブページのタイトル情報を取得する。
ソースファイル情報に基づいて、タグのマッチングまたは正規表現の方式によってタイトルタグに含まれるタイトル情報を取得し、Ｌｕｃｅｎｅ「ルシーン」という単語セグメント化（Ｗｏｒｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ）方法を併用してタイトルを単語セグメント化する。タイトルがなければ、或いはタイトルが短くて単語セグメント化できなければ、後の検出操作では、タイトルを参照として用いなくてもよく、戻されたタイトルを空きにすることができる。
【００２５】
（ｃ）ソースファイル情報から本文を抽出する。具体的なプロセスは下記の通りである。
（ｉ）ソースファイル中の無用の情報をフィルタリングする。
ソースファイル情報に基づいて、無用のＨＴＭＬタグライブラリを利用して、所定の正則表現による語句を作成することによって無用のタグ及びタグで修飾されているコンテンツを削除し、ヘッダタグと、プログラム用語と、メディア用語と、修飾語、フォーム入力、リンクなどの類型のタグ及びタグに含まれる情報コンテンツを順次に削除し、領域を分割できるタグ及びタグに含まれる情報コンテンツのみを残す。
【００２６】
（ｉｉ）フィルタリング済みのソースファイル情報を分解する。
領域分割タグにより、従来の方法でフィルタリング済みのソースファイル情報を複数のテキストブロックに分割し、隣り合う任意の二つのテキストブロック同士間の領域分割タグ数を取得することができる。
【００２７】
例えば、仮に、フィルタリング済みのソースファイルＡは単にＡ１とＡ２という２つのテキストブロックからなり、Ａ１とＡ２の間にＢ１とＢ２という２つの領域分割タグのみがランダムに配列されており、その数はそれぞれｎ１とｎ２であったとしたら、文字列切り出しアルゴリズムに従い、タグＢ１に基づいてＡを切り出し、ＡＢ１とＡＢ２という２つのブロック、及び２つのブロックの間のタグＢ１の数ｎ１を取得し、ＡＢ１とＡＢ２という２つのブロックを組み合わせることで、タグＢ１の付いていないソースファイルブロックＡを取得し、続いてタグＢ２に基づいてＡを切り出し、ＡＢ１とＡＢ２という２つのブロック、及び２つのブロックの間のタグＢ１の数ｎ１を取得し、ＡＢ１とＡＢ２という２つのブロックを組み合わせることで、タグＢ１の付いていないソースファイルブロックＡを取得し、続いてタグＢ２に基づいてＡを切り出すことで、新たなＡＢ１とＡＢ２という２つのブロック、及び２つのブロックの間のタグＢ２の数ｎ２を取得する。他も同様に操作する。
【００２８】
フィルタリング済みのソースファイル情報を若干のテキストブロックに分割した後、各テキストブロックにおける文字コンテンツ（タグを含まない）、及び次のテキストブロックとの間の距離を記憶させる。具体的に下記の２つの記憶方式のうちの１つを採用してもよい。
【００２９】
＜１＞リンクリストによる記憶：記憶の類型は、テキストブロックにおける文字コンテンツ、隣り合う次のテキストブロックとの間の距離という２つの属性を含んでもよい。
【００３０】
＜２＞文字配列による記憶：テキストブロックにおける文字コンテンツ（テキストブロックと略称する）を配列に離散的に記憶させ、２つの隣り合うテキストブロックの間の距離を、配列において２つのテキストブロックの記憶位置が離間する空値で標識することができる。図４に示すように、テキストブロック１とテキストブロック２の間の空値が２であれば、テキストブロック１とテキストブロック２との間の距離が２である。
【００３１】
隣り合うテキストブロック同士間の距離は、領域分割タグがソースファイル情報において現れる頻度を重み付けとし、その数量に基づいて決定することができる。具体的なアルゴリズムは下記の通りである。即ち、２つの隣り合うテキストブロックをＡ１とＡ２とし、領域分割タグをＢ１…Ｂｎとし、タグの重み付けをＷＢ１…ＷＢｎとし、Ａ１とＡ２の間の領域分割タグの数をそれぞれｎＢ１…ｎＢｎとしたら、Ａ１とＡ２の間の距離ｄＡ１Ａ２の算式は、ｄＡ１Ａ２＝ｎＢ１×ＷＢ１＋ｎＢ２×ＷＢ２＋…ｎＢｎ×ＷＢｎである。
【００３２】
前記重み付け値は、ユーザが具体的な適用環境を組み合わせて設置してもよい。２つの隣り合うテキストブロックの間の距離は他の方法により算出することもでき、テキストブロック同士間の相対的距離を表すことができればよい。
【００３３】
テキストブロックを分割する要因は、ウェブページ情報の繁雑性にあり、本文情報には、広告などのような無用の情報が差し込まれてしまうから、ソースファイルの角度からみたら、本文は必ずしも完全なブロックであるとはいえず、比較的に分散しているように見える。
【００３４】
（ｉｉｉ）本文サンプルを特定する。
テキストブロックのうち、文字コンテンツが最も多く含まれている１つのブロック（このブロックは設定された長さなどの条件の制限を満足しなければならず、ユーザが具体的な適用環境に応じて特定可能であり、例えば少なくとも２０文字とする）を選定し、このブロックを基準にして上、下方へ探索し、上下の各々のブロックの文字数とこのブロックとの距離比（即ち、文字密度）と設定された閾値との間の関係（閾値はサンプリング実験により得られる）に基づいて、本文の上限ブロックと下限ブロックを限定し、上、下限ブロック及びその中のコンテンツを本文サンプルとして特定する。
【００３５】
具体的には、文字コンテンツが最も多く含まれているテキストブロックをＡとし、その中に含まれている文字数をａとし、これに隣り合う前のテキストブロックをＡ１とし、その中に含まれている文字数をａ１とし、これに隣り合う次のテキストブロックをＡ２とし、その中に含まれている文字数をａ２とし、テキストブロックＡ１とテキストブロックＡとの距離をｄ１とし、テキストブロックＡとテキストブロックＡ２との距離をｄ２とし、閾値をＭとしたことを仮定する。閾値Ｍはユーザが具体的な適用環境に応じて設定可能である。
【００３６】
ａ１／ｄ１＝Ｍ１≧Ｍ、かつａ２／ｄ２＝Ｍ２≧Ｍであった場合に、テキストブロックＡと上下に隣り合うテキストブロックＡ１とＡ２は本文として組み合わせることができることが分かった。Ｍ１とＭ２の平均値Ｍａｖｇを、上、下限ブロックを算出する評価基準として採用する。こうすると、評価基準は実際に検出すべきウェブページの実状に応じて抽出されるものであり、ケースバイケースで、検出効率を向上させることが可能となる。
【００３７】
Ｍ１とＭ２のうち、閾値Ｍ以上の数値が１つしかなかったら、Ｍ以上の数値とＭとの平均値Ｍａｖｇを上、下限ブロックを算出する評価基準として採用する。
【００３８】
両者とも合致しなかった場合に、本文はブロック分割されることがなく、上、下へ探索する必要がないため、直接にテキストブロックＡを本文サンプルとする。
【００３９】
Ｍａｖｇを算出したら、テキストブロックＡを整合することができる。ａ１／ｄ１＝Ｍ１≧Ｍ、かつａ２／ｄ２＝Ｍ２≧Ｍであれば、Ａ’＝Ａ１＋Ａ＋Ａ２とし、即ち、テキストブロックＡ１とテキストブロックＡ２における文字コンテンツをテキストブロックＡに整合し、その後、Ａ１を基準にして上方へ探索し、これに隣り合う前のテキストブロックＡＳ１に含まれている文字数とＡ１ＡＳ１の距離ｄＳ１との比をＭａｖｇと比較する。その比がＭａｖｇよりも大きくなれば、ＡＳ１における文字コンテンツをＡに整合し、続いて、条件を満たさないテキストブロックまで、ＡＳ１を基準に上方へ探索する。これと同様に、条件を満たさないテキストブロックまで、Ａ２を基準にして下方へ探索する。最終的なテキストブロックＡを本文サンプルとする。
【００４０】
Ｍ１とＭ２のうち、閾値Ｍ以上の数値が１つしかなかったら、例えば、Ｍ１≧Ｍであったら、テキストブロックＡ１のコンテンツをＡに整合し、即ち、Ａ’＝Ａ１＋Ａとする。その後、条件を満たさないテキストブロックまで、Ａ１を基準に上方へ探索する。Ｍ２＜Ｍ、探索条件を満足しないので、下方へ探索する必要がない。最終的なテキストブロックＡ’を本文サンプルとする。
【００４１】
通常の場合に、文字数が多いほど、テキストブロックとテキストブロックの間の距離が小さくなり、本文となる確率が高くなる。ここで、文字数と距離の比が、本文となる確率に比例するものである。
【００４２】
（ｉｖ）本文サンプルを検証する
タイトル単語を用いて本文サンプルと比較し、マッチングの度合いを基にして本文サンプルが本文であるか否かを検証する。前記マッチングの度合いは、タイトル単語が本文サンプルにおいて現れる数量及び頻度の総合数値である（数量及び頻度の重み付けはユーザにより特定可能である）。
【００４３】
具体的には、タイトルからＷ１…Ｗｎ個の単語を切り出し、サンプルは学習後に得られた重み付けをｗ１…ｗｎとし、本文でのマッチング数をそれぞれｎ  ｗ１…ｎｗｎとする。サンプルの学習は従来のアルゴリズムであってもよく、基本的に実現する原理は、本文から単語を切り出し、各用語が本文において現れる回数及びサンプル学習ソフトウェアメンテナンスの１つのキーワードデータベース及び各キーワードの重み付け（このキーワードベースは主としてネットワーク上の幾つかの通常のキーワードを保守し、各キーワードは長期にわたる統計において１つの重み付けが格納される。また、「
2014502753.tif 000003
（あなた）」、
「我（わたし）」、「他（かれ）」などの用語はここに含まれない）に基づいて、若干のキーワード及び各用語の重み付けを総合的に算出する。
【００４４】
マッチングの度合いｐ’の算式は下記の通りである。
Ｐ’＝ｎｗ１×ｗ１＋ｎｗ２×ｗ２＋…ｎｗｎ×ｗｎ（式１）
Ｐ’は設定された閾値Ｍ’以上であれば、検証に合格する。さもなければ、検証に失敗する。閾値Ｍ’は具体的な適用環境に応じてユーザが設定可能である。
【００４５】
検証に失敗したら、ステップ（ｉｉｉ）に戻し、文字コンテンツが最も多く含まれているテキストブロックＡを略し、文字コンテンツが２番目に多く含まれているテキストブロックＢを基準にして、ステップ（ｉｉｉ）の中の方法によって本文サンプルを特定する。しかし、テキストブロックＡと上下ブロックの距離を維持し、テキストブロックＢを基準とする文字密度の正確性に影響をもたらすことを防止する。例えば、テキストブロックＡの上下テキストブロックをそれぞれＢとＣとし、テキストブロックＡを基準とする本文サンプルが検証に合格しなかった場合に、ＡとＢ、Ｃの間の距離がまだ存在している。こうすると、Ｂ、Ｃの間の距離はＡ、ＢとＡ、Ｃの距離の総和である。この部分の距離を無視したら、Ｂ、Ｃの間の距離が０となるため、必ず正確性に影響を与え得る。このようにして、本文サンプルが検証に合格するまで、この本文サンプルを本文として特定する。あらゆる本文サンプルは検証に合格しなかったら、即ち、あらゆるテキストブロックは有意義な本文に整合することができなかったら、当該ＵＲＬのウェブページ情報は本文がなく、或いは本文が簡単すぎて実際の意味がなく、削除されたものとみなされることが表明されている。
【００４６】
タイトルを取得することができなければ、タイトル単語で本文サンプルを検証するというステップを取り消し、そのまま本文サンプルを本文として特定する。このとき、本文の表示意味を弱化し、本文からキーワードを抽出してウェブページ情報が存在しているか否かを検出する作用を強調する。
【００４７】
（ｄ）本文からキーワードを抽出する。
まず、特定済みの本文の各段落を切り出し、各段落ごとに含まれている文字数を集計し、文字数、タイトルとのマッチング度合いに基づいて要約を抽出する。前記要約は本文の要約ではなく、本文においてキーワードを抽出するための一部の内容である。要約は、他のネットワーク製品の情報要約として使うことができる。要約の具体的な抽出方法は下記の通りである。
【００４８】
タイトルがなければ、本文の中に文字数が最も多く含まれている段落を要約として特定する。
タイトルがあれば、本文の中に文字数が最も多く含まれている段落とタイトルとのマッチング度合いＰ”を下記式で計算する。
Ｐ”＝ｎ’ｗ１×ｗ１＋ｎ’ｗ２×ｗ２＋…ｎ’ｗｎ×ｗｎ
【００４９】
式中、ｗ１…ｗｎは式１の場合と同様に、それぞれタイトル単語Ｗ１…Ｗｎの重み付けを示し、ｎ’ｗ１…ｎ’ｗｎはそれぞれ文字数が最も多く含まれている段落でのタイトル単語のマッチング数を示す。マッチングの度合いＰ”は０より大きくなると、検証に合格し、当該段落を要約として用いる。さもなければ、本文中に文字数が２番目に多く含まれているテキストブロックを検証する。他は同じくこのようにして操作する。
【００５０】
要約を抽出した後、要約に対して単語セグメント化を行い、要約単語とタイトル単語に基づいて若干のキーワードを抽出する。具体的な抽出工程は下記の通りである。
【００５１】
タイトル単語を基準にして、下記式を用いてタイトル単語の要約におけるマッチング度合いＰ”’を計算する。
Ｐ”’＝ｎ”ｗ１×ｗ１＋ｎ”ｗ２×ｗ２＋…ｎ”ｗｎ×ｗｎ
【００５２】
式中、ｗ１…ｗｎは式１の場合と同様に、それぞれタイトル単語Ｗ１…Ｗｎの重み付けを示し、ｎ”ｗ１…ｎ”ｗｎはそれぞれタイトル単語の要約におけるマッチング数を示す。Ｐ”’が大きい順に若干のタイトル単語を抽出する。
【００５３】
そして、要約単語を基準にして、各々の要約単語の要約において現れる回数を算出し、回数が多い順に若干の要約単語を抽出する。
【００５４】
抽出された２つの部分の単語のうちの重複単語を削除し、残りの単語からキーワードとして若干抽出する。タイトルがなければ、要約単語が要約において現れる回数が多い順に若干の単語をキーワードとして抽出する。
【００５５】
（ｅ）今回で検出された要約、キーワード及び所属するウェブページのＵＲＬ情報をデータベースに記憶させて根拠として格納する。
【００５６】
前記ウェブページ情報の本文、要約及びキーワードを抽出する方法は、比の値が本文確率に比例するという一般的な原則を利用し、特定のアルゴリズムによって、如何なるテンプレートを利用する必要もなく、確率の高い本文及び検出根拠であるキーワードを得ることができる。
【００５７】
本発明は、ウェブページ情報のキーワードを格納することによって、当該ウェブページ情報が存在しているか否かを検出するため、ウェブページ情報の検出の正確率を向上し、良好なネットワーク環境を有効に維持することができ、ネットワークのセキュリティ保護を実現することができる。また、ウェブページ情報の本文、段落の要約、キーワードなどの情報を正確に提供しているから、他のネットワークシステム、採集ソフトウェアなどに対して有力な情報提供をすることができる。
【００５８】
本発明の精神及び範囲から逸脱しないかぎり、当業者は本発明に対して様々な変更や変形を行うことができるのが明らかである。これらの変更や変形は本発明の特許請求の範囲及び均等的な範囲に該当すれば、本発明の範囲内に含まれる。
【図１】
2014502753.tif 000004
【図２】
2014502753.tif 000005
【図３】
2014502753.tif 000006
【図４】
2014502753.tif 000007
【国際調査報告】
2014502753.tif 000008
2014502753.tif 000009
2014502753.tif 000010
2014502753.tif 000011