(57)【要約】【課題】  装置は、要素が少ないとき、一部だけが類似するとき、適切なパターンマッチングが出来ないとき、ウェブページの適切な類似判定が出来ない。【解決手段】  類似判定装置は、リンク元ページのパターンを格納する構造パターン記憶手段と、リンクアドレスのパターンを格納するリンクパターン記憶手段と、入力されたリンク元ページから、構造パターン記憶手段に格納されたパターンの何れかに合致する部分を抽出するパターン構造抽出手段と、部分からリンク先ページへのリンクアドレスを抽出して、リンクアドレスが合致する、リンクパターン記憶手段に格納されたパターン（合致リンクパターン）を判定するリンク判定手段と、部分が合致したパターンと合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページから類似ページを選択して、類似ページのページ識別子群を出力する類似判定手段、を備える。【選択図】      図１
2011053912.tif 000002
【特許請求の範囲】
【請求項１】
リンク元ページのパターンを格納する構造パターン記憶手段と、
リンクアドレスのパターンを格納するリンクパターン記憶手段と、
入力されたリンク元ページから、前記構造パターン記憶手段に格納されたパターンの何れかに合致する部分を抽出するパターン構造抽出手段と、
前記部分からリンク先ページへのリンクアドレスを抽出して、リンクアドレスが合致する、前記リンクパターン記憶手段に格納されたパターン（合致リンクパターン）を判定するリンク判定手段と、
前記部分が合致したパターン（合致構造パターン）と合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページ（同一パターンリンク先ページ）から類似ページを選択して、前記類似ページのページ識別子群を出力する類似判定手段、を備えるページ類似判定装置。
【請求項２】
単位パターンの繰り返しを包含するパターンを格納する前記構造パターン記憶手段を備える、請求項１のページ類似判定装置。
【請求項３】
ＨＴＭＬの正規表現で記述され、タグで挟まれた任意文字列指定を含むパターンを格納する前記構造パターン記憶手段と、
入力された前記リンク元ページ中の任意文字列指定に対応する部分が、リンクアドレスを示すタグ以外のタグの指定を包含すると、当該部分は前記パターンに合致しないと判断する前記リンク元構造判定手段、を備える請求項１または２のページ類似判定装置。
【請求項４】
リンク元ページアドレスのパターンを格納するアドレスパターン記憶手段と、
前記リンク元ページのアドレスが合致する、前記アドレスパターン記憶手段に格納されたパターン（合致アドレスパターン）を判定するアドレスパターン判定手段と、
合致アドレスパターン、合致構造パターンおよび合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページを同一パターンリンク先ページとする前記類似判定手段、を備える請求項１乃至３の何れかのページ類似判定装置。
【請求項５】
前記同一パターンリンク先ページのうち、ページのパターンが一致するものを類似すると判定する前記類似判定手段を備える、請求項１乃至４の何れかのページ類似判定装置。
【請求項６】
コンピュータに、
構造パターン記憶手段にリンク元ページのパターンを格納する構造パターン記憶処理と、
リンクパターン記憶手段にリンクアドレスのパターンを格納するリンクパターン記憶処理と、
入力されたリンク元ページから、前記構造パターン記憶手段に格納されたパターンの何れかに合致する部分を抽出するパターン構造抽出処理と、
前記部分からリンク先ページへのリンクアドレスを抽出して、リンクアドレスが合致する、前記リンクパターン記憶手段に格納されたパターン（合致リンクパターン）を判定するリンク判定処理と、
前記部分が合致したパターン（合致構造パターン）と合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページ（同一パターンリンク先ページ）から類似ページを選択して、前記類似ページのページ識別子群を出力する類似判定処理、を実行させるページ類似判定プログラム。
【請求項７】
前記コンピュータに、前記構造パターン記憶手段に、単位パターンの繰り返しを包含するパターンを格納する前記構造パターン記憶処理を実行させる、請求項６のページ類似判定プログラム。
【請求項８】
前記コンピュータに、前記構造パターン記憶手段に、ＨＴＭＬの正規表現で記述され、タグで挟まれた任意文字列指定を含むパターンを格納する前記構造パターン記憶処理と、
前記リンク元ページ中の任意文字列指定に対応する部分が、リンクアドレスを示すタグ以外のタグの指定を包含すると、当該部分は前記パターンに合致しないと判断する前記リンク元構造判定処理、を実行させる請求項６または７のページ類似判定プログラム。
【請求項９】
前記コンピュータに、
アドレスパターン記憶手段に、リンク元ページアドレスのパターンを格納するアドレスパターン記憶処理と、
前記リンク元ページのアドレスが合致する、前記アドレスパターン記憶手段に格納されたパターン（合致アドレスパターン）を判定するアドレスパターン判定処理と、
合致アドレスパターン、合致構造パターンおよび合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページを同一パターンリンク先ページとする前記類似判定処理、を実行させる請求項６乃至８の何れかのページ類似判定プログラム。
【請求項１０】
前記コンピュータに、前記同一パターンリンク先ページのうち、ページのパターンが一致するものを類似すると判定する前記類似判定処理を実行させる、請求項６乃至９の何れかのページ類似判定プログラム。
【請求項１１】
構造パターン記憶手段にリンク元ページのパターンを格納する構造パターン記憶工程と、
リンクパターン記憶手段にリンクアドレスのパターンを格納するリンクパターン記憶工程と、
入力されたリンク元ページから、前記構造パターン記憶手段に格納されたパターンの何れかに合致する部分を抽出するパターン構造抽出工程と、
前記部分からリンク先ページへのリンクアドレスを抽出して、リンクアドレスが合致する、前記リンクパターン記憶手段に格納されたパターン（合致リンクパターン）を判定するリンク判定工程と、
前記部分が合致したパターン（合致構造パターン）と合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページ（同一パターンリンク先ページ）から類似ページを選択して、前記類似ページのページ識別子群を出力する類似判定工程、を有するページ類似判定方法。
【請求項１２】
前記構造パターン記憶手段に、単位パターンの繰り返しを包含するパターンを格納する前記構造パターン記憶工程を有する、請求項１１のページ類似判定方法。
【請求項１３】
前記構造パターン記憶手段に、ＨＴＭＬの正規表現で記述され、タグで挟まれた任意文字列指定を含むパターンを格納する前記構造パターン記憶工程と、
前記リンク元ページ中の任意文字列指定に対応する部分が、リンクアドレスを示すタグ以外のタグの指定を包含すると、当該部分は前記パターンに合致しないと判断する前記リンク元構造判定工程、を有する請求項１１または１２のページ類似判定方法。
【請求項１４】
アドレスパターン記憶手段に、リンク元ページアドレスのパターンを格納するアドレスパターン記憶工程と、
前記リンク元ページのアドレスが合致する、前記アドレスパターン記憶手段に格納されたパターン（合致アドレスパターン）を判定するアドレスパターン判定工程と、
合致アドレスパターン、合致構造パターンおよび合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページを同一パターンリンク先ページとする前記類似判定工程、を有する請求項１１乃至１３の何れかのページ類似判定方法。
【請求項１５】
前記同一パターンリンク先ページのうち、ページのパターンが一致するものを類似すると判定する前記類似判定工程を有する、請求項１１乃至１４の何れかのページ類似判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ページ類似判定装置、ページ類似判定方法、および、ページ類似判定プログラムに関する。
【背景技術】
【０００２】
特許文献１には、２つのウェブページのリンク要素周辺の文字列（フラグメント）の同一性を判別して、当該２つのウェブページの全部あるいは一部が一致すると判断するコンピュータが開示されている。
【０００３】
特許文献２には、ＨＴＴＰリクエストからＵＲＬを取り出して、そのＵＲＬと判定基準ＵＲＬとの類似性を判断する有害判定サーバが開示されている。当該サーバは、両ＵＲＬが類似するとき、判定基準ＵＲＬのページの有害性判断に基づいて当該ＵＲＬのページの有害性を判断する。
【０００４】
特許文献３には、パターンにマッチする一つの文から固有名詞を抽出する方式が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２２３９８号公報
【特許文献２】特開２００８−２０４４２５号公報
【特許文献３】特開平６−５２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術は、ウェブページの要素が少ないとき、または、ウェブページの一部だけが類似するとき等に適切な類似判定が出来ない。また、特許文献２の技術は、ＵＲＬのパターン記述能力の限界等に起因して、適切なパターンマッチングが出来ないとき、適切な類似判定が出来ない。特許文献３の技術は、そもそも、文書の類似判定を行わない。
【０００７】
本発明の目的は、上述の課題を解決する、ページ類似判定装置、ページ類似判定方法、および、ページ類似判定プログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の一実施形態の類似判定装置は、リンク元ページのパターンを格納する構造パターン記憶手段と、リンクアドレスのパターンを格納するリンクパターン記憶手段と、入力されたリンク元ページから、前記構造パターン記憶手段に格納されたパターンの何れかに合致する部分を抽出するパターン構造抽出手段と、前記部分からリンク先ページへのリンクアドレスを抽出して、リンクアドレスが合致する、前記リンクパターン記憶手段に格納されたパターン（合致リンクパターン）を判定するリンク判定手段と、前記部分が合致したパターン（合致構造パターン）と合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページ（同一パターンリンク先ページ）から類似ページを選択して、前記類似ページのページ識別子群を出力する類似判定手段、を備える。
【０００９】
本発明の一実施形態の類似判定プログラムは、コンピュータに、構造パターン記憶手段にリンク元ページのパターンを格納する構造パターン記憶処理と、リンクパターン記憶手段にリンクアドレスのパターンを格納するリンクパターン記憶処理と、入力されたリンク元ページから、前記構造パターン記憶手段に格納されたパターンの何れかに合致する部分を抽出するパターン構造抽出処理と、前記部分からリンク先ページへのリンクアドレスを抽出して、リンクアドレスが合致する、前記リンクパターン記憶手段に格納されたパターン（合致リンクパターン）を判定するリンク判定処理と、前記部分が合致したパターン（合致構造パターン）と合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページ（同一パターンリンク先ページ）から類似ページを選択して、前記類似ページのページ識別子群を出力する類似判定処理、を実行させる。
【００１０】
本発明の一実施形態の類似判定方法は、構造パターン記憶手段にリンク元ページのパターンを格納する構造パターン記憶工程と、リンクパターン記憶手段にリンクアドレスのパターンを格納するリンクパターン記憶工程と、入力されたリンク元ページから、前記構造パターン記憶手段に格納されたパターンの何れかに合致する部分を抽出するパターン構造抽出工程と、前記部分からリンク先ページへのリンクアドレスを抽出して、リンクアドレスが合致する、前記リンクパターン記憶手段に格納されたパターン（合致リンクパターン）を判定するリンク判定工程と、前記部分が合致したパターン（合致構造パターン）と合致リンクパターンが同じリンクアドレスのおのおので参照される複数のリンク先ページ（同一パターンリンク先ページ）から類似ページを選択して、前記類似ページのページ識別子群を出力する類似判定工程、を有する。
【発明の効果】
【００１１】
本発明は、文書の要素が少ないとき等でも、複数の文書の類似性を適切に判定することを可能とする。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１の実施形態に係る類似判定システム１４の全体構成を示す。
【図２】図２は、対象ページ１３の具体例を示す。
【図３】図３は、アドレスパターン記憶手段４０に格納されるデータを示す。
【図４】図４は、構造パターン記憶手段５０に格納されるデータを示す。
【図５】図５は、リンクパターン記憶手段６０に格納されるデータを示す。
【図６】図６は、リンク先パターン記憶手段７０に格納されるデータを示す。
【図７】図７は、ページ記憶部８０に格納されるデータを示している。
【図８】図８は、リンク記憶部９０に格納されるデータを示している。
【図９】図９は、類似判定装置１０の動作フローチャートである。
【図１０】図１０は、リンクアドレス９２で参照されている対象ページ１３の構造記述を例示する。
【図１１】図１１は、本発明の第２の実施形態に係る類似判定システム１４の全体構成を示す。
【図１２】図１２は、実施形態における類似判定装置１０の基本的構成を示す。
【発明を実施するための形態】
【００１３】
図１は、本発明の第１の実施形態に係る類似判定システム１４の全体構成を示す。本システムは対象ページ１３の類似性を判定する。本システムは、リンクに関する特性を利用して、リンクされている対象ページ１３の類似性を判定する。本システムは、例えば、プログラムにより機械的に生成されている為に部分構造が類似している対象ページ１３の類似判定に適している。
【００１４】
対象ページ１３は、例えば、ＨＴＭＬ（Hypertext Markup Language）で記述され、ＵＲＬ（Uniform Resource Locator）をリンクに使用したウェブページである。対象ページ１３は、他の言語で構造が記述され、木構造ディレクトリのファイルパス名や記憶域アドレスをリンクに使用した、他の形式のドキュメントであっても良い。
【００１５】
図２は、対象ページ１３の具体例を示す。本例に於いて、対象ページ１３はＨＴＭＬで記述されたウェブページである。本例では、２つのウェブアプリケーションが存在し、一方のウェブアプリケーションのウェブページＸはＵＲＬとして、http://example.com/search?count=5 を有する。ウェブページＸは、３つのウェブページ（Ａ１、Ａ２、Ａ３）を参照するリンクを包含する。他方のウェブアプリケーションのウェブページＹは、ＵＲＬとしてhttp://example.org/search?count=10を有し、２つのウェブページ（Ｂ１、Ｂ２）を参照するリンクを包含する。ウェブページＸとＹは、プログラムで作成されているため一定の繰り返し構造を持っている。
【００１６】
なお、今後、リンクを包含する対象ページ１３（例えば、ウェブページＸ、Ｙ）をリンク元、リンクでアドレスされている対象ページ１３（例えば、ウェブページＡ１、Ｂ２）をリンク先と呼ぶ。
【００１７】
図１の類似判定システム１４は、例えば、ウェブページＸとＹを指定されて、ウェブページＡ１、Ａ２、Ａ３、Ｂ１、Ｂ２の類似判定を行う。以降の本実施の形態の説明に於いて、具体的な値は本実施例に基づいて与えられる。
【００１８】
類似判定システム１４は、類似判定装置１０と端末１２を包含する。類似判定装置１０と端末１２は直結されていても良いし、ネットワークを介して接続されていても良い。
【００１９】
類似判定装置１０は、類似判定手段２０、メモリ２５、リンク元アドレス判定手段２１、パターン構造抽出手段２２、リンク判定手段２３、リンク先構造判定手段２４を包含する。同装置は更に、アドレスパターン記憶手段４０、構造パターン記憶手段５０、リンクパターン記憶手段６０、リンク先パターン記憶手段７０を包含する。
【００２０】
メモリ２５は、類似判定手段２０、リンク元アドレス判定手段２１、パターン構造抽出手段２２、リンク判定手段２３、リンク先構造判定手段２４からアクセス可能であり、ページ記憶部８０、リンク記憶部９０、作業域２６を包含する。
【００２１】
類似判定手段２０は、例えば、端末１２から対象ページ１３の指定情報を入力して、指定された対象ページ１３からリンクされている対象ページ１３の類似性を判定し、結果を端末１２に出力する。
【００２２】
対象ページ１３の指定情報は、１個以上の対象ページ１３のアドレスである。アドレスは、ＵＲＬでも良いし、ファイルパス名等でも良い。アドレスは端末１２の利用者が端末１２に直接入力しても良いし、例えば、端末１２で稼働する検索プログラム等が出力しても良い。
【００２３】
判定結果は、相互に類似すると判定された対象ページ１３（類似グループ）毎のアドレス集合等である。当該集合は複数個出力されることがある。
【００２４】
リンク元アドレス判定手段２１は、指定情報として入力された対象ページ１３のアドレスのパターンを特定する。パターン構造抽出手段２２は、対象ページ１３のなかから特定のパターンを有する部分（パターン構造）を抽出する。リンク判定手段２３は、パターン構造内部に存在する他の対象ページ１３へのリンクを収集して、収集した各リンクのパターンを判定する。リンク先構造判定手段２４は、収集されたリンクで参照される対象ページ１３の構造のパターンを特定する。
【００２５】
類似判定手段２０、リンク元アドレス判定手段２１、パターン構造抽出手段２２、リンク判定手段２３、リンク先構造判定手段２４は、専用のハードウェアで実現されていても良い。それらは、コンピュータ１１でもある類似判定装置１０の図示しないプロセッサが、メモリ２５に格納されている類似判定プログラム２９を実行することで実現されても良い。
【００２６】
アドレスパターン記憶手段４０、構造パターン記憶手段５０、リンクパターン記憶手段６０、リンク先パターン記憶手段７０は、ディスク装置、メモリ２５等の記憶媒体である。
【００２７】
図３は、アドレスパターン記憶手段４０に格納されるデータを示す。アドレスパターン記憶手段４０は、リンク元の対象ページ１３（例えば、ウェブページＸまたはＹ）のアドレスのパターンを特定するために用いられる。アドレスパターン記憶手段４０は、アドレスパターンＩＤ４１とアドレスパターン４２を対応させて格納する。アドレスパターンＩＤ４１は、アドレスパターン記憶手段４０内で一意の識別情報である。
【００２８】
アドレスパターン４２は、リンク元の対象ページ１３のアドレスの文字列に於ける一定の規則性（パターン）を定義する。アドレスパターン４２は、例えばＨＴＭＬの正規表現で記述される。アドレスパターン４２は、アドレスの全部または一部分に対応して定義される。図３のアドレスパターンＩＤ４１＝１に対応するアドレスパターン４２は、ウェブページＸとＹのＵＲＬに合致するパターン記述例を示している。
【００２９】
図４は、構造パターン記憶手段５０に格納されるデータを示す。構造パターン記憶手段５０は、リンク元の対象ページ１３のなかからパターン構造を抽出するために用いられる。構造パターン記憶手段５０は、構造パターンＩＤ５１と構造パターン５２を対応させて格納する。構造パターンＩＤ５１は、構造パターン記憶手段５０内で一意の識別情報である。
【００３０】
構造パターン５２は、対象ページ１３内部の文字列に於けるパターンを定義する。構造パターン５２は、例えば、ＨＴＭＬの正規表現、ＸＰＡＴＨ、ＸＱＵＥＲＹで記述される。
【００３１】
図４の構造パターンＩＤ５１＝１に対応する構造パターン５２は、ウェブページＸとＹの内容に合致するパターン記述例を示している。具体的に、構造パターン５２は、ｔｄタグ付された任意文字列（列）を２個連結して構成されるｔｒタグ付けされた構造（行）の繰り返し構造（テーブル）をＨＴＭＬの正規表現で定義している。
【００３２】
図５は、リンクパターン記憶手段６０に格納されるデータを示す。リンクパターン記憶手段６０は、リンク元の対象ページ１３（例えば、ウェブページＸまたはＹ）からリンク先の対象ページ１３（例えば、ウェブページＡ１、Ｂ２等）へのリンクのリンクアドレス９２のパターンを特定するために用いられる。リンクパターン記憶手段６０は、リンクパターンＩＤ６１とリンクパターン６２を対応させて格納する。リンクパターンＩＤ６１は、リンクパターン記憶手段６０内で一意の識別情報である。
【００３３】
リンクパターン６２は、リンクアドレス９２の文字列に於けるパターンを定義する。リンクパターン６２は、例えばＨＴＭＬの正規表現で記述される。リンクパターン６２は、リンクアドレス９２の全部または一部分に対応して定義される。図５のリンクパターンＩＤ６１＝２に対応するリンクパターン６２は、ウェブページＸとＹからウェブページＡ１、Ｂ２等へのリンクに合致するパターン記述例を示している。
【００３４】
図６は、リンク先パターン記憶手段７０に格納されるデータを示す。リンク先パターン記憶手段７０は、リンク先の対象ページ１３（例えば、ウェブページＡ１、Ｂ２等）のパターン構造を特定するために用いられる。リンク先パターン記憶手段７０は、リンク先パターンＩＤ７１とリンク先パターン７２を対応させて格納する。リンク先パターンＩＤ７１は、リンク先パターン記憶手段７０内で一意の識別情報である。
【００３５】
リンク先パターン７２は、リンク先の対象ページ１３の文字列に於けるパターンを定義する。リンク先パターン７２は、例えばＨＴＭＬの正規表現、ＸＰＡＴＨ、ＸＱＵＥＲＹで記述される。図６のリンク先パターンＩＤ７１＝１に対応するリンク先パターン７２は、ウェブページＡ１、Ｂ２等の構造に合致するパターンのＨＴＭＬの正規表現による記述例を示している。
【００３６】
アドレスパターン記憶手段４０、構造パターン記憶手段５０、リンクパターン記憶手段６０およびリンク先パターン記憶手段７０のデータは、例えば、類似判定装置１０の管理者が装置の使用に先立って設定しておく。
【００３７】
図７は、ページ記憶部８０に格納されるデータを示している。ページ記憶部８０は、リンク元の対象ページ１３毎に、ページＩＤ８１、ページアドレス８２、合致アドレスパターンＩＤ８３およびページ内容８４を対応させて格納する。ページＩＤ８１は、ページ記憶部８０内で一意の識別子（例えば通番）であり、類似判定手段２０が、対象ページ１３のアドレス、ＨＴＭＬ記述を、おのおのページアドレス８２、ページ内容８４に格納するときに設定する。
【００３８】
合致アドレスパターンＩＤ８３は、ページアドレス８２が合致するアドレスパターン４２のアドレスパターンＩＤ４１の値である。
【００３９】
図８は、リンク記憶部９０に格納されるデータを示している。リンク記憶部９０は、リンク元の対象ページ１３から抽出した各リンクのリンクＩＤ９１、リンクアドレス９２、ページＩＤ９３、合致構造パターンＩＤ９４、合致リンクパターンＩＤ９５、合致リンク先パターンＩＤ９６を対応させて格納する。
【００４０】
リンクＩＤ９１は、リンク記憶部９０内で一意の識別子（例えば通番）であり、リンク判定手段２３が、リンクのアドレス記述、リンク元の対象ページ１３のページＩＤ８１を、おのおのリンクアドレス９２、ページＩＤ９３に格納するときに設定する。
【００４１】
合致構造パターンＩＤ９４は、合致構造パターンの構造パターンＩＤ５１の値である。ここで、合致構造パターンは、リンクアドレス９２が抽出されたパターン構造が合致する構造パターン５２である。合致リンクパターンＩＤ９５は、リンクアドレス９２が合致するリンクパターン６２（合致リンクパターン）のリンクパターンＩＤ６１の値である。合致リンク先パターンＩＤ９６は、リンクアドレス９２のリンク先の対象ページ１３が合致するリンク先パターン７２のリンク先パターンＩＤ７１の値である。
【００４２】
図９は、類似判定装置１０の動作フローチャートである。
【００４３】
類似判定手段２０は、対象ページ１３の指定情報として、リンク元対象ページ１３のアドレスを端末１２から入力する。同手段は、入力した当該アドレスと、当該アドレスが示す対象ページ１３の構造記述のそれぞれを、ページ記憶部８０のページアドレス８２およびページ内容８４に格納する。そのとき、同手段は、格納したページ毎に通番の生成等を行ってページＩＤ８１に格納する（Ｓ１）。同手段は、当該アドレスが示す対象ページ１３の構造記述を、インターネット等を経由して当該対象ページ１３にアクセスして入手する。図７は、図２のページＸの情報がページＩＤ８１＝１の行に、ページＹの情報がページＩＤ８１＝２の行に格納されたページ記憶部８０を例示する。
【００４４】
類似判定装置１０は、ページ記憶部８０に格納されている各ページを対象に以下Ｓ２乃至Ｓ５の処理を行う。
【００４５】
先ず、パターン構造抽出手段２２は、処理中ページのページ内容８４から、構造パターン記憶手段５０の構造パターン５２のいずれかに合致する部分（パターン構造）を抽出する（Ｓ２）。ここで、抽出されたパターン構造に合致した構造パターン５２は、当該パターン構造の合致構造パターンと呼ばれる。パターン構造の抽出は、正規表現によるＨＴＭＬ構造のパターンマッチング等により行う。
【００４６】
但し、同手段は、正規表現中、任意文字列指定（図４の「．＊？」等）があった場合、当該指定部分に対応するページ内容８４にはリンクを示すタグ（図７のａタグ等）以外のタグの指定を含まないことを、パターン合致の条件としても良い。
【００４７】
例えば、構造パターン５２が『(<tr>.*?</tr>)+』を含み、ページ内容８４が、
『<table>
<tr><q></q></tr>
<tr><r></r></tr>
<tr>

</tr>
</table>』との記述部分を含む場合、パターン構造抽出手段２２はパターンの合致を検出しない。その理由は、当該部分が上記のようにｔｒタグ付け構造の繰り返しを含むとはいえ、その内部の構造（ｑタグ構造等）が異なる場合、構造は必ずしも類似していないからである。なお、ここで、ｑ、ｒ、ｓはリンクを示すタグでないものとする。
【００４８】
例えば、パターン構造抽出手段２２は、図７のページＩＤ８１＝１のページ内容８４と、図４の構造パターンＩＤ５１＝１の構造パターン５２のマッチングの結果、図７に示すａ、ｂおよびｃの３つのパターン構造を抽出する。なお、同手段は、図７のページＩＤ８１＝１のページ内容８４と、図４の構造パターンＩＤ５１＝２の構造パターン５２のマッチングも行うが、このときはパターン構造を抽出しない。
【００４９】
リンク判定手段２３は、処理中ページのページ内容８４から抽出されたパターン構造のおのおのからリンクのリンクアドレス９２を抽出し、リンク記憶部９０に格納する。次に、同手段は、通番の生成等を行ってリンクＩＤ９１に格納し、当該リンクが抽出されたパターン構造の合致構造パターンの構造パターンＩＤ５１を合致構造パターンＩＤ９４に格納する。更に同手段は、当該パターン構造が抽出されたページ内容８４のページＩＤ８１をページＩＤ９３に格納する（Ｓ３）。
【００５０】
このとき、リンク判定手段２３は、パターン構造や、当該パターン構造が合致した構造パターン５２の構造パターンＩＤ５１を、作業域２６経由等でパターン構造抽出手段２２から受け取る。また、当該リンクが抽出された部分が複数の構造パターン５２に合致した場合、リンク判定手段２３は、当該複数の構造パターン５２の構造パターンＩＤ５１を合致構造パターンＩＤ９４に格納する。
【００５１】
リンク判定手段２３は、例えば、図７のパターン構造ａ、ｂおよびｃからリンクのリンクアドレス９２を抽出し、図８のリンクＩＤ９１＝１、２および３の行の、リンクＩＤ９１、リンクアドレス９２、ページＩＤ９３、合致構造パターンＩＤ９４を設定する。なお、同部は、一つのパターン構造から複数のリンクアドレス９２を抽出することもある。
【００５２】
リンク判定手段２３は、リンク記憶部９０の各リンクアドレス９２が、リンクパターン記憶手段６０のリンクパターン６２のいずれかに合致するかを判定し、合致したリンクパターン６２のリンクパターンＩＤ６１の値を、合致リンクパターンＩＤ９５に格納する。合致しない場合、同手段は、合致リンクパターンＩＤ９５にＮＵＬＬを格納する（Ｓ４）。リンクアドレス９２が複数のリンクパターン６２に合致した場合、リンク判定手段２３は、当該複数のリンクパターン６２のリンクパターンＩＤ６１の値を、合致リンクパターンＩＤ９５に格納する。
【００５３】
リンク判定手段２３は、パターンの合致判定を、正規表現によるＨＴＭＬ構造のパターンマッチング等により行う。例えば、同手段は、図８のリンクＩＤ９１＝１のリンクアドレス９２と図５のリンクパターンＩＤ６１＝２のリンクパターン６２をマッチングさせて合致すると判定し、合致リンクパターンＩＤ９５に、リンクパターンＩＤ６１の値（２）を格納する。なお、同手段は、図８のリンクＩＤ９１＝１のリンクアドレス９２と図５のリンクパターンＩＤ６１＝１および３のリンクパターン６２とのマッチングも行うが、こちらは合致しないと判断する。
【００５４】
リンク元アドレス判定手段２１は、処理中ページのページアドレス８２のパターン判定を行う。同手段は、当該ページアドレス８２がアドレスパターン記憶手段４０のアドレスパターン４２のいずれかに合致するかを判定し、合致したアドレスパターン４２のアドレスパターンＩＤ４１の値を、ページ記憶部８０の合致アドレスパターンＩＤ８３に格納する。合致しない場合、同手段は、合致アドレスパターンＩＤ８３にＮＵＬＬを格納する（Ｓ５）。
【００５５】
ページアドレス８２が複数のアドレスパターン４２に合致した場合、リンク元アドレス判定手段２１は、当該複数のアドレスパターン４２のアドレスパターンＩＤ４１の値を、合致アドレスパターンＩＤ８３に格納する。
【００５６】
リンク元アドレス判定手段２１は、パターンの合致判定を、正規表現によるＨＴＭＬ構造のパターンマッチング等により行う。例えば、同手段は、図７のページＩＤ８１＝１のページアドレス８２と図３のアドレスパターンＩＤ４１＝２のアドレスパターン４２をマッチングさせて合致すると判定し、合致アドレスパターンＩＤ８３に、アドレスパターンＩＤ４１の値（２）を格納する。なお、同手段は、図８のページＩＤ８１＝１のページアドレス８２と図３のアドレスパターンＩＤ４１＝１のアドレスパターン４２とのマッチングも行うが、こちらは合致しないと判断する。
【００５７】
ページ記憶部８０に格納されている各ページを対象にＳ２乃至Ｓ５の処理完了後、類似判定装置１０は以下の処理を行う。
【００５８】
先ず、リンク先構造判定手段２４が、リンク記憶部９０に記憶されている各リンクアドレス９２について、当該アドレスが参照している対象ページ１３の構造が、リンク先パターン記憶手段７０のリンク先パターン７２のいずれかに合致するかを判定する。合致した場合、同手段は、合致したリンク先パターン７２のリンク先パターンＩＤ７１の値を、リンク記憶部９０の合致リンク先パターンＩＤ９６に格納する。合致しない場合、同手段は、合致リンク先パターンＩＤ９６にＮＵＬＬを格納する（Ｓ６）。
【００５９】
このとき、リンク先構造判定手段２４は、各リンクアドレス９２で参照されている対象ページ１３の構造記述を、インターネット等を経由して当該対象ページ１３にアクセスして取得する。図１０は、リンクアドレス９２で参照されている対象ページ１３の構造記述を例示する。これは、図８のリンクＩＤ９１＝１、２、３のリンクアドレス９２で参照される対象ページ１３（図１２のウェブページＡ１、Ａ２、Ａ３）の構造記述例である。
【００６０】
リンク先構造判定手段２４は、パターンの合致判定を、正規表現によるＨＴＭＬ構造のパターンマッチング等により行う。同手段は、例えば、取得した構造記述から、ＨＴＭＬの要素の属性と各要素に存在するテキスト、及び、テーブル等の繰り返し構造を削除し、残ったＨＴＭＬ要素群の文字列比較により、当該構造記述と構造パターン５２と比較してもよい。
【００６１】
具体的に、同手段は、例えば、図１０の各ページ構造記述と図６のリンク先パターンＩＤ７１＝１のリンク先パターン７２をマッチングさせて合致すると判定して、合致リンク先パターンＩＤ９６に、リンク先パターンＩＤ７１の値（１）を格納する。
【００６２】
最後に、類似判定手段２０は、ページ記憶部８０とリンク記憶部９０を参照して、リンクアドレス９２で参照されている対象ページ１３の類似判定を行う。同手段は、判定結果を端末１２に出力する（Ｓ７）。
【００６３】
ここで同手段は、リンク記憶部９０の全行を走査して、リンクアドレス９２を類似グループに分類する。同手段は、ページＩＤ９３と同じ値のページＩＤ８１に対応する合致アドレスパターンＩＤ８３、合致構造パターンＩＤ９４、合致リンクパターンＩＤ９５及び合致リンク先パターンＩＤ９６の各値が同じリンクアドレス９２同士を同じ類似グループに分類する。
【００６４】
但し、同手段は、あるリンクアドレス９２に対応する合致リンクパターンＩＤ９５、合致リンク先パターンＩＤ９６、合致アドレスパターンＩＤ８３等にＮＵＬＬが入っていた場合、当該リンクアドレス９２を何れの類似グループにも属さないと判断する。
【００６５】
同手段は、類似グループ毎に区切り記号やグループ通番等を付して、当該類似グループに属するリンクアドレス９２を端末１２に出力する。同手段は、所属するリンクアドレス９２の数が１である類似グループの出力は省略しても良い。
【００６６】
図８に例示したリンクＩＤ９１＝１乃至５のリンクアドレス９２は、上述の判定により、全て同一の類似グループに属すると判定される。
【００６７】
本実施形態の類似判定装置１０は、複数のリンク先ページの類似性を適切に判定する。その理由は、類似判定手段２０が構造パターン５２とリンクパターン６２に基づいて、対象ページ１３の類似性を判定するからである。即ち、類似判定装置１０は、リンク先ページのデータ構造の類似性を、リンク元ページのリンク周辺に於ける構造のパターン性、及びリンクのパターン性から判定するからである。
【００６８】
従って、本実施形態の類似判定装置１０は、例えば、対象ウェブページがプログラムで作成されており、ある一定の構造を持つ場合に効果を発揮する。また、同装置は、対象アプリケーションのページの構造が殆どなく、例えば、ＨＴＭＬの要素の下にbody要素のみが存在する場合にも適切な判定を行う。
【００６９】
更に、本実施の形態の類似判定装置１０は、リンク元ページのリンク周辺に於ける構文要素の構造のパターン性を適切に記述することを可能にする。その第１の理由は、パターン構造抽出手段２２およびリンク判定手段２３が、ＨＴＭＬの正規表現で記述された構造パターン記憶手段５０に基づいてパターン構造を抽出し、当該部分からリンクを抽出するからである。その第２の理由は、パターン構造抽出手段２２が、構造定義を包含しない任意文字列指定を用いたパターン定義を可能とするからである。
【００７０】
更に、本実施の形態の類似判定装置１０は、複数のリンク元ページからリンクされる対象ページ１３の類似性を適切に判定することが出来る。その理由は、リンク判定手段２３が複数のページからリンクを抽出して、類似判定手段２０が当該複数のリンク元ページのアドレスのパターン性にも基づいて、リンク先ページの類似性を判定するからである。
【００７１】
図１１は、本発明の第２の実施形態に係る類似判定システム１４の全体構成を示す。本実施形態の類似判定装置１０は、第１の実施形態に係る類似判定装置１０と比較すると、リンク元アドレス判定手段２１とアドレスパターン記憶手段４０を備えない。また、図７に示されるページ記憶部８０は、合致アドレスパターンＩＤ８３を包含しない。同装置は、図９のＳ５を実行しない。
【００７２】
従って、本実施形態の類似判定手段２０は、リンクアドレス９２を類似グループに分類する際（図９のＳ７）に、ページＩＤ９３と同じ値のページＩＤ８１に対応する合致アドレスパターンＩＤ８３は参照しない。同手段は、合致構造パターンＩＤ９４、合致リンクパターンＩＤ９５および合致リンク先パターンＩＤ９６の値が一致するリンクアドレス９２を同じ類似グループに分類する。
【００７３】
本実施形態の類似判定装置１０は、それ以外の点は第１の実施形態の類似判定装置１０と同じである。
【００７４】
本実施形態の類似判定装置１０は、簡易に構成できる。その理由は、同装置がリンク元アドレス判定手段２１とアドレスパターン記憶手段４０を備えないからである。本実施形態の類似判定装置１０は、リンク元ページが単一である場合や、複数のリンク元ページが類似していることが、外部要因により予め分かっている場合に有効である。
【００７５】
本発明の第３の実施形態に係る類似判定装置１０は、第２の実施形態に係る類似判定装置１０と比較すると、リンク先構造判定手段２４とリンク先パターン記憶手段７０を備えない。また、図８に示されるリンク記憶部９０は、合致リンク先パターンＩＤ９６を包含しない。同装置は、図９のＳ６を実行しない。
【００７６】
従って、本実施形態の類似判定手段２０は、リンクアドレス９２を類似グループに分類する際に、合致リンク先パターンＩＤ９６を参照しない。同手段は、合致構造パターンＩＤ９４および合致リンクパターンＩＤ９５の値が一致するリンクアドレス９２を同じ類似グループに分類する。
【００７７】
本実施形態の類似判定装置１０は、それ以外の点は第２の実施形態の類似判定装置１０と同じである。
【００７８】
本実施形態の類似判定装置１０は、簡易に構成できる。その理由は、同装置がリンク先構造判定手段２４とリンク先パターン記憶手段７０を備えないからである。本実施形態の類似判定装置１０は、ページの要素が少ないときやに効果を発揮する。
【００７９】
図１２は、以上で説明した実施形態における類似判定装置１０の基本的構成を示す。同装置は、構造パターン記憶手段５０、リンクパターン記憶手段６０、パターン構造抽出手段２２、リンク判定手段２３、および、類似判定手段２０を備える。構造パターン記憶手段５０は、リンク元ページのパターンを格納する。リンクパターン記憶手段６０はリンクアドレス９２のパターンを格納する。パターン構造抽出手段２２は、入力されたリンク元ページから、構造パターン記憶手段５０に登録されたパターンの何れかに合致する部分を抽出する。リンク判定手段２３は、当該部分からリンク先ページへのリンクアドレス９２を抽出して、合致するリンクパターン記憶手段６０に登録されたパターン（合致リンクパターン９５）を判定する。類似判定手段２０は、当該部分が合致したパターンと合致リンクパターン９５が同じリンクアドレス９２のおのおので参照される複数のリンク先ページから類似ページを選択して、類似ページのページ識別子群を出力する。
【００８０】
本実施の形態の類似判定装置１０は、ページの要素が少ないとき等でも、複数のページの類似性を適切に判定する。その理由は、類似判定手段２０が構造パターン５２とリンクパターン６２に基づいて、対象ページ１３の類似性を判定するからである。
【符号の説明】
【００８１】
１０    類似判定装置
１１    コンピュータ
１２    端末
１３    対象ページ
１４    類似判定システム
２０    類似判定手段
２１    リンク元アドレス判定手段
２２    パターン構造抽出手段
２３    リンク判定手段
２４    リンク先構造判定手段
２５    メモリ
２６    作業域
２９    類似判定プログラム
４０    アドレスパターン記憶手段
４１    アドレスパターンＩＤ
４２    アドレスパターン
５０    構造パターン記憶手段
５１    構造パターンＩＤ
５２    構造パターン
６０    リンクパターン記憶手段
６１    リンクパターンＩＤ
６２    リンクパターン
７０    リンク先パターン記憶手段
７１    リンク先パターンＩＤ
７２    リンク先パターン
８０    ページ記憶部
８１    ページＩＤ
８２    ページアドレス
８３    合致アドレスパターンＩＤ
８４    ページ内容
９０    リンク記憶部
９１    リンクＩＤ
９２    リンクアドレス
９３    ページＩＤ
９４    合致構造パターンＩＤ
９５    合致リンクパターンＩＤ
９６    合致リンク先パターンＩＤ
【図１】
2011053912.tif 000003
【図２】
2011053912.tif 000004
【図３】
2011053912.tif 000005
【図４】
2011053912.tif 000006
【図５】
2011053912.tif 000007
【図６】
2011053912.tif 000008
【図７】
2011053912.tif 000009
【図８】
2011053912.tif 000010
【図９】
2011053912.tif 000011
【図１０】
2011053912.tif 000012
【図１１】
2011053912.tif 000013
【図１２】
2011053912.tif 000014