"Web上の情報から類似しているWebページを検出する類似ページ検出装置であって、Webページの情報が格納されたWebページ情報データベースと、前記Webページ情報データベース内のWebページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出し、前記抽出された選別語の数が、設定された選別語しきい値よりも大である場合は当該抽出された選別語群のハッシュ値を計算し、前記選別語の数が前記選別語しきい値よりも小さい場合であって、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するハッシュ計算手段と、前記計算されたハッシュ値と、当該ページのURL、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報とを組として記録するハッシュ記録手段と、前記ハッシュ記録手段に記録された情報に基づいて、同一ハッシュ値を持つページ群をまとめて、類似ページ群を検出するハッシュ集約手段と、を備えたことを特徴とする類似ページ検出装置。Web上の情報から類似しているWebページを検出する類似ページ検出方法であって、ハッシュ計算手段が、Webページの情報が格納されたWebページ情報データベース内のWebページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出するステップと、前記抽出された選別語の数が、設定された選別語しきい値よりも大である場合は当該抽出された選別語群のハッシュ値を計算するステップと、前記選別語の数が前記選別語しきい値よりも小さい場合であって、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するステップと、前記計算されたハッシュ値と、当該ページのURL、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報とを組としてハッシュ記録手段に記録するステップと、ハッシュ集約手段が、前記ハッシュ記録手段に記録された情報に基づいて、同一ハッシュ値を持つページ群をまとめて、類似ページ群を検出するハッシュ集約ステップと、を備えたことを特徴とする類似ページ検出方法。コンピュータを請求項1に記載の各手段として機能させる類似ページ検出プログラム。非特許文献1では、文単位で類似ページを検出することで、包含関係、一部重複、同一などを判定しているが、これは基本的には文単位で内容が一致している場合のみ検出ができる。発明者らは、大量のWebページに記載されている情報の中で、類似しているページを整理しておくことで、様々な情報処理を効率よく行えると考えている。特に、Web情報を検索するといった利用例を考えた場合、ある単語で検索した結果では、類似した概要文となるページがある場合は、まとまっていた方が便利である。この類似とは、完全に同一な文ではなく、ある程度似ている場合も類似と扱われていることが望ましいと考えられる。その観点では、前述の非特許文献1に記載の手法では、基本的には同一内容の場合のみ類似として扱われるため、不十分であるといえる。本発明は上記課題を解決するものであり、その目的は、記載内容が類似しているWebページを検出することで、大量の情報の整理や統合を効率的に行える類似ページ検出装置、方法、プログラムを提供することにある。本発明では、類似ページを検出するために、文単位かつ文を構成する上で特徴となるであろう単語を抽出し、その単語列を基にハッシュ異なるデータである場合は異なった値となることが保証される値変換方式:MD5,SHA256などを計算する。この値が同じ場合は類似している文が含まれている、ということで、記述内容が類似しているページ群を検出することができる。文を構成する上で、特徴となる単語は、名詞や形容詞語幹、動詞語幹等が挙げられる。これは、語尾などの活用する部分は、言い替えなどで多様性が考えられるが、類似しているかという判断の場合、重視する度合いは低いと考えられるからである。ここで、特徴となる単語のことを選別語とする。また、文は長さがまちまちであることは自然なことであるが、基本的には、長い文からは上記選別語が多く抽出でき、短い文は少なくなる。特に、選別語が一個だった場合は数多くのページに類似文が現れるであろうことは容易に予想できる。これは、類似ページを見つける計算を行う上でも無駄となるため、選別語が任意の個数より少ない場合はハッシュを計算しないことで類似判定処理の回数が減り、結果、処理が高速になると考えられる。ただし、選別語の種類、特に名詞に関しては、その意味により重視の度合いが違うと考えられる。特に情報検索を考えた場合、たくさんの文書に現れるような一般名詞よりも、専門分野でよく使われるような単語や人物製品に関する名前といった固有名詞の方が重要である。この重要性を反映するために、先の選別語において、固有名詞が出現しない、かつ、任意の個数選別語しきい値とするより少ない場合はハッシュの計算を行わず、固有名詞が含まれる場合には、後続する文の選別語も加えたものからハッシュを計算することとする。これは、利用例として挙げた情報検索においては、提示される概要文は一文とは限らず、ある程度の長さを持つ。よって、固有名詞が含まれているが短い文であった場合は、この任意の長さ文長しきい値とするの範囲内で、後続の文の選別語も加味することで、類似ページの取りこぼしを防ぐ。以上の方法でページに含まれている文毎にハッシュを計算し、同一のハッシュ値を持つページ群を取りまとめることで、類似ページの情報を効率よく取得することができる。本発明の類似ページ検出装置は、Web上の情報から類似しているWebページを検出する類似ページ検出装置であって、Webページの情報が格納されたWebページ情報データベースと、前記Webページ情報データベース内のWebページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出し、前記抽出された選別語の数が、設定された選別語しきい値よりも大である場合は当該抽出された選別語群のハッシュ値を計算し、前記選別語の数が前記選別語しきい値よりも小さい場合であって、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するハッシュ計算手段と、前記計算されたハッシュ値と、当該ページのURL、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報とを組として記録するハッシュ記録手段と、前記ハッシュ記録手段に記録された情報に基づいて、同一ハッシュ値を持つページ群をまとめて、類似ページ群を検出するハッシュ集約手段と、を備えたことを特徴としている。本発明によれば、類似ページ群の検出を効率よく行なうことができ、これによって大量の情報の整理や統合を効率的に行なうことが可能となる。また、固有名詞が含まれているが短い文であった場合に、類似ページの取りこぼしを防ぐことができる。以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図1は本発明の実施形態例における類似ページ検出装置100の構成を示している。図2~図5は本発明の類似ページ検出方法の実施形態例におけるハッシュ計算処理の流れを示すフローチャート、図6は本実施形態例におけるハッシュ集約処理の流れを示すフローチャートである。図1において、110は、例えば図7に示すWebページの情報が格納されたWebページ情報データベースである。120は、前記Webページ情報データベース110内のWebページ情報を取り出して、各ページの各文毎に形態素解析を行い、文を構成する上で特徴となる単語を表す選別語を抽出し、該抽出された選別語の数に応じて後述する図2~図5のハッシュ計算処理を行なうハッシュ計算手段としてのハッシュ計算装置である。130は、重要度の高い固有名詞や、重要語として扱いたい単語、長めの単語列などが格納された重要語データベースである。140は、ハッシュ計算装置120により抽出された選別語群に重要語が含まれており、且つその原文の長さが予め設定した文長しきい値を超えていないときに、文中の必要な品詞又は重要語と原文がハッシュ計算装置120によって登録される重要語一時記録装置である。150は、前記ハッシュ計算装置120によって計算されたハッシュ値と、当該ページのURL、そのページの何文目かを示す文番号および当該文に重要語が有るか無いかの情報との組が、ハッシュ計算装置120によってページ単位で記録されるページ単位ハッシュ一時記録装置である。160は、ページ単位ハッシュ一時記録装置150の記録内容が、1ページ毎にハッシュ計算装置120によって転送され記録されるハッシュ記録装置である。この際、ハッシュ計算装置120は、ページ単位ハッシュ一時記録装置150内のハッシュ値をページ単位で整理し、同一ハッシュ値を持つ文がある場合は、文書の先頭に近い方のみをハッシュ記録装置160に登録し、全て異なるハッシュ値が記録されている場合はそのまま転送してハッシュ記録装置160に記録する。前記ページ単位ハッシュ一時記録装置150およびハッシュ記録装置160によって本発明のハッシュ記録手段を構成している。170は、ハッシュ記録装置160に記録された情報について、同一ハッシュ値を持つWebページをまとめて、類似ページ群を検出し、類似ページ群記録装置180へ記録する、ハッシュ集約手段としてのハッシュ集約装置である。本実施形態例の類似ページ検出装置100は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばROM,RAM,CPU、入力装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。このハードウェアリソースとソフトウェアリソースOS、アプリケーションなどとの協働の結果、類似ページ検出装置100は、図1に示すように、Webページ情報データベース110、ハッシュ計算装置120、重要語データベース130、重要語一時記録装置140、ページ単位ハッシュ一時記録装置150、ハッシュ記録装置160、ハッシュ集約装置170および類似ページ群記録装置180を実装する。前記Webページ情報データベース110、重要語データベース130、重要語一時記録装置140、ページ単位ハッシュ一時記録装置150、ハッシュ記録装置160および類似ページ群記録装置180は、ハードディスクあるいはRAMなどの保存手段記憶手段に構築されているものとする。尚、Webページ情報データベース110は、実装せず外部設置とし、ネットワークを介して接続するように構成してもよい。図2はハッシュ計算装置120が行う処理を表し、ステップS1ではWebページを全部読み出したか否かを判定し、判定結果がNoの場合、ステップS2においてWebページ情報データベース110から1ページ分の情報を読み出し、ステップS3において次の文はあるか否かを判定し、有る場合はステップS4において、1文毎に単語の品詞情報を検査し、必要な品詞、もしくは重要語であれば選別語群として重要語一時記録装置140に記録する。重要語一次記録装置140に選別語が記録されている場合は、記録内容に選別語を追加する。ステップS5では、選別語が選別語しきい値よりも多いか少ないかを判定する。図3のステップS6は、図2のステップS5の判定の結果、選別語が選別語しきい値よりも多い場合と、後述する選別語の統合により原文の長さが文長しきい値を超えた場合に図4のステップS10,S12の処理の後に、ハッシュ計算装置120が、選別語を整列させて、ハッシュ値を計算し、ページ単位ハッシュ一時記録装置150へ登録し、重要語一時記録装置140をクリアする処理を示している。図4は、図2のステップS5の判定の結果、選別語が選別語しきい値より少ない場合に、ハッシュ計算装置120が行う処理を表し、ステップS7では選別語群に重要語が含まれているか否かを判定し、含まれている場合はステップS10において、原文の長さは文長しきい値を超えているか否かを判定し、超えていない場合はステップS11において選別語を重要語一時記録装置140へ登録し、超えている場合はステップS12において重要語一時記録装置140をクリアする。図5は、図2のステップS3の判定の結果、次の文が無いと判定された場合にハッシュ計算装置120が行なう処理を表し、ステップS8では、ページ単位ハッシュ一時記録装置150の記録内容に対して、ページ単位でハッシュ値の整理を行い、同一ハッシュ値を持つ文がある場合は、文書の先頭に近い方のみをハッシュ記録装置160に登録し、ステップS9ではページ単位ハッシュ一時記録装置150をクリアする。図6は、図2のステップS1の判定結果がYesであるWebページを全部読み出した場合にハッシュ集約装置170が行なう処理を表し、ステップS13では、ハッシュ記録装置160に記録された情報について、同一ハッシュ値を持つWebページをまとめ、類似ページ群記録装置180へ記録し、処理を終了する。次に、上記のように構成された装置の詳細を説明する。ハッシュ計算装置120は、Webページの情報をWebページ情報データベース110から取り出し、各文毎に処理を行う。文毎に形態素解析を行い、選別語として別途設定しておいた品詞となった語を抽出する。本実施例では選別語の対象を一般名詞、動詞語幹、形容詞語幹、重要語とする。また、選別語しきい値を3、文長しきい値を30文字とする。重要語は、一般的には、利用する形態素解析器のユーザ辞書機能を利用する。重要語として扱いたい単語や長めの単語列などを重要語データベース130として追加して形態素解析に反映されるようにする。表3に示すような、一般的にはヨツハシ/カメラと分割される単語をヨツハシカメラと登録しておくことで、一つの重要語として扱えるようにする。また、カタカナ語やアルファベット語を重要語に類する単語として扱う機能を持つ形態素解析器を用いてもよい。もしくは、形態素解析を行った結果に対して、重要語データベース130のエントリが含まれていた場合は、その単語を重要語として扱う処理を追加してもよい。以下、具体的な処理の流れを図2~図6を参照しながら説明する。まず図7aに示すページの1文目として、TITLEである今日は誕生日に対して、ハッシュ計算装置120が形態素解析処理を行い、今日一般名詞/は助詞/誕生日一般名詞という結果を得る図2のステップS1~S4。一文目からは、今日/誕生日という選別語群を得るが、選別語しきい値の数に満たず、重要語も含まれないので、ハッシュ値は計算されないことになる図2のステップS5,図4のステップS7。次に、2文目であるPS3を誕生日プレゼントにもらった。を同様に処理する。形態素解析により、PS3重要語/を助詞/誕生日一般名詞/プレゼント一般名詞/に助詞/もら動詞語幹/っ動詞活用/た助動詞/。文末が得られ、PS3/誕生日/プレゼント/もらが選別語群となる図2のステップS3,S4。選別語の数が選別語しきい値より多いため、この選別語群を辞書順で整列させ、ハッシュ値を計算する図2のステップS5,図3のステップS6。ここでは、ハッシュ計算手法としてMD5を用いることとする。ハッシュ値として、1234567890を得る。この選別語群には、重要語が含まれるが、選別語しきい値より多かったため、重要語一時記録装置140へは登録されない。結果として、ハッシュ値、URL、何文目かを示す文番号と重要語の有無を表す数値を組として、ページ単位ハッシュ一時記録装置150に記録する。次に、3文目であるとても嬉しい。を同様に処理する図2のステップS3,S4。形態素解析により、とても副詞/嬉し形容詞語幹/い活用語尾/。文末が得られ、嬉しが選別語群となるが、選別語しきい値よりも少なく、重要語も含まれないため、ハッシュ値は計算されない図2のステップS5,図4のステップS7。次に、4文目である早速、近所のヨツバシカメラへ行ってtorunenを購入して、色々と設定、繋げて、今日の映画特集を録画してみた。を同様に処理する。形態素解析により、早速副詞/、/近所一般名詞/の助詞/ヨツバシカメラ重要語/へ助詞/行動詞語幹/っ動詞活用/て活用語尾/torunen重要語/を助詞/購入動詞語幹/し動詞語幹/て活用語尾/、読点/色々副詞/と助詞/設定動詞語幹/、読点/繋げ動詞語幹/て活用語尾/、読点/今日一般名詞/の助詞/映画一般名詞/特集一般名詞/を助詞/録画動詞語幹/し動詞語幹/て活用語尾/み動詞語幹/た活用語尾/。文末が得られ、近所/ヨツバシカメラ/行/torunen/購入/し/設定/繋げ/今日/映画/特集/録画/し/みが選別語群となる図2のステップS3,S4。選別語の数が選別語しきい値より多いため、この選別語群を辞書順で整列させ、ハッシュ値を計算し、0987654321を得る図2のステップS5,図3のステップS6。この選別語群には、重要語が含まれるが、選別語しきい値より多かったため、重要語一時記録装置140へは登録されず、ハッシュ値、URL、何文目かを示す文番号と重要語の有無を表す数値を組として、ページ単位ハッシュ一時記録装置150に記録する。上記で、1ページ図7aに示すページ分のハッシュ値計算が完了することになる図2のステップS3の判定結果が無となるので、図5のステップS8において、このハッシュ値をまとめる。ページ単位ハッシュ一時記録装置150には、すべて異なるハッシュ値が記録されているので、このままハッシュ記録装置160へ転送される。そして図5のステップS9において、ハッシュ計算装置120がページ単位ハッシュ一時記録装置150をクリアする。次のページ図7bに示すページも同様に処理する。1文目として、TITLEである誕生日おめでとうに対してハッシュ計算装置120が形態素解析処理を行い図2のステップS1~S4、誕生日一般名詞/おめでとう定型詞/感嘆詞という結果を得る。一文目からは、誕生日という選別語群を得るが、選別語しきい値の数に満たず、重要語も含まれないので、ハッシュ値は計算されないことになる図2のステップS5,図4のステップS7。次に、2文目であるusr1さん、おめでとうを同様に処理する。形態素解析により、usr1重要語/さん一般名詞/、読点/おめでとう定型詞/感嘆詞が得られ、usr1/さんが選別語群となる図2のS3,S4。選別語の数が選別語しきい値より少ないのでハッシュ値は計算されないが、重要語を含み図2のステップS5,図4のステップS7、且つ2文目の原文長が文長しきい値の30文字を超えていないため、重要語一時記録装置140に選別語群であるusr1/さんと原文の長さである13文字を記録する。次に、3文目である>PS3を誕生日プレゼントにもらった。を同様に処理する。形態素解析により、>記号/空白/PS3重要語/を助詞/誕生日一般名詞/プレゼント一般名詞/に助詞/もら動詞語幹/っ動詞活用/た助動詞/。文末が得られ、PS3/誕生日/プレゼント/もらが選別語群となる図2のステップS3,S4。選別語の数が選別語しきい値より多いため、この選別語群を辞書順で整列させ、ハッシュ値を計算して1234567890を得る。続けて、重要語一時記録装置140には、2文目から抽出された選別語群が登録されているので、ハッシュ計算装置120は、2文目と3文目から抽出された選別語を統合する。この時、2文目の選別語数が選別語しきい値より少なく且つ重要語を含んでいることから、図2のステップS5,図4のステップS7が実行され、そして原文の長さが、2文目の13文字に3文目の20文字が加えられて文長しきい値である30文字を超えるので、図4のステップS10の判定結果がYesとなる。そこで図4のステップS12において重要語一時記録装置140をクリアした後、図3のステップS6において、別途前記統合された選別語群を辞書順に整列させ、ハッシュ値を計算して、ページ単位ハッシュ一時記録装置150に記録する。以下、同様な処理を行った後の、ハッシュ記録装置160の内容を表1に示す。すべてのページに対してハッシュ計算の処理を行った後、図6のステップS13においてハッシュ集約装置170がハッシュ集約処理を行う。ここでは、ハッシュ記録装置160に記録されたハッシュ値を基に、同じハッシュ値を持つレコードをまとめていく。この処理は、全体の量が少ない場合は、ハッシュ値を基にソートで整列を行い、同値のものをまとめることになる。全体の量が多い場合は、MapReduceといった分散処理ソフトウェアを使えば同じハッシュ値を持つページ群をまとめることができる。最後に、URL毎に整理を行い、類似ページ群記録装置180に出力し記録する。表2に本実施例における出力結果例を示す。以上のように本実施形態例によれば、Webページ間の類似度を、当該ページの文から抽出した複数の特徴となる単語選別語についてのハッシュ値に基づいて判断することにより、完全一致でないページ同士についても類似しているものとして整理、記録することができる。また、選別語の数が前記選別語しきい値よりも小さい場合であっても、固有名詞からなる重要語が存在し且つ原文の長さが設定した文長しきい値を超えていないときは、当該文およびその次の文を統合した文から抽出した選別語群のハッシュ値を計算するので、重要語が含まれているが短い文である場合に、類似ページの取りこぼしを防ぐことができる。尚、図1のWebページ情報データベース110にはHTMLデータそのものを蓄積しておき、別途、本文抽出、文区切り、形態素解析などを行なうページ解析処理装置を追加して構成しても良い。また、本実施形態の類似ページ検出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の類似ページ検出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばFDFloppy登録商標Diskや、MOMagneto-Opticaldisk、ROMReadOnlyMemory、メモリカード、CDCompactDisk-ROM、DVDDigitalVersatileDisk-ROM、CD-R、CD-RW、HDD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。"