(57)【要約】      （修正有）【課題】本発明は、構造の類似するウェブページを簡単に収集することができる類似構造ファイル収集装置とその収集方法等を提供することを目的とする。【解決手段】本発明は、複数のウェブページ情報を対象とし、記述されたそれぞれのテキストデータから所定文字数の文字列を抽出し、その出現頻度をカウントする出現頻度調査手段１４と、すべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントする文字数カウント手段１６と、各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって複数のウェブページ情報群に分ける分割管理手段１７と、この複数のウェブページ情報群の中から母数が少ないウェブページ情報群をノイズクラスタとして除去するノイズクラスタ除去手段２２を備えたことを特徴とする。【選択図】        図１
2004310360.tif 000002
【特許請求の範囲】
【請求項１】
複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出し、その出現頻度をカウントする出現頻度調査手段と、
前記出現頻度調査手段がカウントしたすべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントする文字数カウント手段と、
各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって、対象の全ウェブページ情報を複数のウェブページ情報群に分ける分割管理手段と、
前記分割管理手段によって分けられた複数のウェブページ情報群の中から母数が少ないウェブページ情報群をノイズクラスタとして除去するノイズクラスタ除去手段を備え、
複数のウェブページ情報の中から類似構造のウェブページ情報を抽出することを特徴とする類似構造ファイル収集装置。
【請求項２】
文字列を抽出するときの所定の文字数と、高頻出文字列として評価するための所定の割合とが、それぞれ、ウェブページ情報の頻出部分と非頻出部分との境界の数が初期値の近くで局所的に極小となるときの文字数と割合であることを特徴とする請求項１記載の類似構造ファイル収集装置。
【請求項３】
前記分割管理手段が、対象の全ウェブページ情報を統合処理手段によって部分的に仮統合し、分割評価演算手段によって同一クラスタにする指標としての分割評価値を計算し、該分割評価値と基準値との差が閾値を越えるまで前記統合処理手段がウェブページ情報群を統合し、全ウェブページ情報が複数のウェブページ情報群にまとめられることを特徴とする請求項１または２記載の類似構造ファイル収集装置。
【請求項４】
前記分割評価値が、各ウェブページ情報群の高頻度文字数の分散と要素数の積の総和と、該全ウェブページ情報の高頻度文字数の分散と全要素数の積との比であることを特徴とする請求項３記載の類似構造ファイル収集装置。
【請求項５】
前記ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群の高頻度文字数の分散をそれぞれの要素数で割った値を求め、該値が閾値より大きいウェブページ情報群を除去することを特徴とする請求項１〜４のいずれかに記載の類似構造ファイル収集装置。
【請求項６】
前記ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群のそれぞれの母数を全ウェブページ情報の母数で割った値を求め、該値が閾値より小さいウェブページ情報群を除去することを特徴とする請求項１〜４のいずれかに記載の類似構造ファイル収集装置。
【請求項７】
請求項１〜６のいずれかに記載の類似構造ファイル収集装置において、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出するのに代えて、複数の塩基配列情報を対象とし、アデニン、グアニン、チミン、シトシンを表すテキスト表記の配列データから所定の文字数の文字列を抽出することを特徴とする類似構造ファイル収集装置。
【請求項８】
コンピュータに、
複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出し、その出現頻度をカウントする出現頻度調査手段、
前記出現頻度調査手段がカウントしたすべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントする文字数カウント手段、
各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって、対象の全ウェブページ情報を複数のウェブページ情報群に分ける分割管理手段、
前記分割管理手段によって分けられた複数のウェブページ情報群の中から母数が少ないウェブページ情報群をノイズクラスタとして除去するノイズクラスタ除去手段として機能させるためのプログラムであって、
複数のウェブページ情報の中から類似構造のウェブページ情報を抽出することを特徴とするプログラム。
【請求項９】
ウェブページ情報の頻出部分と非頻出部分との境界の数が初期値の近くで局所的に極小となるときの文字数と割合を前記所定の文字数と前記所定の割合として決定するパラメータ決定手段が設けられたことを特徴とする請求項８記載のプログラム。
【請求項１０】
同一クラスタに構成する指標としての分割評価値を計算する分割評価演算手段、前記分割評価値と基準値との差がすべてのウェブページ情報群で閾値を越えるまで統合する統合処理手段、全ウェブページ情報を複数のウェブページ情報群に分ける分割管理手段が設けられたことを特徴とする請求項８または９記載のプログラム。
【請求項１１】
前記分割評価値が、各クラスタの高頻度文字数の分散と要素数の積の総和と、該全ウェブページ情報の高頻度文字数の分散と全要素数の積との比であることを特徴とする請求項１０記載のプログラム。
【請求項１２】
前記ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群の分散をそれぞれの要素数で割った値を求め、該値が閾値より大きいウェブページ情報群を除去することを特徴とする請求項８〜１１のいずれかに記載のプログラム。
【請求項１３】
前記ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群のそれぞれの母数を全ウェブページ情報の母数で割った値を求め、該値が閾値より小さいウェブページ情報群を除去することを特徴とする請求項８〜１２のいずれかに記載のプログラム。
【請求項１４】
請求項８〜１３のいずれかに記載のプログラムにおいて、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出するのに代えて、複数の塩基配列情報を対象とし、アデニン、グアニン、チミン、シトシンを表すテキスト表記の配列データから所定の文字数の文字列を抽出することを特徴とするプログラム。
【請求項１５】
請求項８〜１４のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１６】
複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出し、その出現頻度をカウントするとともに、カウントされたすべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントし、各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって、対象の全ウェブページ情報を複数のウェブページ情報群に分け、母数が少ないウェブページ情報群をノイズクラスタとして除去し、複数のウェブページ情報の中から類似構造のウェブページ情報を抽出することを特徴とする類似構造ファイル収集方法。
【請求項１７】
ウェブページ情報の頻出部分と非頻出部分との境界の数が初期値の近くで局所的に極小となるときの文字数と割合を前記所定の文字数と前記所定の割合として決定し、該文字数と出現頻度でカウントされることを特徴とする請求項１６記載の類似構造ファイル収集方法。
【請求項１８】
対象の全ウェブページ情報を部分的に仮統合し、同一クラスタに構成する指標としての分割評価値を計算し、該分割評価値と基準値との差がすべてのウェブページ情報群で閾値を越えるまでウェブページ情報群を統合することを特徴とする請求項１７記載の類似構造ファイル収集方法。
【請求項１９】
複数にまとめられた各ウェブページ情報群の高頻度文字数の分散をそれぞれの要素数で割った値を求め、該値が閾値より大きいウェブページ情報群を除去することを特徴とする請求項１６〜１８のいずれかに記載の類似構造ファイル収集方法。
【請求項２０】
各ウェブページ情報群のそれぞれの母数を全ウェブページ情報の母数で割った値を求め、該値が閾値より小さいウェブページ情報群をノイズクラスタとして除去することを特徴とする請求項１６〜１９のいずれかに記載の類似構造ファイル収集方法。
【請求項２１】
請求項１６〜２０のいずれかに記載の類似構造ファイル収集方法において、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出するのに代えて、複数の塩基配列情報を対象とし、アデニン、グアニン、チミン、シトシンを表すテキスト表記の配列データから所定の文字数の文字列を抽出することを特徴とする類似構造ファイル収集方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、構造の類似するウェブページ情報や塩基配列の情報を簡単に収集することができる類似構造ファイル収集装置とそのために使用するプログラム、記憶媒体、及び類似構造ファイル収集方法に関する。
【０００２】
【従来の技術】
ウェブ上には、ＨＴＭＬやＸＭＬ等で記述された多種多様のウェブページや、メール，ニュース等のアーカイブなど、マークアップ言語で記述されたテキストデータが大量に存在している。そしてこれらのテキストデータには同種の情報を繰り返して記述するものが多数存在する。例えば、オークションのリストは１つのウェブページ中に商品に関するデータ（製品名、型番、購入日、傷の有無、保証書の有無など）が繰り返し表示される。また、新聞や株式に関するウェブサイト等では、分野や発刊日時、企業名等によって整理された記事や経済情報が整然とそれぞれ同一形式で表示されている。こうした情報は、共通のキーワードによって検索エンジンで探し、ブラウザで閲覧して要不要の判断を行い、情報同士を組み合わせることなど利用の仕方を工夫すれば、データベースのような使い方が可能になる。
【０００３】
現在、こうした目的のためウェブサイトの情報を構造化し、属性名のない表形式のデータに変換する研究がすすめられている（非特許文献１）。これは、表計算ソフトで作ったような行列配置の純然たる表ではないが、同様の構造で１つの表情報として認められるデータに変換するものである。このような表情報は、構造化されることにより、ある表情報の列が他の表情報のどの列に対応するか等が判断可能になり、複数のウェブサイト間の情報を統合していわばデータベースのようなものを構築することができる。
【０００４】
また、以上説明したウェブページとはまったく別の情報になるが、遺伝子工学の進展で遺伝子の解読がすすみ、現在多くの遺伝子の塩基配列情報が得られるようになってきている。この塩基配列データの中から類似した配列構造を簡単に抽出することができれば、遺伝子異常の発見や臓器形成、移植等の医療、その他の人類学的研究の発展に繋がり、様々の分野で大きな寄与が期待できる。例えば、ＳＮＰｓ（ｓｉｎｇｌｅ  ｎｕｃｌｅｏｔｉｄｅ  ｐｏｌｙｍｏｒｐｈｉｓｍ）は遺伝子における１塩基の違いの総称であるが、遺伝病や発癌の発症予測ができる可能性があるため、現在このＳＮＰｓに注目が集まっている。このＳＮＰｓのような塩基配列情報間で類似構造の塩基配列情報を容易に抽出することができれば、上述の各分野に有力なツールを提供することができ、また遺伝子情報の解析が一段と加速されることになる。
【０００５】
しかし、上述のデータベース構築や塩基配列情報の分析に当って最大の問題は、収集したウェブページや塩基配列情報に混入する無関係のノイズとなる情報である。ウェブページをデータベース化するには構造的な類似性が必要であるが、収集したウェブページには類似性の乏しいもののほか、広告やナビゲーションのためのリンクも記述されており、これらの記述がノイズとなる可能性もある。また、塩基配列情報でも無関係の部位の配列情報はノイズとなる。完全にノイズを除去するのは難しいが、できるだけノイズを減らさなければならない。この方法としては、現在のところマニュアルで行うクリーニングしかない。従って、データベースの構築、あるいは類似した塩基配列情報の抽出を自動化するためには、構造的に類似した情報を抽出し、ノイズを排除する必要がある。
【０００６】
このような課題に対して、本発明者は以前、手掛かりとなり得る研究を行っている。すなわち、本発明者は他の研究者とともに、ウェブページのコンテンツ部分を見分ける手法として、複数のファイルで共通に頻繁に出現する頻出部分をそれ以外の非頻出部分から分ける方法を提案した（非特許文献２）。これは、ファイル全体で所定長さ（ｎ個）の部分文字列がどれだけ出現したかの出現回数をカウントし、頻度が上位ａ％に含まれるのものを頻出部分として分離するものである。
【０００７】
【非特許文献１】
山田，池田，廣川共著，「Ｗｅｂ上の多言語テキストデータからのラッパー自動生成（Ａｕｔｏｍａｔｉｃ  Ｗｒａｐｐｅｒ  Ｇｅｎｅｒａｔｉｏｎ  ｆｏｒ  Ｍｕｌｔｉｌｉｎｇｕａｌ  Ｗｅｂ  Ｒｅｓｏｕｒｃｅｓ）」，Ｐｒｏｃ．  ｏｆ  ｔｈｅ  ５ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄｉｓｃｏｖｅｒｙ  Ｓｃｉｅｎｃｅ，Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ（ドイツ国），シュプリンガー（Ｓｐｒｉｎｇｅｒ），２００２年１１月２４日，第２５３４巻，ｐ．３３２−３３９
【非特許文献２】
池田，山田，廣川「Ｅｌｉｍｉｎａｔｉｎｇ  Ｕｓｅｌｅｓｓ  Ｐａｒｔｓ  ｉｎ  Ｓｅｍｉ−ｓｔｒｕｃｔｕｒｅｄ  Ｄｏｃｕｍｅｎｔｓ  ｕｓｉｎｇ  Ａｌｔｅｒｎａｔｉｏｎ  Ｃｏｕｎｔｓ」，Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ４ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄｉｓｃｏｖｅｒｙ  Ｓｃｉｅｎｃｅ，Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（ドイツ国），Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，２００１年１１月，第２２２６巻，ｐ．１１３−１２７
【０００８】
【発明が解決しようとする課題】
従来、ウェブサイトの情報を構造化し、属性名のない表情報に変換する研究がすすめられている。この表情報は、構造化されることにより、ある表情報の列が他の表情報のどの列に対応するかが判断可能になり、複数のウェブサイト間の情報を統合していわばデータベースを構築することができる。
【０００９】
しかし、このためには、大量に収集したページから構造的に類似した情報だけを抽出し、非類似の情報はノイズ分として除去しなければならない。さらにこれをマニュアルでなく自動的に行うためには、構造的に類似した情報をコンピュータ等による演算だけで抽出しなければならないという問題があった。
【００１０】
また、本発明者らによる（非特許文献２）の提案は、各ファイルで共通に頻出する文字列はこの構造を表わす部分と考え、頻度の差を検出することにより、高頻度部分とそうでない部分を明確に分離し、高頻度でない部分がコンテンツ部分に当るとするものであった。しかしこの提案においては、頻度と文字数を使って分離する着想は得たものの、高頻度部分に関してとくに検討を加えていないし、また、各ファイルの構造の類似性に関して新たな提案をするまでには至っていないものであった。
【００１１】
さらに、最近の遺伝子解析で多くの塩基配列情報が得られているが、解読した遺伝子情報をもとに類似した塩基配列情報を簡単に抜き出す方法は、現在のところ見当たらない。
【００１２】
そこで本発明は、構造の類似するウェブページや塩基配列の情報を簡単に収集することができる類似構造ファイル収集装置を提供することを目的とする。
【００１３】
また本発明は、構造の類似するウェブページや塩基配列の情報を簡単に収集することができるプログラムを提供することを目的とする。
【００１４】
そして本発明は、構造の類似するウェブページや塩基配列の情報を簡単に収集することができるプログラムを記録した記憶媒体を提供することを目的とする。
【００１５】
さらに本発明は、構造の類似するウェブページや塩基配列の情報を簡単に収集することができる類似構造ファイル収集方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記の課題を解決するために本発明の類似構造ファイル収集装置は、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出し、その出現頻度をカウントする出現頻度調査手段と、出現頻度調査手段がカウントしたすべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントする文字数カウント手段と、各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって、対象の全ウェブページ情報を複数のウェブページ情報群に分ける分割管理手段と、分割管理手段によって分けられた複数のウェブページ情報群の中から母数が少ないウェブページ情報群をノイズクラスタとして除去するノイズクラスタ除去手段を備え、複数のウェブページ情報の中から類似構造のウェブページ情報を抽出することを特徴とする。
【００１７】
本発明は、この構成により、構造の類似するウェブページや塩基配列の情報を簡単に収集することができる。
【００１８】
【発明の実施の形態】
本発明の第１の発明は、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出し、その出現頻度をカウントする出現頻度調査手段と、出現頻度調査手段がカウントしたすべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントする文字数カウント手段と、各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって、対象の全ウェブページ情報を複数のウェブページ情報群に分ける分割管理手段と、分割管理手段によって分けられた複数のウェブページ情報群の中から母数が少ないウェブページ情報群をノイズクラスタとして除去するノイズクラスタ除去手段を備え、複数のウェブページ情報の中から類似構造のウェブページ情報を抽出することを特徴とする類似構造ファイル収集装置であり、対象とするウェブページ情報から、所定文字数の文字列をすべて抽出して高頻出文字列を抽出すると、この頻出部分はウェブページ情報の構造を表す領域となる傾向が非常に強く、この部分に出現する文字数を比較したときには、類似構造を有するウェブページ情報間ではほぼ等しい文字数を示すから、この条件を満たす場合同一のクラスタにまとめることができ、これを繰返すことにより類似構造の情報として統合することができる。まとまった類似したウェブページ情報群の中で、母数が少ないものをノイズクラスタとして除去することができる。
【００１９】
本発明の第２の発明は、第１の発明において、文字列を抽出するときの所定の文字数と、高頻出文字列として評価するための所定の割合とが、それぞれ、ウェブページ情報の頻出部分と非頻出部分との境界の数が初期値の近くで局所的に極小となるときの文字数と割合であることを特徴とする類似構造ファイル収集装置であり、文字列を抽出するときの最適な文字数と、高頻出文字列として評価できる文字列の割合を簡単に計算できる。
【００２０】
本発明の第３の発明は、第１または２の発明において、分割管理手段が、対象の全ウェブページ情報を統合処理手段によって部分的に仮統合し、分割評価演算手段によって同一クラスタにする指標としての分割評価値を計算し、該分割評価値と基準値との差が閾値を越えるまで統合処理手段がウェブページ情報群を統合し、全ウェブページ情報が複数のウェブページ情報群にまとめられることを特徴とする類似構造ファイル収集装置であり、ウェブページ情報群を仮に統合して分割評価値が基準値と大きく異ならなければウェブページ情報群を統合し、これが異なっている場合には統合しないから、類似構造のウェブページ情報群をまとめることができる。
【００２１】
本発明の第４の発明は、第３の発明において、分割評価値が、各ウェブページ情報群の高頻度文字数の分散と要素数の積の総和と、該全ウェブページ情報の高頻度文字数の分散と全要素数の積との比であることを特徴とする類似構造ファイル収集装置であり、分割評価値を、各ウェブページ情報群の分散と要素数の積の総数を全ウェブページ情報の分散と全要素数の積で規格化するから、要素数によらない一般性がある分割評価値にすることができる。
【００２２】
本発明の第５の発明は、第１〜４のいずれかの発明において、ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群の高頻度文字数の分散をそれぞれの要素数で割った値を求め、該値が閾値より大きいウェブページ情報群を除去することを特徴とする類似構造ファイル収集装置であり、各ウェブページ情報群の分散をそれぞれの要素数で割った値を用いるから、母数が少なく分散の大きなウェブページ情報群を１つの指標でノイズクラスタとして除去できる。
【００２３】
本発明の第６の発明は、第１〜４のいずれかの発明において、ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群のそれぞれの母数を全ウェブページ情報の母数で割った値を求め、該値が閾値より小さいウェブページ情報群を除去することを特徴とする類似構造ファイル収集装置であり、演算が容易で、短時間に類似構造ファイルを収集できる。
【００２４】
本発明の第７の発明は、第１〜６のいずれかの類似構造ファイル収集装置において、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出するのに代えて、複数の塩基配列情報を対象とし、アデニン、グアニン、チミン、シトシンを表すテキスト表記の配列データから所定の文字数の文字列を抽出することを特徴とする類似構造ファイル収集装置であり、類似構造の塩基配列情報を収集することができ、遺伝子研究に対してきわめて大きなツールを提供することができることになる。
【００２５】
本発明の第８の発明は、コンピュータに、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出し、その出現頻度をカウントする出現頻度調査手段、出現頻度調査手段がカウントしたすべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントする文字数カウント手段、各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって、対象の全ウェブページ情報を複数のウェブページ情報群に分ける分割管理手段、分割管理手段によって分けられた複数のウェブページ情報群の中から母数が少ないウェブページ情報群をノイズクラスタとして除去するノイズクラスタ除去手段として機能させるためのプログラムであって、複数のウェブページ情報の中から類似構造のウェブページ情報を抽出することを特徴とするプログラムであり、所定文字数の文字列をすべて抽出して高頻出文字列を抽出し、この頻出部分がウェブページ情報の構造を示す領域となるため、この部分の全文字数を比較することで、類似構造を有するウェブページ情報間では相対的に近い文字数となり、類似構造の情報としてまとめることができる。まとまった類似したウェブページ情報群の中で、母数が少ないものをノイズクラスタとして除去することができる。
【００２６】
本発明の第９の発明は、第８の発明において、ウェブページ情報の頻出部分と非頻出部分との境界の数が初期値の近くで局所的に極小となるときの文字数と割合を所定文字数と所定割合として決定するパラメータ決定手段が設けられたことを特徴とするプログラムであり、文字列を抽出するときの最適な文字数と、高頻出文字列として評価できる文字列の割合を簡単に計算できる。
【００２７】
本発明の第１０の発明は、第８または９の発明において、同一クラスタに構成する指標としての分割評価値を計算する分割評価演算手段、分割評価値と基準値との差がすべてのウェブページ情報群で閾値を越えるまで統合する統合処理手段、全ウェブページ情報を複数のウェブページ情報群に分ける分割管理手段が設けられたことを特徴とするプログラムであり、ウェブページ情報群を統合して分割評価値が基準値と大きく異ならなければウェブページ情報群を統合し、これが異なるまで続けて分けるから、類似構造のウェブページ情報群をまとめることができる。
【００２８】
本発明の第１１の発明は、第１０の発明において、分割評価値が、各クラスタの高頻度文字数の分散と要素数の積の総和と、該全ウェブページ情報の高頻度文字数の分散と全要素数の積との比であることを特徴とするプログラムであり、分割評価値を、各ウェブページ情報群の分散と要素数の積の総数を全ウェブページ情報の分散と全要素数の積で規格化するから、要素数によらない一般性がある分割評価値にすることができる。
【００２９】
本発明の第１２の発明は、第８〜１１のいずれかの発明において、ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群の分散をそれぞれの要素数で割った値を求め、該値が閾値より大きいウェブページ情報群を除去することを特徴とするプログラムであり、各ウェブページ情報群の分散をそれぞれの要素数で割った値を用いるから、母数が少なく分散の大きなウェブページ情報群を１つの指標でノイズクラスタとして除去できる。
【００３０】
本発明の第１３の発明は、第８〜１２のいずれかのプログラムにおいて、ノイズクラスタ除去手段が、複数にまとめられた各ウェブページ情報群のそれぞれの母数を全ウェブページ情報の母数で割った値を求め、該値が閾値より小さいウェブページ情報群を除去することを特徴とするプログラムであり、演算が容易で、短時間に類似構造ファイルを収集できる。
【００３１】
本発明の第１４の発明は、第８〜１３のいずれかのプログラムにおいて、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出するのに代えて、複数の塩基配列情報を対象とし、アデニン、グアニン、チミン、シトシンを表すテキスト表記の配列データから所定の文字数の文字列を抽出することを特徴とするプログラムであり、類似構造の塩基配列情報を収集することができ、遺伝子研究に対してきわめて大きなツールを提供することができることになる。
【００３２】
本発明の第１５の発明は、第８〜１４のいずれかのプログラムを記録したコンピュータ読み取り可能な記録媒体であるから、コンピュータで読み取ることにより、様々のコンピュータで類似構造ファイル収集装置を構成することができる。
【００３３】
本発明の第１６の発明は、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出し、その出現頻度をカウントするとともに、カウントされたすべての出現頻度の中から高頻出文字列として評価するため所定の割合以上の出現頻度で出現する文字列の文字数をカウントし、各ウェブページ情報でカウントされた文字数を比較して同一クラスタに構成できるウェブページ情報同士を統合することによって、対象の全ウェブページ情報を複数のウェブページ情報群に分け、母数が少ないウェブページ情報群をノイズクラスタとして除去し、複数のウェブページ情報の中から類似構造のウェブページ情報を抽出することを特徴とする類似構造ファイル収集方法であり、所定の文字数の文字列をすべて抽出して高頻出文字列を抽出すると、この高頻出部分はウェブページ情報の構造を示す領域となるため、この部分の全文字数を比較することにより、類似構造を有するウェブページ情報間では相対的に近い文字数を示すから、類似構造の情報としてまとめることができる。まとまった類似したウェブページ情報群の中で母数が少ないものをノイズクラスタとして除去することができる。
【００３４】
本発明の第１７の発明は、第１６の類似構造ファイル収集方法において、ウェブページ情報の頻出部分と非頻出部分との境界の数が初期値の近くで局所的に極小となるときの文字数と割合を所定の文字数と所定の割合として決定し、該文字数と出現頻度でカウントされることを特徴とする類似構造ファイル収集方法であり、文字列を抽出するときの最適な文字数と、高頻出文字列として評価できる文字列の割合を簡単に計算できる。
【００３５】
本発明の第１８の発明は、第１７の類似構造ファイル収集方法において、対象の全ウェブページ情報を部分的に仮統合し、同一クラスタに構成する指標としての分割評価値を計算し、該分割評価値と基準値との差がすべてのウェブページ情報群で閾値を越えるまでウェブページ情報群を統合することを特徴とする類似構造ファイル収集方法であり、ウェブページ情報群を仮に統合して分割評価値が基準値と大きく異ならなければウェブページ情報群を統合し、これが異なっている場合には統合しないから、類似構造のウェブページ情報群をまとめることができる。
【００３６】
本発明の第１９の発明は、第１６〜１８のいずれかの類似構造ファイル収集方法において、複数にまとめられた各ウェブページ情報群の高頻度文字数の分散をそれぞれの要素数で割った値を求め、該値が閾値より大きいウェブページ情報群を除去することを特徴とする類似構造ファイル収集方法であり、各ウェブページ情報群の分散をそれぞれの要素数で割った値を用いるから、母数が少なく分散の大きなウェブページ情報群を１つの指標でノイズクラスタとして除去できる。
【００３７】
本発明の第２０の発明は、第１６〜１９のいずれかの類似構造ファイル収集方法において、各ウェブページ情報群のそれぞれの母数を全ウェブページ情報の母数で割った値を求め、該値が閾値より小さいウェブページ情報群をノイズクラスタとして除去することを特徴とする類似構造ファイル収集方法であり、演算が容易で、短時間に類似構造ファイルを収集できる。
【００３８】
本発明の第２１の発明は、第１６〜２０のいずれかの類似構造ファイル収集方法において、複数のウェブページ情報を対象とし、マークアップ言語で記述されたそれぞれのテキストデータから所定の文字数の文字列を抽出するのに代えて、複数の塩基配列情報を対象とし、アデニン、グアニン、チミン、シトシンを表すテキスト表記の配列データから所定の文字数の文字列を抽出することを特徴とする類似構造ファイル収集方法であり、類似構造の塩基配列情報を収集することができ、遺伝子解析に対してきわめて大きなツールを提供することができることになる。
【００３９】
（実施の形態１）
以下、本発明の実施の形態１における類似構造ファイル収集装置と、そのプログラム、またそれを記録したコンピュータ読み取り可能な記録媒体、さらにその類似構造ファイル収集方法について説明する。実施の形態１においてはウェブページ情報を対象として類似構造ファイルを収集する。図１（ａ）は本発明における実施の形態１における類似構造ファイル収集装置の構成図、図１（ｂ）は（ａ）の類似構造ファイル収集装置のプログラム構成図、図２はＡＢＣ新聞社の記事のＨＴＭＬファイルを示す図、図３は図２のブラウザに表示される原文の記事を示す図、図４は文字列の抽出方法を示す説明図、図５は最適パラメータにより分離した高頻度文字数を頻度の順に並べ替えたデータ図である。
【００４０】
本発明の実施の形態１における類似構造ファイル収集装置は、図１（ａ）（ｂ）に示すように構成される。図１（ａ）において、１は中央演算処理装置（以下ＣＰＵ、本発明のコンピュータ）等から構成されプログラムをロードして演算を行いシステム制御し各種機能を実行する類似構造ファイル収集装置の中央演算／制御部、２は中央演算／制御部１が実行するプログラムを記憶した記憶媒体から構成される記憶部、３はキーボードやマウス等の入力手段、４はディスプレー等に表示させる表示手段、５はプロトコルＴＣＰ／ＩＰ等でインターネット等のネットワークと接続するための通信制御部、６はネットワークとの通信管理を行うネットワークサーバ部である。
【００４１】
実施の形態１の類似構造ファイル収集装置は、通信制御部５やネットワークサーバ部６を備えているため、ネットワークからＨＴＭＬ等のマークアップ言語で記述したウェブページ（本発明のウェブページ情報）をダウンロードすることができる。しかし、母集団となるウェブページを入力手段３から入力するなど、他の方法で入力することも可能である。
【００４２】
次に、類似構造ファイル収集装置の中央演算／制御部１と、類似するウェブページを収集するための処理を中央演算／制御部１に実行させるプログラム、またそれを記録した記録媒体について説明する。以下説明する各機能手段は、いずれも中央演算／制御部１を構成するＣＰＵ（本発明のコンピュータ）にプログラムを記憶媒体から読み込んで機能させる手段である。図１（ｂ）において、１１は、出現回数をカウントして頻出部分を抽出するのに最適な文字列長さ（ｎ個）と、この長さｎの文字列の中で高頻出文字列として評価できる上位出現割合（上位ａ％）を決定するパラメータ決定手段である。最適な文字列長さ（ｎ個）と上位出現割合（上位ａ％）の具体的な数値は、パラメータ決定手段１１管理下の以下で述べる極小交代数抽出ルーチン実行部において、ｎとａの組み合わせ（以下、（ｎ，ａ）ともいう）を（２，１）を初期値として増加させたとき、頻出部分と非頻出部分の境界が最初に極小となったか否か、すなわち頻出部分と非頻出部分の一方から他方へ交替する回数（交代数）がｎ−ａ空間において初期値の近くで局所的に最初に極小になったか否か、という基準で判断する。これは、（ｎ，ａ）がともに小さいときは、主として構造を表わす部分に高頻度部分が表われることに基づく。すなわち、（ｎ，ａ）を増加したとき、構造を表わす部分が（ｎ，ａ）の小さな高頻度文字列で埋め尽くされていく間は、交代数は減少するが、一旦、構造を表わす部分が高頻度文字列で埋め尽くされた後は、まったく無関係のところが高頻度となって離れた部分が高頻度と判定されようになる。このとき、この高頻度の部分の間には非頻出部分が存在するため交代数が増加することになるからである。
【００４３】
ここで、具体的に類似構造ファイル収集装置が収集する類似構造のウェブページ（以下、ファイル形式であることを強調してファイルという）はどのようなものか、また、どのようにして抽出するのかを具体的なＨＴＭＬファイルを使って説明する。図３に示すような記事はＨＴＭＬで記述すると、図２のようになる。太字で記述されたところが原文のテキストデータであり、他の細文字部分は文書の構造を指示するＨＴＭＬのタグや属性である。
【００４４】
図４は類似構造ファイル収集装置が収集する文字列の採取パターンを示している。このうち（１）は図２の最初の「＜ｈｔｍｌ＞＜ｈｅａｄ＞＜ｔｉｔｌｅ＞ＡＢＣ  ｓｐｏｒｔｓ＜／ｔｉｔｌｅ＞」から１０字ずつ文字列を切り出す採取パターンと５字ずつ切り出す採取パターンを示している。もちろん、採取できる箇所はここだけに限られないし、ここでは１０字，５字のみを示しているが、文字列長さ（ｎ個）は、ｎ＝２，３，４・・から選ばれ、１０字，５字に限られるものではない。
【００４５】
図２をみて分かるように、「＜ｈｔｍｌ＞」「＜ｈｅａｄ＞」「＜／ｔｉｔｌｅ＞」はタグを示しこれらは複数のＨＴＭＬファイルで共通である。これらは多くの場合頻出する文字列となる。しかし、タグに挟まれた「ＡＢＣ  ｓｐｏｒｔｓ」はタグではなく構造と関係しないテキストデータである。従って本来「ＡＢＣ  ｓｐｏｒｔｓ」を含んだ文字列は頻出する可能性は少ないはずである。しかし、図２のＨＴＭＬファイルはＡＢＣ新聞社の一連のスポーツ記事の１つであり、このような場合、すべてのファイルのヘッダに「ＡＢＣ  ｓｐｏｒｔｓ」という記述が表示されるため、このテキストデータを含んだ文字列も例外的に高頻出文字列としてカウントされる。同様に図２の「各ページに以下を必ずいれてください」も表示されないが、高頻出文字列としてカウントされるものである。
【００４６】
次に、図４の（２）に示している「＜ＢＬＯＣＫＵＯＴＥ＞［ニューヨーク１０日］ａａ球団」は記事の内容に当るテキストデータの最初の部分である。文字列の採取パターンは上述の説明と同様である。このとき「＜ＢＬＯＣＫＵＯＴＥ＞［」は複数のファイルで共通に出現するが、「ニューヨーク１０日］ａａ球団」は記事ごとにそれぞれ異なる内容部分である。従って、上記した「ＡＢＣ  ｓｐｏｒｔｓ」と異なって、この部分「ニューヨーク１０日］ａａ球団」、及びこれ以降の記事の内容である「からポスティング・・」が高頻出文字列となることはまずありえない。本実施の形態１の類似構造ファイル収集装置と類似構造ファイル収集方法は、このような文字列の性質を利用し、構造に関係する部分を抽出し、類似性を判断するものである。
【００４７】
ところで、ＨＴＭＬファイルから切り出す最適な文字列長さ（ｎ個）と、それがどの程度出現したとき高頻出と評価するかの閾値、上位出現割合（上位ａ％）、をどのように選べばよいかが問題である。これらは分析対象のＨＴＭＬファイルの種類、内容に依存する。経験的には、ｎ＝１０，ａ＝５が類似構造を頻出部分と非頻出部分に効果的に分離できる場合が多い。
【００４８】
しかし、本実施の形態１の類似構造ファイル収集装置においては、さらに一歩を進め、ＨＴＭＬファイルを収集する度ごとに、ＨＴＭＬファイルの種類、内容を検討し、上述のパラメータ決定手段１１が、分析対象のＨＴＭＬファイルから交代数を、（ｎ，ａ）の初期値近くの比較的小さいところで最初に極小にするパラメータとして求め、この交代数により高頻出部分を抽出している。
【００４９】
そこで、この最適パラメータを求める実施の形態１の極小交代数抽出ルーチン実行部について説明する。１２は可能なパラメータｎ，ａの組み合わせごとに交代数をカウントする交代数カウント手段、１３は交代数カウント手段１２がカウントした交代数の中で最初に極小となる交代数を求める極小交代数抽出手段である。なお、極小の交代数を求めるためのファイルは、すべてのファイルを母集団として演算するのでも、サンプリングした複数のファイルを母集団として演算するのでもよい。この極小の交代数を与えるｎ，ａの組み合わせから、パラメータ決定手段１１は頻出部分を抽出するためにこの（ｎ，ａ）を採用し、最適なパラメータとして決定する。このとき、ＨＴＭＬファイルの頻出部分と非頻出部分とは比較的バラバラでなく、まとまった領域として分離される。
【００５０】
１４はパラメータ決定手段１１によって決定された（ｎ，ａ）に基づき、全ＨＴＭＬファイルの長さｎの文字列の出現頻度をカウントする出現頻度調査手段、１５は出現頻度調査手段１４がカウントした出現頻度を全ＨＴＭＬファイルで高い頻度から順に並べ替える並べ替え手段、１６は各ＨＴＭＬファイルの中で並べ替えた頻出頻度の高い上位ａ％に属する文字列を高頻出文字列とし、該当する全文字数を高頻出文字列の文字数（以下、高頻度文字数）としてカウントする文字数カウント手段である。これによって、全ＨＴＭＬファイルに対してそれぞれ文字数カウント手段１６によってカウントされた高頻度文字数が関係付けられる。図５は、並べ替え手段１５がＡＢＣ新聞社の１１３件のＨＴＭＬファイルに対して最適パラメータｎ＝１０，ａ＝５を決定し、これによって分離した高頻度文字数を頻度の順に並べ替えたものである。図５によれば、高頻度文字数の小さい４件と大きい１９件が異なり、残りの９０件は概ね１００文字近傍で一致している。
【００５１】
ところで、上述した図２に示すように高頻出文字列はファイルの記載内容とは関係が薄く、文書の構造を示すものと推定できる。すなわち、上位ａ％の文字数ｎ個でカウントした文字列の文字数がほぼ等しければ、構造を示す記述が同じように行われていると考えられ、類似構造をしている蓋然性が高い。そして、これは、逆にいうと明白で、ＨＴＭＬファイルが類似構造をしていれば高頻度文字数はほぼ等しくなる。また、文字数カウント手段１６がカウントした高頻出文字列の文字数が、同じ条件でカウントした他のＨＴＭＬファイルの文字数と著しく異なる場合は、このＨＴＭＬファイルは他のＨＴＭＬファイルと構造的に異なっていることを示しており、ノイズクラスタとして評価されるはずである。図５における１１３件のサンプルでは、高頻度文字数の小さい４件と大きい１９件の記事がノイズの可能性が高い。
【００５２】
そこで実施の形態１の類似構造ファイル収集装置は、自動的に複数のＨＴＭＬファイルを類似構造の複数のＨＴＭＬファイル群とノイズのＨＴＭＬファイル群に分離する。１７は高頻出文字列の文字数が他のＨＴＭＬファイルと異なるＨＴＭＬファイル群（集合）をこの他のＨＴＭＬファイル群から分離するファイル分割管理手段（本発明の分割管理手段）である。ファイル分割管理手段１７は、文字数カウント手段１６が高頻出文字列の文字数をカウントすると、管理下にあるクラスタ統合ルーチン実行部に類似構造のファイルを統合させ、これによって異なるＨＴＭＬファイル群にまとめ、さらにこれらを分離する。
【００５３】
クラスタ統合ルーチン実行部において、１８は全ファイルの中から任意に２つのクラスタを選ぶペアクラスタ抽出手段、１９はペアクラスタ抽出手段１８が選択した２つのクラスタ内の高頻度文字数が全ファイルの高頻度文字数の中でバラツキが小さく、同一クラスタを構成して統合可能と判断される場合に統合する統合処理手段、２０は統合処理手段１９がＨＴＭＬファイルが同一クラスタを構成するか否かを判定するための分割評価値を計算する分割評価演算手段である。２つのクラスタで１つのクラスタを構成できれば両者は類似構造を備えていると評価される。なお、分割評価値の詳細については後述する。統合処理手段１９は、分割評価演算手段２０が計算した分割評価値に従い、分割評価値が所定の許容範囲に入るか否かを判断し、統合可能なＨＴＭＬファイルを統合し、ファイル分割管理手段１７は全ＨＴＭＬファイルを複数のまとまったＨＴＭＬファイル群（クラスタ）に分割する。
【００５４】
２１はファイル分割管理手段１７によって分割されたＨＴＭＬファイル群に対してそれぞれの高頻度文字数の分散Ｖｉを計算するクラスタ分散演算手段、２２は各ＨＴＭＬファイル群（クラスタＣｉ，ｉ＝１，２，・・）のファイルの数（要素数）｜Ｃｉ｜により指標Ｖｉ／｜Ｃｉ｜を計算し、これが所定の閾値より大きい場合に、これをノイズクラスタとするノイズクラスタ除去手段である。類似構造のＨＴＭＬファイルを集めるとき、大きな分散Ｖｉであれば類似ファイルとはいえない可能性が高いし、同じ分散Ｖｉでも要素数｜Ｃｉ｜が小さければデータ量が不足で、類似構造のＨＴＭＬファイル群を収集したことにはならない。
【００５５】
そこで、実施の形態１においては、データとして役に立つ十分な量のファイルを抽出するために指標Ｖｉ／｜Ｃｉ｜を計算し、これが所定の閾値より大きい場合、母数が少なく高頻度文字数の分散Ｖｉが大きいと考えられ、ノイズクラスタと評価するものである。図５で示した記事の場合、高頻度文字数の小さい４件と、それが大きい１９件、より詳細には小さい方から８件と４件、５件、２件のクラスタがあるが、これらのクラスタでは指標Ｖｉ／｜Ｃｉ｜は相対的に大きく、他の９０件においては母数が大きいためＶｉ／｜Ｃｉ｜は小さい値となる。この結果、高頻度文字数の小さい１つのクラスタと、大きい４つのクラスタがノイズクラスタとして収集したデータから除去されることになる。
【００５６】
続いて以上説明した実施の形態１の類似構造ファイル収集方法のフローについて説明する。図６は本発明の実施の形態１における類似構造ファイル収集方法のフローチャート、図７（ａ）は図６における類似構造ファイル収集方法の最適パラメータ決定のルーチンを示すフローチャート、図７（ｂ）は（ａ）の交代数を計算するルーチンを示すフローチャート、図８（ａ）は図６における類似構造ファイル収集方法のクラスタ統合のルーチンを示すフローチャート、図８（ｂ）は（ａ）の分割評価値を計算するルーチンを示すフローチャート、図９は図６における類似構造ファイル収集方法の最適パラメータ決定の過程を示す図である。
【００５７】
図６において、類似構造のファイルを収集するため最適な文字列長さ（ｎ個）とそれがどの程度出現したとき高頻出と評価するかの閾値（上位ａ％）となるｎ，ａの組み合わせを求める（ｓｔｅｐ１）。このパラメータｎ，ａの組み合わせは図７（ａ）のパラメータ最適化ルーチンで実行される。パラメータｎ，ａを求めるため、ｎ−ａ空間内でｎ＝２，ａ＝１が初期値としてセットされ（ｓｔｅｐＳＵＢ１１）、（ｎ，ａ）（ｎ＋１，ａ）（ｎ，ａ＋１）としたときの交代数を計算する（ｓｔｅｐＳＵＢ１２）。
【００５８】
ｓｔｅｐＳＵＢ１２の交代数は図７（ｂ）に示す交代数計算ルーチンで実行される。まず、長さｎの文字列を任意に切り出し、この文字列の出現頻度を数える（ｓｔｅｐＳＵＢ１２１）。次にこれを頻度の高い順に並べ替え（ｓｔｅｐＳＵＢ１２２）、文字列の中で上位ａ％に属する部分を頻出部分とする（ｓｔｅｐＳＵＢ１２３）。具体的には頻出部分と非頻出部分に色付けなどして区別する。続いて、頻出部分と非頻出部分が切り替わる境界の数をカウントし（ｓｔｅｐＳＵＢ１２４）、（ｎ，ａ）におけるパラメータ最適化ルーチンに返す。
【００５９】
（ｎ，ａ）（ｎ＋１，ａ）（ｎ，ａ＋１）の交代数が計算されたので、３つの交代数の中で（ｎ，ａ）の交代数が最小であるか否かをチェックする（ｓｔｅｐＳＵＢ１３）。（ｎ，ａ）の交代数が最小の場合は、この交代数が（２，１）を初期値として最初の極小値であるから、このｎ，ａの組合わせが頻出部分を確定するのに最適なｎ，ａとしてｓｔｅｐ１に戻る。もし、（ｎ，ａ）の交代数が最小でなく、（ｎ＋１，ａ）（ｎ，ａ＋１）の交代数のどちらかが最小であれば、それを新しい（ｎ，ａ）とし（ｓｔｅｐＳＵＢ１４）、ｓｔｅｐＳＵＢ１２に戻って交代数が極小となるまで（ｎ，ａ）を計算する。最適なｎ，ａが求まると図６のフローチャートのｓｔｅｐ１に戻る。
【００６０】
図９はパラメータ最適化ルーチンにおける最適パラメータ決定の過程を示しており、初期値（２，１）からスタートし、（ｎ，ａ）（ｎ＋１，ａ）（ｎ，ａ＋１）の交代数の中で（ｎ，ａ）の交代数が最初の極小値となるまで繰返し計算が繰返されることが分かる。
【００６１】
図６において、ｓｔｅｐ１で最適なｎ，ａが定まると、このｎ，ａの組み合わせに基づき、全ＨＴＭＬファイルの長さｎの文字列の出現頻度をカウントする（ｓｔｅｐ２）。この出現頻度を全ＨＴＭＬファイルで高い頻度から順に並べ替え（ｓｔｅｐ３）、各ＨＴＭＬファイルの中で並べ替えた頻出頻度の高い上位ａ％に属する文字列を高頻出文字列とし、該当する全文字数を高頻度文字数としてカウントする（ｓｔｅｐ４）。これによって、全ＨＴＭＬファイルがそれぞれ高頻度文字数と関係付けられる。
【００６２】
続いて、高頻度文字数を利用して全ＨＴＭＬファイルを複数の類似構造のＨＴＭＬファイル群に分割する（ｓｔｅｐ５）。この分割は図８（ａ）のクラスタ統合ルーチンで実行される。図８（ａ）において、全ＨＴＭＬファイルを複数のＨＴＭＬファイル群にするため、まず１ファイルがそれぞれ１クラスタを構成するものとして処理を開始する（ｓｔｅｐＳＵＢ５１）。まず、ＨＴＭＬファイル群を１クラスタとして評価できるか否かの分割評価値の基準値Ｘを設定する（ｓｔｅｐＳＵＢ５２）。この分割評価値は以下説明する図８（ｂ）の分割評価値を計算するルーチンで計算するが、ｓｔｅｐＳＵＢ５１では１ファイルがそれぞれ１クラスタであるため、基準値Ｘは０である。
【００６３】
全ＨＴＭＬファイルを数ＨＴＭＬファイル群に分割する前提として、ＨＴＭＬファイルとＨＴＭＬファイルをまとめるために任意にクラスタＣｉとＣｊをペアで抽出する（ｓｔｅｐＳＵＢ５３）。ここでクラスタＣｉ（ｉ＝１，２，・・，ｎ）は、ｉ番目のＨＴＭＬファイルもしくはＨＴＭＬファイル群であり、クラスタＣｊはｊ番目のファイルもしくはＨＴＭＬファイル群である。次いで、この任意に抽出したクラスタＣｉとＣｊが分割評価値Ｙの計算が行われているか否かがチェックされ（ｓｔｅｐＳＵＢ５４）、未処理の場合このクラスタＣｉとＣｊを仮に統合して分割評価値Ｙを計算し（ｓｔｅｐＳＵＢ５５）、処理が済むとｓｔｅｐＳＵＢ５３に戻って、すべてのクラスタＣｉとＣｊの分割評価値Ｙを計算する。このｓｔｅｐＳＵＢ５５の分割評価値Ｙは図８（ｂ）のルーチンで計算する。
【００６４】
まず、図８（ｂ）において、全ＨＴＭＬファイルの高頻度文字数の分散を計算し、この分散と全ファイル数の積Ｔを算出する（ｓｔｅｐＳＵＢ５５１）。次いで、クラスタＣｉとＣｊを統合したクラスタＣｍの高頻度文字数の分散を計算し、この分散と統合したＣｍのファイル数（要素数）｜Ｃｍ｜との積Ｂｍを算出する（ｓｔｅｐＳＵＢ５５２）。｜Ｃｍ｜は要素数を表す。ＣｉとＣｊ以外のクラスタＣｋに対しても同様にこのＢｋ（ｋ＝１，２，・・，ｎ−１）を計算し、この全クラスタに関する和Ｂを算出する（ｓｔｅｐＳＵＢ５５３）。この和Ｂと積ＴとからＢ／Ｔを計算し、これを分割評価値Ｙとして図８（ａ）のクラスタ統合ルーチンのｓｔｅｐＳＵＢ５３に返す（ｓｔｅｐＳＵＢ５５４）。なお、分割評価値の基準値Ｘも図８（ｂ）のルーチンで算出するが、当初１ファイルが１クラスタであるためｓｔｅｐＳＵＢ５５２の分散が０となり、基準値Ｘ＝０である。
【００６５】
ｓｔｅｐＳＵＢ５４において、クラスタＣｉとＣｊが分割評価値Ｙの計算がすべて処理されているとき、この分割評価値Ｙと基準値Ｘを受け取ると、（Ｘ−Ｙ）を計算し、所定の閾値を越えるか否かをチェックする（ｓｔｅｐＳＵＢ５６）。この閾値としては０．０００２〜０．０００６程度が適当である。この閾値を小さい値にすると、かなり厳格にＨＴＭＬファイル群の類似性を判断することになるが、逆に本来収集されるべき類似構造のＨＴＭＬファイルをまとめにくくなるので、上記の値を中心に適宜選択するのがよい。ｓｔｅｐＳＵＢ５６で閾値を越えなかった場合、クラスタＣｉとＣｊを統合し（ｓｔｅｐＳＵＢ５７）、再びｓｔｅｐＳＵＢ５２に戻って分割評価値Ｙを新たな基準値Ｘとして更新し、統合のためペアのクラスタを任意に抽出して計算を繰返す。ｓｔｅｐＳＵＢ５６で閾値を越えてしまった場合、すべてのクラスタＣｉとＣｊのペアが（Ｘ−Ｙ）が所定の閾値を越えたため、それぞれまとまったことになるから、図８（ａ）のクラスタ統合ルーチンを終了して、図６のｓｔｅｐ５に戻る。
【００６６】
ｓｔｅｐ５ですべてのクラスタがＨＴＭＬファイル群としてまとまったら、各クラスタＣｉの分散ｖｉを計算する（ｓｔｅｐ６）。これにより、各ファイル群のバラツキ状態が分かる。図５においては、高頻度文字数の小さい４件のクラスタと、高頻度文字数２２０〜４００文字の８件のクラスタと、高頻度文字数５００〜７００文字の４件のクラスタと、高頻度文字数８５０〜１０５０文字の５件のクラスタと、高頻度文字数１２００文字以上の２件のクラスタとがノイズクラスタになることが分かる。本実施の形態１においてはこれをコンピュータ上での演算で行うため、指標ｖｉ／｜Ｃｉ｜を計算し、これが所定の閾値より大きい場合にノイズクラスタと評価する（ｓｔｅｐ７）。これにより、高頻度文字数の小さいクラスタと、これが大きい４つのクラスタではｖｉ／｜Ｃｉ｜は大きく、残りの９０件のみが類似構造のＨＴＭＬファイルとして収集されることになる。なお、図５において、９０件が１つのクラスタでなく、大きく５０件程度の別の文字数をもつ２つのクラスタに分かれたとしても、ｖｉ／｜Ｃｉ｜は十分小さく、２つの類似構造ファイル群が存在するとして統合される。
【００６７】
このように、実施の形態１の類似構造ファイル収集装置とプログラム、記録媒体、類似構造ファイル収集方法は、ＨＴＭＬファイルの頻出部分と非頻出部分との境界である交代数が極小となる文字数と割合を最適な文字数と割合とするため、頻出部分がＨＴＭＬファイルごとに個別に計算でき、さらに頻出部分はＨＴＭＬファイルの構造を示す領域となるため、この部分の全文字数を比較したとき、類似構造を有するファイル間ではほぼ等しい文字数となり、これらを類似構造のＨＴＭＬファイルとしてまとめることができる。そして類似したＨＴＭＬファイル群の中で母数が少なく高頻度文字数の分散の大きなものをノイズクラスタとして判定して除去することができる。さらに、実施の形態１のプログラムを記録した記録媒体を装着してプログラムを読み込むことにより、パーソナルコンピュータ等の多くのコンピュータを使って類似構造ファイル収集装置を構成することができる。
【００６８】
（実施の形態２）
実施の形態２における類似構造ファイル収集装置とその類似構造ファイル収集方法について説明する。図１０は本発明における実施の形態２における類似構造ファイル収集装置のプログラム構成図、図１１は本発明の実施の形態２における類似構造ファイル収集方法のフローチャートである。なお、実施の形態２の類似構造ファイル収集装置は、ウェブページ情報を対象とし、実施の形態１の類似構造ファイル収集装置と基本的に同一であり、実施の形態１と実施の形態２とで同一符号は同一構成を示すものである。従って、実施の形態２においても図１（ａ）、図７（ａ）（ｂ）を参照し、同一符号については実施の形態１に譲って説明を省略する。
【００６９】
図１０において、２１＊はクラスタ内のファイル数（母数）｜Ｃｉ｜（クラスタＣｉ，ｉ＝１，２，・・）を全ファイル数（全母数）｜ＣＴ｜で割った数｜Ｃｉ｜／｜ＣＴ｜を計算するクラスタ割合演算手段、２２＊はこの計算した指標｜Ｃｉ｜／｜ＣＴ｜が所定の閾値より大きい場合に、これをノイズクラスタとするノイズクラスタ除去手段である。ファイル分割管理手段１７によって分割されたクラスタは類似ファイルの可能性が高いが、指標｜Ｃｉ｜／｜ＣＴ｜が小さければデータ量が不足で、類似構造のＨＴＭＬファイル群を収集したことにはならないからである。そこで、実施の形態２においては、データとして役に立つ十分な量のファイルを抽出するために指標｜Ｃｉ｜／｜ＣＴ｜を計算し、これが所定の閾値より小さい場合にノイズクラスタと評価するものである。
【００７０】
図１１に基づいて、実施の形態２の類似構造ファイル収集方法のフローについて説明する。ｓｔｅｐ１〜ｓｔｅｐ５までは実施の形態１と同一である。実施の形態１のｓｔｅｐ６に代えて、各クラスタＣｉの指標｜Ｃｉ｜／｜ＣＴ｜を計算する（ｓｔｅｐ６＊）。指標｜Ｃｉ｜／｜ＣＴ｜が所定の閾値が小さいクラスタをノイズクラスタとして除去する（ｓｔｅｐ７＊）。
【００７１】
このように実施の形態２の類似構造ファイル収集装置とその類似構造ファイル収集方法は、実施の形態１と同様の作用効果を奏すが、実施の形態１よりも演算が容易で、短時間に類似構造ファイルを収集できる。
【００７２】
（実施の形態３）
実施の形態３における類似構造ファイル収集装置とその類似構造ファイル収集方法、プログラム、記録媒体について説明する。実施の形態１，２はいずれもＨＴＭＬ等で記述したウェブページの類似性を判断し、類似構造ファイルとして収集した。しかし、実施の形態３の類似構造ファイル収集装置とその類似構造ファイル収集方法は、遺伝子解析によって得られた塩基配列情報を対象として、複数の塩基配列情報から類似の塩基配列を抽出するものである。なお、実施の形態３における類似構造ファイル収集装置は、構成的には実施の形態１，２の類似構造ファイル収集装置と同一であり、図１〜図１１を参照し、同一符号は同一構成を示すから、説明は省略する。
【００７３】
最近の遺伝子解析により、遺伝子による遺伝の仕組みがかなり正確に解明されてきている。この遺伝子は共通の４つの塩基から成り立っており、この塩基の配列によって様々なタンパク質が作られ、各生物特有の生命活動が行われている。全ての生物に共通する４つの塩基とは、アデニン（Ａと表記される）、グアニン（Ｇと表記される）、チミン（Ｔと表記される）、シトシン（Ｃと表記される）である。ところで、このＡ，Ｔ，Ｃ，Ｇ４つの塩基は互いにＡとＴ、ＧとＣがそれぞれ水素結合し易い性質をもち、ＤＮＡの二本鎖においてはＡＴ，ＧＣで対をなして、相補関係を充たす二本鎖を形成して二重螺線の構造をもつものである。そして、このような遺伝子の塩基配列情報は、例えばＡＴＣＧＧＡ・・のような記述方法によって、Ａ，Ｔ，Ｃ，Ｇの４文字のテキスト表記による配列データとして記述される。
【００７４】
さて、実施の形態３の類似構造ファイル収集装置とそのプログラム、記録媒体、類似構造ファイル収集方法は、このように記述された遺伝子の塩基配列データを解析対象とする。Ａ，Ｔ，Ｃ，Ｇの４文字で記述された塩基配列データから、出現頻度調査手段１４によって所定の文字数の文字列を抽出し、その出現頻度をカウントするとともに、カウントされたすべての出現頻度の中から文字数カウント手段１６によって所定割合以上の出現頻度で出現する文字列の文字数をカウントする。次いでファイル分割管理手段１７が、各塩基配列データでカウントされた文字数を比較して同一クラスタに構成できる塩基配列情報同士を統合し、対象の全塩基配列情報を複数の塩基配列情報群に分け、ノイズクラスタ除去手段２２によって母数が少ない塩基配列情報群をノイズクラスタとして除去し、複数の塩基配列情報の中から類似構造の塩基配列情報を抽出するものである。ＳＮＩＰｓのように数塩基しか異ならない配列であれば、高精度で類似配列を抽出することができる。
【００７５】
このように実施の形態３の類似構造ファイル収集装置とその類似構造ファイル収集方法は、類似構造の塩基配列情報を収集することができ、遺伝子工学に対してきわめて大きなツールを提供することができることになる。
【００７６】
【発明の効果】
本発明の類似構造ファイル収集装置とプログラム、類似構造ファイル収集方法によれば、対象とするウェブページ情報から、所定文字数の文字列をすべて抽出して高頻出文字列を抽出すると、この高頻出部分はウェブページ情報の構造を表す領域となる傾向が非常に強く、このためこの部分に出現する文字数を比較すると、類似構造を有するウェブページ情報間ではほぼ等しい文字数を示すから、この条件を満たす場合同一のクラスタにまとめることができ、これを繰返して類似構造の情報として統合することができる。まとまった類似したウェブページ情報群の中で母数が少ないものをノイズクラスタとして除去することができる。また、ウェブページ情報だけでなく、類似構造の塩基配列情報を収集することができ、遺伝子研究に対して有力なツールを提供することができることになる。
【００７７】
また、本発明の記録媒体、プログラムによれば、コンピュータで読み取ることにより、様々のコンピュータで類似構造ファイル収集装置を構成することができる。
【図面の簡単な説明】
【図１】（ａ）本発明における実施の形態１における類似構造ファイル収集装置の構成図
（ｂ）（ａ）の類似構造ファイル収集装置のプログラム構成図
【図２】ＡＢＣ新聞社の記事のＨＴＭＬファイルを示す図
【図３】図２のブラウザに表示される原文の記事を示す図
【図４】文字列の抽出方法を示す説明図
【図５】最適パラメータにより分離した高頻度文字数を頻度の順に並べ替えたデータ図
【図６】本発明の実施の形態１における類似構造ファイル収集方法のフローチャート
【図７】（ａ）図６における類似構造ファイル収集方法の最適パラメータ決定のルーチンを示すフローチャート
（ｂ）（ａ）の交代数を計算するルーチンを示すフローチャート
【図８】（ａ）図６における類似構造ファイル収集方法のクラスタ統合のルーチンを示すフローチャート
（ｂ）（ａ）の分割評価値を計算するルーチンを示すフローチャート
【図９】図６における類似構造ファイル収集方法の最適パラメータ決定の過程を示す図
【図１０】本発明における実施の形態２における類似構造ファイル収集装置のプログラム構成図
【図１１】本発明の実施の形態２における類似構造ファイル収集方法のフローチャート
【符号の説明】
１  中央演算／制御部
２  記憶部
３  入力手段
４  表示手段
５  通信制御部
６  ネットワークサーバ部
１１  パラメータ決定手段
１２  交代数カウント手段、
１３  極小交代数抽出手段
１４  出現頻度調査手段
１５  並べ替え手段
１６  文字数カウント手段
１７  ファイル分割管理手段
１８  ペアクラスタ抽出手段
１９  統合処理手段
２０  分割評価演算手段
２１  クラスタ分散演算手段
２１＊  クラスタ割合演算手段
２２，２２＊  ノイズクラスタ除去手段
【図１】
2004310360.tif 000003
【図２】
2004310360.tif 000004
【図３】
2004310360.tif 000005
【図４】
2004310360.tif 000006
【図５】
2004310360.tif 000007
【図６】
2004310360.tif 000008
【図７】
2004310360.tif 000009
【図８】
2004310360.tif 000010
【図９】
2004310360.tif 000011
【図１０】
2004310360.tif 000012
【図１１】
2004310360.tif 000013