与えられた文書集合の中から、文書集合を代表する1つ以上の文書を選択する代表的文書選択択装置であって、前記文書集合の文書を連結した連結文書を作成する文書連結手段と、前記連結文書から接尾辞配列を構築する接尾辞配列構築手段と、前記接尾辞配列を記憶する接尾辞配列記憶手段と、前記文書集合の各文書に対して、該文書に含まれる部分文字列の、前記連結文書における出現頻度と、前記連結文書において該部分文字列の次に出現する文字の種類数である異なり次文字数と、を前記接尾辞配列記憶手段の前記接尾辞配列から検索結果として取得する部分文字列検索手段と、前記部分文字列検索手段の検索結果から前記文書の文書スコアを計算する文書スコア計算手段と、前記文書スコアを基に、代表的文書集合を決定して出力する文書選択手段と、を有することを特徴とする代表的文書選択装置。前記部分文字列検索手段の検索結果を記憶する検索結果キャッシュ手段を有し、前記部分文字列検索手段は、前記文書に含まれる部分文字列の検索結果が前記検索結果キャッシュ手段に含まれていない場合は、該部分文字列の前記出現頻度と前記異なり次文字数を前記接尾辞配列記憶手段の前記接尾辞配列から検索結果として取得すると同時に該検索結果を前記検索結果キャッシュ手段に記憶し、前記文書に含まれる部分文字列の検索結果が前記検索結果キャッシュ手段に含まれている場合は、該検索結果キャッシュ手段から該検索結果を取得する手段と、を含む請求項1記載の代表的文書選択装置。前記文書集合の各文書に対して、該文書が持つ情報から該文書に荷重を与え、該荷重に比例した確率に従ってサンプリングを行ってサンプリング文書集合を生成するサンプリング文書集合生成手段を有し、前記文書連結手段は、前記サンプリング文書集合の文書を連結した連結文書を作成する手段を含む請求項1または2記載の代表的文書選択装置。与えられた文書集合の中から、文書集合を代表する1つ以上の文書を選択する代表的文書選択択方法であって、文書連結手段が、前記文書集合の文書を連結した連結文書を作成する文書連結ステップと、接尾辞配列構築手段が、前記連結文書から接尾辞配列を構築し、接尾辞配列記憶手段に格納する接尾辞配列構築ステップと、部分文字列検索手段が、前記文書集合の各文書に対して、該文書に含まれる部分文字列の、前記連結文書における出現頻度と、前記連結文書において該部分文字列の次に出現する文字の種類数である異なり次文字数と、を前記接尾辞配列記憶手段の前記接尾辞配列から検索結果として取得する部分文字列検索ステップと、文書スコア計算手段が、前記部分文字列検索手段の検索結果から前記文書の文書スコアを計算する文書スコア計算ステップと、文書選択手段が、前記文書スコアを基に、代表的文書集合を決定して出力する文書選択ステップと、を行うことを特徴とする代表的文書選択方法。前記部分文字列検索ステップにおいて、前記部分文字列検索手段の検索結果を記憶するための検索結果キャッシュ手段に、前記文書に含まれる部分文字列の検索結果が含まれていない場合は、該部分文字列の前記出現頻度と前記異なり次文字数を前記接尾辞配列記憶手段の前記接尾辞配列から検索結果として取得すると同時に該検索結果を前記検索結果キャッシュ手段に記憶し、前記文書に含まれる部分文字列の検索結果が前記検索結果キャッシュ手段に含まれている場合は、該検索結果キャッシュ手段から該検索結果を取得する請求項4記載の代表的文書選択方法。サンプリング文書集合生成手段が、前記文書集合の各文書に対して、該文書が持つ情報から該文書に荷重を与え、該荷重に比例した確率に従ってサンプリングを行ってサンプリング文書集合を生成するサンプリング文書集合生成ステップを更に行い、前記文書連結ステップにおいて、前記サンプリング文書集合の文書を連結した連結文書を作成する請求項4または5記載の代表的文書選択方法。コンピュータを、請求項1乃至3のいずれか1項に記載の代表的文書選択装置の各手段として機能させるための代表的文書選択プログラム。請求項7の代表的文書選択プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。上記のように、現在は、与えられた文書集合に対して短い時間で学習を完了させ、また、文書を単語の集合に分割することなく可変長の部分文字列集合として扱い、どのような言語で記述された文書に対しても、短い時間かつ高い精度で代表的な文書を発見可能な技術は存在しない。本発明は、上記の点に鑑みなされたもので、与えられた文書集合の学習を、連結した文書の文字列から接尾辞配列を構築することのみとすることで、形態素解析や部分文字列長の制限が無く、少ない記憶容量短い学習時間高精度な文書スコア付けを同時に全て実現する代表的文書選択装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。上記尾の課題を解決するため、本発明請求項1は、与えられた文書集合の中から、文書集合を代表する1つ以上の文書を選択する代表的文書選択択装置であって、前記文書集合の文書を連結した連結文書を作成する文書連結手段と、前記連結文書から接尾辞配列を構築する接尾辞配列構築手段と、前記接尾辞配列を記憶する接尾辞配列記憶手段と、前記文書集合の各文書に対して、該文書に含まれる部分文字列の、前記連結文書における出現頻度と、前記連結文書において該部分文字列の次に出現する文字の種類数である異なり次文字数と、を前記接尾辞配列記憶手段の前記接尾辞配列から検索結果として取得する部分文字列検索手段と、前記部分文字列検索手段の検索結果から前記文書の文書スコアを計算する文書スコア計算手段と、前記文書スコアを基に、代表的文書集合を決定して出力する文書選択手段と、を有する。また、本発明請求項2は、前記部分文字列検索手段の検索結果を記憶する検索結果キャッシュ手段を有し、前記部分文字列検索手段は、前記文書に含まれる部分文字列の検索結果が前記検索結果キャッシュ手段に含まれていない場合は、該部分文字列の前記出現頻度と前記異なり次文字数を前記接尾辞配列記憶手段の前記接尾辞配列から検索結果として取得すると同時に該検索結果を前記検索結果キャッシュ手段に記憶し、前記文書に含まれる部分文字列の検索結果が前記検索結果キャッシュ手段に含まれている場合は、該検索結果キャッシュ手段から該検索結果を取得する手段と、を含む。また、本発明請求項3は、前記文書集合の各文書に対して、該文書が持つ情報から該文書に荷重を与え、該荷重に比例した確率に従ってサンプリングを行ってサンプリング文書集合を生成するサンプリング文書集合生成手段を有し、前記文書連結手段は、前記サンプリング文書集合の文書を連結した連結文書を作成する手段を含む。上記のように構成された請求項1記載の代表的文書選択装置によれば、文書に含まれる部分文字列の、文書集合全体における出現頻度や異なり次文字数を、接尾辞配列を用いて高速に取得し、訓練集合に基づいた各部分文字列の生起確率を求めることで、文書集合を代表する文書を高い精度かつ短い時間で選択することができる。学習は文書集合を連結した文書から接尾辞配列を構築するのみであるため、形態素解析やngram分割の必要が無く、どんな言語で記述された文書に対しても共通の処理を用いて、少ない記憶容量短い学習時間で代表的文書選択器を実現できる。本発明は、検索結果のランキング、文書集合中の不要文書削除、マイクロブログからのパーソナライズを行うための文書選択などに応用可能である。以下図面と共に、本発明の実施の形態を説明する。図1は、本発明の一実施の形態における代表的文書選択装置の構成を示す。同図に示す代表的文書選択装置は、サンプリング文書集合生成部1と文書連結部2と接尾辞配列構築部3と接尾辞配列記憶部4と部分文字列検索部5と文書スコア計算部6と文書選択部7と検索結果キャッシュ部8から構成され、訓練文書集合を受け取り、1つ以上の代表的文書を出力する。まず、学習動作について説明する。当該学習動作は、サンプリング文書集合生成部1、文書連結部2、接尾辞配列構築部3、接尾辞配列記憶部4を用いる。図2は、本発明の一実施の形態における代表的文書選択装置の学習動作フローチャートである。ステップ101サンプリング文書集合生成部1は、与えられた文書集合の各文書に対して、該文書が持つ情報から該文書に荷重を与え、前記荷重に比例した確率に従ってサンプリングを行って訓練文書集合を生成する。例えば、文書diの荷重wiの計算は、文書情報として文書の引用回数RTiを用いて、と計算できる。なお、文書情報としては、その他にも文書の生成時刻、文書長、文書著者のマイクロブログにおける友人数などとを利用しても良い。このように文書を確率的にサンプリングすることによって、重要とみなされる文書に含まれる文字列に基づいて、代表的文書を選択することができる。ステップ102文書連結部2は、ステップ101で生成された訓練文書集合から、文書内容を連結した連結文書を作成する。ここで、文書の連結順序は、ランダム順、文書の作成時間順など如何なる順序でも良い。ステップ103接尾辞配列構築部3は、前記文書連結部2の出力した連結文書から接尾辞配列を構築する。図3に構築された接尾辞配列の例を示す。図3において、列SAは、各接尾辞suffixが、基の文書中のどの位置に出現するかを表す。また、列lcpは、接尾辞配列における次行の接尾辞との共通接頭辞長を表す。ここで、接尾辞配列の構築には、文献1GNongSZhangandWHChanTwoefficientalgorithmsforlinearsuffixarrayconstruction2008で示される手法などの公知のアルゴリズムが利用可能で、文書長の長さに比例する時間で高速に構築することが可能である。また、接尾辞配列よりもさらに必要な記憶容量を減らすことのできるCompressedSuffixArray文献2:RGrossiandJSVitterCompressedSuffixArraysandSuffixTreeswithApplicationstoTextIndexingandStringMatchingSIAMJournalonComputing352005378407やFMindex文献3:PaoloFerraginaandGiovanniManziniIndexingcompressedtextJournaloftheACM524552581を用いても良い。ステップ104接尾辞配列記憶部4は、前記接尾辞配列構築部3によって構築された接尾辞配列を記憶する。以上で学習動作は完了であり、本発明における学習動作は接尾辞配列の構築のみであるため、非常に短い時間で文書選択の準備を整えることができる。次に、代表的文書選択装置の文書選択処理について説明する。当該処理は、接尾辞配列記憶部4、部分文字列検索部5、検索結果キャッシュ部8、文書スコア計算部6、文書選択部7を用いる。図4は、本発明の一実施の形態における代表的文書選択装置の文書選択動作フローチャートである。ステップ201部分文字列検索部5は、外部から与えられた文書集合の文書dに含まれる全ての部分文字列を検索する。図5に示す、文書がbracaraの場合を用いて本ステップの説明を行う。当該部分文字列検索部5は、文書の長さがmこの例では7のとき、m回のループループ1~ループmを処理する。まずループ1では、文字列bの出現頻度を、前記検索結果キャッシュ部8または前記接尾辞配列記憶部4から検索して取得する。次は文字列br、その次はbra、という様に1文字ずつ検索文字列を追加していく。このとき、該部分文字列の接尾辞配列中の出現範囲をメモリ図示せずに記録しておき、次の部分文字列の検索範囲として設定することで、効率的な検索が行える。なお、出現頻度が0になったところで、該ループにおける以降の部分文字列の出現頻度は全て0となるので次ループに移る。ループ2も同様に、文字列rrarac...の順に検索結果を取得し、以降、最後のループmまで同様の処理を行う。当該ステップにより、部分文字列検索部5は、前記連結文書において出現頻度が0となる部分文字列を除いた全ての部分文字列に関して、出現頻度と異なり次文字数を取得する。文書に含まれる部分文字列数の総数はm2個であるが、出現頻度が0回の部分文字列については検索処理を打ち切るため、効率的かつ高速に該出現頻度と該異なり次文字数を取得できる。また、検索結果キャッシュ部8に接尾辞配列からの検索結果を記憶しておくことで、さらなる高速化が可能となる。この検索結果キャッシュ部8に検索結果を格納する条件は、全て記憶、部分文字列の長さがN1以上、部分文字列の出現頻度がN2以上、これらの条件の組み合わせ、などとする。ステップ202文書スコア計算部6は、以下の式に従って文書dのスコアscoreを計算する。ここで、siは、文書dにおけるi番目の文字、は、j番目からi番目までの文字を表す。そして、siが依存する直前の文字数は、として各文字毎に決定する。ここで、ステップ201にて導出済みのはの出現頻度である。Fcutoffは、ハイパーパラメータである例えば、3などを設定する。また、を全ての文字で同じ値としても良い例えば、5などを設定する。文字siの生起確率は、以下の通り計算する。ここで、重みwは以下の通り計算できる。ただし、p0は連結文書に出現する全ての異なり文字数の逆数、ei00とする。そして、とeinは、以下の通り計算する。ここで、は、ステップ202にて導出済みの連結文書中におけるの後に続く異なり文字数である。また、は、文献4北研二確率的言語モデル東京大学出版会1999にて公知のバックオフスムージングなどにより決定しても良い。以上の様に文書のスコアを計算することで、文書を単語に分割する必要無く、文書中の2単語以上に跨る情報や、1単語未満の文字レベル情報、文字の出現順序に関する情報を全て利用して、文書集合全体の内容とマッチする文書に高いスコアを与えることが可能となる。ステップ203文書選択部7は、前記文書スコア計算部6が導出したscoreにより、スコアが高い順にN個選択する。また、scoreが閾値θ以上の文書を全て出力する、などとして選択しても良い。図6に、文書スコアの計算例を示す。文書集合として地震に関する文書を与え、これを基に接尾辞配列を構築すると、集合に含まれるある文書原子力発電について考えるについて、文書集合中には原子力発電という文字列が多く出現するため、特にpの値が1に近づく。結果として、この文書のスコアが高くなる。図7に、代表的文書の選択例を示す。上記の様に文書集合中の各文書に対して文書スコアを計算し、例えばN3とすると、文書集合中の代表的な文書3つが選択される。このように、本発明では、文書集合に含まれる特徴的な部分文字列によって、文書集合を代表する文書を高い精度で選択することができる。学習は文書集合を連結した文書から接尾辞配列を構築するのみであるため、形態素解析やngram分割の必要が無く、どんな言語で記述された文書に対しても共通の処理を用いて、少ない記憶容量短い学習時間で代表的文書選択器を実現できる。また、本発明は、図1に示す代表文書選択装置の構成要素の動作をプログラムとして構築し、マイクロブログ代表的文書選択装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。また、構築されたプログラムをハードディスクやフレキシブルディスク、CD-ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更応用が可能である。