"複数の文書を含む文書群から単位文書を生成する文書生成装置であって、文書群を入力する入力手段と、前記文書群から単位文書の中核となる基準文書を抽出する基準文書抽出手段と、前記基準文書を単語を素性とするモデルを用いてテキスト分類する基準文書分析手段と、前記基準文書の近傍に存在する近傍文書を文書群から抽出する近傍文書抽出手段と、前記基準文書と前記近傍文書の距離を求める近傍文書距離分析手段と、前記基準文書と前記近傍文書の類似度を求める近傍文書類似度分析手段と、前記基準文書分析手段の基準文書分析結果と前記近傍文書距離分析手段の近傍文書距離分析結果と前記近傍文書類似度分析手段の近傍文書類似度分析結果を用いて、前記基準文書を拡張して単位文書を生成する単位文書生成手段と、生成された前記単位文書を出力する出力手段と、を有することを特徴とする文書生成装置。前記近傍文書距離分析手段は、前記基準文書と前記近傍文書の距離を、該基準文書と該近傍文書に明示的に与えられた文書順番の差とする請求項1記載の文書生成装置。前記単位文書生成手段は、前記近傍文書に出現する語が、該近傍文書における該語の出現回数に、前記近傍文書距離分析結果に基づく重みと、前記近傍文書類似度分析結果に基づく重みを与えた重み付き出現回数の数、基準文書に出現すると見なすことで基準文書を拡張して単位文書とする手段を含む請求項1記載の文書生成装置。複数の文書を含む文書群から単位文書を生成する文書生成方法であって、入力手段が、文書群を入力する入力ステップと、基準文書抽出手段が、前記文書群から単位文書の中核となる基準文書を抽出する基準文書抽出ステップと、基準文書分析手段が、前記基準文書を単語を素性とするモデルを用いてテキスト分類する基準文書分析ステップと、近傍文書抽出手段が、前記基準文書の近傍に存在する近傍文書を文書群から抽出する近傍文書抽出ステップと、近傍文書距離分析手段が、前記基準文書と前記近傍文書の距離を求める近傍文書距離分析ステップと、近傍文書類似度分析手段が、前記基準文書と前記近傍文書の類似度を求める近傍文書類似度分析ステップと、単位文書生成手段が、前記基準文書分析ステップでの基準文書分析結果と前記近傍文書距離分析ステップでの近傍文書距離分析結果と前記近傍文書類似度分析ステップでの近傍文書類似度分析結果を用いて、前記基準文書を拡張して単位文書を生成する単位文書生成ステップと、出力手段が、前記単位文書生成ステップにおいて生成された前記単位文書を出力する出力ステップと、を有することを特徴とする文書生成方法。前記近傍文書距離分析ステップにおいて、前記基準文書と前記近傍文書の距離を、該基準文書と該近傍文書に明示的に与えられた文書順番の差とする請求項4記載の文書生成方法。前記単位文書生成ステップにおいて、前記近傍文書に出現する語が、該近傍文書における該語の出現回数に、前記近傍文書距離分析結果に基づく重みと、前記近傍文書類似度分析結果に基づく重みを与えた重み付き出現回数の数、基準文書に出現すると見なすことで基準文書を拡張して単位文書とする請求項4記載の文書生成方法。コンピュータを、請求項1乃至3記載のいずれか1項に記載の文書生成装置の各手段として機能させるための文書生成プログラム。上記のように、上記従来の単位文書を生成する1の技術では、単位文書長を一定することができず、また、2の技術では、連続文書間の意味のつながりを考慮できず、後続して行う分析の精度を落とさないように単位文書長を固定値に既定することが難しいという問題がある。本発明は、上記の点に鑑みなされたもので、複数の文書を含む文書群から近傍文書との意味の連続性を考慮した、文書長が固定値の単位文書を生成することが可能な文書生成装置及び方法及びプログラムを提供することを目的とする。上記の課題を解決するため、本発明は、複数の文書を含む文書群から単位文書を生成する文書生成装置であって、文書群を入力する入力手段と、前記文書群から単位文書の中核となる基準文書を抽出する基準文書抽出手段と、前記基準文書を単語を素性とするモデルを用いてテキスト分類する基準文書分析手段と、前記基準文書の近傍に存在する近傍文書を文書群から抽出する近傍文書抽出手段と、前記基準文書と前記近傍文書の距離を求める近傍文書距離分析手段と、前記基準文書と前記近傍文書の類似度を求める近傍文書類似度分析手段と、前記基準文書分析手段の基準文書分析結果と前記近傍文書距離分析手段の近傍文書距離分析結果と前記近傍文書類似度分析手段の近傍文書類似度分析結果を用いて、前記基準文書を拡張して単位文書を生成する単位文書生成手段と、生成された前記単位文書を出力する出力手段と、を有する。また、本発明は、前記近傍文書距離分析手段において、前記基準文書と前記近傍文書の距離を、該基準文書と該近傍文書に明示的に与えられた文書順番の差とする。また、本発明は、前記単位文書生成手段において、前記近傍文書に出現する語が、該近傍文書における該語の出現回数に、前記近傍文書距離分析結果に基づく重みと、前記近傍文書類似度分析結果に基づく重みを与えた重み付き出現回数の数、基準文書に出現すると見なすことで基準文書を拡張して単位文書とする手段を含む。上記のように本発明によれば、基準文書の近傍の近傍文書に登場する語が、基準文書にも重みつき回数だけ出現すると見做して基準文書を拡張して単位文書を生成することにより、複数の文書を含む文書群から、基準文書と近傍文書との意味の連続性を考慮した文書長が固定値の単位文書を生成することが可能となる。以下図面と共に、本発明の実施の形態を説明する。図4は、本発明の一実施の形態における単位文書生成装置の構成を示す。同図に示す単位文書生成装置は、文書群入力部11と、基準文書抽出部12と、基準文書分析部13と、近傍文書抽出部14と、近傍文書距離分析部15と、近傍文書類似度分析部16と、単位文書生成部17と、単位文書出力部18を有する。また、本装置は、メモリ図示せずを有しており、各部はメモリを用いてデータ伝送一時保存を行う。文書入力部11は、分析対象の文書群を入力し、基準文書抽出部12及び近傍文書抽出部14に出力する。基準文書抽出部12は、文書入力部11から入力された文書群の各レコードを1つの基準文書として抽出し、基準IDを付与して基準文書分析部13に出力する。基準文書分析部13は、基準文書の各レコードの内容テキストを形態素解析し、得られた各名詞についてモデル化し、文書ベクトルで表現する。近傍文書抽出部14は、文書群入力部11から取得した文書群から、所定の範囲内の基準文書を近傍文書として抽出する。近傍文書距離分析部15は、基準部署分析部13から出力された基準文書及び近傍文書抽出部14から出力された近傍文書のページを用いて、各基準文書及び各近傍文書の距離スコアを計算する。近傍文書類似度分析部16は、基準文書及び近傍文書の文書ベクトルから基準文書と近傍文書間の類似度スコアを計算する。単位文書生成部17は、各基準文書の情報ISBN、ページ、文書ベクトル、基準文書と近傍文書の距離スコア及び類似度スコアから基準文書を拡張した単位文書を生成する。単位文書出力部18は、単位文書生成部17で生成された単位文書を出力する。本装置は、文書間の境界が明示的でない複数の文書を含む文書群を入力として固定長の単位文書群を出力するものであり、ここでは、小説を文書間の境界が明示的でない複数の文書を含む文書群とする。以下に、上記の構成における動作を詳細に説明する。なお、小説は図5のように、1ページが1つの電子テキストファイルとして予め成形されており、各電子テキストファイルには小説のISBN、ページ番号がメタ情報として付与されているとする。各ページは、EPUB形式の書籍データのように、電子書籍端末に表示して初めてページが定義されるものでも構わない。図6は、本発明の一実施の形態における単位文書生成装置のフローチャートである。ステップ1文書群入力ステップ:文書群入力部11が、分析対象の文書群を入力し、当該文書群を基準文書抽出部12と近傍文書抽出部14に出力するステップ101。具体的には、図5の小説データを受け付け、図7に示すように、ISBN、ページ、内容テキストからなるデータ構造でメモリ内に保持する。ステップ2基準文書抽出分析ステップ:基準文書抽出部12と基準文書分析部13において基準文書の抽出と分析を行う。基準文書抽出部12は、図7に示すデータの各レコードを一つの基準文書として抽出し、各基準文書に基準文書IDを付与し、図8のデータ構造でメモリ上に保持するステップ102。次に、基準文書分析部13が、図8のデータの各レコードの内容テキストを形態素解析し、出現する名詞を素性としてBOWBagofwordsモデルに基づく文書ベクトルで表現し、図9に示すように、基準文書ID,ISBN、ページ、文書ベクトルからなるデータ構造でメモリ上に保持するステップ103。このとき、素性として用いる名詞は、全レコード中で一定回数以上登場するもののみに絞ってもよいし、素性としてすべての品詞を用いても構わない。なお、BOWモデルに基づく文書ベクトル表現とは、図10に示すように、文書を語の出現回数または出現頻度に基づく指標で表現したモデルであり、文書のクラスタリングタスクにおいて広く一般的に用いられている表現方法である。ステップ3近傍文書抽出分析ステップ:近傍文書抽出部14が、近傍文書の抽出と分析を行う。近傍文書抽出部14は、図9のデータの各レコードに対し、前Nbページ以内、後Na以内にある基準文書を近傍文書として抽出するステップ104。ここではNb=0、Na=2とし、図11のフローチャートに基づいて近傍文書を抽出し、図12に示すように、基準文書IDと近傍文書の基準文書IDからなるデータ構造でメモリ上に保持するステップ104。以下に、上記のステップ104の詳細を図11のフローチャートに基づいて説明する。近傍文書抽出部14は、文書入力部11から取得した図9のデータに未処理の基準文書があるかを判定しステップ1041、ない場合はステップ1041、No当該処理を終了し、ある場合はステップ1041、Yes、未処理かつ、基準文書IDが最小の基準文書xを取得するステップ1042。基準文書dのページから後ろにNaページ以内の範囲にxとISBNが同一の基準文書群Dがあるかを判定しステップ1043、ない場合はステップ1043、No、当該基準文書xには近傍文書がないと判定しステップ1044、ステップ1041に移行する。一方、基準文書群Dがある場合はステップ1043、Yes、Dをxの近傍文書群としてxを処理済みとしステップ1045、ステップ1041に移行する。次に、近傍文書距離分析部5は、図12のデータのレコードの各基準文書IDと該基準文書の近傍文書となっている基準文書群のID群に対応するページの文書ベクトルを図9のデータから抽出して、各基準文書と近傍文書間の距離スコアを計算し、図13に示すように、基準文書ID金文書の基準文書ID,距離スコアからなるデータ構造でメモリ上に保持するステップ105。このとき、距離スコアはページが近いほど高くなるように、下記式にて計算する。距離スコア1例えば、図9に示す基準文書ID=1の文書と、図12に示す当該基準文書の近傍文書である基準文書ID=3の文書の間の距離スコアは、105となる。次に、近傍文書類似度分析部16は、図13のデータの各レコードに対し、図9のデータから取得した各基準文書のベクトルと、当該基準文書の基準文書IDに対応する図12の近傍文書の基準文書の文書ベクトルを用いて、各基準文書近傍文書間の類似度スコアを計算し、図14に示すように、基準文書ID、近傍文書の基準文書ID、距離スコア、類似度スコアからなるデータ構造でメモリ上に保持するステップ106。このとき、類似度スコアは文書ベクトル間のコサイン類似度とする。なお、ベクトルXとベクトルYのコサイン類似度は下記式で計算できる。コサイン類似度XYこのとき、は内積、はノルムを表す。ステップ4単位文書生成出力ステップ:単位文書生成部17は、図9のデータから各基準文書のISBN、ページ、文書ベクトル、図14のデータから各基準文書近傍文書間の距離スコア、類似度スコアを取得し、下記式にて各基準文書を拡張して単位文書を生成し、各基準文書IDと同一の単位文書IDを付与し、図15に示すように、単位文書ID、ISBN、ページ、単位文書ベクトルからなるデータ構造でメモリ上に保持するステップ107。xxΣこのとき、xはある基準文書の文書ベクトル、Dは該基準文書の近傍文書集合、yiはD内のi番目の近傍文書の文書ベクトル、wdiは該基準文書とD内のi番目の近傍文書の間の距離スコア、wsiは該基準文書とD内のi番目の近傍文書の間の類似度スコア、xは該基準文書を拡張して生成された単位文書の文書ベクトル、を表す。上記の図15の各単位文書は、図9の各基準文書が拡張されている。例えば、図9の基準文書IDが1の文書ベクトルを見ると、ネットの出現回数または出現頻度に基づく指標は0であるが、図15の単位文書IDが1の文書ベクトルを見ると、ネットの出現回数または出現頻度に基づく指標が25になっている。これは基準文書では出現していない語も、基準文書が拡張されて単位文書になると出現していると見做せる。次に、単位文書出力部18は、図15のデータの各レコードを取得し、図16のようにメタ情報付きテキストファイルとして出力するステップ108。上記のように、本発明は、ページ間の距離物理的な離れ度合いと類似度内容的に似た度合いがあり、基準文書の各ページの文書ベクトルを近傍ページとの距離と類似度を重みとして基準文書を変更拡張して単位文書を生成する。上記の図4に示す文書生成装置の構成要素の動作をプログラムとして構築し、文書生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更応用が可能である。"