(57)【特許請求の範囲】
【請求項１】
複数の文書を含む文書群から単位文書を生成する文書生成装置であって、
文書群を入力する入力手段と、
前記文書群から単位文書の中核となる基準文書を抽出する基準文書抽出手段と、
前記基準文書を単語を素性とするモデルを用いてテキスト分類する基準文書分析手段と、
前記基準文書の近傍に存在する近傍文書を文書群から抽出する近傍文書抽出手段と、
前記基準文書と前記近傍文書の距離を求める近傍文書距離分析手段と、
前記基準文書と前記近傍文書の類似度を求める近傍文書類似度分析手段と、
前記基準文書分析手段の基準文書分析結果と前記近傍文書距離分析手段の近傍文書距離分析結果と前記近傍文書類似度分析手段の近傍文書類似度分析結果を用いて、前記基準文書を拡張して単位文書を生成する単位文書生成手段と、
生成された前記単位文書を出力する出力手段と、
を有することを特徴とする文書生成装置。
【請求項２】
前記近傍文書距離分析手段は、
前記基準文書と前記近傍文書の距離を、該基準文書と該近傍文書に明示的に与えられた文書順番の差とする
請求項１記載の文書生成装置。
【請求項３】
前記単位文書生成手段は、
前記近傍文書に出現する語が、該近傍文書における該語の出現回数に、前記近傍文書距離分析結果に基づく重みと、前記近傍文書類似度分析結果に基づく重みを与えた重み付き出現回数の数、基準文書に出現すると見なすことで基準文書を拡張して単位文書とする手段を含む
請求項１記載の文書生成装置。
【請求項４】
複数の文書を含む文書群から単位文書を生成する文書生成方法であって、
入力手段が、文書群を入力する入力ステップと、
基準文書抽出手段が、前記文書群から単位文書の中核となる基準文書を抽出する基準文書抽出ステップと、
基準文書分析手段が、前記基準文書を単語を素性とするモデルを用いてテキスト分類する基準文書分析ステップと、
近傍文書抽出手段が、前記基準文書の近傍に存在する近傍文書を文書群から抽出する近傍文書抽出ステップと、
近傍文書距離分析手段が、前記基準文書と前記近傍文書の距離を求める近傍文書距離分析ステップと、
近傍文書類似度分析手段が、前記基準文書と前記近傍文書の類似度を求める近傍文書類似度分析ステップと、
単位文書生成手段が、前記基準文書分析ステップでの基準文書分析結果と前記近傍文書距離分析ステップでの近傍文書距離分析結果と前記近傍文書類似度分析ステップでの近傍文書類似度分析結果を用いて、前記基準文書を拡張して単位文書を生成する単位文書生成ステップと、
出力手段が、前記単位文書生成ステップにおいて生成された前記単位文書を出力する出力ステップと、
を有することを特徴とする文書生成方法。
【請求項５】
前記近傍文書距離分析ステップにおいて、
前記基準文書と前記近傍文書の距離を、該基準文書と該近傍文書に明示的に与えられた文書順番の差とする
請求項４記載の文書生成方法。
【請求項６】
前記単位文書生成ステップにおいて、
前記近傍文書に出現する語が、該近傍文書における該語の出現回数に、前記近傍文書距離分析結果に基づく重みと、前記近傍文書類似度分析結果に基づく重みを与えた重み付き出現回数の数、基準文書に出現すると見なすことで基準文書を拡張して単位文書とする
請求項４記載の文書生成方法。
【請求項７】
コンピュータを、
請求項１乃至３記載のいずれか1項に記載の文書生成装置の各手段として機能させるための文書生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書生成装置及び方法及びプログラムに係り、特に、文書間の境界が明示的でない複数の文書を含む文書群を分析する際の、事前処理としての単位文書を生成するための文書生成装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
複数の文書を含む文書群を分析することは頻繁に行われている。
【０００３】
中でもクラスタリングは利用頻度が高く、例えば、新聞記事集合内の各記事を、記事間の類似性に基づいて部分集合に分類して、各記事へのアクセシビリティを高めることがよく行われている。
【０００４】
あるいは、小説内の各ページに適切な挿絵を判定する行為も、クラスタリングにより精度を向上させることができる。すなわち、図１に示すように、小説内の各ページを、ページ間の類似性に基づいて部分集合に分類して、各部分集合内のページ全体から得られる多くの情報に基づいて、部分集合ごとに適切な挿絵を判定する。これにより、１ページだけから得られる少ない情報に基づいて、適切な挿絵を判定するよりも、精度良く各ページに適切な挿絵を判定して表示する電子書籍端末を実現することができる。
【０００５】
文書間の境界が明示的でない複数の文書を含む文書群を分析する際、事前に分析の最小単位である単位文書を定義する必要がある。しかし、従来の手法では、単位文書長を固定値に既定とすることが難しいという問題がある。
【０００６】
以降、文書間の境界が明示的でない複数の文書を含む文書群として、小説を例に説明する。
【０００７】
単位文書を定義するためには、
（１）テキストセグメンテーションに基づく方法；
（２）固定長境界に基づく方法；
の２つの手段がある。
【０００８】
（１）テキストセグメンテーションに基づく方法の代表例である非特許文献１では、連続文書中のある基準点に対して前後同数の単語を含む窓を設け、前後の窓の類似度が高い部分を意味的な連続区間とみなし、類似度が極小となる基準点を文書の境界と判定している。判定した各境界間の文書を単位文書とすることが可能である。この場合、原理上、単位文書長は一定とはならない。
【０００９】
しかし、単位文書長を固定値に既定したい場合もある。例えば、図２のような電子書籍端末の実現を前提とした、小説内の各ページへの適切な挿絵付与を目的とするクラスタリングの場合、単位文書長は小説の１ページと同じであることが望ましい。
【００１０】
もし、単位文書長を小説の１ページに既定できない場合、ある単位文書は小説内の連続する複数ページからなっている可能性がある。この場合、この連続する数ページには必ず同じ挿絵が表示されることになり、読者は退屈してしまう可能性がある。
【００１１】
（２）固定長境界に基づく方法を用いれば、単位文書長の小説の１ページと同一にすることは容易である。すなわち、小説の書くページを各単位文書とすればよい。但し、この場合、意味の連続性が考慮されていない文書境界に基づいて単位文書が生成されているため、これらの単位文書に対するクラスタリング等の分析精度が低下してしまうという問題がある。
【００１２】
例えば、図３のように連続する２ページがあるとき、意味の連続性を考慮するならば、ページＰ１０、とページＰ１１は同一の単位文書に含まれるべきあるが、単純に小説の１ページを単位文書とすると、Ｐ１１とＰ１２は異なる単位文書となる。この場合、Ｐ１１には「ネット」や「ラケット」という語が出現しないので、Ｐ１１はテニスに冠するウ文書なのか、野球に関する文書なのか特定できず、クラスタリング精度は低下する。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Hearst. M. Text Tilling: Segmenting Text into Multi-Paragraph Subtopic Passages, Computational Linguistics. 23(1). pp.33-64, March 1997.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のように、上記従来の単位文書を生成する（１）の技術では、単位文書長を一定することができず、また、（２）の技術では、連続文書間の意味のつながりを考慮できず、後続して行う分析の精度を落とさないように単位文書長を固定値に既定することが難しいという問題がある。
【００１５】
本発明は、上記の点に鑑みなされたもので、複数の文書を含む文書群から近傍文書との意味の連続性を考慮した、文書長が固定値の単位文書を生成することが可能な文書生成装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するため、本発明は、複数の文書を含む文書群から単位文書を生成する文書生成装置であって、
文書群を入力する入力手段と、
前記文書群から単位文書の中核となる基準文書を抽出する基準文書抽出手段と、
前記基準文書を単語を素性とするモデルを用いてテキスト分類する基準文書分析手段と、
前記基準文書の近傍に存在する近傍文書を文書群から抽出する近傍文書抽出手段と、
前記基準文書と前記近傍文書の距離を求める近傍文書距離分析手段と、
前記基準文書と前記近傍文書の類似度を求める近傍文書類似度分析手段と、
前記基準文書分析手段の基準文書分析結果と前記近傍文書距離分析手段の近傍文書距離分析結果と前記近傍文書類似度分析手段の近傍文書類似度分析結果を用いて、前記基準文書を拡張して単位文書を生成する単位文書生成手段と、
生成された前記単位文書を出力する出力手段と、を有する。
【００１７】
また、本発明は、前記近傍文書距離分析手段において、
前記基準文書と前記近傍文書の距離を、該基準文書と該近傍文書に明示的に与えられた文書順番の差とする。
【００１８】
また、本発明は、前記単位文書生成手段において、
前記近傍文書に出現する語が、該近傍文書における該語の出現回数に、前記近傍文書距離分析結果に基づく重みと、前記近傍文書類似度分析結果に基づく重みを与えた重み付き出現回数の数、基準文書に出現すると見なすことで基準文書を拡張して単位文書とする手段を含む。
【発明の効果】
【００１９】
上記のように本発明によれば、基準文書の近傍の近傍文書に登場する語が、基準文書にも重みつき回数だけ出現すると見做して基準文書を拡張して単位文書を生成することにより、複数の文書を含む文書群から、基準文書と近傍文書との意味の連続性を考慮した文書長が固定値の単位文書を生成することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】従来の電子書籍端末の動作を示す図である。
【図２】小説内の各ページへの挿絵付与の例である。
【図３】連続する2ページの例である。
【図４】本発明の一実施の形態における単位文書生成装置の構成図である。
【図５】本発明の一実施の形態における小説の例である。
【図６】本発明の一実施の形態における単位文書生成装置のフローチャートである。
【図７】本発明の一実施の形態における文書群入力部の出力データの例である。
【図８】本発明の一実施の形態における抽出された基準文書の例である。
【図９】本発明の一実施の形態における基準文書の分析結果である。
【図１０】本発明の一実施の形態におけるBOWモデルに基づく文書ベクトル表現の例である。
【図１１】本発明の一実施の形態における近傍文書抽出部のフローチャートである。
【図１２】本発明の一実施の形態における近傍文書抽出部で抽出された近傍文書の例である。
【図１３】本発明の一実施の形態における近傍文書距離分析部で得られた距離スコアの例である。
【図１４】本発明の一実施の形態における近傍文書類似度分析部で求められた類似度スコアの例である。
【図１５】本発明の一実施の形態における単位文書生成部で生成された単位文書の例である。
【図１６】本発明の一実施の形態における単位文書出力部から出力されるテキストファイルの例である。
【発明を実施するための形態】
【００２１】
以下図面と共に、本発明の実施の形態を説明する。
【００２２】
図４は、本発明の一実施の形態における単位文書生成装置の構成を示す。
【００２３】
同図に示す単位文書生成装置は、文書群入力部１１と、基準文書抽出部１２と、基準文書分析部１３と、近傍文書抽出部１４と、近傍文書距離分析部１５と、近傍文書類似度分析部１６と、単位文書生成部１７と、単位文書出力部１８を有する。
【００２４】
また、本装置は、メモリ（図示せず）を有しており、各部はメモリを用いてデータ伝送・一時保存を行う。
【００２５】
文書入力部１１は、分析対象の文書群を入力し、基準文書抽出部１２及び近傍文書抽出部１４に出力する。
【００２６】
基準文書抽出部１２は、文書入力部１１から入力された文書群の各レコードを１つの基準文書として抽出し、基準ＩＤを付与して基準文書分析部１３に出力する。
【００２７】
基準文書分析部１３は、基準文書の各レコードの内容テキストを形態素解析し、得られた各名詞についてモデル化し、文書ベクトルで表現する。
【００２８】
近傍文書抽出部１４は、文書群入力部１１から取得した文書群から、所定の範囲内の基準文書を近傍文書として抽出する。
【００２９】
近傍文書距離分析部１５は、基準部署分析部１３から出力された基準文書及び近傍文書抽出部１４から出力された近傍文書のページを用いて、各基準文書及び各近傍文書の距離スコアを計算する。
【００３０】
近傍文書類似度分析部１６は、基準文書及び近傍文書の文書ベクトルから基準文書と近傍文書間の類似度スコアを計算する。
【００３１】
単位文書生成部１７は、各基準文書の情報（ISBN、ページ、文書ベクトル）、基準文書と近傍文書の距離スコア及び類似度スコアから基準文書を拡張した単位文書を生成する。
【００３２】
単位文書出力部１８は、単位文書生成部１７で生成された単位文書を出力する。
【００３３】
本装置は、文書間の境界が明示的でない複数の文書を含む文書群を入力として固定長の単位文書群を出力するものであり、ここでは、小説を文書間の境界が明示的でない複数の文書を含む文書群とする。
【００３４】
以下に、上記の構成における動作を詳細に説明する。
【００３５】
なお、小説は図５のように、１ページが１つの電子テキストファイルとして予め成形されており、各電子テキストファイルには小説のISBN、ページ番号がメタ情報として付与されているとする。各ページは、EPUB形式の書籍データのように、電子書籍端末に表示して初めてページが定義されるものでも構わない。
【００３６】
図６は、本発明の一実施の形態における単位文書生成装置のフローチャートである。
【００３７】
ステップ１）文書群入力ステップ：
文書群入力部１１が、分析対象の文書群を入力し、当該文書群を基準文書抽出部１２と近傍文書抽出部１４に出力する（ステップ１０１）。具体的には、図５の小説データを受け付け、図７に示すように、ISBN、ページ、内容テキストからなるデータ構造でメモリ内に保持する。
【００３８】
ステップ２）基準文書抽出・分析ステップ：
基準文書抽出部１２と基準文書分析部１３において基準文書の抽出と分析を行う。
【００３９】
基準文書抽出部１２は、図７に示すデータの各レコードを一つの基準文書として抽出し、各基準文書に基準文書IDを付与し、図８のデータ構造でメモリ上に保持する（ステップ１０２）。次に、基準文書分析部１３が、図８のデータの各レコードの内容テキストを形態素解析し、出現する名詞を素性としてBOW（Bag of words）モデルに基づく文書ベクトルで表現し、図９に示すように、基準文書ＩＤ，ISBN、ページ、文書ベクトルからなるデータ構造でメモリ上に保持する（ステップ１０３）。このとき、素性として用いる名詞は、全レコード中で一定回数以上登場するもののみに絞ってもよいし、素性としてすべての品詞を用いても構わない。
【００４０】
なお、BOWモデルに基づく文書ベクトル表現とは、図１０に示すように、文書を語の出現回数（または出現頻度に基づく指標）で表現したモデルであり、文書のクラスタリングタスクにおいて広く一般的に用いられている表現方法である。
【００４１】
ステップ３）近傍文書抽出・分析ステップ：
近傍文書抽出部１４が、近傍文書の抽出と分析を行う。
【００４２】
近傍文書抽出部１４は、図９のデータの各レコードに対し、前Nbページ以内、後Na以内にある基準文書を近傍文書として抽出する（ステップ１０４）。ここではNb＝0、Na＝2とし、図１１のフローチャートに基づいて近傍文書を抽出し、図１２に示すように、基準文書ＩＤと近傍文書の基準文書ＩＤからなるデータ構造でメモリ上に保持する（ステップ１０４）。
【００４３】
以下に、上記のステップ１０４の詳細を図１１のフローチャートに基づいて説明する。
【００４４】
近傍文書抽出部１４は、文書入力部１１から取得した図９のデータに未処理の基準文書があるかを判定し（ステップ１０４１）、ない場合は（ステップ１０４１、No）当該処理を終了し、ある場合は（ステップ１０４１、Yes）、未処理かつ、基準文書ＩＤが最小の基準文書ｘを取得する（ステップ１０４２）。基準文書ｄのページから後ろにNaページ以内の範囲にｘとISBNが同一の基準文書群Ｄがあるかを判定し（ステップ１０４３）、ない場合は（ステップ１０４３、No）、当該基準文書ｘには近傍文書がないと判定し（ステップ１０４４）、ステップ１０４１に移行する。一方、基準文書群Ｄがある場合は（ステップ１０４３、Yes）、Ｄをｘの近傍文書群としてｘを処理済みとし（ステップ１０４５）、ステップ１０４１に移行する。
【００４５】
次に、近傍文書距離分析部５は、図１２のデータのレコードの各基準文書ＩＤと該基準文書の近傍文書となっている基準文書群のＩＤ群に対応するページの文書ベクトルを図９のデータから抽出して、各基準文書と近傍文書間の距離スコアを計算し、図１３に示すように、基準文書ID,金文書の基準文書ID，距離スコアからなるデータ構造でメモリ上に保持する（ステップ１０５）。
【００４６】
このとき、距離スコアはページが近いほど高くなるように、下記式にて計算する。
【００４７】
距離スコア = 1 / (近傍スコアのページ − 基準文書のページ)
例えば、図９に示す基準文書ID＝1の文書と、図１２に示す当該基準文書の近傍文書である基準文書ID＝3の文書の間の距離スコアは、
1 / (3 - 1) = 0.5 
となる。
【００４８】
次に、近傍文書類似度分析部１６は、図１３のデータの各レコードに対し、図９のデータから取得した各基準文書のベクトルと、当該基準文書の基準文書IDに対応する図１２の近傍文書の基準文書の文書ベクトルを用いて、各基準文書・近傍文書間の類似度スコアを計算し、図１４に示すように、基準文書ID、近傍文書の基準文書ID、距離スコア、類似度スコアからなるデータ構造でメモリ上に保持する（ステップ１０６）。このとき、類似度スコアは文書ベクトル間のコサイン類似度とする。なお、ベクトルXとベクトルYのコサイン類似度は下記式で計算できる。
【００４９】
コサイン類似度 = (X・Y) / |X|*|Y|
このとき、・は内積、||はノルムを表す。
【００５０】
ステップ４）単位文書生成・出力ステップ：
単位文書生成部１７は、図９のデータから各基準文書のISBN、ページ、文書ベクトル、図１４のデータから各基準文書・近傍文書間の距離スコア、類似度スコアを取得し、下記式にて各基準文書を拡張して単位文書を生成し、各基準文書IDと同一の単位文書IDを付与し、図１５に示すように、単位文書ID、ISBN、ページ、単位文書ベクトルからなるデータ構造でメモリ上に保持する（ステップ１０７）。
【００５１】
x' = x + Σ(wdi * wsi * yi)
このとき、
xはある基準文書の文書ベクトル、
Dは該基準文書の近傍文書集合、
yiはD内のi番目の近傍文書の文書ベクトル、
wdiは該基準文書とD内のi番目の近傍文書の間の距離スコア、
wsiは該基準文書とD内のi番目の近傍文書の間の類似度スコア、
x'は該基準文書を拡張して生成された単位文書の文書ベクトル、
を表す。
【００５２】
上記の図１５の各単位文書は、図９の各基準文書が拡張されている。例えば、図９の基準文書ＩＤが"１"の文書ベクトルを見ると、『ネット』の出現回数（または出現頻度に基づく指標）は「０」であるが、図１５の単位文書ＩＤが"１"の文書ベクトルを見ると、『ネット』の出現回数（または出現頻度に基づく指標）が「2.5」になっている。これは基準文書では出現していない語も、基準文書が拡張されて単位文書になると出現していると見做せる。
【００５３】
次に、単位文書出力部１８は、図１５のデータの各レコードを取得し、図１６のようにメタ情報付きテキストファイルとして出力する（ステップ１０８）。
【００５４】
上記のように、本発明は、ページ間の距離（物理的な離れ度合い）と類似度（内容的に似た度合い）があり、基準文書の各ページの文書ベクトルを近傍ページとの距離と類似度を重みとして基準文書を変更（拡張）して単位文書を生成する。
【００５５】
上記の図４に示す文書生成装置の構成要素の動作をプログラムとして構築し、文書生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００５６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００５７】
１１  文書群入力部
１２  基準文書抽出部
１３  基準文書分析部
１４  近傍文書抽出部
１５  近傍文書距離分析部
１６  近傍文書類似度分析部
１７  単位文書生成部
１８  単位文書出力部
【図３】
0005506734.tif 000002
【図４】
0005506734.tif 000003
【図５】
0005506734.tif 000004
【図６】
0005506734.tif 000005
【図７】
0005506734.tif 000006
【図８】
0005506734.tif 000007
【図９】
0005506734.tif 000008
【図１０】
0005506734.tif 000009
【図１１】
0005506734.tif 000010
【図１２】
0005506734.tif 000011
【図１３】
0005506734.tif 000012
【図１４】
0005506734.tif 000013
【図１５】
0005506734.tif 000014
【図１６】
0005506734.tif 000015
【図１】
0005506734.tif 000016
【図２】
0005506734.tif 000017