(57)【要約】【課題】  対象文書毎に予め用意する文書構造抽出用論理モデルや抽出ルールの作成にかかるコストを削減し、文書の閲覧操作を行うだけで構造抽出精度を改善可能な文書構造化装置を提供する。【解決手段】  蓄積された文書データ１０１ａから文書構造を認識し文書構造情報１０３ａとして蓄積する構造認識手段１０２と、蓄積文書データをクライアント端末１０５に配信し利用者の閲覧箇所の履歴を取得し、閲覧履歴情報１０６ａとして蓄積する配信手段１０４と、閲覧履歴情報１０６ａと文書構造情報から文書構造ブロック間の相関を計算する相関計算手段１０７とを備え、構造認識手段１０２は、相関計算手段１０７が計算した文書構造ブロック間の相関を受け取り、文書構造の再認識を行う。【選択図】  図１
2006092091.tif 000002
【特許請求の範囲】
【請求項１】
文書データを記憶する文書記憶手段と、前記文書データの文書構造情報を記憶する文書構造記憶手段と、閲覧履歴情報を記憶する閲覧履歴記憶手段と、前記文書記憶手段に記憶された文書データを文書閲覧端末に配信した際の前記文書データの閲覧箇所の履歴を取得して閲覧履歴情報として前記閲覧履歴記憶手段に蓄積し、前記蓄積された閲覧履歴情報を用いて前記文書データの前記文書構造情報における文書構造ブロック間の相関を計算し、該計算した文書構造ブロック間の相関結果を用いて前記文書データの文書構造の再認識を行う処理部とを備えることを特徴とする文書構造化装置。
【請求項２】
文書データを記憶する文書記憶手段と、
文書構造情報を記憶する文書構造記憶手段と、
前記文書記憶手段に記憶された文書データから文書構造を認識し文書構造情報として前記文書構造記憶手段に蓄積する構造認識手段と、
閲覧履歴情報を記憶する閲覧履歴記憶手段と、
前記蓄積された文書構造情報を参照して前記文書データの一部、あるいは、全部を文書閲覧端末に配信する配信手段と、
前記文書閲覧端末に配信した文書の閲覧箇所の履歴を取得し閲覧履歴情報として前記閲覧履歴記憶手段に蓄積する閲覧履歴取得手段と、
前記蓄積された閲覧履歴情報を用いて、前記蓄積された文書構造情報における文書構造ブロック間の相関を計算する相関計算手段とを備え、
前記構造認識手段は、前記相関計算手段が計算した文書構造ブロック間の相関を受け取り文書構造の再認識を行うものであることを特徴とする文書構造化装置。
【請求項３】
前記構造認識手段は、再認識の結果に基づいて前記蓄積された文書構造情報を更新するものであることを特徴とする請求項２記載の文書構造化装置。
【請求項４】
前記配信手段は、１回の配信で前記文書閲覧端末の表示領域に相当するサイズの文書データを配信するものであり、前記閲覧履歴取得手段は、配信された文書データに含まれる文書構造ブロックの情報を文書の閲覧箇所の履歴として取得するものであることを特徴とする請求項２または３記載の文書構造化装置。
【請求項５】
前記閲覧履歴取得手段は、文書データが配信された時刻情報を閲覧履歴情報に含めるものであることを特徴とする請求項４記載の文書構造化装置。
【請求項６】
前記相関計算手段は、前記閲覧履歴情報が一定個数得られるたび、あるいは、一定時間経過するたび、あるいは、前記文書閲覧端末からの指示があるたび、あるいは、それらの任意の組み合わせのタイミングで文書構造ブロック間の相関を計算するものであることを特徴とする請求項２、３、４または５記載の文書構造化装置。
【請求項７】
前記相関計算手段は、前記閲覧履歴記憶手段に蓄積された同じ文書にかかる複数の閲覧履歴情報の中に、同じ文書構造ブロックを起点とする閲覧箇所の推移が複数通り存在する場合、より多数を占める閲覧箇所の推移に基づいて文書構造ブロック間の相関を計算するものであることを特徴とする請求項２または３記載の文書構造化装置。
【請求項８】
ａ）構造認識手段が、文書記憶手段に記憶された文書データから文書構造を認識し、文書構造情報として文書構造記憶手段に蓄積するステップ、
ｂ）配信手段が、前記蓄積された文書構造情報を参照して前記文書データの一部、あるいは、全部を文書閲覧端末に配信するステップ、
ｃ）閲覧履歴取得手段が、前記文書閲覧端末に配信した文書の閲覧箇所の履歴を取得し、閲覧履歴情報として閲覧履歴記憶手段に蓄積するステップ、
ｄ）相関計算手段が、前記蓄積された閲覧履歴情報を用いて、前記蓄積された文書構造情報における文書構造ブロック間の相関を計算するステップ、
ｅ）前記構造認識手段が、前記相関計算手段が計算した文書構造ブロック間の相関を受け取り、文書構造の再認識を行うステップ、
を含むことを特徴とする文書構造化方法。
【請求項９】
ｆ）前記構造認識手段が、再認識の結果に基づいて前記蓄積された文書構造情報を更新するステップ、
を含むことを特徴とする請求項８記載の文書構造化方法。
【請求項１０】
前記配信手段は、１回の配信で前記文書閲覧端末の表示領域に相当するサイズの文書データを配信し、前記閲覧履歴取得手段は、配信された文書データに含まれる文書構造ブロックの情報を文書の閲覧箇所の履歴として取得することを特徴とする請求項８または９記載の文書構造化方法。
【請求項１１】
前記閲覧履歴取得手段は、文書データが配信された時刻情報を閲覧履歴情報に含めることを特徴とする請求項１０記載の文書構造化方法。
【請求項１２】
前記相関計算手段は、前記閲覧履歴情報が一定個数得られるたび、あるいは、一定時間経過するたび、あるいは、前記文書閲覧端末からの指示があるたび、あるいは、それらの任意の組み合わせのタイミングで文書構造ブロック間の相関を計算することを特徴とする請求項８、９、１０または１１記載の文書構造化方法。
【請求項１３】
前記相関計算手段は、前記閲覧履歴記憶手段に蓄積された同じ文書にかかる複数の閲覧履歴情報の中に、同じ文書構造ブロックを起点とする閲覧箇所の推移が複数通り存在する場合、より多数を占める閲覧箇所の推移に基づいて文書構造ブロック間の相関を計算することを特徴とする請求項８または９記載の文書構造化方法。
【請求項１４】
文書データを記憶する文書記憶手段と文書構造情報を記憶する文書構造記憶手段と閲覧履歴情報を記憶する閲覧履歴記憶手段とを有するコンピュータを、
前記文書記憶手段に記憶された文書データから文書構造を認識し文書構造情報として前記文書構造記憶手段に蓄積する構造認識手段、
前記蓄積された文書構造情報を参照して前記文書データの一部、あるいは、全部を文書閲覧端末に配信する配信手段、
前記文書閲覧端末に配信した文書の閲覧箇所の履歴を取得し閲覧履歴情報として前記閲覧履歴記憶手段に蓄積する閲覧履歴取得手段、
前記蓄積された閲覧履歴情報を用いて、前記蓄積された文書構造情報における文書構造ブロック間の相関を計算する相関計算手段、
として機能させるためのプログラムであって、前記構造認識手段は、前記相関計算手段が計算した文書構造ブロック間の相関を受け取り文書構造の再認識を行うものであることを特徴とするプログラム。
【請求項１５】
前記構造認識手段は、再認識の結果に基づいて前記蓄積された文書構造情報を更新するものであることを特徴とする請求項１４記載のプログラム。
【請求項１６】
前記配信手段は、１回の配信で前記文書閲覧端末の表示領域に相当するサイズの文書データを配信するものであり、前記閲覧履歴取得手段は、配信された文書データに含まれる文書構造ブロックの情報を文書の閲覧箇所の履歴として取得するものであることを特徴とする請求項１４または１５記載のプログラム。
【請求項１７】
前記閲覧履歴取得手段は、文書データが配信された時刻情報を閲覧履歴情報に含めるものであることを特徴とする請求項１６記載のプログラム。
【請求項１８】
前記相関計算手段は、前記閲覧履歴情報が一定個数得られるたび、あるいは、一定時間経過するたび、あるいは、前記文書閲覧端末からの指示があるたび、あるいは、それらの任意の組み合わせのタイミングで文書構造ブロック間の相関を計算するものであることを特徴とする請求項１４、１５、１６または１７記載のプログラム。
【請求項１９】
前記相関計算手段は、前記閲覧履歴記憶手段に蓄積された同じ文書にかかる複数の閲覧履歴情報の中に、同じ文書構造ブロックを起点とする閲覧箇所の推移が複数通り存在する場合、より多数を占める閲覧箇所の推移に基づいて文書構造ブロック間の相関を計算するものであることを特徴とする請求項１４または１５記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像データから文書構造を認識して構造化テキストに変換する装置および方法に関し、特に、文書閲覧者の閲覧履歴を利用して文書構造認識結果を改善する文書構造化装置および文書構造化方法に関するものである。
【背景技術】
【０００２】
紙の文書を電子化して配信や再利用する際、文字認識や文書構造（タイトルや章、節、段落などのような文書を構成する意味的構造）の認識を行い、構造情報を利用した検索（例：タイトルに「インターネット」を含む文献）や部分配信（例：文献の第２段落のみ配信）を行うことが考えられている。構造情報を利用することで前者は検索精度の向上、後者では通信効率の改善が行えるが、改善の度合いは文書構造の認識結果に大きく依存している。
【０００３】
文書データからの文書構造認識には様々な手法が提案されている。例えば特許文献１では、文書のレイアウト情報を利用して文書構造の認識を行う。また、特許文献２および特許文献３では、抽出ルールと認識された文字列のパターンマッチを用いて文書構造認識を行う。また、特許文献４ではワードプロセッサなどで文書を作成する際の操作履歴（コピー、ペーストなど）を利用して構造情報を自動付加する手法を提案している。
【０００４】
他方、特許文献５には、文書利用者の意図を十分に反映した用語関連ネットワークを生成するために、文書利用者によって文書表示装置に表示される文書の表示履歴に基づいて、表示される文書部分間に対する表示推移の関係を解析し、表示推移関係を有する文書部分から抽出された用語同士の関連度を表示推移関係に基づいて算出し、所定値以上の用語関連度の用語同士を対応付けた用語関連ネットワークを生成する方法が記載されている。ただし、この特許文献５には、文書構造そのものの解析に関して特に表示履歴を利用しているという記述はない。
【特許文献１】特開平１１−１８４８９４号公報
【特許文献２】特開平８−２８７１８９号公報
【特許文献３】特開平９−３１９７４７号公報
【特許文献４】特開平１０−２２２５０６号公報
【特許文献５】特開平１０−２２２５３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献４の文書構造化手法では、文書作成時の操作履歴を用いるため、文書の作成段階から特許文献４が要求するシステムを利用しておかなければならず、すでに完成済み、あるいは紙に出力された文書に対しては適用できないという問題がある。
【０００６】
これに対して、文書レイアウトの論理モデルや構造抽出ルールを利用して文書構造の抽出を行う特許文献１、２および３の文書構造化手法は、そのような問題は生じない。しかし、認識するための規範となる文書レイアウトの論理モデルや構造抽出ルールが対象文書に正確に合っていないと認識精度が低いという問題がある。この認識精度を向上させるためには、従来は、規範となる文書レイアウトの論理モデルや構造抽出ルールを対象文書に正確に合わせる必要があり、多くの労力を必要とするという問題がある。また、特定の或る対象文書に正確に合わせた文書レイアウトの論理モデルや構造抽出ルールは、その対象文書に特化したものとなるため、その対象文書と少しでも相違する文書に対しては精度が低下し、汎用性に欠けるという問題がある。
【０００７】
本発明の目的は、規範となる文書レイアウトの論理モデルや構造抽出ルールの改変によらずに文書構造の認識精度を向上させる新規な文書構造化装置および文書構造化方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の文書構造化装置は、文書データを記憶する文書記憶手段と、前記文書データの文書構造情報を記憶する文書構造記憶手段と、閲覧履歴情報を記憶する閲覧履歴記憶手段と、前記文書記憶手段に記憶された文書データを文書閲覧端末に配信した際の前記文書データの閲覧箇所の履歴を取得して閲覧履歴情報として前記閲覧履歴記憶手段に蓄積し、前記蓄積された閲覧履歴情報を用いて前記文書データの前記文書構造情報における文書構造ブロック間の相関を計算し、該計算した文書構造ブロック間の相関結果を用いて前記文書データの文書構造の再認識を行う処理部とを備えることを特徴とする。より具体的には、本発明の第１の文書構造化装置は、文書データを記憶する文書記憶手段と、文書構造情報を記憶する文書構造記憶手段と、前記文書記憶手段に記憶された文書データから文書構造を認識し文書構造情報として前記文書構造記憶手段に蓄積する構造認識手段と、閲覧履歴情報を記憶する閲覧履歴記憶手段と、前記蓄積された文書構造情報を参照して前記文書データの一部、あるいは、全部を文書閲覧端末に配信する配信手段と、前記文書閲覧端末に配信した文書の閲覧箇所の履歴を取得し閲覧履歴情報として前記閲覧履歴記憶手段に蓄積する閲覧履歴取得手段と、前記蓄積された閲覧履歴情報を用いて、前記蓄積された文書構造情報における文書構造ブロック間の相関を計算する相関計算手段とを備え、前記構造認識手段は、前記相関計算手段が計算した文書構造ブロック間の相関を受け取り文書構造の再認識を行うものであることを特徴とする。
【０００９】
本発明の第２の文書構造化装置は、第１の文書構造化装置において、前記構造認識手段は、再認識の結果に基づいて前記蓄積された文書構造情報を更新するものであることを特徴とする。
【００１０】
本発明の第３の文書構造化装置は、第１または第２の文書構造化装置において、前記配信手段は、１回の配信で前記文書閲覧端末の表示領域に相当するサイズの文書データを配信するものであり、前記閲覧履歴取得手段は、配信された文書データに含まれる文書構造ブロックの情報を文書の閲覧箇所の履歴として取得するものであることを特徴とする。
【００１１】
本発明の第４の文書構造化装置は、第３の文書構造化装置において、前記閲覧履歴取得手段は、文書データが配信された時刻情報を閲覧履歴情報に含めるものであることを特徴とする。
【００１２】
本発明の第５の文書構造化装置は、第１ないし第４の文書構造化装置において、前記相関計算手段は、前記閲覧履歴情報が一定個数得られるたび、あるいは、一定時間経過するたび、あるいは、前記文書閲覧端末からの指示があるたび、あるいは、それらの任意の組み合わせのタイミングで文書構造ブロック間の相関を計算するものであることを特徴とする。
【００１３】
本発明の第６の文書構造化装置は、第１または第２の文書構造化装置において、前記相関計算手段は、前記閲覧履歴記憶手段に蓄積された同じ文書にかかる複数の閲覧履歴情報の中に、同じ文書構造ブロックを起点とする閲覧箇所の推移が複数通り存在する場合、より多数を占める閲覧箇所の推移に基づいて文書構造ブロック間の相関を計算するものであることを特徴とする。
【００１４】
本発明の第１の文書構造化方法は、ａ）構造認識手段が、文書記憶手段に記憶された文書データから文書構造を認識し、文書構造情報として文書構造記憶手段に蓄積するステップ、ｂ）配信手段が、前記蓄積された文書構造情報を参照して前記文書データの一部、あるいは、全部を文書閲覧端末に配信するステップ、ｃ）閲覧履歴取得手段が、前記文書閲覧端末に配信した文書の閲覧箇所の履歴を取得し、閲覧履歴情報として閲覧履歴記憶手段に蓄積するステップ、ｄ）相関計算手段が、前記蓄積された閲覧履歴情報を用いて、前記蓄積された文書構造情報における文書構造ブロック間の相関を計算するステップ、ｅ）前記構造認識手段が、前記相関計算手段が計算した文書構造ブロック間の相関を受け取り、文書構造の再認識を行うステップ、を含むことを特徴とする。
【００１５】
本発明の第２の文書構造化方法は、第１の文書構造化方法において、ｆ）前記構造認識手段が、再認識の結果に基づいて前記蓄積された文書構造情報を更新するステップ、を含むことを特徴とする。
【００１６】
本発明の第３の文書構造化方法は、第１または第２の文書構造化方法において、前記配信手段は、１回の配信で前記文書閲覧端末の表示領域に相当するサイズの文書データを配信し、前記閲覧履歴取得手段は、配信された文書データに含まれる文書構造ブロックの情報を文書の閲覧箇所の履歴として取得することを特徴とする。
【００１７】
本発明の第４の文書構造化方法は、第３の文書構造化方法において、前記閲覧履歴取得手段は、文書データが配信された時刻情報を閲覧履歴情報に含めることを特徴とする。
【００１８】
本発明の第５の文書構造化方法は、第１ないし第４の文書構造化方法において、前記相関計算手段は、前記閲覧履歴情報が一定個数得られるたび、あるいは、一定時間経過するたび、あるいは、前記文書閲覧端末からの指示があるたび、あるいは、それらの任意の組み合わせのタイミングで文書構造ブロック間の相関を計算することを特徴とする。
【００１９】
本発明の第６の文書構造化方法は、第１または第２の文書構造化方法において、前記相関計算手段は、前記閲覧履歴記憶手段に蓄積された同じ文書にかかる複数の閲覧履歴情報の中に、同じ文書構造ブロックを起点とする閲覧箇所の推移が複数通り存在する場合、より多数を占める閲覧箇所の推移に基づいて文書構造ブロック間の相関を計算することを特徴とする。
【００２０】
『作用』
本発明にあっては、文書データを文書閲覧端末に配信した際のその文書データの閲覧箇所の履歴を取得して閲覧履歴情報として蓄積し、この蓄積された閲覧履歴情報を用いて、その文書データの文書構造情報における文書構造ブロック間の相関を計算し、この計算した文書構造ブロック間の相関結果を用いて文書データの文書構造の再認識を行う。より具体的には、構造認識手段が、文書記憶手段に記憶された文書データから、タイトル、段落などのひとかたまりの領域である文書構造ブロックなどの文書構造を認識して、文書構造情報として文書構造記憶手段に蓄積し、配信手段が、前記蓄積された文書構造情報を参照して文書データの一部、あるいは、全部を文書閲覧端末に配信し、閲覧履歴記憶手段が、文書閲覧端末に配信した文書の閲覧箇所の履歴を取得して、閲覧履歴情報として閲覧履歴記憶手段に蓄積し、相関計算手段が、蓄積された閲覧履歴情報を用いて、蓄積された文書構造情報における文書構造ブロック間の相関を計算し、構造認識手段が、相関計算手段が計算した文書構造ブロック間の相関を受け取り文書構造の再認識を行う。文書閲覧端末の利用者は、継続している文書構造ブロックは継続して読み進める傾向があるため、文書の閲覧箇所の履歴から文書構造の一種である文書構造ブロック間の継続性を検出することができ、この検出結果を利用して文書構造認識結果を改善することができる。こうして本発明は、閲覧履歴情報を利用し文書構造認識結果を改善していくので、構造認識手段が利用する論理モデルや抽出ルールを対象文書毎に作成する手間を軽減でき、また、文書作成時の操作履歴を必要としないため、すでに完成済み、あるいは紙に出力された文書に対しても適用することが可能である。
【発明の効果】
【００２１】
第１の効果は、規範となる文書レイアウトの論理モデルや構造抽出ルールの改変によらずに文書構造の認識精度を向上させることができ、論理モデルや抽出ルールを対象文書毎に作成する手間を軽減できることである。その理由は、文書の閲覧履歴情報を利用し文書構造認識結果を改善するからである。
【００２２】
第２の効果は、汎用性があることである。その理由は、対象文書への依存が低い、文書の閲覧履歴情報を利用し文書構造認識結果を改善するためである。
【００２３】
第３の効果は、すでに完成済み、あるいは紙に出力された文書に対しても適用できることである。その理由は、文書作成時の操作履歴を必要としないためである。
【発明を実施するための最良の形態】
【００２４】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００２５】
『第１の実施の形態』
図１を参照すると、本発明の第１の実施の形態にかかる文書構造化装置１１０は、文書データ１０１ａを記憶する文書記憶部１０１と、文書構造情報１０３ａを記憶する文書構造記憶部１０３と、閲覧履歴情報１０６ａを記憶する閲覧履歴記憶部１０６と、これらに接続された処理部１０９とで構成される。また、処理部１０９は、インターネットなどのネットワークを介して１以上の文書閲覧端末であるクライアント端末１０５と通信可能になっている。
【００２６】
クライアント端末１０５は、携帯電話機、携帯情報端末、パーソナルコンピュータなどで構成され、配信手段１０４から配信されてきた文書データを表示装置に表示して利用者に提示する機能を有する。また、利用者の操作に応答して次の文書データの配信を配信手段１０４に要求する機能を有する。
【００２７】
処理部１０９は、ワークステーション、パーソナルコンピュータなどで構成され、文書記憶部１０１に記憶された文書データ１０１ａから文書構造を認識し、文書構造情報１０３ａとして文書構造記憶部１０３に蓄積する構造認識手段１０２と、文書構造記憶部１０３に蓄積された文書構造情報１０３ａを参照して、文書記憶部１０１に蓄積された文書データ１０１ａの一部あるいは全部をクライアント端末１０５に配信する配信手段１０４と、クライアント端末１０５に配信した文書データ１０１ａの閲覧箇所の履歴を取得し、閲覧履歴情報１０６ａとして閲覧履歴記憶部１０６に蓄積する閲覧履歴取得手段１０８と、閲覧履歴記憶部１０６に蓄積された閲覧履歴情報１０６ａを用いて、文書構造記憶部１０３に蓄積された文書構造情報１０３ａにおける文書構造ブロック間の相関を計算する相関計算手段１０７とを備えている。また、構造認識手段１０２は、相関計算手段１０７が計算した文書構造ブロック間の相関を受け取り、文書構造の再認識を行う。
【００２８】
次に、図１及び図２のフローチャートを参照して本実施の形態の全体動作の概略を説明する。
【００２９】
文書構造化装置１１０は、まず、文書構造を認識する文書のページを電子化した文書データ１０１ａを文書記憶部１０１から読出し、特許文献１乃至３などで公知の手法を用いて構造認識手段１０２により、文書データ１０１ａをいくつかの領域（文書構造ブロック）に分割するとともに、各領域の文書構造（タイトルや段落など）を認識する（図２のステップ２０１）。構造認識手段１０２で認識された文書構造情報は文書構造記憶部１０３に記憶される。
【００３０】
次に文書構造化装置１１０は、配信手段１０４により、認識された文書構造情報を文書構造記憶部１０３から参照して、文書記憶部１０１に蓄積された文書データ１０１ａの全体、あるいは一部分をクライアント端末１０５に配信する（ステップ２０２）。
【００３１】
次に文書構造化装置１１０は、閲覧履歴取得手段１０８により、配信された文書データについてクライアント端末１０５の利用者による閲覧箇所の履歴を取得する（ステップ２０３)。取得された閲覧箇所の履歴は閲覧履歴情報１０６ａとして閲覧履歴記憶部１０６に蓄積される。
【００３２】
次に文書構造化装置１１０は、所定のタイミングで、相関計算手段１０７により、閲覧履歴記憶部１０６に蓄積された閲覧履歴を元に、構造認識手段１０２が認識した文書構造ブロック間の相関を計算し、計算結果を構造認識手段１０２に通知する（ステップ２０４）。上記の所定のタイミングとしては、閲覧履歴情報がｎ個（ｎは予め定められた１以上の整数）得られるたび、あるいは、ｔ秒毎（ｔは予め定められた正の数値）、あるいは、それらの任意の組み合わせのタイミングとすることができる。
【００３３】
次に文書構造化装置１１０は、構造認識手段１０２により、相関計算手段１０７で計算された相関を使って文書データ１０１ａの文書構造を再認識し、文書構造記憶部１０３の文書構造情報１０３ａを更新する（ステップ２０５）。
【００３４】
以下同様に、再認識された文書構造情報を利用して、ステップ２０２から２０５を任意の回数繰り返しても良い。
【００３５】
次に、本実施の形態の効果について説明する。
【００３６】
本実施の形態では、文書の閲覧履歴情報を利用して文書構造認識結果を再認識していくため、構造認識手段１０２が利用する構造認識用論理モデルや抽出ルールの改変によらずに文書構造の認識精度を向上させることができ、論理モデルや抽出ツールを対象文書毎に作成する手間を軽減できる。
【００３７】
また、本実施の形態では、文書作成時の操作履歴を必要としないため、完成済み、あるいは紙に出力された文書に対しても文書構造認識を行うことができる。
【００３８】
さらに、本実施の形態では、対象文書への依存が低い、文書の閲覧履歴情報を利用し文書構造認識結果を改善するため、種々の文書へ適用でき、汎用性がある。
【実施例１】
【００３９】
次に、本発明の第１の実施の形態の実施例について図面を参照して詳細に説明する。
【００４０】
本実施例にかかる文書構造化装置は、図１に示した第１の実施の形態にかかる文書構造化装置１１０と同様に、文書データ１０１ａを記憶する文書記憶部１０１と、文書構造情報１０３ａを記憶する文書構造記憶部１０３と、閲覧履歴情報１０６ａを記憶する閲覧履歴記憶部１０６と、これらに接続されると共にインターネットなどのネットワークを通じて１以上のクライアント端末１０５に接続された処理部１０９とで構成され、処理部１０９は、文書記憶部１０１に記憶された文書データ１０１ａから文書構造を認識し、文書構造情報１０３ａとして文書構造記憶部１０３に蓄積する構造認識手段１０２と、文書構造記憶部１０３に蓄積された文書構造情報１０３ａを参照して、文書記憶部１０１に蓄積された文書データ１０１ａの一部あるいは全部をクライアント端末１０５に配信する配信手段１０４と、クライアント端末１０５に配信した文書データ１０１ａの閲覧箇所の履歴を取得し、閲覧履歴情報１０６ａとして閲覧履歴記憶部１０６に蓄積する閲覧履歴取得手段１０８と、閲覧履歴記憶部１０６に蓄積された閲覧履歴情報１０６ａを用いて、文書構造記憶部１０３に蓄積された文書構造情報１０３ａにおける文書構造ブロック間の相関を計算する相関計算手段１０７とを備えている。
【００４１】
文書記憶部１０１は、本実施例が対象とする文書データ１０１ａを蓄積したもので、例えば、紙の文書の各ページをスキャナなどの入力手段を用いてイメージデータ化したものを蓄積する。
【００４２】
構造認識手段１０２は、文書データとして蓄積された各ページのイメージデータを入力として受け取り、例えば、特許文献２で示されるような公知の手段を用いてイメージデータの領域分割と文字認識を行い（図３のステップ３０１）、分割された各領域に対して図４に示されるようなルールを用いて各領域の文書構造を決定するためのスコアを計算し（ステップ３０２）、最後に各領域毎に、最大のスコア値を持つ文書構造をその領域の文書構造として決定する（ステップ３０３）。計算されたスコアと決定された文書構造は、文書構造情報１０３に蓄積される。図５に、構造認識手段１０２の処理過程の一例を示す。また、参考として、図５の最終結果である文書構造をXML（eXtensible Markup Language）形式の構造化文書で表現した一例を図６に示す。
【００４３】
図５を参照すると、構造認識手段１０２はページイメージに対して領域分割と文字認識を行って、ブロック５０１〜５０５を認識し、各ブロックに対して図４のルールを用いて各ブロックの文書構造を決定するためのスコアを計算し、文書構造記憶部１０３の文書構造情報１０３ａの一部を構成するスコアテーブルＳＴに記録している。スコアテーブルＳＴは、認識されたブロック毎の行を有し、各行に、ブロックを特定する情報と、タイトル、段落および継続に関するスコアを保持する。この例の場合、ブロック５０１は文字サイズ２２ポイントの文字であるため、ルールＲ１によりタイトルのスコアに２０点が付与されている。またブロック５０２〜５０５は行数が２行以上であるため、ルールＲ２により段落のスコアに１０点が付与されている。さらにルールＲ３、Ｒ４によりブロック５０３、５０５に対して継続のスコアが付与されている。文書構造テーブルＢＴも、文書構造情報１０３ａの一部を構成し、各ブロックについて決定された文書構造を記録している。
【００４４】
なお、上記の説明では、文書構造情報１０３ａには決定された文書構造を蓄積しているが、決定された文書構造だけでなく、領域（ブロック）の座標情報や文字のサイズ情報、文字認識結果などを一緒に蓄積するようにしても良い。また、図６に示されるようなXML形式の構造化文書として蓄積するようにしても良い。
【００４５】
配信手段１０４は、文書構造情報１０３ａを参照して文書記憶部１０１に蓄積された文書データ１０１ａにかかるイメージデータの全体、あるいは一部分をクライアント端末１０５に配信する。例えば、図６で示されるような文書構造情報を持つ文書データに対し、クライアント端末１０５が図７の破線で示されるサイズの領域を一度に表示できる場合には、配信データ量の削減とクライアント端末の表示レスポンスを良くするために、ブロック５０１とブロック５０２の領域のうち、クライアント端末１０５の表示領域に重なる部分のイメージデータ、およびブロック５０２と同じ文書構造に属しているブロック５０３の領域のうち、クライアント端末の表示領域に重なる部分のイメージデータをクライアント端末１０５に配信する。また、クライアント端末１０５の利用者が画面のスクロールなどによって隣接部分のイメージデータの配信を要求してきた場合、配信手段１０４は、隣接部分のイメージデータを文書データ１０１ａから切り出してクライアント端末１０５へ配信する。
【００４６】
他方、閲覧履歴取得手段１０８は、配信手段１０４がクライアント端末１０５にイメージデータを配信するたびに、配信した領域の重心座標に位置する領域情報を閲覧履歴情報１０６ａとして取得し、閲覧履歴記憶部１０６に蓄積する。図８に、配信領域の重心位置座標の推移と閲覧履歴記憶部１０６に記憶される閲覧履歴情報１０６ａの例を示す。
【００４７】
相関計算手段１０７は、閲覧履歴記憶部１０６に蓄積された閲覧履歴情報１０６ａを利用して、構造認識手段１０２が認識した各ブロック間の相関を計算する。例えば、閲覧履歴として挙がっているブロック同士（図８で示される閲覧履歴情報の場合には、５０２と５０５）の相関は＋２０、閲覧履歴上のブロックと閲覧履歴にないブロック（図８で示される閲覧履歴情報の場合には、５０２と５０３、５０４と５０５など）との相関は−２０、のように計算する。閲覧履歴に隣接して出現するブロック同士（図８で示される閲覧履歴情報の場合には、５０２と５０５）の相関は＋２０、のように計算してもよい。
【００４８】
構造認識手段１０２は、相関計算手段１０７が計算した相関を利用して文書構造の再認識を行う。例えば、構造認識手段１０２は、相関計算手段１０７が計算した相関の値をスコアテーブルＳＴ上の「継続」スコアに加算し、文書構造の再認識を行う。例えば、相関計算手段１０７において、ブロック５０２と５０５の相関が＋２０、ブロック５０２と５０３、５０４と５０５の相関がそれぞれ−２０と計算された場合、それを図５のスコアテーブルＳＴ上の「継続」スコアに加算すると、スコアテーブルＳＴの内容は図９に示すようになる。従って、この内容から文書構造を再認識すると、図９の文書構造テーブルＢＴに示すようになり、ブロック間の継続性についてはブロック５０５がブロック５０２から継続しているものと再認識される。図５の処理過程例に対して文書構造の再認識を実施した図９の最終結果を、図６と同様にXML形式の構造化文書で表現した一例を図１０に示す。
【００４９】
以下同様に、続いて新規に得られた閲覧履歴と再認識された文書構造情報を利用して、図２のステップ２０２から２０５に相当する上記の処理を任意の回数繰り返しても良い。
【００５０】
次に、本実施例の効果について説明する。
【００５１】
本実施例では、文書の閲覧履歴情報を利用し文書構造認識結果を再認識していくため、構造認識手段１０２が利用する構造認識用論理モデルや抽出ルールを対象文書毎に作成する手間を軽減できる。例えば、図４に示されるようなスコア計算のルールのうち、本実施例によれば、ルールＲ３やルールＲ４を改変しなくても、文書の閲覧履歴を利用して「継続」スコア計算の補正を行うことが可能となる。
【００５２】
また、本実施例では、文書作成時の操作履歴を必要としないため、完成済み、あるいは紙に出力された文書に対しても文書構造認識を行うことができる。
【００５３】
本実施例では、配信手段１０４は文書構造情報１０３ａを参照して同じ文書構造に属している領域のイメージデータを一緒に送信しているため、クライアント端末１０５の利用者が次に必要とする可能性のあるイメージデータを先に配信することができる。これにより、クライアント端末１０５のレスポンスが改善できるという効果もある。また、クライアント端末１０５の閲覧履歴を利用して、文書構造が例えば図６から図１０にように更新されると、ブロック５０１とブロック５０２を配信する場合に一緒に配信されるイメージデータが、ブロック５０３からブロック５０５に変更される。すなわち、クライアント端末１０５の閲覧履歴によって配信手段１０４がクライアント端末１０５に配信するイメージデータが、クライアント端末１０５において次に必要とする可能性がより高いイメージデータに変更されるので、クライアント端末１０５のレスポンスが改善できるという効果がある。
【００５４】
なお、上記実施例の説明では、文書データ１０１は紙文書の各ページをスキャナなどの入力手段を用いてイメージデータ化したものとなっているが、例えば、Adobe社製の文書編集ツールであるAcrobatのように、電子文書データからページイメージを生成することができるソフトウェアを用いて生成したイメージデータを蓄積するようにしても良い。また、構造認識手段１０２がイメージデータ以外のデータ、例えば、「http://ftp.debian.or.jp/debian-jp/pool/main/p/plain2/」から入手できるデータ変換ツールplain2のようにテキストデータを入力しそれをLaTeXやtroffのコマンドを埋め込んだ文書に変換するものである場合、テキストデータ形式で蓄積するようにしても良い。これらの場合には、紙文書だけでなく、電子文書データやテキストデータも本実施例の処理対象とすることができるという効果がある。
【００５５】
また、上記実施例の説明では、構造認識手段１０２はイメージデータに対し領域分割と文字認識を行ってから文書構造の決定を行ったが、例えば、特許文献１で示されるような公知の手段を用いて、文字認識は行わず、領域分割だけで文書構造を決定するようにしても良い。
【００５６】
また、上記実施例の説明では、閲覧履歴取得手段１０８は配信した領域の重心に位置する領域情報を閲覧履歴情報１０６ａとして蓄積したが、重心座標ではなく、配信した領域内に含まれる領域情報の面積を使って閲覧履歴を抽出し、蓄積するようにしても良い。例えば、図１１のように、クライアントに配信した領域がＣ１１のようであったとき、その領域内に含まれるブロックＣ０１、Ｃ０２、Ｃ０３の面積Ｃ２１、Ｃ２２、Ｃ２３を比べ、最も大きい面積Ｃ２２を持つブロックＣ０２を閲覧履歴として蓄積する。配信領域Ｃ１２の場合は、ブロックＣ０２とＣ０５が同じ最大面積を持っていたとすると、その両方のブロックを閲覧履歴として蓄積する。同様に配信領域Ｃ１３の場合にはブロックＣ０５が蓄積され、最終的に図１１に示されるような閲覧履歴情報が得られる。以上のようにすると、配信領域内で占めている割合が高いブロックについての情報を抽出できるので、利用者が主に閲覧している可能性が高いブロックの情報を元に相関が計算できるようになるという効果がある。
【００５７】
閲覧履歴情報として、上述した重心位置や最大面積で決定した領域情報だけでなく、配信した時刻も同時に蓄積するようにしてもよい。この場合、配信された時間差に基づいて、時間差が或る値以下のブロック間には正の相関値を、時間差が別の或る値以上のブロック間には負の相関値を与えるように、ブロック間の相関を計算するようにしてもよい。図１２にその計算ルールの例を示す。
【００５８】
また、上記実施例の説明では、配信手段１０４はクライアント端末１０５で表示する領域に相当するイメージデータのみを配信したが、文書全体、あるいは、ページ単位でイメージデータを配信するようにしても良い。このようにすると閲覧履歴取得手段１０８では前述した方法で閲覧箇所の履歴を得ることができなくなるが、その場合にはクライアント端末１０５で、例えば、利用者のページ移動や画面のスクロールといった操作履歴を取得して、閲覧履歴取得手段１０８へ閲覧履歴として送信し、閲覧履歴取得手段１０８が閲覧履歴情報１０６ａとして蓄積するようにしても良い。また、クライアント端末１０５に利用者の視線を追跡する公知の技術を用いて利用者の視線の動きを取得するようにし、取得した視線の追跡情報を閲覧履歴として閲覧履歴取得手段１０８へ送信し、閲覧履歴取得手段１０８が閲覧履歴情報１０６ａとして蓄積するようにしても良い。
【００５９】
また、上記実施例の説明では、相関計算手段１０７は閲覧履歴取得手段１０８が閲覧履歴記憶部１０６に蓄積した閲覧履歴情報１０６ａをもとに相関を計算したが、例えば同じ文書データについて閲覧者が異なる複数の閲覧履歴が蓄積されている場合に、個々の履歴をひとつずつ利用して相関を計算するのではなく、ｎ個の閲覧履歴情報を統計処理した上で相関を計算するようにしても良い。例えば、図１３に示されるように、開始点が同じであるような配信領域の重心座標位置の経路が経路１、経路２、経路３として複数得られている場合に、各経路の閲覧履歴情報を互いに配信された順に比較し、最も多く出現している領域情報を最終的な閲覧履歴として相関計算に用いるようにしても良い。図１３の場合には、経路１〜経路３それぞれの最初の閲覧履歴情報は全てブロックＡ０２であるので、ブロックＡ０２を採用する。同様に２番目、３番目もブロックＡ０２が採用されるが、４番目はブロックＡ０２、Ａ０５、Ａ０３が１つずつ出現している。このような場合には最も多く出現している領域情報は不定とみなし削除する。次に、５番目、６番目はブロックＡ０５が２つ、Ａ０３が１つであるので出現個数の多いブロックＡ０５を採用し、最終的に図１４のような閲覧履歴情報を相関計算手段１０７は相関計算に使用する。このように、同じ領域を起点とする閲覧箇所の推移が複数通り存在する場合に、より多数を占める閲覧箇所の推移に基づいて文書構造ブロック間の相関を計算することにより、閲覧履歴の中で最も一般的な経路を利用した構造化が行われることになり、特定の個人の癖などの影響を受けにくい、より一般的な文書構造の抽出を行うことができるという効果がある。
【００６０】
また、上記実施例の説明では、相関計算手段１０７が計算した相関を構造認識手段１０２の計算した「継続」スコアに加算して文書構造の再認識を行ったが、「継続」スコアに加算するのではなく、例えば、相関の高いブロック同士で共通して値の設定されているスコアに加算するようにしても良い。例えば、図１５の上段のようなスコアが計算されている状態で、ブロック５０３とブロック５０５の相関が＋２０と計算されたときには、ブロック５０３とブロック５０５とで共通して値の設定されている「段落」と「５０２との継続」スコアを＋２０し、ブロック５０５にのみ値が設定されている「５０４との継続」スコアには何も加算せず、図１５の下段のようなスコアに更新して文書構造の再認識を行うようにしても良い。
【００６１】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００６２】
図１６を参照すると、本発明の第２の実施の形態にかかる文書構造化装置２１０は、図１に示される第１の実施の形態にかかる文書構造化装置１１０と比較して、相関計算手段１０７に代えて相関計算手段２１２を備え、クライアント端末１０５の代わりに文書閲覧端末である操作端末２１１が接続されている点で相違する。
【００６３】
操作端末２１１は、携帯電話機、携帯情報端末、パーソナルコンピュータなどで構成され、配信手段１０４から配信されてきた文書データを表示装置に表示して利用者に提示する機能と、利用者の操作に応答して次の文書データの配信を配信手段１０４に要求する機能とに加えて、相関計算手段２１２に対して文書構造ブロック間の相関を計算するタイミングを指示する機能を有する。操作端末２１１の利用者は、文書データの閲覧が目的ではなく、文書構造情報を修正することを目的に文書データの閲覧を行う。
【００６４】
相関計算手段２１２は、操作端末２１１からの指示を受けたときに文書構造ブロック間の相関を計算する点で、図１の相関計算手段１０７と相違し、それ以外は相関計算手段１０７と同じである。
【００６５】
次に、図２のフローチャートを借用して本実施の形態の全体動作について説明する。
【００６６】
文書構造化装置２１０は、まず、文書構造を認識する文書のページを電子化した文書データ１０１ａを文書記憶部１０１から読出し、特許文献１乃至３などで公知の手法を用いて構造認識手段１０２により、文書データ１０１ａをいくつかの領域（文書構造ブロック）に分割するとともに、各領域の文書構造（タイトルや段落など）を認識する（図２のステップ２０１）。構造認識手段１０２で認識された文書構造情報は文書構造記憶部１０３に記憶される。
【００６７】
次に文書構造化装置２１０は、配信手段１０４により、認識された文書構造情報を文書構造記憶部１０３から参照して、文書記憶部１０１に蓄積された文書データ１０１ａの一部分を操作端末２１１に配信する（ステップ２０２）。このデータ配信は、操作端末２１１の利用者が画面のスクロールなどによって隣接部分の文書データの配信を要求するたびに実施される。文書構造情報の修正を目的に文書データの閲覧を行う操作端末２１１の利用者は、継続している文書構造ブロックが表示画面のほぼ中央に位置するように文書データの閲覧を行っていく。
【００６８】
次に文書構造化装置２１０は、配信手段１０４により操作端末２１１に文書データが配信されるたびに、閲覧履歴取得手段１０８により、配信された文書データについて操作端末２１１の利用者による閲覧箇所の履歴を例えば図８に示したような方法で取得する（ステップ２０３)。取得された閲覧箇所の履歴は閲覧履歴情報１０６ａとして閲覧履歴記憶部１０６に蓄積される。
【００６９】
次に文書構造化装置２１０は、操作端末２１１から相関計算の開始が指示されたタイミングで、相関計算手段２１２により、閲覧履歴記憶部１０６に蓄積された閲覧履歴を元に、構造認識手段１０２が認識した文書構造ブロック間の相関を計算し、計算結果を構造認識手段１０２に通知する（ステップ２０４）。
【００７０】
次に文書構造化装置２１０は、構造認識手段１０２により、相関計算手段２１２で計算された相関を使って文書データ１０１ａの文書構造を再認識し、文書構造記憶部１０３の文書構造情報１０３ａを更新する（ステップ２０５）。
【００７１】
以下同様に、再認識された文書構造情報を利用して、ステップ２０２から２０５を任意の回数繰り返しても良い。
【００７２】
次に、本実施の形態の効果について説明する。
【００７３】
本実施の形態では、操作端末２１１から文書構造ブロック間の相関を計算するタイミングを指示することができるため、操作端末２１１の利用者が文書構造情報１０３を修正することを目的に文書データの閲覧を行う場合に、適切なタイミングで相関計算を行わせることができる。
【００７４】
また本実施の形態では、構造認識手段１０２が利用する構造抽出用のルールを作成するための特別な知識や技術を有していない者でも、操作端末２１１を通して文書の閲覧行為を行うだけで、文書構造情報の修正を行うことができるという効果がある。
【００７５】
なお、閲覧履歴取得手段１０８は、第１の実施の形態と同様に、配信手段１０４が操作端末２１１へ配信したデータから操作端末２１１の利用者による閲覧箇所の履歴を取得したが、操作端末２１１の利用者が相関のある文書構造ブロックを閲覧履歴取得手段１０８に直接指定するようにし、指定された文書構造ブロック情報を閲覧履歴取得手段１０８が閲覧履歴情報１０６ａとして閲覧履歴記憶部１０６に蓄積するようにしても良い。この場合、文書構造ブロックの指定を行うだけで文書構造の再認識を行うことが可能になるという効果がある。
【００７６】
以上本発明の実施の形態および実施例について説明したが、本発明は以上の例にのみ限定されず、その他各種の付加変更が可能である。また、本発明の文書構造化装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態および実施例における構造認識手段１０２、配信手段１０４、相関計算手段１０７または２１２、閲覧履歴取得手段１０８として機能させる。
【産業上の利用可能性】
【００７７】
本発明は、文書データから文書構造を認識する文書構造認識装置や、認識された文書構造を利用する文書配信装置、および、それら装置をコンピュータ上で実現するためのプログラムといった用途に適用できる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施の形態にかかる文書構造化装置のブロック図である。
【図２】本発明の第１の実施の形態にかかる文書構造化装置の動作を示す流れ図である。
【図３】本発明の第１の実施の形態にかかる文書構造化装置における構造認識手段の動作を示す流れ図である。
【図４】本発明の第１の実施の形態にかかる文書構造化装置における構造認識手段がスコアを決定するために利用するルールの一例を示す図である。
【図５】本発明の第１の実施の形態にかかる文書構造化装置における構造認識手段の処理過程を示す図である。
【図６】本発明の第１の実施の形態にかかる文書構造化装置における文書構造情報のデータ形式の一例を示す図である。
【図７】本発明の第１の実施の形態にかかる文書構造化装置における配信手段が配信するイメージデータを決定するための基準の説明図である。
【図８】本発明の第１の実施の形態にかかる文書構造化装置における閲覧履歴取得手段が取得して蓄積する閲覧履歴情報の一例を示す図である。
【図９】本発明の第１の実施の形態にかかる文書構造化装置における相関計算手段により構造認識手段が計算したスコアが更新され文書構造の再認識が行われている過程を示す図である。
【図１０】本発明の第１の実施の形態にかかる文書構造化装置における更新された文書構造情報のデータ形式の一例を示す図である。
【図１１】本発明の第１の実施の形態にかかる文書構造化装置における閲覧履歴取得手段が取得して蓄積する閲覧履歴情報の別の例を示す図である。
【図１２】本発明の第１の実施の形態にかかる文書構造化装置における相関計算手段が相関を計算する別のルールを示す図である。
【図１３】本発明の第１の実施の形態にかかる文書構造化装置における相関計算手段による閲覧履歴の統計処理の説明図である。
【図１４】本発明の第１の実施の形態にかかる文書構造化装置における相関計算手段によって統計処理された閲覧履歴の一例を示す図である。
【図１５】本発明の第１の実施の形態にかかる文書構造化装置における相関計算手段が計算した相関を使って構造認識手段がスコアを更新する別の手順を示す図である。
【図１６】本発明の第２の実施の形態にかかる文書構造化装置のブロック図である。
【符号の説明】
【００７９】
１０１…文書記憶部
１０１ａ…文書データ
１０２…構造認識手段
１０３…文書構造記憶部
１０３ａ…文書構造情報
１０４…配信手段
１０５…クライアント端末
１０６…閲覧履歴記憶部
１０６ａ…閲覧履歴情報
１０７…相関計算手段
１０８…閲覧履歴取得手段
１０９…処理部
１１０…文書構造化装置
２０１…文書構造認識ステップ
２０２…文書データ配信ステップ
２０３…閲覧履歴取得ステップ
２０４…相関計算ステップ
２０５…文書構造再認識ステップ
２１０…文書構造化装置
２１１…操作端末
２１２…相関計算手段
３０１…領域分割と文字認識ステップ
３０２…スコア計算ステップ
３０３…文書構造選択ステップ
５０１〜５０５…認識されたブロック
【図１】
2006092091.tif 000003
【図２】
2006092091.tif 000004
【図３】
2006092091.tif 000005
【図４】
2006092091.tif 000006
【図５】
2006092091.tif 000007
【図６】
2006092091.tif 000008
【図７】
2006092091.tif 000009
【図８】
2006092091.tif 000010
【図９】
2006092091.tif 000011
【図１０】
2006092091.tif 000012
【図１１】
2006092091.tif 000013
【図１２】
2006092091.tif 000014
【図１３】
2006092091.tif 000015
【図１４】
2006092091.tif 000016
【図１５】
2006092091.tif 000017
【図１６】
2006092091.tif 000018