(57)【要約】【課題】要約文書の分量を適度な量に抑えつつ、利用者が文書の内容を効率的に把握することができる文書処理装置及び文書処理方法及び文書処理装置の制御プログラムを提供する。【解決手段】文書から少なくともテキスト要素と画像要素とを抽出する構成要素抽出部１０２と、前記テキスト要素を要約するテキスト要約処理部１０５と、テキスト要約処理部１０５で生成された要約テキストと画像選択部１０６で選択された画像要素とから要約文書を合成する要約文書合成部１０７とを備えた。【選択図】      図１
2004362073.tif 000002
【特許請求の範囲】
【請求項１】
文書から少なくともテキスト要素と画像要素とを抽出する構成要素抽出手段と、
前記テキスト要素から要約テキストを生成する要約テキスト生成手段と、
前記画像要素から要約画像を生成する要約画像生成手段と、
前記要約テキストと前記要約画像とから要約文書を生成する要約文書生成手段とを備えたことを特徴とする文書処理装置。
【請求項２】
前記要約画像生成手段は、前記要約テキストから参照されている画像要素を選択して要約画像を生成するものであることを特徴とする請求項１に記載の文書処理装置。
【請求項３】
前記要約画像生成手段は、前記要約テキストと同じ構成単位に属する画像要素を選択して要約画像を生成するものであることを特徴とする請求項１に記載の文書処理装置。
【請求項４】
テキスト間の類似度を判定するテキスト類似度判定手段を更に備え、
前記要約画像生成手段は、前記画像要素のうち、前記要約テキストに類似した説明文が付与されている画像要素を選択して要約画像を生成するものであることを特徴とする請求項１に記載の文書処理装置。
【請求項５】
前記文書は電子化文書であり、
前記構成要素抽出手段は、前記電子化文書の構造情報を解析することにより、前記テキスト要素と前記画像要素とを抽出するものであることを特徴とする請求項１乃至４のいずれかに記載の文書処理装置。
【請求項６】
前記文書は文書画像であり、
前記構成要素抽出手段は、前記文書画像からテキスト領域と画像領域とを抽出する領域分離手段と、前記テキスト領域からテキスト文字列を抽出する文字認識手段とによって構成されることを特徴とする請求項１乃至４のいずれかに記載の文書処理装置。
【請求項７】
前記要約画像生成手段は、前記画像要素の縮小画像を生成する画像要素縮小手段と、前記画像要素の一部を選択する画像要素選択手段とによって構成され、これら両手段を併用する第１モードとこれら両手段のうちの少なくとも一方を用いる第２モードとを択一的に選択するモード選択手段を更に備えたことを特徴とする請求項１に記載の文書処理装置。
【請求項８】
文書から少なくともテキスト要素と画像要素とを抽出する構成要素抽出ステップと、
前記テキスト要素から要約テキストを生成する要約テキスト生成ステップと、
前記画像要素から要約画像を生成する要約画像生成ステップと、
前記要約テキストと前記要約画像とから要約文書を生成する要約文書生成ステップとを備えたことを特徴とする文書処理方法。
【請求項９】
前記要約画像生成ステップは、前記要約テキストから参照されている画像要素を選択して要約画像を生成するものであることを特徴とする請求項８に記載の文書処理方法。
【請求項１０】
前記要約画像生成ステップは、前記要約テキストと同じ構成単位に属する画像要素を選択して要約画像を生成するものであることを特徴とする請求項８に記載の文書処理方法。
【請求項１１】
テキスト間の類似度を判定するテキスト類似度判定ステップを更に備え、
前記要約画像生成ステップは、前記画像要素のうち、前記要約テキストに類似した説明文が付与されている画像要素を選択して要約画像を生成するものであることを特徴とする請求項８に記載の文書処理方法。
【請求項１２】
前記文書は電子化文書であり、
前記構成要素抽出ステップは、前記電子化文書の構造情報を解析することにより、前記テキスト要素と前記画像要素とを抽出するものであることを特徴とする請求項８乃至１２のいずれかに記載の文書処理方法。
【請求項１３】
前記文書は文書画像であり、
前記構成要素抽出ステップは、前記文書画像からテキスト領域と画像領域とを抽出する領域分離ステップと、前記テキスト領域からテキスト文字列を抽出する文字認識ステップとによって構成されることを特徴とする請求項８乃至１２のいずれかに記載の文書処理方法。
【請求項１４】
前記要約画像生成ステップは、前記画像要素の縮小画像を生成する画像要素縮小ステップと、前記画像要素の一部を選択する画像要素選択ステップとによって構成され、これら両ステップを併用する第１モードとこれら両ステップのうちの少なくとも一方を用いる第２モードとを択一的に選択するモード選択ステップを更に備えたことを特徴とする請求項８に記載の文書処理方法。
【請求項１５】
請求項８乃至１４のいずれかに記載の文書処理方法が備える各工程をコンピュータに実行させるためのプログラムコードから成ることを特徴とする文書処理装置の制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書を要約する文書処理装置及び文書処理方法及び文書処理装置の制御プログラムに関する。
【０００２】
【従来の技術】
インターネットやＰＣ（パーソナルコンピュータ）の普及に伴い、昨今では、膨大な量の文書が作成され、流通するようになった。生成される文書の量は、利用者の処理能力を超えているため、利用者が、大量の文書の中から必要とする情報を獲得するのが困難になってきている。
【０００３】
こうした問題への解決方法の一つとして、非特許文献１に記載されているようなテキストを要約する技術が開発されている。この技術を用いると、文書中のテキストを要約して提示することができるので、利用者がテキストの内容を効率的に把握することができる。
【０００４】
一方、別の解決方法として、特許文献１では、文書の各ページを一覧できるように縮小して印刷し、ユーザが文書の必要性を容易に判断することができる方法が開示されている。
【０００５】
また、特許文献２では、文書を構造化文書と文書画像とに分類し、構造化文書の場合は、テキストの論理構造情報を利用してテキストの要約を作成して提示し、文書画像の場合は、個々の構成要素を縮小して提示する方法が開示されている。ここで、文書画像とは、紙の文書をスキャンして取り込んだもののように、テキスト部分も含めて文書データが画像として表現されているものを指す。
【０００６】
【非特許文献１】
奥村学、難波英嗣、「テキスト自動要約に関する研究動向」、自然言語処理、「テキスト要約のための言語処理」特集号、Ｖｏｌ．６、Ｎｏ．６、１９９９年７月
【特許文献１】
特開平７−１４６８７５号公報
【特許文献２】
特開平１０−３２０４１２号公報
【０００７】
【発明が解決しようとする課題】
一般に、文書の多くはテキスト要素だけでなく、図表・写真・画像等の画像要素を含んでいる。こうした文書に対して要約文書を作成する場合、テキストを要約する方法では、テキストは要約されても、画像要素は残ることになる。
【０００８】
文書中に画像要素が大量に存在すると、紙に出力した場合等に要約文書全体の分量が多くなるため、利用者が文書の内容を容易に判断することが困難である。
【０００９】
また、上述した特許文献１や特許文献２に記載されているように、各ページを縮小して印刷する方法では、要約文書の分量は少なくすることが可能であるが、文書中のテキストの文字が小さくなるため、利用者がテキストの内容を理解することが困難である。
【００１０】
本発明は、上記従来技術の有する問題を解決するためになされたものであり、その目的は、要約文書の分量を適度な量に抑えつつ、文書の内容を利用者が効率的に把握できる文書処理装置及び文書処理方法及び文書処理装置の制御プログラムを提供することである。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明の文書処理装置は、文書から少なくともテキスト要素と画像要素とを抽出する構成要素抽出手段と、前記テキスト要素から要約テキストを生成する要約テキスト生成手段と、前記画像要素から要約画像を生成する要約画像生成手段と、前記要約テキストと前記要約画像とから要約文書を生成する要約文書生成手段とを備えたことを特徴とする。
【００１２】
また、上記目的を達成するために本発明の文書処理方法は、文書から少なくともテキスト要素と画像要素とを抽出する構成要素抽出ステップと、前記テキスト要素から要約テキストを生成する要約テキスト生成ステップと、前記画像要素から要約画像を生成する要約画像生成ステップと、前記要約テキストと前記要約画像とから要約文書を生成する要約文書生成ステップとを備えたことを特徴とする。
【００１３】
更に、上記目的を達成するために本発明の文書処理装置の制御プログラムは、前記文書処理方法が備える各工程をコンピュータに実行させるためのプログラムコードから成ることを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の各実施の形態を図面に基づき説明する。
【００１５】
（第１の実施の形態）
まず、本発明の第１の実施の形態を、図１乃至図７に基づき説明する。
【００１６】
図１は、本実施の形態に係る文書処理装置の基本構成を示すブロック図であり、同図において、１０１は文書保持部で、処理対象の文書を保持するものである。１０２は構成要素抽出部で、文書保持部１０１に保持された文書の中から、テキスト要素と画像要素とを抽出するものである。本実施の形態では、文書は構造を持った電子化文書であり、テキスト、図表、イメージ等の構成要素が容易に取得できるものとする。尚、テキスト以外の要素を、ここでは、画像要素として扱う。
【００１７】
１０３はテキスト要素保持部で、構成要素抽出部１０２で抽出されたテキスト要素を保持するものである。１０４は画像要素保持部で、構成要素抽出部１０２で抽出された画像要素を保持するものである。１０５はテキスト要約処理部で、テキスト要素保持部１０３に保持されたテキスト要素を要約するものである。１０６は画像選択部で、画像要素保持部１０４に保持された画像要素のうちの幾つかを選択するものである。１０７は要約文書合成部で、テキスト要約処理部１０５で生成された要約テキストと、画像選択部１０６で選択された画像要素とから、要約文書を合成するものである。１０８は要約文書保持部で、要約文書合成部１０７で合成された要約文書を保持するものである。１０９は要約文書出力部で、要約文書保持部１０８に保持された要約文書を出力するものである。
【００１８】
図２は、本実施の形態に係る文書処理装置の具体的構成を示すブロック図であり、同図において、２０１はＣＰＵ（中央演算処理装置）で、後述する手順を実現するプログラムに従って動作する。２０２はメモリで、文書保持部１０１と、テキスト要素保持部１０３と、画像要素保持部１０４と、要約文書保持部１０８とを実現すると共に、上記プログラムの動作に必要な記憶領域を提供する。２０３は制御メモリで、後述する手順を実現するプログラムを保持する。２０４は出力装置で、要約文書出力部１０９を実現する。具体的には、ディスプレイ装置やプリンタ装置である。２０５は各構成要素を結合するバスである。
【００１９】
次に、本実施の形態に係る文書処理装置の動作を、図３のフローチャートを参照して説明する。
【００２０】
まず、ステップＳ３０１で，構成要素抽出部１０２は、文書保持部１０１に保持された文書から文書構成要素を抽出する。文書構成要素は、テキスト要素若しくは画像要素である。本実施の形態においては、先に述べたように文書は構造を持った電子化文書であり、これらの要素を容易に抽出することができる。テキスト要素はテキスト要素保持部１０３に、画像要素は画像要素保持部１０４に、それぞれ保持する。
【００２１】
図６にテキスト要素保持部１０３の内容の一例を示す。テキストの構成単位毎にＩＤ（識別子）が付けられ、テキスト文字列及び参照先の画像要素のＩＤを保持している。こうした参照関係は、電子化文書中に記述されており、容易に抽出することができる。尚、テキストの構成単位は、ここでは文とするが、他の構成単位を採用しても良い。
【００２２】
また、図７に画像要素保持部１０４の内容の一例を示す。画像要素毎にＩＤが付けられ、画像データへのポインタ及びこの画像要素を参照しているテキスト要素のＩＤを保持している。
【００２３】
再び図３に戻って説明すると、ステップＳ３０２で、前記ステップＳ３０１において抽出した文書構成要素中にテキスト要素があるか否かを調べる。そして、テキスト要素があればステップＳ３０３へ進み、また、テキスト要素がなければステップＳ３０８へ進む。
【００２４】
ステップＳ３０３では、テキスト要約処理部１０５は、テキスト要素保持部１０３に保持されたテキスト要素の要約処理を行う。ここでは、テキスト中から重要文を選択することによって要約を生成する。具体的には、非特許文献１に記載されているような一般的に知られているテキスト要約手法によって実施することができ、任意の分量の要約テキストを生成することが可能である。生成する要約テキストの分量は、数値（文字数、若しくは元の文書の文字数に対する割合）によって与えるものとする。この数値は事前に設定しておいても良いし、処理の際に利用者が与えたり、自動で設定するようにしても良い。要約した結果、選択された文には、図６に示すようにテキスト要素保持部１０３は、要約欄にマークを付与する。
【００２５】
次に、ステップＳ３０４で、前記ステップＳ３０１において抽出した文書構成要素中に画像要素があるか否かを調べる。そして、画像要素があればステップＳ３０５へ、また、画像要素がなければステップＳ３０６へ、それぞれ進む。
【００２６】
ステップＳ３０５では、画像選択部１０６は、画像要素保持部１０４に保持された画像要素のうち、前記ステップＳ３０３において生成された要約テキストに関連するものを選択する。画像要素のうち前記ステップＳ３０５において選択されたものには、図７に示すように画像要素保持部１０４は、要約欄にマークを付与する。
【００２７】
前記ステップＳ３０５における画像要素の選択は、具体的には、要約テキストから参照されている画像要素を選択することによって行う。この参照関係は、画像要素保持部１０４に保持されている。図６及び図７の例では、要約テキスト中にＩＤ＝ｔｘ１の文は含まれるが、ＩＤ＝ｔｘ２，ｔｘ３の文は含まれない。この場合、ＩＤ＝ｔｘ１の文から参照されている画像要素ｉｍ１は選択し、ＩＤ＝ｔｘ２の文から参照されている画像要素ｉｍ２は選択しない。
【００２８】
次に、ステップＳ３０６で、テキスト要素保持部１０３に保持された要約テキストと、画像要素保持部１０４に保持された画像要素のうち選択されたものとから、要約文書合成部１０７は、要約文書を生成する。尚、テキスト要素保持部１０３に要約テキストが保持されていない場合は、画像要素のみから、画像要素保持部１０４に画像要素が保持されていない場合は、要約テキストのみから、それぞれ要約文書を生成する。生成した要約文書は、要約文書保持部１０８に保持する。
【００２９】
次に、ステップＳ３０７で、要約文書保持部１０８に保持された要約文書を、要約文書出力部１０９に出力した後、本処理動作を終了する。
【００３０】
一方、前記ステップＳ３０２において、テキスト要素保持部１０３にテキスト要素が存在しなかった場合は、ステップＳ３０８へ進み、画像要素保持部１０４に画像要素が保持されているか否かを調べる。そして、画像要素が保持されている場合はステップＳ３０９へ、また、画像要素が保持されていない場合は本処理動作を終了する。
【００３１】
ステップＳ３０９では、画像要素保持部１０４に保持されている画像要素のうち、一部の画像要素を選択してステップＳ３０６へ進む。選択手法については特に問わない。ここで選択する画像要素の分量（要素数、若しくは全体の要素数に対する割合）は、数値によって与えれば良い。この数値は、事前に設定しておいても良いし、処理の際に利用者が与えるようにしても良い。画像要素保持部１０４に保持されている画像要素のうち、前記ステップＳ３０９において選択されたものにはマークを付与する。
【００３２】
次に、図４及び図５を用いて、具体例に基づいて更に詳細に説明する。
【００３３】
図４に示す例では、テキスト要素中の文字列４０１から画像要素４０２が、テキスト要素中の文字列４０４から画像要素４０５が参照されている。ここで、生成された要約テキスト中に文字列４０１と文字列４０７は含まれるが、文字列４０４は含まれない場合を考える。この場合、文字列４０１から参照されている画像要素４０２は選択し、文字列４０４から参照されている画像要素４０５は選択しない。この文書の場合、図５に示すような出力が要約文書として得られる。要約テキストに含まれる文字列４０１，４０７及びそこから参照されている画像要素４０２は出力され、要約テキストに含まれない文字列４０４及びそこから参照されている画像要素４０５は出力されない。このように、要約文書には、要約テキスト及び必要な画像要素のみが出力される。尚、この例では、画像要素についてキャプションも出力しているが、出力しなくても良い。
【００３４】
（第２の実施の形態）
上記第１の実施の形態においては、図３のステップＳ３０５において要約テキストに関連する画像要素を選択する際に、要約テキスト中から参照されている画像要素を選択したが、要約テキストを含む構成単位に含まれている画像要素を選択するようにしても良い。ここで、構成単位とは、章、節、項、段落等を指し、どの構成単位に基づくかについては、事前に設定しておくものとする。例えば、要約テキストを含む段落に含まれている画像要素は選択し、そうでない画像要素は選択しない。
【００３５】
（第３の実施の形態）
また、上記第１の実施例においては、図３のステップＳ３０５においてテキスト要約に関連する画像要素を選択する際に、要約テキスト中から参照されている画像要素を選択したが、画像要素にキャプションが付加されている場合、要約テキストと類似したキャプションを有する画像要素を選択するようにしても良い。要約テキストとキャプションの類似度を判定するには、例えば、一般に知られているベクトル空間モデル（例えば、「Ｓａｌｔｏｎ，  ＭｃＧｉｌｌ，  “Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｍｏｄｅｒｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ”，  １９８３．」に記載されている）を使用して、要約テキストとキャプションの双方をベクトル表現し、ベクトル間の距離によって類似度を判定することができるが、他の手法によっても良い。
【００３６】
また、類似度判定の際には、要約テキスト全てを使用するのでなく、その一部を使用しても良い。例えば、画像要素の近傍に存在する要約テキストを使用することが考えられる。
【００３７】
（第４の実施の形態）
また、上記第１の実施例においては、図３のステップＳ３０５においてテキスト要約に関連する画像要素を選択する際に、要約テキスト中から参照されている画像要素を選択したが、画像要素指定手段を更に設け、要約文書に出力する画像要素を利用者が明示的に指定するようにしても良い。
【００３８】
（第５の実施の形態）
また、上記第１の実施例においては、画像要素の一部を選択して要約文書中に出力したが、画像要素を選択するのでなく、全ての画像要素を一律に縮小して要約文書中に出力するようにしても良い。この場合、画像選択手段の代わりに画像縮小処理手段を設け、画像要素選択処理の代わりに全ての画像要素を縮小する処理を行う。ここで、縮小比率は数値によって与えれば良い。この数値は、事前に設定しておいても良いし、処理の際に利用者が与えるようにしても良い。
【００３９】
また、画像要素の選択と画像要素の縮小を併用しても良い。
【００４０】
また、画像要素出力方法設定手段を設け、画像要素を選択して出力するか、画像要素を一律に縮小して出力するか、これらを併用するかを、利用者が指定するようにしても良い。
【００４１】
（第６の実施の形態）
また、上記第１の実施例においては、構造を持った電子化文書を処理対象としたが、スキャンして得られた文書画像を対象としても本発明は実施することが可能である。
【００４２】
また、文書画像からテキスト領域と画像領域を抽出する領域分離手段と、こうして抽出したテキスト領域からテキスト文字列を抽出する文字認識手段とを設けることにより、画像要素とテキスト要素を得ることができるので、上記第１の実施の形態と同様の方法で実施することができる。
【００４３】
（第７の実施の形態）
また、上記第１の実施例においては、各部を同一の電子計算機上で構成する場合について説明したが、これに限られるものではなく、複数の電子計算機上で実現しても良い。
【００４４】
（その他の実施の形態）
尚、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器から成る装置に適用しても良い。
【００４５】
また、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを格納した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成されることは言うまでもない。
【００４６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを格納した記憶媒体は本発明を構成することになる。
【００４７】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部、または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００４９】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部、または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００５０】
以上では、本発明の様々な例と実施形態を説明したが、当業者であれば、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、本願特許請求の範囲に全て述べられた様々な修正と変更に及ぶことが可能であることは言うまでもない。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、テキストと画像が混在した文書において、テキストは要約し、画像は選択若しくは縮小するようにして要約文書を生成するようにしたので、要約文書の分量を適度な量に抑えつつ、利用者が文書の内容を効率的に把握することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る文書処理装置の基本構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る文書処理装置の具体的構成を示すブロック図である。
【図３】本発明の第１の実施の形態に係る文書処理装置の処理動作の流れを示すフローチャートである。
【図４】本発明の第１の実施の形態に係る文書処理装置の具体例を示す図である。
【図５】本発明の第１の実施の形態に係る文書処理装置の具体例を示す図である。
【図６】本発明の第１の実施の形態に係る文書処理装置におけるテキスト要素保持部の内容の一例を示す図である。
【図７】本発明の第１の実施の形態に係る文書処理装置における画像要素保持部の内容の一例を示す図である。
【符号の説明】
１０１    文書保持部
１０２    構成要素抽出部
１０３    テキスト要素保持部
１０４    画像要素保持部
１０５    テキスト要約処理部
１０６    画像選択部
１０７    要約文書合成部
１０８    要約文書保持部
１０９    要約文書出力部
２０１    ＣＰＵ
２０２    メモリ
２０３    制御メモリ
２０４    出力装置
２０５    バス
【図１】
2004362073.tif 000003
【図２】
2004362073.tif 000004
【図３】
2004362073.tif 000005
【図４】
2004362073.tif 000006
【図５】
2004362073.tif 000007
【図６】
2004362073.tif 000008
【図７】
2004362073.tif 000009