(57)【要約】【課題】文書画像中から内容把握に役立つ部分（キー領域）を自動的に抽出しつつ、かつ抽出数を適当な数に絞る。【解決手段】領域分割／レイアウト情報抽出手段１０２は、入力された文書画像を文字領域と、図や表や罫線等の要素に分割し、段組種類や段組などのレイアウト情報を抽出する。行抽出手段１０３は、文字領域から行を抽出し、フォント識別手段１０４は、各行単位でフォント識別を行う。キー領域判別手段１０５は、レイアウト表現上の特徴を基に文書内容を端的に表わすキー領域を抽出し、抽出したキー領域の総数を調べ、閾値以上あるときは削減し適当な数に絞る。【選択図】図１
2005032280.tif 000002
【特許請求の範囲】
【請求項１】
文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する文書画像処理方法であって、前記判別されたキー領域の数を調べ、該キー領域数を最適な数に削減することを特徴とする文書画像処理方法。
【請求項２】
前記判別されたキー領域の数が所定の閾値以上であるとき、該キー領域数を削減することを特徴とする請求項１記載の文書画像処理方法。
【請求項３】
前記判別されたキー領域の数を、ページ内の全行数と比べたときの比率が所定の閾値以上であるとき、該キー領域数を削減することを特徴とする請求項１記載の文書画像処理方法。
【請求項４】
前記レイアウト表現上の特徴に優先順位を付け、優先度の低い特徴を基に判別されたキ−領域から順に削減することを特徴とする請求項１記載の文書画像処理方法。
【請求項５】
同一の特徴を持つキー領域に同じラベルを付与し、各ラベル毎のキー領域数を計数し、該ラベル毎の計数に応じてキー領域を削減することを特徴とする請求項１記載の文書画像処理方法。
【請求項６】
文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する文書画像処理方法であって、前記文書画像のページ全体の段組構成を判別し、判別された段組構成に応じて、前記キー領域の判別に使用するレイアウト表現上の特徴を選択することを特徴とする文書画像処理方法。
【請求項７】
文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する文書画像処理方法であって、前記判別されたキー領域の数を調べ、該キー領域数を削減する必要があるとき、前記判別に使用したレイアウト表現上の特徴の内、一ないし複数の特徴を除いた特徴を用いて再度、キー領域を判別することを特徴とする文書画像処理方法。
【請求項８】
文書画像を複数の要素に分割する機能と、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記判別されたキー領域の数を調べる機能と、該キー領域数を最適な数に削減する機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像中から内容把握に役立つ領域を自動的に抽出する文書画像処理方法および記録媒体に関する。
【背景技術】
【０００２】
近年、計算機、デジタル機器の能力向上やハードディスク等のデータ蓄積装置の能力向上によって文書画像の流通機会が飛躍的に増大した。しかし文書画像はデータ量が多く、このため処理速度が要求される場合やネットワークを通じて画像データを交換する場合などにネックとなってきた。
【０００３】
一般に、大量に蓄積された文書画像を閲覧する場合には、その全ての画像について、蓄積された高画質な画像状態で見る必要はなく、取敢えず内容の確認が可能であれば十分な場合が多い。もちろん、キーワード検索等が行える方が画像を扱うより、はるかに高速に処理できる。しかし適切なキーワードを入力することは難しい。蓄積された画像内容を一度も見たことがないような場合は、より一層困難である。
【０００４】
そこで、光ファイリング装置等においては、縮小した画像をインデックス画像として原画像とは別に保持し、まずそのインデックス画像を利用者に提示することによって、処理するデータ量の軽減化を図っている。しかし、単に画像全体を縮小した場合には、全体の感じはつかめても画像中の文字を読むことは難しく、特に、似たようなレイアウトの文書が多い場合には、所望の文書を選択することは難しい。
【０００５】
このような問題を解決するものとして、特開平５−３４２３２６号公報に記載された文書処理装置がある。この装置では、文書画像を領域分割し、分割された要素に対して、論理モデルに従って論理識別子を付与し、必要とする論理要素だけを識別子をキーにして抽出し、それを見やすく再配置する。また、部分的にＯＣＲを使用することによって、抽出した情報のソ−ティングなども行う。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記した文書処理方法では、予め入力される文書画像のレイアウト構成および論理構成を把握して、該当するモデルを作成する必要がある。モデルに従って文書が構成されていて、領域分割部が完璧であれば精度よく処理できるが、実際にはそうでない場合が多く、モデルの適用範囲が限定されてしまう。また、論理モデルの作成には相当の熟達が必要であることから、上記した処理方法では、新規文書群の内容把握のために部分画像（キー領域）の抽出を行うことが非常に難しい。
【０００７】
上記した問題を解決する他の方法として、例えば、特開平５−２４２１４２号公報および本出願人が先に提案した特願平８−１１０８０８号がある。これらの方法は、レイアウト構成および論理構成を把握して該当するモデルを作成する必要はなく、前掲した特開平５−３４２３２６号の方法よりも柔軟である。
【０００８】
つまり、特開平５−２４２１４２号公報に記載された、文書画像の復号なしに文書を要約するための方法おいては、言語的基準（「重要な」、「意味のある」などの単語）、文書内の位置や形態的画像特性（字体、字種など）によって重要度、つまり意味的に重要な画像単位を判定している。しかし、この方法においては画像単位（領域）の「重要性」を判断することができても、それが画像全体でどの程度の量になるのかを制御していない。頻度情報を利用することにより、重要相当領域の数の総数を制御することも可能であるが、日本文においては出現頻度が低くても「キー領域」に相当する場合が多いことから、頻度だけで制御することは難しい。
【０００９】
また、特願平８−１１０８０８号で提案した方法は、文書画像を複数の要素に分割し、分割された各要素のレイアウト上の特徴（本文とは異なる強調処理された部分）を基に該要素が前記文書内容を端的に表す領域であるか否かを判定し、該領域を部分画像として抽出する方法であるが、この方法においても、やはり当該領域の「重要性」を判断できても、それが画像全体でどの程度の量になるのかを制御していない。
【００１０】
本発明は上記した事情を考慮してなされたもので、
本発明の目的は、文書画像中から内容把握に役立つ部分（キー領域）を自動的に抽出することができ、また抽出数も適当な数に絞ることができる文書画像処理方法および記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、請求項１記載の発明では、文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する文書画像処理方法であって、前記判別されたキー領域の数を調べ、該キー領域数を最適な数に削減することを特徴としている。
【００１２】
請求項２記載の発明では、前記判別されたキー領域の数が所定の閾値以上であるとき、該キー領域数を削減することを特徴としている。
【００１３】
請求項３記載の発明では、前記判別されたキー領域の数を、ページ内の全行数と比べたときの比率が所定の閾値以上であるとき、該キー領域数を削減することを特徴としている。
【００１４】
請求項４記載の発明では、前記レイアウト表現上の特徴に優先順位を付け、優先度の低い特徴を基に判別されたキ−領域から順に削減することを特徴としている。
【００１５】
請求項５記載の発明では、同一の特徴を持つキー領域に同じラベルを付与し、各ラベル毎のキー領域数を計数し、該ラベル毎の計数に応じてキー領域を削減することを特徴としている。
【００１６】
請求項６記載の発明では、文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する文書画像処理方法であって、前記文書画像のページ全体の段組構成を判別し、判別された段組構成に応じて、前記キー領域の判別に使用するレイアウト表現上の特徴を選択することを特徴としている。
【００１７】
請求項７記載の発明では、文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する文書画像処理方法であって、前記判別されたキー領域の数を調べ、該キー領域数を削減する必要があるとき、前記判別に使用したレイアウト表現上の特徴の内、一ないし複数の特徴を除いた特徴を用いて再度、キー領域を判別することを特徴としている。
【００１８】
請求項８記載の発明では、文書画像を複数の要素に分割する機能と、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別する機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記判別されたキー領域の数を調べる機能と、該キー領域数を最適な数に削減する機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【発明の効果】
【００１９】
以上、説明したように、請求項１、２、３、８記載の発明によれば、文書画像の内容把握に役立つ領域が過剰に抽出されたとき、その領域数を削減しているので、最適な量だけ得ることができる。
【００２０】
請求項４、５記載の発明によれば、削減対象を考慮しているので、文書画像の内容把握に役立つ領域を、適当な量だけ得ることができる。
【００２１】
請求項６記載の発明によれば、文書画像の内容把握に役立つ領域を、ページ全体の段組構成に応じて適当な量だけ得ることができる。
【００２２】
請求項７記載の発明によれば、文書画像の内容把握に役立つ領域が過剰に抽出されたとき、異なる特徴を用いて再度、キー領域を判別処理しているので、内容を端的に表わす領域を最適な量だけ求めることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施例を図面を用いて具体的に説明する。
【実施例１】
【００２４】
図１は、本発明の実施例の構成を示す。図において、１０１は画像の入力手段、１０２は文書画像を要素に分割し、また段組などのレイアウト情報を抽出する領域分割／レイアウト情報抽出手段、１０３は各文字領域において行を抽出する行抽出手段、１０４はフォント識別手段、１０５は領域分割／レイアウト情報抽出手段１０２および行抽出手段１０３で抽出した情報から、文書画像の内容を端的に表わす領域（キー領域）を判別するキー領域判別手段、１０６は入力された画像や処理中の各種情報を蓄積するデータ記憶部、１０７は全体を制御する制御部、１０８はデータ通信路である。
【００２５】
図２は、本発明の処理フローチャートを示す。以下、図２に従って本発明を説明する。まず、画像入力手段１０１によって文書画像を得る（ステップ２０１）。この画像入力手段はスキャナやファックスであり、あるいはネットワーク経由で別の機器から画像を得る手段でもよい。
【００２６】
次に、領域分割／レイアウト情報抽出手段１０２は、入力された文書画像を文字領域と、図や表や罫線等の要素に分割すると同時に、段組種類や段組などのレイアウト情報を抽出する（ステップ２０２）。このような領域分割方法としては例えば、特開平６−２００９２号公報に記載された公知技術を用いればよい。また、レイアウト情報の抽出方法としては例えば、特開平９−４４５９４号公報に記載された公知技術を用いればよい。抽出した領域は、属性として要素の種類
（文字領域、表など）と、その位置（領域の外接矩形）などを持ち、また画像全体として段組種類や段組分割線などのレイアウト情報を持つ。
【００２７】
行抽出手段１０３は、抽出した文字領域から行を抽出する（ステップ２０３）。この行抽出方法としては、例えば電子通信学会論文「周辺分布、綿密度、外接矩形特徴を利用した文書画像の領域分割」（秋山他、１９８６年８月、Ｖｏｌ．Ｊ６９−ＤＮｏ．８）に記載された技術を用いればよい。
【００２８】
さらに、フォント識別手段１０４は、各行単位または各行に含まれる文字単位でフォント識別を行う（ステップ２０４）。このフォント識別方法としては例えば、特開平６−２０８６４９号公報に記載の方法を用いればよい。
【００２９】
領域などのレイアウト情報、行情報、フォント情報が抽出されると、キー領域判別手段１０５はキー領域の判別を行う（ステップ２０５）。ここで、キー領域とは文書の内容を把握するのに役立つ部分である。一般的に、そのような部分は何らかの方法で強調が施されている。例えば、大きな文字や強調系のフォントを使用したり、あるいは他の部分とは独立させたり、枠で囲むなどの処理が施されている。ここでは、先の特願平８−１１０８０８号で提案した、文書のレイアウト表現上の特徴を用いてキー領域を判別する、文書画像処理方法を利用する。
【００３０】
図３は、キー領域判別処理の詳細な処理フローチャートである。まず、各単位（ここでは行）毎にレイアウト表現上の強調処理を調べてキー領域を抽出する（ステップ３０１）。
【００３１】
すなわち、上記出願で提案したキー領域抽出処理では、まず、各行の文字サイズ特徴（大文字行、中文字行、普通文字行）を検出し、次いでフォント特徴（黒画素密度などを基に強調系のフォントであるか否か）を検出し、タイトル部（文字サイズが大きく、独立した領域）の検出を行う。続いて、小見出し部（例えば、中文字行で、行数が所定数未満の領域）を検出し、書誌事項を検出し、最後に、囲み枠が存在する場合に、囲み枠内の文章は別記事である場合が多く、内容把握に役立つので、枠内の行を先頭から数行抽出する。
【００３２】
以上の処理によって求められた、例えば「タイトル領域」、「フォント強調領域」、「小見出し領域および行」、「書誌事項」、「囲み枠先頭行」などがキー領域となる。
【００３３】
各単位（ここでは行）毎にレイアウト表現上の強調処理を調べることによりキー領域を抽出したら、抽出したキー領域の総数を調べる（ステップ３０２）。ところで、キー領域は文書画像の要約効果を狙ったものであるので、あまり多くの行をキー領域として抽出した場合にはその効果が半減してしまう。そこで、本発明では、抽出したキー領域の総数を調べ、所定の条件を満たす場合にキー領域の削減を図る。この条件としては、抽出総数が所定のしきい値以上である場合、あるいは抽出したキー領域の数の、ページ内の全行数に対する比率が所定のしきい値以上である場合、などがある。これらの条件はＯＲ条件でもＡＮＤ条件としてもよい。
【００３４】
キー領域の削減処理（ステップ３０３）は次のように行う。図４は、ステップ３０３の詳細の処理フローチャートである。まず、キー領域として判別されたということは、何らかの表現上の強調処理があることを示している。つまり、強調系のフォントが使用されている場合であり、あるいはインデントや文字サイズで小見出しであると判断された場合などである。そこで、ステップ３０１の処理において、同一の特徴を持つキー領域と判断されたものに対して同じラベルを付与しておく。図５は、ラベリングの様子を示す。そして、このラベル毎にキー領域の数を数える。
【００３５】
全体としてキー領域の数が多すぎると判定された場合に、削減対象を決定する。その決定方法としては、
（１）あらかじめ決められた強調特徴の優先順位による
（２）同ーラベルで数の多いものから削減していく
などの方法がある。
【００３６】
（１）の方法は、図５の例では、タイトル相当＞小見出し相当＞フォント強調という優先度をあらかじめ決めておくことにより、まず最も優先度が低いフォント強調のみのキー領域を削減し、それでもまだキー領域数が多い場合には小見出し相当のキー領域を削減するものである。また、複数の強調特徴を持つ場合は
（例えば、小見出し相当かつフォント強調）、優先度の高い特徴単体と同等またはそれよりも優先度を高くする。
【００３７】
（２）の方法は、図５の例では、最も同一ラベルの多いもの（＝フォント強調）から削減していき、キー領域が十分な数になるまでこれを繰り返すものである。
【実施例２】
【００３８】
本実施例の構成は図１と同じであり、また全体の処理の流れも図２で表されるが、ステップ２０５のキー領域判別処理の処理内容が実施例１と異なる。
【００３９】
ステップ２０２において、例えば特開平９−４４５９４号に記載の技術（文書画像から文字列を含む、複数の小領域を抽出し、複数の小領域から空白部または罫線を検出し、検出された空白部または罫線を基に、１段組、複数段組、自由段組を含む段組種類を判別する段組種類判別方法）を使用することにより、ページ全体の段組構成が判別される。ここで、例えば全体が１段組であると判別された場合を例にして説明する。１段組みの書類としては通達文などがあり、通達文ではインデントが多用される傾向がある。また、特に重要でない部分に強調系のゴシック系フォントが使用されることがある。
【００４０】
したがって、１段組であって図６のような深いインデントがある場合には、ステップ２０５の処理では、インデント特徴をキー領域判別に使用しない、あるいは特徴としての重みを低くし、またはフォント情報を使用しない、といった処理をする。
【００４１】
このように、ページ全体の段組構成によってキー領域判定に使用する特徴の重み付けを変えることで、より最適なキー領域が抽出される。
【実施例３】
【００４２】
実施例３の構成は図１と同じであり、全体の処理の流れも図２で表される。相違点はステップ２０５のキー領域判別処理の処理内容にある。
【００４３】
図７は、実施例３に係るステップ２０５の詳細の処理フローチャートである。実施例１と同様に、一度、キー領域を抽出し（ステップ７０１）、実施例１と同様に、その数について判定し（ステップ７０２）、もし削減する必要がある場合（該当する領域が多すぎる場合）は、一ないし複数の特徴をキー領域抽出に使用せずに、再度、キー領域の抽出処理を行う（ステップ７０３）。ステップ７０２および７０３は再帰的に行ってもよい。
【実施例４】
【００４４】
本発明は上記した実施例に限定されず、ソフトウエアによっても実現することができる。本発明をソフトウエアによって実現する場合には、図８に示すように、ＣＰＵ、メモリ、表示装置、ハードディスク、キーボード、ＣＤ‐ＲＯＭドライブ、マウスなどからなるコンピュータシステムを用意する。ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体には、本発明の文書画像処理機能や処理手順を実現するプログラムなどが記録されている。また、処理対象の文書画像は例えばハードディスクなどに格納されている。そして、ＣＰＵは、記録媒体から上記した処理機能、処理手順を実現するプログラムを読み出し、ハードディスクなどから読み込まれた文書画像からキー領域を抽出処理し、キー領域数が過剰である場合にはその数を最適な数に絞り、その結果をディスプレイなどに色を変えるなどして出力する。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施例の構成を示す。
【図２】本発明の処理フローチャートを示す。
【図３】キー領域判別処理の詳細な処理フローチャートである。
【図４】ステップ３０３（キー領域削減処理）の詳細の処理フローチャートである。
【図５】キー領域に対するラベリングの様子を示す。
【図６】深いインデントの例を示す。
【図７】他の実施例におけるステップ２０５（キー領域判別処理）の詳細な処理フローチャートである。
【図８】本発明をソフトウェアによって実現する場合の構成例を示す。
【符号の説明】
【００４６】
１０１  画像入力手段
１０２  領域分割／レイアウト情報抽出手段
１０３  行抽出手段
１０４  フォント識別手段
１０５  キー領域判別手段
１０６  データ記憶部
１０７  制御部
１０８  データ通信路
【図１】
2005032280.tif 000003
【図２】
2005032280.tif 000004
【図３】
2005032280.tif 000005
【図４】
2005032280.tif 000006
【図５】
2005032280.tif 000007
【図６】
2005032280.tif 000008
【図７】
2005032280.tif 000009
【図８】
2005032280.tif 000010
【手続補正書】
【提出日】平成16年11月17日(2004.11.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
文書画像を処理する文書画像処理装置において、文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）を抽出するキー領域抽出処理方法であって、
前記文書画像のページ全体の段組構成を判別し、判別された段組構成に応じて、前記キー領域の判別に使用するレイアウト表現上の特徴を選択することを特徴とするキー領域抽出処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像処理装置において、文書画像中から内容把握に役立つ領域（キー領域）を自動的に抽出するキー領域抽出処理方法に関する。
【背景技術】
【０００２】
近年、計算機、デジタル機器の能力向上やハードディスク等のデータ蓄積装置の能力向上によって文書画像の流通機会が飛躍的に増大した。しかし文書画像はデータ量が多く、このため処理速度が要求される場合やネットワークを通じて画像データを交換する場合などにネックとなってきた。
【０００３】
一般に、大量に蓄積された文書画像を閲覧する場合には、その全ての画像について、蓄積された高画質な画像状態で見る必要はなく、取敢えず内容の確認が可能であれば十分な場合が多い。もちろん、キーワード検索等が行える方が画像を扱うより、はるかに高速に処理できる。しかし適切なキーワードを入力することは難しい。蓄積された画像内容を一度も見たことがないような場合は、より一層困難である。
【０００４】
そこで、光ファイリング装置等においては、縮小した画像をインデックス画像として原画像とは別に保持し、まずそのインデックス画像を利用者に提示することによって、処理するデータ量の軽減化を図っている。しかし、単に画像全体を縮小した場合には、全体の感じはつかめても画像中の文字を読むことは難しく、特に、似たようなレイアウトの文書が多い場合には、所望の文書を選択することは難しい。
【０００５】
このような問題を解決するものとして、特開平５−３４２３２６号公報に記載された文書処理装置がある。この装置では、文書画像を領域分割し、分割された要素に対して、論理モデルに従って論理識別子を付与し、必要とする論理要素だけを識別子をキーにして抽出し、それを見やすく再配置する。また、部分的にＯＣＲを使用することによって、抽出した情報のソ−ティングなども行う。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記した文書処理方法では、予め入力される文書画像のレイアウト構成および論理構成を把握して、該当するモデルを作成する必要がある。モデルに従って文書が構成されていて、領域分割部が完璧であれば精度よく処理できるが、実際にはそうでない場合が多く、モデルの適用範囲が限定されてしまう。また、論理モデルの作成には相当の熟達が必要であることから、上記した処理方法では、新規文書群の内容把握のために部分画像（キー領域）の抽出を行うことが非常に難しい。
【０００７】
上記した問題を解決する他の方法として、例えば、特開平５−２４２１４２号公報および本出願人が先に提案した特願平８−１１０８０８号がある。これらの方法は、レイアウト構成および論理構成を把握して該当するモデルを作成する必要はなく、前掲した特開平５−３４２３２６号の方法よりも柔軟である。
【０００８】
つまり、特開平５−２４２１４２号公報に記載された、文書画像の復号なしに文書を要約するための方法おいては、言語的基準（「重要な」、「意味のある」などの単語）、文書内の位置や形態的画像特性（字体、字種など）によって重要度、つまり意味的に重要な画像単位を判定している。しかし、この方法においては画像単位（領域）の「重要性」を判断することができても、それが画像全体でどの程度の量になるのかを制御していない。頻度情報を利用することにより、重要相当領域の数の総数を制御することも可能であるが、日本文においては出現頻度が低くても「キー領域」に相当する場合が多いことから、頻度だけで制御することは難しい。
【０００９】
また、特願平８−１１０８０８号で提案した方法は、文書画像を複数の要素に分割し、分割された各要素のレイアウト上の特徴（本文とは異なる強調処理された部分）を基に該要素が前記文書内容を端的に表す領域であるか否かを判定し、該領域を部分画像として抽出する方法であるが、この方法においても、やはり当該領域の「重要性」を判断できても、それが画像全体でどの程度の量になるのかを制御していない。
【００１０】
本発明は上記した事情を考慮してなされたもので、文書画像処理装置において、文書画像中から内容把握に役立つ部分（キー領域）を自動的に抽出することができ、また抽出数も適当な数に絞ることができるキー領域抽出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明では、文書画像処理装置において、文書画像を複数の要素に分割し、分割された各要素のレイアウト表現上の特徴を基に該要素が前記文書画像の内容を端的に表わす領域（以下、キー領域）であるか否かを判別するにあたり、前記文書画像のページ全体の段組構成を判別し、判別された段組構成に応じて、前記キー領域の判別に使用するレイアウト表現上の特徴を選択することを特徴としている。
【発明の効果】
【００１２】
本発明によれば、文書画像の内容把握に役立つ領域を、ページ全体の段組構成に応じて適当な量だけ得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施例を図面を用いて具体的に説明する。
【実施例１】
【００１４】
図１は、本発明の実施例の構成を示す。図において、１０１は画像の入力手段、１０２は文書画像を要素に分割し、また段組などのレイアウト情報を抽出する領域分割／レイアウト情報抽出手段、１０３は各文字領域において行を抽出する行抽出手段、１０４はフォント識別手段、１０５は領域分割／レイアウト情報抽出手段１０２および行抽出手段１０３で抽出した情報から、文書画像の内容を端的に表わす領域（キー領域）を判別するキー領域判別手段、１０６は入力された画像や処理中の各種情報を蓄積するデータ記憶部、１０７は全体を制御する制御部、１０８はデータ通信路である。
【００１５】
図２は、本発明の処理フローチャートを示す。以下、図２に従って本発明を説明する。まず、画像入力手段１０１によって文書画像を得る（ステップ２０１）。この画像入力手段はスキャナやファックスであり、あるいはネットワーク経由で別の機器から画像を得る手段でもよい。
【００１６】
次に、領域分割／レイアウト情報抽出手段１０２は、入力された文書画像を文字領域と、図や表や罫線等の要素に分割すると同時に、段組種類や段組などのレイアウト情報を抽出する（ステップ２０２）。このような領域分割方法としては例えば、特開平６−２００９２号公報に記載された公知技術を用いればよい。また、レイアウト情報の抽出方法としては例えば、特開平９−４４５９４号公報に記載された公知技術を用いればよい。抽出した領域は、属性として要素の種類
（文字領域、表など）と、その位置（領域の外接矩形）などを持ち、また画像全体として段組種類や段組分割線などのレイアウト情報を持つ。
【００１７】
行抽出手段１０３は、抽出した文字領域から行を抽出する（ステップ２０３）。この行抽出方法としては、例えば電子通信学会論文「周辺分布、綿密度、外接矩形特徴を利用した文書画像の領域分割」（秋山他、１９８６年８月、Ｖｏｌ．Ｊ６９−ＤＮｏ．８）に記載された技術を用いればよい。
【００１８】
さらに、フォント識別手段１０４は、各行単位または各行に含まれる文字単位でフォント識別を行う（ステップ２０４）。このフォント識別方法としては例えば、特開平６−２０８６４９号公報に記載の方法を用いればよい。
【００１９】
領域などのレイアウト情報、行情報、フォント情報が抽出されると、キー領域判別手段１０５はキー領域の判別を行う（ステップ２０５）。ここで、キー領域とは文書の内容を把握するのに役立つ部分である。一般的に、そのような部分は何らかの方法で強調が施されている。例えば、大きな文字や強調系のフォントを使用したり、あるいは他の部分とは独立させたり、枠で囲むなどの処理が施されている。ここでは、先の特願平８−１１０８０８号で提案した、文書のレイアウト表現上の特徴を用いてキー領域を判別する、文書画像処理方法を利用する。
【００２０】
図３は、キー領域判別処理の詳細な処理フローチャートである。まず、各単位（ここでは行）毎にレイアウト表現上の強調処理を調べてキー領域を抽出する（ステップ３０１）。
【００２１】
すなわち、上記出願で提案したキー領域抽出処理では、まず、各行の文字サイズ特徴（大文字行、中文字行、普通文字行）を検出し、次いでフォント特徴（黒画素密度などを基に強調系のフォントであるか否か）を検出し、タイトル部（文字サイズが大きく、独立した領域）の検出を行う。続いて、小見出し部（例えば、中文字行で、行数が所定数未満の領域）を検出し、書誌事項を検出し、最後に、囲み枠が存在する場合に、囲み枠内の文章は別記事である場合が多く、内容把握に役立つので、枠内の行を先頭から数行抽出する。
【００２２】
以上の処理によって求められた、例えば「タイトル領域」、「フォント強調領域」、「小見出し領域および行」、「書誌事項」、「囲み枠先頭行」などがキー領域となる。
【００２３】
各単位（ここでは行）毎にレイアウト表現上の強調処理を調べることによりキー領域を抽出したら、抽出したキー領域の総数を調べる（ステップ３０２）。ところで、キー領域は文書画像の要約効果を狙ったものであるので、あまり多くの行をキー領域として抽出した場合にはその効果が半減してしまう。そこで、本発明では、抽出したキー領域の総数を調べ、所定の条件を満たす場合にキー領域の削減を図る。この条件としては、抽出総数が所定のしきい値以上である場合、あるいは抽出したキー領域の数の、ページ内の全行数に対する比率が所定のしきい値以上である場合、などがある。これらの条件はＯＲ条件でもＡＮＤ条件としてもよい。
【００２４】
キー領域の削減処理（ステップ３０３）は次のように行う。図４は、ステップ３０３の詳細の処理フローチャートである。まず、キー領域として判別されたということは、何らかの表現上の強調処理があることを示している。つまり、強調系のフォントが使用されている場合であり、あるいはインデントや文字サイズで小見出しであると判断された場合などである。そこで、ステップ３０１の処理において、同一の特徴を持つキー領域と判断されたものに対して同じラベルを付与しておく。図５は、ラベリングの様子を示す。そして、このラベル毎にキー領域の数を数える。
【００２５】
全体としてキー領域の数が多すぎると判定された場合に、削減対象を決定する。その決定方法としては、
（１）あらかじめ決められた強調特徴の優先順位による
（２）同ーラベルで数の多いものから削減していく
などの方法がある。
【００２６】
（１）の方法は、図５の例では、タイトル相当＞小見出し相当＞フォント強調という優先度をあらかじめ決めておくことにより、まず最も優先度が低いフォント強調のみのキー領域を削減し、それでもまだキー領域数が多い場合には小見出し相当のキー領域を削減するものである。また、複数の強調特徴を持つ場合は
（例えば、小見出し相当かつフォント強調）、優先度の高い特徴単体と同等またはそれよりも優先度を高くする。
【００２７】
（２）の方法は、図５の例では、最も同一ラベルの多いもの（＝フォント強調）から削減していき、キー領域が十分な数になるまでこれを繰り返すものである。
【実施例２】
【００２８】
本実施例の構成は図１と同じであり、また全体の処理の流れも図２で表されるが、ステップ２０５のキー領域判別処理の処理内容が実施例１と異なる。なお、請求項１は本実施例に対応する。
【００２９】
ステップ２０２において、例えば特開平９−４４５９４号に記載の技術（文書画像から文字列を含む、複数の小領域を抽出し、複数の小領域から空白部または罫線を検出し、検出された空白部または罫線を基に、１段組、複数段組、自由段組を含む段組種類を判別する段組種類判別方法）を使用することにより、ページ全体の段組構成が判別される。ここで、例えば全体が１段組であると判別された場合を例にして説明する。１段組みの書類としては通達文などがあり、通達文ではインデントが多用される傾向がある。また、特に重要でない部分に強調系のゴシック系フォントが使用されることがある。
【００３０】
したがって、１段組であって図６のような深いインデントがある場合には、ステップ２０５の処理では、インデント特徴をキー領域判別に使用しない、あるいは特徴としての重みを低くし、またはフォント情報を使用しない、といった処理をする。
【００３１】
このように、ページ全体の段組構成によってキー領域判定に使用する特徴の重み付けを変えることで、より最適なキー領域が抽出される。
【実施例３】
【００３２】
実施例３の構成は図１と同じであり、全体の処理の流れも図２で表される。相違点はステップ２０５のキー領域判別処理の処理内容にある。
【００３３】
図７は、実施例３に係るステップ２０５の詳細の処理フローチャートである。実施例１と同様に、一度、キー領域を抽出し（ステップ７０１）、実施例１と同様に、その数について判定し（ステップ７０２）、もし削減する必要がある場合（該当する領域が多すぎる場合）は、一ないし複数の特徴をキー領域抽出に使用せずに、再度、キー領域の抽出処理を行う（ステップ７０３）。ステップ７０２および７０３は再帰的に行ってもよい。
【実施例４】
【００３４】
本発明は上記した実施例に限定されず、ソフトウェアによっても実現することができる。本発明をソフトウェアによって実現する場合には、図８に示すように、ＣＰＵ、メモリ、表示装置、ハードディスク、キーボード、ＣＤ‐ＲＯＭドライブ、マウスなどからなるコンピュータシステムを用意する。ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体には、本発明の文書画像処理機能や処理手順を実現するプログラムなどが記録されている。また、処理対象の文書画像は例えばハードディスクなどに格納されている。そして、ＣＰＵは、記録媒体から上記した処理機能、処理手順を実現するプログラムを読み出し、ハードディスクなどから読み込まれた文書画像からキー領域を抽出処理し、キー領域数が過剰である場合にはその数を最適な数に絞り、その結果をディスプレイなどに色を変えるなどして出力する。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施例の構成を示す。
【図２】本発明の処理フローチャートを示す。
【図３】キー領域判別処理の詳細な処理フローチャートである。
【図４】ステップ３０３（キー領域削減処理）の詳細の処理フローチャートである。
【図５】キー領域に対するラベリングの様子を示す。
【図６】深いインデントの例を示す。
【図７】他の実施例におけるステップ２０５（キー領域判別処理）の詳細な処理フローチャートである。
【図８】本発明をソフトウェアによって実現する場合の構成例を示す。
【符号の説明】
【００３６】
１０１  画像入力手段
１０２  領域分割／レイアウト情報抽出手段
１０３  行抽出手段
１０４  フォント識別手段
１０５  キー領域判別手段
１０６  データ記憶部
１０７  制御部
１０８  データ通信路