(57)【特許請求の範囲】
【請求項１】
文書画像における文字要素を統合し行を生成し，前記生成した行を統合することで文字領域を抽出し，前記文字領域を抽出するための行の統合を修正する文書画像処理方法において，
前記文字領域から段組の位置情報を抽出する段組情報抽出工程と，
前記文字領域の領域幅の出現頻度に基づいて段幅を推定する段幅推定工程と，
前記推定した段幅に対応する文字領域における前記段組の位置情報と前記推定した段幅に基づいて修正候補領域を抽出する工程と，
前記修正候補領域を前記対応する文字領域内の段の位置に対応する強制分割位置を用いて分割する領域修正工程と，
を含むことを特徴とする文書画像処理方法。
【請求項２】
前記領域修正工程は，前記段組情報抽出工程で抽出された段の位置情報から推定した段幅に合致する領域と同じ段に所属すべき候補領域を検出し，該領域内の文字あるいは文字列要素を，段の位置を参照しながら再度文字領域へ統合する際に，前記段に沿った強制分割位置を仮定し，この分割位置より外側では前記抽出した段幅に合致する領域と同じ段に所属すべき候補領域の方向と垂直な方向によって構成される文字領域を最初に生成し，その後に当該文字領域の評価を行うことを特徴とする請求項１に記載の文書画像処理方法。
【請求項３】
前記請求項１または２に記載の文書画像処理方法をコンピュータに実行させるプログラムを記録したことを特徴とする機械読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，入力された文書画像を認識する文書画像認識システムなどに利用され，特に，文書画像から文字領域を抽出する際に，抽出した文字領域の過剰統合を修正する文書画像処理方法および文書画像処理方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来，文書画像を入力し，その文書画像から文字認識処理を行ったり，各種レアウト情報を取得するには，文字領域や図形領域・その他の領域などの領域抽出処理を行う必要がある。
【０００３】
このような，領域抽出処理を行う参考技術文献として，『印刷文書認識システム  ＡｕｔｏＲｅｃｏ／２  −イメージプロセス−』（情報処理学会第４７回（平成５年後期）全国大会２−９７〜９８）が開示されている。ここでは，特に，コラム境界線を検出し，文字列要素を領域へ統合している（これを第１の従来技術という）。
【０００４】
また，ページ全体の段組状態を検出し，それに応じて文字領域を抽出する技術が特開平９−４４５９４号公報の『文書画像の領域分割方法および段組種類判別方法』に開示されている（これを第２の従来技術という）。
【０００５】
【発明が解決しようとする課題】
しかしながら，上記に示されるような従来の技術にあっては，以下のような問題点があった。まず，第１の従来技術にあっては，新聞などで図のキャプションと本文とが近接している場合には過剰統合が生じてしまうことがある。その具体例を図７に示す。図７においてキャプション７０４が本文と近いため，誤って７０３のようなかたちで１つの領域として抽出されてしまう。
【０００６】
また，第２の従来技術に開示されている方法では，新聞などように文字要素が密な場合，初期の段階では明確な段組みが検出されず，近傍文字要素を統合することで文字領域を抽出することになってしまう。つまり，図７に示すように近接した場合に過剰統合が生じる。
【０００７】
また，第１の従来技術に開示されている方法でも，近接した文字要素は初期段階でグループ化されるため，段のエッジ部分が検出されなくなってしまう。また，このような場合でも段のエッジ部分を検出するようにすると，本来のエッジ以外に多数の擬似エッジが検出され，文字領域の抽出が全体として煩雑になってしまう。
【０００８】
本発明は，上記に鑑みてなされたものであって，文書画像から文字領域を抽出する際に，異なる文字領域に属する文字同士が近接していても，正しく文字領域を抽出することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために，請求項１に係る文書画像処理方法にあっては，文書画像における文字要素を統合し行を生成し，前記生成した行を統合することで文字領域を抽出し，前記文字領域を抽出するための行の統合を修正する文書画像処理方法において，前記文字領域から段組の位置情報を抽出する段組情報抽出工程と，前記文字領域の領域幅の出現頻度に基づいて段幅を推定する段幅推定工程と，前記推定した段幅に対応する文字領域における前記段組の位置情報と前記推定した段幅に基づいて修正候補領域を抽出する工程と，前記修正候補領域を前記対応する文字領域内の段の位置に対応する強制分割位置を用いて分割する領域修正工程と，を含むものである。
【００１０】
また，請求項２に係る文書画像処理方法にあっては，請求項１の文書画像処理方法において，前記領域修正工程は，前記段組情報抽出工程で抽出された段の位置情報から推定した段幅に合致する領域と同じ段に所属すべき候補領域を検出し，該領域内の文字あるいは文字列要素を，段の位置を参照しながら再度文字領域へ統合する際に，前記段に沿った強制分割位置を仮定し，この分割位置より外側では前記抽出した段幅に合致する領域と同じ段に所属すべき候補領域の方向と垂直な方向によって構成される文字領域を最初に生成し，その後に当該文字領域の評価を行うものである。
【００１２】
また，請求項３に係る機械読み取り可能な記録媒体にあっては，前記請求項１または２に記載の文書画像処理方法をコンピュータに実行させるプログラムを記録したものである。
【００１３】
【発明の実施の形態】
以下，本発明の文書画像処理方法および文書画像処理方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体について添付図面を参照し，詳細に説明する。
【００１４】
（システムの構成）
図１は，本発明の実施の形態に係る文書画像処理方法を適用したシステムの構成を示すブロック図である。図において，１０１はＣＣＤ搭載のスキャナあるいはファクシミリ装置などを用い，文書を含む原稿を光学的に２値画像として読み取り，入力する画像入力部である。また，画像入力部１０１の具体的な手段として，ネットワーク経由（後述するデータ通信部１１０による）で別の機器から文書画像を取得するようにしてもよい。
【００１５】
ネットワーク経由で画像を取り込む場合は，例えば，予め用意されたブラウザ機能（ＷＷＷ（ｗｏｒｌｄ  ｗｉｄｅ  ｗｅｂ）ブラウザ機能とする）を用いてインターネット上に分散する広域のデータ資源（ＷＷＷサーバ上のアクセス情報の一つであるＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）で特定されるＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ：ＷＷＷ（ｗｏｒｌｄ  ｗｉｄｅ  ｗｅｂ：ハイパーテキストを使用したインターネットの情報サービス）用の文書記述言語）などの言語によるデータをブラウズする。
【００１６】
また，１０２は画像入力部１０１によって入力された画像を縮小する画像縮小部，１０３は画像縮小部１０２で縮小された画像から文字要素を抽出する基本要素抽出部，１０４は文字領域を抽出する文字領域抽出部，１０５は文字領域抽出部１０４によって抽出された文字領域などから段組を検出する段組検出部，１０６は後述する文字領域修正処理を実行する文字領域修正部，１０７は本システム全体を所定の制御プログラムに基づいて統括的に制御する制御部，１０８は入力された文書データやレイアウト情報などの各種データを記憶しておくためのデータ記憶部，１０９はデータ通信路，１１０は例えば，ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）プロトコルに従ってネットワーク通信を行うように構成されたデータ通信部である。
【００１７】
（システムの動作）
次に，以上のように構成されたシステムにおける文書画像処理動作について説明する。図２は，本発明の実施の形態に係る文書画像処理方法の手順を示すフローチャートである。まず，画像入力部１０１により対象の文書画像を入力する（Ｓ２０１）。さらに，この入力された文書画像を画像縮小部１０２で縮小する（Ｓ２０２）。
【００１８】
この場合，例えば，８×８画素を１画素にＯＲ圧縮することにより，文字を構成する黒画素が文字列方向に連結した状態となる。この連結成分の外接矩形を抽出して基本要素とする。この基本要素は１文字あるいは文字列の一部の場合もあれば，表などはそれだけで一つの大きな基本要素となる。
【００１９】
続いて，上記基本要素を文字，表，図その他などに分類し，また，文字要素は統合して行を生成し，行は統合して領域を抽出する（Ｓ２０３）。なお，この処理の流れは，本発明者が先に特開平９−４４５９４号公報で提案している。
【００２０】
続いて，段組み情報を抽出する（Ｓ２０４）。この段組みについて図３および図４を用いて説明する。抽出した文字領域の行方向に沿った長さを「領域幅」，該「領域幅」と垂直な方向の長さを「領域高さ」とする。ここで，「領域高さ」が予め設定した閾値以上のものについて「領域幅」のヒストグラムを作成する。
【００２１】
つまり，図３の場合，３０１〜３０４が閾値以上の高さの文字領域となる。このヒストグラムを図４に示す。図４のヒストグラムにおいて，総度数に対して高い比率の頻度を持つクラスがあった場合，それを「段幅」とする。図４では９０〜１２０の幅のクラスがこれに相当する。そして，図３では３０１〜３０３がこれに相当する。
【００２２】
このとき，「段幅」の取り得る範囲に制限を設けてもよい。例えば図４に示す例では，８０〜１７０がその範囲であるとすれば，たとえ３０〜６０のクラスの頻度が高くても段幅としては採用されず，最終的に段幅は未定となる。なお，先の特開平９−４４５９４号公報の方法では，文字要素の分布から整合の取れた段組み状態を検出しており，この検出した段組み情報を流用してもよい。
【００２３】
さて，段組み情報が抽出できたならば，続いて，その段組み情報を利用した文字領域の修正を実行する（Ｓ２０５）。この文字領域の修正処理の詳細について図５のフローチャートに示す。
【００２４】
図５において，まず，推定段幅に合致する領域を検出する（Ｓ５０１）。図７に示す例では７０２に該当する。続いて，ステップＳ５０１で検出した領域と同じ段に所属すべき候補領域，つまり修正対象候補を検出する（Ｓ５０２）。この場合，領域の上端あるいは下端が揃っており，かつ幅がそれほど変わらない領域が候補領域となる。また，キャプションの融合を想定する場合は，近傍に図領域が存在することも条件の一つとなる。図７に示す例では７０３が該当する。
【００２５】
上述の如く候補領域が検出されたならば，次にステップＳ５０３を実行する。すなわち，その候補領域を構成する文字要素を使用して再び文字領域の抽出を行う。このとき，段に沿った強制分割位置（図６参照）を仮定し，それより外側では基準行方向と垂直方向に行の生成および領域の生成を実行する。図７の該当箇所を拡大したものが図６である。強制分割位置に対して段外側の６０１の要素を使って行６０２と６０３を生成する。そして，上記生成した行における整合度を算出する（Ｓ５０３）。
【００２６】
続いて，予め設定した閾値以上の整合度となる場合には，この領域を正式なものとし，残りの強制分割位置より段内側の文字要素を使用し，もう一方の文字領域を生成する（Ｓ５０４）。行の整合度としては，各文字要素の重心の回帰直線の傾きであるとか，要素間距離の分散などを利用することができる。また，図６に示すように段外側で複数行生成される場合には，その行の高さ（図６で上下方向）の差に反比例するような値を整合度としてもよい。
【００２７】
したがって，以上述べてきたような処理動作によって，図７に示すような図のキャプションと本分とが近接している場合であっても正確な領域の抽出を行うことができる。
【００２８】
ところで，以上説明した各実施の形態における文書画像処理動作は図１に示したシステムによって実行したが，この他に，文書画像処方法としてソフトウェアとして機械読み取り可能な記録媒体に記録し，コンピュータ上で実行するようにしてもよい。
【００２９】
【発明の効果】
以上説明したように，本発明に係る文書画像処理方法（請求項１，２）によれば，段組抽出工程で抽出された段の位置を参照し，過剰に統合された文字領域を評価・修正するため，異なる文字領域に属する文字同士が近接するような文書画像であっても，文字領域の過剰統合を回避し，本来抽出されるべき文字領域として抽出することができる。
【００３０】
また，本発明に係る機械読み取り可能な記録媒体（請求項３）にあっては，請求項１または２に記載の文書画像処理方法をコンピュータに実行させるプログラムを記録したことにより，請求項１または２に記載の動作をコンピュータによって実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る文書画像処理方法を適用したシステムの構成を示すブロック図である。
【図２】本発明の実施の形態に係る文書画像処理方法の手順を示すフローチャートである。
【図３】本発明の実施の形態に係る段組み情報抽出例を示す説明図である。
【図４】本発明の実施の形態に係る段組み情報抽出の際に作成・使用される領域幅のヒストグラム例である。
【図５】図２における領域修正処理の詳細処理手順を示すフローチャートである。
【図６】本発明の実施の形態に係る強制再領域抽出・評価例について図７を拡大して示す説明図である。
【図７】図のキャプションと本文とが近接している場合を示す説明図である。
【符号の説明】
１０１  画像入力部
１０２  画像縮小部
１０３  基本要素抽出部
１０４  文字領域抽出部
１０５  段組検出部
１０６  文字領域修正部
１０７  制御部
１０８  データ記憶部
１１０  データ通信部
【図１】
0003850995.tif 000002
【図２】
0003850995.tif 000003
【図３】
0003850995.tif 000004
【図４】
0003850995.tif 000005
【図５】
0003850995.tif 000006
【図６】
0003850995.tif 000007
【図７】
0003850995.tif 000008