(57)【要約】【課題】自然画に背景との境界がはっきりしない文書が複数枚数存在しても、文書と背景の正しい境界線を推定し、本来の大きさ通りの文書領域の抽出を可能にする。【解決手段】入力された画像データから文書領域に含まれる文字の外接矩形である文字領域を抽出する文字領域抽出手段と、抽出された前記文字領域の位置を基準として、文書領域端となる文書領域端画素を探索する第一の探索範囲を決定する第一の探索範囲決定手段と、前記第一の探索範囲から前記文書領域端画素を抽出する文書領域端画素抽出手段と、抽出された前記文書領域端画素の位置を基準として、文書領域端となる文書領域端線を探索する第二の探索範囲を決定する第二の探索範囲決定手段と、前記第二の探索範囲から前記文書領域端線を抽出する文書領域端線抽出手段と、前記文書領域端線から前記文書領域を確定する文書領域確定手段とを有する。【選択図】  図５
2012022577.tif 000002
【特許請求の範囲】
【請求項１】
文書領域を有する画像データから前記文書領域を抽出する画像処理装置であって、
入力された画像データから前記文書領域に含まれる文字の外接矩形である文字領域を抽出する文字領域抽出手段と、
抽出された前記文字領域の位置を基準として、文書領域端となる文書領域端画素を探索する第一の探索範囲を決定する第一の探索範囲決定手段と、
前記第一の探索範囲から前記文書領域端画素を抽出する文書領域端画素抽出手段と、
抽出された前記文書領域端画素の位置を基準として、文書領域端となる文書領域端線を探索する第二の探索範囲を決定する第二の探索範囲決定手段と、
前記第二の探索範囲から前記文書領域端線を抽出する文書領域端線抽出手段と、
前記文書領域端線から前記文書領域を確定する文書領域確定手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記第一の探索範囲決定手段は、外接矩形である前記文字領域の内点を始点として当該外接矩形の外に向かう複数の方向に対して走査し、前記第一の探索範囲を前記内点から画像端もしくは画像中の異なる文字領域との交点までとすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の探索範囲決定手段は、抽出された前記文書領域端画素を中心とし、所定のサイズを有する小矩形を前記第二の探索範囲とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記文書領域端画素抽出手段は、
前記文書領域端画素の探索の始点となる画素に近接する文字連結成分の周辺画素の画素値から前記文書領域の下地色となる画素値を決定する下地色決定手段と、
前記第一の探索範囲を走査し、対象画素の画素値と前記下地色となる画素値とを用いて前記文書領域端画素か否かを判定する文書領域端画素判定手段と
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
決定された前記第一の探索範囲と前記文書領域端画素とから、複数の文字領域が同一の文書領域に含まれるかを判定し、同一の文書領域に含まれると判定した場合に、当該複数の文字領域を統合する文字領域統合手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記文字領域統合手段は、前記複数の文字領域の間に位置する前記第一の探索範囲において、前記文書領域端画素が抽出されない場合に、当該複数の文字領域は同一の文書領域に含まれると判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
文書領域を有する画像データから前記文書領域を抽出する画像処理装置の制御方法であって、
前記画像処理装置の文字領域抽出手段が、入力された画像データから前記文書領域に含まれる文字の外接矩形である文字領域を抽出する文字領域抽出工程と、
前記画像処理装置の第一の探索範囲決定手段が、抽出された前記文字領域の位置を基準として、文書領域端となる文書領域端画素を探索する第一の探索範囲を決定する第一の探索範囲決定工程と、
前記画像処理装置の文書領域端画素抽出手段が、前記第一の探索範囲から前記文書領域端画素を抽出する文書領域端画素抽出工程と、
前記画像処理装置の第二の探索範囲決定手段が、抽出された前記文書領域端画素の位置を基準として、文書領域端となる文書領域端線を探索する第二の探索範囲を決定する第二の探索範囲決定工程と、
前記画像処理装置の文書領域端線抽出手段が、前記第二の探索範囲から前記文書領域端線を抽出する文書領域端線抽出工程と、
前記画像処理装置の文書領域確定手段が、前記文書領域端線から前記文書領域を確定する文書領域確定工程と
を有することを特徴とする制御方法。
【請求項８】
コンピュータを、
入力された画像データから文書領域に含まれる文字の外接矩形である文字領域を抽出する文字領域抽出手段、
抽出された前記文字領域の位置を基準として、文書領域端となる文書領域端画素を探索する第一の探索範囲を決定する第一の探索範囲決定手段、
前記第一の探索範囲から前記文書領域端画素を抽出する文書領域端画素抽出手段、
抽出された前記文書領域端画素の位置を基準として、文書領域端となる文書領域端線を探索する第二の探索範囲を決定する第二の探索範囲決定手段、
前記第二の探索範囲から前記文書領域端線を抽出する文書領域端線抽出手段、
前記文書領域端線から前記文書領域を確定する文書領域確定手段
として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどで撮影された自然画中の文書の領域を抽出する技術に関する。
【背景技術】
【０００２】
近年、ネットワークの広がりにより、文書が電子的に配布される機会も増え、それに伴い紙の文書をスキャンにより電子文書化して配布可能とする技術が普及している。しかし、掲示されているポスターや、会議で用いたホワイトボード、サイズの大きな模造紙など、スキャンすることが困難な文書が存在する。そこで、カメラで撮影した画像を電子文書化する技術が考えられている。その場合、カメラと被写文書との位置関係により、得られる画像に台形状の歪みが生じるため、歪みを補正する技術が必要となる。
【０００３】
例えば、色差からエッジを取得し、一定以上の長さの線分を文書枠として検出し、歪みを補正する技術がある（特許文献１参照）。この技術を用いれば撮影画像中から文書を検出して歪みを補正することが可能となる。また、台座上にある文書を撮影した場合に、検出した線分候補の撮影画像平面上の相対位置から隣接辺を求めていく技術がある（特許文献２）。また、撮影した文書に、他のオブジェクトに隠れて文書の端を抽出できない場合において、原稿端を推定する技術もある。まず、入力画像からエッジを抽出し、原稿端のおおよその位置を検出する。文書全体の色情報から生成したヒストグラムのピーク値から下地色候補および背景色候補を推定し、推定された下地色候補および背景色候補から最終的な原稿端を求めている（特許文献３）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０５８８７７号公報
【特許文献２】特開２００７−５８６３４号公報
【特許文献３】特開２００４−０９６４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
文書をカメラにより撮影した場合、対象とカメラを正確に正対させるのが困難であるため、撮影画像中の文書には３次元的な傾きにより、台形状の歪みが生じる。そのため撮影画像中から文書を読みやすい形で抽出する為には、文書の枠を正確に抽出する必要がある。枠を抽出する方法に、ハフ変換などを用いて直線成分を検出し、４直線から枠を推定する方法がある。
【０００６】
しかし、文書の背景によっては、直線が多数抽出される。特に、図３のような、文書領域３０１および文書領域３０２の下地色と画像３００全体の背景が近似している場合、文書領域端のエッジを出すにはかなりの弱エッジまで検出し、枠を推定しなければならない。また、自然画中には複数の文書が映りこむこともある。このため、枠を構成する直線の組み合わせ候補数が増大し、正しい文書枠の推定が困難となる問題があった。
【０００７】
また、一般的な領域分割を行い文字領域だけを抽出しても、図４のように本来の文書領域より小さい領域しか抽出できない。このため、文書領域を本来の大きさ通りに抽出できない。さらに、同一であるべき文書が文字領域単位で分断されてしまい、ユーザの意図にかなった文書領域の抽出ができない問題があった。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本願発明は以下の構成を有する。文書領域を有する画像データから前記文書領域を抽出する画像処理装置であって、入力された画像データから前記文書領域を構成する文字の文字領域を抽出する文字領域抽出手段と、抽出された前記文字領域の位置を基準として、文書領域端となる文書領域端画素を探索する第一の探索範囲を決定する第一の探索範囲決定手段と、前記第一の探索範囲から前記文書領域端画素を抽出する文書領域端画素抽出手段と、抽出された前記文書領域端画素の位置を基準として、文書領域端となる文書領域端線を探索する第二の探索範囲を決定する第二の探索範囲決定手段と、前記第二の探索範囲から前記文書領域端線を抽出する文書領域端線抽出手段と、前記文書領域端線から前記文書領域を確定する文書領域確定手段とを有する。
【発明の効果】
【０００９】
ひとつの自然画に背景との境界がはっきりしない文書領域が複数存在しても、文書領域と背景の正しい境界線を推定でき、本来の大きさ通りの文書領域の抽出が可能になる。
【図面の簡単な説明】
【００１０】
【図１】第一、第二の実施形態に係るシステム構成の例図。
【図２】第一、第二の実施形態に係るフローチャートの図。
【図３】第一、第二の実施形態に係るカラー入力画像の一例を示す図。
【図４】図３のカラー入力画像の領域分割結果を示す図。
【図５】第一の実施形態に係る文書領域抽出の詳細機能のブロック図。
【図６】文字領域４０１に対する第一の探索範囲を示した図。
【図７】濃度変化点抽出部の詳細フロー図。
【図８】文字領域４０１の文書領域端画素を示した図。
【図９】文字領域４０１の第二の探索範囲を示した図。
【図１０】文字領域４０１の文書領域端線を示した図。
【図１１】文字領域４０１の文書領域端線から推定される直線を示した図。
【図１２】文字領域４０１の文書領域を示した図。
【図１３】文書領域１００１、１３０１の歪み補正処理、電子ファイル変換の一例を示す図。
【図１４】第二の実施形態に係る文書領域抽出の詳細機能ブロック図。
【図１５】文字領域統合部の詳細フロー図。
【図１６】文字領域４０２に対する第一の探索範囲および文書領域端画素を示した図。
【図１７】文字領域４０２、４０３に対する文書領域端画素、第二の探索範囲、文書領域端線を示した図。
【図１８】文字領４０２，４０３の文書領域を示した図。
【発明を実施するための形態】
【００１１】
＜第一の実施形態＞
図１は本発明の実施形態を実施するためのシステム構成例である。ＣＰＵ１０１は、システム全体を制御し、各処理が定義された実行プログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０２では、処理プログラムや入出力データが展開されて処理される。記憶装置１０３は、処理対象となる画像データや処理済の電子ファイルを記憶する。入力装置１０４は、処理データを外部から入力するために用いられる。出力装置１０５は、処理データを外部に出力するために用いられる。
【００１２】
デジタルカメラなどの入力装置１０４から入力された画像データは、ハードディスクなどの記憶装置１０３に入力データ１０３２として記憶される。記憶装置１０３に記憶されている処理プログラム１０３１はＲＡＭ１０２上の処理プログラム展開領域１０２１に展開され、ＣＰＵ１０１によって実行される。処理プログラムは入力データを記憶装置１０３から呼び出し、ＲＡＭ１０２上の入力データ領域１０２２を展開する。処理プログラムは入力データに対して処理を施し、ＲＡＭ１０２上の出力データ領域１０２３に処理結果を出力し、記憶装置１０３に出力データ１０３３として保存する。出力データ１０３３は必要に応じてディスプレイやプリンタなどの出力装置１０５に出力される。
【００１３】
［処理フロー］
図２は本発明の第一の実施形態におけるフローチャートである。図２を元に処理手順の詳細を説明する。Ｓ２０１では、入力画像の判定を行う。画像判定方法は、入力画像中に文字が存在するかどうかで自然画像と文字有り画像に分類する。画像データから文字を抽出する方法に関しては、例えば特開２００２−０４２０５５号公報「カラー文書からの文字認識方法」などを用いて抽出することができる。なお、この手法に限定するものではなく、本発明が適用可能であれば、他の画像判定方法を用いても良い。ここで、文字領域とは、１以上の文字を含む領域を指し、文字を含む矩形となる。また、文書領域とは、１以上の文字領域を含む領域を指し、画像によっては当該画像を撮影した角度などの影響により台形状となる歪みが生じているものが含まれる。
【００１４】
画像データ中に文字が存在する場合にはＳ２０２以降の処理を行う。また、画像データ中に文字が存在しない場合（自然画像の場合）は処理を終了する。Ｓ２０２では、画像データ中の文字を含む領域である文書領域を抽出する。Ｓ２０２の詳細な機能構成を図５に示す。画像５０１はＳ２０１で文字有り画像と判定された画像である。本実施形態では文字有り画像の例を図３の画像３００とし、画像３００が入力されたとして以降の処理の詳細を説明する。
【００１５】
カラー入力として画像３００には、“ＡＢＣ”と書き込まれた文書領域３０１および、“Ｔｈｅｒｅ  ａｒｅ  ｓｏｍｅ  ｗｏｒｄｓ  ｉｎ  ｔｈｉｓ  ｐａｐｅｒ”と書き込まれた文書領域３０２が存在している。ここでの文書領域の例として、具体的には紙のメモなどが想定されうる。文書領域３０１および文書領域３０２はこれら２つの背景色と類似した色のテーブルに置かれ、文書領域とテーブルとの境界ははっきりしていない。
【００１６】
文字領域抽出部５０２は、入力画像を領域分割し、文字領域の抽出を行う。文字領域抽出部５０２には画像５０１が入力される。領域分割処理の具体例としては、ＵＳＰ５６８０４７８号公報記載の処理などがある。上例では文書画像中の黒画素連結成分、白画素成分の集合を抽出し、その形状、大きさ、集合状態等から、文字、絵や図、表、枠、線といった特徴的な領域を抽出している。本実施形態では、画像３００を公知の二値化技術で二値画像を生成し、領域分割を行う。
【００１７】
図４は画像３００を属性ごとに領域分割した結果を表した図である。この結果では、文字領域４０１，４０２，４０３が領域として分割されている。文字領域抽出部５０２の出力は、文字領域、すなわち文字に該当する画素連結成分および文字画素連結成分の外接矩形である。抽出された文字領域は、文書領域端画素抽出部５０３に引き渡される。
【００１８】
文書領域端画素抽出部５０３では、文書領域と背景の境界の画素となりうる文書領域端画素を検出する。文書領域端画素抽出部５０３は、第一の探索範囲決定部５０４と濃度変化点抽出部５０５からなる。また、文書領域端画素抽出部５０３の入力は画像５０１および、文字領域抽出部５０２で出力された文字領域となる。
【００１９】
［第一の探索範囲決定］
まず、第一の探索範囲決定部５０４において、画像５０１において文書領域端画素を探索する範囲を決定する。文書領域端画素を探索する範囲は、文字領域の内部の走査開始点（始点）から放射状に引いた線分とする。ここで、一般的な画像処理における走査は画像をすべて走査するＺスキャン、もしくはラインスキャンを指す。本実施形態では走査方向を放射状とすることで探索対象となる画素は画像全体をスキャンするよりも少なくなり、処理量が低減できる。さらに、単純な縦横方向の走査だけよりも文書領域端画素を多く獲得できるため、より文書領域の推定がしやすくなる。また、走査開始点を文字領域の内点にすることで、走査開始時の対象画素が確実に文書領域上にあり、文書領域と背景の微小な濃度変化を抽出しやすくなる利点がある。
【００２０】
本実施形態では走査開始点を文字領域の外接矩形の中心とし、探索範囲をこの中心点から４５度刻みの８方向に走査した線分とする。なお、探索する走査線の開始点は文字領域の外接矩形の内側であればどこでもよい。また、走査終了点を画像端、もしくは、他の文字領域の外接矩形と交差する画素までとする。
【００２１】
図６は文書領域３０１に含まれる文字領域４０１を基準とした第一の探索範囲を示している。走査線６０１〜６０８は第一の探索範囲となる走査線を示す。走査線６０１〜６０４、および、走査線６０６〜６０８の走査終了点は画像データ端であり、走査線６０５の走査終了点は画像データ中の異なる文字領域である文字領域４０２の外接矩形と交差する画素までとなる。
【００２２】
本実施形態では先に文書領域端画素を探索する走査線をすべて確定させたのち、次工程を行う濃度変化点抽出部５０５へ遷移する。しかし、１本の探索範囲が確定したら直ちに濃度変化点抽出部５０５に遷移し、濃度変化点を抽出後に他の未処理の探索範囲の決定するように繰り返しても良い。
【００２３】
以上、文字領域４０１の文書領域を抽出するにあたり、８本の走査線６０１〜６０８に対し、文書領域端画素を探索するものとして説明を続ける。
【００２４】
［濃度変化点抽出］
濃度変化点抽出部５０５では、決定された第一の探索範囲となる入力画像中の走査線上の濃度変化点を抽出する。濃度変化点抽出部５０５について、図７のフローを用いて詳細を説明する。濃度変化点抽出部５０５では、文書領域の下地色を決定し、下地色と走査線上の画素の濃度変化を参照することで、対象画素が文書領域端画素かを判定する。
【００２５】
まず、Ｓ５０５１にて、走査開始点となる画素に近接する文字画素連結成分を文字領域から取得し、Ｓ５０５２に遷移する。Ｓ５０５２では、文書領域における下地色決定を行う。具体的には取得した文字画素連結成分の周辺画素を入力された画像５０１から取得し、文字周辺画素の色情報（画素値）の平均値を算出する。そして算出した色情報を文書下地色として記憶し、Ｓ５０５３へ遷移する。
【００２６】
Ｓ５０５３では、先に決定した探索範囲の走査線を取得し、Ｓ５０５４へ遷移する。Ｓ５０５４では、走査線上の一画素を濃度変化点判定の対象画素とし、Ｓ５０５５へ遷移する。Ｓ５０５５では、文字画素を濃度変化判定から除外する。この処理は、濃度変化が明らかに大きいと想定される文字そのものの画素を除外し、背景と文書下地色の濃度変化点抽出の精度を上げることを目的としている。具体的には、対象画素が文字領域中の文字連結画素に該当するかを判定し、ＹＥＳならばＳ５０５８、ＮＯならばＳ５０５６へ遷移する。
【００２７】
Ｓ５０５６では、文書領域端画素を判定する。具体的には、対象画素の色情報と先に求めた文書下地色との差分を求め、差が閾値より大きいかを判定し、ＹＥＳならＳ５０５７へ、ＮＯならＳ５０５８へ遷移する。なお、文書領域端画素判定を行う際の色（画素値）の差分の算出にはマンハッタン距離などを用いることが可能である。Ｓ５０５７では、対象画素を濃度変化点とし、この文字領域における文書領域端画素として関連付けて記憶し、Ｓ５０５１０へ遷移する。
【００２８】
Ｓ５０５８では、走査線方向へ１画素分だけ進め、Ｓ５０５９へ遷移する。Ｓ５０５９では、この画素が探索範囲内か否かを判定する。具体的にはこの画素が画像端、もしくは、他の文字領域の外接矩形との交点かを判定し、ＹＥＳであればＳ５０５４へ、ＮＯであればＳ５０５１０へ遷移する。Ｓ５０５１０では、まだ走査していない探索走査線があるかを判定し、ＹＥＳであればＳ５０５３へ、ＮＯであればこの文字領域に対する濃度変化点抽出を終了する。
【００２９】
文字領域４０１の処理結果を図８に示す。文字領域４０１の濃度変化点、すなわち、文書領域端画素７０１〜７０８が得られる。文書領域端画素抽出部５０３はひとつの文字領域に関連付けられた文書領域端画素を出力し、文書領域端線抽出部５０６に引き渡される。
【００３０】
文書領域端線抽出部５０６は、文書と背景の境界の線となりうる文書領域端線を検出する。文書領域端線抽出部５０６は、第二の探索範囲決定部５０７とエッジ抽出部５０８からなる。また、文書領域端線抽出部５０６の入力は、画像５０１および、文書領域端画素抽出部５０３で出力された文字領域に関連付けられた文書領域端画素となる。
【００３１】
［第二の探索範囲決定］
まず、第二の探索範囲決定部５０７において、入力される画像５０１における文書領域端線を探索する範囲を決定する。文書領域端線を探索する範囲は、文書領域端画素を中心とした小矩形とする。小矩形の大きさの設定は、まず、小矩形の所定のサイズとして上限のサイズをあらかじめ定めておく。上限サイズの小矩形に文字連結成分が含まれるようであれば小矩形の大きさを縮小し、調整する。文書領域端線の抽出範囲を文書領域端画素が中心の小領域にすることで、ノイズとなる他の余計なエッジを発生させずに文書領域と背景色の微小な濃度変化点の抽出ができる利点がある。
【００３２】
図９は文字領域４０１に対する、抽出された文書領域端画素を基準とした第二の探索範囲をそれぞれ示している。小矩形８０１〜８０８は、抽出された文書領域端画素それぞれに対する探索範囲の小矩形を示している。本実施形態では先に文書領域端線を探索する小矩形をすべて確定させたのち、次工程を行うエッジ抽出部５０８へ遷移する。しかし、１つの探索範囲が確定したら直ちにエッジ抽出部５０８に遷移し、エッジ抽出後に他の探索範囲の決定を繰り返してもよい。
【００３３】
以上、文書領域３０１の文書領域を抽出するにあたり、８個の小矩形８０１〜８０８に対し、文書領域端線を探索するものとして説明を続ける。
【００３４】
［エッジ抽出］
エッジ抽出部５０８では、決定された第二の探索範囲となる入力画像中の小矩形内部の弱エッジを抽出する。弱エッジの検出は、公知の手法を用いて次のように行うことができる。すなわち、ＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタなどを用いたエッジ強調手法により、入力画像中の文書の境界部分に該当する画素を際立たせる。
【００３５】
図１０は文書領域３０１の弱エッジ、すなわち、文書領域端線を示している。文書領域端線抽出部５０６はひとつの文字領域に関連付けられた文書領域端線を出力し、文書領域確定部５０９に引き渡される。
【００３６】
［文書領域確定］
文書領域確定部５０９では、文書領域端線を用い、文書領域を確定する。文書領域端線にハフ変換や最小近似法などの公知の直線抽出法を用いることで、直線を検出することが可能である。第二の探索範囲のみのエッジ情報であれば、同じ入力画像中にある他の文字領域のエッジ情報も混在しないため、文書領域の境界を決定する直線の組み合わせを決定するための計算量を大幅に低減できる利点がある。図１１は文書領域端線から推定される直線を示す。ここから閉じた矩形を検出し、文書領域と確定する。図１２は上記処理により抽出された、文字領域４０１に対する文書領域１００１を示している。これは、入力された画像３００における文書領域３０１に対応する。
【００３７】
以上、図２のＳ２０２における文書領域抽出の処理を説明した。なお、これらの処理は入力画像に存在する文字領域をひとつずつ文書領域情報の出力まで実行しても良いし、各機能に入力画像に存在する文字領域すべてを処理してから次の機能に遷移しても良い。
【００３８】
抽出した文書領域はＳ２０３において、入力画像から切り出され、逆透視変換などの歪み補正を行い、Ｓ２０４へ遷移する。Ｓ２０４では補正された文書領域を電子ファイルに変換する。図１３（ａ）は文字領域４０１に対する文書領域１００１を歪み補正し電子ファイル化した例である。
【００３９】
以上、説明したとおり、本実施形態ではひとつの自然画に背景との境界がはっきりしない文書が含まれる場合に対して、画像端の探索範囲を限定することにより、他の余計なノイズの発生を抑えることができる。そのため、自然画と背景がはっきりしない境界を抽出するための弱いエッジを抽出することが可能となる。また、文書端線の組み合わせ数を減らせるため、計算量の低減が可能となる。さらに、文字領域と文書端線を対応させて文書境界を算出するため、自然画中に複数の文書がある場合においても、文書領域の抽出が可能となる。
【００４０】
＜第二の実施形態＞
第一の実施形態では、一つの文書領域に対し、文字領域がひとつある例について説明した。本実施形態では図４の文字領域４０２，４０３のように、ひとつの文書領域に対し、文字領域が複数に分かれてしまった場合の文書領域確定部の機能について説明する。
【００４１】
図２のＳ２０２の詳細な機能構成を図１４に示す。なお、図５の番号と同じ機能ブロックは第一の実施形態と同じであるため説明を省く。図１４の文字領域統合部５０１１は、第一の探索範囲である走査線と文書領域端画素の関係から文字領域を統合する。文字領域統合部５０１１の入力は、文書領域端画素抽出部５０３で出力した文字領域とそれに関連付けられた文書領域端画素、および第一の探索範囲である走査線のそれぞれの走査終点情報を用いる。
【００４２】
［文字領域統合処理］
文字領域統合部５０１１の詳細なフローを図１５に示す。文字領域統合部５０１１では、走査線の終点と、その走査線上に境界となる文書領域端画素があるかを判定し、２つの文字領域が同じ文書領域に含まれるか否かを判定する。第一の走査範囲である走査線の終点が画像そのものの端であれば統合する対象となる文字領域は存在しない。
【００４３】
また、第一の走査範囲の走査線の終点が他の文字領域であれば、この２つの文字領域は同じ文書領域上にある可能性がある。従って、２つの文字領域の間に位置づく走査線上に文書領域端画素が存在すれば、そこに文書としての境界が存在するので統合対象でないと判定できる。以上のことから、文書領域統合の条件は、“走査線の終点が他の文字領域”であり、かつ、“終点が他の文字領域である走査線上に文書領域端画素が存在しない”場合となる。
【００４４】
Ｓ１１０１では入力された文字領域に対し、文書領域端画素が抽出されなかった走査線があるか否かを判定する。Ｓ１１０１にてＹＥＳであればＳ１１０２へ、ＮＯであれば本処理フローの終了へ遷移する。Ｓ１１０２では、文書領域端画素が抽出されなかった走査線の終点が他の文字領域であるか否かを判定し、ＹＥＳならＳ１１０３、ＮＯなら本処理フローの終了へ遷移する。
【００４５】
Ｓ１１０３、Ｓ１１０４では、同一の文書領域上にあると判定された文字領域および文字領域に関連付けられた文書領域端画素を統合し、本処理フローを終了する。なお、Ｓ１１０１およびＳ１１０２の順番が入れ替わっても統合条件は満たされるため、Ｓ１１０１およびＳ１１０２の順番はどちらが先でも構わない。
【００４６】
図１６は文字領域４０２に対する第一の探索範囲および文書領域端画素を示す。走査線１２０１〜１２０８は探索範囲を示している。走査線１２０１〜１２０４、および、走査線１２０６〜１２０８の走査終了点は画像端であり、走査線１２０５の走査終了点は文字領域４０３の外接矩形と交差する画素までとなる。また走査線１２０１〜１２０４、および、走査線１２０６〜１２０８にはそれぞれ文書領域端画素が抽出されているが、走査線１２０５は、文書領域端画素の抽出ができていない。このため文字領域４０２および文字領域４０３は同一の文書領域に存在する文字領域と判定し、２つの文書領域端画素を統合する。
【００４７】
図１７は文字領域統合部５０１１から出力された統合された文書領域端画素および、第二の探索範囲である小矩形、および、文書領域確定部５０９内で推定される文書領域端線を示す。本実施形態の第二の探索範囲決定部５０７では、文書領域端画素が一定の距離より近い場合はこれらを包含するような矩形にサイズを拡大する機能を有する。図１７の小矩形１３０１および小矩形１３０６は文書領域端画素が近接していると判定され、小矩形の大きさを規定より拡大したものである。
【００４８】
図１８の文字領域１４０１は文字領域４０２、４０３を含む文書領域を示している。この文書領域に対し歪み補正を行い電子ファイル化したものを図１３（ｂ）に示す。なお、この文字領域１４０１は、図３の文書領域３０２に対応している。
【００４９】
以上、説明したとおり、同じ文書内で文字が離れて存在し、文字領域抽出時に分割された状態であっても、文字領域を統合して単一の文書領域として抽出することが可能なる。また、文字領域統合を行うことで文書領域確定に使用できる線が増えるため、より確実に文書領域が抽出できる。さらに文書領域確定処理を実施する領域数を減らせるため計算量の低減が可能となる。
【００５０】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012022577.tif 000003
【図２】
2012022577.tif 000004
【図３】
2012022577.tif 000005
【図４】
2012022577.tif 000006
【図５】
2012022577.tif 000007
【図６】
2012022577.tif 000008
【図７】
2012022577.tif 000009
【図８】
2012022577.tif 000010
【図９】
2012022577.tif 000011
【図１０】
2012022577.tif 000012
【図１１】
2012022577.tif 000013
【図１２】
2012022577.tif 000014
【図１３】
2012022577.tif 000015
【図１４】
2012022577.tif 000016
【図１５】
2012022577.tif 000017
【図１６】
2012022577.tif 000018
【図１７】
2012022577.tif 000019
【図１８】
2012022577.tif 000020