(57)【特許請求の範囲】
【請求項１】
画像を受け付ける画像受付手段と、
前記画像の背景色を特定する背景色特定手段と、
前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出手段と、
前記抽出された画像構成要素領域のうちの少なくとも２つの画像構成要素領域同士の関係が、１つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも２つの画像構成要素領域を１つの画像構成要素領域に統合する領域統合手段と、
を有し、
前記領域統合手段は、前記抽出された画像構成要素領域のうちある画像構成要素領域（以下、「被包含領域」と称す）の外接矩形が他の画像構成要素領域（以下、「包含領域」と称す）の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを１つの画像構成要素領域に統合すると共に、前記被包含領域の外接矩形の４辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であり、かつ当該画素に対向する前記包含領域の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下であり前記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定することを特徴とする画像処理装置。
【請求項６】
請求項２から５のいずれか１項に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定間隔が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定間隔を変化させることを特徴とする画像処理装置。
【請求項７】
請求項４から６のいずれか１項に記載の画像処理装置であって、
前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定幅が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定幅を変化させることを特徴とする画像処理装置。
【請求項８】
コンピュータに、
画像を受け付ける手順と、
前記画像の背景色を特定する手順と、
前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する手順と、
前記抽出された画像構成要素領域のうちの少なくとも２つの画像構成要素領域同士の関係が、１つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも２つの画像構成要素領域を１つの画像構成要素領域に統合する手順と、
を実行させることを特徴とする画像処理プログラムであって、
前記統合する手順では、前記抽出された画像構成要素領域のうちある画像構成要素領域（以下、「被包含領域」と称す）の外接矩形が他の画像構成要素領域（以下、「包含領域」と称す）の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを１つの画像構成要素領域に統合すると共に、前記被包含領域の外接矩形の４辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
画像から画像構成要素（画像オブジェクトとも呼ばれる）の領域を抽出する技術が知られている。
【０００３】
特許文献１には、文書画像の背景色を特定し、当該背景色を用いて当該文書画像から背景領域以外の画素を抽出し、当該画素を統合して連結成分を生成し、当該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、当該文書画像の領域識別の結果を得る方法が記載されている。
【０００４】
特許文献２には、画像内の同色領域を抽出する方法であって、ある一定の大きさの探索ブロックを画像内でラスタスキャンし、当該探索ブロック内の画素の分散を求め、分散がある閾値を下回るときに当該探索ブロックを種ブロックとし、種ブロックを基準に周りの画素が種ブロックと同色領域がどうかを画素単位で判定していき、同色領域を抽出していく方法が記載されている。
【０００５】
特許文献３には、入力画像の読み取り情報に基づいて、入力画像の同一とみなす色の範囲を設定し、当該設定された色の範囲の連結画素に同一ラベルを付すことにより、入力画像のラベリングを行う技術が記載されている。ここで、上記入力画像の読み取り情報は、入力画像の色数、読み取り解像度、輝度値、彩度、隣接画素間の色差、色の分散などである。
【０００６】
特許文献４には、画像全体を、特徴量の均一性がある部分は領域を大きく、均一性が無い部分は領域を小さくして複数に分割し、当該分割した領域を対象として、その各領域の中で大きな領域を起点領域として選択し、当該起点領域の周辺にある領域でその特徴量が起点領域の特徴量に類似する領域を起点領域に統合して一つの分割領域を形成し、これを未統合の領域を対象として繰り返し行うことで複数の分割領域を形成する方法が記載されている。
【０００７】
【特許文献１】特開２００１−２９７３０３号公報
【特許文献２】特開２０００−１３２６８０号公報
【特許文献３】特開２０００−１７２８４９号公報
【特許文献４】特開２００２−０３２７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、画像の中から、背景色の領域で区画される各領域を、画像構成要素領域として抽出する場合、１つの領域として扱うべき複数の領域が別々の画像構成要素領域として抽出されることがある。
【０００９】
本発明は、背景領域で分断されているが１つの領域として扱うべき複数の領域を１つの画像構成要素領域として抽出することが可能な画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、画像を受け付ける画像受付手段と、前記画像の背景色を特定する背景色特定手段と、前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する領域抽出手段と、前記抽出された画像構成要素領域のうちの少なくとも２つの画像構成要素領域同士の関係が、１つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも２つの画像構成要素領域を１つの画像構成要素領域に統合する領域統合手段と、を有する。
【００１１】
本発明では更に、前記領域統合手段は、前記抽出された画像構成要素領域のうちある画像構成要素領域（以下、「被包含領域」と称す）の外接矩形が他の画像構成要素領域（以下、「包含領域」と称す）の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを１つの画像構成要素領域に統合する。
【００１２】
また、本発明では更に、前記領域統合手段は、前記被包含領域の外接矩形の４辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定する。
【００１３】
また、本発明の一態様では、前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定する。
【００１４】
また、本発明の一態様では、前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定する。
【００１５】
また、本発明の一態様では、前記領域統合手段は、前記辺上の各画素について、当該辺に垂直な方向について、当該画素と前記包含領域との間隔が所定間隔以下であり、かつ当該画素に対向する前記包含領域の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が前記包含領域に近接するか否かを判定する。
【００１６】
また、本発明の一態様では、前記領域統合手段は、前記辺上の画素のうち前記間隔が所定間隔以下であり前記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は前記包含領域に近接すると判定する。
【００１７】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定間隔が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定間隔を変化させる。
【００１８】
また、本発明の一態様では、前記領域統合手段は、前記被包含領域の外接矩形が大きくなるほど前記所定幅が大きくなるように、前記被包含領域の外接矩形の大きさに応じて前記所定幅を変化させる。
【００１９】
また、参考例では、前記領域統合手段は、前記抽出された画像構成要素領域のうちの２つの画像構成要素領域の外接矩形が互いに重複し、かつ前記２つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記２つの画像構成要素領域を１つの画像構成要素領域に統合する。
【００２０】
また、参考例では、前記領域統合手段は、前記抽出された画像構成要素領域のうちの２つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記２つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記２つの画像構成要素領域を１つの画像構成要素領域に統合する。
【００２１】
本発明に係る画像処理プログラムは、コンピュータに、画像を受け付ける手順と、前記画像の背景色を特定する手順と、前記画像の中から、前記背景色の領域で区画される各領域を、画像構成要素領域として抽出する手順と、前記抽出された画像構成要素領域のうちの少なくとも２つの画像構成要素領域同士の関係が、１つの画像構成要素領域として扱うべき所定の条件を満たす場合に、前記少なくとも２つの画像構成要素領域を１つの画像構成要素領域に統合する手順と、を実行させる。
【００２２】
本発明に係る画像処理プログラムでは更に、前記統合する手順では、前記抽出された画像構成要素領域のうちある画像構成要素領域（以下、「被包含領域」と称す）の外接矩形が他の画像構成要素領域（以下、「包含領域」と称す）の外接矩形に包含され、かつ前記被包含領域が前記包含領域に所定程度以上近接する場合に、前記包含領域と前記被包含領域とを１つの画像構成要素領域に統合すると共に、前記被包含領域の外接矩形の４辺の各々について、当該辺が前記包含領域と近接するか否かを判定し、所定数の辺が前記包含領域に近接すると判定された場合に、前記被包含領域が前記包含領域に近接すると判定する。
【００２３】
また、参考例では、前記統合する手順では、前記抽出された画像構成要素領域のうちの２つの画像構成要素領域の外接矩形が互いに重複し、かつ前記２つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記２つの画像構成要素領域を１つの画像構成要素領域に統合する。
【００２４】
また、参考例では、前記統合する手順では、前記抽出された画像構成要素領域のうちの２つの画像構成要素領域の外接矩形が互いに所定程度以上近接し、かつ前記２つの画像構成要素領域の特徴が互いに所定程度以上類似する場合に、前記２つの画像構成要素領域を１つの画像構成要素領域に統合する。
【発明の効果】
【００２５】
請求項１に記載の発明によれば、背景領域で分断されているが１つの領域として扱うべき複数の領域を１つの画像構成要素領域として抽出することが可能となる。
【００２６】
更に請求項１に記載の発明によれば、背景領域で分断された互いに近接する外周領域と内部領域とを１つの画像構成要素領域として抽出することが可能となる。
【００２７】
更に請求項１に記載の発明によれば、被包含領域の外接矩形の各辺が包含領域に近接するかを判定することにより、被包含領域が包含領域に近接するか否かを簡単に判定することが可能となる。
【００２８】
請求項２に記載の発明によれば、辺上の各画素と包含領域との間隔が所定間隔であるか否かを検査することにより、辺が包含領域に近接するか否かを簡単に判定することが可能となる。
【００２９】
請求項３に記載の発明によれば、辺上の画素のうち上記間隔が所定間隔以下である画素の個数に応じて、辺が包含領域に近接するか否かを判定することが可能となる。
【００３０】
請求項４に記載の発明によれば、辺上の各画素と包含領域との間隔と、辺上の各画素に対向する包含領域の幅とを考慮して、辺が包含領域に近接するか否かを判定することが可能となる。
【００３１】
請求項５に記載の発明によれば、辺上の画素のうち上記間隔が所定間隔以下であり上記幅が所定幅以上である画素の個数に応じて、辺が包含領域に近接するか否かを判定することが可能となる。
【００３２】
請求項６に記載の発明によれば、被包含領域の大きさに応じた適切な所定間隔を設定することが可能となる。
【００３３】
請求項７に記載の発明によれば、被包含領域の大きさに応じた適切な所定幅を設定することが可能となる。
【００３４】
参考例によれば、背景領域で分断された、互いに外接矩形が重複し、かつ互いに特徴が類似する２つの領域を１つの画像構成要素領域として抽出することが可能となる。
【００３５】
参考例によれば、背景領域で分断された、互いに外接矩形が近接し、かつ互いに特徴が類似する２つの領域を１つの画像構成要素領域として抽出することが可能となる。
【００３６】
請求項８に記載の発明によれば、背景領域で分断されているが１つの領域として扱うべき複数の領域を１つの画像構成要素領域として抽出することが可能となる。
【００３７】
更に請求項８に記載の発明によれば、背景領域で分断された互いに近接する外周領域と内部領域とを１つの画像構成要素領域として抽出することが可能となると共に被包含領域の外接矩形の各辺が包含領域に近接するかを判定することにより、被包含領域が包含領域に近接するか否かを簡単に判定することが可能となる。
【００３８】
参考例によれば、背景領域で分断された、互いに外接矩形が重複し、かつ互いに特徴が類似する２つの領域を１つの画像構成要素領域として抽出することが可能となる。
【００３９】
参考例によれば、背景領域で分断された、互いに外接矩形が近接し、かつ互いに特徴が類似する２つの領域を１つの画像構成要素領域として抽出することが可能となる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施の形態を図面に従って説明する。
【００４１】
図１は、本実施の形態に係る画像処理装置１０の構成の一例を示すブロック図である。この画像処理装置１０は、処理対象の画像の中から画像構成要素の領域（すなわち画像構成要素領域）を抽出する装置である。以下の説明では、画像構成要素を「画像オブジェクト」と称し、画像構成要素領域を「画像オブジェクト領域」と称す。
【００４２】
画像処理装置１０は、一つの態様では、ハードウェア資源とソフトウェアとの協働により実現され、例えばコンピュータである。具体的には、画像処理装置１０の機能は、記録媒体に記録された画像処理プログラムがメインメモリに読み出されてＣＰＵ（Central Processing Unit）により実行されることによって実現される。上記画像処理プログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。ただし、画像処理装置１０は、ハードウェアのみにより実現されてもよい。また、画像処理装置１０は、物理的に１つの装置により実現されてもよいし、複数の装置により実現されてもよい。
【００４３】
図１に示されるように、画像処理装置１０は、画像受付部１１、背景色特定部１２、領域抽出部１３、領域統合部１４、および画像オブジェクト出力部１５を有する。
【００４４】
画像受付部１１は、処理対象の画像（以下、「入力画像」と称す）を受け付ける。入力画像は、一つの態様では、複数の色成分を有するカラー画像であり、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色成分を含む。また、入力画像は、例えば、水平方向および垂直方向にマトリクス状に複数の画素が配列されてなる画像データであり、各画素は、各色の階調値を有する。具体的な一態様では、入力画像は、ＲＧＢ各色８ビットのビットマップ画像データである。入力画像は、例えば、原稿の画像を光学的に読み取る画像読取装置により生成された画像データである。ただし、入力画像は、各種の記録媒体に記録された画像データなどであってもよい。
【００４５】
背景色特定部１２は、画像受付部１１により受け付けられた入力画像の背景色を特定する。背景色特定部１２は、特定の１つの色を背景色として特定してもよいし、色空間における特定の範囲の色を背景色として特定してもよい。背景色特定部１２は、様々な方法により背景色を特定することができるが、例えば、入力画像において出現頻度が最も高い色、または当該色から所定範囲内の色を背景色として特定する。
【００４６】
領域抽出部１３は、上記入力画像の中から、上記背景色の領域（すなわち背景領域）で区画される各領域を、画像オブジェクト領域として抽出する。一つの態様では、領域抽出部１３は、入力画像の画素を背景色の画素と背景色以外の画素とに分類することにより、入力画像を２値画像に変換する。例えば、領域抽出部１３は、背景色の画素の画素値を「０」とし、背景色以外の画素の画素値を「１」として、図２に示されるフルカラーの入力画像から、図３に示される２値画像を生成する。図３では、画素値「０」の領域は白色で表現され、画素値「１」の領域は黒色で表現されている。ついで、領域抽出部１３は、上記２値画像中の背景色以外の画素の各連結成分の領域を、画像オブジェクト領域として抽出する。ここで、連結成分とは、２値画像中で、同じ値を持つ画素が互いに連結して一つの塊を形成しているものである。具体的な一態様では、領域抽出部１３は、上記２値画像に対してラベリング処理を行って、ラベリング画像を生成する。ここで、ラベリング処理とは、２値画像中の各連結成分の画素に対し、連結成分毎に異なるラベルを割り当てる処理である。例えば、領域抽出部１３は、図３の２値画像に対してラベリング処理を行って、図４に示されるラベリング画像を生成する。図４では、各連結成分の画素には、連結成分毎に異なるラベル番号１，２，３，４が割り当てられており、互いに異なるラベル番号が付与された領域は、互いに異なるハッチングで表現されている。同一のラベル番号が割り当てられた画素群の領域が、それぞれ画像オブジェクト領域に対応する。すなわち、図４の例では、ラベル番号１〜４の４つの画像オブジェクト領域が抽出されている。なお、図４において、白抜き文字「Ｄ」の外周領域および内部領域は、本来１つの画像オブジェクト領域として扱われるべきであるが、背景領域で分断されてラベル番号３，４の別々の画像オブジェクト領域として抽出されている。このように、領域抽出部１３の抽出処理では、白抜き文字の外周領域および内部領域など、背景領域で分断されているが１つの領域として扱うべき領域は、背景色以外の画素が連結しないため、同一領域として抽出されない。
【００４７】
領域統合部１４は、領域抽出部１３により抽出された画像オブジェクト領域のうちの少なくとも２つの画像オブジェクト領域同士の関係が、１つの画像オブジェクト領域として扱うべき所定の条件を満たす場合に、上記少なくとも２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。
【００４８】
上記所定の条件は、例えば、どのような場合に画像オブジェクト領域を統合すべきかに応じて、また、どのような場合に画像オブジェクト領域を統合すべきでないかに応じて、予め設定される。当該所定の条件は、例えば、画像オブジェクト領域同士の位置関係に関する条件や、画像オブジェクト領域同士の特徴の類似度合いに関する条件などを含む。なお、当該所定の条件の具体例については、後に詳しく説明する。
【００４９】
画像オブジェクト領域の統合に関し、一つの態様では、領域統合部１４は、少なくとも２つの画像オブジェクト領域を統合する場合、これらの画像オブジェクト領域のラベル番号を共通のラベル番号に統一し、統一後のラベリング画像を処理結果として出力する。例えば、領域統合部１４は、図４の白抜き文字「Ｄ」の２つの画像オブジェクト領域を統合する場合、ラベル番号４の画素にラベル番号３を振りなおして、図５に示されるラベリング画像を処理結果として出力する。別の態様では、領域統合部１４は、少なくとも２つの画像オブジェクト領域を統合する場合、その旨を示す情報を処理結果として出力する。例えば、領域統合部１４は、図４の白抜き文字「Ｄ」の２つの画像オブジェクト領域を統合する場合、ラベル番号３，４の画像オブジェクト領域を１つの画像オブジェクト領域に統合する旨を示す統合情報を、処理結果として出力する。
【００５０】
画像オブジェクト出力部１５は、領域抽出部１３および領域統合部１４の処理結果に基づき、画像オブジェクトまたは画像オブジェクトを生成するための情報を出力する。
【００５１】
一つの態様では、画像オブジェクト出力部１５は、画像オブジェクトを生成するための情報として、画像オブジェクト毎に、マスク画像および切り取り画像を出力する。ここで、マスク画像は、画像オブジェクト領域の外接矩形で区画され、画像オブジェクトの形状を表す２値画像である。例えば、マスク画像は、背景領域の画素に画素値「０」が付与され、画像オブジェクト領域の画素に画素値「１」が付与された画像である。また、切り取り画像は、画像オブジェクト領域の外接矩形で入力画像を切り取って得られる画像である。例えば、画像オブジェクト出力部１５は、図５のラベリング画像から、または図４のラベリング画像と統合情報とから、図６に示される３つのマスク画像２１〜２３を生成し、図２の入力画像と図５のラベリング画像とから図７に示される３つのフルカラーの切り取り画像３１〜３３を生成する。
【００５２】
別の態様では、画像オブジェクト出力部１５は、上記マスク画像および切り取り画像に基づき画像オブジェクトを生成して出力する。具体的には、マスク画像と切り取り画像とのアンドをとり、すなわち切り取り画像をマスク画像でマスクして、画像オブジェクトを生成する。例えば、画像オブジェクト出力部１５は、図７の３つの切り取り画像３１〜３３をそれぞれ図６の３つのマスク画像２１〜２３でマスクして、図８に示される３つのフルカラーの画像オブジェクト４１〜４３を生成する。
【００５３】
なお、仮に領域統合部１４による統合処理が実施されない場合には、例えば、図４に示されるラベリング画像から図９に示される４つのマスク画像５１〜５４が生成されることになる。すなわち、白抜き文字「Ｄ」の外周と内部とは、別々の画像オブジェクトとして抽出されることになる。
【００５４】
図１０は、本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。以下、図１０を参照して、画像処理装置１０の動作の一例を説明する。
【００５５】
画像処理装置１０は、入力画像（例えば２４ビットフルカラー画像データ）を受け付ける（Ｓ１）。
【００５６】
ついで、画像処理装置１０は、入力画像の背景色を特定する（Ｓ２）。
【００５７】
ついで、画像処理装置１０は、入力画像の中から、背景色の領域で区画される各領域を、画像オブジェクト領域として抽出する（Ｓ３）。すなわち、画像処理装置１０は、背景上の画像オブジェクト領域を検出する。
【００５８】
ついで、画像処理装置１０は、上記抽出された画像オブジェクト領域について、画像オブジェクト領域の統合処理を行う（Ｓ４）。すなわち、画像処理装置１０は、上記抽出された画像オブジェクト領域のうちの少なくとも２つの画像オブジェクト領域同士の関係が、１つの画像オブジェクト領域として扱うべき所定の条件を満たす場合に、当該少なくとも２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。
【００５９】
そして、画像処理装置１０は、ステップＳ３およびＳ４の処理結果に基づき、画像オブジェクトまたは画像オブジェクトを生成するための情報を出力する（Ｓ５）。
【００６０】
以下、領域統合部１４の処理、すなわち上記ステップＳ４の統合処理の具体例として、第１〜第３の具体例を示す。
【００６１】
［第１の具体例］
上述のとおり、白抜き文字の外周領域と内部領域は、領域抽出部１３により別々の画像オブジェクト領域として抽出される。しかし、白抜き文字の外周と内部とは両方で１つの画像オブジェクトを構成するので、白抜き文字の外周領域と内部領域は、１つの画像オブジェクト領域として抽出されることが望ましい。ここで、白抜き文字において、内部領域の外接矩形は外周領域の外接矩形に包含され、内部領域と外周領域とは互いに近接する。したがって、ある画像オブジェクト領域の外接矩形が他の画像オブジェクト領域の外接矩形に包含され、かつ当該２つの画像オブジェクト領域が互いに近接している場合には、当該２つの画像オブジェクト領域は白抜き文字を構成する可能性が高い。
【００６２】
上記の事情等に鑑み、本例では、領域統合部１４は、領域抽出部１３により抽出された画像オブジェクト領域のうちある画像オブジェクト領域（以下、「被包含領域」と称す）の外接矩形が他の画像オブジェクト領域（以下、「包含領域」と称す）の外接矩形に包含され、かつ被包含領域が包含領域に所定程度以上近接する場合に、包含領域と被包含領域とを１つの画像オブジェクト領域に統合する。
【００６３】
具体的には、領域統合部１４は、領域抽出部１３により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の２つの画像オブジェクト領域の外接矩形の包含関係を調査する。そして、包含関係が成立する場合に、所定の判定基準に従って、当該２つの画像オブジェクト領域同士が近接するか否かを判定し、近接すると判定される場合に、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。
【００６４】
以下、図１１を参照しながら、被包含領域が包含領域に近接するか否かの判定の例を説明する。図１１では、白抜き文字「Ｄ」の内部領域（被包含領域）５１の外接矩形５２が、外周領域（包含領域）５３の外接矩形５４に包囲されている。
【００６５】
領域統合部１４は、被包含領域５１の外接矩形５２の４辺の各々について、当該辺が包含領域５３と近接するか否かを判定し、所定数の辺が包含領域５３に近接すると判定された場合に、被包含領域５１が包含領域５３に近接すると判定する。
【００６６】
ここで、上記所定数は、例えば、アルファベット、数字、漢字など、どのような文字の白抜き文字を考慮するか、図１２のような白抜き文字の画像端部Ｅとの接触を考慮するかなどに応じて適宜に設定されればよい。例えば、白抜き文字である可能性が非常に高い場合に限り統合したい場合には「４」が設定され、白抜き文字の画像端部との接触等を考慮する場合には「３」が設定され、漢字の白抜き文字を考慮する場合には「２」が設定され、出来るだけ漏れなく統合したい場合には「１」が設定される。また、例えば図１３に示される漢字「田」などの白抜き文字などを考慮して、具体的な一態様では、領域統合部１４は、被包含領域の外接矩形の４辺のうち互いに直交する少なくとも２つの辺が包含領域に近接すると判定された場合に、被包含領域が包含領域に近接すると判定する。すなわち、画像の水平方向に平行な２辺のうち少なくとも１辺が包含領域に近接し、かつ画像の垂直方向に平行な２辺のうち少なくとも１辺が包含領域に近接すると判定された場合に、両領域が近接すると判定する。
【００６７】
上記被包含領域の外接矩形の各辺が包含領域に近接するか否かの判定は、適宜の方法で行われればよいが、例えば以下のように行われる。
【００６８】
領域統合部１４は、外接矩形５２の辺上の各画素について、当該辺に垂直な方向について、当該画素と包含領域５３との間隔が所定間隔以下であるか否かを検査し、当該検査結果に基づき、当該辺が包含領域５３に近接するか否かを判定する。
【００６９】
例えば、領域統合部１４は、辺上の画素のうち上記間隔が所定間隔以下である画素の個数が所定数以上である場合に、当該辺は包含領域５３に近接すると判定する。上記所定数は、辺上の画素の総個数（すなわち辺の長さ）に応じて変化してもよく、例えば、辺上の画素の総個数に所定の割合を乗じて得られる数である。
【００７０】
ここで、白抜き文字のサイズが大きいほど、被包含領域５１の外接矩形５２のサイズは大きくなり、被包含領域５１と包含領域５３との間隔も大きくなると考えられる。当該事情等を考慮して、一つの態様では、領域統合部１４は、被包含領域５１の外接矩形５２が大きくなるほど上記所定間隔が大きくなるように、被包含領域５１の外接矩形５２の大きさに応じて上記所定間隔を変化させる。
【００７１】
具体的な一態様では、領域統合部１４は、図１１において破線矢印で示されるように、外接矩形５２の辺上の各画素から、当該辺に垂直に被包含領域５１から離れる方向に所定画素数分だけ走査し、包含領域５３に到達するか否かを検査し、当該検査結果に基づき、当該辺が包含領域５３に近接するか否かを判定する。例えば、走査した本数のうち、所定本数（または所定割合）以上が包含領域５３に到達した場合に、当該辺が包含領域５３に近接すると判定する。領域統合部１４は、被包含領域５１の外接矩形５２の大きさに応じて、上記走査する画素数を変化させる。
【００７２】
ところで、入力画像に表が含まれる場合、表の枠と、表の枠内の文字とは、互いに包含関係を有するが、別々の画像オブジェクトとして抽出したい場合がある。すなわち、白抜き文字の外周と内部とは統合したいが、表の枠と枠内の文字とは統合したくない、という要望がある。
【００７３】
上記の事情等を考慮して、一つの態様では、領域統合部１４は、外接矩形５２の辺上の各画素から包含領域５３までの間隔と、外接矩形５２の辺上の各画素に対向する包含領域５３の幅とに基づいて、当該辺が包含領域５３に近接するか否かを判定する。具体的には、領域統合部１４は、外接矩形５２の辺上の各画素について、当該辺に垂直な方向について、当該画素と包含領域５３との間隔が所定間隔以下であり、かつ当該画素に対向する包含領域５３の幅が所定幅以上であるか否かを検査し、当該検査結果に基づき、当該辺が包含領域５３に近接するか否かを判定する。例えば、領域統合部１４は、外接矩形５２の辺上の画素のうち上記間隔が所定間隔以下であり上記幅が所定幅以上である画素の個数が所定数以上である場合に、当該辺は包含領域５３に近接すると判定する。当該態様においても、上記所定数は、辺上の画素の総個数（すなわち辺の長さ）に応じて変化してよく、例えば、辺上の画素の総個数に所定の割合を乗じて得られる数である。また、当該態様においても、領域統合部１４は、被包含領域５１の外接矩形５２が大きくなるほど上記所定間隔が大きくなるように、被包含領域５１の外接矩形５２の大きさに応じて上記所定間隔を変化させてもよい。
【００７４】
表のサイズが大きいほど、枠内の文字の領域である被包含領域の外接矩形のサイズは大きくなり、表の枠線の幅も大きくなると考えられる。当該事情等を考慮して、一つの態様では、領域統合部１４は、被包含領域５１の外接矩形５２が大きくなるほど上記所定幅が大きくなるように、被包含領域５１の外接矩形５２の大きさに応じて上記所定幅を変化させる。
【００７５】
具体的な一態様では、領域統合部１４は、図１４に示されるように、外接矩形５２の辺上の各画素から、当該辺に垂直に被包含領域５１から離れる方向に所定画素数分だけ走査し、包含領域５３に到達するか否かを検査する。さらに、領域統合部１４は、上記各走査において、包含領域５３に到達したあと、図１４の実線矢印のように、さらに所定画素数分だけ追加走査し、追加走査が包含領域５３から抜け出るか否かを検査し、当該検査結果に基づき、当該辺が包含領域５３に近接するか否かを判定する。例えば、走査した本数のうち、所定本数（または所定割合）以上が包含領域５３に到達し、かつ追加走査が包含領域５３から抜け出なかった場合に、当該辺が包含領域５３に近接すると判定する。領域統合部１４は、被包含領域５１の外接矩形５２の大きさに応じて、上記最初に走査する画素数と、上記追加走査する画素数とを変化させる。
【００７６】
図１５は、第１の具体例に係る統合処理の一例を示すフローチャートである。以下、図１５を参照して、第１の具体例に係る統合処理の一例を説明する。
【００７７】
画像処理装置１０は、抽出された各画像オブジェクト領域の外接矩形を特定する（Ｓ１１）。
【００７８】
ついで、画像処理装置１０は、抽出された画像オブジェクト領域の中から２つの画像オブジェクト領域を選択し、当該２つの画像オブジェクト領域の外接矩形の間に包含関係があるか否かを判定する（Ｓ１２）。
【００７９】
そして、包含関係があると判定された場合（Ｓ１２：ＹＥＳ）、画像処理装置１０は、被包含領域が包含領域と近接するか否かを判定する（Ｓ１３）。具体的には、画像処理装置１０は、被包含領域の外接矩形の各辺上の各画素から水平方向および垂直方向に走査を行い、被包含領域の外接矩形の各辺が包含領域と近接するか否かを判定し、４辺とも包含領域と近接すると判定された場合には、被包含領域が包含領域と近接すると判定し、そうでない場合には近接しないと判定する。
【００８０】
被包含領域が包含領域と近接すると判定された場合（Ｓ１３：ＹＥＳ）、画像処理装置１０は、被包含領域と包含領域とを１つの画像オブジェクト領域に統合し（Ｓ１４）、処理をステップＳ１５に進める。
【００８１】
一方、ステップＳ１２で包含関係がないと判定された場合（Ｓ１２：ＮＯ）、およびステップＳ１３で被包含領域が包含領域と近接しないと判定された場合（Ｓ１３：ＮＯ）、画像所理装置１０は、上記統合処理を行うことなく、処理をステップＳ１５に進める。
【００８２】
ステップＳ１５では、画像処理装置１０は、すべての画像オブジェクト領域の組み合わせについて上記ステップＳ１２〜Ｓ１４の処理が終了したか否かを判断し、終了していない場合には（Ｓ１５：ＮＯ）、処理をステップＳ１２に戻し、終了している場合には（Ｓ１５：ＹＥＳ）、処理を終了させる。
【００８３】
例えば、図１１の例では、被包含領域５１の外接矩形５２は包含領域５３の外接矩形５４に包含されており、かつ外接矩形５２は４方向で包含領域５３に近接しているので、上記統合処理により、被包含領域５１と包含領域５３とは統合される。
【００８４】
一方、図１６の例では、円グラフの３つの数値画像の領域の外接矩形６１〜６３は、円グラフ画像の領域の外接矩形６４に包含されているが、外接矩形６１〜６３は４方向では円グラフ画像の領域に近接していないので、上記統合処理により、３つの数値画像の領域は円グラフ画像の領域に統合されない。
【００８５】
［第２の具体例］
図１７には、入力画像に含まれる図柄の一例が示されている。図１７において、白色の領域は背景領域を表し、白色領域上の３５個の灰色の領域は有色領域を表している。当該３５個の有色領域は、領域抽出部１３により別々の画像オブジェクト領域として抽出される。しかし、図１７では、３５個の有色領域が集まって１つの画像オブジェクトを構成しているので、当該３５個の有色領域は１つの画像オブジェクト領域として抽出されることが望ましい。ここで、図１７のような図柄の場合、各領域の外接矩形は隣接する領域の外接矩形と重複し、かつ当該２つの領域の特徴（色など）は互いに類似する。したがって、２つの画像オブジェクト領域の外接矩形が互いに重複し、かつ当該２つの画像オブジェクト領域の特徴が互いに類似する場合には、当該２つの画像オブジェクト領域は１つの画像オブジェクト領域を構成する可能性が高い。
【００８６】
上記の事情等に鑑み、本例では、領域統合部１４は、領域抽出部１３により抽出された画像オブジェクト領域のうちの２つの画像オブジェクト領域の外接矩形が互いに重複し、かつ当該２つの画像オブジェクト領域の特徴が互いに所定程度以上類似する場合に、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。
【００８７】
具体的には、領域統合部１４は、領域抽出部１３により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の２つの画像オブジェクト領域の外接矩形について重複関係を調査する。そして、重複関係が成立する場合に、当該２つの画像オブジェクト領域の特徴量を求め、当該２つの特徴量を比較し、当該比較の結果に応じて、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。具体的には、領域統合部１４は、所定の判定基準に従って、当該２つの特徴量が類似するか否かを判定し、類似すると判定された場合に、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。
【００８８】
一つの態様では、上記特徴量は、画像オブジェクト領域に係る画像オブジェクトの色情報、画像オブジェクト領域の外接矩形の大きさ、画像オブジェクト領域の形状、画像オブジェクト領域が外接矩形内に占める割合、画像オブジェクト領域に係る画像オブジェクトの属性情報（均一色領域か写真領域かなど）の少なくとも１つである。ただし、特徴量としては、上記以外のものが使用されてもよい。
【００８９】
図１８は、第２の具体例に係る統合処理の一例を示すフローチャートである。以下、図１８を参照して、第２の具体例に係る統合処理の一例を説明する。
【００９０】
画像処理装置１０は、抽出された各画像オブジェクト領域の外接矩形を特定する（Ｓ２１）。
【００９１】
ついで、画像処理装置１０は、抽出された画像オブジェクト領域の中から２つの画像オブジェクト領域を選択し、当該２つの画像オブジェクト領域の外接矩形の間に重複関係があるか否かを判定する（Ｓ２２）。
【００９２】
そして、重複関係があると判定された場合（Ｓ２２：ＹＥＳ）、画像処理装置１０は、当該２つの画像オブジェクト領域の特徴量が互いに類似するか否かを判定する（Ｓ２３）。
【００９３】
特徴量が類似すると判定された場合（Ｓ２３：ＹＥＳ）、画像処理装置１０は、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合し（Ｓ２４）、処理をステップＳ２５に進める。
【００９４】
一方、ステップＳ２２で重複関係がないと判定された場合（Ｓ２２：ＮＯ）、およびステップＳ２３で特徴量が類似しないと判定された場合（Ｓ２３：ＮＯ）、画像所理装置１０は、上記統合処理を行うことなく、処理をステップＳ２５に進める。
【００９５】
ステップＳ２５では、画像処理装置１０は、すべての画像オブジェクト領域の組み合わせについて上記ステップＳ２２〜Ｓ２４の処理が終了したか否かを判断し、終了していない場合には（Ｓ２５：ＮＯ）、処理をステップＳ２２に戻し、終了している場合には（Ｓ２５：ＹＥＳ）、処理を終了させる。
【００９６】
上記処理により、例えば図１７の図柄の３５個の画像オブジェクト領域は、１つの画像オブジェクト領域に統合される。
【００９７】
［第３の具体例］
図１９には、入力画像に含まれる図柄の一例が示されている。図１９において、白色の領域は背景領域を表し、白色領域上の５個の灰色領域は有色領域を表している。当該５個の有色領域は、領域抽出部１３により別々の画像オブジェクト領域として抽出される。しかし、図１９では、５個の有色領域が集まって１つの画像オブジェクトを構成しているので、当該５個の有色領域は１つの画像オブジェクト領域として抽出されることが望ましい。ここで、図１９のような図柄の場合、各領域の外接矩形は隣接する領域の外接矩形と近接し、かつ当該２つの領域の特徴（色など）は互いに類似する。したがって、２つの画像オブジェクト領域の外接矩形が互いに近接し、かつ当該２つの画像オブジェクト領域の特徴が互いに類似する場合には、当該２つの画像オブジェクト領域は１つの画像オブジェクト領域を構成する可能性が高い。
【００９８】
上記の事情等に鑑み、本例では、領域統合部１４は、領域抽出部１３により抽出された画像オブジェクト領域のうちの２つの画像オブジェクト領域の外接矩形が互いに所定程度以上近接し、かつ当該２つの画像オブジェクト領域の特徴が互いに所定程度以上類似する場合に、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。
【００９９】
一つの態様では、領域統合部１４は、領域抽出部１３により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の２つの画像オブジェクト領域の外接矩形の近接度合いと、当該２つの画像オブジェクト領域の各々の特徴量とを求め、当該近接度合いと特徴量とに応じて、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。例えば、領域統合部１４は、２つの特徴量の類似度合いを求め、外接矩形の近接度合いＸが所定値Ｘ１以上であり、かつ特徴量の類似度合いＹが所定値Ｙ１以上である場合に、２つの画像オブジェクト領域を統合する。この場合、近接度合いＸが大きくなるほど所定値Ｙ１が小さくなるように、近接度合いＸに応じて所定値Ｙ１を変化させてもよい。また、類似度合いＹが大きくなるほど所定値Ｘ１が小さくなるように、類似度合いＹに応じて所定値Ｘ１を変化させてもよい。また、領域統合部１４は、近接度合いＸと類似度合いＹとの積Ｘ・Ｙが所定値Ｋ以上である場合に、２つの画像オブジェクト領域を統合するようにしてもよい。上記近接度合いＸは、例えば、水平および垂直方向の外接矩形間の距離、水平および垂直方向の外接矩形の重複幅（または重複の度合い）に基づき算出される。
【０１００】
別の態様では、領域統合部１４は、領域抽出部１３により抽出された各画像オブジェクト領域の外接矩形を特定し、任意の２つの画像オブジェクト領域の外接矩形について所定距離内で近接する近接関係を調査する。そして、近接関係が成立する場合に、当該２つの画像オブジェクト領域の特徴量を求め、当該２つの特徴量を比較し、当該比較の結果に応じて、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。具体的には、領域統合部１４は、所定の判定基準に従って、当該２つの特徴量が類似するか否かを判定し、類似すると判定された場合に、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合する。当該態様において、領域統合部１４は、近接関係が成立する場合に、２つの特徴量を比較するとともに、２つの画像オブジェクト領域の外接矩形の近接度合いを求め、特徴量の比較結果と近接度合いとに応じて、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合してもよい。
【０１０１】
上記特徴量は、一つの態様では、画像オブジェクト領域に係る画像オブジェクトの色情報、画像オブジェクト領域の外接矩形の大きさ、画像オブジェクト領域の形状、画像オブジェクト領域が外接矩形内に占める割合、画像オブジェクト領域に係る画像オブジェクトの属性情報（均一色領域か写真領域かなど）の少なくとも１つである。ただし、特徴量としては、上記以外のものが使用されてもよい。
【０１０２】
図２０は、第３の具体例に係る統合処理の一例を示すフローチャートである。以下、図２０を参照して、第３の具体例に係る統合処理の一例を説明する。
【０１０３】
画像処理装置１０は、抽出された各画像オブジェクト領域の外接矩形を特定する（Ｓ３１）。
【０１０４】
ついで、画像処理装置１０は、抽出された画像オブジェクト領域の中から２つの画像オブジェクト領域を選択し、当該２つの画像オブジェクト領域の外接矩形の間に近接関係があるか否かを判定する（Ｓ３２）。例えば、画像処理装置１０は、外接矩形間の距離を算出し、当該距離が所定値以下であるか否かを判定する。
【０１０５】
そして、近接関係があると判定された場合（Ｓ３２：ＹＥＳ）、画像処理装置１０は、当該２つの画像オブジェクト領域の特徴量を求める（Ｓ３３）。また、画像処理装置１０は、当該２つの画像オブジェクト領域の外接矩形の近接度合いを求める（Ｓ３４）。
【０１０６】
ついで、画像処理装置１０は、上記特徴量と近接度合いとに基づき、当該２つの画像オブジェクト領域を統合すべきか否かを判定する（Ｓ３５）。例えば、画像処理装置１０は、特徴量の類似度合いを算出し、当該類似度合いと近接度合いとの積が所定値以下であるか否かを判定する。
【０１０７】
そして、統合すべきと判定された場合（Ｓ３５：ＹＥＳ）、画像処理装置１０は、当該２つの画像オブジェクト領域を１つの画像オブジェクト領域に統合し（Ｓ３６）、処理をステップＳ３７に進める。
【０１０８】
一方、ステップＳ３２で近接関係がないと判定された場合（Ｓ３２：ＮＯ）、およびステップＳ３５で統合すべきでないと判定された場合（Ｓ３５：ＮＯ）、画像所理装置１０は、上記統合処理を行うことなく、処理をステップＳ３７に進める。
【０１０９】
ステップＳ３７では、画像処理装置１０は、すべての画像オブジェクト領域の組み合わせについて上記ステップＳ３２〜Ｓ３６の処理が終了したか否かを判断し、終了していない場合には（Ｓ３７：ＮＯ）、処理をステップＳ３２に戻し、終了している場合には（Ｓ３７：ＹＥＳ）、処理を終了させる。
【０１１０】
上記処理により、例えば図１９の図柄の５個の画像オブジェクト領域は、１つの画像オブジェクト領域に統合される。
【０１１１】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更することができる。
【図面の簡単な説明】
【０１１２】
【図１】実施の形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】入力画像の一例を示す図である。
【図３】図２の画像を背景色で２値化して得られる２値画像の一例を示す図である。
【図４】図３の画像をラベリング処理して得られるラベリング画像の一例を示す図である。
【図５】図４の画像に統合処理して得られるラベリング画像の一例を示す図である。
【図６】マスク画像の一例を示す図である。
【図７】切り取り画像の一例を示す図である。
【図８】画像オブジェクトの一例を示す図である。
【図９】統合処理が実施されない場合におけるマスク画像の一例を示す図である。
【図１０】実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。
【図１１】被包含領域が包含領域に近接するか否かの判定の例を説明するための図である。
【図１２】白抜き文字の画像端部との接触の一例を示す図である。
【図１３】漢字「田」の白抜き文字の一例を示す図である。
【図１４】包含領域への走査と追加走査とを説明するための図である。
【図１５】第１の具体例に係る統合処理の一例を示すフローチャートである。
【図１６】第１の具体例に係る統合処理を説明するための図である。
【図１７】第２の具体例を説明するための、入力画像に含まれる図柄の一例を示す図である。
【図１８】第２の具体例に係る統合処理の一例を示すフローチャートである。
【図１９】第３の具体例を説明するための、入力画像に含まれる図柄の一例を示す図である。
【図２０】第３の具体例に係る統合処理の一例を示すフローチャートである。
【符号の説明】
【０１１３】
１０  画像処理装置、１１  画像受付部、１２  背景色特定部、１３  領域抽出部、１４  領域統合部、１５  画像オブジェクト出力部。
【図１】
0005104528.tif 000002
【図２】
0005104528.tif 000003
【図３】
0005104528.tif 000004
【図４】
0005104528.tif 000005
【図５】
0005104528.tif 000006
【図６】
0005104528.tif 000007
【図７】
0005104528.tif 000008
【図８】
0005104528.tif 000009
【図９】
0005104528.tif 000010
【図１０】
0005104528.tif 000011
【図１１】
0005104528.tif 000012
【図１２】
0005104528.tif 000013
【図１３】
0005104528.tif 000014
【図１４】
0005104528.tif 000015
【図１５】
0005104528.tif 000016
【図１６】
0005104528.tif 000017
【図１７】
0005104528.tif 000018
【図１８】
0005104528.tif 000019
【図１９】
0005104528.tif 000020
【図２０】
0005104528.tif 000021