(57)【要約】【課題】本発明はカラー文書画像から所定領域を抽出する方法及び装置を提供する。【解決手段】かかる方法は、前記カラー文書画像に基づいて第一エッジ画像を取得し；カラーチャンネルの不均一性を用いて２値化画像を取得し；前記第一エッジ画像及び前記２値化画像を合併し第二エッジ画像を取得し；及び、前記第二エッジ画像に基づいて前記所定領域を確定することを含む。【選択図】図２
2016167810.tif 000002
【特許請求の範囲】
【請求項１】
カラー文書画像から所定領域を抽出する方法であって、
前記カラー文書画像に基づいて、第一エッジ画像を取得し；
カラーチャンネルの不均一性を用いて、２値化画像を取得し；
前記第一エッジ画像と前記２値化画像とを合併し、第二エッジ画像を取得し；及び
前記第二エッジ画像に基づいて、前記所定領域を確定することを含む、方法。
【請求項２】
請求項1に記載の方法であって、
前記所定領域は、図形領域、ハーフトーン領域、及び、線により囲まれた閉領域のうちの少なくとも一つの領域を含む、方法。
【請求項３】
請求項1に記載の方法であって、
カラーチャンネルの不均一性を用いて、２値化画像を取得することは、
前記カラー文書画像中の各画素点のR、G、Bの三つのチャンネルの差異を比較し；及び
前記差異が第一差異閾値よりも大きいかどうかに基づいて、該画素点に対応する、前記２値化画像中の点の値を確定することを含む、方法。
【請求項４】
請求項1に記載の方法であって、
前記第一エッジ画像と前記２値化画像とを合併し、第二エッジ画像を取得することは、
前記第一エッジ画像及び前記２値化画像中の対応する点のうちの少なくとも一つが所定画素点である場合、前記第二エッジ画像中の対応する点を所定画素点と確定することを含む、方法。
【請求項５】
請求項1に記載の方法であって、
前記第二エッジ画像に基づいて、前記所定領域を確定することは、
前記第二エッジ画像に対して連通域解析を行い、複数の候補連通域を取得し；
前記複数の候補連通域中のサイズが大きい候補連通域の外接矩形を取得し；及び
前記外接矩形により囲まれた領域に対応する、前記カラー文書画像中の領域を前記所定領域と確定することを含む、方法。
【請求項６】
請求項5に記載の方法であって、更に、
前記外接矩形内のエッジに隣接する、前記カラー文書画像中のエッジ連通域を抽出し；及び
前記エッジ連通域中の所定条件を満足しているエッジ連通域のみ前記所定領域の一部と確定することを含む、方法。
【請求項７】
請求項6に記載の方法であって、
前記所定条件は、
前記エッジ連通域中の全ての画素値の分散が分散閾値よりも高く；又は
前記エッジ連通域中の全ての画素値の平均値と、前記外接矩形の外部の隣接画素の平均値との間の差異が第二差異閾値よりも高い、ことを含む、方法。
【請求項８】
請求項1に記載の方法であって、
前記第二エッジ画像に基づいて、前記所定領域を確定することは、
前記第二エッジ画像中の局所点を接続し、第三エッジ画像を取得し；及び
前記第三エッジ画像に基づいて、前記所定領域を確定することを含む、方法。
【請求項９】
請求項8に記載の方法であって、
前記第二エッジ画像中の局所点を接続し、第三エッジ画像を取得することは、
接続用テンプレートを用いて、前記第二エッジ画像をスキャンし；
前記接続用テンプレート内の所定画素点の数量が所定閾値を超えた場合、前記接続用テンプレートの中心に対応する画素点を前記所定画素点と確定し；及び
確定された結果に基づいて、前記第二エッジ画像を修正し、前記第三エッジ画像を取得することを含む、方法。
【請求項１０】
カラー文書画像から所定領域を抽出する装置であって、
前記カラー文書画像に基づいて、第一エッジ画像を得るための第一エッジ画像取得装置；
カラーチャンネルの不均一性を用いて、２値化画像を得るための２値化装置；
前記第一エッジ画像と前記２値化画像とを合併し、第二エッジ画像を得るための合併装置；及び
前記第二エッジ画像に基づいて、前記所定領域を確定するための領域確定装置を含む、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理分野に関し、具体的には、比較的高い精度及びロバスト性でカラー文書画像から所定領域を抽出する方法及び装置に関する。
【背景技術】
【０００２】
近年、スキャナに関連する技術は急速に進歩している。例えば、文書（document）をスキャンすることにより得られた画像（以下、スキャン文書画像という）の、見えるようになった背面のもの（例えば、文字や図形）の検出と除去、文書レイアウト分析、及び光学式文字認識（OCR）などの技術については、処理の効果を向上させるために、多くの研究が行われている。しかし、これらの技術のみに対しての改善や改良は、まだ不十分である。もし、上記技術の前処理ステップ、即ち、スキャン文書画像の領域分割について改善することができれば、スキャン文書画像の各種処理の全体的な効果を高めることができる。
【０００３】
スキャン文書画像における豊富な内容が原因で、処理の難しさが増える。例えば、スキャン文書画像は、カラー画像であることが多く、文字と図形が混ざり合い、時々、閉じた枠（図形）もある。これらの領域は、互いに異なる特性を有し、従来では、共通の方法で処理することが困難である。しかし、後続の処理の効果を向上させるには、各種の領域をロバストで正確に抽出する必要もある。図1はカラーのスキャン文書画像の一例を示しており、そのうち、具体的なカラー細部については後述する。
【０００４】
従来の領域分割抽出アルゴリズムは、往々して、非常に具体的な問題に対して設計されたものであり、汎用性を有しない。従って、このようなアルゴリズムは、異なる問題に応用されれば、高精度且つ高ロバスト性の領域抽出を実現することができない。これは、明らかのように、領域分割抽出方法を、見えるようになった背面のものの検出と除去、文書レイアウト分析、及び光学式文字認識などの技術の前処理方法とする要求を満足し難い。
【０００５】
よって、カラー文書画像、特に、カラーのスキャン文書画像から特定領域を抽出する方法及び装置であって、高精度且つ高ロバスト性でカラー文書画像中の特定領域、特に、図形領域、ハーフトーン領域、線画などで囲まれた範囲である閉領域を抽出することができ、そして、これらの領域と文字領域とを区分することができる方法及び装置が望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、従来技術に存在する上述の問題に鑑み、高精度且つ高ロバスト性でカラー文書画像中の特定領域を抽出し得る方法及び装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の一側面によれば、カラー文書画像から所定領域を抽出する方法が提供され、該方法は、
前記カラー文書画像に基づいて、第一エッジ画像を取得し；
カラーチャンネルの不均一性を用いて、２値化画像を取得し；
前記第一エッジ画像と前記２値化画像とを合併し、第二エッジ画像を取得し；及び
前記第二エッジ画像に基づいて、前記所定領域を確定することを含む。
【０００８】
本発明の他の側面によれば、カラー文書画像から所定領域を抽出する装置が提供され、該装置は、
前記カラー文書画像に基づいて、第一エッジ画像を取得するように構成される第一エッジ画像取得装置；
カラーチャンネルの不均一性を用いて、２値化画像を取得するように構成される２値化画像取得装置；
前記第一エッジ画像と前記２値化画像とを合併し、第二エッジ画像を取得するように構成される合併装置；及び、
前記第二エッジ画像に基づいて、前記所定領域を確定するように構成される領域確定装置を含む。
【０００９】
本発明の他の側面によれば、スキャナが提供され、上述のカラー文書画像から所定領域を抽出する装置を含む。
【００１０】
また、本発明の他の側面によれば、記憶媒体が提供される。前記記憶媒体は、マシン（例えば、コンピュータ）可読プログラムを含み、情報処理装置（例えば、コンピュータ）上で前記プログラムを実行する時に、前記プログラムは、前記情報処理装置に、上述の方法を実行させる。
【００１１】
また、本発明の他の側面によれば、プログラムが提供される。前記プログラムは、マシン（例えば、コンピュータ）実行可能な指令を含み、情報処理装置（例えば、コンピュータ）上で前記指令を実行する時に、前記指令は、前記情報処理装置に、上述の方法を実行させる。
【図面の簡単な説明】
【００１２】
【図１】カラー文書画像の一例を示す図である。
【図２】本発明の実施例によるカラー文書画像から所定領域を抽出する方法のフローチャートである。
【図３】第一エッジ画像の一例を示す図である。
【図４】２値化画像の一例を示す図である。
【図５】第二エッジ画像の一例を示す図である。
【図６】第三エッジ画像の一例を示す図である。
【図７】所定領域を確定する方法のフローチャートである。
【図８】外接矩形により囲まれた領域の一例を示す図である。
【図９】所定領域を確定する方法のフローチャートである。
【図１０】抽出された所定領域に対応するマスク画像を示す図である。
【図１１】本発明の実施例によるカラー文書画像から所定領域を抽出する装置の構造図である。
【図１２】本発明の実施例による方法及び装置を実施し得るコンピュータの例示的なブロック図である。
【発明を実施するための形態】
【００１３】
以下、添付した図面を参照しながら、本発明を実施するための形態を詳細に説明する。
【００１４】
本発明の基本思想は、カラー及びエッジ（例えば、勾配）の情報を組みわせて使用することで、カラー文書画像から図形領域、ハーフトーン領域（半色調領域）、及び線画などで囲まれた範囲である閉領域などの所定領域を抽出することである。
【００１５】
本発明の実施例による方法及び装置の入力はカラー文書画像である。図1は、カラー文書画像の一例を示している。そのうち、左上隅の“TOP3  人物”は、閉じた枠により囲まれた領域であり、ハーフトーン領域でもある。“TOP3  人物”の下方にある肖像は、ハーフトーン領域であり、図形領域でもある。肖像の下方にある“人語”及びその下方にある４段落の文字は、閉じた枠に囲まれた領域であり、ハーフトーン領域でもある。右側の中間にある“中国普普天信息産業集団公司”の図形及び右下隅にある５つの人物が所在する図形は、ハーフトーン領域であり、図形領域でもある。左上隅にある“埃斯内”、中間の上方にある“新帥普天”、中心の付近にある“Bechtolsheim”は、全て、カラー文字である。他の内容は、全て、白地の黒い文字、白い空白、又は黒い色の閉じてない線である。本発明の目標は、“TOP3  人物”、肖像、“人語”及びその下方にある４段落の文字、“中国普天信息産業集団公司”の図形、及び右下隅にある５つの人物が所在する図形が所属する領域を抽出し、残りの普通のテキスト領域と区別することである。そのうち、カラー文字の“埃斯内”、“新帥普天”、及び“Bechtolsheim”は、普通のテキスト領域に属すべきである。
【００１６】
図1から分かるように、処理待ちの画像が複雑であり、画像の構成要素が豊富であり、特徴も異なるので、処理の難度が比較的に高い。
【００１７】
本発明の実施例では、抽出したい所定領域は、図形領域、ハーフトーン領域、線により囲まれた閉領域のうちの少なくとも一つの領域を含む。図1について説明したように、ある領域が上述の３種の領域のうちの１種に属し、或いは、上述の３種の領域のうちの２種又は３種に同時に属する。所定領域は、非図形や非カラー、非閉領域のような領域を含まず、即ち、このような領域の一部のエッジに線が存在しても、このような領域を含まない。例えば、図1中の肖像の下方の左側にあるテキストブロックの左側及び右側には縦線が存在するが、該領域は、閉じたものでないので、普通のテキスト領域であると判断されるべきである。
【００１８】
以下、図2をもとに、本発明の実施例によるカラー文書画像から所定領域を抽出する方法のフローを説明する。
【００１９】
図2は、本発明の実施例によるカラー文書画像から所定領域を抽出する方法のフローチャートである。図2に示すように、本発明の実施例によるカラー文書画像から所定領域を抽出する方法は、次のようなステップ、即ち、
前記カラー文書画像に基づいて、第一エッジ画像を取得し（ステップS1）；
カラーチャンネルの不均一性を用いて、２値化画像を取得し（ステップS2）；
前記第一エッジ画像と前記２値化画像とを合併することで、第二エッジ画像を取得し（ステップS3）；及び
前記第二エッジ画像に基づいて、前記所定領域を確定するステップ（ステップS4）を含む。
【００２０】
ステップS1では、前記カラー文書画像に基づいて、第一エッジ画像を取得する。
【００２１】
ステップS1の目的は、画像のエッジ情報を得ることにあり、よって、ステップS1は、この分野に既存のエッジ抽出方法で実現することができる。
【００２２】
本発明の好適な実施例によれば、次のようなステップS101〜S103によりステップS1を実現することができる。
【００２３】
先ず、ステップS101では、前記カラー文書画像をグレースケール画像に変換する。該変換ステップは、当業者に周知であるため、ここではその詳しい説明が省略される。
【００２４】
その後、ステップS102では、コンボリューション（畳み込み）テンプレートを用いて、前記グレースケール画像に基づいて、勾配画像を取得する。
【００２５】
具体的には、第一コンボリューションテンプレートを用いて、前記グレースケール画像をスキャンし、第一中間画像を得る。第一コンボリューションテンプレートは、例えば、
【表１】
2016167810.tif 000003
である。先ず、第一コンボリューションテンプレートをグレースケール画像の左側の第１列の上から下へ前の５個の画素と対応（alignment）させ、そして、この５個の画素の画素値、即ち、グレースケール値と、第一コンボリューションテンプレート中での対応する重み（weight）28、125、206、125、28との積をそれぞれ計算してから平均値を求め、この５個の画素の中心点、即ち、グレースケール画像の第１列の上から下への第３個目の画素に対応する第一中間画像上での対応する点の値とする。続いて、第一コンボリューションテンプレートをグレースケール画像に対して右側へ１画素移動させ、即ち、第一コンボリューションテンプレートをグレースケール画像の左側の第２列の上から下への前の５個の画素と対応させ、そして、上述のような計算を行い、グレースケール画像の第２列の上から下への第3個目の画素に対応する第一中間画像上での対応する点の値とする。これに基づいて類推して、第一コンボリューションテンプレートがグレースケール画像の第１ないし第５行をスキャンするまで処理を行う。その後、第一コンボリューションテンプレートにより、グレースケール画像の第２ないし第６行をスキャンする。これに基づいて類推して、第一コンボリューションテンプレートがグレースケール画像の後ろからの第１ないし第５行をスキャンするまで処理を行う。このようにして、第一中間画像を得ることができる。
【００２６】
なお、ここでの第一コンボリューションテンプレート、以下に利用する第二コンボリューションテンプレート、第三コンボリューションテンプレート、及び第四コンボリューションテンプレートはすべて例示にすぎない。また、コンボリューションテンプレートの大小（サイズ）及び重みも全て例示にすぎず、本発明はこれに限定されない。
【００２７】
その後、第二コンボリューションテンプレートを用いて、前記第一中間画像をスキャンし、水平方向の勾配画像を得る。第二コンボリューションテンプレートは、例えば、
【表２】
2016167810.tif 000004
である。
【００２８】
次に、第三コンボリューションテンプレートを用いて、前記グレースケール画像をスキャンし、第二中間画像を得る。第三コンボリューションテンプレートは、例えば
【表３】
2016167810.tif 000005
である。
【００２９】
次に、第四コンボリューションテンプレートを用いて、前記第二中間画像をスキャンし、垂直方向の勾配画像を得る。第四コンボリューションテンプレートは、例えば
【表４】
2016167810.tif 000006
である。なお、第二、第三、第四コンボリューションテンプレートによるスキャンプロセスは、第一コンボリューションテンプレートによるスキャンプロセスと同様である。
【００３０】
その後、前記水平方向の勾配画像と、前記垂直方向の勾配画像との対応する点の絶対値を比較し、そのうちの比較的大きい絶対値により前記勾配画像を構成する。
【００３１】
最後に、ステップS103では、前記勾配画像中の点に対して正規化及び２値化を行い、第一エッジ画像を得る。なお、正規化及び２値化のステップは、当業者に周知のため、ここではその詳しい説明が省略される。また、２値化用閾値は、当業者により柔軟に設定することができる。
【００３２】
本発明の好適な実施例によれば、次のようなステップS111〜S113によりステップS1を実現することもできる。
【００３３】
ステップS111では、前記カラー文書画像をR、G、Bのシングルチャンネルの画像に変換する。
【００３４】
ステップS112では、コンボリューションテンプレートを用いて、前記R、G、Bのシングルチャンネルの画像に基づいて、R、G、Bのシングルチャンネルの勾配画像を得る。R、G、Bのシングルチャンネルの画像のうちの各画像がカラー文書画像に類似したので、上述のステップS101、S102と同様な方法で、ステップS112を実現することができる。
【００３５】
ステップS113では、前記R、G、Bのシングルチャンネルの勾配画像中の各々の対応する点に対して2ノルムを行い、そして、正規化及び２値化を行い、第一エッジ画像を得る。言い換えると、R、G、Bのシングルチャンネルの勾配画像中での対応する点の３つの値を一つの値に合併することで、三つのシングルチャンネルの勾配画像を合併し、そして、第一エッジ画像に変換する。
【００３６】
ここまでは、ステップS1を経て、カラー文書画像から第一エッジ画像を取得した。図3は、第一エッジ画像の一例を示している。２値化では、２値化用閾値よりも高い画素点に対応する第一エッジ画像中の点を0とし、そうではない点を1とする。もちろん、逆にしても良い。
【００３７】
第一勾配画像は、カラー文書画像中の大多数のエッジ、特に、黒色、白色、灰色の画素のエッジを反映することができる。しかし、第一勾配画像は、カラー文書画像中のカラーが比較的浅い部分を反映し難い（例えば、図1の右下隅にある5人の後ろの背景がカラーで且つ比較的浅いから、図3中では背景とされているが、以下に説明するステップS2で生成された図4中では前景とされている）。なぜなら、このような部分のグレースケールの特徴が鋭利でないからである。よって、カラー固有の特性を用いてハーフトーン領域、カラー図形領域などを抽出する必要がある。
【００３８】
上述のように、本発明の実施例では、カラー及びエッジ（勾配）の情報を組み合わせて使用することで、カラー文書画像から所定領域を抽出するため、カラー情報を得る必要もある。
【００３９】
カラー文書画像は複数種の形式を有する。例えば、RGB形式、YCbCr形式、YUV形式、及びCMYK形式などがある。以下、RGB形式を例として説明を行う。なお、他の形式のカラー画像については、この分野に既存の変換方法でRGB形式に変換してから、次のような例示的な処理を行っても良い。
【００４０】
ステップS2では、カラーチャンネルの不均一性を用いて、２値化画像を取得する。
【００４１】
このステップの目的は、カラー画像のカラー情報を得ることにあり、より具体的には、カラー文書画像中のカラー画素を確定する。利用する原理は、R、G、Bの三つのカラーチャンネルの値が同じであり又はそれらの差異が比較的小さい時に、現れている色が灰色（全てが0の時に純黒色であり、全てが255の時に純白色である）であり、R、G、Bの三つのカラーチャンネルの値の差異が比較的大きい時に、現れている色がカラーであるということである。なお、差異の大小は、設定された差異の閾値によって評価することができる。
【００４２】
具体的には、先ず、前記カラー文書画像中の各画素点のR、G、Bの３つのチャンネルの差を比較することができる。例えば、各画素点（r0，g0，b0）について、該画素点の３つのチャンネルの値であるd0=r0-(g0+b0)/2、d1=g0-(r0+b0)/2、d2=b0-(r0+g0)/2を計算する。続いて、max(abs(d0)，abs(d1)，abs(d2)）を計算し、そのうち、max()は、最大値を取ることを表し、abs()は、絶対値を取ることを表し、即ち、d0、d1、d2の絶対値のうちの最大値を計算して、該画素点のR、G、Bの３つのチャンネルの差を表す。
【００４３】
その後、前記差が第一差異閾値よりも大きいかどうかに基づいて、該画素点に対応する、前記２値化画像中の点の値を確定する。言い換えると、カラー文書画像中の一つの画素点のR、G、Bの３つのチャンネルの差が第一差異閾値よりも大きい場合、２値化画像中での該画素点に対応する点は、例えば0を取り、そうではない場合、1を取る。もちろん、逆にしても良い。なお、ステップS3で第一エッジ画像と２値化画像との前景を合併し得ることを確保するために、ステップS1で取得した第一エッジ画像中の前景と、ステップS2で取得した２値化画像中の前景とが同様な数値で表されることを保証する必要がある。図4は、２値化画像の一例を示している。
【００４４】
カラー画素であれば、画素のR、G、Bの３つのチャンネルには比較的大きい差が存在する。よって、ステップS2により、ステップS1で抽出しにくい浅いカラー画素を抽出することができる。それと同時に、ステップS2では、利用するのがカラーチャンネルの不均一の特性であるため、黒色、白色、及び灰色の画素を処理しにくい。よって、ステップS1では、エッジ情報を用いて黒色、白色、及び灰色の画素を重点的に処理する。これによって分かるように、カラーとエッジ情報とを組み合わせることで、全体のより良い領域抽出効果を実現することができる。
【００４５】
ステップS3では、前記第一エッジ画像と前記２値化画像とを合併することで、第二エッジ画像を得る。
【００４６】
具体的には、前記第一エッジ画像及び前記２値化画像の対応する２つの点のうちの少なくとも一つが所定画素点（前景）であれば、前記第二エッジ画像中での対応する点を所定画素点と確定する。そうでない場合、即ち、前記第一エッジ画像及び前記２値化画像の対応する２つの点の両方が所定画素点（前景）でない場合、前記第二エッジ画像中での対応する点を非所定画素点（背景）と確定する。
【００４７】
具体的には、第一エッジ画像及び２値化画像において、前景が0（黒色）とされた場合、第一エッジ画像及び２値化画像の対応する点の値に対してAND演算（論理積）を行う。第一エッジ画像及び２値化画像において、前景が1（白色）とされた場合、第一エッジ画像及び２値化画像の対応する点の値に対してOR演算を行う。AND演算／OR演算を行った後に得られた画像は、第二エッジ画像である。図5は、第二エッジ画像の一例を示している。
【００４８】
ステップS3を行った後に、第二エッジ画像に基づいて、所定領域を抽出することができる（ステップS4）。
【００４９】
ステップS4では、上記第二エッジ画像に基づいて、前記所定領域を確定する。
【００５０】
なお、好適な実施例によれば、第二エッジ画像をもとに、第三エッジ画像を更に生成し、その後、第三エッジ画像をもとに、ステップS4中の後続の処理を行うことで、処理の効果を更に向上させることもできる。
【００５１】
前記第二エッジ画像中の局所（ローカル）孤立点を接続することで、第三エッジ画像を得ることができる。
【００５２】
これらの局所孤立点の出現の原因は、幾つかのカラー部分に白色の背景が混ざっているからである。上述のステップS2での抽出が不完全であるため、局所孤立点は形成されている。実際には、このような局所孤立点を全体から抽出すべきであるので、局所孤立点を接続して前景部分に属させる必要がある。
【００５３】
具体的には、接続用テンプレート、例えば、5X5のテンプレートを用いて、第二エッジ画像をスキャンすることができる。テンプレート内の所定画素点（前景）の数が所定の接続用閾値よりも大きい場合、接続用テンプレートの中心に対応する点も所定画素点（前景）として設定する。もちろん、5X5のテンプレートは一例に過ぎない。また、接続用閾値は、当業者により柔軟に設定することができる。このようにして、第二エッジ画像中の局所点を接続することで、第三エッジ画像を得ることができる。
【００５４】
また、第二エッジ画像に対してノイズ除去処理を直接行っても良く、又は、局所点接続後の第二エッジ画像に対してノイズ除去処理を行い、第三エッジ画像を得ても良い。
【００５５】
図6は、第三エッジ画像の一例を示している。
【００５６】
上述の局所孤立点を接続するステップは、選択可能なステップである。ステップS4では、直接的に第二エッジ画像を基礎として、又は、第三エッジ画像を基礎として、所定領域を確定しても良い。以下、第三エッジ画像を例として説明を行う。
【００５７】
図7は、所定領域を確定する方法のフローチャートを示している。
【００５８】
本発明の実施例では、抽出したいのが領域であり、点ではないので、図7に示すように、先ず、ステップS71では、前記第三エッジ画像に対して連通域解析を行い、複数の候補連通域を得る。連通域解析は、この分野に慣用の画像処理手段であるため、ここではその詳しい説明が省略される。
【００５９】
その後、ステップS72では、前記複数の候補連通域のうちの、サイズが大きい候補連通域の外接矩形を取得する。サイズが所定閾値よりも小さい候補連通域を除去するのは、サイズが小さすぎる候補連通域が字であり、抽出すべき領域でない可能性があるからである。例えば、図1中のカラー文字“埃斯内”、“新帥普天”、“Bechtolsheim”のようなものである。候補連通域に基づいてその外接矩形を得ることは、この分野に慣用の画像処理手段であるため、ここではその詳しい説明が省略される。図8は、外接矩形により囲まれた領域の一例を示している。
【００６０】
最後に、ステップS73では、前記外接矩形により囲まれた領域が対応する、前記カラー文書画像中の領域を前記所定領域と確定する。
【００６１】
外接矩形が第三エッジ連通域にあり、抽出すべき所定領域がオリジナルなカラー文書画像にあるため、外接矩形により囲まれた領域に対応するカラー文書画像中の領域を確定し、そして、このような領域を抽出すべき所定領域とする必要がある。
【００６２】
図9は、所定領域を確定する他の方法のフローチャートを示している。
【００６３】
ステップS91では、前記第三エッジ画像に対して連通域解析を行い、複数の候補連通域を得る。ステップS92では、前記複数の候補連通域のうちの、サイズが大きい候補連通域の外接矩形を得る。ステップS93では、前記外接矩形により囲まれた領域が対応する、前記カラー文書画像中の領域を確定待ち領域と確定する。ステップS94では、前記外接矩形内のエッジにすぐ隣接する、前記カラー文書画像中のエッジ連通域を抽出する。ステップS95では、エッジ連通域中の所定条件のエッジ連通域のみ、抽出すべき所定領域と確定する。
【００６４】
そのうち、ステップS91〜S93は、ステップS71〜S73と同様であるが、S93の確定結果は、調整する必要があるため、確定待ち領域と称される。ステップS94及びS95は、外接矩形のエッジの内側の隣接部分に対して分析を行い、それが所定条件を満足するかを判断することで、この部分を所定領域として抽出するかを判断する。
【００６５】
具体的には、ステップS94では、前記外接矩形内のエッジに隣接する、前記カラー文書画像中のエッジ連通域を抽出する。
【００６６】
なお、このステップにおけるエッジ連通域の抽出は、原カラー文書画像に対して行うのである。
【００６７】
エッジ連通域が所定条件を満足するかどうかによって、外接矩形内のエッジに隣接するエッジ連通域を除去する必要があるかどうかを判断する。
【００６８】
ステップS95では、前記確定待ち領域のうちから、所定条件を満足しないエッジ連通域を除去し、即ち、エッジ連通域のうちの、所定条件を満たすエッジ連通域を、抽出される所定領域として保留する。
【００６９】
所定条件は、エッジ連通域のうちの画素と、周囲背景との差異、及び、エッジ連通域自身の一致性を限定している。例えば、所定条件は、前記エッジ連通域中の全ての画素値の分散（Variance）が分散閾値よりも高く、又は、前記エッジ連通域中の全ての画素値の平均値と、前記外接矩形の外部の隣接画素の平均値との間の差異が第二差異閾値よりも高いということを含む。分散閾値及び第二差異閾値は、当業者により柔軟に設定することができる。外接矩形の外部の隣接画素とは、外接矩形の外部領域のうちの、エッジ連通域に隣接する画素を指す。
【００７０】
よって、ステップS4により、取得したい所望の所定領域を抽出することができる。図10は、抽出された所定領域に対応するマスク画像を示している。そのうちの黒色領域は、所定領域に対応し、白色領域は、文字領域に対応する。図1から分かるように、左上隅の黒い枠中で、“TOP  3”の“3”の上半分の左右は、実は背景であり、前景ではないが、“3”自身は、前景である。図8では、外接矩形が囲む領域は、“3”の上半分の左右の背景画素を含む。図10に示すように、ステップS94〜S95を行った後に、“3”の上半分の左右の非前景画素が確定待ち領域から排除されており、“3”は前景領域に保留されている。また、図8の各外接矩形のエッジは横平竪直であるが、図10では、抽出された所定領域のエッジにはバリ(burr)が存在し、これも、エッジ連通域に対しての抽出及び分析によるものである。よって、分かるように、外接矩形内のエッジ近傍のエッジ連通域に対して再分析を行うことで、より正確に所定領域を抽出することができる。また、カラー文書画像には、線で囲まれているが、閉じられていない領域が存在すれば、このような領域は、ステップS3で得た第二又は第三エッジ画像中で前景となる可能性があるが、ステップS94及びS95で除去され得る。これにより、最終に抽出された所定領域に含まれているのは、線により囲まれた閉領域であるようになる。
【００７１】
以下、図11をもとに、本発明の実施例によるカラー文書画像から所定領域を抽出する装置について説明する。
【００７２】
図11は、本発明の実施例よるカラー文書画像から所定領域を抽出する装置の構造図である。図11に示すように、抽出装置1100は、前記カラー文書画像に基づいて、第一エッジ画像を得るための第一エッジ画像取得装置111；カラーチャンネルの不均一性を用いて、２値化画像を得るための２値化画像取得装置112；前記第一エッジ画像及び前記２値化画像を合併し、第二エッジ画像を得るための合併装置113；及び、前記第二エッジ画像に基づいて、前記所定領域を確定するための領域確定装置114を含む。
【００７３】
一つの実施例では、前記所定領域は、図形領域、ハーフトーン領域、線により囲まれた閉領域中の少なくとも一つの領域を含む。
【００７４】
一つの実施例では、２値化画像取得装置112は、更に、前記カラー文書画像中の各画素点のR、G、Bの三つのチャンネルの差異を比較し；前記差異が第一差異閾値よりも大きいかどうかに基づいて、該画素点に対応する、前記２値化画像中の点の値を確定するように構成される。
【００７５】
一つの実施例では、合併装置113は、更に、前記第一エッジ画像及び前記２値化画像中の対応する点のうち一つが所定画素点である場合、前記第二エッジ画像中の対応する点を所定画素点として確定するように構成される。
【００７６】
一つの実施例では、領域確定装置114は、前記第二エッジ画像に対して連通域解析を行い、複数の候補連通域を得るための連通域解析ユニット；前記複数の候補連通域のうちのサイズが大きい候補連通域の外接矩形を得るための外接矩形取得ユニット；及び、前記外接矩形により囲まれている領域に対応する、前記カラー文書画像中の領域を前記所定領域として確定するための領域確定ユニットを含む。
【００７７】
一つの実施例では、領域確定装置114は、更に、前記外接矩形内のエッジに隣接する、前記カラー文書画像中のエッジ連通域を抽出するためのエッジ連通域抽出ユニットを含み、前記領域確定ユニットは、更に、前記エッジ連通域のうちの所定条件を満足するエッジ連通域のみ前記所定領域の一部として確定するように構成される。
【００７８】
一つの実施例では、所定条件は、前記エッジ連通域中の全ての画素値の分散が分散閾値よりも高く、或いは、前記エッジ連通域中の全ての画素値の平均値と、前記外接矩形の外部の隣接画素の平均値との間の差異が第二差異閾値よりも高いことを含む。
【００７９】
一つの実施例では、領域確定ユニットは、更に、前記第二エッジ画像中の局所点を接続し、第三エッジ画像を得るための接続ユニットを含み、前記領域確定ユニットは、更に、前記第三エッジ画像に基づいて、前記所定領域を確定するように構成される。
【００８０】
一つの実施例では、接続ユニットは、更に、接続用テンプレートを用いて、前記第二エッジ画像をスキャンし；前記接続用テンプレート内の所定画素点の数量が接続用閾値を超えた場合、前記接続用テンプレートの中心に対応する画素点を前記所定画素点として確定し；上述の確定結果に基づいて、前記第二エッジ画像を修正し、前記第三エッジ画像を得るように構成される。
【００８１】
一つの実施例では、スキャナが提供され、それは、上述の抽出装置1100を含む。
【００８２】
本発明の抽出装置1100に含まれる各装置及びユニットの処理は、それぞれ、上述の抽出方法に含まれる各ステップの処理と同様であるので、簡潔のために、ここでは、これらの装置及びユニットついての説明を省略する。
【００８３】
なお、上述の装置中の各装置、ユニットは、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせにより配置することができる。配置に使用する具体的な手段又は方式は、当業者に既知であるため、ここでの記載が省略される。ソフトウェア又はファームウェアにより実現する場合、記憶媒体又はネットワークから、専用ハードウェア構造を有するコンピュータ（例えば、図12に示すような汎用コンピュータ1200）に、該ソフトウェアを構成するプログラムをインストールすることができる。該コンピュータは、各種のプログラムがインストールされている時に、各種の機能などを実行することができる。
【００８４】
図12は、本発明の実施例による方法及び装置を実施し得るコンピュータを示すブロック図である。
【００８５】
図12に示すように、中央処理ユニット（ＣＰＵ）1201が、リードオンリーメモリ（ＲＯＭ）1202に記憶されているプログラム、又は、記憶部1208からランダムアクセスメモリ（ＲＡＭ）1203にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ1203は、ニーズに応じて、ＣＰＵ1201が各種の処理などを実行するときに必要なデータを記憶しても良い。ＣＰＵ1201、ＲＯＭ1202及びＲＡＭ1203は、バス1204を経由して互いに接続される。また、入力／出力インターフェース1205もバス1204に接続される。
【００８６】
入力／出力インターフェース1205には、入力部1206（キーボードやマウスなどを含む）、出力部1207（表示器例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む）、記憶部1208（ハードディスクなどを含む）、及び通信部1209（ネットワーク接続カード例えばＬＡＮカード、モデムなどを含む）が接続される。通信部1209は、ネットワーク例えばインターネットを経由して通信処理を行う。ドライブ1210がニーズに応じて入力／出力インターフェース1205に接続されても良い。また、ニーズに応じて、取り外し可能な媒体1211例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどをドライブ1210にセットすることにより、その中から読み出したコンピュータプログラムを記憶部1208にインストールしても良い。
【００８７】
ソフトウェアにより上述の一連の処理を実現する場合は、ネットワーク例えばインターネット、又は記憶媒体例えば取り外し可能な媒体1211から、このソフトウェアを構成するプログラムをインストールしてもよい。
【００８８】
なお、当業者が理解すべきは、このような記憶媒体は、中にプログラムが記憶されており、ユーザにプログラムを提供するよう装置と独立して配られる図12に示すような取り外し可能な媒体1211に限定されない。取り外し可能な媒体1211の例としては、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ1202、記憶部1208に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られてもよい。
【００８９】
また、本発明は、マシン（例えば、コンピュータ）読取可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行される時に、上述の実施例による方法を実行することができる。
【００９０】
さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本開示に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリメモリスティックなどを含むが、これらに限定されない。
【００９１】
本発明の上述の実施例による方法は、明細書に記載の又は図面に図示の時間順序に従って実行することに限定されず、他の時間順序に従って、並列に又は独立して実行してもよい。よって、本明細書又は図面に記載の方法の実行順序は、本発明の技術的範囲を限定しない。
【００９２】
また、もちろん、本発明の上述の方法の各処理ステップは、各種のマシン可読記憶媒体に保存のコンピュータ実行可能なプログラムの方式により実現されてもよい。
【００９３】
また、本発明の目的は、上述の実行可能なプログラムコードを記憶している記憶媒体を直接又は間接にシステム又は装置に提供し、且つ、該システム又は装置中のコンピュータ又は中央処理ユニット（CPU）が上述のプログラムコードを読み出して実行させる方式で実現されてもよい。
【００９４】
また、該システム又は装置はプログラムを実行する機能を有すれば、本発明の実施方式はプログラムに限定されず、また、該プログラムは他の任意の形式、例えば、オブジェクトプログラム、インタープリター実行用プログラム、又は、オペレーティングシステムに提供するスクリプトプログラムなどであってもよい。
【００９５】
上述のマシン可読記憶媒体は、各種の存儲器及び存儲ユニット、半導体装置、ディスユニット例えば光、磁気及び光磁気ディス、及び他の任意の使用可能な情報記憶媒体などであっても良い。
【００９６】
また、クライントコンピュータが、インターネットに接続されている所定のウェブサイトを経由して、本発明の上述の実施例によるコンピュータプログラムコードをダウンロードし、コンピュータにインストールした後に、該プログラムを実行することにより、本発明を実現することもできる。
【００９７】
また、本発明の実施例による装置及び方法は、ソフトウェアにより実現されても良く、ハードウェアにより実現されてもよく、ハードウェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明はこのようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、flashメモリなどにも関する。
【００９８】
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
【００９９】
（付記1）
カラー文書画像から所定領域を抽出する方法であって、
前記カラー文書画像に基づいて、第一エッジ画像を取得し；
カラーチャンネルの不均一性を用いて、２値化画像を取得し；
前記第一エッジ画像及び前記２値化画像を合併し、第二エッジ画像を取得し；及び
前記第二エッジ画像に基づいて、前記所定領域を確定することを含む、方法。
【０１００】
（付記2）
付記1に記載の方法であって、
前記所定領域は、図形領域、ハーフトーン領域、線により囲まれた閉領域のうちの少なくとも一つの領域を含む、方法。
【０１０１】
（付記3）
付記1に記載の方法であって、
カラーチャンネルの不均一性を用いて、２値化画像を得ることは、
前記カラー文書画像中の各画素点のR、G、Bの三つのチャンネルの差異を比較し；及び
前記差異が第一差異閾値よりも大きいかどうかに基づいて、該画素点に対応する、前記２値化画像中の点の値を確定することを含む、方法。
【０１０２】
（付記4）
付記1に記載の方法であって、
前記第一エッジ画像及び前記２値化画像を合併し、第二エッジ画像を得ることは、
前記第一エッジ画像及び前記２値化画像中の対応する点のうちの少なくとも一つが所定画素点である場合、前記第二エッジ画像中の対応する点を所定画素点として確定することを含む、方法。
【０１０３】
（付記5）
付記1に記載の方法であって、
前記第二エッジ画像に基づいて、前記所定領域を確定することは、
前記第二エッジ画像に対して連通域解析を行い、複数の候補連通域を取得し；
前記複数の候補連通域中のサイズが大きい候補連通域の外接矩形を取得し；及び
前記外接矩形により囲まれている領域に対応する、前記カラー文書画像中の領域を前記所定領域として確定することを含む、方法。
【０１０４】
（付記6）
付記5に記載の方法であって、更に、
前記外接矩形内のエッジに隣接する、前記カラー文書画像中のエッジ連通域を抽出し；及び
前記エッジ連通域中の所定条件を満足するエッジ連通域のみ前記所定領域の一部として確定することを含む、方法。
【０１０５】
（付記7）
付記6に記載の方法であって、
前記所定条件は、前記エッジ連通域中の全ての画素値の分散が分散閾値よりも高く、或いは、前記エッジ連通域中の全ての画素値の平均値と前記外接矩形外部の隣接画素の平均値との間の差異が第二差異閾値よりも高いことを含む、方法。
【０１０６】
（付記8）
付記1に記載の方法であって、
前記第二エッジ画像に基づいて、前記所定領域を確定することは、
前記第二エッジ画像中の局所点を接続し、第三エッジ画像を取得し；及び
前記第三エッジ画像に基づいて、前記所定領域を確定することを含む、方法。
【０１０７】
（付記9）
付記8に記載の方法であって、
前記第二エッジ画像中の局所点を接続し、第三エッジ画像を得ることは、
接続用テンプレートを用いて、前記第二エッジ画像をスキャンし；
前記接続用テンプレート内の所定画素点の数量が接続用閾値を超えた場合、前記接続用テンプレートの中心に対応する画素点を前記所定画素点として確定し；及び
上述の確定結果に基づいて、前記第二エッジ画像を修正し、前記第三エッジ画像を得ることを含む、方法。
【０１０８】
（付記10）
付記1に記載の方法であって、更に、
前記カラー文書画像中の前記所定領域以外の領域を文字領域として確定することを含む、方法。
【０１０９】
（付記11）
カラー文書画像から所定領域を抽出する装置であって、
前記カラー文書画像に基づいて、第一エッジ画像を得るための第一エッジ画像取得装置；
カラーチャンネルの不均一性を用いて、２値化画像を得るための２値化画像取得装置；
前記第一エッジ画像及び前記２値化画像を合併し、第二エッジ画像を得るための合併装置；及び
前記第二エッジ画像に基づいて、前記所定領域を確定するための領域確定装置を含む、装置。
【０１１０】
（付記12）
付記11に記載の装置であって、
前記所定領域は、図形領域、ハーフトーン領域、線により囲まれた閉領域中の少なくとも一つの領域を含む、装置。
【０１１１】
（付記13）
付記11に記載の装置であって、
前記２値化画像取得装置は、更に、
前記カラー文書画像中の各画素点のR、G、Bの三つのチャンネルの差異を比較し；及び
前記差異が第一差異閾値よりも大きいかどうかに基づいて、該画素点に対応する、前記２値化画像中の点の値を確定するように構成される、装置。
【０１１２】
（付記14）
付記11に記載の装置であって、
前記合併装置は、更に、
前記第一エッジ画像及び前記２値化画像中の対応する点のうちの一つが所定画素点である場合、前記第二エッジ画像中の対応する点を所定画素点として確定するように構成される、装置。
【０１１３】
（付記15）
付記11に記載の装置であって、
前記領域確定装置は、
前記第二エッジ画像に対して連通域解析を行い、複数の候補連通域を得るための連通域解析ユニット；
前記複数の候補連通域中のサイズが大きい候補連通域の外接矩形を得るための外接矩形取得ユニット；及び
前記外接矩形により囲まれている領域に対応する、前記カラー文書画像中の領域を前記所定領域として確定するための領域確定ユニットを含む、装置。
【０１１４】
（付記16）
付記15に記載の装置であって、
前記領域確定装置は、更に、
前記外接矩形内のエッジに隣接する、前記カラー文書画像中のエッジ連通域を抽出するためのエッジ連通域抽出ユニットを含み、
前記領域確定ユニットは、更に、
前記エッジ連通域中の所定条件を満足するエッジ連通域のみ前記所定領域の一部として確定するように構成される、装置。
【０１１５】
（付記17）
付記16に記載の装置であって、
前記所定条件は、
前記エッジ連通域中の全ての画素値の分散が分散閾値よりも高く；又は、
前記エッジ連通域中の全ての画素値の平均値と、前記外接矩形の外部の隣接画素の平均値との間の差異が第二差異閾値よりも高いことを含む、装置。
【０１１６】
（付記18）
付記11に記載の装置であって、
前記領域確定ユニットは、更に、
前記第二エッジ画像中の局所点を接続し、第三エッジ画像を得るための接続ユニットを含み、
前記領域確定ユニットは、更に、
前記第三エッジ画像に基づいて、前記所定領域を確定するように構成される、装置。
【０１１７】
（付記19）
付記18に記載の装置であって、
前記接続ユニットは、更に、
接続用テンプレートを用いて、前記第二エッジ画像をスキャンし；
前記接続用テンプレート内の所定画素点の数量が接続用閾値を超えた場合下、前記接続用テンプレートの中心に対応する画素点を前記所定画素点として確定し；及び
上述の確定結果に基づいて、前記第二エッジ画像を修正し、前記第三エッジ画像を得るように構成される、装置。
【０１１８】
（付記20）
付記11〜19の任意の１つに記載の装置を含むスキャナ。
【０１１９】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2016167810.tif 000007
【図２】
2016167810.tif 000008
【図３】
2016167810.tif 000009
【図４】
2016167810.tif 000010
【図５】
2016167810.tif 000011
【図６】
2016167810.tif 000012
【図７】
2016167810.tif 000013
【図８】
2016167810.tif 000014
【図９】
2016167810.tif 000015
【図１０】
2016167810.tif 000016
【図１１】
2016167810.tif 000017
【図１２】
2016167810.tif 000018