(57)【要約】【課題】行情報を用いなくても、精度よく入力画像に含まれる反転文字の文字領域を抽出可能な画像処理装置を提供する。【解決手段】エッジ検出手段１１は、入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出する。領域抽出分離手段１２は、検出されたエッジに対応する入力画像の画素の近傍の画素を、特徴量に基づいて、特徴量が高い画素と特徴量が低い画素とに区分する。領域抽出分離手段１２は、特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する。【選択図】図１
2010186246.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出するエッジ検出手段と、
前記検出されたエッジに対応する前記入力画像の画素の近傍の画素を前記特徴量に基づいて特徴量が高い画素と特徴量が低い画素とに区分し、前記特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する領域抽出分離手段とを備える画像処理装置。
【請求項２】
前記領域抽出分離手段が、
前記エッジに対応する前記入力画像の画素の近傍の画素のうち、前記特徴量が低い画素を黒とし前記特徴量が高い画素を白とする第１の画像、及び、前記特徴量が高い画素を黒とし前記特徴量が低い画素を白とする第２の画像を生成する局所２値化手段と、前記第１の画像及び前記第２の画像にて、白画素に囲まれた黒画素を抽出し、文字領域として出力する文字領域分離手段とを備える、請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像から抽出された文字領域と、前記第２の画像から抽出された文字領域とが重複する位置にあるとき、重複する位置の文字領域の何れか一方を文字領域として選択する文字領域統合手段を更に備える、請求項２に記載の画像処理装置。
【請求項４】
前記文字領域統合手段は、前記第１の画像から抽出された文字領域と、前記第２の画像から抽出された文字領域とにラベル付けを行い、重複する位置にあるラベルに対して、ラベル面積が大きい方の文字領域を文字領域として選択する、請求項３に記載の画像処理装置。
【請求項５】
オリジナル画像の画像サイズを縮小し、縮小画像を前記エッジ検出手段に入力する画像縮小手段を更に備える、請求項１乃至４の何れか一に記載の画像処理装置。
【請求項６】
前記縮小画像から抽出された文字領域と、前記オリジナル画像とのマッチングを行い、前記オリジナル画像から詳細文字領域を抽出する領域マッチング手段を更に備える、請求項５に記載の画像処理装置。
【請求項７】
前記領域マッチング手段は、前記縮小画像で文字領域として抽出された画素が、特徴量が高い画素に囲まれた特徴量が低い文字領域に対応するとき、前記縮小画像で文字領域として抽出された画素に対応する前記原画像の領域の画素のうち、前記縮小画像の画素の特徴量よりも特徴量が低い画素を前記詳細文字領域として抽出し、前記縮小画像で文字領域として抽出された画素が、特徴量が低い画素に囲まれた特徴量が高い文字領域に対応するとき、前記縮小画像で文字領域として抽出された画素に対応する前記原画像の領域の画素のうち、前記縮小画像の画素の特徴量よりも特徴量が高い画素を前記詳細文字領域として抽出する、請求項６に記載の画像処理装置。
【請求項８】
前記エッジ検出手段が、前記特徴量が増加する方向のエッジを第１のエッジとして検出すると共に、前記特徴量が減少する方向のエッジを第２のエッジとして検出し、前記領域抽出分離手段は、前記第１のエッジ近傍の前記入力画像の画素のうちで前記特徴量が高い画素に囲まれた特徴量が低い画素を文字領域として抽出すると共に、前記第２のエッジ近傍の前記入力画像の画素のうちで特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する、請求項１乃至７の何れか一に記載の画像処理装置。
【請求項９】
前記エッジ検出手段は、入力画像から、隣接する画素間での輝度値の変化がしきい値以上で、かつ、明るい輝度値から暗い輝度値に変化する画素を前記第１のエッジとして検出し、前記輝度値の変化がしきい値以上で、かつ、暗い輝度値から明るい輝度値に変化する画素を前記第２のエッジとして検出する、請求項８に画像処理装置。
【請求項１０】
前記エッジ検出手段は、入力画像から、隣接する画素の色相の変化がしきい値以上で、かつ、彩度が大きい値から小さい値に変化する画素を前記第１のエッジとして検出し、前記色相の変化がしきい値以上で、かつ、彩度が小さい値から大きい値に変化する画素を前記第２のエッジとして検出する、請求項８に記載の画像処理装置。
【請求項１１】
コンピュータが、入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出するステップと、
前記コンピュータが、前記検出されたエッジに対応する前記入力画像の画素の近傍の画素を前記特徴量に基づいて特徴量が高い画素と特徴量が低い画素とに区分するステップと、
前記コンピュータが、前記特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出するステップとを有する画像処理方法。
【請求項１２】
前記コンピュータは、前記特徴量が高い画素と低い画素とに区分するステップでは、前記エッジに対応する前記入力画像の画素の近傍の画素のうち、前記特徴量が低い画素を黒とし前記特徴量が高い画素を白とする第１の画像、及び、前記特徴量が高い画素を黒とし前記特徴量が低い画素を白とする第２の画像を生成し、前記文字領域を抽出するステップでは、前記第１の画像及び前記第２の画像にて、白画素に囲まれた黒画素を文字領域として抽出する、請求項１１に記載の画像処理方法。
【請求項１３】
前記コンピュータが、前記第１の画像から抽出された文字領域と、前記第２の画像から抽出された文字領域とが重複する位置にあるとき、重複する位置の文字領域の何れか一方を文字領域として選択するステップを更に有する、請求項１２に記載の画像処理方法。
【請求項１４】
前記コンピュータは、前記文字領域を選択するステップでは、前記第１の画像から抽出された文字領域と、前記第２の画像から抽出された文字領域とにラベル付けを行い、重複する位置にあるラベルに対して、ラベル面積が大きい方の文字領域を文字領域として選択する、請求項１３に記載の画像処理方法。
【請求項１５】
前記コンピュータが、前記エッジを検出するステップに先行して、オリジナル画像の画像サイズを縮小し、エッジ検出ステップでエッジ検出の対象とする縮小画像を生成するステップを更に有する、請求項１１乃至１４の何れか一に記載の画像処理方法。
【請求項１６】
前記コンピュータが、前記縮小画像から抽出された文字領域と、前記オリジナル画像とのマッチングを行い、前記オリジナル画像から詳細文字領域を抽出するステップを更に有する、請求項１５に記載の画像処理方法。
【請求項１７】
前記コンピュータは、前記エッジを検出するステップでは、前記特徴量が増加する方向のエッジを第１のエッジとして検出すると共に、前記特徴量が減少する方向のエッジを第２のエッジとして検出し、前記特徴量が高い画素と低い画素とに区分するステップでは、前記第１のエッジに対応する前記入力画像の画素の近傍の画素を特徴量が高い画素と特徴量が低い画素とに区分すると共に、前記第２のエッジに対応する前記入力画像の画素の近傍の画素を特徴量が高い画素と低い画素とに区分し、文字領域を抽出するステップでは、前記第１のエッジ近傍の画素のうちで前記特徴量が高い画素に囲まれた特徴量が低い画素を文字領域として抽出すると共に、前記第２のエッジ近傍の画素のうちで特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する、請求項１１乃至１６の何れか一に記載の画像処理方法。
【請求項１８】
コンピュータに、
入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出する処理と、
前記検出されたエッジに対応する前記入力画像の画素の近傍の画素を前記特徴量に基づいて特徴量が高い画素と特徴量が低い画素とに区分する処理と、
前記特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する処理とを実行させるプログラム。
【請求項１９】
前記特徴量が高い画素と低い画素とを区分する処理では、前記エッジに対応する前記入力画像の画素の近傍の画素のうち、前記特徴量が低い画素を黒とし前記特徴量が高い画素を白とする第１の画像、及び、前記特徴量が高い画素を黒とし前記特徴量が低い画素を白とする第２の画像を生成し、前記文字領域を抽出する処理では、前記第１の画像及び前記第２の画像にて、白画素に囲まれた黒画素を文字領域として抽出する、請求項１８に記載のプログラム。
【請求項２０】
前記コンピュータに、前記第１の画像から抽出された文字領域と、前記第２の画像から抽出された文字領域とが重複する位置にあるとき、重複する位置の文字領域の何れか一方を文字領域として選択する処理を更に実行させる、請求項１９に記載のプログラム。
【請求項２１】
前記文字領域を選択する処理では、前記第１の画像から抽出された文字領域と、前記第２の画像から抽出された文字領域とにラベル付けを行い、重複する位置にあるラベルに対して、ラベル面積が大きい方の文字領域を文字領域として選択する、請求項２０に記載のプログラム。
【請求項２２】
前記コンピュータに、前記エッジを検出するステップに先行して、オリジナル画像の画像サイズを縮小し、エッジを検出する処理でエッジ検出の対象とする縮小画像を生成する処理を更に実行させる、請求項１８乃至２１の何れか一に記載のプログラム。
【請求項２３】
前記コンピュータに、前記縮小画像から抽出された文字領域と、前記オリジナル画像とのマッチングを行い、前記オリジナル画像から詳細文字領域を抽出する処理を更に実行させる、請求項２２に記載のプログラム。
【請求項２４】
前記エッジを検出する処理では、前記特徴量が増加する方向のエッジを第１のエッジとして検出すると共に、前記特徴量が減少する方向のエッジを第２のエッジとして検出し、前記特徴量が高い画素と低い画素とに区分する処理では、前記第１のエッジに対応する前記入力画像の画素の近傍の画素を特徴量が高い画素と特徴量が低い画素とに区分すると共に、前記第２のエッジに対応する前記入力画像の画素の近傍の画素を特徴量が高い画素と低い画素とに区分し、前記文字領域を抽出する処理では、前記第１のエッジ近傍の画素のうちで前記特徴量が高い画素に囲まれた特徴量が低い画素を文字領域として抽出すると共に、前記第２のエッジ近傍の画素のうちで特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する、請求項１８乃至２３の何れか一に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及び、プログラムに関し、更に詳しくは、画像から文字領域を抽出する画像処理装置、方法、及び、プログラムに関する。
【背景技術】
【０００２】
画像に含まれる文字を、スキャナ装置などを用いて光学的に読み取り、文字データを出力する光学式文字読み取り装置（ＯＣＲ；Optical Character Reader）がある。ＯＣＲにて、文字データを得るためには、画像から背景領域と文字領域とを分類し、文字を構成する領域を抽出する必要がある。例えば、白色の背景に文字が黒色で記載されている白黒画像では、白色の領域を背景領域とし、黒色の領域を文字領域として切り出すことで、文字領域を抽出する。
【０００３】
ところで、広告やポスターなどの画像では、多様な文字の飾り付けがなされていることが多い。例えば、広告などでは、特定の文字を、周囲の文字よりも強調した表示とするために、反転文字とするケースも多い。反転文字とは、例えば、他の文字が白色の背景に黒色で書かれているときに、黒色の背景に白色の文字で書かれている文字を指す。つまり、文字を構成する色が、周囲とは反転している文字を指す。例えば、周辺の文字では、白色が背景で黒色が文字となるところ、反転文字では、黒色が背景で白色が文字となる。
【０００４】
画像に反転文字が混在する場合、反転している領域を精度よく検出しなければ、誤って背景領域を文字領域として抽出することになる。反転文字の検出に関して、特許文献１〜４に記載の技術がある。特許文献１では、ラン長をあらかじめ設定された所定の長さと比較し、ラン長の長さの変化が所定条件を満たすか否かで反転画像判定を行う。ラン長は、画像情報を一方向に計測し、同一の濃度の画素が連続する長さで定義される。特許文献１では、抽出した行領域に対し、文字のエッジ数や黒ラン数のヒストグラムを生成する。その後、ヒストグラムの値が所定のしきい値を超えたか否かを判定し、反転領域か否かを判定している。
【０００５】
特許文献２では、入力された２値画像の黒画素と白画素との割合を元に、画像の反転を判定する。特許文献２では、入力２値画像の黒画素と白画素の数をカウントし、黒画素の割合が、例えば７０％を超える場合は、反転画像であると判定する。特許文献３でも、同様に、黒画素と白画素の数をカウントし、画素数の多い色を、背景領域としている。
【０００６】
特許文献４では、入力画像を２値化して２値画像を得ると共に、入力画像のエッジを検出してエッジ画像を生成する。２値画像とエッジ画像のそれぞれに対して領域識別処理を行い、双方の領域識別結果を統合する。その後、統合された領域識別結果に含まれる各文字領域に応じて、入力画像の部分２値化処理を行う。部分２値化では、特許文献２や特許文献３と同様に、白画素と黒画素との割合に応じて、反転文字であるか、非反転文字かを判断している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３２６５６８号公報
【特許文献２】特開２００４−６４６６４号公報
【特許文献３】特許第２７４３３７８号公報
【特許文献４】特開２００７―１８３７４２号公報
【非特許文献】
【０００８】
【非特許文献１】大津「判別及び最小２乗基準に基づく自動しきい値選定法」電子通信学会論文誌、ｖｏｌ．Ｊ６３−Ｄ、ｎｏ４、ｐｐ．３４９−３５６、１９８０
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１では、行数や各行の位置といった行情報がわかっていることを前提に、行ごとに白画素、黒画素のラン数を用いて反転領域を特定している。特許文献１では、あらかじめ、画像のどの位置に行が存在するかが分かっている必要がある。従って、特許文献１は、行の位置が固定された定型の文書にしか適用できない。また、入力画像に含まれる文字は、縦又は横に一列に並ぶとは限らない。例えば、斜め方向に文字が並ぶことや、湾曲した曲線上に文字が並ぶこともある。特に、広告など、装飾が多い画像では、こうした傾向が強い。特許文献１は、決まった位置にある行ごとの処理となるので、そうした画像から文字領域を抽出することはできない。
【００１０】
また、特許文献２では、文字領域に外接している外接矩形内の白画素、黒画素の割合を元に反転領域か否かを判断している。特許文献２では、矩形領域の取り方が適切でないと、文字とは関係がない背景領域の画素が判定基準に大きく影響を与え、反転文字の判定を誤ることがある。このため、反転文字を精度よく抽出することはできない。特許文献３及び４も、同様に、外接矩形内の白黒の画素の割合から反転領域を抽出している。このため、矩形内の文字数や文字の書体に応じて、反転文字の抽出を誤る場合がある。
【００１１】
本発明は、行情報を用いなくても、精度よく入力画像に含まれる反転文字の文字領域を抽出可能な画像処理装置、方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の画像処理装置は、入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出するエッジ検出手段と、前記検出されたエッジに対応する前記入力画像の画素の近傍の画素を前記特徴量に基づいて特徴量が高い画素と特徴量が低い画素とに区分し、前記特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する領域抽出分離手段とを備えることを特徴とする。
【００１３】
本発明の画像処理方法は、コンピュータが、入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出するステップと、前記コンピュータが、前記検出されたエッジに対応する前記入力画像の画素の近傍の画素を前記特徴量に基づいて特徴量が高い画素と特徴量が低い画素とに区分するステップと、前記コンピュータが、前記特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出するステップとを有することを特徴とする。
【００１４】
本発明のプログラムは、コンピュータに、入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出する処理と、前記検出されたエッジに対応する前記入力画像の画素の近傍の画素を前記特徴量に基づいて特徴量が高い画素と特徴量が低い画素とに区分する処理と、前記特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する処理とを実行させることを特徴とする。
【発明の効果】
【００１５】
本発明の画像処理装置、方法、及び、プログラムは、行情報を用いなくても、精度よく入力画像に含まれる反転文字の文字領域を抽出することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置を示すブロック図。
【図２】本発明の第１実施形態の画像処理装置を示すブロック図。
【図３】動作手順を示すフローチャート。
【図４】入力画像を示す図。
【図５】(ａ)及び（ｂ）は、それぞれ第１のエッジ及び第２のエッジで構成されるエッジ画像Ａ及びＢを示す図。
【図６】(ａ)は、入力画像の一部を拡大して示す図、(ｂ)及び（ｃ）は、エッジ画像Ａ及びエッジ画像Ｂの一部を拡大して示す図。
【図７】(ａ)及び（ｂ）は、それぞれ、第１の画像及び第２の画像を示す図。
【図８】(ａ)及び（ｂ）は、それぞれ、第１の画像及び第２の画像の一部を拡大して示す図。
【図９】(ａ)及び（ｂ）は、それぞれ、第１の画像から抽出された文字領域及び第２の画像から抽出された文字領域を示す図。
【図１０】(ａ)及び（ｂ）は、それぞれ、図８（ａ）及び（ｂ）から抽出される文字領域を示す図。
【図１１】(ａ)及び（ｂ）は、それぞれ第１の画像及び第２の画像におけるラベル領域を示す図、（ｃ）は、統合後の文字領域を示す図。
【図１２】本発明の第２実施形態の画像処理装置を示す図。
【図１３】第２実施形態における動作手順を示すフローチャート。
【図１４】(ａ)は、縮小画像の一部を示す図、（ｂ）は、オリジナル画像の対応する領域を示す図。
【発明を実施するための形態】
【００１７】
まず、本発明の概要について説明する。図１に、本発明の画像処理装置を示す。画像処理装置１０は、エッジ検出手段１１と、領域抽出分離手段１２とを有する。エッジ検出手段１１は、入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出する。領域抽出分離手段１２は、エッジ検出手段１１で検出されたエッジに対応する入力画像の画素の近傍の画素を、特徴量が高い画素と、特徴量が低い画素とに区分する。領域抽出分離手段１２は、エッジ近傍で、特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する。
【００１８】
エッジ検出手段１１が検出したエッジは、文字領域と背景領域との境界を示す。エッジ近傍にて、特徴量が高い画素に囲まれた、特徴量が低い画素を抽出することで、特徴量が高い画素を背景とし、特徴量が低い画素が文字を構成する文字の文字領域を抽出することができる。また、エッジ近傍にて、特徴量が低い画素に囲まれた、特徴量が高い画素を抽出することで、特徴量が低い画素を背景とし、特徴量が高い画素が文字を構成する文字の文字領域を抽出することができる。つまり、入力画像から、反転文字と非反転文字との双方の文字領域を抽出できる。
【００１９】
本発明では、入力画像からエッジを検出し、エッジ近傍から文字領域を抽出している。このため、反転文字の文字領域抽出に際して、あらかじめ行情報がわかっている必要はない。従って、定型の文書画像だけでなく、さまざまな画像から文字領域を抽出できる。また、エッジ近傍の画素の特徴量に応じて文字領域を抽出しているので、あらかじめ文字領域を判別しておき、入力画像を２値化した２値画像で、文字領域に外接する外接矩形内の白画素と黒画素との比を求める必要がない。外接矩形内で白画素と黒画素との比を求め反転領域か否かを判定する場合は、背景画素が反転領域の判定に影響を与えることがある。また、外接矩形内の文字数や文字の書体に応じて反転領域を正しく判定できないことがある。本発明では、そのような問題は生じず、精度よく反転文字の文字領域を抽出できる。
【００２０】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図２に、本発明の第１実施形態の画像処理装置を示す。画像処理装置１００は、画像入力装置１１０、データ処理部１２０、データ記憶部１３０、及び、画像出力装置１４０を有する。画像入力装置１１０は、画像を入力する装置である。画像入力装置１１０は、典型的には、スチルカメラやビデオカメラ、スキャナといった撮像システムである。画像入力装置１１０は、画像データを、データ処理部１２０に入力する。入力画像の各画素は、画素値を有する。画素値は、白黒の階調画像であれば、黒（最低輝度）から白（最高輝度）までの輝度値で表される。画素値は、入力画像がカラー画像であれば、色空間に応じたベクトル値で表される。
【００２１】
データ処理部１２０は、電子計算機上で所定のプログラムを動作させることで動作する。データ処理部１２０は、エッジ検出手段１２１、領域抽出分離手段１２２、及び、文字領域統合手段１２５を有する。エッジ検出手段１２１は、入力画像から、隣接する画素間での特徴量の変化に基づいて、エッジを検出する。エッジ検出手段１２１は、隣接する画素間での特徴量の変化を求め、特徴量の変化（エッジ強度）がしきい値以上の画素を、エッジとして検出する。
【００２２】
エッジ検出手段１２１は、特徴量の変化の方向に応じて、第１のエッジと第２のエッジとを検出する。エッジ検出手段１２１は、特徴量が増加する方向のエッジを第１のエッジとして検出し、特徴量が減少する方向のエッジを第２のエッジとして検出する。言い換えれば、エッジ検出手段１２１は、特徴量の変化が大きい隣接する２つの画素のうち、特徴量が低い側の画素を第１のエッジとして検出し、特徴量が高い側の画素を第２のエッジとして検出する。
【００２３】
エッジ検出手段１２１は、例えば、入力画像の輝度成分を対象として、エッジ検出を行う。エッジ検出手段１２１は、入力画像から、隣接する画素間での輝度値の変化がしきい値以上で、かつ、明るい輝度値から暗い輝度値に変化する画素を第１のエッジとして検出する。また、エッジ検出手段１２１は、隣接する画素間での輝度値の変化がしきい値以上で、かつ、暗い輝度値から明るい輝度値に変化する画素を第２のエッジとして検出する。入力画像がカラー画像で、各画素の画素値がＲＧＢの輝度値で表される場合、エッジ検出手段１２１は、ＲＧＢの各プレーンにエッジ検出処理を施し、３つのプレーンの同じ画素位置のエッジ強度のうち、最大のエッジ強度をしきい値処理することで、エッジを検出してもよい。
【００２４】
エッジ検出手段１２１は、入力画像がカラー画像の場合は、特徴量として色相や彩度を用い、これらの変化に基づいて、エッジを検出してもよい。エッジ検出手段１２１は、例えば、入力画像から、隣接する画素の色相の変化がしきい値以上で、かつ、彩度が大きい値から小さい値に変化する画素を第１のエッジとして検出する。また、エッジ検出手段１２１は、隣接する画素の色相の変化がしきい値以上で、かつ、彩度が大きい値から小さい値に変化する画素を第２のエッジとして検出する。なお、以下では、説明簡略化のため、主に、入力画像が白黒の階調画像である場合について説明する。
【００２５】
領域抽出分離手段１２２は、エッジ検出手段１２１から、エッジの位置情報を受け取る。領域抽出分離手段１２２は、第１のエッジ近傍の入力画像の画素を、特徴量に基づいて、周囲よりも特徴量が高い画素と、周囲よりも特徴量が低い画素とに区分する。領域抽出分離手段１２２は、例えば特徴量をしきい値処理し、特徴量がしきい値より大きい画素を特徴量が高い画素に区分し、特徴量がしきい値よりも小さい画素を特徴量が低い画素に区分する。領域抽出分離手段１２２は、第１のエッジの位置に対応する入力画像の画素の近傍の画素のうち、周囲よりも特徴量が高い画素に囲まれた、周囲よりも特徴量が低い画素を、文字領域として抽出する。
【００２６】
また、領域抽出分離手段１２２は、エッジ検出部１２１が検出した第２のエッジの位置に対応する入力画像の画素の近傍の画素を、周囲よりも特徴量が低い画素と、周囲よりも特徴量が高い画素とに区分する。この区分は、上記と同様に、特徴量をしきい値処理することで行うことができる。領域抽出分離手段１２２は、第２のエッジの位置に対応する入力画像の画素の近傍の画素のうち、周囲よりも特徴量が低い画素に囲まれた、周囲よりも特徴量が高い画素を、文字領域として抽出する。なお、ここで言う“囲まれている”とは、周囲を完全に囲まれていることまでは必要なく、周囲が覆われていれば足りる。
【００２７】
本実施形態では、入力画像中で、特徴量が低い画素を背景とし、特徴量が高い画素で文字が構成される文字を反転文字とする。逆に、入力画像中で、特徴量が高い画素を背景とし、特徴量が低い画素で構成される文字を非反転文字とする。第１のエッジの位置に対応する画素の近傍の画素のうち、周囲よりも特徴量が高い画素に囲まれた、周囲よりも特徴量が低い画素で構成される文字領域は、非反転文字の文字領域に対応する。また、第２のエッジの位置に対応する画素の近傍の画素のうち、周囲よりも特徴量が低い画素に囲まれた、周囲よりも特徴量が高い画素で構成される文字領域は、反転文字の文字領域に対応する。
【００２８】
領域抽出分離手段１２２は、局所２値化手段１２３と、文字領域分離手段１２４とを有する。局所２値化手段１２３は、エッジ検出手段１２１が検出した第１のエッジに対応する入力画像の画素の近傍の画素を処理対象とし、第１のエッジ近傍の入力画像を２値化する。また、局所２値化手段１２３は、エッジ検出手段１２１が検出した第２のエッジに対応する入力画像の画素の近傍の画素を処理対象とし、第２のエッジ近傍の入力画像を２値化する。
【００２９】
局所２値化手段１２３は、第１のエッジ近傍の画素では、特徴量が低い画素を黒とし特徴量が高い画素を白とする。この画像を第１の画像とする。また、局所２値化手段１２３は、第２のエッジ近傍の画素では、周囲よりも特徴量が高い画素を黒とし特徴量が低い画素を白とする。この画像を、第２の画像とする。白画素と黒画素とは（白画素と黒画素の役割りは）、逆でも構わない。
【００３０】
文字領域分離手段１２４は、第１の画像にて、白画素に囲まれた黒画素を抽出し、文字領域として出力する。この第１の画像から抽出された文字領域は、特徴量が高い画素に囲まれた特徴量が低い画素で構成される文字領域、つまり、非反転文字の文字領域に相当する。また、文字領域分離手段１２４は、第２の画像にて、白画素に囲まれた黒画素を抽出し、文字領域として出力する。この第２の画像から抽出された文字領域は、特徴量が低い画素に囲まれた特徴量が高い画素で構成される文字領域、つまり、反転文字の文字領域に相当する。
【００３１】
ここで、非反転文字にて、文字のパーツの隙間などに背景が入り込むと、その部分は、第２の画像にて、白画素に囲まれた黒画素として現れる。また、反転文字にて、文字のパーツの隙間などに背景が入り込むと、その部分は、第１の画像にて、白画素に囲まれた黒画素として現れる。これらは、抽出された文字領域にて、ノイズ成分となる。そこで、１文字を構成する文字は、反転文字又は非反転文字の何れかであると仮定して、ノイズ成分を除去する。
【００３２】
文字領域統合手段１２５は、第１の画像から抽出された文字領域と、第２の画像から抽出された文字領域と統合する。統合に際して、文字領域統合手段１２５は、第１の画像から抽出された文字領域と、第２の画像から抽出された文字領域とが重複する位置にあるとき、重複する位置の文字領域の何れか一方を文字領域として選択する。より詳細には、文字領域統合手段１２５は、第１の画像から抽出された文字領域と、第２の画像から抽出された文字領域とに対してラベリング処理を行う。文字領域統合手段１２５は、重複した位置にあるラベルに対して、ラベル面積に基づいて何れか一方を選択する。
【００３３】
画像出力装置１４０は、文字領域統合手段１２５で統合処理が施された文字領域を、後段の文字認識装置などに出力する。或いは、画像出力装置１４０は、文字領域を、ディスプレイ等の表示画面に表示してもよい。画像出力装置１４０は、第１の画像から抽出された文字領域と第２の画像から抽出された文字領域とを、別々に出力してもよい。その際、画像出力装置１４０は、重複した位置にある文字領域のうち、文字領域統合手段１２５が選択しなかった文字領域を、第１の画像又は第２の画像から削除してもよい。データ記憶部１３０は、パラメータ記憶部１３１を含む。パラメータ記憶部１３１は、各種しきい値や、局所２値化手段１２３にて２値化処理方法を決定するパラメータなどを記憶する。
【００３４】
図３に、動作手順を示す。画像入力装置１１０は、撮像デバイスで撮影した画像を、データ処理部１２０に入力する（ステップＳ１）。入力画像は、撮影した画像には限られず、何らかの方法で生成した画像で構わない。エッジ検出手段１２１は、入力画像から、第１のエッジと第２のエッジとを検出する（ステップＳ２Ａ、Ｓ２Ｂ）。エッジ検出手段１２１は、エッジの検出では、例えばラプラシアンフィルタのようなエッジ検出フィルタを適用し、特徴量が変化する位置（符号が反転する位置）を検出する。エッジ検出手段１２１は、特徴量が変化する位置、つまりは、特徴量が高い画素と特徴量が低い画素との境界で、特徴量が低い側の画素を第１のエッジとして検出し、特徴量が高い側の画素を第２のエッジとして検出する。
【００３５】
エッジ検出手段１２１は、各画素のエッジの強度を計算し、エッジ強度をしきい値処理することで、２値のエッジ画像を生成する。エッジ強度のしきい値は、パラメータ記憶部１３１に記憶されている固定値を用いることができる。或いは、判別分析法（非特許文献１）を用いて、小領域ごとにしきい値を変えてもよい。なお、ラプラシアンフィルタは、ノイズの影響を受けやすい。このため、エッジ検出手段１２１がエッジ検出を行う前の段階で、あらかじめ、メディアンフィルタやガウシアンフィルタなどを適用し、入力画像に対してノイズ除去処理や平滑化処理を行っておいてもよい。そのような処理を行っておく場合、ノイズに起因するエッジの誤検出を抑えることができる。
【００３６】
局所２値化手段１２３は、エッジ検出手段１２１から第１のエッジ及び第２のエッジの位置（座標）を受け取り、入力画像のエッジの近傍の画素に対し、局所的な２値化処理を行う（ステップＳ３Ａ、Ｓ３Ｂ）。局所２値化手段１２３は、ステップＳ３Ａでは、例えば、第１のエッジを構成する画素から所定範囲内の入力画像の画素をエッジ近傍の画素とし、そのエッジ近傍の画素に対して２値化処理を行う。局所２値化手段１２３は、処理対象の領域内の各画素の特徴量と、その周辺画素の特徴量とを比較し、周辺画素よりも特徴量が高い画素を白に、特徴量が低い画素を黒にした第１の画像を生成する。
【００３７】
局所２値化手段１２３は、ステップＳ３Ｂでは、上記と同様に、第２のエッジを構成する画素から所定範囲内の画素をエッジ近傍の画素とし、そのエッジ近傍の画素に対して２値化処理を行う。局所２値化手段１２３は、処理対象の領域内の各画素について、注目画素の特徴量と周辺画素の特徴量とを比較し、周辺画素に対して特徴量が低い画素を白に、特徴量が高い画素を黒にした第２の画像を生成する。局所２値化手段１２３は、第１の画像及び第２の画像の生成に際して、処理対象の画素の特徴量を、パラメータ記憶部１３１に格納されている固定値を用いてしきい値処理し、２値化してもよい。また、局所２値化手段１２３は、小領域ごとに、判別分析法（非特許文献１）を用いてしきい値を動的に決定してもよい。
【００３８】
文字領域分離手段１２４は、第１及び第２の画像にて、白画素で囲まれた黒画素を抽出し、これを文字領域とする（ステップＳ４Ａ、Ｓ４Ｂ）。白画素で囲まれた黒画素の抽出は、以下の手順で行うことができる。文字領域分離手段１２４は、第１の画像にて、連結された白画素を検索する。文字領域分離手段１２４は、第１の画像にて、連結された白画素の中に、黒画素が存在するか否かを判断する。文字領域分離手段１２４は、白画素領域内に、黒画素領域が包含されているときは、その黒画素領域を、文字領域として抽出する。文字領域分離手段１２４は、上記と同様な手順で、第２の画像にて、連結された白画素領域内に包含されている黒画素領域を、文字領域として抽出する。
【００３９】
文字領域統合手段１２５は、第１の画像から抽出された文字領域、及び、第２の画像から抽出された文字領域に対して、ラベリング処理を行う。ラベリング際しては、分離されている一文字を構成する複数のパーツ、又は、一連の文字列が１つのラベルとなるように、ラベリング前に画素膨張処理を行ってもよい。文字領域統合手段１２５は、両画像から抽出された文字領域のうち、ラベル位置が重なり合う領域のラベル面積を比較する（ステップＳ５）。文字領域統合手段１２５は、ラベル面積が大きい方の文字領域を残し、ラベル面積が小さい方の文字領域を消去して、両画像から抽出された文字領域を統合する（ステップＳ６）。この統合処理を行うことで、あるラベル画像では、第１の画像又は第２の画像の何れか一方から抽出された文字領域が、統合後の文字領域として残ることになる。
【００４０】
以下、具体例を用いて説明する。図４に、入力画像例を示す。入力画像は、背景よりも輝度が高い画素で構成される白抜きの文字（反転文字）と、背景よりも輝度が低い画素で構成される黒色の文字（非反転文字）とを含む。エッジ検出手段１２１は、図４に示す入力画像から、第１のエッジと第２のエッジとを検出する。図５（ａ）に、第１のエッジで構成されるエッジ画像（エッジ画像Ａ）示し、図５（ｂ）に、第２のエッジで構成されるエッジ画像（エッジ画像Ｂ）を示す。図４に示す入力画像からエッジを検出し、エッジの位置の画素を黒、それ以外の画素を白とすると、エッジ画像は、図５（ａ）及び（ｂ）に示すようになる。
【００４１】
図６（ａ）に、入力画像の一部を拡大して示し、（ｂ）及び（ｃ）に、エッジ画像を拡大して示す。図６（ａ）に示す画像は、“運”の文字のしんにゅう（しんにょう）の点の部分に相当する。点の部分は、高輝度、すなわち、白に近い色であり、背景部分は、グレー、つまり、中間階調の色である。エッジ検出手段１２１は、輝度が増加方向に変化する画素を第１のエッジとして検出する。つまり、エッジ検出手段１２１は、図６（ａ）に示す画像の暗い画素と明るい画素の境界で、暗い画素の位置を第１のエッジとして検出する（図６（ｂ））。また、エッジ検出手段１２１は、輝度が減少方向に変化する画素を第２のエッジとして検出する。つまり、エッジ検出手段１２１は、図６（ａ）に示す画像の暗い画素と明るい画素との境界で、明るい画素の位置を第２のエッジとして検出する（図６（ｃ））。第１のエッジと第２のエッジとは、隣接する関係にある。
【００４２】
局所２値化手段１２３は、第１のエッジの位置を用いて、第１のエッジ近傍の入力画像の画素のうち、輝度が低い画素を黒とし、輝度が高い画素を白とする白黒の２値画像（第１の画像）を生成する。また、局所２値化手段１２３は、第２のエッジの位置を用いて、第２のエッジ近傍の入力画像の画素のうち、輝度が高い画素を黒とし、輝度が低い画素を白とする白黒の２値画像（第２の画像）を生成する。図７（ａ）及び（ｂ）に、第１の画像と第２の画像とを示す。図７（ａ）及び（ｂ）において、グレーで示す領域は、２値化処理対象外の領域である。この領域は、背景領域に相当する。
【００４３】
図８（ａ）及び（ｂ）に、それぞれ、第１の画像及び第２の画像の一部を拡大して示す。図８に示す部分は、図６に示すしんにゅうの点の部分に相当する。局所２値化手段１２３は、図６（ｂ）及び（ｃ）に示すエッジ位置（黒画素の位置）の近傍で２値化処理を行う。エッジ近傍の画素の範囲は、エッジ位置を中心として、上下、左右、及び、斜めに隣接する３×３の領域と定義する。エッジ近傍の画素の範囲は、文字を構成する線の細さや、入力画像中での文字の大きさ、入力画像の解像度などを考慮して、適宜決めておけばよい。
【００４４】
入力画像にて（図６（ａ））、第１のエッジよりも内側の部分（白に見える部分）は周囲よりも輝度が高く、第１のエッジとその外側の部分（グレーに見える部分）とは周囲よりも輝度が低い。局所２値化手段１２３は、輝度が高い部分、すなわち、第１のエッジよりも内側の部分を白とし、輝度が低い部分、すなわち、第１のエッジとその外側の部分とを黒とした第１の画像を生成する（図８（ａ））。また、入力画像にて、第２のエッジとその内側の部分とは周囲よりも輝度が高く、第２のエッジよりも外側の部分は周囲よりも輝度が低い。局所２値化手段１２３は、輝度が高い部分、すなわち、第２のエッジとその内側の部分とを黒とし、輝度が低い部分、すなわち、第２のエッジよりも外側の部分を白とした第２の画像を生成する（図８（ｂ））。
【００４５】
文字領域分離手段１２４は、第１の画像及び第２の画像から、白画素に囲まれた黒画素を抽出し、双方の画像にて、文字領域を抽出する。図９（ａ）及び（ｂ）に、文字領域分離手段１２４が抽出した文字領域を示す。図７（ａ）に示す第１の画像（第１のエッジ近傍の２値画像）にて、白画素に囲まれた黒画素を残し、白画素に囲まれていない黒画素を削除すると、図９（ａ）に示す画像が得られる。図９（ａ）に示す画像中の黒画素が、第１の画像から抽出された文字領域に相当する。また、図７（ｂ）に示す第２の画像（第２のエッジ近傍の２値画像）にて、白画素に囲まれた黒画素を残し、白画素に囲まれていない黒画素を削除すると、図９（ｂ）に示す画像が得られる。図９（ｂ）に示す画像中の黒画素が、第２の画像から抽出された文字領域に相当する。
【００４６】
図１０（ａ）及び（ｂ）に、それぞれ図８（ａ）及び（ｂ）に示す第１の画像及び第２の画像から抽出される文字領域を示す。文字領域分離手段１２４は、図８（ａ）に示す第１の画像中で、縦、横、斜めに連続する白画素（白画素の塊）を探索する。文字領域分離手段１２４は、白画素の塊が見つかると、白画素の塊の中に黒画素が存在するか否かを調べる。入力画像（図４）にて、“運”の文字は反転文字であり、「しんにゅう」の点の部分は輝度が低い領域に囲まれた輝度が高い領域なので、図８（ａ）では、白画素の塊の中に黒画素は存在していない。従って、図８（ａ）に示す第１の画像から抽出される文字領域はない（図１０（ａ））。
【００４７】
文字領域分離手段１２４は、図８（ｂ）に示す第２画像中で、縦、横、斜めに連続する白画素の塊を探索する。文字領域分離手段１２４は、白画素の塊が見つかると、白画素の塊の中に黒画素が存在するか否かを調べる。図８（ｂ）では、黒画素の周りを白画素が囲んでいるので、白画素の塊の中に存在する黒画素が見つかる。文字領域分離手段１２４は、図８（ｂ）で白画素に囲まれた黒画素を、文字領域として抽出する（図１０（ｂ）)。このように、「しんにゅう」の点の部分に対応する文字領域は、第１の画像からは抽出されず、第２の画像から抽出されることになる。
【００４８】
非反転文字は、背景を構成する画素の輝度が高く、文字を構成する画素の輝度が低い。非反転文字のエッジ近傍を考えると、第１の画像では、第１のエッジ近傍で非反転文字を構成する画素は黒画素になり、非反転文字の背景の画素は白画素になる。また、第２の画像では、第２のエッジ近傍で非反転文字を構成する画素は白画素になり、非反転文字の背景の画素は黒画素になる。非反転文字は、輝度が高い画素に囲まれた輝度が低い画素で構成されるので、白画素に囲まれた黒画素を抽出することで、第１の画像から、非反転文字の文字領域を抽出できる。
【００４９】
また、反転文字は、背景を構成する画素の輝度が低く、文字を構成する画素の輝度が高い。反転文字のエッジ近傍を考えると、第１の画像では、第１のエッジ近傍で反転文字を構成する画素は白画素になり、反転文字の背景の画素は黒画素になる。第２の画像では、第２のエッジ近傍で反転文字を構成する画素は黒画素になり、反転文字の背景の画素は白画素になる。反転文字は、輝度が低い画素に囲まれた輝度が高い画素で構成されるので、白画素に囲まれた黒画素を抽出することで、第２の画像から、反転文字の文字領域を抽出できる。つまり、第１の画像から、非反転文字の文字領域が抽出でき、第２の画像から、反転文字の文字領域が抽出できる。
【００５０】
第１の画像から抽出された文字領域には、非反転文字を構成する画素に加えて、反転文字で文字を構成する画素に囲まれた背景部分の画素が含まれる。例えば、反転文字である“用”の文字では、文字の内側の背景画素が、文字を構成する画素に囲まれている（図４）。反転文字は、文字を構成する画素の輝度が高く、背景の画素の輝度が低いため、“用”の文字の内側の背景画素は、第１の画像にて白画素に囲まれた黒画素として現れ、文字領域として抽出される（図９（ａ））。第２の画像でも、同様に、非反転文字の内側の背景画素が、文字領域として抽出される（図９（ｂ））。これら、文字領域として抽出された背景画素は、ノイズ成分となる。
【００５１】
文字領域統合手段１２５は、同じ位置では、文字は、反転文字又は非反転文字の何れか一方で構成されると仮定し、第１の画像から抽出された文字領域に含まれる反転文字の内側の背景画素、及び、第２の画像から抽出された文字領域に含まれる非反転文字の内側の背景画素を取り除く。文字領域統合手段１２５は、背景画素を取り除いた双方の文字領域を統合する。言い換えれば、文字領域統合手段１２５は、双方の画像から抽出された文字領域が重複した位置にあるとき、第１の画像から抽出された文字領域と第２の画像から抽出された文字領域との何れか一方を、統合後の文字領域として選択する。
【００５２】
図１１（ａ）〜（ｃ）に、文字領域統合処理の様子を示す。文字領域統合手段１２５は、第１の画像から抽出された文字領域に対して画素膨張処理を行い、黒画素が連結する部分にラベル付けを行う（図１１（ａ））。また、文字領域統合手段１２５は、第２の画像から抽出された文字領域についても、同様に、画素膨張処理とラベル付けとを行う（図１１（ｂ））。ラベル付けの前に、画素膨張処理を行っておくことで、第２の画像から抽出された文字領域で（図９（ｂ））、１文字ずつ分離していた“先進の機能”の文字領域が隣接する文字と連結し、文字列に対して、同じラベルが付与されることになる。
【００５３】
文字領域統合手段１２５は、第１の画像から抽出された文字領域のラベルと、第２の画像から抽出された文字領域のラベルとで、重複する位置にあるラベルが存在するか否かを調べる。文字領域統合手段１２５は、双方の文字領域で重複した位置にラベルが存在しないとき、つまり、何れか一方にのみラベルが存在する位置では、ラベルが存在する方の文字領域（第１の画像又は第２の画像からを抽出された黒画素）を、統合後の文字領域とする。文字領域統合手段１２５は、重複する位置にラベルが存在する場合は、ラベル領域の大きさ（面積）を比較し、ラベル面積が大きい方の文字領域を、統合後の文字領域とする（図１１（ｃ））。ラベル面積に代えて、ラベル内の画素数を比較してもよい。
【００５４】
例えば、入力画像（図４）に含まれる“先進の機能”の部分を考える。この部分は反転文字なので、文字領域は、第２の画像から抽出される（図９（ｂ））。しかし、第１の画像からも、輝度が低い画素に囲まれた輝度が高い画素が、文字領域として抽出される（図９（ａ））。文字領域統合手段１２５がラベル付けを行うと、第１の画像から抽出された文字領域では６つのラベルができ（図１１（ａ））、第２の画像から抽出された文字領域では１つのラベルができる（図１１（ｂ））。文字領域統合手段１２５は、図１１（ａ）に存在する６つのラベルのそれぞれと、図１１（ｂ）に存在するラベルとを比較する。図１１（ａ）に存在する６つのラベルのラベル面積は、何れも、図１１（ｂ）に存在するラベルのラベル面積よりも小さい。従って、文字領域統合手段１２５は、“先進の機能”の部分については、第２の画像から抽出された文字列を選択する。最終的に、統合後の文字領域では、第２の画像から抽出された文字領域が残る（図１１（ｃ））。
【００５５】
本実施形態では、エッジ検出手段１２１は、入力画像から、隣接する画素間での特徴量の変化に基づいてエッジを検出する。領域抽出分離手段１２２は、検出されたエッジに対応する入力画像の画素の近傍の画素を、特徴量が高い画素と特徴量が低い画素とに区分する。領域抽出分離手段１２２は、特徴量が高い画素に囲まれた特徴量が低い画素、及び、特徴量が低い画素に囲まれた特徴量が高い画素を文字領域として抽出する。文字と背景との境界は、エッジとして検出され、エッジ近傍の画素は、特徴量が高い画素と特徴量が低い画素とを含んでいる。エッジ近傍の画素にて、特徴量が高い画素に囲まれた特徴量が低い画素を抽出することで、非反転文字の文字領域を抽出できる。また、エッジ近傍の画素にて、特徴量が低い画素に囲まれた特徴量が高い画素を抽出することで、反転文字の文字領域を抽出できる。
【００５６】
本実施形態では、エッジ近傍から、反転文字の文字領域と非反転文字の文字領域との双方を抽出しているので、文字領域の抽出に際して、あらかじめ行がどのように構成されているかという情報を用いる必要はない。従って、入力画像は、定型の文書画像に限定されず、種々の入力画像から、反転文字と非反転文字の文字領域を抽出することができる。また、文字が斜めに並ぶ場合や、湾曲した曲線上に配置される場合も、反転文字と非反転文字の文字領域を抽出できる。
【００５７】
また、本実施形態では、エッジ近傍にて、特徴量が低い画素に囲まれた特徴量が高い画素を反転文字の文字領域としているので、反転文字の判定に際して、反転文字の領域に外接矩形を設定し、その外接矩形内の黒画素と白画素との比を計算する必要がない。黒画素と白画素との比に基づいて反転領域を判定する方式では、外接矩形の取り方や、文字のフォント、文字を構成する線の太さなどに応じて、反転文字を正しく判定できないことがある。これに対し、本実施形態では、外接矩形は必要なく、フォントや線の太さに依存せずに、反転文字の文字領域を抽出できる。従って、黒画素と白画素との比に基づいて反転領域を判定する方式に比して、反転文字の文字領域を精度よく抽出できる。
【００５８】
続いて、本発明の第２実施形態について説明する。図１２は、本発明の第２実施形態の画像処理装置を示している。画像処理装置１００Ａは、画像入力装置１１０と、データ処理部１２０Ａと、データ記憶部１３０と、画像出力装置１４０とを有する。データ処理部１２０Ａは、エッジ検出手段１２１、領域抽出分離手段１２２、文字領域統合手段１２５、画像縮小手段１２６、及び、領域マッチング手段１２７を有する。第２実施形態におけるデータ処理部１２０Ａの構成は、図２に示す第１実施形態のデータ処理部１２０の構成に、画像縮小手段１２６と領域マッチング手段１２７とが追加された構成である。
【００５９】
画像縮小手段１２６は、画像入力装置１１０が入力した画像を縮小して、エッジ検出手段１２１に渡す。画像縮小手段１２６は、入力画像を、所望の解像度の画像に縮小する。画像縮小手段１２６は、例えば、バイリニア方式やバイキュービック方式のような公知の縮小方式を用いて、入力画像を所望の解像度に縮小する。
【００６０】
画像の縮小率は、例えば、以下のように決定する。事前に、パラメータ記憶部１３１にテーブルを記憶しておく。そのテーブルには、画像から抽出したい文字の文字サイズと、その文字サイズの文字領域の抽出が可能となる画像の解像度との対応を記憶しておく。ユーザは、処理対象の文字サイズを指定する。画像縮小手段１２６は、テーブルを参照して、ユーザが指定した文字サイズに対応する解像度を得る。画像縮小手段１２６は、入力画像の解像度と、テーブルに記憶された解像度とから、画像の縮小率を決定する。或いは、テーブルに、処理対象の文字サイズと、縮小率との対応を記憶しておいてもよい。この場合、画像縮小手段１２６は、テーブルから、ユーザが指定した文字サイズに対応する縮小率を取得する。
【００６１】
例えば、画像から、２０ポイント以上の文字を抽出したい場合を考える。画像中には、２０ポイント以上の文字加えて、１０ポイントや１６ポイントなどの２０ポイントよりも小さいサイズの文字も含まれているとする。入力画像が、１０ポイントや１６ポイントの文字の抽出に対して十分な解像度を持っている場合、入力画像をそのまま用いて文字領域の抽出を行うと、入力画像から、必要がない２０ポイントよりも小さい文字まで抽出されることになる。そこで、画像縮小手段１２６を用いて処理対象の画像の解像度を落とし、必要以上に小さいサイズの文字が抽出されないようにする。
【００６２】
エッジ検出手段１２１が行うエッジ検出、領域抽出分離手段１２２が行う文字領域の抽出、及び、文字領域統合手段１２５が行う文字領域の統合（反転文字と非反転文字との統合）は、第１実施形態と同様である。ただし、第２実施形態では、画像入力装置１１０が入力した画像（オリジナル画像）ではなく、画像縮小手段１２６が縮小した画像に対して、エッジ検出、文字領域抽出、及び、文字領域の統合を行う。文字領域統合手段１２５は、出縮小画像から抽出された文字領域を出力する。
【００６３】
領域マッチング手段１２７は、縮小画像から抽出された文字領域とオリジナル画像とのマッチングを行い、オリジナル画像から詳細な文字領域を抽出する。領域マッチング手段１２７は、縮小画像から抽出された文字領域が、第１の画像から抽出された文字領域（非反転文字）であるか、第２の画像から抽出された文字領域（反転文字）であるかに応じて、縮小画像で文字領域として抽出された画素に対応するオリジナル画像の領域から、特徴量が低い画素、又は、特徴量が高い画素を文字領域として抽出する。以下では、特徴量として、画素値の輝度成分を考える。特徴量は、色相など別の成分でもよい。
【００６４】
図１３に、動作手順を示す。画像入力装置１１０は、画像を入力する（ステップＳ１）。画像縮小手段１２６は、入力画像を縮小する（ステップＳ７）。画像縮小手段１２６は、パラメータ記憶部１３１を参照し、縮小画像が、ユーザが指定した処理対象の文字サイズに応じた解像度になるように、画像の縮小率を決定する。或いは、縮小率は、ユーザが任意に設定してもよい。
【００６５】
ステップＳ２Ａ、Ｓ２Ｂから、ステップＳ６までの動作は、第１実施形態における動作と同様である。すなわち、エッジ検出部１２１は、縮小画像から第１のエッジと第２のエッジとを検出する（ステップＳ２Ａ、Ｓ２Ｂ）。局所２値化手段１２３は、第１のエッジ近傍で、縮小画像にて輝度が高い画素を白、輝度が低い画素を黒とする第１の画像を生成する（ステップＳ３Ａ）。また、局所２値化手段１２３は、第２のエッジ近傍で、縮小画像にて輝度が低い画素を白、輝度が高い画素を黒とする第２の画像を生成する（ステップＳ３Ｂ）。文字領域分離手段１２４は、それぞれ、第１の画像及び第２の画像で、白画素に囲まれた黒画素を文字領域として抽出する（ステップＳ４Ａ、Ｓ４Ｂ）。文字領域統合手段１２５は、重複する位置にある文字領域の面積同士を比較し（ステップＳ５）、文字領域を統合する（ステップＳ６）。
【００６６】
文字領域統合手段１２５が統合した文字領域は、縮小画像から抽出された文字領域である。縮小画像の解像度は、オリジナル画像の解像度よりも低いので、抽出された文字領域は、粗く抽出された文字領域となる。領域マッチング手段１２７は、文字領域統合手段１２５が統合した文字領域と、ステップＳ１で入力された画像（オリジナル画像）とのマッチングを行い、オリジナル画像の解像度で、詳細な文字領域を抽出する（ステップＳ８）。
【００６７】
領域マッチング手段１２７は、文字領域統合手段１２５から、縮小画像中で文字領域を構成する画素の位置と、その画素が第１の画像から抽出された文字領域か第２の画像から抽出された文字領域かを示す情報とを受け取る。領域マッチング手段１２７は、第１の画像から抽出された文字領域については、対応するオリジナル画像の領域から、輝度が低い画素を文字領域として抽出する。領域マッチング手段１２７は、第２の画像から抽出された文字領域については、対応するオリジナル画像の領域から、輝度が高い画素を文字領域として抽出する。
【００６８】
図１４（ａ）に、縮小画像から抽出された文字領域を示し、（ｂ）に、オリジナル画像の対応する領域を示す。図１４（ａ）にて、濃い色で表される画素が、文字領域として抽出された画素に対応する。また、文字領域として抽出された画素に記載された数値は、縮小画像の画素の特徴量（輝度値）を表している。画像の縮小率は、１／３とする。縮小画像の１画素は、オリジナル画像では、３×３の領域に対応する。図１４（ａ）に示す縮小画像の２×２の領域は、図１４（ｂ）に示すオリジナル画像の６×６の領域に対応する。オリジナル画像にて、Ａで示される画素は輝度値１４の画素で、Ｂで示される画素は輝度値１００の画素である。
【００６９】
例えば、図１４（ａ）に示す４つの画素のうちの紙面に向かって右上の画素（輝度値５７）について考える。この画素に対応するオリジナル画像の領域（３×３の領域）は、輝度値１４の画素（図１４（ｂ）に画素Ａで示す画素）が４つあり、輝度値１００の画素（図１４（ｂ）に画素Ｂで示す画素）が５つある。抽出された文字領域は、第１の画像から抽出された文字領域、つまり、輝度が高い画素を背景とし輝度が低い画素が文字を構成する非反転文字の文字領域であるとする。
【００７０】
領域マッチング手段１２７は、縮小画像から文字領域として抽出された画素の輝度値（輝度値５７）と、オリジナル画像の対応する領域内の各画素の輝度値とを比較する。領域マッチング手段１２７は、オリジナル画像の対応する領域内で、輝度値が５７よりも低い画素を輝度が低い画素と判断し、その画素を文字領域として抽出する。領域マッチング手段１２７は、図１４（ｂ）では、画素Ａを文字領域として抽出する。領域マッチング手段１２７は、その他の領域についても同様な処理を行う。領域マッチング手段１２７は、最終的に、オリジナル画像から、図１４（ｂ）で濃い色で示す画素を、文字領域として抽出する。
【００７１】
抽出された文字領域が、第２の画像から抽出された文字領域、つまり、輝度が低い画素を背景とし輝度が高い画素が文字を構成する反転文字の文字領域であれば、領域マッチング手段１２７は、上記とは逆の動作で、文字領域を抽出する。すなわち、領域マッチング手段１２７は、オリジナル画像の対応する領域で、縮小画像から文字領域として抽出された画素の輝度値よりも輝度が高い画素を文字領域として抽出する。
【００７２】
本実施形態では、画像縮小手段１２６は、入力画像を縮小する。領域マッチング手段１２７は、縮小画像から抽出された文字領域と縮小前のオリジナル画像とのマッチングを行い、オリジナル画像から文字領域を抽出する。オリジナル画像が、処理対象の文字サイズに対して過大な解像度を持っている場合、抽出する必要がないサイズが小さな文字の文字領域も抽出されることになる。解像度が高いほど、処理すべき画素の数が増えるため、処理に必要なメモリ量が増加し、文字領域の抽出に要する時間も長くなる。本実施形態では、縮小画像に対してエッジ検出、文字領域の抽出を行っているので、解像度が高いオリジナル画像を使用する場合に比して、使用するメモリ量を抑えることができ、また、処理速度を向上することができる。その他の効果は、第１実施形態と同様である。
【００７３】
なお、上記各実施形態では、エッジ検出手段１２１は、特徴量の変化の方向に応じて、第１のエッジと第２のエッジとを検出したが、検出するエッジは何れか一方でもよい。これは、第１のエッジと第２のエッジとは隣接するため、第１のエッジの近傍で、特徴量が低い画素に囲まれた特徴量が高い画素を抽出することでも、反転文字の文字領域を抽出することができ、第２のエッジの近傍で、特徴量が高い画素に囲まれた特徴量が低い画素を抽出することでも、非反転文字の文字領域を抽出することができるためである。ただし、特徴量の変化の方向に応じて第１のエッジと第２のエッジを検出する方が、より正確な文字領域の抽出が可能であると考えられる。その理由は、特徴量が高い画素と低い画素との境界で特徴量が低い画素が第１のエッジとなり、特徴量が高い画素と低い画素の境界で特徴量が高い画素が第２のエッジとなるので、第１のエッジは非反転文字を構成する画素の位置と重なり、第２のエッジは反転文字を構成する画素の位置と重なるためである。
【００７４】
上記各実施形態では、第１の画像と第２の画像とを生成したが、生成する２値画像は、何れか一方でもよい。非反転文字の文字領域と、反転文字の文字領域とは、特徴量が高い画素に囲まれた特徴量が低い画素と、特徴量が低い画素に囲まれた特徴量が高い画素とを抽出することで抽出できる。従って、第２の画像を生成せずに、第１の画像を用いて、白画素に囲まれた黒画素を非反転文字の文字領域として抽出し、黒画素に囲まれた白画素を反転文字の文字領域として抽出してもよい。逆に、第１の画像を生成せずに、第２の画像を用いて、黒画素に囲まれた白画素を非反転文字の文字領域として抽出し、白画素に囲まれた黒画素を反転文字の文字領域として抽出してもよい。
【００７５】
画像入力装置１１０が読み取った画像に対して、何らかの画像処理を施し、データ処理部１２０に入力してもよい。例えば、エッジ検出手段１２１がエッジ検出を行う前の段階で、領域判別処理を行い、絵や写真の部分など、文字が存在しないことが明らかな領域を入力画像から削除してもよい。また、第２実施形態で、縮小画像から抽出された文字領域とオリジナル画像とのマッチングを行わない構成も可能である。すなわち、縮小画像が十分な解像度を持ち、縮小画像から抽出された文字領域を用いて文字認識などが可能であれば、マッチングを行わずに、画像出力装置１４０から、粗く抽出された文字領域を出力してもよい。
【００７６】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像処理装置、方法、及び、プログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【産業上の利用可能性】
【００７７】
本発明は、多様な文字飾りが成されている文書画像から文字領域を抽出する文字領域抽出装置や、文字領域抽出装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、本発明は、光学式文字読み取り装置や、文字認識した結果をファイルに出力するファイル生成装置における文字領域の抽出に適用できる。
【符号の説明】
【００７８】
１０：画像処理装置
１１：エッジ検出手段
１２：領域抽出分離手段
１００：画像処理装置
１１０：画像入力装置
１２０：データ処理部
１２１：エッジ検出手段
１２２：領域抽出分離手段
１２３：局所２値化手段
１２４：文字領域分離手段
１２５：文字領域統合手段
１２６：画像縮小手段
１２７：領域マッチング手段
１３０：データ記憶部
１３１：パラメータ記憶部
１４０：画像出力装置
【図１】
2010186246.tif 000003
【図２】
2010186246.tif 000004
【図３】
2010186246.tif 000005
【図４】
2010186246.tif 000006
【図５】
2010186246.tif 000007
【図６】
2010186246.tif 000008
【図７】
2010186246.tif 000009
【図８】
2010186246.tif 000010
【図９】
2010186246.tif 000011
【図１０】
2010186246.tif 000012
【図１１】
2010186246.tif 000013
【図１２】
2010186246.tif 000014
【図１３】
2010186246.tif 000015
【図１４】
2010186246.tif 000016