(57)【要約】【課題】画像分割及び画像強調を提供する。【解決手段】画像を分割及び強調するための方法、装置、及びマシン可読媒体が記載される。一態様では、所与の画像１６のそれぞれのピクセルにおいて勾配規模値を求める。勾配規模値をグローバルしきい値を用いてしきい値処理して、しきい値処理された勾配規模値２０を作成する。しきい値処理された規模値２０の流域変換に従ってピクセルをそれぞれのグループに分割する。分類レコード１８を生成する。該分類レコード１８は、ピクセルの中で、サイズが最大であると判断されるグループの１つに分割されたピクセルを背景ピクセルとしてラベル付けし、ピクセルの中で、最大のグループ以外のグループのいずれかに分割されたピクセルを非背景ピクセルとしてラベル付けする。【選択図】図３
2010525486.tif 000002
【特許請求の範囲】
【請求項１】
所与の画像（１６）のそれぞれのピクセルにおける勾配規模値を求めることと、
前記勾配規模値をグローバルしきい値を用いてしきい値処理することであって、しきい値処理された勾配規模値（２０）を作成する、しきい値処理することと、
前記しきい値処理された規模値（２０）の流域変換に従って前記ピクセルをそれぞれのグループに分割することと、
前記ピクセルの中で、サイズが最大であると判断される前記グループの１つに分割されたピクセルを背景ピクセルとしてラベル付けし、前記ピクセルの中で、前記最大のグループ以外の前記グループのいずれかに分割されたピクセルを非背景ピクセルとしてラベル付けする分類レコード（１８）を生成することと
を含む方法。
【請求項２】
前記求めることの前に、上流の画像のノイズ除去から前記所与の画像（１６）を導出することをさらに含む
請求項１に記載の方法。
【請求項３】
前記方法は、前記所与の画像（１６）の前記ピクセル値及び前記分類レコード（１８）から強調画像（４８）を作成することをさらに含み、
前記作成することは、背景ピクセルとしてラベル付けされた前記所与の画像のピクセルの値から、非背景ピクセルとしてラベル付けされたピクセルを含む前記所与の画像（１６）の前記ピクセルに関するそれぞれの照度値を推定することを含む
請求項１に記載の方法。
【請求項４】
前記作成することは、前記推定された照度値から求められるそれぞれのトーン値に対する、前記所与の画像（１６）の前記ピクセル値の空間的に対応するピクセル値の比から、前記強調画像（４８）のピクセル値を計算することを含む
請求項３に記載の方法。
【請求項５】
前記計算することは、
前記対応する推定された照度値が照度しきい値未満であるとの判断に応じて、前記強調画像（４８）のピクセル値を、前記所与の画像（１６）の前記ピクセル値の空間的に対応するピクセル値よりも暗く設定することと、
前記対応する推定された照度値が前記照度しきい値よりも大きいとの判断に応じて、前記強調画像（４８）のピクセル値を、前記所与の画像（１６）の前記ピクセル値の空間的に対応するピクセル値よりも明るく設定することと
を含む
請求項４に記載の方法。
【請求項６】
前記作成することは、前記ピクセルの中で非背景ピクセルとしてラベル付けされたピクセルの前記値をシャープ化することであって、前記ピクセルの中で前記強調画像（４８）の空間的に対応するピクセルの値を作成する、シャープ化することを含む
請求項３に記載の方法。
【請求項７】
所与の画像（１６）のそれぞれのピクセルにおける勾配規模値を求め、前記勾配規模値をグローバルしきい値を用いてしきい値処理して、しきい値処理された勾配規模値（２０）を作成するように動作可能な前処理モジュール（１２）と、
前記しきい値処理された規模値（２０）の流域変換に従って前記ピクセルをそれぞれのグループに分割し、前記ピクセルの中で、サイズが最大であると判断される前記グループの１つに分割されたピクセルを背景ピクセルとしてラベル付けし、前記ピクセルの中で、前記最大のグループ以外の前記グループのいずれかに分割されたピクセルを非背景ピクセルとしてラベル付けする分類レコード（１８）を生成するように動作可能な分割モジュール（１４）と
を備える装置。
【請求項８】
前記所与の画像（１６）の前記ピクセル値及び前記分類レコード（１８）から強調画像（４８）を作成するように動作可能な画像強調モジュール（４６）をさらに備える
請求項７に記載の装置。
【請求項９】
前記画像強調モジュール（４８）は、背景ピクセルとしてラベル付けされた前記所与の画像（１６）のピクセルの値から、非背景ピクセルとしてラベル付けされたピクセルを含む前記所与の画像（１６）の前記ピクセルに関するそれぞれの照度値を推定するように動作可能である
請求項８に記載の装置。
【請求項１０】
前記画像強調モジュール（４８）は、前記ピクセルの中で非背景ピクセルとしてラベル付けされたピクセルの値をシャープ化して、前記ピクセルの中で前記強調画像（４８）の空間的に対応するピクセルの値を作成するように動作可能である
請求項８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、画像分割及び画像強調に関する。
【背景技術】
【０００２】
画像分割は、通常、画像のオブジェクト領域を画像の背景領域から分離することを伴う。
しきい値処理プロセス、領域成長プロセス、及び流域変換ベースの画像分割プロセスを含む、画像を分割するための多くの異なる手法が提案されてきた。
このようなプロセスの分割結果は、オブジェクト記述又はオブジェクト認識のためのオブジェクト抽出を含む多種多様な異なるアプリケーションに使用することができる。
一般に、ノイズは、画像分割プロセスがオブジェクトを背景領域から分割できる正確度を低減させる。
【０００３】
カメラを装備したハンドヘルドデバイス（例えば、デジタルカメラ、携帯電話、及び個人情報端末）によってキャプチャされるデジタル画像におけるテキストのようなオブジェクトは、多くの場合、不均一な照明及びブラーによって劣化する。
これらのアーティファクトの存在によって、再現されたデジタル画像の全体的な外観品質は大幅に劣化する。
加えて、このような劣化は、ＯＣＲ（光学式文字認識）の正確度に悪影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
必要とされているものは、テキストフォントサイズ、ブラーレベル、及びノイズに対してロバストな方法で文書画像の分割及び強調が可能である装置及び方法である。
【課題を解決するための手段】
【０００５】
一態様によれば、所与の画像のそれぞれのピクセルにおいて求められる勾配規模値（gradient magnitude value）に従う方法を特徴とする。
勾配規模値をグローバルしきい値を用いてしきい値処理して、しきい値処理された勾配規模値を作成する。
しきい値処理された規模値の流域変換に従ってピクセルをそれぞれのグループに分割する。
分類レコードを生成する。
該分類レコードは、ピクセルの中で、サイズが最大であると判断されるグループの１つに分割されたピクセルを背景ピクセルとしてラベル付けし、ピクセルの中で、最大のグループ以外のグループのいずれかに分割されたピクセルを非背景ピクセルとしてラベル付けする。
【０００６】
本発明は、装置、及び上述した方法をマシンに実施させるマシン可読命令を記憶するマシン可読媒体も特徴とする。
【０００７】
本発明の他の特徴及び利点は、図面及び特許請求の範囲を含む以下の説明から明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】画像処理システムの一実施形態のブロック図である。
【図２】不均一に照明されたテキストの画像の一例の図である。
【図３】画像処理方法の一実施形態のフロー図である。
【図４】図３の方法の一実施形態に従って図２の画像から導出された勾配規模値から成る画像の一例の図である。
【図５Ａ】例示的な一画像のそれぞれのピクセルにおける考案された勾配規模値の配列の概略図である。
【図５Ｂ】流域変換ベースの画像分割プロセスに従って図５Ａに示す画像のピクセルに割り当てられたラベルの配列の概略図である。
【図６Ａ】テキストを含む画像の一例の図である。
【図６Ｂ】図３に示す方法における分割プロセスの一実施形態に従って図６Ａの画像のピクセルに割り当てられた異なるラベルを示すグレースケール画像の図である。
【図６Ｃ】図３に示す方法における分類レコード生成プロセスの一実施形態に従って図６Ｂのグレースケール画像から生成されたバイナリ分割マップの形態の分類レコードの一例の図である。
【図７】黒ピクセルが図２の画像において検出されたオブジェクトピクセルを表し、白ピクセルが図２の画像において検出された背景ピクセルを表すバイナリ分割マップの形態の分類レコードの一例の図である。
【図８】図１に示す画像処理システムの一実施形態のブロック図である。
【図９】本発明の一実施形態に従って図２の画像のピクセルについて推定された照度値（illuminant value）から成る画像の一例の図である。
【図１０】本発明の一実施形態に従って図９に示す照度値に基づき図２の画像から導出された照明補正された画像の一例の図である。
【図１１】本発明の一実施形態に従って図１０の画像から導出されたシャープ化された画像の一例の図である。
【図１２】図１の画像処理システムの一実施形態を組み込んでいる装置の一実施形態のブロック図である。
【図１３】図１の画像処理システムの一実施形態を組み込んでいる装置の一実施形態のブロック図である。
【発明を実施するための形態】
【０００９】
以下の説明では、同様の要素を識別するのに同様の参照符号が使用される。
さらに、図面は、例示的な実施形態の主要な特徴を概略的に示すことを意図している。
図面は、実際の実施形態のすべての特徴を示すことも、示された要素の相対的な寸法を示すことも意図しておらず、一律の縮尺で描かれていない。
【００１０】
Ｉ．序論
下記で詳細に説明する実施形態は、ブラーレベル及びノイズに対してロバストな方法で画像の分割及び強調を行うことができる。
これらの実施形態は、特に、テキストを含む画像について、改善されたノイズ耐性を有する結果を達成するように、流域変換ベースの画像分割の前にグローバルしきい値処理を組み込んでいる。
このグローバルしきい値処理によって、流域変換ベースの画像分割を行う前に、画像内のノイズ構造が除去又は破壊される。
いくつかの実施形態は、分割結果を使用して、非均一な照明に対する補正、対象オブジェクト領域の暗化（darkening）、及び対象オブジェクト領域のシャープ化を含むさまざまな方法で文書画像を強調する。
これらの実施形態の実施態様は、特に、テキストフォントサイズ、ブラーレベル、及びノイズに対してロバストな方法でテキストを強調するのに有用である。
【００１１】
ＩＩ．概観
図１は、前処理モジュール１２及び分割モジュール１４を含む画像処理システム１０の一実施形態を示す。
この画像処理システムは、画像１６から、画像１６のピクセルを背景ピクセルとして又は非背景ピクセルとしてのいずれかでラベル付けする分類レコード１８を作成する。
このプロセスでは、前処理モジュール１２は、画像１６を処理して、中間画像２０を作成する。
中間画像２０は、分割モジュール１４が画像１６において対象オブジェクト領域を背景領域と区別できる正確度を改善する特性を有する。
【００１２】
画像１６は、画像センサ（例えば、デジタルビデオカメラ、デジタル静止画像カメラ、若しくは光スキャナ）によってキャプチャされた原画像（例えば、ビデオキーフレーム、静止画像、若しくはスキャン画像）又はこのような原画像の処理（例えば、サブサンプリング、フィルタリング、再フォーマット、強調、若しくはそれ以外で変更）されたバージョンを含む任意のタイプのデジタル画像に対応することができる。
図２は、不均一に照明されたテキストを含む画像１６の一例２２を示す。
以下の詳細な説明では、本発明の１つ又は複数の実施形態の１つ又は複数の態様を説明するために、例示的な画像２２及び例示的な画像２２から導出されるさまざまな画像データが例示的な目的でのみ使用される。
【００１３】
一般に、分類レコード１８は、画像強調、オブジェクト検出、オブジェクト追跡、オブジェクト記述、及びオブジェクト認識を含む多種多様な異なる目的に使用することができる。
下記で詳細に説明する本発明の実施形態のいくつかは、分類レコード１８を使用して、画像１６に対する以下の画像強調操作、すなわち不均一な照明の効果の削減、テキストのようなオブジェクトの暗化及びシャープ化、のうちの１つ又は複数を実行する。
【００１４】
ＩＩＩ．背景領域及び対象オブジェクト領域への画像の分割
Ａ．概観
図３は、画像処理システム１０によって実施される方法の一実施形態を示す。
この方法によれば、前処理モジュール１２は、画像１６のそれぞれのピクセルにおける勾配規模値を求める（図３、ブロック２４）。
前処理モジュール１２は、勾配規模値をグローバルしきい値を用いてしきい値処理して、しきい値処理された勾配規模値を作成する（図３、ブロック２６）。
分割モジュール１４は、しきい値処理された勾配規模値の流域変換に従って画像１６のピクセルをグループに分割する（図３、ブロック２８）。
分割モジュール１４は分類レコード１８を生成する。
分類レコード１８は、ピクセルの中で、サイズが最大であると判断されるグループの１つに分割されたピクセルを背景ピクセルとしてラベル付けし、ピクセルの中で、最大のグループ以外のグループのいずれかに分割されたピクセルを非背景ピクセルとしてラベル付けする（図３、ブロック３０）。
【００１５】
Ｂ．勾配規模値の求値
上記で説明したように、前処理モジュール１２は、画像１６のそれぞれのピクセルにおける勾配規模値を求める（図３、ブロック２４）。
いくつかの実施形態では、前処理モジュール１２は、勾配規模値を求める前に画像１６のピクセル値のノイズを除去する。
この目的のために、ガウス平滑化フィルタ及びバイラテラル平滑化フィルタを含む任意のタイプのノイズ除去フィルタを使用することができる。
他の実施形態では、前処理モジュール１２は、画像１６のピクセル値から勾配規模値を直接求める。
【００１６】
一般に、前処理モジュール１２は、任意のタイプの勾配フィルタ又は勾配演算子を使用して、勾配規模値を求めることができる。
画像１６がグレースケール画像である場合、前処理モジュール１２は、例えば基本微分フィルタ、プレヴィット勾配フィルタ、ゾーベル勾配フィルタ、ガウス勾配フィルタ、又は別のタイプの数理形態勾配フィルタ（morphological gradient filter）を使用して勾配規模値を求めることができる。
画像１６がカラー画像である場合、前処理モジュール１２は、画像１６をグレースケール画像に変換し、上記に列挙したタイプの勾配フィルタをグレースケール値に適用して勾配規模を求めることができる。
代替的に、前処理モジュール１２は、カラー画像をＹＣｒＣｂカラー画像に変換し、上記に列挙したタイプの勾配フィルタを輝度（Ｙ）値に適用して勾配規模を求めることができる。
いくつかの実施形態では、前処理モジュール１２は、カラー画像の複数の色空間成分（例えば、赤成分、緑成分、及び青成分）から勾配規模値のそれぞれを計算する。
例えば、これらの実施形態のうちのいくつかでは、前処理モジュール１２は、Silvano DiZenzo著「A Note on the Gradient of a Multi-Image」, Computer Vision, Graphics, and Image Processing, vol. 33, pages 116-125 (1986)に記載されている色勾配演算子に従ってカラー画像における色勾配の規模を求める。
図４は、このような色勾配演算子に従って画像２２（図２参照）のカラーバージョンから導出された色勾配規模値から成る画像３２の一例を示す。
【００１７】
Ｃ．勾配規模値のグローバルしきい値処理
上記で説明したように、前処理モジュール１２は、勾配規模値をグローバルしきい値を用いてしきい値処理して、しきい値処理された勾配規模値を作成する（図３、ブロック２６）。
このグローバルしきい値処理プロセスによって、流域変換ベースの画像分割を行う前に画像のノイズ構造が除去又は破壊される。
このように、このようなノイズ構造に起因した過分割の結果及び不正確な分割の結果の問題を削減することができる。
前処理モジュール１２は、通常、経験的に求められるグローバルしきい値を使用して、勾配規模値をしきい値処理する。
いくつかの実施形態では、前処理モジュール１２は、式（１）に従って求められるグローバルしきい値（τＧＬＯＢＡＬ）を用いて勾配規模値をしきい値処理する。
【００１８】
【数１】
2010525486.tif 000003
【００１９】
ここで、ｋは実数であり、ｇＭＡＸは最大勾配規模値であり、τＭＩＮは、経験的に求められる最小グローバルしきい値である。
例示的な一実施形態では、勾配規模値の範囲は、０から２５５までであり、ｋ＝０．１であり、τＭＩＮ＝５である。
【００２０】
結果のしきい値処理された勾配規模値は、中間画像２０（図１参照）に対応し、分割処理のために分割モジュール１４に渡される。
【００２１】
Ｄ．しきい値処理された勾配規模値の分割
上記で説明したように、分割モジュール１４は、しきい値処理された勾配規模値の流域変換に従って、画像１６のピクセルをグループに分割する（図３、ブロック２８）。
【００２２】
勾配規模値の流域変換を計算する過程で、分割モジュール１４は、しきい値処理された規模値のベイシン（basin：バシン）及び流域を識別し、識別されたベイシンのピクセルに対応するピクセルに、それぞれのベイシンラベルを割り当て、流域に対応するピクセルに、固有の共有ラベルを割り当て、割り当てられたラベルに対して連結成分解析を行う。
分割モジュール１４は、多種多様な異なる方法のうちの任意の１つに従って流域変換を計算することができる。
いくつかの実施形態では、最初にベイシンが見つけられ、流域は、補集合を取ることによって見つけることができるのに対して、他の実施形態では、画像がベイシンに完全に区画され、流域は、境界検出によって見つけることができる（例えば、J. B. T. M. Roerdink他著「The Watershed Transform: Definitions, Algorithms and Parallelization Strategies」, Fundamenta Informaticae, vol. 41, pages 187-228 (2001)を参照）。
いくつかの実施形態では、分割モジュール１４は、Luc Vincent他著「Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations」, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, no. 6 (June 1991)に記載された流域計算方法に従って、しきい値処理された勾配規模値の流域変換を計算する。
【００２３】
一般に、分割モジュール１４は、割り当てられたラベルに対して、多種多様な異なる連結成分解析のうちの任意の１つを行うことができる。
例えば、或る連結成分ラベル付け手法では、連結されたピクセル領域（すなわち、同じラベルを割り当てられている隣接したピクセルの領域である「ブロブ」）を識別するために、ピクセルに割り当てられたラベルがピクセルごとに検査される。
各所与のピクセルについて、その所与のピクセルに割り当てられたラベルは、近傍のピクセルに割り当てられたラベルと比較される。
所与のピクセルに割り当てられたラベルは、近傍のピクセルに割り当てられたラベルに基づいて変更されるか又は変更されない。
検査される近傍ピクセルの個数、及び当初割り当てられたラベルを維持するのか又は所与のピクセルを再分類するのかを判断するためのルールは、使用されている連結の度合い（例えば、４連結又は８連結）に依存する。
【００２４】
図５Ａは、例示的な一画像のそれぞれのピクセルにおける考案された勾配規模値の配列３４の概略図を示す。
図５Ｂは、流域変換ベースの画像分割プロセス及び４連結に基づく連結成分再ラベル付けプロセスに従って図５Ｂに示す画像のピクセルに割り当てられたラベルの配列の概略図を示す。
図５Ｂにおいて、ラベルＢ１及びＢ２はそれぞれのベイシンを識別し、ラベルＷは配列３４で検出された流域ピクセルを識別する。
【００２５】
図６Ａは、テキスト（すなわち、単語「advantage」）を含む画像３６の一例を示し、図６Ｂは、図３のブロック２８の分割プロセスの一実施形態に従って画像３６のピクセルに割り当てられた結果の（番号付けされた）ラベルのグレースケール画像３８を示す。
【００２６】
いくつかの実施形態では、ピクセル連結解析が行われた後、流域ピクセルは、最大のラベル番号を有する近傍領域とマージされて、画像１６のピクセルを最終の一組の識別されたグループに分割したものが作成される。
【００２７】
Ｅ．分類レコードの生成
上記で説明したように、分割モジュール１４は、分類レコード１８を生成する。
分類レコード１８は、ピクセルの中で、サイズが最大であると判断される識別されたグループの１つに分割されたピクセルを背景ピクセルとしてラベル付けし、ピクセルの中で、最大のグループ以外の識別されたグループのいずれかに分割されたピクセルを非背景ピクセルとしてラベル付けする（図３、ブロック３０）。
最大のグループは、さまざまな異なる方法で識別することができる。
いくつかの実施形態では、最大のグループは、最大数のピクセルを有するグループを選択することによって決定される。
【００２８】
いくつかの実施形態では、分割モジュール１４は、最大のグループに分割されたピクセルのそれぞれについて、第１のバイナリ値（例えば、「１」、すなわち「白」）を分類レコード１８に記録し、最大のグループ以外のグループのいずれかに分割されたピクセルのそれぞれについて、第２のバイナリ値（例えば、「０」、すなわち「黒」）を分類レコード１８に記録する。
例えば、図６Ｃは、画像３６（図６Ａ参照）について生成された分類レコードの一例を、図３のブロック３０の分類レコード生成プロセスの一実施形態に従ってグレースケール画像３８（図６Ｂ参照）から生成されたバイナリ分割マップ４０の形態で示す。
バイナリ分割マップ４０では、黒ピクセルは、画像３６（図６Ａ参照）内で検出されたオブジェクトピクセルを表し、白ピクセルは、画像３６内で検出された背景ピクセルを表す。
【００２９】
図６Ｂを再び参照して、図３のブロック２８において行われた流域変換ベースの分割は、画像２２、３６に現れるテキスト文字を過分割する傾向がある。
しかしながら、図６Ｃに示すように、これらの画像２２、３６の背景ピクセルは、このような過分割にもかかわらず、流域変換分割プロセスによって割り当てられたピクセルラベルにおける最大の連結成分として容易に識別することができる。
【００３０】
図７は、画像２２（図２参照）について生成された分類レコードの図的表現の一例を、黒ピクセルが画像２２で検出されたオブジェクトピクセルを表し、白ピクセルが画像２２で検出された背景ピクセルを表すバイナリ分割マップ４２の形態で示す。
【００３１】
ＩＶ．画像に関連付けられる分類レコードに基づく画像の強調
Ａ．概観
上記で説明したように、分類レコード１８は、画像強調、オブジェクト検出、オブジェクト追跡、オブジェクト記述、及びオブジェクト認識を含む多種多様な異なる目的に使用することができる。
【００３２】
図８は、画像強調モジュール４６を追加として含む画像処理システム１０の一実施形態４４を示す。
いくつかの実施形態では、画像強調モジュール４６は、分類レコード１８に基づく画像１６に対する以下の画像強調操作、すなわち、不均一な照明の効果の削減、対象オブジェクト領域の暗化、及び対象オブジェクト領域のシャープ化、のうちの１つ又は複数を行うことによって強調画像４８を作成する。
【００３３】
Ｂ．照明に対する補正
いくつかの実施形態では、画像強調モジュール４６は、画像１６内の不均一な照明を補正することによって強調画像４８を作成するように動作可能である。
【００３４】
いくつかの実施形態では、照明に対する補正は、以下の画像形成モデルに基づく。
【００３５】
【数２】
2010525486.tif 000004
【００３６】
ここで、Ｉ（ｘ，ｙ）は、画像１６のピクセル（ｘ，ｙ）における測定された強度値であり、Ｒ（ｘ，ｙ）は、画像１６のピクセル（ｘ，ｙ）における表面反射率値であり、Ｌ（ｘ，ｙ）は、画像１６のピクセル（ｘ，ｙ）における照度値である。
【００３７】
このモデルによれば、（分類レコード１８によって示されるような）背景ピクセルの照度値は、ピクセルの輝度値に比例するものと仮定される。
画像１６がグレースケール画像である場合、背景ピクセルに対する推定照度値
【００３８】
【数３】
2010525486.tif 000005
【００３９】
は、背景ピクセル（ｘ，ｙ）のグレースケール値である。
画像１６がカラー画像である場合、背景ピクセルに対する推定照度値
【００４０】
【数４】
2010525486.tif 000006
【００４１】
は、例えば、画像１６をグレースケール色空間又はＹＣｒＣｂ色空間に変換して、推定照度値
【００４２】
【数５】
2010525486.tif 000007
【００４３】
を変換された画像における背景ピクセル（ｘ，ｙ）のグレースケール値又は輝度値（Ｙ）に設定することによって得られる。
非背景ピクセルに対する照度値は、補間方法及び画像修復方法の使用を含むさまざまな異なる方法で、近傍背景ピクセルの推定照度値から推定することができる。
【００４４】
図９は、上述した方法に従って画像２２（図２参照）のピクセルについて推定された照度値から成る画像５０の一例を示す。
【００４５】
いくつかの実施形態では、強調画像４８の照明補正されたピクセル値Ｅ（ｘ，ｙ）は、式（３）に従って推定された照度値から求められるそれぞれのトーン値に対する、画像１６のピクセル値の空間的に対応するピクセル値の比から推定される。
【００４６】
【数６】
2010525486.tif 000008
【００４７】
ここで、ｓはスケール係数であり、Ｉ（ｘ，ｙ）は画像１６におけるピクセル（ｘ，ｙ）の値であり、
【００４８】
【数７】
2010525486.tif 000009
【００４９】
は、ピクセル（ｘ，ｙ）について推定された照度値であり、
【００５０】
【数８】
2010525486.tif 000010
【００５１】
は、推定された照度値をそれぞれのトーン値にマッピングする関数である。
ピクセル値が０から２５５まで変動する例示的な一実施形態では、スケール係数ｓは２５５に設定される。
関数
【００５２】
【数９】
2010525486.tif 000011
【００５３】
に対応するトーンマッピングは、通常、ルックアップテーブル（ＬＵＴ）内に記憶される。
【００５４】
いくつかの実施形態では、トーンマッピング関数
【００５５】
【数１０】
2010525486.tif 000012
【００５６】
は、推定された照度値をそれ自体にマッピングする（すなわち、
【００５７】
【数１１】
2010525486.tif 000013
【００５８】
）。
これらの実施形態では、結果の強調画像４８は、原画像１６の照明補正されたバージョンに対応する。
他の実施形態では、トーンマッピング関数
【００５９】
【数１２】
2010525486.tif 000014
【００６０】
は、下記で詳細に説明するような少なくとも１つの他の画像強調（例えば、選択的な暗化及び選択的なシャープ化）を含む。
【００６１】
Ｃ．選択的な暗化
いくつかの実施形態では、トーンマッピング関数は、分類レコード１８内で識別されるオブジェクト領域（すなわち、非背景領域）に適用されるアンシャープマスキングのようなコントラスト強調を組み込んでいる。
これらの実施形態のいくつかでは、オブジェクト領域ピクセルに使用されるトーンマッピング関数は、以下のような式（４）に定義される。
【００６２】
【数１３】
2010525486.tif 000015
【００６３】
ここで、８ビット画像の場合にｓ＝２５５であり、ｂ＝ｔγ（１−ｔ）１−γであり、
【００６４】
【数１４】
2010525486.tif 000016
【００６５】
は、画像の正規化された平均輝度値である。
これらの実施形態では、対応する推定された照度値が照度しきい値未満であるとの判断に応じて、画像強調モジュール４６は、強調画像のピクセル値を、所与の画像のピクセル値の空間的に対応するピクセル値よりも暗く設定する。
加えて、対応する推定された照度値が照度しきい値よりも大きいとの判断に応じて、画像強調モジュール４６は、強調画像のピクセル値を、所与の画像のピクセル値の空間的に対応するピクセル値よりも明るく設定する。
【００６６】
これらの実施形態のうちの他の実施形態では、非背景（すなわち、オブジェクト領域）ピクセルに使用されるトーンマッピング関数は、以下のような式（５）に定義される。
【００６７】
【数１５】
2010525486.tif 000017
【００６８】
図１０は、図９に示す照度値に基づく画像２２（図２）及び式（４）に定義されるトーンマッピング関数から導出される照明補正された画像５２の一例を示す。
【００６９】
Ｄ．選択的なシャープ化
いくつかの実施形態では、選択的なシャープ化は、分類レコード１８内で識別される対象オブジェクト領域（例えば、テキスト領域）にアンシャープマスキングを選択的に適用することによって達成される。
これらの実施形態のいくつかでは、強調画像４８のオブジェクト領域のピクセル値（ＥＯＢＪＥＣＴ（ｘ，ｙ））は、式（６）に定義される選択フィルタによって計算される。
この式（６）は、式（３）に定義される照明補正フィルタにアンシャープマスキング要素を組み込んでいる。
【００７０】
【数１６】
2010525486.tif 000018
【００７１】
ここで、αは、シャープ化の量を規定する経験的に求められるパラメータ値である。
【００７２】
いくつかの実施形態では、強調画像４８のオブジェクト領域のピクセル値（Ｅ' ＯＢＪＥＣＴ（ｘ，ｙ））は、式（６）に定義される選択的シャープ化フィルタによって生成されたピクセル値（ＥＯＢＪＥＣＴ（ｘ，ｙ））に、式（７）に定義される選択フィルタを適用することによって計算される。
【００７３】
【数１７】
2010525486.tif 000019
【００７４】
ここで、Ｇ［］は、ガウス平滑化フィルタを表し、パラメータβは、シャープ化の量を表す。
いくつかの実施形態では、ガウスカーネルのサイズ（ｗ）及びシャープ化の量βは、それぞれ式（８）及び（９）から求められる。
【００７５】
【数１８】
2010525486.tif 000020
【００７６】
ここで、［ｗｍｉｎ，ｗｍａｘ］は、ウィンドウサイズの経験的に求められるパラメータ値範囲であり、［βｍｉｎ，βｍａｘ］は、シャープ化の量の経験的に求められるパラメータ値範囲であり、［ｇＬ，ｇＨ］は、シャープネスの低いしきい値及び高いしきい値であり、ｇｍａｘは、図３に示す方法においてブロック２４で求められる最大勾配規模値である。
いくつかの実施形態では、式（７）のガウス平滑化フィルタＧ［］は、異なるタイプの平滑化フィルタ（例えば、平均フィルタ）に取り替えることができる。
【００７７】
図１１は、式（６）〜（９）に定義される選択的シャープ化方法に従って画像５２（図１０参照）から導出された選択的にシャープ化された画像５４の一例を示す。
【００７８】
Ｖ．画像処理システムの例示的なアーキテクチャ
Ａ．概観
画像処理システム１０の実施形態（図８に示す実施形態４４を含む）は、いかなる特定のハードウェア構成にもファームウェア構成にもソフトウェア構成にも限定されない１つ又は複数の離散モジュール（又はデータ処理コンポーネント）によって実施することができる。
図示される実施形態では、これらのモジュールは、デジタル電子回路機構（例えば、デジタル信号プロセッサ（ＤＳＰ）のような特定用途向け集積回路）又はコンピュータハードウェア、ファームウェア、デバイスドライバ、若しくはソフトウェアを含む任意のコンピューティング環境又はデータ処理環境内で実施することができる。
いくつかの実施形態では、これらのモジュールの機能は、単一のデータ処理コンポーネントに結合される。
いくつかの実施形態では、これらのモジュールのうちの１つ又は複数のそれぞれの各機能は、それぞれの一組の複数のデータ処理コンポーネントによって実行される。
【００７９】
いくつかの実施態様では、画像処理システム１０の実施形態によって実行される方法を実施するためのプロセス命令（例えば、コンピュータソフトウェアのようなマシン可読コード）は、そのプロセス命令が生成するデータと共に、１つ又は複数のマシン可読媒体内に記憶される。
これらの命令及びデータを有形に具現化するのに適した記憶デバイスには、すべての形態の不揮発性コンピュータ可読メモリが含まれる。
これらの不揮発性コンピュータ可読メモリには、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイス、内部ハードディスク及び着脱可能ハードディスクのような磁気ディスク、光磁気ディスク、ＤＶＤ−ＲＯＭ／ＲＡＭ、並びにＣＤ−ＲＯＭ／ＲＡＭが含まれる。
【００８０】
一般に、画像処理システム１０の実施形態は、デスクトップコンピュータ及びワークステーションコンピュータ、ビデオ記録デバイス（例えば、ＶＣＲ及びＤＶＲ）、有料ビデオ番組を復号して再生できるケーブルセットトップボックス又は衛星セットトップボックス、並びにデジタルカメラデバイスを含む多種多様な電子デバイスのうちの任意の１つにおいて実施することができる。
画像処理システム１０が処理資源及びメモリ資源を効率的に使用するために、画像処理システム１０のいくつかの実施形態は、適度な処理能力及び適度なメモリ容量を有する比較的小型で安価なコンポーネントを用いて実施することができる。
その結果、これらの実施形態は、重要なサイズ制約条件、処理制約条件、及びメモリ制約条件を有するコンパクトカメラ環境に組み込むのに非常に適している。
このコンパクトカメラ環境には、ハンドヘルド電子デバイス（例えば、移動電話、コードレス電話、スマートカードのようなポータブルメモリデバイス、個人情報端末（ＰＤＡ）、ソリッドステートデジタルオーディオプレイヤ、ＣＤプレイヤ、ＭＣＤプレイヤ、ゲームコントローラ、ページャ、及びミニチュア静止画像カメラ又はミニチュアビデオカメラ）、ＰＣカメラ、並びに他の組み込み環境が含まれるが、これらに限定されるものではない。
【００８１】
Ｂ．第１の例示的な画像処理システムアーキテクチャ
図１２は、本明細書において説明した画像処理システム１０の実施形態のうちの任意のものを組み込んでいるコンピュータシステム６０の一実施形態を示す。
コンピュータシステム６０は、処理ユニット６２（ＣＰＵ）、システムメモリ６４、及び処理ユニット６２をコンピュータシステム６０のさまざまなコンポーネントに接続するシステムバス６６を含む。
処理ユニット６２は、通常、１つ又は複数のプロセッサを含む。
該プロセッサのそれぞれは、さまざまな市販のプロセッサのうちの任意の１つの形態をとることができる。
システムメモリ６４は、通常、読み出し専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）を含む。
ＲＯＭは、コンピュータシステム６０のスタートアップルーチンを含む基本入出力システム（ＢＩＯＳ）を記憶する。
システムバス６６は、メモリバス、周辺バス、又はローカルバスとすることができ、ＰＣＩ、ＶＥＳＡ、マイクロチャネル、ＩＳＡ、及びＥＩＳＡを含むさまざまなバスプロトコルのうちの任意のものと互換性を有することができる。
コンピュータシステム６０は、永続的記憶メモリ６８（例えば、ハードドライブ、フロッピー（登録商標）ドライブ、ＣＤ  ＲＯＭドライブ、磁気テープドライブ、フラッシュメモリデバイス、及びデジタルビデオディスク）も含む。
この永続的記憶メモリ６８は、システムバス６６に接続され、データ、データ構造体、及びコンピュータ実行可能命令の不揮発性ストレージ又は永続的ストレージを提供する１つ又は複数のコンピュータ可読媒体ディスクを含む。
【００８２】
ユーザは、１つ又は複数の入力デバイス１５０（例えば、キーボード、コンピュータマウス、マイクロホン、ジョイスティック、及びタッチパッド）を使用してコンピュータ６０と対話する（例えば、コマンド又はデータを入力する）ことができる。
情報は、表示モニタ７２上でユーザに表示されるグラフィカルユーザインターフェース（ＧＵＩ）を通じて提示することができる。
表示モニタ７２は、表示コントローラ７４によって制御される。
コンピュータシステム６０は、通常、スピーカ及びプリンタのような周辺出力デバイスも含む。
１つ又は複数のリモートコンピュータをネットワークインターフェースカード（ＮＩＣ）７６を通じてコンピュータシステム１４０に接続することができる。
【００８３】
図１２に示すように、システムメモリ６４は、画像処理システム１０、ＧＵＩドライバ７８、及びデータベース８０も記憶する。
データベース８０は、画像１６及び強調画像４８に対応する画像ファイル、中間処理データ、並びに出力データを含む。
いくつかの実施形態では、画像処理システム１０は、ＧＵＩドライバ７８及びユーザ入力７０とインターフェースして、分類レコード１８及び強調画像４８の作成を制御する。
いくつかの実施形態では、コンピュータシステム６０は、グラフィックスアプリケーションプログラムを追加的に含む。
このグラフィックスアプリケーションプログラムは、表示モニタ７２上に画像データをレンダリングすると共に、画像１６、４８に対してさまざまな画像処理操作を行うように構成される。
【００８４】
Ｃ．第２の例示的な画像処理システムアーキテクチャ
図１３は、本明細書において説明する画像処理システム１０の実施形態のうちの任意のものを組み込んでいるデジタルカメラシステム８２の一実施形態を示す。
デジタルカメラシステム８２は、静止画像及びビデオ画像フレームの一方又は双方をキャプチャするように構成することができる。
デジタルカメラシステム８２は、画像センサ８４（例えば、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ）、センサコントローラ８６、メモリ８８、フレームバッファ９０、マイクロプロセッサ９２、ＡＳＩＣ（特定用途向け集積回路）９４、ＤＳＰ（デジタル信号プロセッサ）９６、Ｉ／Ｏ（入出力）アダプタ９８、及び記憶媒体１００を含む。
一般に、画像処理システム１０は、ハードウェアコンポーネント及びファームウェアコンポーネントのうちの１つ又は複数によって実施することができる。
図示される実施形態では、画像処理システム１０は、ファームウェアにおいて実施される。
このファームウェアはメモリ８８にロードされる。
記憶媒体１００は、コンパクトフラッシュ（登録商標）メモリカード及びデジタルビデオテープカセットを含む任意のタイプの画像記憶技術によって実施することができる。
記憶媒体１００内に記憶されている画像データは、Ｉ／Ｏサブシステム９８を介して外部処理システム（例えば、コンピュータ又はワークステーション）の記憶デバイス（例えば、ハードディスクドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、又は不揮発性データ記憶デバイス）へ転送することができる。
【００８５】
マイクロプロセッサ９２は、デジタルカメラシステム８２の動作を演出する。
いくつかの実施形態では、マイクロプロセッサ９２は、キャプチャ画像のうちの１つ又は複数について、それぞれの分類レコード１８が計算される動作モードを用いてプログラミングされる。
いくつかの実施形態では、それぞれの強調画像４８は、キャプチャ画像のうちの１つ又は複数について、それらの対応する分類レコード１８に基づき計算される。
【００８６】
ＶＩ．結論
本明細書において詳細に説明した実施の形態は、ノイズに対してロバストな方法で画像の分割及び強調が可能である。
これらの実施形態は、特に、テキストを含む画像について、改善されたノイズ耐性を有する結果を達成する方法で、流域変換ベースの画像分割の前にグローバルしきい値処理を組み込んでいる。
このグローバルしきい値処理によって、流域変換ベースの画像分割を行う前に、画像内のノイズ構造が除去又は破壊される。
また、これらの実施形態は、独特の背景分割方法も流域変換ベースの分割結果に適用する。
この独特の背景分割方法によって、処理資源及びメモリ資源に大きな負担を課すことなく、テキストを含む画像の背景領域を効率的に分割することが可能になる。
いくつかの実施形態は、改善された分割結果を使用して、不均一な照明に対する補正、対象オブジェクト領域の暗化、及び対象オブジェクト領域のシャープ化を含むさまざまな方法で画像を強調する。
改善された分割結果は、対象オブジェクト領域に対するこのような強調の局所化を改善するだけでなく、このような強調を実施するのに使用されるパラメータ値の品質も改善する。
【００８７】
他の実施形態は、特許請求の範囲の範囲内にある。
【符号の説明】
【００８８】
１０・・・画像処理システム，
１２・・・前処理モジュール，
１４・・・分割モジュール，
２０・・・中間画像，
４８・・・強調画像，
６０・・・コンピュータシステム，
６２・・・ＣＰＵ，
６４・・・システムメモリ，
６６・・・システムバス，
６８・・・永続的記憶メモリ，
７０・・・ユーザ入力，
７２・・・表示モニタ，
７４・・・表示コントローラ，
７６・・・ＮＩＣ，
７８・・・ＧＵＩドライバ，
８０・・・画像ファイル，中間データ及び出力データ，
８２・・・デジタルカメラシステム，
８４・・・画像センサ，
８６・・・センサコントローラ，
８８・・・メモリ，
９０・・・フレームバッファ，
９２・・・マイクロプロセッサ，
９４・・・ＡＳＩＣ，
９６・・・ＤＳＰ，
９８・・・Ｉ／Ｏ，
１００・・・記憶媒体
【図１】
2010525486.tif 000021
【図２】
2010525486.tif 000022
【図３】
2010525486.tif 000023
【図４】
2010525486.tif 000024
【図５Ａ】
2010525486.tif 000025
【図５Ｂ】
2010525486.tif 000026
【図６Ｂ】
2010525486.tif 000027
【図６Ｃ】
2010525486.tif 000028
【図７】
2010525486.tif 000029
【図８】
2010525486.tif 000030
【図１１】
2010525486.tif 000031
【図１２】
2010525486.tif 000032
【図１３】
2010525486.tif 000033
【図６Ａ】
2010525486.tif 000034
【図９】
2010525486.tif 000035
【図１０】
2010525486.tif 000036
【国際調査報告】
2010525486.tif 000037