(57)【要約】      （修正有）【課題】画像のコントラストを強調する適応ヒストグラム等化方法、適応ヒストグラム等化装置及びコンピュータプログラム製品を提供する。特に、適応ヒストグラム等化によってフェージングアーチファクト及びオブジェクト拡大アーチファクトが生じることを防止する技術を提供する。【解決手段】適応ヒストグラム等化方法は、デジタル画像のコントラストを強調する適応ヒストグラム等化方法において、画像を画素の領域に分割し、画像において、所定の強度のローカル画素値の差分の構造を判定するステップと、各領域について、ローカル画素値の差分の判定された構造に基づいて、画素値のヒストグラムを生成するステップと、領域に対応するヒストグラムに基づいて、各領域の画素値をマッピングするステップとを有する。【選択図】図３
2009010636.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像のコントラストを強調する適応ヒストグラム等化方法において、
画像を画素の領域に分割し、該画像において、所定の強度のローカル画素値の差分の構造を判定するステップと、
各領域について、上記ローカル画素値の差分の判定された構造に基づいて、画素値のヒストグラムを生成するステップと、
上記領域に対応するヒストグラムに基づいて、各領域の画素値をマッピングするステップとを有する適応ヒストグラム等化方法。
【請求項２】
上記ローカル画素値の差分の判定された構造を有する各領域について、第１の側と、該判定された構造に関して該第１の側の反対の第２の側とを定義することを特徴とする請求項１記載の適応ヒストグラム等化方法。
【請求項３】
上記ローカル画素値の差分の判定された構造を有する領域について、上記ヒストグラムは、上記判定された構造の上記第１の側に位置している画素の画素値から生成されることを特徴とする請求項２記載の適応ヒストグラム等化方法。
【請求項４】
上記ローカル画素値の差分の判定された構造を有する領域について、該構造の上記第２の側に位置する画素の数によってヒストグラムを変更し、上記第２の側に位置する画素数が多いほど、上記ヒストグラムを生成するステップによって生成されるヒストグラムのバランス又は分布の均一の度合いが高いことを特徴とする請求項２又は３記載の適応ヒストグラム等化方法。
【請求項５】
上記第２の側に位置する画素は、上記ヒストグラムにおいて、該画素の一部が最小値を有し、他の部分が最大値を有するかのようにみなされることを特徴とする請求項４記載の適応ヒストグラム等化方法。
【請求項６】
上記ヒストグラムを平準化するステップを更に有し、又は上記画素値をマッピングするステップにおいて、上記ヒストグラムから得られた平準化関数を直接又は間接的に用いることを特徴とする請求項１乃至５いずれか１項記載の適応ヒストグラム等化方法。
【請求項７】
ローカル画素値の差分の判定された構造を有さない領域では、上記ヒストグラムは、該領域内の全ての画素の画素値から生成されることを特徴とする請求項１乃至６いずれか１項記載の適応ヒストグラム等化方法。
【請求項８】
ソーベル演算子を含むエッジ検出法を用いて、所定の強度を有する上記ローカル画素値の差分の構造を判定することを特徴とする請求項１乃至７いずれか１項記載の適応ヒストグラム等化方法。
【請求項９】
上記エッジ検出法によって判定された単一の疎らに分散されたエッジ点が削除され、及び／又は不連続なエッジが形態学的フィルタによって連結されることを特徴とする請求項８記載の適応ヒストグラム等化方法。
【請求項１０】
肌色の画素を判定し、該肌色の画素を有する領域では、肌色の画素の数によってヒストグラムを変更し、該領域の肌色の画素の数が多いほど、上記ヒストグラムを生成するステップによって生成されるヒストグラムのバランス又は分布の均一の度合いが高いことを特徴とする請求項１乃至９いずれか１項記載の適応ヒストグラム等化方法。
【請求項１１】
上記ヒストグラムは、均一化されることを特徴とする請求項１乃至１０いずれか１項記載の適応ヒストグラム等化方法。
【請求項１２】
上記領域は、重複し、該領域の重複部分に位置する画素の値及び該領域の非重複部分に位置する画素の値は、一回のみマッピングされることを特徴とする請求項１乃至１１いずれか１項記載の適応ヒストグラム等化方法。
【請求項１３】
上記画素値は、ＹＵＶ、ＹＩＱ、ＹＣｂＣｒ又は他の色モデルに基づく画像フォーマットの輝度及び／又は色差又はクロミナンス差分値を含む画素の明度及び／又は色度に関連する値であることを特徴とする請求項１乃至１２いずれか１項記載の適応ヒストグラム等化方法。
【請求項１４】
デジタル画像のコントラストを強調する適応ヒストグラム等化装置（１）において、
画像を画素の領域に分割する領域特定器（２）と、
該画像の所定の強度のローカル画素値の差分の構造を判定する構造判定器（４）と、
各領域について、上記ローカル画素値の差分の判定された構造に基づいて、画素値のヒストグラムを生成するヒストグラム生成器（８）と、
上記領域に対応するヒストグラムに基づいて、各領域の画素値をマッピングするマッピング器（１２）とを備える適応ヒストグラム等化装置（１）。
【請求項１５】
上記ローカル画素値の差分の判定された構造を有する各領域について、第１の側と、該判定された構造に関して該第１の側の反対の第２の側とを定義することを特徴とする請求項１４記載の適応ヒストグラム等化装置（１）。
【請求項１６】
上記ローカル画素値の差分の判定された構造を有する領域について、上記ヒストグラム生成器（８）は、上記判定された構造の上記第１の側に位置している画素の画素値からヒストグラムを生成することを特徴とする請求項１５記載の適応ヒストグラム等化装置（１）。
【請求項１７】
上記ローカル画素値の差分の判定された構造を有する領域について、上記ヒストグラム生成器（８）は、該構造の上記第２の側に位置する画素の数によってヒストグラムを変更し、上記第２の側に位置する画素数が多いほど、上記ヒストグラム生成器（８）によって生成されるヒストグラムのバランス又は分布の均一の度合いが高いことを特徴とする請求項１５又は１６記載の適応ヒストグラム等化装置（１）。
【請求項１８】
上記ヒストグラム生成器（８）は、上記ヒストグラムにおいて、上記第２の側に位置する画素を、該画素の一部が最小値を有し、他の部分が最大値を有するかのようにみなすことを特徴とする請求項１７記載の適応ヒストグラム等化装置（１）。
【請求項１９】
ヒストグラムを平準化するフィルタリング器（１０）を更に備え、又は上記マッピング器（１２）は、上記ヒストグラムから得られた平準化関数を直接又は間接的に用いて画素値をマッピングすることを特徴とする請求項１４乃至１８いずれか１項記載の適応ヒストグラム等化装置（１）。
【請求項２０】
上記ヒストグラム生成器（８）は、ローカル画素値の差分の判定された構造を有さない領域では、該領域内の全ての画素の画素値からヒストグラムを生成することを特徴とする請求項１４乃至１９いずれか１項記載の適応ヒストグラム等化装置（１）。
【請求項２１】
上記構造判定器は、ソーベル演算子を含むエッジ検出法を用いて、所定の強度を有する上記ローカル画素値の差分の構造を判定することを特徴とする請求項１４乃至２０いずれか１項記載の適応ヒストグラム等化装置（１）。
【請求項２２】
上記構造判定器は、上記エッジ検出法によって判定された単一の疎らに分散されたエッジ点を削除し、及び／又は不連続なエッジが形態学的フィルタによって連結することを特徴とする請求項２１記載の適応ヒストグラム等化装置（１）。
【請求項２３】
肌色の画素を判定する肌色検出器を更に備え、該肌色の画素を有する領域では、上記ヒストグラム生成器（８）は、肌色の画素の数によってヒストグラムを変更し、該領域の肌色の画素の数が多いほど、上記ヒストグラム生成器（８）によって生成されるヒストグラムのバランス又は分布の均一の度合いが高いことを特徴とする請求項１４乃至２２いずれか１項記載の適応ヒストグラム等化プロセッサ（１）。
【請求項２４】
上記ヒストグラムは、均一化されることを特徴とする請求項１４乃至２３いずれか１項記載の適応ヒストグラム等化プロセッサ（１）。
【請求項２５】
上記領域は、重複し、上記マッピング器は、該領域の重複部分に位置する画素の値及び該領域の非重複部分に位置する画素の値を一回のみマッピングすることを特徴とする請求項１４乃至２４いずれか１項記載の適応ヒストグラム等化プロセッサ（１）。
【請求項２６】
上記画素値は、ＹＵＶ、ＹＩＱ、ＹＣｂＣｒ又は他の色モデルに基づく画像フォーマットの輝度及び／又は色差又はクロミナンス差分値を含む画素の明度及び／又は色度に関連する値であることを特徴とする請求項１４乃至２５いずれか１項記載の適応ヒストグラム等化プロセッサ（１）。
【請求項２７】
コンピュータ装置によって実行されると、請求項１乃至１３いずれか１項記載の適応ヒストグラム等化方法を実現するプログラム情報を含むソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のコントラストを強調する適応ヒストグラム等化方法、適応ヒストグラム等化装置及びコンピュータプログラム製品に関する。特に、本発明は、適応ヒストグラム等化によってフェージングアーチファクト及びオブジェクト拡大アーチファクトが生じることを防止する技術に関する。
【背景技術】
【０００２】
ヒストグラム等化は、画像のコントラストを改善するために効果的な処理である。ヒストグラム等化は、基本的な原理として、画像における画素の強度のヒストグラムの分布を均等化し、画像のコントラストを改善する。
【０００３】
ヒストグラム等化は、通常、以下のように行われる。まず、画像の各画素の強度値からヒストグラムを生成する。ヒストグラムを生成した後に、ヒストグラムを平準化することによってヒストグラムを処理する。そして、ヒストグラムから累積関数を導出する。これは通常、累積ヒストグラムである。そして、この累積関数からマッピング関数を生成する。ここでは、通常、累積関数の正規化し、オフセットを適用する。そして、マッピング関数に基づき、画素の強度値を新たな値にマッピングする。この処理の結果、ヒストグラムがより均等に分散された、すなわちコントラストが強められた画像が生成される。
【０００４】
この処理は、画像全体に一度に適用してもよく、又は領域又はブロックと呼ばれるサブセクションに分割し、これらのサブセクションに処理を個別に適用してもよい。サブセクションは、重なり合っていてもよい。ヒストグラム等化を全体に適用する手法は、全体的ヒストグラム等化と呼ばれ、ヒストグラム等化をサブセクション毎に適用する手法は、局所的ヒストグラム等化又は適応ヒストグラム等化と呼ばれる。局所的ヒストグラム等化は、局所的な画像特徴に適合し、全体的ヒストグラム等化は、このような局所的特徴に対して、良好に作用しない場合がある。局所的ヒストグラム等化は、全体的ヒストグラム等化に比べて、通常、演算負荷が遙かに大きいが、優れた性能のため、画像コントラストの強調の分野で注目されている。
【０００５】
局所的ヒストグラム等化技術は、例えば、ウィリアム・ケー・プラット（William K. Pratt）による「"Digital Image Processing", 3rd Edition, ISBN 0-471-37407-5, John Wiley & Sons, Inc., 2001」に説明されている。
【０００６】
局所的ヒストグラム等化により、以下のような、目障りなアーチファクトが生じることがある。
【０００７】
ブロッキングアーチファクト：処理済の画像において、ブロック毎の処理のために用いられたブロック構造が視認され、特に、ブロック境界が目立ってしまうアーチファクト。
【０００８】
フェージングアーチファクト：適応ヒストグラム等化の後に画像の幾つかの領域が色褪せてしまうアーチファクト。通常、コントラストが高いオブジェクトの近傍の領域がこのアーチファクトの影響を受ける。人間の視覚は、一般的なオブジェクトに比べて肌色（人間の皮膚の色）のオブジェクトに敏感であり、このアーチファクトは、特に、肌色領域に影響があると、違和感を生じる。
【０００９】
境界スメアアーチファクト（boundary smearing artifact）：コントラストが高いオブジェクト（例えば、暗いオブジェクトと明るいオブジェクト）の境界領域が「滲み（smeared）」又は不鮮明になり、処理前より厚くなるアーチファクト。境界スメアアーチファクトは、また、オブジェクト拡大アーチファクトとも呼ばれる。
【００１０】
総合的な画像コントラスト損失：局所的処理は、全体的なヒストグラム情報を無視するため、全体的なコントラストが低下することがある。例えば、局所的ヒストグラム等化によって、画像の背景が、画像上のターゲットオブジェクトと同じくらい明瞭になることがある。このように背景が強調されることによって、人間の距離感が混乱することがある。
【００１１】
本出願と同じ出願人による欧州特許出願ＥＰ１５１５２７４号には、ブロッキングアーチファクト及び総合的な画像コントラスト損失の問題を解決する技術が開示されている。ブロックのヒストグラムを均等化（homogenize）することによって、すなわち、空間的に隣接するブロックのヒストグラムを重み付けし及び加算することによって、ブロッキングアーチファクト及び総合的な画像コントラスト損失が抑制される。ブロックを重複させる処理によっても、ブロッキングアーチファクト及び総合的な画像コントラスト損失を低減できるが、ヒストグラム等化は、ブロックを重複させる処理より、演算効率が高い。ブロックを重複させる手法と、ヒストグラム等化とを組み合わせて行ってもよい。
【００１２】
本出願と同じ出願人による欧州特許出願ＥＰ１４６５４３６号には、フェージングアーチファクトを解決する技術が開示されている。ＥＰ１４６５４３６号に開示されている手法では、テレビジョン信号等の画像信号の輝度成分からヒストグラムを生成する。そして、画像信号の色差成分を用いて、肌色領域を特定する。そして、検出された肌色領域の画素を用いて、ヒストグラムがより均等に分布するようにヒストグラムを変更し、これにより、ヒストグラム等化によって、人間の肌色領域で信号が全く又は殆ど変化しないようにする。肌色以外の領域の画素は、標準のヒストグラム等化と同様のヒストグラムを生成するために用いられる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、適応ヒストグラム等化によるオブジェクト拡大アーチファクト及びフェージングアーチファクトを低減することができる適応ヒストグラム等化方法及び適応ヒストグラム等化装置を提供することである。
【課題を解決するための手段】
【００１４】
この目的を達成するために、本発明に係る適応ヒストグラム等化方法は、デジタル画像のコントラストを強調する適応ヒストグラム等化方法において、画像を画素の領域に分割し、画像において、所定の強度のローカル画素値の差分の構造を判定するステップと、各領域について、ローカル画素値の差分の判定された構造に基づいて、画素値のヒストグラムを生成するステップと、領域に対応するヒストグラムに基づいて、各領域の画素値をマッピングするステップとを有する。
【００１５】
また、この目的を達成するために、本発明に係る適応ヒストグラム等化装置は、デジタル画像のコントラストを強調する適応ヒストグラム等化装置において、画像を画素の領域に分割する領域特定器と、画像の所定の強度のローカル画素値の差分の構造を判定する構造判定器と、各領域について、ローカル画素値の差分の判定された構造に基づいて、画素値のヒストグラムを生成するヒストグラム生成器と、領域に対応するヒストグラムに基づいて、各領域の画素値をマッピングするマッピング器とを備える。
【００１６】
更に、この目的を達成するために、本発明に係るソフトウェア製品は、コンピュータ装置によって実行されると、上述した適応ヒストグラム等化方法を実現するプログラム情報を含む。
【００１７】
本発明に係る適応ヒストグラム等化装置、適応ヒストグラム等化方法及びソフトウェア製品は、フェージングアーチファクト及び境界スメアアーチファクトを低減する。本発明により、色情報にアクセスする必要なく、肌色領域におけるフェージングアーチファクトが低減され、及び非肌色領域でも、フェージングアーチファクトが軽減される。
【００１８】
適応ヒストグラム等化方法は、好ましくは、以下のように実行される。
【００１９】
好ましくは、ローカル画素値の差分の判定された構造を有する各領域について、第１の側と、判定された構造に関して第１の側の反対の第２の側とを定義する。
【００２０】
ローカル画素値の差分の判定された構造を有する領域について、ヒストグラムは、好ましくは、判定された構造の第１の側に位置している画素の画素値から生成される。
【００２１】
好ましくは、ローカル画素値の差分の判定された構造を有する領域について、構造の第２の側に位置する画素の数によってヒストグラムを変更し、第２の側に位置する画素数が多いほど、ヒストグラムを生成するステップによって生成されるヒストグラムのバランス又は分布の均一の度合いが高い。
【００２２】
第２の側に位置する画素は、好ましくは、ヒストグラムにおいて、画素の一部が最小値を有し、他の部分が最大値を有するかのようにみなされる。
【００２３】
適応ヒストグラム等化方法は、好ましくは、ヒストグラムを平準化するステップを更に有し、又は画素値をマッピングするステップにおいて、ヒストグラムから得られた平準化関数を直接又は間接的に用いる。
【００２４】
ローカル画素値の差分の判定された構造を有さない領域では、ヒストグラムは、好ましくは、領域内の全ての画素の画素値から生成される。
【００２５】
好ましくは、例えば、ソーベル演算子を含むエッジ検出法を用いて、所定の強度を有するローカル画素値の差分の構造を判定する。
【００２６】
好ましくは、エッジ検出法によって判定された単一の疎らに分散されたエッジ点が削除され、及び／又は不連続なエッジが例えば形態学的フィルタによって連結される。
【００２７】
適応ヒストグラム等化方法は、肌色の画素を判定し、肌色の画素を有する領域では、肌色の画素の数によってヒストグラムを変更し、領域の肌色の画素の数が多いほど、ヒストグラムを生成するステップによって生成されるヒストグラムのバランス又は分布の均一の度合いが高い。
【００２８】
ヒストグラムは、好ましくは、均一化される。
【００２９】
領域は、好ましくは、重複し、領域の重複部分に位置する画素の値及び領域の非重複部分に位置する画素の値は、一回のみマッピングされる。
【００３０】
画素値は、好ましくは、ＹＵＶ、ＹＩＱ、ＹＣｂＣｒ又は他の色モデルに基づく画像フォーマットの輝度及び／又は色差又はクロミナンス差分値を含む画素の明度及び／又は色度に関連する値である。
【００３１】
適応ヒストグラム等化装置は、好ましくは、以下のように実現される。
【００３２】
好ましくは、ローカル画素値の差分の判定された構造を有する各領域について、第１の側と、判定された構造に関して第１の側の反対の第２の側とを定義する。
【００３３】
好ましくは、ローカル画素値の差分の判定された構造を有する領域について、ヒストグラム生成器は、判定された構造の第１の側に位置している画素の画素値からヒストグラムを生成する。
【００３４】
ローカル画素値の差分の判定された構造を有する領域について、ヒストグラム生成器は、好ましくは、構造の第２の側に位置する画素の数によってヒストグラムを変更し、第２の側に位置する画素数が多いほど、ヒストグラム生成器によって生成されるヒストグラムのバランス又は分布の均一の度合いが高い。
【００３５】
ヒストグラム生成器は、好ましくは、ヒストグラムにおいて、第２の側に位置する画素を、画素の一部が最小値を有し、他の部分が最大値を有するかのようにみなす。
【００３６】
適応ヒストグラム等化装置は、好ましくは、ヒストグラムを平準化するフィルタリング器を更に備え、又はマッピング器は、ヒストグラムから得られた平準化関数を直接又は間接的に用いて画素値をマッピングする。
【００３７】
ヒストグラム生成器は、好ましくは、ローカル画素値の差分の判定された構造を有さない領域では、領域内の全ての画素の画素値からヒストグラムを生成する。
【００３８】
構造判定器は、好ましくは、ソーベル演算子を含むエッジ検出法を用いて、所定の強度を有するローカル画素値の差分の構造を判定する。
【００３９】
構造判定器は、好ましくは、エッジ検出法によって判定された単一の疎らに分散されたエッジ点を削除し、及び／又は不連続なエッジが形態学的フィルタによって連結する。
【００４０】
適応ヒストグラム等化プロセッサは、好ましくは、肌色の画素を判定する肌色検出器を更に備え、肌色の画素を有する領域では、ヒストグラム生成器は、肌色の画素の数によってヒストグラムを変更し、領域の肌色の画素の数が多いほど、ヒストグラム生成器によって生成されるヒストグラムのバランス又は分布の均一の度合いが高い。
【００４１】
ヒストグラムは、好ましくは、均一化される。
【００４２】
領域は、好ましくは、重複し、マッピング器は、領域の重複部分に位置する画素の値及び領域の非重複部分に位置する画素の値を一回のみマッピングする。
【００４３】
画素値は、好ましくは、ＹＵＶ、ＹＩＱ、ＹＣｂＣｒ又は他の色モデルに基づく画像フォーマットの輝度及び／又は色差又はクロミナンス差分値を含む画素の明度及び／又は色度に関連する値である。
【００４４】
入力画像がデジタル画像であれば、本発明は、最も容易に適用できる。なお、入力画像がデジタル画像でない場合、画像のコントラスト強調処理の前に、画像の形式をアナログフォーマットからデジタルフォーマットに変換する。入力画像は、カラー画像であっても白黒画像であってもよい。入力画像は、単一の画像であってもよく、画像シーケンスであってもよい。換言すれば、本発明は、写真等の静止画像にも、ビデオ画像等の画像シーケンスにも適用できる。例えば、入力画像形式が、画像の画素の明度に関連するデータ、例えば、グレースケール走査画像のグレースケール値を含む場合、又は、例えば、標準のテレビジョン信号のビデオ信号の輝度を示すデータを含む場合、入力画像に本発明を適用することができる。このような明度データは、明度データが使用される前に、例えば、赤／緑／青（ＲＧＢ）色モデルから、それぞれ、ＰＡＬ及びＮＴＳＣ及び「テレビジョン標準規格」において使用されているＹＵＶ、ＹＩＱ、ＹＣｂＣｒ色モデル等の輝度色差色モデルへの変換によって、如何なる時点でも、入力フォーマットのデータから生成することができる。また、その画素値に基づいて所定の強度のローカル画素値の差分の構造が判定され、ヒストグラムが生成された画素値とは異なる種類の値をマッピングすることもできる。例えば、所定の強度の局所的な緑色の画素値差分の構造に基づいてヒストグラムが生成されている場合、緑色に関連する画素値から生成されたヒストグラムに基づいて、明度に関連する画素値をマッピングしてもよい。緑色成分は、通常、ＳＮ比が良好であるため、色信号の緑色成分に基づく処理は、有利である。また、本発明を適用して、明度に関連しないデータのコントラストを強調することもでき、このデータは、色に関連するデータ又は他の如何なるデータであってもよい。
【００４５】
本発明は、適応ヒストグラム等化方法、適応ヒストグラム等化装置又はコンピュータプログラム製品として実現される。以下では、説明を簡潔にするために、主に、本発明に基づく適応ヒストグラム均等方法について説明するが、本明細書による開示内容は、対応する適応ヒストグラム等化装置及びこの適応ヒストグラム等化方法を実現するコンピュータプログラム製品にも同様に適用される。
【発明を実施するための最良の形態】
【００４６】
図１は、本発明に基づく適応ヒストグラム等化方法のフローチャートを示している。ステップＳ２において、画像を画素の領域に分割する。ステップＳ４において、画像の所定の強度のローカル画素値の差分（local pixel value difference）の構造を判定する。ステップＳ８において、各領域のローカル画素値の差分の判定された構造に基づいて、画素値のヒストグラムを生成する。ステップＳ１２において、領域に対応するヒストグラムに基づいて、各領域の画素値をマッピングする。オプションとして、ステップＳ６において、肌色の画素を判定してもよい。また、ステップＳ４におけるヒストグラムの生成は、判定された肌色の画素に基づいて行ってもよい。また、ステップＳ１０において、各領域のヒストグラムを平準化してもよい。
【００４７】
これらのステップは、各領域毎に個別に実行してもよい。これは、例えば、１つの領域の画素値が既にマッピングされた状態で、他の領域のヒストグラムを生成し、更に他の領域は、定義すらされていなくてもよいことを意味する。
【００４８】
図２は、対応する適応ヒストグラム等化プロセッサ１のブロック図を示している。適応ヒストグラム等化プロセッサ１は、画像を領域に分割する領域特定器２と、画像の所定の強度のローカル画素値の差分の構造を判定する構造判定器４と、各領域について、ローカル画素値の差分の判定された構造に基づいて、画素値のヒストグラムを生成するヒストグラム生成器８と、領域に対応するヒストグラムに基づいて、各領域の画素値をマッピングするマッピング器１２とを備える。更に、適応ヒストグラム等化プロセッサ１は、肌色の画素を検出する肌色検出器６を備えていてもよい。この場合、ヒストグラム生成器８は、ローカル画素値の差分の判定された構造に基づいて、及び判定された肌色の画素に基づいて、ヒストグラムを生成する。更に、適応ヒストグラム等化プロセッサ１は、ヒストグラムを平準化するフィルタリング器１０を備えいてもよい。
【００４９】
適応ヒストグラム等化プロセッサ１の領域特定器２、構造判定器４、肌色検出器６、ヒストグラム生成器８、フィルタリング器１０、マッピング器１２は、如何なる演算装置又は情報処理を行う如何なる機器によって実現してもよい。例えば、適切にプログラミングされたパーソナルコンピュータ、画像処理に適するデジタルシグナルプロセッサベースの演算装置、又は他の如何なるマイクロプロセッサベースの情報処理装置を用いてもよい。適応ヒストグラム等化プロセッサ１、領域特定器２、構造判定器４、肌色検出器６、ヒストグラム生成器８、フィルタリング器１０、マッピング器１２は、同じハードウェアで実現してもよく、異なるハードウェアで実現してもよい。以下、図３〜図７を参照して、本発明に基づく適応ヒストグラム等化方法の実施の形態について説明する。
【００５０】
適応ヒストグラム等化プロセッサ１の実用的な実現例では、例えば、ハウジング、電源、データインタフェース、データ接続端子、バッファ等を含む更なる要素が必要である。実用的な実現例に必要なこれらの要素は、当業者にとって明らかであるので、ここでは一々説明しない。
【００５１】
説明を明瞭にするために、本発明の実施の形態で処理される入力画像は、輝度データを含むデジタルフォーマットの画像であると仮定する。画素の領域は、ブロックと呼ばれ、長方形の形状を有する。なお、長方形以外の形状を定義してもよい。領域の形状及び位置は、画像コンテンツから独立しており、特に、ローカル画素値の差分の構造から独立している。画像を画素の領域に分割する処理に関する詳細については、後述する。ブロック毎の処理は、左から右に及び上から下に行う。この順序は、標準のテレビジョン信号及びビデオ信号が画像情報を搬送する時間的順序に対応する。信号の生来的な順序で、信号を処理することは、処理が高速になり、要求されるメモリ容量が少なくなるため、好ましい。なお、他の多くのブロック処理が可能であり、例えば、ブロックは、少なくとも部分的に平行に処理してもよい。
【００５２】
図３は、本発明の実施の形態の中心となる部分のフローチャートを示している。図３に示す構成では、ローカル画素値の差分の構造の判定から、ヒストグラムの平準化を含むヒストグラム生成の処理までを行う。
【００５３】
ステップＳ２０では、エッジ検出法によって、所定の強度のローカルな輝度差分の構造を有するブロックを判定する。エッジ検出の感度は、エッジ閾値値パラメータによって調整することができる。所定の強度は、通常、ローカル画素値の差分の強度の下限を定義し、強度は、適切な如何なる手法で測定してもよい。上述のように、通常、コントラストが高いオブジェクトは、フェージングアーチファクト及びオブジェクト拡大アーチファクトの要因になる。本発明の典型的な具体例では、判定されたローカル画素値の差分は、緩やかな変化に対応するローカル画素値の差分と比べて、大きく又は強く見える。この意味で判定された構造とは、強いローカル画素値の差分の構造である。なお、本発明では、低い画素値差分を用いてもよい。ローカル画素値の差分の強度のより正確な値は、入手できる場合が少ない。例えば、画像の雑音量又は画像のモチーフの種類等の画像特性は、使用可能な値の検出に影響する。更に、幾つかの応用分野、例えば、人間のオペレータによってエッジパラメータが調整される高品質のビデオポストプロダクションでは、この値は、オペレータの個人的な好みに依存する場合もある。また、現在、アマチュアレベルにも普及しているコンピュータベースのアプリケーションにおけるデジタル写真の処理では、ユーザは、強度を示す値を直接変更することもできる。他の具体例としてカムコーダのユーザは、それぞれが典型的な撮影状況に最適化された所定の範囲のプリセット値を選択してもよく、このプリセット値は、特に、判定される画素値差分の強度を設定する値であってもよい。他の可能性として、例えば、照明条件等の撮影状況に基づき、又は画像に関して先に取得した他の情報、例えば、先の画像処理操作によって取得された情報に基づいて自動設定が行われることもある。また、画像の異なる部分、例えば、異なる領域毎に異なる値が設定されることもある。
【００５４】
説明のため、取得された情報を画像として表示することもできる。図６の画像は、既知のソーベル演算子を用いて、図５の画像全体を処理することによって得られた画像である。ここでは、ローカル画素値の差分の判定された構造を黒色の背景上の白色で表示している。また、ローカル画素値の差分の判定された構造は、エッジ、エッジ線、エッジ点、境界、境界線、境界情報等とも呼ぶことができる。これらの図からもわかるように、ローカル画素値の差分の構造は、コントラストが高いオブジェクトの境界線に一致することがわかる。ローカル画素値の差分の構造は、通常、如何なる形状にも限定されない。
【００５５】
ステップＳ２０に続くステップＳ２２では、ブロック内にエッジが存在しているか否かを判定する。該当しない場合、処理は、ステップＳ３０に進む。一方、該当する場合、処理は、ステップＳ２４に進む。
【００５６】
ステップＳ２４では、ヒストグラムにおいて、エッジの後ろの画素の輝度を、交互に、最小値及び最大値、例えば、標準のテレビジョン信号の８ビット量子化における値１６及び値２３５であるとみなす。この最小値及び最大値は、それぞれが可能なダイナミックレンジ内の比較的小さい値及び大きい値であれば、所定の画像形式において実際に可能な最小値及び最大値から、ある程度異なっていてもよい。
【００５７】
画素がエッジの後ろにあるか前にあるかは、処理順序に基づいて判定してもよいが、通常、エッジの前の画素の役割と、エッジの後ろの画素の役割とは、交換可能である。ここでは、説明の便宜上、エッジの前又は後ろの画素という表現を用いる。
【００５８】
ステップＳ２６では、どの種類のブロック端に達したかを判定する。水平ｘ方向のブロック端に達した場合、処理は、Ｓ２８に進み、次のラインを特定し、ステップＳ２２に進む。一方、垂直ｙ方向のブロック端に達した場合、処理は、ステップＳ３０に進む。
【００５９】
ステップＳ２８からステップＳ２２に進んだ場合、ステップＳ２２では、更なるエッジが存在しているか否かを判定する。該当する場合、処理は、ステップＳ２４に進む。該当しない場合は、処理は、ステップＳ３０に進む。
【００６０】
ステップＳ３０では、エッジの前にある画素の画素値を直接考慮に入れて、ヒストグラムを生成する。ステップＳ３０における処理によってヒストグラムが完成し、処理は、ステップＳ３２に進む。
【００６１】
このように、局所的コントラストが強くないピクチャ領域では、ヒストグラムは、通常通り生成される。一方、局所的コントラストが強いピクチャ領域では、検出されたオブジェクト境界の前の画素だけを直接考慮に入れて、ヒストグラムを生成する。他の画素の出現は、直接考慮に入れられず、ブロック端に達するまでヒストグラムの最小値及び最大値を交互にカウントすることによって、ヒストグラムをより均一化するように、又はそのヒストグラムがより均一化されたヒストグラムとして振る舞うように変更するためのインデクスとして用いられる。交互のカウントは、水平（ｘ）のブロック端及び垂直（ｙ）のブロック端の両方に達するまで続けられる。ヒストグラムは、エッジ開始位置からブロック端まで、最小値及び最大値のみをとる。
【００６２】
そして、ステップＳ３２において、ヒストグラムを処理する。この処理は、例えば、ローパスフィルタによるフィルタリングを含むヒストグラムの平準化を含む。これにより得られるヒストグラムと、隣接するブロックについて以前に得られたヒストグラムとを重み付け加算してもよい。これは、ヒストグラム均一化のための単純な手法の１つである。多くの場合、ヒストグラム均一化によって、単一のエッジ点、疎らに分散されたエッジ点又は不連続なエッジによって生じるアーチファクトが低減される。ヒストグラム均一化に代えて又はこれに加えて、ステップＳ２０の一部として、単一のエッジ点又は疎らに分散されたエッジ点を削除し、例えば、既知の形態学的フィルタを用いて、不連続なエッジを連結してもよい。
【００６３】
ステップＳ３２の後に、平準化されたヒストグラムの累積関数からマッピング関数を導出し、このマッピング関数に基づいて、ブロックの輝度をマッピングする。なお、この実施の形態では、ブロックの全ての画素をマッピングするわけではない。この点については、後に詳細に説明する。全てのブロックが処理され、対応する画素がマッピングされると、入力画像のためのヒストグラム等化が完了する。
【００６４】
あるいはまた、最小値及び最大値を交互にカウントすることによって、ヒストグラムのバランスが均衡し、特に、ヒストグラムを平準化した後に、ヒストグラムがより均一になる。ヒストグラムがより均一に分布すると、ヒストグラムから導出されたマッピング関数を用いたマッピングによる画素の値の変化がより小さくなる。このようにして、エッジ点を含むブロックについて、ヒストグラム等化の量が低減される。換言すれば、コントラストが強いオブジェクトを含む領域では、ヒストグラム等化の量が低減される。この結果、フェージングアーチファクト及び境界スメアアーチファクトが抑制される。エッジのない領域では、ヒストグラムは、通常通り生成される。したがって、コントラストが強いオブジェクトを除く領域においては、ヒストグラム等化は、最大量で実行される。ヒストグラムを平準化することに代えて、ヒストグラムから導出された累積関数を平準化してもよく、この効果は、ヒストグラム等化の量を低減した場合の効果と同じである。
【００６５】
境界線の前の画素は、ヒストグラムの生成において直接考慮され、境界線の後ろの画素は、ヒストグラムをより均一化するように、又はそのヒストグラムがより均一化されたヒストグラムとして振る舞うように変更するためのインデクスとして用いられる。この実施の形態では、この処理は、ブロック端に達するまで、輝度の最小値及び最大値を交互にカウントすることによって実行される。これによりヒストグラムのバランスが均衡し、ヒストグラムを平準化した後に、完全に実際の画素値から生成した場合に比べて、ヒストグラムがより均一になる。したがって、平衡の結果、ヒストグラムは、より均一に分散されたヒストグラムのように振る舞う。ヒストグラムを他の手法で生成し、同様の効果をもたらすこともできる。また、均一性をより直接的に実現することもできる。例えば、実際の値が考慮されない画素を用いて、実際の値を考慮に入れた他の画素から構築されたヒストグラムの間隙を埋め、これにより、ヒストグラムの均一性を直接的に高めてもよい。
【００６６】
検出された境界線の前の画素がブロックの大部分である場合、ヒストグラム変更は、最終的な結果に殆ど又は全く影響を与えない。このような場合、経験的に、フェージングアーチファクト及びオブジェクト拡大アーチファクトは、多くの場合、非常に弱く、すなわち、視認されない。一方、境界の前の画素がブロックを占める割合が少なくなると、フェージングアーチファクト及びオブジェクト拡大アーチファクトが目立つようになるが、ヒストグラム変更も強く行われ、これによって、アーチファクトが抑制される。このように、アーチファクトは、実際の必要性な量に基づいて低減される。
【００６７】
特定の実施の形態に基づいて本発明を説明したが、２つの側の役割を逆転させてもよいことは明らかであり、すなわち、ヒストグラムをより均一化するように、又はそのヒストグラムがより均一化されたヒストグラムとして振る舞うように変更するためのインデクスとして境界線の前の画素を用い、境界線の後ろの画素は、ヒストグラムを生成するために直接考慮に入れるようにしてもよい。
【００６８】
以下、図４を参照して、本発明の実施の形態によって用いられるブロック構造について説明する。本発明は、ブロックを重複させる従来の技術と組み合わせて用いることができる。ブロック重複は、ブロッキングアーチファクトを低減するための技術として知られている。しかしながら、ブロック重複によって、フェージングアーチファクト及びオブジェクト拡大アーチファクトが強められてしまうこともある。図４は、水平ｘ方向に密に重なる３つの長方形ブロックを示している。図４では、視覚的にわかりやすいように、個別に分離された３つのブロックも示している（下の３つのブロック）。マッピングが重複しないように、ブロック全体から導出されたマッピング関数に基づき、図４に示すパターンで埋められた領域の画素だけをマッピングする必要がある。この実施の形態で用いられているブロック構造は、垂直方向にも重複する。但し、図面を明瞭にするために、図４では、ブロックの垂直な重複を示していない。したがって、マッピングが重複しないように、マッピング関数によってマッピングされる領域の面積は、更に小さくする必要がある。すなわち、水平方向にも垂直にも重複しない領域のみにおいて、ブロック全体から導出されたマッピング関数を用いたマッピングが行われる。詳しくは、この実施の形態では、各ブロックの左上コーナの領域のみがマッピングされる。すなわち、ヒストグラムは、ブロック全体から生成されるが、各ブロックの画素の非常に僅かな一部だけがマッピングされる。左上コーナの画素だけがマッピングされるので、ヒストグラム変更は、通常、検出された境界線の後ろの画素には影響しない。
【００６９】
図７では、処理済の画像と元の画像との間の２つの差分画像を示している（ここでは、印刷されたピクチャにおいて、視覚的に差異が明瞭になるように、所定のオフセット値を加算し、所定の係数によって増幅している）。右のピクチャでは、元の画像は、本発明に基づくヒストグラム等化法の実施の形態を用いて処理されている。左のピクチャでは、元の画像は、従来のヒストグラム等化を用いて処理されている。左の（従来の技術に基づく）差分画像では、背景と、肩及び腕とを区切る境界線上で明度が変化し、顕著なオブジェクト拡大アーチファクトが生じている。境界領域では、従来の技術を用いて画像を処理することによって、プルオーバはより暗くなり、背景がより明るくなっている。またプルオーバと首との間の境界線においては、フェージングアーチファクトに該当する明度の変化も生じている。すなわち、肌の色は、プルオーバの近くでより明るくなっている。一方、右側のピクチャから明らかなように、これらのアーチファクトは、本発明に基づくヒストグラム等化法に基づく処理を行うことによって大幅に低減される。
【００７０】
本明細書では、本発明の好適な実施の形態及び変形例を開示及び説明したが、本発明の精神及び範囲から逸脱することなく、ここに開示した構成、動作及び形式に様々な変更を加えることができることは当業者には明らかである。特に、本発明の各特徴は、本発明の他の特徴と組み合わせて開示された特徴を含め、当業者にとって無意味であることが明らかな場合を除き、如何なる構成にも組み合わせることができる。
【図面の簡単な説明】
【００７１】
【図１】任意のステップを含む適応ヒストグラム等化方法のフローチャートである。
【図２】任意の要素を含む適応ヒストグラム等化プロセッサのブロック図である。
【図３】適応ヒストグラム等化方法の実施の形態の一側面を説明するフローチャートである。
【図４】本発明の実施の形態において用いるブロック構造の水平方向の重複を説明する図である。
【図５】元の画像を示す図である。
【図６】元の画像のローカル画素値の差分の構造を示す図である。
【図７】処理済の画像と元の画像との間の２つの差分画像を示す図である。
【図１】
2009010636.tif 000003
【図２】
2009010636.tif 000004
【図３】
2009010636.tif 000005
【図４】
2009010636.tif 000006
【図５】
2009010636.tif 000007
【図６】
2009010636.tif 000008
【図７】
2009010636.tif 000009
【外国語明細書】
2009010636000001.pdf
2009010636000002.pdf
2009010636000003.pdf
2009010636000004.pdf