(57)【要約】【課題】階調補正テーブルの傾きだけでなく、顔のサイズに応じて、ノイズ除去を行うこと。【解決手段】画像データに対して階調変換を行う階調補正処理とノイズ低減を行う平滑フィルタ処理とを施す画像処理装置は、顔領域のデータ分布を解析した特徴量により階調補正テーブルを作成し、画像データに対して階調変換を施す階調補正手段と、顔領域の大きさと、階調補正テーブルの入力値と出力値の関係を表す値に応じて平滑強度を設定して平滑を行う平滑フィルタ処理手段とを有する。【選択図】図１
2009145991.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して階調変換を行う階調補正処理とノイズ低減を行う平滑フィルタ処理とを施す画像処理装置であって、
顔領域のデータ分布を解析した特徴量により階調補正テーブルを作成し、画像データに対して階調変換を施す階調補正手段と、
前記顔領域の大きさと、前記階調補正テーブルの入力値と出力値の関係を表す値に応じて平滑強度を設定して平滑を行う平滑フィルタ処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記顔領域の特徴量は、前記顔領域の平均輝度値であり、
前記階調補正手段は、階調補正の入力輝度範囲で前記輝度値に応じて傾きの変わる折れ線を作成し、
前記顔領域のサイズが大きくなるに従って前記平滑フィルタサイズを大きくし、注目画素の輝度値を入力値としたときの前記階調補正テーブルの出力値に応じた傾きが大きくなるに従って高い平滑度を有する平滑フィルタ係数を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記顔領域の特徴量は、前記顔領域の平均輝度値であり、
前記階調補正手段は、前記階調補正テーブルとして前記輝度値に応じて傾きの変わる折れ線を作成し、
前記顔領域のサイズが予め定めたサイズ以上である場合に前記平滑フィルタサイズを大きくし、
注目画素の輝度値における前記階調補正テーブルの傾きが予め定めた値以上である場合に高い平滑度を有する平滑フィルタ係数を設定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像データにおいてエッジ度を算出するエッジ度算出手段を更に有し、
前記平滑フィルタ処理手段は、注目画素のエッジ度の大きさに応じて前記平滑フィルタ係数を変化させることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記平滑フィルタ処理手段は、前記顔領域の範囲において平滑フィルタ処理を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記平滑フィルタ処理手段は、前記顔領域の範囲において平滑フィルタ処理を行い、
前記顔領域の範囲の周辺においては、平滑フィルタ処理の影響を徐々に小さくすることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１から６記載のいずれかの画像処理装置に対応する画像処理方法。
【請求項８】
請求項７記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項９】
請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号の階調補正を行う画像信号処理装置に関し、特に階調補正テーブルに基づく階調補正処理におけるノイズの抑制に関する。
【背景技術】
【０００２】
近年、パソコンやインターネット、家庭用プリンタの普及、及びハードディスクなどの記憶容量の大型化により、デジタルデータで写真画像を扱う機会が増えている。それに伴いデジタル写真画像データ（以下、画像データ）の入力手段として、デジタルカメラやフィルムスキャナなどが一般に使用されている。
【０００３】
デジタルカメラには撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、種々の方法があるが、光量検出のため画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均を取り、絞りやシャッタスピードなどを調節する方法が一般的である。
【０００４】
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあるため完全なものは存在しない。とりわけ、主被写体の真後ろに光源が存在し背景と主被写体との輝度差が大きい、逆光状態では、被写体に露出が合わないと背景の明るさに引っ張られて露出がマイナスに補正されるため、被写体が暗く写ってしまう。
【０００５】
このような問題点を解決するために、種々の提案がなされている。例えば、撮影画像データを解析する事により画像のシーンを判別し、その画像のシーンによって最適な階調補正テーブルを用いて、画像データを階調補正する構成が考えられている。
【０００６】
ところで、一般のユーザが撮影する主な被写体は、人物の顔であることがよく知られている。従って、上記問題を解決するためには、画像から顔領域を抽出し、その顔領域に対して最適な階調補正テーブルを作成し、階調変換を行うことが考えられる。このような処理例に、顔領域を抽出し、その顔領域の特徴に従って階調補正テーブルを作成し、階調補正処理を行うものがある。
【０００７】
しかし、逆光で撮影された場合のように暗く写った顔を明るく階調補正する場合には、階調補正の変換特性の傾きも大きくなるため、画像信号に含まれるノイズ成分（ランダムノイズ、横引きノイズ）も大きくなるという問題があった。
【０００８】
特に、低い入力画像信号レベルにおいては画像信号に対するノイズ成分の比率が相対的に大きくなるため、暗く写った顔のように低い入力画像信号レベルにおいて変換特性の傾きが大きい場合、増幅されたノイズ成分による画質劣化が顕著になる。
【０００９】
このような問題を解決するために、階調補正テーブルにおける、入力信号レベルが属する信号レベル範囲の伸張度が高いほど、ノイズ成分に対する高い減衰度を有する減衰特性を設定しフィルタ処理する構成が考えられている。
【００１０】
また、フィルタ処理におけるマトリックスサイズを変えるものもある。
【００１１】
さらに、取り込んだ自然画像データを最適露出状態の画像データに補正することができる画像処理装置において、判定部が、取り込まれた画像データについて少なくとも逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかを判別し、逆光シーンのデータまたは夜間撮影シーンのデータであると判別された場合、背景データを取り除いて露出状態を判定し、露出補正部がその判定結果に基づいて異なった画像補正を行うように構成し、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正する技術が開示されている（例えば、特許文献１参照）。
【特許文献１】特開２００２−２４７３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかし、上記従来技術は、階調補正テーブルの傾きのみでノイズ除去を行うものであり、画像中の顔に注目してマトリックスサイズを設定することはできない。
【００１３】
マトリックスサイズが大きくなるほど通過帯域の狭い低域通過フィルタが実現できるなど詳細にフィルタ特性を設定でき、ノイズ抑制の効果を高くできるが、小さなサイズの顔に対してマトリックスサイズの大きな平滑フィルタを適用すると、ノイズは抑制できても、目や鼻、口等もボケた画像となってしまう。
【００１４】
そこで、本発明は、上記の課題を解消するため、階調補正テーブルの傾きだけでなく、顔のサイズに応じて、ノイズ除去を行うことを目的とする。
【００１５】
そのために、顔のサイズに応じてマトリックスサイズを制御することで、顔のサイズに最適なノイズ抑制ができるフィルタ処理を行い、また、顔領域の特徴に基づいて作成した階調補正テーブルの傾きに応じて、フィルタ係数を設定することによって、階調補正処理におけるノイズ成分の増大による画質劣化を抑制することを目的とする。
【課題を解決するための手段】
【００１６】
請求項１記載の発明は、画像データに対して階調変換を行う階調補正処理とノイズ低減を行う平滑フィルタ処理とを施す画像処理装置であって、顔領域のデータ分布を解析した特徴量により階調補正テーブルを作成し、画像データに対して階調変換を施す階調補正手段と、顔領域の大きさと、階調補正テーブルの入力値と出力値の関係を表す値に応じて平滑強度を設定して平滑を行う平滑フィルタ処理手段とを有することを特徴とする画像処理装置である。
【００１７】
請求項２記載の発明は、請求項１記載の画像処理装置において、顔領域の特徴量は、顔領域の平均輝度値であり、階調補正手段は、階調補正の入力輝度範囲で輝度値に応じて傾きの変わる折れ線を作成し、顔領域のサイズが大きくなるに従って平滑フィルタサイズを大きくし、注目画素の輝度値を入力値としたときの階調補正テーブルの出力値に応じた傾きが大きくなるに従って高い平滑度を有する平滑フィルタ係数を設定することを特徴とする。
【００１８】
請求項３記載の発明は、請求項１記載の画像処理装置において、顔領域の特徴量は、顔領域の平均輝度値であり、階調補正手段は、階調補正テーブルとして輝度値に応じて傾きの変わる折れ線を作成し、顔領域のサイズが予め定めたサイズ以上である場合に平滑フィルタサイズを大きくし、注目画素の輝度値における階調補正テーブルの傾きが予め定めた値以上である場合に高い平滑度を有する平滑フィルタ係数を設定することを特徴とする。
【００１９】
請求項４記載の発明は、請求項１から３のいずれか１項に記載の画像処理装置において、画像データにおいてエッジ度を算出するエッジ度算出手段を更に有し、平滑フィルタ処理手段は、注目画素のエッジ度の大きさに応じて平滑フィルタ係数を変化させることを特徴とする。
【００２０】
請求項５記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置において、平滑フィルタ処理手段は、顔領域の範囲において平滑フィルタ処理を行うことを特徴とする。
【００２１】
請求項６記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置において、平滑フィルタ処理手段は、顔領域の範囲において平滑フィルタ処理を行い、顔領域の範囲の周辺においては、平滑フィルタ処理の影響を徐々に小さくすることを特徴とする。
【００２２】
請求項７記載の発明は、請求項１から６記載のいずれかの画像処理装置に対応する画像処理方法である。
【００２３】
請求項８記載の発明は、請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムである。
【００２４】
請求項９記載の発明は、請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体である。
【発明の効果】
【００２５】
顔領域の明るさを予め定めた目標値へ補正する階調補正テーブルを作成し、作成した階調補正テーブルの補正の傾きと、顔領域のサイズに従って、平滑フィルタに用いるマトリックスサイズと平滑フィルタ係数を設定しているので、注目画素ごとに最適な平滑フィルタ処理を実施しノイズ除去を行うことができ、かつ画像中の顔を目標値へ明るく補正することができる。
【発明を実施するための最良の形態】
【００２６】
（第一の実施の形態）
図１は、本発明の第一の実施の形態に係るＰＣとプリンタを接続したシステムの構成を説明する図である。
【００２７】
図１において、ＰＣ１００は、ＰＣ１００全体の動作を制御するＣＰＵ１０１、ＣＰＵ１０１により実行されるプログラムやデータを記憶しているＲＯＭ１０２、２次記憶装置１０５からロードした、ＣＰＵ１０１により実行されるアプリケーションプログラムやＯＳなどを記憶すると共に、ＣＰＵ１０１による制御処理時に各種データを一時的に格納するワークエリアを提供するＲＡＭ１０４、ディスプレイなどの表示装置１０３、キーボード１０７、マウス１０６などのユーザインターフェース（ＵＩ）を備えている。ハードディスクなどの２次記憶装置１０５には、ＯＳや各種アプリケーションがインストールされており、これらＯＳやプログラムは実行時にＲＡＭ１０４にロードされて実行される。またインターフェース１０８は、他のコンピュータやプリンタ１０９などと接続しており、このインターフェース１０８はネットワークなどとの接続も可能である。
【００２８】
図２は、本実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図である。
【００２９】
この画像処理は、顔検出部２０１、階調補正テーブル作成部２０２、補正特性算出部２０３、平滑フィルタ部２０４、階調補正部２０５の機能を有している。
【００３０】
本実施の形態では、入力画像データは、例えばデジタルカメラで撮影された画像や、スキャナなどの光学読取装置で原稿を読み込んで得られた画像や、デジタルビデオカメラで撮影された動画中の１フレームを抽出した画像などの画像データを想定している。
【００３１】
また本実施の形態では、この画像データはＲＧＢ各８ビットで構成された画像データを想定して説明するが、これに限定するものではない。
【００３２】
入力画像データは顔検出部に入力され、顔検出が行われる。顔検出部２０１においては、特開平６−６７３２０号、同８−１１０６０３号に記載された方法などにより顔領域を抽出する方法等、従来の方法により顔領域が検出される。
【００３３】
入力画像から人物の顔を検出し、検出した顔領域の位置情報と顔領域のサイズ（例えば、顔領域を正方形の矩形で表すとすると、一辺の長さ）を階調補正テーブル作成部２０３へ入力する。
【００３４】
階調補正テーブル作成部２０２では、入力された顔領域の位置情報から顔領域の特性を把握し、顔の明るさを最適に補正する階調補正テーブルを作成する。
【００３５】
階調補正テーブルは、顔領域の明るさを、予め設定した目標とする明るさに補正する。そのために、入力画像中の顔領域の座標位置に基づいて輝度ヒストグラムを作成し、輝度分布の平均値を算出することで代表輝度値を求め、予め定めた目標輝度値へ補正する。
【００３６】
図３に輝度ヒストグラムの作成方法について示す。
ステップＳ２１では、顔領域の開始点と、終了点で示された領域内の画素のRGBデータから以下の式に従い輝度値Yを求める。
Y = 0.299×R + 0.587×G + 0.114×B
【００３７】
ステップＳ２２では求めた輝度YについてステップＳ２1で計算した輝度値Yのヒストグラムを更新する。
【００３８】
ステップＳ２３では、顔領域内の全画素をヒストグラムに取り込んだかを判定する。全画素終了していない場合は、ステップＳ２1へ戻る。全画素終了した場合は、ステップＳ２４へ進む。
【００３９】
ステップＳ２４では、得られたヒストグラムから顔領域の代表値として、ヒストグラムの平均値を算出する。ここでは代表値として、得られたヒストグラムの平均値を算出するようにしたが、ヒストグラムの最頻値等、顔領域を代表する値として適当な他の値でも構わない。
【００４０】
代表値を算出した後、階調補正テーブルを作成する。
図５は、作成した階調補正テーブルの例を示したものである。代表輝度値は、輝度ヒストグラムに基づいて求めた顔の代表値である。変換値である、目標輝度値は予め設定しておいた値を用いる。顔の好ましい輝度値は、大体１６０〜１９０の範囲にあるので、目標輝度値をここでは１７５として設定する。
【００４１】
階調補正テーブルは折れ線で作成し、図４（ａ）に示すように入力輝度値が"０"のとき出力輝度値を"０"に変換し、代表輝度値を目標輝度値に変換、さらに入力輝度値"２５５"のとき出力輝度値"２５５"と変換するように作成する。
【００４２】
階調補正テーブル作成部２０２で階調補正テーブルを作成した後、補正特性算出部２０３において、階調補正テーブルに基づいて補正特性を算出する。
【００４３】
ここでいう補正特性とは、入力輝度値における補正テーブルの傾きの値から、後段の平滑フィルタ部で用いる平滑強度を表している。
【００４４】
平滑強度は、傾き“１”を基準として、傾きが大きくなるほど高い値をとる。階調補正テーブルは、顔領域の特徴に基づいて作成されるため、画像中の前述した顔の代表輝度値と目標輝度値に応じて補正テーブルの傾きが顔領域の特徴に基づいて変化する。
【００４５】
画像中の顔の代表輝度値が暗いほど、補正テーブルの傾きが大きくなるため平滑強度も大きくなる。
【００４６】
例えば、図４の（ａ）の補正テーブルの傾きに対応した平滑強度として、図４の（ｂ）に示した平滑強度：Ｌを得ることが出来る。
【００４７】
補正強度：Ｌは、予め設定した値：Ｌｍｉｎから始まり、傾きが大きくなるに連れて大きくなり、ある傾き：Ｋｍａｘ以上の場合は一定値Ｌｍａｘをとるようにしている。
このようにして補正テーブルの傾きから補正強度を求めることが出来る。
【００４８】
補正テーブルの傾きから補正強度：Ｌを求めたので、図４（ｃ）に示したような入力輝度値に対応した平滑強度を得る。この例では、平滑強度：Ｌが顔の代表輝度値で補正テーブルの傾きが切り替わるため、不連続になっているが、滑らかに繋がるように修正しても構わない。
【００４９】
平滑フィルタ部２０４では、補正特性算出部２０３から入力される平滑強度と、顔検出部２０１から入力される顔領域のサイズに従って、使用する平滑フィルタを決定する。
【００５０】
図５は、この実施の形態に係る平滑フィルタを説明する図である。
【００５１】
ここでは注目画素５００の周辺に１辺がSize（Ｎ）となる平滑フィルタのマトリックスサイズ５０１を設定する。
【００５２】
そして、このマトリックスサイズ５０１に含まれる画素に対してフィルタ演算を行い、注目画素５００の画素値として算出する。
【００５３】
このような処理を行うことにより、注目画素５００の周辺で、特に突出しているノイズを除去することが可能となる。
【００５４】
ここで、平滑フィルタを施す対象となるマトリックスサイズSize（Ｎ）は、図６に示すような顔のサイズＮの関数である。
【００５５】
ここで、顔のサイズＮとは、顔検出部２０１から入力されるサイズである。
【００５６】
図６は、顔のサイズＮと平滑フィルタの処理範囲を示すサイズSize（Ｎ）との関係を説明する図である。
【００５７】
サイズSize（Ｎ）は、顔のサイズNが大きくなるに従って増加する関数となっている。
一般的に、平滑フィルタは、処理対象となるエリアの大きさが大きくなるに従って通過帯域の狭い低域通過フィルタが実現できノイズ抑制の効果を高くできる。
【００５８】
そのため、図６に示すように、顔のサイズＮが大きくなるに従って、平滑フィルタのサイズSize（Ｎ）を強くすることにより、強調された暗部ノイズをより適切に除去できる。
【００５９】
また、平滑フィルタにおける各係数（図５におけるａ〜ｉ）については、補正特性算出部２０３から入力される平滑強度：Ｌに従って、平滑強度が大きいほど強い平滑がかかる係数を設定する。
【００６０】
以上から決定した平滑フィルタマトリックスサイズと平滑フィルタ係数に従って、注目画素に対する平滑処理をＲＧＢ信号に対して実施して、階調補正部２０５へ出力する。
【００６１】
階調補正部２０５では、平滑フィルタ処理が施されたＲＧＢ信号に対して既に作成した階調補正テーブルを用いて階調補正を実施する。
【００６２】
画質補正部では、補正量決定部で決定した値と、補正テーブル作成部で作成した階調補正テーブルに従って、入力画像データに階調補正処理を施す。
【００６３】
図７は階調補正部２０５の処理の流れを詳細に示したものである。
【００６４】
ステップＳ３１では、入力画像データのＲＧＢ値から前述した輝度計算式により、入力輝度値を算出する。
【００６５】
ステップＳ３２では、既に作成した階調補正テーブルを用いて入力輝度値に対応した変換輝度値を決定する。
【００６６】
ステップＳ３３では、変換輝度値と入力輝度値、さらに補正量決定部で決定した補正量を用いてＲＧＢ値の補正を行い、補正した画像を出力する。
【００６７】
階調補正テーブルによる変換後の輝度値をYout、入力輝度値をYin、入力ＲＧＢ値を以下の式に従って行う。
Rout = (Yout / Yin) × Rin
Gout = (Yout / Yin) × Gin
Bout = (Yout / Yin) × Bin
【００６８】
Rin、Gin、Binは入力ＲＧＢ値、Rout、Gout、Boutは出力ＲＧＢ値を表している。
【００６９】
以上説明したように、入力画像中の顔領域を検出して顔領域の代表輝度値を算出して、目標輝度へ補正する階調補正テーブルを作成するので顔領域の明るさを目標とする明るさに補正することができ、顔領域のサイズに従って決定される平滑マトリックスサイズと、階調補正テーブルの傾きに従って決定される平滑強度とから平滑フィルタ処理を実施してノイズを除去した後、作成した階調補正テーブルに基づいて階調補正することで、階調補正テーブルの傾きの大きさと顔領域の大きさに応じて最適なノイズ除去を施すことが出来る。
【００７０】
（第二の実施の形態）
前述の第一の実施の形態では、階調補正テーブルの傾きの大きさと、顔領域のサイズの大きさに応じて、平滑フィルタ処理のマトリックスサイズと係数を決定し、ノイズ除去を行う方法について説明した。
【００７１】
これに対して第二の実施の形態では、同様の目的を達成するための別の方法として、前述の第一の実施の形態で説明した平滑フィルタ処理のマトリックスサイズと係数を、階調補正テーブルが予め定めた閾値以上であるか否か、また顔領域のサイズが予め定めた閾値以上であるか否かに応じて決定する場合を説明する。
【００７２】
図８は、本実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図で、図２と共通する部分は同じ記号で示し、それらの説明を省略する。前述の第一の実施の形態で示した図２と異なる点は、特性補正部２０３において傾きの閾値が入力され、平滑フィルタ部２０４において顔サイズの閾値が入力される点である。
【００７３】
特性補正部２０３に入力される傾きの閾値(th_k)は例えば“１”であり、th_ｋを超える場合と超えない場合とで平滑強度を変えることが可能となる。
【００７４】
また、顔サイズの閾値(th_s)は、例えば“５００”であり、顔の矩形サイズの一辺が５００画素を超える場合と超えない場合とで、平滑マトリックスのサイズを変更することが可能となる。ここで示した例は一例であり、これ以外の値でも構わない。
【００７５】
また、それぞれの閾値の数についても２つ以上を設定して、より詳細な平滑強度設定や、平滑マトリックスサイズの設定ができるようにしても、もちろん構わない。
【００７６】
以上説明したように本実施の形態によれば、入力画像中の顔領域を検出して顔領域の代表輝度値を算出して、階調補正テーブルの作成を行い、顔領域のサイズを予め定めた閾値と比較して決定される平滑マトリックスサイズと、階調補正テーブルの傾きを予め定めた閾値と比較して決定される平滑強度とから平滑フィルタ処理を実施してノイズを除去した後、作成した階調補正テーブルに基づいて階調補正を行うことで、階調補正テーブルの傾きの大きさと顔領域の大きさに応じて最適なノイズ除去を施すことが出来る。
【００７７】
（第三の実施の形態）
前述の第一の実施の形態では、階調補正テーブルの傾きの大きさと、顔領域のサイズの大きさに応じて、平滑フィルタ処理のマトリックスサイズと係数を決定し、ノイズ除去を行う方法について説明した。
【００７８】
第一の実施の形態では、画像全体においてノイズ除去が施されるのに対して、本実施の形態では、顔領域のみにノイズ除去を施す方法について述べる。
【００７９】
図９は、本実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図で、図２と共通する部分は同じ記号で示し、それらの説明を省略する。前述の第一の実施の形態で示した図２と異なる点は、新たに処理範囲決定部２０６が追加されたところにある。
【００８０】
処理範囲決定部２０６では、顔検出部２０１から検出された顔領域の座標位置が入力され、ノイズ除去の平滑処理を行う処理範囲が決定されて、平滑フィルタ部２０４へ処理範囲が出力される。
【００８１】
平滑フィルタ部２０４では、入力された処理範囲に従って平滑フィルタ処理を施し、処理結果を階調補正部２０５へ出力する。
【００８２】
本実施の形態に係る平滑フィルタ処理は、顔領域周辺に対して設定した処理範囲において顔領域の中心から外側に向かうに従って、除々に平滑強度を小さくするような処理を行う。
【００８３】
また、平滑強度を小さくするために、平滑フィルタの係数の値を小さくすることで対応する。
【００８４】
具体的には、顔領域範囲の中心画素で平滑フィルタの係数が最大であり、中心から外側に向かうに従って、平滑フィルタの係数を小さくしていく。
【００８５】
図１０は、本実施の形態において処理対象とする画像と、画像に基づいて顔領域を検出した一例を示す図である。この図では１個所の顔領域が検出される。
【００８６】
本実施の形態では、顔検出部２０１から得られる顔領域として、図１０の１０００に示すような正方形の矩形領域を想定する。
【００８７】
この場合、処理範囲設定部２０６では、図１０に示すように、該矩形領域１０００の画素領域を、平滑フィルタ処理の対象となる処理範囲と設定する。
【００８８】
さらに、平滑フィルタ処理部２０４で平滑フィルタ処理をする際に、注目画素と顔領域の中心点との距離が大きくなるにつれて平滑フィルタ処理の効果を減少させる平滑強度補正値を算出して、平滑フィルタ処理部２０４に出力する。
【００８９】
図１１を参照して顔領域範囲の中心画素で平滑強度補正値：Ｈを最大とし、中心から外側に向かうに従って、平滑強度補正値：Ｈを小さくしていく方法を説明する。
【００９０】
図１１（ａ）は、図１０で検出した顔領域から求められる顔の中心座標と、顔領域の最大値Ｄmaxとの関係を示している。
【００９１】
Ｄmaxは、顔検出部２０１から入力される矩形の座標位置から求められる値で、矩形の対角線を直径とする円の半径の長さとなる。
【００９２】
図１１(ｂ)は、注目画素における顔の中心点からの距離と平滑強度補正値：Ｈとの関係をグラフに示したものである。
【００９３】
１１００で示すように平滑強度補正値：Ｈは、注目画素が顔の中心点であるときに最大値“１”をとり、注目画素と顔の中心点との距離がＤmaxに一致するときに最小値“０”をとる。
【００９４】
ここでは、注目画素と顔の中心点との距離がＤmaxの値をとるときに最小値“０”をとるように説明したが、１１０１に示すように０以上１以下の正の値：Ｈｍｉｎを設定するようにして、Ｄmax以上の値のときでも平滑フィルタ処理を行ってももちろん構わない。
【００９５】
また、別の方法として注目画素における平滑フィルタ処理のマトリックスサイズを顔の中心点との距離が大きくなるに従って顔のサイズに基づいて設定したマトリックスサイズよりも小さなサイズを設定するようにしても平滑強度を弱くすることが可能であり、このような方法を取ることにより平滑強度を弱くしても構わない。
【００９６】
また、図１１（ｂ）のグラフは、平滑強度補正値：Ｈを線形に減させたが、これ以外でも非線形に減少させても構わない。
【００９７】
平滑フィルタ部２０４では、顔検出部２０１から入力される顔領域のサイズ：Ｎに従って、平滑フィルタのマトリックスサイズを設定し、前述した補正特性算出部２０３から入力される平滑強度：Ｌに対して、処理範囲決定部２０６から出力される平滑強度補正値：Ｈを掛け算した値：（Ｌ×Ｈ）を最終的な平滑強度として、平滑フィルタの各係数を設定する。
【００９８】
顔のサイズ：Ｎに応じた平滑フィルタのマトリックスサイズの設定方法と、平滑強度に応じた平滑フィルタ係数の設定の方法については、第一の実施の形態で説明した内容と同様なのでここでは省略する。
【００９９】
平滑フィルタ部２０４で平滑処理された画像データは、階調補正部２０５へ入力され、階調補正テーブル作成部２０２で作成した階調補正テーブルに基づいて階調補正される。
【０１００】
以上説明したように、顔領域の中心点からの距離が離れるほど平滑度を減少させ顔領域以外では平滑度を小さくすることで、背景よりも重要な被写体である顔領域に対する最適なノイズ除去を行うことが出来、画像中の顔領域の階調を目標とする明るさに補正する階調補正を行うことができる。
【０１０１】
また本実施の形態によれば、顔領域と顔領域以外との境界で、ノイズ除去の不自然な境界などの発生を抑制することができる。
【０１０２】
（第四の実施の形態）
本実施の形態では、さらに画像のエッジ度を算出し、エッジ度に応じてノイズ除去を行う方法について説明する。
【０１０３】
図１２は、本実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図で、図２と共通する部分は同じ記号で示し、それらの説明を省略する。
【０１０４】
前述の第一の実施の形態で示した図２と異なる点は、入力画像に対するエッジを算出するエッジ度算出部２０６が追加され、算出したエッジ度を平滑フィルタ部２０４へ入力する点である。
【０１０５】
エッジ度算出部２０６は、入力画像に対するエッジを検出し、そのエッジ度を算出するものであり、例えばＲＧＢデータから輝度変換した輝度値Ｙに対して、例えば図１３のようなエッジ度算出フィルタを用いて演算を行い、演算結果の絶対値をエッジ度として算出する。
【０１０６】
エッジ度算出フィルタは図１３で示したものに限定するものではなく、他の算出フィルタを用いてももちろん構わない。
【０１０７】
算出したエッジ度は、平滑フィルタ部２０４へ入力される。
【０１０８】
平滑フィルタ部２０４では、顔検出部２０１から入力された顔サイズに応じてマトリックスサイズを設定し、補正特性算出部２０３から入力された平滑強度に応じて平滑フィルタの係数を設定し、さらにエッジ度算出部２０６から入力されたエッジ度に応じて注目画素における平滑フィルタ処理を行うか否かを決定する。
【０１０９】
図１４は、本実施の形態に係る平滑フィルタ部２０４における処理を説明するフローチャートである。
【０１１０】
この平滑フィルタ部２０５では、エッジ度を予め設定した閾値：th_Eと比較し、ノイズ除去を行うか否かを決定する。ノイズ除去を行う画素については、前述のように設定されたマトリックスサイズと平滑フィルタの係数を用いて平滑フィルタ処理による平滑化を行う。
【０１１１】
尚、本実施の形態では、この処理はＲＡＭ１０４に記憶されたプログラムに従ってＣＰＵ１０１が実行する処理により実現されている。
【０１１２】
まずステップＳ４１は、エッジ度を予め定めた閾値：th_Eと比較を行う。
【０１１３】
エッジ度が閾値：th_Eよりも大きい場合（ＹＥＳ）は、エッジであるので平滑処理を行わずに終了する。
【０１１４】
それ以外の場合（Ｎｏ）は、ノイズ除去を行うため平滑フィルタ処理を実施するため、Ｓ４２へ移る。
【０１１５】
次にステップＳ４２において、顔検出部２０１から入力される顔のサイズに応じて平滑フィルタのマトリックスサイズを設定し、ステップＳ４３へ移る。ステップＳ４３では、補正特性算出部２０３から入力される平滑強度に応じて平滑フィルタの係数を設定し、ステップＳ４４へ移る。
【０１１６】
上記マトリックスサイズの設定と、平滑フィルタの係数設定の詳細については、第一の実施の形態で説明した内容と同様なのでここでは省略する。
【０１１７】
ステップＳ４４では、設定された平滑フィルタに基づいて平滑フィルタ処理を行い、処理結果を出力して終了する。
【０１１８】
本実施の形態では、エッジ度の大きさに従って平滑フィルタ処理を行うか否かを決定したが、エッジ度の大きさが大きくなるにつれて平滑フィルタ処理の平滑強度が弱くなるような平滑フィルタ係数を設定するようにしてもよい。
【０１１９】
平滑フィルタ部２０４で平滑処理された画像データは、階調補正部２０５へ入力され、階調補正テーブル作成部２０２で作成した階調補正テーブルに基づいて階調補正される。
【０１２０】
以上説明したように、入力画像中の顔領域を検出して顔領域の代表輝度値を算出して、目標輝度へ補正する階調補正テーブルを作成するので顔領域の階調を目標とする明るさに補正することが出来、入力画像のエッジ度を算出し、エッジ度の大きさに応じてノイズ除去を行うか否かを判断し、ノイズ除去を行う場合は、顔領域のサイズに従って決定される平滑マトリックスサイズと、階調補正テーブルの傾きに従って決定される平滑強度とから平滑フィルタ処理を実施してノイズを除去した後、作成した階調補正テーブルに基づいて階調補正することで、階調補正の補正量の大きさと顔領域の大きさと、更に画像中のエッジの大きさに従って最適なノイズ除去を施すことが出来る。
【０１２１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１２２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(ＯＳ)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２４】
以下に本発明の目的ないしは効果を記載する。
【０１２５】
（請求項１）〜（請求項３）記載の発明では、
画像データに対して階調変換を行う階調補正処理とノイズ低減を行う平滑フィルタ処理とを施す画像処理装置であって、
顔領域のデータ分布を解析した特徴量により階調補正テーブルを作成し、画像データに対して階調変換を施す階調補正手段と、
前記顔領域の大きさと、前記階調補正テーブルの入力値と出力値の関係を表す値と応じて平滑強度を設定して平滑を行う平滑フィルタ処理手段と、
を有することを特徴とし、画像中の顔の特徴に応じた階調補正テーブルの作成と、作成した階調補正テーブルの傾きと顔のサイズに応じて画像に対してノイズ除去を行うことを目的とする。
【０１２６】
（請求項４）記載の発明では、
さらに、画像中のエッジ度を算出するエッジ度算出手段を有し、
注目画素における前記エッジ度に応じて前記フィルタ処理の係数を変化させることを特徴とし、画像中のエッジ、顔でいえば眉やまぶたや唇などのエッジを残しつつノイズ除去を行うことを目的とする。
【０１２７】
（請求項５）記載の発明では、
前記平滑フィルタ処理手段は、前記顔領域の範囲において平滑フィルタ処理を行うことを特徴とし、特に画像中の顔に特化してノイズ除去を行うことを目的とする。
【０１２８】
（請求項６）記載の発明では、
前記平滑フィルタ処理手段は、前記顔領域の範囲において平滑フィルタ処理を行い、
前記顔領域の範囲の周辺においては、平滑フィルタ処理の影響を徐々に小さくすることを特徴とし、特に画像中の顔に特化して顔の周辺でのノイズ除去処理のＯＮ／ＯＦＦなどの急激な切り替わりが目立たないようにノイズ除去を行うことを目的とする。
【０１２９】
(請求項７)記載の発明では、
画像データに対して階調変換を行う階調補正処理とノイズ低減を行う平滑フィルタ処理とを施す画像処理方法を提供することを目的とする。
【０１３０】
(請求項８)記載の発明では、
画像データに対して階調変換を行う階調補正処理とノイズ低減を行う平滑フィルタ処理とを施す画像処理方法をコンピュータに実現するためのプログラムを提供することを目的とする。
【０１３１】
(請求項９)記載の発明では、
画像データに対して階調変換を行う階調補正処理とノイズ低減を行う平滑フィルタ処理とを施す画像処理方法をコンピュータに実現するためのプログラムを記録したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【０１３２】
請求項１，２，３，７，８，９記載の発明によれば、顔領域の明るさを予め定めた目標値へ補正する階調補正テーブルを作成し、作成した階調補正テーブルの補正の傾きと、顔領域のサイズに従って、平滑フィルタに用いるマトリックスサイズと平滑フィルタ係数を設定しているので、注目画素ごとに最適な平滑フィルタ処理を実施しノイズ除去を行うことができ、かつ画像中の顔を目標値へ明るく補正することができる。
【０１３３】
請求項４記載の発明によれば、画像データのエッジ度を算出することによりエッジ度が大きい画素においては平滑強度が減少するように平滑フィルタ係数を設定しているので、画像のエッジを保存しつつ、ノイズ除去を行い、かつ画像中の顔を目標値へ明るく補正することができる
【０１３４】
請求項５記載の発明によれば、顔領域の範囲内と顔領域の範囲外で平滑フィルタ処理を変えているので、顔領域においては顔領域に適した平滑フィルタ処理を行うことができる。
【０１３５】
請求項６記載の発明によれば、顔領域の範囲内と顔領域の範囲外で平滑フィルタ処理の強度を徐々に弱くするようにしているので、顔領域と顔領域以外との協会で平滑フィルタ処理の平滑強度の切り替わりによる不自然な境界などの発生を抑制することができる。
【０１３６】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々の変更実施が可能である。
【図面の簡単な説明】
【０１３７】
【図１】本発明の第一の実施の形態に係るＰＣとプリンタを接続したシステムの構成を説明する図である。
【図２】本発明の第一の実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図である。
【図３】輝度ヒストグラムの作成方法について示す図である。
【図４】入力輝度値と出力輝度値を示す図である。
【図５】作成した階調補正テーブルの例を示す図である。
【図６】顔のサイズＮの関数となることを説明する図である。
【図７】階調補正部２０５の処理の流れを詳細に示す図である。
【図８】本発明の第二の実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図である。
【図９】本発明の第三の実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図である。
【図１０】本発明の第三の実施の形態において処理対象とする画像と、画像に基づいて顔領域を検出した一例を示す図である。
【図１１】平滑強度補正値：Ｈを小さくしていく方法を説明する図である。
【図１２】本発明の第四の実施の形態に係るＰＣ１００における画像処理の機能を説明するブロック図。
【図１３】入力画像に対するエッジを検出し、そのエッジ度を算出する図である。
【図１４】本発明の第四の実施の形態に係る平滑フィルタ部２０４における処理を説明するフローチャートである。
【符号の説明】
【０１３８】
１００    ＰＣ
１０１    ＣＰＵ
１０２    ＲＯＭ
１０３    表示装置
１０４    ＲＡＭ
１０５    ２次記憶装置
１０６    マウス
１０７    キーボード
１０８    インターフェース
１０９    プリンタ
【図１】
2009145991.tif 000003
【図２】
2009145991.tif 000004
【図３】
2009145991.tif 000005
【図４】
2009145991.tif 000006
【図５】
2009145991.tif 000007
【図６】
2009145991.tif 000008
【図７】
2009145991.tif 000009
【図８】
2009145991.tif 000010
【図９】
2009145991.tif 000011
【図１０】
2009145991.tif 000012
【図１１】
2009145991.tif 000013
【図１２】
2009145991.tif 000014
【図１３】
2009145991.tif 000015
【図１４】
2009145991.tif 000016