(57)【要約】【課題】画像の明るさを適切に補正する。【解決手段】入力画像に含まれる主要被写体（例えば顔）に対する補正目標値に基づいたガンマテーブルを設定する。入力画像から予測した照明光成分を、このガンマテーブルを用いて変換して変換照明光成分を得る。照明光成分と変換照明光成分とに基づき、注目画素の輝度を補正目標値に近い値に補正するような補正量を算出する。算出したこの補正量を用いて、入力画像の輝度を画素毎に補正する。【選択図】図９−５
2010283690.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定手段と、
前記入力画像の照明光成分を画素毎に予測する予測手段と、
前記照明光成分に対して前記ガンマテーブルによる変換を行う変換手段と、
前記照明光成分と、前記変換手段で該照明光成分が変換された変換照明光成分とに基づき、前記入力画像の輝度を補正するための補正量を算出する算出手段と、
前記算出手段で算出された前記補正量を用いて前記入力画像の輝度を画素毎に補正する補正手段と
を有する
ことを特徴とする画像処理装置。
【請求項２】
前記主要被写体の輝度を前記ガンマテーブルに従い変換した輝度と、前記照明光成分を前記変換手段で変換した変換照明光成分で該照明光成分を置き換えた場合の前記主要被写体の輝度とを所定の比率で合成した合成輝度を算出する合成輝度算出手段をさらに有し、
前記算出手段は、
該主要被写体の輝度を前記合成輝度に補正することで該主要被写体の輝度を近似的に前記補正目標値に補正する補正量を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、
前記主要被写体の輝度が前記入力画像中の注目画素の前記照明光成分よりも小さい場合に、
前記注目画素の輝度が、該注目画素の照明光成分よりも小さければ、該主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
前記注目画素の輝度が該注目画素の前記照明光成分以上であれば、前記照明光成分と前記変換照明光成分との比を前記補正量として算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記算出手段は、
前記入力画像中の注目画素の前記照明光成分が前記主要被写体の輝度よりも小さい場合に、
前記注目画素の輝度が該注目画素の前記照明光成分より大きければ、該主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
前記注目画素の輝度が該注目画素の前記照明光成分以下であれば、前記照明光成分と前記変換照明光成分との比を前記補正量として算出する
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記主要被写体が逆光状態および順光状態の何れであるかを判定する判定手段をさらに有し、
前記算出手段は、
前記判定手段の判定結果をさらに用いて前記補正量を算出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記算出手段は、
前記判定手段の判定結果が前記逆光状態を示していたら、前記照明光成分が前記主要被写体の輝度以上の場合に、前記主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
前記判定手段の判定結果が前記順光状態を示していたら、前記照明光成分が前記主要被写体の輝度以下の場合に、前記主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
前記判定手段の判定結果が前記逆光状態および前記順光状態の何れも示していなければ、前記照明光成分と前記変換照明光成分との比を前記補正量として算出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記判定手段は、
前記入力画像中の前記主要被写体位置での前記照明光成分と該主要被写体の輝度との差分が所定以上の場合に、
前記入力画像中の前記主要被写体位置での前記照明光成分が該主要被写体の輝度より大きければ前記逆光状態であると判定し、
前記入力画像中の前記主要被写体位置での前記照明光成分が該主要被写体の輝度より小さければ前記逆光状態であると判定し、
前記入力画像中の前記主要被写体位置での前記照明光成分と該主要被写体の輝度との差分が所定未満の場合に、前記逆光状態および前記順光状態の何れでもないと判定する
ことを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記主要被写体の輝度を前記ガンマテーブルに従い変換した輝度と、前記照明光成分を前記変換手段で変換した変換照明光成分で該照明光成分を置き換えた場合の前記主要被写体の輝度とを所定の比率で合成した合成輝度を算出する合成輝度算出手段をさらに有し、
前記設定手段は、
前前記主要被写体の輝度が、記補正手段で前記補正量により前記合成輝度に補正され、近似的に前記補正目標値に補正されるように、前記ガンマテーブルを設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記設定手段は、
前記主要被写体の輝度を前記補正目標値に変換する仮ガンマテーブルを作成し、前記合成輝度に応じて前記仮ガンマテーブルを調整して前記ガンマテーブルを設定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記設定手段は、
前記主要被写体の位置における照明光成分を置き換えて該主要被写体の輝度を前記合成輝度に変換する変換主要被写体照明光成分を算出し、
前記主要被写体の位置における照明光成分を前記変換主要被写体照明光成分に変換するガンマテーブルを設定する
ことを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１１】
入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定ステップと、
前記入力画像の照明光成分を画素毎に予測する予測ステップと、
前記照明光成分に対して前記ガンマテーブルによる変換を行う変換ステップと、
前記照明光成分と、前記変換手段で該照明光成分が変換された変換照明光成分とに基づき、前記入力画像の輝度を補正するための補正量を算出する算出ステップと、
前記算出ステップで算出された前記補正量を用いて前記入力画像の輝度を画素毎に補正する補正ステップと
を有する
ことを特徴とする画像処理方法。
【請求項１２】
入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定ステップと、
前記入力画像の照明光成分を画素毎に予測する予測ステップと、
前記照明光成分に対して前記ガンマテーブルによる変換を行う変換ステップと、
前記照明光成分と、前記変換手段で該照明光成分が変換された変換照明光成分とに基づき、前記入力画像の輝度を補正するための補正量を算出する算出ステップと、
前記算出ステップで算出された前記補正量を用いて前記入力画像の輝度を画素毎に補正する補正ステップと
をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の明るさを補正する画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
撮影により得られた画像は、逆光状態での撮影あるいは夜間撮影のために露出不足で被写体が暗く写っていたり、物陰に該当する部分を含んでいるために画像の一部分が暗かったりするケースがある。そこで、近年では、デジタルカメラに対して、このような明るさが不適切な画像に対してユーザが補正レベルやガンマ形状を指定して明るさ補正を行う機能や、画像特徴に基づいて自動的にガンマテーブルを作成してガンマ変換する明るさ補正を行う機能が搭載されるようになってきている。
【０００３】
特に、人物の肌の色には、多くの人が好ましいと感じる色や明るさが存在する。そのため、画像中の顔あるいは人物の肌色を何らかの方法で検知し、好ましい明るさになるようなガンマテーブルを選択または作成して明るさ補正することは、従来から行われており、また重要視もされている。
【０００４】
例えば、特許文献１には、マルチバンド画像データから画像中の特定物体の領域を識別し、識別結果に基づきマルチバンド画像データに対して所定のデータ処理を施すようにした技術が記載されている。ここで、特定物体とは例えば人間の肌であり、特許文献１では、人間の肌の領域が適切な明るさになるような補正テーブルを選択して画像全体の明度補正を行うようにしている。
【０００５】
また、従来から、Retinex（レチネックス）理論に基づき、画像を照明光成分と反射率成分とに分解し、反射率成分を出力する技術が知られている。人間の目は、照明光に依らず明るさや色を知覚できる明るさの恒常性、色の恒常性を持っている。これを網膜モデルとしてモデル化したのが、このレネチックス理論である。このレチネックス理論に基づく明るさ補正方法では、画像全体の明るさや主被写体の明るさを狙い通りにコントロールすることが一般的に困難とされている。特許文献２には、処理するデジタル画像の主被写体、例えば顔の明るさに対して最適に明るさ分布を改善するパラメータを適切に設定する方法が記載されている。
【０００６】
さらに、特許文献３には、通常の線形特性領域だけの撮影センサに対して、線形特性領域と対数特性領域からなる光電変換特性を有する撮影センサ（リニアログセンサ）を用いて広ダイナミックレンジで撮影された画像のダイナミックレンジを圧縮することで、明るさ分布の改善を図るようにした技術が記載されている。
【０００７】
すなわち、特許文献３では、リニアログセンサで撮影された広ダイナミックレンジ画像から反射率成分と照明光成分とを予測し、予測された照明光成分をダイナミックレンジ圧縮して、予測された反射率成分と合成する。これにより、コントラストを維持したまま、広ダイナミックレンジ画像に対応していない表示系（モニタなど）のダイナミックレンジに収まるように、入力画像のダイナミックレンジを圧縮する。また、特許文献３では、主要被写体（例えば人物の顔）において照明光成分が圧縮されて階調が潰れるのを防ぐため、主要被写体の輝度から設定されたレベル値以上のみを、対数特性に基づきダイナミックレンジ圧縮するようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１によれば、顔の明るさを狙い通りの適切な明るさに補正することができる一方で、１つのガンマテーブルで画像全体の明るさを補正するため、階調潰れが発生する輝度範囲が存在するというトレードオフがある。したがって、階調潰れによりコントラストが低下し、ぼけてシャープネスが低下した印象の画像になってしまうおそれがあるという問題点があった。
【０００９】
特許文献２では、レチネックス理論に基づき入力画像から低周波成分を抽出することで照明光成分を予測する。最も一般的なランダムウォーク型のレチネックスでは、入力画像にガウシアンフィルタをかけることで低周波成分を抽出して照明光成分を予測する。反射率成分からなる画像は、入力画像から照明むらを取り除いた均一照明下におけるシーンの見えを再現するものとみなすことができ、コントラストを維持したまま明るさ補正を行うことができる。
【００１０】
しかしながら、特許文献２による補正は、明るいところが暗くなり、暗いところが明るくなる補正であり、全体的に奥行き感のない不自然な印象の画像になってしまうことがしばしば生じるという問題点があった。例えば、特許文献２による補正では、白い花びらの画像が暗く補正されて灰色の色が付いてしまうというようなことが起こる。
【００１１】
一方、レチネックス理論の応用として、入力画像から照明光成分を分離して残りの反射率成分を出力するのではなく、分離した照明光成分をガンマ変換し、反射率成分とガンマ変換後の照明光成分とを合成した画像を出力するようにした明るさ補正方法も提案されている。これは、反射率成分の除去ではなく反射率成分の置き換えになるため、上述したような白い花びらに灰色の色が付いてしまうような不自然なことは起こらず、コントラストを維持したまま適度に画像の明るさを補正することができる。
【００１２】
上述した特許文献３は、撮影センサとしてリニアログセンサを用いて撮影された広ダイナミックレンジ画像を入力画像として、撮影センサの特性に基づき決定されるガンマテーブルを用いて照明光成分の置き換えを行っている。この場合の照明光成分の置き換えは、ダイナミックレンジ圧縮に該当し、リニアログセンサの特性に基づいてガンマテーブルが決定される。
【００１３】
ところで、照明光成分の置き換えによる明るさ補正を行うに当たり、従来では、照明光成分を変換するガンマテーブルを適切に設定する方法が確立されていなかったという問題点があった。すなわち、従来では、照明光成分を変換するためのガンマテーブルの、画像毎に適した明るさ補正を行うための設定方法や、画像全体の明るさ、特に主要被写体を狙い通りの明るさに補正するための設定方法などが確立されていなかった。これは、通常の撮影画像に対して明るさ補正を行う場合に限らず、広ダイナミックレンジ画像が対象であってもダイナミックレンジ圧縮だけでなく好ましい明るさへの補正も併せて行う場合でも同様であった。
【００１４】
照明光成分の置き換えを行う方法は、特許文献３のように広ダイナミックレンジ画像に対して適用される例が多かった。照明光成分の置き換えを行う方法を通常撮影画像に対して適用する例としては、画像に関わらず固定のガンマテーブルを用いる例や、予め準備された数種類のガンマテーブルからユーザが選択する例などに限られていた。
【００１５】
例えば、特許文献１に示されるような、顔の明るさが適切に補正されるようなガンマテーブルを照明光成分に対して適用すると、顔の明るさは、周辺の明るさ（≒照明光成分）とのコントラストが小さければ略狙いに近い明るさに補正できるが、コントラストが大きい場合は狙いから大きくずれた明るさに補正されてしまうという問題点があった。
【００１６】
本発明は、上記に鑑みてなされたものであって、画像の明るさを適切に補正することができる画像処理装置、画像処理方法、プログラムおよび記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上述した課題を解決し、目的を達成するために、本発明は、入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定手段と、入力画像の照明光成分を画素毎に予測する予測手段と、照明光成分に対してガンマテーブルによる変換を行う変換手段と、照明光成分と、変換手段で照明光成分が変換された変換照明光成分とに基づき、入力画像の輝度を補正するための補正量を算出する算出手段と、算出手段で算出された補正量を用いて入力画像の輝度を画素毎に補正する補正手段とを有することを特徴とする。
【００１８】
また、本発明は、入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定ステップと、入力画像の照明光成分を画素毎に予測する予測ステップと、照明光成分に対してガンマテーブルによる変換を行う変換ステップと、照明光成分と、変換手段で照明光成分が変換された変換照明光成分とに基づき、入力画像の輝度を補正するための補正量を算出する算出ステップと、算出ステップで算出された補正量を用いて入力画像の輝度を画素毎に補正する補正ステップとを有することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、入力画像の照明光成分に対して、入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルによる変換を行うようにしているため、画像の明るさを適切に補正することができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】図１は、第１の実施形態による画像処理装置の一例の構成を示すブロック図である。
【図２】図２は、ガンマテーブル設定部によるガンマテーブル設定処理を示す一例のフローチャートである。
【図３】図３は、補正量決定部における補正量Ｐの一例の決定処理を示すフローチャートである。
【図４】図４は、顔無し用の補正量Ｐnfを求める際の補正量決定部の機能を示す一例の機能ブロック図である。
【図５−１】図５−１は、ガンマテーブルｇ1()によるガンマ曲線の一例を示す略線図である。
【図５−２】図５−２は、補正量Ｐnfを用いて明るさ補正を行った場合の、注目画素の輝度Ｙiと補正後の輝度Ｙoとの一例の関係を示す略線図である。
【図６】図６は、顔有り用の補正量Ｐfを求める際の補正量決定部の機能を示す一例の機能ブロック図である。
【図７】図７は、顔出力輝度決定部の機能を示す一例の機能ブロック図である。
【図８】図８は、輝度比算出部が輝度比Ｒを算出する際の一例の処理を示すフローチャートである。
【図９−１】図９−１は、顔の輝度Ｙfを補正目標値である変換顔輝度ｇ2(Ｙf)に変換するガンマテーブルｇ2()によるガンマ曲線の一例を示す略線図である。
【図９−２】図９−２は、第１の算出方法により算出される補正量Ｐfによる一例の補正を示す略線図である。
【図９−３】図９−３は、第２の算出方法により算出される補正量Ｐfによる一例の補正を示す略線図である。
【図９−４】図９−４は、第３の算出方法により算出される補正量Ｐfによる一例の補正を示す略線図である。
【図９−５】図９−５は、第１乃至第３の算出方法について説明するための略線図である。
【図１０】図１０は、第２の実施形態による、顔有り用の補正量Ｐfを求める際の補正量決定部の機能を示す一例の機能ブロック図である。
【図１１】図１１は、第２の実施形態における輝度比算出部による顔有り用の補正量Ｐfを算出する際の一例の処理を示すフローチャートである。
【図１２−１】図１２−１は、逆光／順光判定部により逆光と判定された場合の処理を説明するための略線図である。
【図１２−２】図１２−２は、逆光／順光判定部により順光と判定された場合の処理を説明するための略線図である。
【図１３】図１３は、第３の実施形態による画像処理装置の一例の構成を示すブロック図である。
【図１４】図１４は、顔有り用のガンマ設定を行うガンマテーブル設定部の機能を示す一例の機能ブロック図である。
【図１５−１】図１５−１は、ガンマテーブル調整部により仮ガンマテーブルｇ2()がガンマテーブルｇ3()に変換される例を示す略線図である。
【図１５−２】図１５−２は、ガンマテーブル調整部により仮ガンマテーブルｇ2()がガンマテーブルｇ3()に変換される例を示す略線図である。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下に添付図面を参照して、この発明に係る画像処理装置の最良な実施の形態を詳細に説明する。図１は、本発明の第１の実施形態による画像処理装置の一例の構成を示す。Ｒi（赤色）、Ｇi（緑色）およびＢi（青色）の各色の画素からなるビットマップ形式の画像データが入力画像(Ｒｉ,Ｇｉ,Ｂｉ)として入力され、輝度変換部１および明るさ補正部９にそれぞれ供給される。輝度変換部１は、入力画像(Ｒｉ,Ｇｉ,Ｂｉ)における各画素のＲＧＢ値を、次式（１）に従い輝度Ｙiに変換する。
Ｙi＝０.３０×Ｒi＋０.５９×Ｇi＋０.１１×Ｂi    …（１）
【００２２】
輝度変換部１から出力された輝度Ｙiは、補正量決定部８、照明光成分予測部５、顔座標取得部２、顔輝度検出部３およびガンマテーブル設定部４にそれぞれ供給される。
【００２３】
顔座標取得部２は、入力画像に含まれる顔画像の、入力画像データにおける座標を取得する。例えば、顔座標取得部２は、図示されない表示部に表示される入力画像に基づき図示されない操作部を介してユーザが指定した顔位置を示す矩形の座標を、顔画像の座標として取得する。取得された顔画像の座標を示す顔座標情報は、顔輝度検出部３、ガンマテーブル設定部４および補正量決定部８にそれぞれ供給される。顔座標取得部２は、入力画像に顔が含まれないときは、顔の有無を示す情報を顔座標情報として出力する。
【００２４】
なお、顔座標取得部２は、ユーザ操作により指示された矩形の座標を顔座標として出力するのに限らず、供給された輝度Ｙiに基づき既知の手法により顔検出を行い、検出結果に基づき顔の有無および顔座標を求めるようにしてもよい。
【００２５】
顔輝度検出部３は、輝度変換部１から供給された輝度Ｙiと、顔座標取得部２から供給された顔座標情報とに基づき、顔の輝度Ｙfを求める。より具体的には、顔輝度検出部３は、顔座標情報に示される矩形（以下、顔領域と呼ぶ）内の肌色領域を検出し、検出された肌色領域の輝度Ｙ1に基づき当該肌色領域の平均輝度を求めて、顔の輝度Ｙfとする。顔の輝度Ｙfは、ガンマテーブル設定部４、顔輝度ガンマ変換部７および補正量決定部８にそれぞれ供給される。
【００２６】
一例として、肌色領域の検出は、顔領域内の輝度Ｙ1から輝度のヒストグラムを生成する。この顔領域の輝度ヒストグラムには、髪、眉および瞳からなる輝度が低い側のピークと、肌色領域からなる輝度が高い側のピークとの２つのピークが存在する。顔輝度検出部３は、判別分析法により、これら２つのピークの間にある極小値を取る輝度Ｙminを求め、この輝度Ｙminよりも大きい輝度からなる領域を肌色領域とする。
【００２７】
ガンマテーブル設定部４は、顔座標取得部２から出力される顔の有無を示す情報に基づき、入力画像の明るさ補正に用いるガンマテーブルを設定する。図２は、ガンマテーブル設定部４によるガンマテーブル設定処理を示す一例のフローチャートである。ガンマテーブル設定部４は、先ず、顔座標取得部２から供給される顔座標情報に基づき入力画像に顔が含まれるか否かを判定する（ステップＳ１０）。
【００２８】
若し、入力画像に顔が含まれると判定されたら、処理はステップＳ１１に移行され、ガンマテーブルに対して顔有り用のガンマ設定を行う。顔有り用のガンマ設定では、顔の輝度Ｙfに基づき顔の輝度を補正目標値に変換するようなガンマテーブルを設定する。この顔有り用のガンマテーブルは、例えば予め与えられるものである。
【００２９】
一方、入力画像に顔が含まれないと判定されたら、処理はステップＳ１２に移行され、ガンマテーブルに対して顔無し用のガンマ設定を行う。顔無し用のガンマ設定では、例えば、入力画像の輝度Ｙiから輝度ヒストグラムを作成し、この輝度ヒストグラムが平滑化されるようなガンマテーブルを設定する。輝度ヒストグラムからガンマテーブルを設定する方法としては、例えば特開２０００−６９３２７号公報に記載されるような、入力される輝度信号を複数の信号レベルに分割してその分布数に基づきヒストグラムを作成し、ヒストグラムの情報から二次曲線で表されるガンマ補正関数の定数値を決定する方法を用いることができる。
【００３０】
なお、ガンマテーブルは、顔有り用および顔無し用の何れも、上に凸の形状の曲線をなすものとする。ガンマテーブル設定部４で設定されたガンマテーブルは、照明光ガンマ変換部６および顔輝度ガンマ変換部７にそれぞれ供給される。
【００３１】
以下では、ガンマテーブルを一般的に関数ｇ()と表し、顔無し用のガンマテーブルを関数ｇ1()、顔有り用のガンマテーブルを関数ｇ2()でそれぞれ表す。また、ガンマテーブルを表す関数ｇx()を、適宜、ガンマテーブルｇx()と呼ぶ。
【００３２】
一方、照明光成分予測部５は、注目画素の照明光成分の輝度Ｌ（以下、照明光成分Ｌと呼ぶ）を予測する。例えば、照明光成分予測部５は、式（２）に示されるように、注目画素および当該注目画素の周辺画素の輝度Ｙiに対して、式（３）および式（４）に示されるガウシアン関数Ｆとの畳み込み積和演算を行う。この演算により注目画素および周辺画素による画像の低周波成分を抽出し、抽出されたこの低周波成分を、注目画素の照明光成分Ｌとして予測する。なお、式（２）〜式（４）において、座標(ｘ,ｙ)は、注目画素の位置を示す。また、値σは、ガウシアン関数のパラメータである標準偏差である。
【００３３】
【数１】
2010283690.tif 000003
【数２】
2010283690.tif 000004
【数３】
2010283690.tif 000005
【００３４】
照明光成分予測部５で予測された照明光成分Ｌは、照明光ガンマ変換部６および補正量決定部８にそれぞれ供給される。
【００３５】
照明光ガンマ変換部６は、照明光成分予測部５から供給された照明光成分Ｌを、ガンマテーブル設定部４で設定されたガンマテーブルｇ1()またはｇ2()を用いて変換し、変換照明光成分ｇ(Ｌ)を得る。変換照明光成分ｇ(Ｌ)は、補正量決定部８に供給される。
【００３６】
顔輝度ガンマ変換部７は、入力画像に対して顔画像が含まれる場合に機能する。顔輝度ガンマ変換部７は、例えばガンマテーブル設定部４において顔有り用のガンマテーブルｇ2()が設定された場合に、顔輝度検出部３から供給された顔輝度Ｙfを当該ガンマテーブルｇ2()を用いて変換し、変換顔輝度ｇ(Ｙf)を得る。変換顔輝度ｇ(Ｙf)は、補正量決定部８に供給される。
【００３７】
補正量決定部８は、注目画素の輝度Ｙi、照明光成分Ｌ、ならびに、変換照明光成分ｇ(Ｌ)および変換顔輝度ｇ(Ｙf)に基づき、後述するようにして、明るさ補正部９で入力画像の明るさを補正するために用いる補正量Ｐを、画素毎に決定する。補正量決定部８で決定された補正量Ｐは、明るさ補正部９に供給される。
【００３８】
明るさ補正部９は、入力画像(Ｒｉ,Ｇｉ,Ｂｉ)をこの補正量Ｐに基づき画素毎に補正して、出力画像(Ｒｏ,Ｇｏ,Ｂｏ)を出力する。
【００３９】
より具体的には、明るさ補正部９は、補正量決定部８から供給された補正量Ｐを、下記の式（５）に例示されるように、入力画像(Ｒi,Ｇi,Ｂi)の各画素のＲＧＢ値それぞれに乗じることで、注目画素に対する明るさ補正を行う。なお、式（５）において、min(ａ,ｂ)は、括弧内に併記された値のうち最小の値を選択することを意味する。
Ｒo＝min(Ｒi×Ｐ,Ｙmax)
Ｇo＝min(Ｇi×Ｐ,Ｙmax)
Ｂo＝min(Ｂi×Ｐ,Ｙmax)    …（５）
【００４０】
上述した式（１）により、ＲＧＢ値のそれぞれと輝度Ｙとは線形変換の関係にある。したがって、上述の式（５）に例示されるように、ＲＧＢ値それぞれに対して補正量Ｐを乗ずると、出力画像(Ｒo,Ｇo,Ｂo)に対応する輝度は、入力画像(Ｒi,Ｇi,Ｂi)に対応する輝度Ｙiに補正量Ｐを乗算した値と等しくなる。すなわち、入力画像(Ｒi,Ｇi,Ｂi)の輝度成分を補正量Ｐ倍していることになる。
【００４１】
＜明るさ補正に用いる補正量の算出＞
次に、本発明の第１の実施形態による明るさ補正処理について説明する。本第１の実施形態では、式（６）に示されるように、照明光成分Ｌとガンマ変換後の変換照明光成分ｇ(Ｌ)との比を注目画素の輝度Ｙiに対して乗ずることで、注目画素の輝度Ｙiの照明光成分Ｌを変換照明光成分ｇ(Ｌ)に置き換えた、補正後の輝度Ｙoを得る。
Ｙo＝{ｇ(Ｌ)／Ｌ}×Ｙi    …（６）
【００４２】
公知理論として、ディジタルカメラなどで撮影されて得られた入力画像Ｉは、照明光成分Ｌと反射率成分Ｒとを式（７）に従い合成したものとして表される。
Ｉ＝Ｌ×Ｒ    …（７）
【００４３】
ここで、照明光成分Ｌを所定に変換された照明光成分Ｌ’で置き換えると、式（７）は、次式（８）のように表すことができる。
Ｉ’＝Ｌ’×Ｒ    …（８）
【００４４】
式（７）および式（８）から、次式（９）が成り立ち、これは式（１０）のように表すことができる。
Ｉ’／Ｉ＝Ｌ’／Ｌ    …（９）
Ｉ’＝(Ｌ’／Ｌ)×Ｉ    …（１０）
【００４５】
したがって、この式（１０）と上述の式（６）とから、式（６）は、注目画素の輝度Ｙiの照明光成分Ｌをガンマ変換された変換照明光成分ｇ(Ｌ)に置き換えた場合の、注目画素の輝度Ｙiに対する補正後の輝度Ｙoを表していると考えることができる。
【００４６】
補正量決定部８は、式（６）における入力画像Ｙiに対する係数ｇ(Ｌ)／Ｌを、補正量Ｐとして求める。図３は、補正量決定部８における補正量Ｐの一例の決定処理を示すフローチャートである。補正量決定部８は、顔座標取得部２から供給される顔座標情報に基づき、入力画像に顔が含まれるか否かを判定する（ステップＳ２０）。若し、入力画像に顔が含まれると判定したら、処理はステップＳ２１に移行し、後述する処理により顔有り用の補正量Ｐfを求め、この顔有り用の補正量Ｐfを最終的な補正量Ｐに決定する。一方、入力画像に顔が含まれないと判定したら、処理はステップＳ２２に移行し、後述する処理により顔無し用の補正量Ｐnfを求め、この顔無し用の補正量Ｐnfを最終的な補正量Ｐに決定する。
【００４７】
＜顔無し用の補正量Ｐnf＞
先ず、ステップＳ２２の、顔無し用の補正量Ｐnfを求める方法について説明する。図４は、顔無し用の補正量Ｐnfを求める際の補正量決定部８の機能を示す一例の機能ブロック図である。補正量決定部８は、輝度比算出部８０により、照明光成分Ｌと変換照明光成分ｇ1(Ｌ)とから上述した係数ｇ(Ｌ)／Ｌを算出し、補正量Ｐnfとして出力する。
【００４８】
図５−１は、ガンマテーブルｇ1()によるガンマ曲線の一例を示す。このように、ガンマテーブルｇ1()は、単調増加で上に凸の形状を有するガンマ曲線をなす。図５−２は、上述した式（６）により得られた補正量Ｐnfを用いて明るさ補正を行った場合の、注目画素の輝度Ｙiと補正後の輝度Ｙoとの一例の関係を示す。
【００４９】
図５−２において、点線で示される曲線２００は、図５−１に例示される関数ｇ()で示されるガンマテーブルと同一である。また、上述した式（６）による注目画素の輝度Ｙiと補正後の輝度Ｙoとの関係の例を、直線２０１、２０２および２０３により示す。ここでは、図５−２において、注目画素の輝度Ｙiが輝度Ｙbであるものとして説明する。
【００５０】
直線２０１は、注目画素の輝度Ｙi（＝輝度Ｙb）と、照明光成分Ｌとが等しい場合の例である。直線２０２は、照明光成分Ｌの輝度が輝度Ｙc（＞輝度Ｙb）であって、注目画素の輝度Ｙiが照明光成分Ｌよりも小さい場合の例である。また、直線２０３は、照明光成分Ｌの輝度が輝度Ｙa（＜輝度Ｙb）であって、注目画素の輝度Ｙiが照明光成分Ｌよりも大きい場合の例である。
【００５１】
この図５−２および上述した式（６）から明らかなように、照明光成分Ｌが注目画素の輝度Ｙiと等しければ、注目画素の輝度Ｙiは、曲線２００で示されるガンマテーブルｇ1()に従い補正される。すなわち、注目画素の輝度Ｙiを輝度Ｙbとしたとき、当該注目画素の輝度Ｙiは、輝度ｇ1(Ｙb)に補正される。
【００５２】
一方、例えば照明光成分Ｌが注目画素の輝度Ｙiよりも高ければ、注目画素の輝度Ｙiは、式（６）に従い、ガンマテーブルｇ1()より補正された輝度よりも低い輝度に補正される。図５−２の例では、照明光成分Ｌの輝度が輝度Ｙc（＞輝度Ｙb）であれば、注目画素の輝度Ｙi（＝輝度Ｙb）は、傾きがｇ1(Ｌ)／Ｌである直線２０２に従い、上述した輝度ｇ1(Ｙb)より低い、輝度Ｙdに補正される。
【００５３】
また、例えば照明光成分Ｌが注目画素の輝度Ｙiよりも高ければ、注目画素の輝度Ｙiは、式（６）に従い、ガンマテーブルｇ1()により補正された輝度よりも高い輝度に補正される。図５−２の例では、照明光成分Ｌの輝度が輝度Ｙa（＜輝度Ｙb）であれば、注目画素の輝度Ｙi（＝輝度Ｙb）は、傾きがｇ1(Ｌ)／Ｌである直線２０３に従い、上述した輝度ｇ1(Ｙb)より高い、輝度Ｙeに補正される。
【００５４】
以上をまとめると、下記のようになる。
（ａ）Ｌ＝Ｙiの場合は、Ｙo＝ｇ1(Ｙi)になる。
（ｂ）Ｌ＞Ｙiの場合は、Ｙo＜ｇ1(Ｙi)になる。
（ｃ）Ｌ＜Ｙiの場合は、Ｙo＞ｇ1(Ｙi)になる。
これは、ガンマテーブルによるガンマ曲線の形状と上述した式（６）から明らかである。
【００５５】
＜顔有り用の補正量Ｐf＞
次に、ステップＳ２１の、顔有り用の補正量Ｐfを求める方法について説明する。図６は、顔有り用の補正量Ｐfを求める際の補正量決定部８の機能を示す一例の機能ブロック図である。補正量決定部８は、顔出力輝度決定部８２と、輝度比算出部８１とを有する。輝度比算出部８１は、顔出力輝度決定部８２から出力された第２の顔の出力輝度Ｙfo2と、注目画素の輝度Ｙiと、照明光成分Ｌと、変換照明光成分ｇ(Ｌ)と、顔の輝度Ｙfと、変換顔輝度ｇ(Ｙf)とから、注目画素の輝度Ｙiとの輝度比を算出し、顔有り用の補正量Ｐfを求める。
【００５６】
図７は、顔出力輝度決定部８２の機能を示す一例の機能ブロック図である。顔出力輝度決定部８２は、第１の顔の出力輝度算出部８３と、第２の顔の出力輝度算出部８４とを有する。第１の顔の出力輝度算出部８３は、顔の輝度Ｙfと、照明光成分Ｌと、変換照明光成分ｇ(Ｌ)とから、顔領域の注目画素の輝度Ｙi＝Ｙfに対する第１の顔の出力輝度Ｙfo1を、上述の式（６）を用いて算出する。より具体的には、第１の顔の出力輝度Ｙfo1を求める式は、下記の式（１１）のようになる。すなわち、第1の出力輝度Ｙfo1は、照明光成分Ｌを変換照明光成分ｇ(Ｌ)に置き換えた場合の顔の輝度Ｙfである。
Ｙfo1＝{ｇ(Ｌ)／Ｌ}×Ｙf    …（１１）
【００５７】
第２の顔の出力輝度算出部８４は、第１の顔の出力輝度算出部８３で算出された第１の顔の出力輝度Ｙfo1と、顔輝度ガンマ変換部７から供給される変換顔輝度ｇ(Ｙf)とを用いて、下記の式（１２）に従い、第２の顔の出力輝度Ｙfo2を算出する。この第２の顔の出力輝度Ｙfo2は、顔の輝度Ｙfに対する明るさ補正後の輝度である。
Ｙfo2＝(１−Ｅ)×Ｙfo1＋Ｅ×ｇ(Ｙf)    …（１２）
【００５８】
すなわち、顔出力輝度決定部８２は、第１の顔の出力輝度算出部８３で算出された、照明光成分Ｌを変換照明光成分ｇ(Ｌ)に置き換えた場合の顔の出力輝度Ｙfo1と、補正目標値である変換顔輝度ｇ2(Ｙf)とを、調整パラメータＥで決まる割合で合成して、第２の顔出力輝度Ｙfo2を算出する。
【００５９】
ここで、調整パラメータＥは、０≦Ｅ≦１の範囲をとる。調整パラメータＥ＝０であれば、第２の顔の出力輝度Ｙfo2＝第１の顔の出力輝度算Ｙfo1となり、図５−１および図５−２を用いて説明した、顔無し用の補正量Ｐnfを求める場合と同様にして顔有り用の補正量Ｐfが求められる。一方、調整パラメータＥ＝１であれば、第２の顔の出力輝度Ｙfo2＝変換顔輝度ｇ(Ｙf)となり、顔の輝度Ｙfが、補正目標値である顔有り用のガンマテーブルｇ2()による輝度ｇ2(Ｙf)に補正される。
【００６０】
照明光成分Ｌをガンマ変換された変換照明光成分ｇ(Ｌ)に置き換えて明るさ補正を行う場合の利点は、コントラスト維持の効果を保ったまま、顔の輝度を補正目標値に近くなるように補正できることにある。この利点を生かすためには、調整パラメータＥを０.５付近の値に設定するのが適当であると考えられる。これに限らず、調整パラメータＥの値は、ユーザ操作などにより変更可能としてもよい。例えば、ユーザが、明るさ補正後の画像を確認しながら、調整パラメータＥの値を０乃至１の範囲で適宜調整できるようにする。
【００６１】
補正量決定部８において、輝度比算出部８１は、顔出力輝度決定部８２から出力された第２の顔の出力輝度Ｙfo2の、注目画素の輝度Ｙiに対する比Ｒを算出する。算出されたこの輝度比Ｒが、顔有り用の補正量Ｐfとして、補正量決定部８から出力されることになる。
【００６２】
輝度比算出部８１は、顔有り用の補正量Ｐfを、当該補正量Ｐfによる補正後の輝度が、式（１２）を用いて説明した第２の顔の出力輝度Ｙfo2になるように決定する。これにより、顔の輝度Ｙfが補正目標値に近い輝度に変換される。
【００６３】
式（１２）は、式（６）に基づく第1の出力輝度Ｙfo1（＝{ｇ(Ｌ)／Ｌ}×Ｙf）の項を含む。そのため、本第1の実施形態では、輝度比Ｒすなわち顔有り用の補正量Ｐfを、図５−２を用いて説明した顔無し用の補正量Ｐnfを求める場合と同様に、照明光成分Ｌと、顔の輝度Ｙfとの関係に基づき、場合分けをして求める。
【００６４】
図８は、輝度比算出部８１が輝度比Ｒを算出する際の一例の処理を示すフローチャートである。輝度比算出部８１は、照明光成分Ｌと顔の輝度Ｙfとを比較し、比較結果に基づき輝度比Ｒの算出方法を選択する。
【００６５】
図８において、輝度比算出部８１は、ステップＳ３０で、照明光成分Ｌと顔の輝度Ｙfとが一致するか否かを判定し、一致する（照明光成分Ｌ＝顔の輝度Ｙf）と判定されたら、処理をステップＳ３１に移行させ、第１の算出方法で輝度比Ｒを算出する。一方、ステップＳ３０で照明光成分Ｌと顔の輝度Ｙfとが一致しないと判定されたら、処理はステップＳ３２に移行される。ステップＳ３２で、輝度比算出部８１は、照明光成分Ｌが顔の輝度Ｙfを超えているか否かを判定し、超えている（照明光成分Ｌ＞顔の輝度Ｙf）と判定されたら、処理をステップＳ３３に移行させ、第２の算出方法で輝度比Ｒを算出する。一方、照明光成分Ｌが顔の輝度Ｙf未満である（照明光成分Ｌ＜顔の輝度Ｙf）と判定されたら、処理はステップＳ３４に移行され、第３の算出方法で輝度比Ｒを算出する。
【００６６】
図９−１乃至図９−５を用いて、上述した第１乃至第３の算出方法について説明する。図９−１は、顔の輝度Ｙfを補正目標値である変換顔輝度ｇ2(Ｙf)に変換するガンマテーブルｇ2()によるガンマ曲線の一例を示す。このように、ガンマテーブルｇ2()によるガンマ曲線は、単調増加で上に凸の形状を有する。
【００６７】
図８のステップＳ３１における、第１の算出方法について説明する。照明光成分Ｌと顔の輝度Ｙfとが等しい場合には、下記の式（１３）に従い変換照明光成分ｇ2(Ｌ)と照明光成分Ｌとの比を求め、輝度比Ｒすなわち顔有り用の補正量Ｐfとする。
Ｐf＝ｇ2(Ｌ)／Ｌ    …（１３）
【００６８】
図９−２は、第１の算出方法により算出される補正量Ｐfによる一例の補正を示す。図９−２で実線２０４で例示されるように、、照明光成分Ｌと顔の輝度Ｙfとが等しい場合には、注目画素の輝度Ｙiは、顔有り用のガンマテーブルｇ2()に従い変換される。
【００６９】
図８のステップＳ３３における、第２の算出方法について説明する。この場合、注目画素の輝度Ｙi、顔の輝度Ｙfおよび照明光成分Ｌとの関係に基づき、下記に式（１４）、（１５）および（１６）として例示するように、３通りに場合分けを行って輝度比Ｒすなわち顔有り用の補正量Ｐfを求める。なお、以下において、輝度Ｙmは、照明光成分Ｌ＞顔の輝度Ｙfの場合の第２の顔の出力輝度Ｙfo2とする。
【００７０】
（ｄ）０≦Ｙi＜Ｙfの場合：
Ｐ＝Ｙm／Ｙf    …（１４）
【００７１】
（ｅ）Ｙf≦Ｙi＜Ｌの場合：
Ｐ＝{(ｇ2(Ｌ)−Ｙm)／(Ｌ−Ｙf)×(Ｙi−Ｙf)＋Ｙm}／Ｙi    …（１５）
【００７２】
（ｆ）Ｌ≦Ｙi≦Ｙmaxの場合：
Ｐ＝ｇ2(Ｌ)／Ｌ    …（１６）
【００７３】
なお、輝度Ｙmaxは、画素が取り得る輝度の最大値、すなわち、入力画像(Ｒｉ,Ｇｉ,Ｂｉ)の最大値を表す。
【００７４】
図９−３は、第２の算出方法により算出される補正量Ｐfによる一例の補正を示す。図９−３に実線２０５で例示されるように、照明光成分Ｌが顔の輝度Ｙfを超えている場合には、注目画素の輝度Ｙiは、顔の輝度Ｙfと照明光成分Ｌとを境界として、式（１４）、式（１５）および式（１６）に基づきそれぞれ変換される。
【００７５】
このように、第２の算出方法によれば、０≦Ｙi≦Ｌの入力輝度範囲で補正量が調整され、顔の輝度Ｙfが近似的に第２の顔の出力輝度Ｙfo2になるように補正することができるようになる。
【００７６】
図８のステップＳ３４における、第３の算出方法について説明する。この場合、注目画素の輝度Ｙi、顔の輝度Ｙfおよび照明光成分Ｌとの関係に基づき、下記に式（１７）、（１８）および（１９）として例示するように、３通りに場合分けを行って輝度比Ｒすなわち顔有り用の補正量Ｐfを求める。なお、以下において、輝度Ｙnは、照明光成分Ｌ＜顔の輝度Ｙfの場合の第２の顔の出力輝度Ｙfo2とする。
【００７７】
（ｇ）０≦Ｙi≦Ｌの場合：
Ｐ＝ｇ2(Ｌ)／Ｌ    …（１７）
【００７８】
（ｈ）Ｌ＜Ｙi≦Ｙfの場合：
Ｐ＝{(ｇ2(Ｌ)−Ｙn)／(Ｌ−Ｙf)×(Ｙi−Ｙf)＋Ｙn}／Ｙi    …（１８）
【００７９】
（ｉ）Ｙf＜Ｙi≦Ｙmaxの場合：
Ｐ＝[{(ｇ2(Ｙf)／Ｙf×Ｙmax)−Ｙn}／(Ｙmax−Ｙf)×(Ｙi−Ｙf)＋Ｙn]／Ｙi    …（１９）
【００８０】
図９−４は、第３の算出方法により算出される補正量Ｐfによる一例の補正を示す。図９−４に実線２０６で例示されるように、照明光成分Ｌが顔の輝度Ｙf未満である場合には、注目画素の輝度Ｙiは、顔の輝度Ｙfと照明光成分Ｌとをそれぞれ境界として、式（１７）、式（１８）および式（１９）に基づきそれぞれ変換される。
【００８１】
図９−５は、上述した図９−２乃至図９−４をまとめて示した図である。照明光成分Ｌの輝度が顔の輝度Ｙfと等しい場合には、注目画素の輝度Ｙiは、第１の算出方法に基づき、実線２０４に従い顔有り用のガンマテーブルｇ2()に従い変換される。一方、照明光成分Ｌの輝度が顔の輝度Ｙfを超える輝度Ｙcの場合には、第２の算出方法に基づき、注目画素の輝度Ｙiが式（１４）〜式（１６）に基づく実線２０５に従い変換される。また、照明光成分Ｌの輝度が顔の輝度Ｙf未満の輝度Ｙaの場合には、第３の算出方法に基づき、注目画素の輝度Ｙiが式（１７）〜式（１９）に基づく実線２０６に従い変換される。
【００８２】
このように、第３の算出方法によれば、Ｌ＜Ｙi≦Ｙmaxの入力輝度範囲で補正量が調整され、顔の輝度Ｙfが近似的に第２の顔の出力輝度Ｙfo2になるように補正することができるようになる。
【００８３】
上述したようにして、補正量決定部８で画素毎に算出された、顔有り用の補正量Ｐfまたは顔無し用の補正量Ｐnfは、明るさ補正部９に供給される。明るさ補正部９は、既に説明したように、補正量決定部８から供給された補正量Ｐfまたは補正量Ｐnfを、式（６）に従い入力画像(Ｒi,Ｇi,Ｂi)の各画素のＲＧＢ値それぞれに乗じることで、注目画素に対する明るさ補正を行う。
【００８４】
以上説明したように、本発明の第１の実施形態によれば、照明光成分をガンマテーブルを用いて変換した値で置き換えることにより入力画像に対する明るさ補正を行う。その際に、輝度ヒストグラムや顔の輝度といった入力画像の特徴に基づき設定されたガンマテーブルを、入力画像から低周波成分を抽出して予測した照明光成分に適用している。
【００８５】
これにより、注目画素の輝度と照明光成分とが等しい場合にはガンマテーブル通りの明るさ補正が行われる。また、注目画素の輝度と照明光成分とが異なる場合には、照明光成分が注目画素の輝度より高い場合にはより暗い方向に補正がなされ、照明光成分が注目画素の輝度より低い場合にはより明るい方向に補正がなされる。そのため、入力画像に対して直接的にガンマテーブルを適用する方法と比較して、画像全体の明るさを略同等に制御することができる。
【００８６】
また、本第１の実施形態によれば、主要被写体である顔の輝度周辺の補正量を、ガンマテーブル通りの補正量に近付けるようにしている。これにより、コントラストを維持し自然な明るさ補正が行える利点を生かしたまま、顔の明るさを狙いに近い明るさに補正することができ、総合的にバランスの良い明るさ補正が行える。
【００８７】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、従来技術で説明した照明光成分の置き換えによる明るさ補正に比べて、顔の輝度周辺でのコントラスト維持効果が減少するおそれがある。本第２の実施形態では、上述した第１の実施形態に対し、入力画像に顔が含まれる場合に当該顔の画像が逆光状態および順光状態の何れであるかの判定を行い、顔有り用の補正量Ｐfを、この逆光／順光の判定結果をさらに用いて決定することで、顔の輝度周辺でのコントラスト維持効果の減少を抑制する。
【００８８】
図１０は、本第２の実施形態による、顔有り用の補正量Ｐfを求める際の補正量決定部８の機能を示す一例の機能ブロック図である。なお、図１０において、上述した図６に示す構成と共通する部分には同一の符号を付し、詳細な説明を省略する。また、本第２の実施形態は、上述した第１の実施形態に対して顔有り用の補正量Ｐfの決定処理のみが異なるので、煩雑さを避けるために、第１の実施形態と共通する部分については説明を省略する。
【００８９】
図１０において、補正量決定部８は、輝度比算出部８１’および顔出力輝度決定部８２に加えて、顔位置の照明光成分抽出部８５および逆光／順光判定部８６を有する。顔位置照明光抽出部８５は、顔座標取得部２から出力された顔座標情報に基づき、照明光成分予測部５から供給された照明光成分Ｌから顔領域の中心位置（以下、顔位置と呼ぶ）における照明光成分Ｌfを抽出する。
【００９０】
顔位置照明光抽出部８５で抽出された顔位置の照明光成分Ｌfは、逆光／順光判定部８６に供給される。また、逆光／順光判定部８６には、顔輝度検出部３から出力された顔の輝度Ｙfが供給される。逆光／順光判定部８６は、これら顔位置の照明光成分Ｌfと、顔の輝度Ｙfとに基づき、顔が照明光よりも所定以上暗い場合に逆光と判定し、照明光が顔よりも所定以上明るい場合に順光と判定する。
【００９１】
より具体的には、逆光／順光判定部８６は、顔位置の照明光成分Ｌfと顔の輝度Ｙfとを比較する。比較の結果、顔位置の照明光成分Ｌfよりも顔の輝度Ｙfの方が小さく、且つ、顔位置の照明光成分Ｌfと顔の輝度Ｙfとの差分の絶対値が閾値以上である場合に、逆光であると判定する。一方、逆光／順光判定部８６は、顔位置の照明光成分Ｌfよりも顔の輝度Ｙfの方が大きく、且つ、顔位置の照明光成分Ｌfと顔の輝度Ｙfとの差分の絶対値が閾値以上である場合に、順光であると判定する。
【００９２】
また、逆光／順光判定部８６は、顔位置の照明光成分Ｌfよりも顔の輝度Ｙfの方が小さい場合と、顔位置の照明光成分Ｌfよりも顔の輝度Ｙfの方が大きい場合の何れにおいても、顔位置の照明光成分Ｌfと顔の輝度Ｙfとの差分の絶対値が閾値未満であれば、逆光および順光の何れでもないと判定する。
【００９３】
逆光／順光判定部８６による判定結果は、輝度比算出部８１’に供給される。また、顔出力輝度決定部８２は、上述した第１の実施形態の場合と同様に、式（１２）に従い第２の顔の出力輝度Ｙfo2を算出し、輝度比算出部８１’に供給する。
【００９４】
輝度比算出部８１’は、上述した第１の実施形態による顔有り用の補正量Ｐfの決定処理の際に用いる第２の顔の出力輝度Ｙfo2と、注目画素の輝度Ｙiと、照明光成分Ｌと、変換照明光成分ｇ(Ｌ)と、顔の輝度Ｙfと、変換顔輝度ｇ(Ｙf)とに加え、逆光／順光判定部８６による判定結果をさらに用いて、顔有り用の補正量Ｐfを算出する。
【００９５】
図１１は、本第２の実施形態における輝度比算出部８１’による、輝度比Ｒすなわち顔有り用の補正量Ｐfを算出する際の一例の処理を示すフローチャートである。輝度比算出部８１’は、逆光／順光判定部８６による判定結果と、照明光成分Ｌおよび顔の輝度Ｙfの比較結果とに基づき、顔有り用の補正量Ｐfの算出方法を、図８および図９−１乃至図９−５を用いて説明した第１、第２および第３の算出方法から選択する。
【００９６】
図１１において、輝度比算出部８１’は、ステップＳ４０で逆光／順光判定部８６の判定結果が逆光を示しているか否かを判定する。若し、逆光を示していると判定されたら、処理はステップＳ４１に移行され、顔の輝度Ｙfが照明光成分Ｌ以上であるか否かが判定される。若し、顔の輝度Ｙfが照明光成分Ｌ以上であると判定されたら、処理はステップＳ４２に移行され、上述した第１の算出方法により、式（１３）に従い顔有り用の補正量Ｐfを算出する。一方、ステップＳ４１で、顔の輝度Ｙfが照明光成分Ｌ未満であると判定されたら、処理はステップＳ４３に移行され、上述した第２の算出方法により、式（１４）〜式（１６）に従い顔有り用の補正量Ｐfを算出する。
【００９７】
すなわち、逆光／順光判定部８６により逆光と判定された場合、図１２−１に例示されるように、ガンマテーブルｇ2()による曲線２１０の下側、つまり、照明光成分Ｌが顔の輝度Ｙfよりも明るい場合（Ｌ＞Ｙf）についてのみ、顔の輝度Ｙfが目標補正値である顔有り用のガンマテーブルｇ2()による輝度ｇ2(Ｙf)に近付くように、顔有り用の補正量Ｐfを調整する。
【００９８】
ステップＳ４０で、逆光／順光判定部８６の判定結果が逆光を示していないと判定されたら、処理はステップＳ４４に移行され、当該判定結果が順光を示しているか否かを判定する。若し、順光を示していると判定されたら、処理はステップＳ４５に移行され、照明光成分Ｌが顔の輝度Ｙf以上であるか否かが判定される。若し、照明光成分Ｌが顔の輝度Ｙf以上であると判定されたら、処理はステップＳ４６に移行され、第１の算出方法により顔有り用の補正量Ｐfを算出する。一方、ステップＳ４５で、照明光成分Ｌが顔の輝度Ｙf未満であると判定されたら、処理はステップＳ４７に移行され、上述した第３の算出方法により、式（１７）〜式（１９）に従い顔有り用の補正量Ｐfを算出する。
【００９９】
すなわち、逆光／順光判定部８６により順光と判定された場合、図１２−２に例示されるように、ガンマテーブルｇ2()による曲線２１０の上側、つまり、照明光成分Ｌが顔の輝度Ｙfよりも暗い場合（Ｌ＜Ｙf）についてのみ、顔の輝度Ｙfが目標補正値である顔有り用のガンマテーブルｇ2()による輝度ｇ2(Ｙf)に近付くように、顔有り用の補正量Ｐfを調整する。
【０１００】
上述のステップＳ４４で、逆光／順光判定部８６の判定結果が順光を示していないと判定された場合、当該判定結果は、逆光および順光の何れでもないことを示している。この場合には、処理がステップＳ４８に移行され、第１の算出方法により顔有り用の補正量Ｐfが算出される。この場合には、顔有り用の補正量Ｐfの調整が行われないことになる。
【０１０１】
以上説明したように、本第２の実施形態によれば、主要被写体である顔の輝度周辺の補正量を、顔有り用のガンマテーブル通りの補正量に近付けるように調整する処理を、逆光／順光を判定し、判定結果に応じて必要最小限に行うようにしている。そのため、上述した第１の実施形態と同様に顔の明るさを狙いに近い明るさに補正することができ、且つ、顔の輝度周辺でのコントラスト維持効果の減少を最小限に抑えることができる。
【０１０２】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１および第２の実施形態では、入力画像に顔が含まれている場合に明るさ補正の補正量を調整することで、顔の輝度を補正目標値に近い明るさに補正するようにしていた。これに対して、本第３の実施形態では、顔の出力輝度を考慮してガンマテーブルを調整することにより、顔の輝度を補正目標値に近い明るさへ補正する。
【０１０３】
図１３は、本第３の実施形態による画像処理装置の一例の構成を示す。なお、図１３において、上述した図１に示した構成と共通する部分には同一の符号を付し、詳細な説明を省略する。
【０１０４】
図１３から分かるように、本第３の実施形態による画像処理装置は、図１に示した第１の実施形態による画像処理装置に対し、ガンマテーブル設定部４とは異なる構成のガンマテーブル設定部１０と、補正量決定部８とは異なる構成の補正量決定部１１がそれぞれ用いられる。また、顔輝度ガンマ変換部７が省略されている。ガンマテーブル設定部１０は、照明光成分Ｌ、顔座標情報および顔の輝度Ｙfに基づき、本第３の実施形態によるガンマテーブル調整を行う。
【０１０５】
ガンマテーブル設定部１０による処理について、より詳細に説明する。ガンマテーブル設定部１０は、顔座標取得部２から出力される顔座標情報に基づき（ステップＳ１０）、上述した図２のフローチャートと同様にして、顔有り用のガンマ設定を行うのか（ステップＳ１１）、顔無し用のガンマ設定を行うのか（ステップＳ１２）を決定する。ステップＳ１２による顔無し用のガンマ設定は、上述した第１の実施形態において図４ならびに図５−１および図５−２を用いて説明した処理と同様に行うことができるため、ここでの説明を省略する。
【０１０６】
ステップＳ１１の、顔有り用のガンマ設定処理の例について説明する。図１４は、顔有り用のガンマ設定を行うガンマテーブル設定部１０の機能を示す一例の機能ブロック図である。顔位置照明光成分抽出部１０１は、顔座標取得部２から供給される顔座標情報に基づき、入力画像の顔位置における照明光成分Ｌを求め、顔位置照明光成分Ｌfとして出力する。顔位置照明光成分Ｌfは、照明光ガンマ変換部１０２、顔出力輝度決定部１０３およびガンマテーブル調整部１０４にそれぞれ供給される。
【０１０７】
顔輝度検出部３から出力された顔の輝度Ｙfがガンマテーブル設定部１０に入力され、仮ガンマテーブル設定部１０５、顔輝度ガンマ変換部１０６およびガンマテーブル調整部１０４にそれぞれ供給される。仮ガンマテーブル設定部１０５は、顔の輝度Ｙfが補正目標値に変換されるように、ガンマテーブルの値を設定する。ここで設定されるガンマテーブルを、仮ガンマテーブルと呼ぶ。この仮ガンマテーブルは、上述した第１の実施形態においてガンマテーブル設定部４で設定される、顔有り用のガンマテーブルｇ2()と同一のものである。以下、仮ガンマテーブルを、関数ｇ2()として表す。
【０１０８】
仮ガンマテーブル設定部１０５で設定された仮ガンマテーブルｇ2()は、顔位置照明光ガンマ変換部１０２、顔輝度ガンマ変換部１０６およびガンマテーブル調整部１０４にそれぞれ供給される。
【０１０９】
照明光ガンマ変換部１０２は、顔位置照明光成分抽出部１０１から供給された顔位置照明光成分Ｌfを、仮ガンマテーブルｇ2()を用いてガンマ変換し、変換顔位置照明光成分ｇ2(Ｌf)とする。同様に、顔輝度ガンマ変換部１０６は、顔の輝度Ｙfを仮ガンマテーブルｇ2()を用いてガンマ変換し、変換顔輝度ｇ2(Ｙf)とする。変換顔位置照明光成分ｇ2(Ｌf)および変換顔輝度ｇ2(Ｙf)は、それぞれ顔出力輝度決定部１０３に供給される。
【０１１０】
顔出力輝度決定部１０３は、顔の輝度Ｙf、顔位置照明光成分Ｌf、変換顔位置照明光成分ｇ2(Ｌf)および変換顔輝度ｇ2(Ｙf)を、上述した第１の実施形態における式（１１）に対応する下記の式（２０）に従い、注目画素の輝度Ｙi＝顔の輝度Ｙfに対する第１の顔の出力輝度Ｙfo1を求める。
Ｙfo1＝{ｇ(Ｌf)／Ｌf}×Ｙf    …（２０）
【０１１１】
顔出力輝度決定部１０３は、この第１の顔の出力輝度Ｙfo1を上述した式（１２）と同様の下記の式（２１）に適用して、第２の顔の出力輝度Ｙfo2を求める。なお、調整パラメータＥは、予め与えられる０≦Ｅ≦１の範囲の値である。調整パラメータＥを、ユーザが当該範囲内で設定可能としてもよい。
Ｙfo2＝(１−Ｅ)×Ｙfo1＋Ｅ×ｇ2(Ｙf)    …（２１）
【０１１２】
顔出力輝度決定部１０３で求められた第２の顔の出力輝度Ｙfo2は、ガンマテーブル調整部１０４に供給される。ガンマテーブル調整部１０４は、上述の第１の実施形態で式（６）を用いて説明した、照明光成分Ｌの変換照明光成分ｇ(Ｌ)への置き換えによる明るさ補正が、後段の補正量決定部１１で行われることを見越してガンマテーブルの調整を行い、出力する。
【０１１３】
すなわち、ガンマテーブル調整部１０４は、顔位置照明光成分Ｌf、第２の顔の出力輝度Ｙfo2および顔の輝度Ｙfに基づき、顔の輝度Ｙfが第２の顔の出力輝度Ｙfo2に補正されるように仮ガンマテーブルｇ2()を調整して、関数ｇ3()によるガンマテーブルｇ3()を求める。これを、ガンマテーブル設定部１０の出力とする。
【０１１４】
より具体的には、ガンマテーブル調整部１０４は、下記の式（２２）〜（２４）により、仮ガンマテーブルｇ2()を調整してガンマテーブルｇ3()を求める。
【０１１５】
先ず、式（２２）に従い、顔位置照明光Ｌfがガンマテーブルｇ3()で変換されるべき輝度ｇ3(Ｌf)を求める。
ｇ3(Ｌf)＝(Ｙfo2／Ｙf)×Ｌf    …（２２）
【０１１６】
次に、式（２３）に従い、顔位置照明光Ｌfがガンマテーブルｇ3()で変換されるべき輝度ｇ3(Ｌf)、ならびに、ガンマテーブルｇ2()で変換される輝度ｇ2(Ｌf)それぞれの顔位置照明光Ｌfとの差分の比の値ｋを求める。
ｋ＝(ｇ3(Ｌf)−Ｌf)／(ｇ2(Ｌf)−Ｌf)    …（２３）
【０１１７】
注目画素の輝度ａに対する調整後のガンマテーブルｇ3()による出力値ｇ3(ａ)は、上述の式（２３）で求めた比の値ｋを用いて、下記の式（２４）で求められる。
ｇ3(ａ)＝(ｇ2(ａ)−ａ)×ｋ＋ａ    …（２４）
【０１１８】
図１５−１および図１５−２は、ガンマテーブル調整部１０４により仮ガンマテーブルｇ2()がガンマテーブルｇ3()に変換される例を示す。顔の輝度Ｙf＜顔位置照明光Ｌfの場合、図１５−１に例示されるように、ガンマテーブルｇ3()は、曲線２２１（実線で示す）で例示されるように、元のガンマテーブルｇ2()に対してより上に凸の形状を有するガンマ曲線となる。
【０１１９】
一方、顔の輝度Ｙf＞顔位置照明光Ｌfの場合、ガンマテーブルｇ3()は、曲線２２２（実線で示す）で例示されるように、元のガンマテーブルｇ2()に対して上への凸が抑えられた形状のガンマ曲線となる。
【０１２０】
すなわち、ガンマテーブルｇ3()の形状のみからいえば、顔の輝度Ｙfが顔位置の照明光成分Ｌfよりも小さい（暗い）場合には、図１５−１に曲線２２１として例示されるように、顔の輝度Ｙfを、仮ガンマテーブルｇ2()により変換した場合よりも大きな値に変換するガンマテーブルになる。これは、換言すれば、補正目標値よりも明るい値に変換するガンマテーブルになるといえる。
【０１２１】
一方、顔の輝度Ｙfが顔位置の照明光成分Ｌfよりも大きい（明るい）場合には、図１５−２に曲線２２２として例示されるように、顔の輝度Ｙfを仮ガンマテーブルｇ2()により変換した場合よりも小さな値に変換するガンマテーブルになる。これは、換言すれば、補正目標値よりも暗い値に変換するガンマテーブルになるといえる。
【０１２２】
また、顔の輝度Ｙfと顔位置照明光Ｌfとが等しい場合、仮ガンマテーブルｇ2()とガンマテーブルｇ3()とが一致する。この場合、仮ガンマテーブルｇ2()に対する調整は行われないことになる。
【０１２３】
ガンマテーブル調整部１０４で求められたガンマテーブルｇ3()は、照明光ガンマ変換部６に供給される。照明光ガンマ変換部６は、照明光成分予測部５から供給された照明光成分Ｌを、ガンマテーブル設定部１０で設定されたガンマテーブルｇ1()（顔無しの場合）またはｇ3()（顔有りの場合）を用いて変換し、変換照明光成分ｇ(Ｌ)を得る。変換照明光成分ｇ(Ｌ)は、補正量決定部１１に供給される。
【０１２４】
補正量決定部１１は、照明光成分予測部５から供給された照明光成分Ｌと、照明光ガンマ変換部６から供給された変換照明光成分ｇ(Ｌ)とから、第１の実施形態において説明した式（６）に従い、補正量Ｐを次式（２５）により求める。
Ｐ＝ｇ(Ｌ)／Ｌ    …（２５）
【０１２５】
顔位置における補正量Ｐは、Ｐ＝ｇ3(Ｌf)／Ｌfとなり、式（２４）は、次式（２６）のようになる。
Ｐf＝ｇ3(Ｌf)／Ｌf＝{(ｇ2(Ｌf)−Ｌf)×ｋ＋Ｌf}／Ｌf    …（２６）
【０１２６】
式（２６）に上述した式（２３）を代入すると、次式（２７）のようになる。
Ｐf＝{(ｇ2(Ｌf)−Ｌf)×(ｇ3(Ｌf)−Ｌf]／(ｇ2(Ｌf)−Ｌf)＋Ｌf}／Ｌf＝ｇ3(Ｌf)／Ｌf    …（２７）
【０１２７】
したがって、上述の式（２２）により、次式（２８）が導かれ、補正量Ｐが求められる。補正量Pを用いて明るさ補正を行うことにより、顔の輝度Ｙfが第２の顔の出力輝度Ｙfo2に補正される。
Ｐf＝Ｙfo2／Ｙf    …（２８）
【０１２８】
こうして求められた補正量Ｐf（または補正量Ｐnf）が明るさ補正部９に供給される。明るさ補正部９は、補正量決定部１１から供給されたこの補正量Ｐf（または補正量Ｐnf）を用いて、上述した式（５）に従い、注目画素に対する明るさ補正を行う。
【０１２９】
以上、本第３の実施形態によれば、後段で照明光成分の置き換えによる明るさ補正が行われることを見越して、主要被写体である顔の出力輝度を考慮してガンマテーブルを調整するようにしている。これにより、コントラストを維持し自然な明るさ補正が行える利点を生かしたまま、顔を狙いに近い明るさに補正することができる。
【０１３０】
また、上述した第１および第２の実施形態により補正量を調整する場合と比較して、画像全体の明るさが多少変化する一方で、第１および第２の実施形態のように、顔の輝度周辺でコントラスト維持効果が減少することがなく、コントラスト維持の点で優れている。
【０１３１】
なお、上述の第１〜第３の実施形態では、顔を主要被写体と見做し、顔の有無によって処理を切り替える場合を例にとって説明したが、この発明はこれに限られるものではない。すなわち、本発明は、入力画像のうち顔以外の領域を主要被写体と見做して補正量Ｐを決定する場合にも適用可能なものである。
【０１３２】
一例として、ユーザに主要被写体の領域を例えば矩形で指定させると共に、補正目標値を指定させる。そして、指定された主要被写体領域における輝度の平均値を主要被写体の輝度（上述した第１〜第３の実施形態における顔の輝度に相当）として、上述した第１〜第３の実施形態による補正量の決定方法を適用する。これにより、指定された主要被写体の輝度を、コントラストを維持しつつ、補正目標値に近い明るさに補正することが可能となる。
【０１３３】
以上説明したように、本発明によれば、入力画像に含まれる顔などの主要被写体に対する補正目標値に基づいたガンマテーブルを設定し、入力画像から画素毎に予測された照明光成分に対して当該ガンマテーブルによる変換を行うようにしている。そのため、コントラストを維持し自然な明るさ補正が可能な照明光成分の置き換えによる明るさ補正の利点を生かしたまま、画像全体の明るさの制御を、入力画像に対してガンマテーブルを直接的に適用する方法と略同等に行うことができる。また、主要被写体の明るさと周辺の明るさとのコントラストが比較的小さければ、主要被写体の輝度は、ガンマテーブルによる変換値に近い値に変換されるので、主要被写体の明るさを狙いに近い明るさに補正することができる。
【０１３４】
また、本発明の第１の実施形態によれば、注目画素の輝度が照明光成分と異なる場合であっても、注目画素の輝度が主要被写体の輝度と等しければ、注目画素の輝度を補正目標値に近い値になるように補正量を調整するようにしている。そのため、コントラストを維持し自然な明るさ補正が行える照明光成分の置き換えによる明るさ補正の利点を生かしたまま、主要被写体の明るさと周辺の明るさとのコントラストが比較的大きい場合も、主要被写体を狙いに近い明るさに補正することができる。
【０１３５】
さらに、本発明の第１の実施形態によれば、主要被写体に対する補正目標値に基づいたガンマテーブルに従い変換した輝度と、照明光成分を当該ガンマテーブルに従い変換した変換照明成分で該照明成分を置き換えた場合の主要被写体の輝度とから主要被写体の出力輝度を求め、主要被写体の輝度が当該出力輝度になるように補正量を調整している。そのため、従来の照明光成分の置き換えによる明るさ補正に比べ、主要被写体の出力輝度を補正目標値により近づけることができる。
【０１３６】
さらにまた、本発明の第１の実施形態によれば、主要被写体が上述の出力輝度に補正されるように主要被写体の輝度周辺の補正量を調整し、主要被写体の輝度周辺以外の輝度範囲では当該出力輝度に依存しない補正量を算出するため、主要被写体を狙いに近い明るさに補正し、かつ、主要被写体の輝度周辺以外の輝度範囲ではコントラストを維持することができる。
【０１３７】
また、本発明の第２の実施形態によれば、主要被写体が逆光状態か順光状態かを判定し、判定結果に応じて主要被写体の輝度周辺の補正量を調整するため、主要被写体の輝度周辺におけるコントラスト維持効果の減少を抑制することができる。
【０１３８】
さらに、本発明の第３の実施形態によれば、主要被写体の輝度成分を補正目標値に変換する仮ガンマテーブルを設定し、上述の出力輝度に応じて仮ガンマテーブルを調整してガンマテーブルを作成することで、後段で照明光成分の置き換えによる明るさ補正が行われることを見越してガンマテーブルを調整するようにしている。これにより、主要被写体を狙いに近い明るさに補正し、かつ、主要被写体の輝度周辺におけるコントラスト維持効果の減少が抑制された明るさ補正が行える。
【０１３９】
＜他の実施形態＞
上述した本発明の第１、第２および第３の実施形態による画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ(Read Only Memory)やＲＡＭ(Random Access Memory)などの記憶装置と、ＨＤＤ（ハードディスクドライブ）、ディスク記録媒体のためのドライブ装置などの外部記憶装置とを備え、通常のコンピュータを利用したハードウェア構成となっている。これに限らず、当該画像処理装置は、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置とをさらに備えてもよい。
【０１４０】
上述の各実施形態による画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１４１】
また、各実施形態による画像処理装置で実行される画像処理プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、各実施形態による画像処理装置で実行される画像処理プログラムをインターネットなどのネットワーク経由で提供または配布するように構成しても良い。
【０１４２】
また、各実施形態による画像処理プログラムを、ＲＯＭなどに予め組み込んで提供するように構成してもよい。
【０１４３】
上述の各実施形態による画像処理装置で実行される画像処理プログラムは、上述した各部（輝度変換部１、顔座標取得部２、顔輝度検出部３、ガンマテーブル設定部４または１０、照明光成分予測部５、照明光ガンマ変換部６、顔輝度ガンマ変換部７、補正量決定部８または１１、ならびに、明るさ補正部９）を含むモジュール構成となっており、実際のハードウェアとしては、ＣＰＵ（プロセッサ）が上述所記憶媒体から画像処理プログラムを読み出して実行することにより上述の各部が主記憶装置上にロードされ、輝度変換部１、顔座標取得部２、顔輝度検出部３、ガンマテーブル設定部４または１０、照明光成分予測部５、照明光ガンマ変換部６、顔輝度ガンマ変換部７、補正量決定部８または１１、ならびに、明るさ補正部９が主記憶装置上に生成されるようになっている。
【符号の説明】
【０１４４】
１  輝度変換部
２  顔座標取得部
３  顔輝度検出部
４，１０  ガンマテーブル設定部
５  照明光成分予測部
６  照明光ガンマ変換部
７  顔輝度ガンマ変換部
８，１１  補正量決定部
９  明るさ補正部
８０，８１，８１’  輝度比算出部
８２  顔出力輝度決定部
８５，１０１  顔位置照明光成分抽出部
８６  逆光／順光判定部
１０４  ガンマテーブル調整部
１０５  仮ガンマテーブル設定部
【先行技術文献】
【特許文献】
【０１４５】
【特許文献１】特開２００５−３９４０８号公報
【特許文献２】特開２００５−５１４０７号公報
【特許文献３】特開２００７−８２１８０号公報
【図１】
2010283690.tif 000006
【図２】
2010283690.tif 000007
【図３】
2010283690.tif 000008
【図４】
2010283690.tif 000009
【図５−１】
2010283690.tif 000010
【図５−２】
2010283690.tif 000011
【図６】
2010283690.tif 000012
【図７】
2010283690.tif 000013
【図８】
2010283690.tif 000014
【図９−１】
2010283690.tif 000015
【図９−２】
2010283690.tif 000016
【図９−３】
2010283690.tif 000017
【図９−４】
2010283690.tif 000018
【図９−５】
2010283690.tif 000019
【図１０】
2010283690.tif 000020
【図１１】
2010283690.tif 000021
【図１２−１】
2010283690.tif 000022
【図１２−２】
2010283690.tif 000023
【図１３】
2010283690.tif 000024
【図１４】
2010283690.tif 000025
【図１５−１】
2010283690.tif 000026
【図１５−２】
2010283690.tif 000027