(57)【要約】【課題】色ずれを生じさせない自然な補正を実現可能にすることを課題とする。【解決手段】顔検出部（１１３）は、撮像等された画像から所定の被写体の画像領域として顔画像を検出する。画像処理部（１０５）は、被写体の画像領域としての顔画像から高輝度領域を抽出し、さらに、その高輝度領域の複数の色信号の値を基に、高輝度領域の飽和レベルを決定して、複数の色信号の少なくとも一つの色信号が飽和した高輝度領域に対し、飽和レベルに応じた補正を行う。【選択図】図１
2018151766.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像から所定の被写体の画像領域を検出する検出手段と、
前記被写体の画像領域から高輝度領域を抽出する抽出手段と、
前記高輝度領域の色を決める複数の色信号の値を基に、前記高輝度領域の飽和レベルを決定する決定手段と、
前記複数の色信号の少なくとも一つの色信号が飽和した前記高輝度領域に対し、前記決定された飽和レベルに応じた補正を行う補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記高輝度領域の前記複数の色信号の各値が所定の閾値以上か否かの判定に基づき、前記高輝度領域の前記飽和レベルを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色を決める前記複数の色信号は三原色の三つの色信号であり、
前記決定手段は、前記高輝度領域の飽和レベルを、
前記高輝度領域の前記三つの色信号の全てが前記所定の閾値以上となる全飽和レベルと、
前記高輝度領域の前記三つの色信号のうち一つの色信号が前記所定の閾値以上となる第１の部分飽和レベルと、
前記高輝度領域の前記三つの色信号のうち二つの色信号が前記所定の閾値以上となる第２の部分飽和レベルと、
前記高輝度領域の前記三つの色信号の全てが前記所定の閾値未満となる非飽和レベルとの何れかに決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、
前記高輝度領域が前記第１の部分飽和レベル又は前記第２の部分飽和レベルである場合には、前記高輝度領域の各色信号のゲインダウンによる前記補正を行い、
前記高輝度領域が前記全飽和レベルである場合には、前記所定の被写体の画像領域の各色信号を基に算出した色平均値の補色を、前記高輝度領域の各色信号から減算する前記補正を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補正手段は、
前記高輝度領域の前記飽和レベルが切り替わる境界に対して所定の信号値範囲を設定し、
入力された色信号の値が前記信号値範囲の内である場合には、前記入力された色信号に対応した出力信号値を、前記信号値範囲の両端部の信号値の間を線形補間した直線上の信号値として算出することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記補正手段は、
前記非飽和レベルから前記第１の部分飽和レベルに切り替わる第１の境界に対しては、前記第１の境界を含む第１の信号値範囲を設定して前記線形補間に基づく出力信号値の算出を行い、
前記第１の部分飽和レベルから第２の部分飽和レベルに切り替わる第２の境界と前記第２の部分飽和レベルから前記全飽和レベルに切り替わる第３の境界に対しては、前記第２の境界と第３の境界を含む第２の信号値範囲を設定して前記線形補間に基づく出力信号値の算出を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補正手段は、前記第２の信号値範囲のうち前記全飽和レベルに対応した端部の信号値を、前記所定の被写体の画像領域の各色信号を基に算出した色平均値に応じた値とすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記抽出手段は、前記被写体の画像領域を複数のブロックに分けて、各ブロックの画素値の積分値を算出し、各ブロックの積分値から輝度情報を算出して、前記各ブロックの輝度情報を基に前記高輝度領域を抽出することを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
【請求項９】
前記検出手段は、前記所定の被写体の画像領域として人の顔の画像領域を検出することを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
【請求項１０】
前記検出手段は、前記顔の画像領域から、顔の器官領域を除いた画像領域を検出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
入力された画像から所定の被写体の画像領域を検出する検出工程と、
前記被写体の画像領域から高輝度領域を抽出する抽出工程と、
前記高輝度領域の色を決める複数の色信号の値を基に、前記高輝度領域の飽和レベルを決定する決定工程と、
前記複数の色信号の少なくとも一つの色信号が飽和した前記高輝度領域に対し、前記決定された飽和レベルに応じた補正を行う補正工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項１２】
コンピュータを、請求項１から１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像等された画像を処理する画像処理装置、画像処理方法、プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置においては、被写体等からの入射光の光量を、カメラ内の絞りの調整やシャッター速度の調整等により制御することで、適正な露出の撮影画像を取得する。しかし、例えば人物が撮影された画像において、最適な露出制御を行い撮影したとしても、環境光源やストロボ光の影響等により、顔領域にテカリが発生してしまう場合がある。テカリとは、環境光源やストロボ光が被写体人物の肌の表面で反射し、撮像装置が取り込んだ入力信号値が飽和して色情報が失われ、肌の一部が白く撮像されてしまう（白く飛んでしまう）現象である。肌色の領域の中にテカリが生じて局所的に高輝度になった部分が存在すると、人物画像として好ましくない印象を与えてしまう。このため、入力信号値が飽和している飽和領域（テカリが生じている領域）がある画像に対して、その飽和を補正してテカリを軽減するような補正技術が要求されている。
【０００３】
このような要求に対して、入力された画像信号を、輝度信号と色度信号に分離し、輝度信号を増減させることで、色バランスを崩さずに画像の明暗を調整する技術が提案されている。例えば、特許文献１には、表示デバイスの視覚特性に対し入力画像から算出した色飽和信号に対する制限値を適用して、各色信号を補正する際のゲイン量を決定し、そのゲイン量を基に各色信号を補正することで、テカリを軽減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１２３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、一般的なデジタルカメラでは、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子から、例えばＲ（赤），Ｇ（緑），Ｂ(青）の各色信号がアナログ信号の状態で出力される。この場合、飽和領域（テカリ領域）の状態としては、Ｒ信号とＧ信号とＢ信号の全ての色信号が飽和してしまう全飽和状態と、一部の色信号のみが飽和してしまう部分飽和状態とが考えられる。一例として、飽和領域の状態が、例えばＲ信号とＢ信号とが飽和した部分飽和状態である場合、飽和領域の色は明るい黄色になってしまい、本来の色からずれた不自然な状態（いわゆる色曲がりが生じた状態）になる。このように飽和領域が部分飽和状態になっている場合、前述した特許文献１に記載の技術のように入力輝度信号によって色補正処理を行うだけでは、色ずれは補正されず、色曲がりが残った不自然な画像となる。
【０００６】
そこで本発明は、色ずれを生じさせない自然な補正を実現可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、入力された画像から所定の被写体の画像領域を検出する検出手段と、前記被写体の画像領域から高輝度領域を抽出する抽出手段と、前記高輝度領域の色を決める複数の色信号の値を基に、前記高輝度領域の飽和レベルを決定する決定手段と、前記複数の色信号の少なくとも一つの色信号が飽和した前記高輝度領域に対し、前記決定された飽和レベルに応じた補正を行う補正手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、色ずれが生じない、自然な補正を実現可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態のデジタルカメラの概略構成例を示す図である。
【図２】画像処理部の詳細な構成例を示す図である。
【図３】顔領域を検出してテカリ補正を行うまでの処理のフローチャートである。
【図４】検出される顔領域の説明に用いる図である。
【図５】テカリ補正処理のフローチャートである。
【図６】テカリ領域の飽和レベルの説明に用いる図である。
【図７】Ｒ，Ｇ，Ｂの各色の入力に対する出力信号を示す図である。
【図８】テカリ補正前後のＲ，Ｇ，Ｂの各色の入出力信号を示す図である。
【図９】テカリ補正前後のＲ，Ｇ，Ｂの各色信号値の対応関係を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。
本発明の画像処理装置は、デジタルスチルカメラやデジタルビデオカメラ、デジタルカメラ機能を備えたスマートフォンやタブレット端末、パーソナルコンピュータ等の各種情報端末、工業用カメラ、車載カメラ、医療用カメラなどの各種カメラに適用可能である。本実施形態では、本発明の画像処理装置をデジタルスチルカメラ（以下、単にデジタルカメラと呼ぶ。）に適用した例を挙げて説明する。
【００１１】
図１は、本実施形態のデジタルカメラ１００の構成例を示すブロック図である。
レンズ群１０１は、フォーカスレンズを含むズームレンズである。シャッター１０２は、絞り機能を備え、システム制御部５０による制御の下、撮像部１０３が備えている撮像素子への入射光量と露光時間を調整する。撮像部１０３は、レンズ群１０１を介して撮像素子の撮像面上に形成された光学像を光電変換により電気信号に変換してアナログ画像信号を出力する。撮像部１０３の撮像素子は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサである。撮像素子の撮像面の前には、三原色のＲ（赤），Ｇ（緑），Ｂ(青）の各色成分に対応したカラーフィルタがいわゆるベイヤー配列と呼ばれる配列で画素毎に設けられている。このため、撮像部１０３からは、ベイヤー配列に対応したＲ，Ｇ，Ｂの各画素の色信号からなるアナログ画像信号が出力される。Ａ／Ｄ変換部１０４は、撮像部１０３から出力されたアナログ画像信号をデジタル画像データに変換し、その画像データを画像処理部１０５に出力する。
【００１２】
画像処理部１０５は、撮像部１０３により撮像されてＡ／Ｄ変換部１０４から出力された画像データ、又はメモリ制御部１０７がメモリ１０６から読み出した画像データに対して、ホワイトバランス調整、γ（ガンマ）補正などの各種画像処理を行う。また、画像処理部１０５は、顔検出部１１３による顔検出結果や撮像した画像データを用いて所定の評価値算出処理を行う。ここでの所定の評価値算出処理により得られる算出値は、露光制御、測距制御に用いられる評価値として、システム制御部５０に送られる。この場合、システム制御部５０は、その評価値に基づいて露光制御、測距制御を行い、これによりＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などが行われる。また、画像処理部１０５は、撮像された画像の中に、色信号値が飽和して色情報が失われたテカリ領域が存在する場合、そのテカリ領域に対するテカリ補正処理をも行う。画像処理部１０５にて行われるテカリ補正処理の詳細については後述する。
【００１３】
コーデック部１１０は、画像データを圧縮符号化・復号化する。コーデック部１１０は、メモリ１０６に記録された画像データを例えばＭＰＥＧなどの規格に準拠した形式で符号化または復号化する。
【００１４】
顔検出部１１３は、撮像部１０３にて撮像されてＡ／Ｄ変換部１０４から出力された画像データ、又はメモリ制御部１０７がメモリ１０６から読み出した画像データに対し、所定の画像解析処理を行うことで、画像内から人の顔が映っている領域を検出する。顔検出部１１３により検出された顔検出結果のデータは、メモリ制御部１０７を介して、メモリ１０６に一時的に記憶され、また必要に応じてメモリ１０６から読み出されて画像処理部１０５に送られる。
【００１５】
メモリ１０６は、画像処理部１０５が各種画像処理を行う際に一時的に画像データを記憶する他、記録媒体インターフェース（Ｉ／Ｆ）１１１を介して記録媒体１１２から読み込まれた画像データや、表示部１０９に表示するための画像データ等を記憶する。メモリ制御部１０７は、メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、例えばメモリ制御部１０７によりメモリ１０６から読み出された画像表示用の画像データを、アナログ映像信号に変換して表示部１０９に出力する。
【００１６】
表示部１０９は、ＬＣＤ（液晶ディスプレイ）等の表示装置を有し、撮影された画像、記録媒体１１２から読み出された画像、いわゆるライブビュー表示の際に撮像部１０３にて撮像されているライブビュー画像等を表示する。また、表示部１０９には、デジタルカメラ１００をユーザが操作等する際のユーザインターフェース画像も表示される。操作部１２０は、上述したユーザインターフェース画像を表示するタッチパネル、ボタンやスイッチを含み、ユーザによる操作を検知し、その検知した操作情報をシステム制御部５０に通知する。
【００１７】
システム制御部５０は、ＣＰＵ又はＭＰＵを含み、不揮発性メモリ１２１に記憶されているプログラムをシステムメモリ１２２の作業領域に展開することにより実行して、本実施形態のデジタルカメラ１００全体の各機能を制御する。不揮発性メモリ１２１は、補助記憶装置として、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性の半導体メモリを含む。システムメモリ１２２は、主記憶装置として、不揮発性メモリ１２１から読み出したプログラム等を展開する他、システム制御部５０の動作用の定数、変数を記憶する。記録媒体Ｉ／Ｆ１１１は、例えば半導体メモリカードやカード型ハードディスク等の着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的及び電気的に接続する。
【００１８】
以下、画像処理部１０５の詳細な構成と、画像処理部１０５にて行われる画像処理の詳細について図２を参照しながら説明する。
画像処理部１０５の画像信号生成部２０１は、撮像部１０３にて撮像されてＡ／Ｄ変換部１０４から出力された画像データが入力される。この画像データは、前述したようにベイヤー配列で構成されたＲ，Ｇ，Ｂの各色の信号からなる。画像信号生成部２０１は、ベイヤー配列に対応したＲ，Ｇ，Ｂの各色の画像データに対して同時化処理を行って、１画素あたりＲ，Ｇ，Ｂの各色を含む画像データを生成する。画像信号生成部２０１は、同時化処理で生成した画像データをホワイトバランス制御部２０２（以下、ＷＢ制御部２０２とする。）に出力する。
【００１９】
ＷＢ制御部２０２は、画像信号生成部２０１により出力された画像データを基にホワイトバランス補正値（以下、ＷＢ補正値とする。）を算出する。そして、ＷＢ制御部２０２は、算出したＷＢ補正値を用いて、画像データのホワイトバランスを補正する。
【００２０】
テカリ補正回路２０３は、ＷＢ制御部２０２によってホワイトバランス補正された画像データを基にテカリ補正処理を行う。このテカリ補正回路２０３のテカリ補正処理の詳細については後述する。テカリ補正回路２０３によるテカリ補正後の画像データは、色変換マトリックス回路２０４とＹ生成回路２１１に送られる。
【００２１】
色変換マトリックス回路２０４（以下、色変換ＭＴＸ回路２０４とする。）は、テカリ補正回路２０３によるテカリ補正後の画像データが最適な色で再現されるように色ゲインを乗じた後、二つの色差データＲ−Ｙ，Ｂ−Ｙに変換する。色変換ＭＴＸ回路２０４から出力された二つの色差データＲ−Ｙ，Ｂ−Ｙは、ローパスフィルタ（ＬＰＦ）回路２０５（以下、ＬＰＦ回路２０５とする。）に送られる。ＬＰＦ回路２０５は、色差データＲ−Ｙ、Ｂ−Ｙの帯域を制限し、その帯域制限後の色差データＲ−Ｙ，Ｂ−ＹをＣＳＵＰ回路２０６に出力する。ＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路２０６は、ＬＰＦ回路２０５で帯域制限された色差データＲ−Ｙ，Ｂ−Ｙの飽和部分の偽色信号を抑圧する処理を行う。このＣＳＵＰ回路２０６による偽色信号抑圧後の色差データＲ−Ｙ、Ｂ−ＹはＲＧＢ変換回路２０７に出力される。
【００２２】
Ｙ生成回路２１１は、テカリ補正回路２０３によるテカリ補正後の画像データから輝度データＹを生成する。Ｙ生成回路２１１にて生成された輝度データＹはエッジ強調回路２１２に送られる。エッジ強調回路２１２は、輝度データＹに対してエッジ強調処理を行い、その処理後の輝度データＹをＲＧＢ変換回路２０７に出力する。
【００２３】
ＲＧＢ変換回路２０７は、ＣＳＵＰ回路２０６から出力された色差データＲ−Ｙ，Ｂ−Ｙと、エッジ強調回路２１２から出力される輝度データＹとから、ＲＧＢデータを生成するＲＧＢ変換処理を行う。ＲＧＢ変換回路２０７から出力されたＲＧＢデータは、γ補正回路２０８に送られる。γ補正回路２０８は、ＲＧＢデータに対し、予め定められたγ特性に従った階調補正処理（γ補正処理）を行う。γ補正回路２０８によりγ補正処理されたＲＧＢデータは、色輝度変換回路２０９によってＹＵＶデータに変換された後、ＪＰＥＧ圧縮回路２１０にて圧縮符号化される。この圧縮符号化された画像データは、その後、図１の記録媒体１１２に画像データファイルとして記録される。
【００２４】
以下、本実施形態のデジタルカメラ１００において行われるテカリ補正の詳細について説明する。図３は、デジタルカメラ１００において、撮像部１０３の撮像画像又はメモリ１０６に記憶されている画像から所定の被写体の画像領域を検出し、その画像領域からテカリ領域を抽出してテカリ補正処理を行うまでの処理の流れを示すフローチャートである。図３のフローチャートでは、ステップＳ３０１〜ステップＳ３０４をそれぞれＳ３０１〜Ｓ３０４と略記する。また図３のフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等がプログラムを実行することにより実現されてもよい。これらのことは後述する他のフローチャートにおいても同様とする。
【００２５】
本実施形態では、所定の被写体の画像領域として顔画像を取得し、その顔画像の中からテカリ領域を抽出し、そのテカリ領域に対してテカリ補正を行う例を挙げて説明する。
このため、本実施形態のデジタルカメラ１００では、先ずＳ３０１の処理として、顔検出部１１３が、撮像部１０３の撮像画像又はメモリ１０６に記憶されている画像から、人物の顔画像の領域（以下、顔領域とする。）を検出する。
【００２６】
次に、Ｓ３０２において、顔検出部１１３は、Ｓ３０１で検出した顔領域から、目や口、眉などの顔の器官の領域（以下、器官領域とする。）を検出する。ここで、器官領域を検出する理由は、顔領域の中で肌色領域とそれ以外の色の領域とを分けるためであり、目、口などの器官領域は一般に肌色でないため、これら器官領域を検出することで顔領域の中の肌色領域を特定可能となる。
【００２７】
次のＳ３０３において、顔検出部１１３は、顔領域から器官領域を除いた領域、つまり顔の肌色領域を特定し、さらに、その肌色領域内のテカリ領域の検出及びそのテカリ領域に対するテカリ補正処理に用いる評価値を取得する。図４は、顔検出部１１３が検出した顔領域４０１の一例を示した図である。顔検出部１１３は、Ｓ３０３において、図４に示すように人物の顔領域４０１を複数のブロックに分割して、ブロック毎に画素値の積分値を求める。また、顔検出部１１３は、顔領域４０１の各ブロックから、Ｓ３０２で検出した目や口などの器官領域の各ブロック、つまり肌色でない領域の各ブロックを除外することにより、肌色領域の各ブロックを特定する。そして、顔検出部１１３は、その肌色領域の各ブロックの積分値を評価値として取得する。このように、Ｓ３０３では、顔領域４０１の中で目や口などの肌色でない領域を除いた、肌色領域の各ブロックの評価値が取得される。Ｓ３０３で取得された肌色領域のブロック毎の評価値は、例えば、メモリ１０６に一時的に記憶された後、システム制御部５０による制御の下でメモリ制御部１０７により読み出され、画像処理部１０５のテカリ補正回路２０３に送られる。
【００２８】
次に、テカリ補正回路２０３は、Ｓ３０４の処理として、Ｓ３０３で取得された肌色領域の各ブロック積分値（評価値）を基に顔領域４０１の肌色領域からテカリ領域を抽出し、さらに、そのテカリ領域の飽和状態を表す飽和レベルを画素毎に判定する。そして、テカリ補正回路２０３は、テカリ領域に対し、飽和レベルに応じたテカリ補正処理を行う。以下、図５以降の各図を参照して、本実施形態における飽和レベルに応じたテカリ補正処理の詳細を説明する。
【００２９】
図５は、テカリ補正回路２０３にて行われるテカリ補正処理の流れを示すフローチャートである。
テカリ補正回路２０３は、Ｓ５０１において、Ｓ３０３で取得された肌色領域のブロック積分値を基に、顔領域４０１の輝度情報（顔輝度情報とする。）を算出する。すなわち、テカリ補正回路２０３は、Ｓ５０１において、顔領域４０１から目や口などの器官領域が除外された肌色領域の輝度情報を、顔輝度情報として取得する。
【００３０】
また、テカリ補正回路２０３は、Ｓ５０２において、Ｓ３０３で取得された肌色領域のブロック積分値を基に、肌色領域の色の平均値を算出する。すなわち、テカリ補正回路２０３は、Ｓ５０２において、顔領域４０１から器官領域が除外された肌色領域の色の平均値（以下、肌色平均値とする。）を算出する。
【００３１】
次に、テカリ補正回路２０３は、Ｓ５０３において、Ｓ３０３で取得された肌色領域のブロック積分値を基に、ブロック毎の輝度情報を取得する。さらに、テカリ補正回路２０３は、次のＳ５０４において、予め決めた所定の輝度閾値以上となっている高輝度のブロックがあるか否かを判定する。すなわち、テカリ補正回路２０３は、Ｓ５０３及びＳ５０４において、顔領域４０１から器官領域を除外した肌色領域の中に、輝度が所定の輝度閾値以上となっている高輝度の一つ以上のブロックからなる高輝度領域があるか否かを判定する。そして、テカリ補正回路２０３は、Ｓ５０４において高輝度領域が無いと判定（Ｎｏ）した場合には、図５のフローチャートに示すテカリ補正処理を終了する。一方、テカリ補正回路２０３は、Ｓ５０４において高輝度領域があると判定（Ｙｅｓ）した場合には、その高輝度領域をテカリ領域として抽出し、Ｓ５０５に処理を進める。
【００３２】
Ｓ５０５に進むと、テカリ補正回路２０３は、Ｓ５０４で抽出した高輝度領域（テカリ領域）について、画素毎にＲ，Ｇ，Ｂの各色信号の飽和状態を判定して、Ｒ，Ｇ，Ｂの各色信号の飽和状態を表す飽和レベルを決定する。なお、本実施形態では画素毎に飽和レベルを決定する例を挙げているが、ブロック毎に飽和レベルを決定してもよいし、高輝度領域毎に飽和レベルを決定してもよい。本実施形態の場合、テカリ補正回路２０３は、Ｒ，Ｇ，Ｂの各色信号の飽和状態を表す飽和レベルとして、Ｒ，Ｇ，Ｂの全ての色信号が所定の閾値以上で飽和している全飽和レベルＬＣと、一部の色信号が閾値以上で飽和している部分飽和レベルとに分ける。さらに、テカリ補正回路２０３は、部分飽和レベルを、Ｒの色信号が閾値以上でＧ，Ｂの色信号が閾値未満となる第１部分飽和レベルＬ１と、ＲとＧの色信号が閾値以上でＢの色信号が閾値未満となる第２部分飽和レベルＬ２とに分ける。なお、飽和レベルは各色で異なっていてもよく、飽和レベルを決める際の所定の閾値は色毎に異なっていてもよい。
【００３３】
そして、Ｓ５０５において、テカリ補正回路２０３は、高輝度領域の画素毎に全飽和レベルＬＣであるか否かを判定する。テカリ補正回路２０３は、Ｓ５０５において、全飽和レベルＬＣであると判定（Ｙｅｓ）した場合には、Ｓ５０６に処理を進める。Ｓ５０６に進むと、テカリ補正回路２０３は、Ｓ５０５で全飽和レベルＬＣと判定された画素に対し、Ｓ５０２で顔領域４０１の肌色領域から算出された肌色平均値の補色を減算するような減算処理によるテカリ補正処理を行う。このＳ５０６の後、テカリ補正回路２０３は、図５のフローチャートに示すテカリ補正処理を終了する。
【００３４】
一方、Ｓ５０５において、テカリ補正回路２０３は、全飽和レベルＬＣでないと判定（Ｎｏ）、つまり第１部分飽和レベルＬ１又は第２部分飽和レベルＬ２であると判定した場合には、Ｓ５０７に処理を進める。Ｓ５０７に進むと、テカリ補正回路２０３は、その画素に対しＲ，Ｇ，Ｂの色信号のゲインを下げるゲインダウン処理を行うことによるテカリ補正処理を行う。このＳ５０７の後、テカリ補正回路２０３は、図５のフローチャートに示すテカリ補正処理を終了する。
【００３５】
前述のように、本実施形態では、高輝度領域の画素が全飽和レベルＬＣである場合には肌色平均値の補色を減算するテカリ補正処理を行い、一方、第１部分飽和レベルＬ１又は第２部分飽和レベルＬ２である場合にはゲインダウン処理によるテカリ補正処理を行う。以下、このように、飽和レベルに応じてテカリ補正処理を切り替える理由と効果について、図６以降の各図を用いて説明する。
【００３６】
図６は、Ｒ，Ｇ，Ｂの全ての色信号が飽和している全飽和レベルＬＣの各画素からなる高輝度領域と、Ｒ，Ｇ，Ｂの一部の色信号が飽和している第１，第２部分飽和レベルＬ１，Ｌ２の各画素からなる高輝度領域とが存在している顔画像の例を示した図である。全飽和レベルＬＣの高輝度領域の場合、画素のＲ，Ｇ，Ｂの全ての色信号が飽和しているため色情報が失われ、本来は肌色である領域が白く飛んだ状態になっている。一方、第１，第２部分飽和レベルＬ１，Ｌ２の高輝度領域の場合、画素のＲ，Ｇ，Ｂの一部の色信号が飽和しているため、色ずれ（いわゆる色曲がり）が生じた状態になっている。例えば、ＲとＧの二つの色信号が飽和した第２部分飽和レベルＬ２の高輝度領域の場合、肌色であるはずの領域が明るい黄色になる。このような色曲がりは、撮像部１０３の撮像素子の露光時にＲとＢの画素のアナログ信号が飽和したことで、その後、Ｒ，Ｇ，Ｂの各色信号を合わせた画素の色がずれてしまうことで生ずる。
【００３７】
図７は、撮像部１０３の撮像素子において、顔のような肌色の被写体からの入射光のＲ，Ｇ，Ｂの各色成分の入力（入射光の強さ）に対し、撮像素子から出力されるＲ，Ｇ，Ｂの１画素分の色信号（出力信号）との関係を示す図である。図７に示すように、肌色の被写体からの入射光が強くなっていくと、それに伴いＲ，Ｇ，Ｂの各色の出力信号の値もそれぞれ大きくなっていく。肌色の被写体からの入射光の強さが閾値未満である場合、Ｒ，Ｇ，Ｂの各色の出力信号はそれぞれ飽和していない非飽和レベルＬＮであるため、入射光が強くなるにつれてＲ，Ｇ，Ｂの各色の出力信号も徐々に値が大きくなる。これに対し、肌色の被写体からの入射光の強さが或る閾値になると、Ｒ，Ｇ，Ｂの各色の出力信号はそれ以上値が大きくならない飽和状態となる。例えば、出力信号値を０〜２５５で表し、閾値を２５０とした場合、入射光が徐々に強くなり、Ｒ，Ｇ，Ｂの各色の出力信号値が徐々に大きくなって閾値の２５０になると、その色の出力信号は飽和する。ここで、被写体が人の顔である場合の入射光、つまり肌色の入射光のＲ，Ｇ，Ｂの色成分の量は、一般にＲ＞Ｇ＞Ｂの関係を有している。このため、入射光が徐々に強くなっていくと、図７に示すように、先ずＲの出力信号が飽和（第１部分飽和レベルＬ１）し、次に、Ｂの出力信号が飽和（第２部分飽和レベルＬ２）し、最後にＢの出力信号が飽和（全飽和レベルＬＣ）する。
【００３８】
図８は、テカリ補正回路２０３への入力信号とテカリ補正回路２０３にてテカリ補正処理された後の出力信号との関係を示した図である。テカリ補正回路２０３への入力信号は、図７で説明した撮像素子の出力信号に相当する。つまりテカリ補正回路２０３への入力信号は、第１部分飽和レベルＬ１ではＲの信号が飽和し、第２部分飽和レベルではＲとＧの信号が飽和し、全飽和レベルＬＣではＲ，Ｇ，Ｂの信号が飽和した信号となる。また、非飽和レベルＬＮではＲ，Ｇ，Ｂの各信号が飽和していない入力信号となる。このように、テカリ補正回路２０３への入力信号は、非飽和レベルＬＮから第１部分飽和レベルＬ１に切り替わる境界Ｍ１でＲの信号が飽和する。また、テカリ補正回路２０３への入力信号は、第１部分飽和レベルＬ１から第２部分飽和レベルＬ２に切り替わる境界Ｍ２でＧの信号が飽和し、さらに第２部分飽和レベルＬ２から全飽和レベルＬＣに切り替わる境界Ｍ３でＢの信号が飽和する。そして、本実施形態のテカリ補正回路２０３は、前述したように、高輝度領域の画素が、全飽和レベルＬＣである場合には肌色平均値の補色を減算する処理を行い、第１部分飽和レベルＬ１又は第２部分飽和レベルＬ２である場合にはゲインダウン処理を行う。
【００３９】
ここで、Ｒ，Ｇ，Ｂの各色の信号の飽和レベルが切り替わる境界では、急激に色が変化することで擬似輪郭や色段差が生ずることがある。特に、非飽和レベルＬＮから第１部分飽和レベルＬ１に切り替わる境界Ｍ１では色が急激に変化して、擬似輪郭や色段差が目立ち易くなる。このため、本実施形態のテカリ補正回路２０３は、飽和レベルが切り替わる各境界における色変化を少なくするために、以下のような所定の信号値範囲の設定、線形補間による出力信号値の補正、及び補正目標値の設定を行う。
【００４０】
テカリ補正回路２０３は、非飽和レベルＬＮから第１部分飽和レベルＬ１に切り替わる境界Ｍ１付近に、その境界Ｍ１を含む所定の信号値範囲Ｅ１を設定する。そして、テカリ補正回路２０３は、入力された信号値が信号値範囲Ｅ１内である場合には、その入力信号値に対する出力信号値を、所定の信号値範囲Ｅ１の両端部Ｖ１，Ｖ２に対応した二つの信号値Ｖ１Ｒ，Ｖ２Ｒの間を線形補間した直線上の信号値として算出する。所定の信号値範囲Ｅ１の一方の端部Ｖ１は、境界Ｍ１から信号値が小さくなる方向で境界Ｍ１から所定の幅だけ離れた箇所の信号値として設定される。所定の信号値範囲Ｅ１の他方の端部Ｖ２は、境界Ｍ１から信号値が大きくなる方向で、且つ、第１部分飽和レベルＬ１から第２部分飽和レベルＬ２に切り替わる境界Ｍ２に至るまでの間の箇所の信号値として設定される。
【００４１】
このため、例えば境界Ｍ１で飽和レベルが切り替わるＲの信号の場合、Ｒの入力信号値に対応した出力信号値は、所定の信号値範囲Ｅ１の両端部Ｖ１，Ｖ２に対応した二つの信号値Ｖ１Ｒ，Ｖ２Ｒの間を線形補間した直線上の信号値として算出される。すなわち、所定の信号値範囲Ｅ１内でのＲの出力信号は、二つの信号値Ｖ１Ｒ，Ｖ２Ｒ間を結ぶ直線で表される信号となり、境界Ｍ１で出力信号が急激に折れ曲がるように変化することは無くなる。境界Ｍ１では飽和レベルが切り替わらないＧとＢについても同様に、Ｇ，Ｂの入力信号値にそれぞれ対応した出力信号値は、所定の信号値範囲Ｅ１の両端部Ｖ１，Ｖ２の二つの信号値の間を線形補間した直線上の信号値として算出される。なお、これらＧ，Ｂの出力信号は、元々境界Ｍ１で飽和レベルが切り替わる信号ではないため、信号値範囲Ｅ１内で入出力の関係は略々変化しない。これらにより、所定の信号値範囲Ｅ１内では、Ｒ，Ｇ，Ｂの各色の信号は共に信号が急激に変化せず、したがって急激に色が変化して擬似輪郭や色段差が生ずるようなことは無くなる。
【００４２】
また、テカリ補正回路２０３は、第１部分飽和レベルＬ１から第２部分飽和レベルＬ２に切り替わる境界Ｍ２、及び、第２部分飽和レベルＬ２から全飽和レベルＬＣに切り替わる境界Ｍ３に対しては、それら境界Ｍ２，Ｍ３を含む所定の信号値範囲Ｅ２を設定する。そして、テカリ補正回路２０３は、入力された信号値が信号値範囲Ｅ２内である場合には、その入力信号値に対する出力信号値を、信号値範囲Ｅ２の両端部Ｖ２，Ｖ３の間を線形補間した直線上の信号として算出する。ここで、信号値範囲Ｅ２の一方の端部Ｖ２は、前述の信号値範囲Ｅ２の端部Ｖ２に対応した値となされる。これに対し、信号値範囲Ｅ２の他方の端部Ｖ３は、境界Ｍ３から信号値が大きくなる方向で、顔領域４０１の肌色領域の肌色平均値のＲ，Ｇ，Ｂの各色の値に基づいて設定される。本実施形態の場合、テカリ補正回路２０３は、顔領域４０１の肌色領域の肌色平均値のＲ，Ｇ，Ｂの各色の値を基に、補正目標値Ｖ３Ｒ，Ｖ３Ｇ，Ｖ３Ｂを設定し、それら補正目標値Ｖ３Ｒ，Ｖ３Ｇ，Ｖ３Ｂに対応して、信号値範囲Ｅ２の端部Ｖ３を設定する。
【００４３】
これにより、Ｒの入力信号値に対応した出力信号値は、所定の信号値範囲Ｅ２の両端部Ｖ２，Ｖ３の二つの信号値Ｖ２Ｒ，Ｖ３Ｒの間を線形補間した直線上の信号値として算出される。同様に、Ｇの出力信号値は信号値範囲Ｅ２の信号値Ｖ２Ｇ，Ｖ３Ｇの間を線形補間した直線上の信号値として算出され、Ｂの出力信号値は信号値範囲Ｅ２の信号値Ｖ２Ｂ，Ｖ３Ｂの間を線形補間した直線上の信号値として算出される。このため、所定の信号値範囲Ｅ２内では、Ｒ，Ｇ，Ｂの各色の信号は共に信号が急激に変化せず、したがって急激に色が変化して擬似輪郭や色段差が生ずるようなことは無くなる。
【００４４】
図９（ａ）〜図９（ｃ）は、Ｒ，Ｇ，Ｂの各色において、テカリ補正回路２０３に入力される入力信号（テカリ補正前の入力信号）と、テカリ補正回路２０３によるテカリ補正後の出力信号の対応関係を説明する図である。図９（ａ）は全飽和レベルの場合、図９（ｂ）は第２部分飽和レベルの場合、図９（ｃ）は第１部分飽和レベルの場合を示している。また、図９（ａ）〜図９（ｃ）のＲ，Ｇ，Ｂの各色の信号の縦方向の長さは信号値の大きさを表している。また、図９（ａ）〜図９（ｃ）の各閾値は、テカリ補正前の入力信号に対するテカリ補正後の出力信号の上限値を示している。
【００４５】
図９（ａ）に示した全飽和レベルの場合、Ｒ，Ｇ，Ｂの各色の入力信号は全て飽和していて各色間で差が無くなっており、色情報が失われている。本実施形態のテカリ補正処理では、全飽和レベルの場合、前述したように、肌色領域の肌色平均値の補色を減算する処理によるテカリ補正処理が行われる。また、出力信号は閾値が上限値となされる。このため、全飽和レベルの場合、Ｒ，Ｇ，Ｂの各色の入力信号のうち、Ｒの出力信号は閾値を上限値とした信号に補正され、ＧとＢの出力信号はそれぞれ肌色平均値の補色が減算された信号に補正される。これにより、テカリ補正後のＲ，Ｇ，Ｂの出力信号による画像は肌色が回復した画像となる。
【００４６】
図９（ｂ）に示した第２部分飽和レベルの場合、ＲとＧの入力信号が飽和しており、Ｂの入力信号は飽和していない。本実施形態のテカリ補正処理では、第２部分飽和レベルの場合、Ｒの出力信号はゲインダウン処理により閾値を上限値とした信号に補正され、また、ＧとＢの出力信号もゲインダウン処理により補正される。これにより、テカリ補正後のＲ，Ｇ，Ｂの出力信号による画像は、色ズレ（色曲がり）が生じない自然な肌色の画像となる。
【００４７】
図９（ｃ）に示した第１部分飽和レベルの場合、Ｒの入力信号が飽和しており、ＧとＢの入力信号は飽和していない。本実施形態のテカリ補正処理では、第１部分飽和レベルの場合、Ｒの出力信号はゲインダウン処理により閾値を上限値とした信号に補正され、また、ＧとＢの出力信号もゲインダウン処理により補正される。これにより、テカリ補正後のＲ，Ｇ，Ｂの出力信号による画像は、色ズレ（色曲がり）が生じない自然な肌色の画像となる。
【００４８】
＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
前述の実施形態では、顔画像の肌色領域についてテカリ補正処理を行う例を挙げたが、本発明は顔画像の肌色領域のテカリ補正処理には限定されない。一例として、自動車の車体等の高輝度領域に対するテカリ補正等にも適用可能であり、この場合、画像内の車体色の領域から高輝度領域を検出して、その高輝度領域の色信号から評価値を求め、その評価値を基にテカリ補正を行う。
また、前述の実施形態では、Ｒ＞Ｇ＞Ｂの関係を有する肌色を例に挙げたため、部分飽和レベルは、Ｒの信号が飽和でＧ，Ｂの信号が非飽和の場合に第１部分飽和レベルＬ１、ＲとＧの信号が飽和でＢの信号が非飽和の場合に第２部分飽和レベルＬ２となる。これに対し、肌色以外の色、例えばＢ＞Ｇ＞Ｒの関係を有する色の場合、部分飽和レベルは、Ｂの信号が飽和でＧ，Ｒの信号が非飽和の場合に第１部分飽和レベルＬ１、ＢとＧの信号が飽和でＲの信号が非飽和の場合に第２部分飽和レベルＬ２となる。すなわち、第１部分飽和レベルＬ１は、Ｒ，Ｇ，Ｂの三つの色信号のうち一つの色信号が所定の閾値以上で飽和している場合の飽和レベルであり、第２部分飽和レベルＬ２は三つの色信号のうち二つの色信号が閾値以上で飽和している場合の飽和レベルである。
【００４９】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５０】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５１】
５０：システム制御部、１００：デジタルカメラ、１０３：撮像部、１０５：画像処理部、１０６：メモリ、１０７：メモリ制御部、１１３：顔検出部、１２１：不揮発性メモリ、２０３：テカリ補正回路
【図１】
2018151766.tif 000003
【図２】
2018151766.tif 000004
【図３】
2018151766.tif 000005
【図４】
2018151766.tif 000006
【図５】
2018151766.tif 000007
【図６】
2018151766.tif 000008
【図７】
2018151766.tif 000009
【図８】
2018151766.tif 000010
【図９】
2018151766.tif 000011