(57)【要約】【課題】暗視状態においても自然な色の顔を撮像することができる。【解決手段】撮像装置１は、視覚的または撮影用に必要な光量が得られないような暗視状態を撮像する暗視モードにおいてイメージセンサ１４によって撮像された入力画像から顔を検出する顔検出回路１７と、顔検出回路１７により顔が検出されたとき、検出された顔が肌色になるように制御値を設定するマイクロコンピュータ１６と、この制御値に基づいて入力画像に補正を施す信号処理回路１８とを有する。【選択図】図１
2008085915.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子を用いて画像を撮像する撮像装置において、
視覚的または撮影用に必要な光量が得られないような状態を撮像する暗視モードにおいて撮像された入力画像から顔を検出する顔検出部と、
前記顔検出部により顔が検出されたとき、検出された顔が肌色になるように制御値を設定する制御部と、
前記制御値に基づいて前記入力画像に補正を施す色補正部と、
を有することを特徴とする撮像装置。
【請求項２】
前記色補正部は、ホワイトバランスを調整するホワイトバランス制御部を有し、
前記制御部は、前記ホワイトバランス制御部に設定するゲイン値を設定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記色補正部は、さらに、前記ホワイトバランスが調整された画像の色相を調整する色相調整部を有し、
前記制御部は、検出された顔の色再現性を高めるような色相に設定するマトリクス値を設定することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記色補正部は、さらに、前記ホワイトバランスが調整された画像の輝度を調整する輝度調整部を有し、
前記制御部は、検出された顔の明るさを適正化するように前記輝度調整部に対する輝度調整値を設定することを特徴とする請求項２記載の撮像装置。
【請求項５】
赤外線を照射する赤外線照射部をさらに有し、
前記入力画像は、前記赤外線照射部から照射された赤外線の被写体からの反射光を前記固体撮像素子が撮像した画像であることを特徴とする請求項１記載の撮像装置。
【請求項６】
前記色補正部は、前記入力画像の顔が検出された領域のみに前記補正を施すことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記制御部は、前記顔検出部による顔の検出結果に応じて前記制御値を変化させることを特徴とする請求項１記載の撮像装置。
【請求項８】
固体撮像素子を用いて画像を撮像する撮像方法において、
顔検出部が、視覚的または撮影用に必要な光量が得られないような状態を撮像する暗視モードにおいて撮像された入力画像から顔を検出し、
前記顔検出部により顔が検出されたとき、制御部が、検出された顔が肌色になるように制御値を設定し、
色補正部が、前記制御値に基づいて前記入力画像に補正を施す、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置および撮像方法に関し、特に、固体撮像素子を用いて画像を撮像する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラ等のデジタル方式の撮像装置が急速に普及し、これらの製品の高性能化が進んでいる。このため、撮像装置としてより高度な機能を搭載して、その商品価値を高めることが強く求められている。このような高度な機能の１つとして、視覚的または撮影用に必要な光量が得られないような状態（暗視状態）において形状の違いを感知できるだけの画像を撮像するための撮像モード（暗視モード）が注目されている。
【０００３】
暗視モードで撮影する場合には、一般的には色の再現性を人の目に近づけるために設けられている赤外カットフィルタを外して赤外線を照射して被写体を撮像する装置が知られている（例えば、特許文献１参照）。
【０００４】
図６は、従来の撮像装置を示す図である。
図６に示す装置９０においては、暗視モードで赤外線照射部９１が赤外光を照射した状態で撮像素子９３がレンズ９２を通して被写体を撮像した場合に、制御部９４がホワイトバランス制御値を固定し、例えば画面全体が緑味になるような制御を行っていた。
【特許文献１】特開平１１―１０３４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、装置９０では、画像内に存在する顔等も緑色になってしまい、見た目が不自然になるという問題があった。
本発明はこのような点に鑑みてなされたものであり、暗視状態においても自然な色の顔を撮像することができる撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、視覚的または撮影用に必要な光量が得られないような状態を撮像する暗視モードにおいて撮像された入力画像から顔を検出する顔検出部と、前記顔検出部により顔が検出されたとき、検出された顔が肌色になるように制御値を設定する制御部と、前記制御値に基づいて前記入力画像に補正を施す色補正部と、を有することを特徴とする撮像装置が提供される。
【０００７】
このような撮像装置によれば、暗視モードにおいて、顔検出部により撮像された入力画像から顔が検出される。制御部により検出された顔が肌色になるように色補正部の補正用の制御値が設定される。色補正部により設定された制御値によって入力画像に補正が施される。
【発明の効果】
【０００８】
本発明では、暗視モードにおいて顔を検出した場合に、制御部が、検出された顔が肌色になるように色補正部の制御値を設定するようにしたので、色補正部の補正によって入力画像の顔を自然な色で再現することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、実施の形態の撮像装置の構成を示すブロック図である。
図１に示す撮像装置１は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。撮像装置１は、レンズ１１、赤外（ＩＲ）カットフィルタ１２、赤外線照射部１３、イメージセンサ１４、ＡＦＥ回路１５、マイクロコンピュータ（制御部）１６、顔検出回路（顔検出部）１７、信号処理回路（色補正部）１８、操作部１９およびグラフィックＩ／Ｆ２０を具備する。
【００１０】
レンズ１１は、光源からの入射光および被写体からの光（反射光）をイメージセンサ１４に集光する。
赤外カットフィルタ１２は、レンズ１１から入力された反射光の低周波成分（主として人間の可視領域以外の赤外領域）を取り除く。この赤外カットフィルタ１２は、視覚的または撮影用に必要な光量が得られないような状態（暗視状態）において被写体の形状の違いを感知できるだけの画像を撮像するための暗視モード時には光路内から外される。なお、図１では、赤外カットフィルタ１２が光路内から外された状態を示している。
【００１１】
赤外線照射部１３は、赤外線ＬＥＤ（Light Emitting Diode）等の発行手段を有し、被写体に対して赤外線を照射する機能を有している。
イメージセンサ１４は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、被写体からの入射光を電気信号に変換する。
【００１２】
ＡＦＥ回路１５は保持・利得制御回路１５１およびＡ／Ｄ変換回路（Ａ／Ｄ）１５２を有している。ＡＦＥ回路１５は、例えば１つのＩＣ（Integrated Circuit）として構成され、イメージセンサ１４から出力された画像信号に対して、保持・利得制御回路１５１がＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得（ゲイン）を制御する。また、Ａ／Ｄ変換回路１５２がＡ／Ｄ変換を行いデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、イメージセンサ１４と同一基板上に形成されてもよい。
【００１３】
マイクロコンピュータ１６は、ＣＰＵ（Central Processing Unit）を有しており、図示しないメモリ等に記憶されたプログラムを読み込んで実行することで、この撮像装置１全体を統括的に制御する。
【００１４】
顔検出回路１７は、入力画像から人物の顔を検出するために設けられており、マイクロコンピュータ１６から出力された画像信号（ここでは輝度信号）を受け取り、人物の顔が存在する領域（顔領域）の有無を検出し、その検出結果として顔領域を示す情報（例えば位置情報およびサイズ情報）をマイクロコンピュータ１６に渡す。
【００１５】
信号処理回路１８は、ＡＦＥ回路１５にてデジタル信号に変換された被写体撮像信号に対し、マイクロコンピュータ１６からの制御信号に従い、ＡＦＥ回路１５からの画像信号に対するＡＦ（Auto Focus：自動焦点）、ＡＥ（Automatic Exposure：自動露出）、ＡＷＢ（Auto White Balance：オートホワイトバランス）等の各種カメラ制御処理、またはその処理の一部を実行し、被写体の映像信号（輝度信号および色差信号）を生成する。
【００１６】
信号処理回路１８は、ＷＢ制御部１８１と、ガンマ補正部１８２と、信号処理部１８３と色再現部（色相調整部）１８４とを有している。
ＷＢ制御部１８１は、入力されたＲ信号、Ｇ信号およびＢ信号それぞれに対し、マイクロコンピュータ１６から与えられるゲイン値（ホワイトバランスゲインの目標値）を乗じ、ホワイトバランスの調整を行う。
【００１７】
ガンマ補正部１８２は、入力された画像に対しガンマ補正を行う。
信号処理部１８３は、画像の解像感を増すための輪郭協調補正等を行い、その最終段において、画像信号を輝度信号（Ｙ）と色差成分（Ｒ−Ｙ，Ｂ−Ｙ）とに分離する。
【００１８】
色再現部１８４は、信号処理部１８３によって分離された色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に対して、マイクロコンピュータ１６から指定される係数を適用してマトリクス演算を行い、色再現性を向上させる処理を施す。
【００１９】
操作部１９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどを有しており、ユーザによる入力操作に応じた制御信号をマイクロコンピュータ１６に出力する。
【００２０】
グラフィックＩ／Ｆ２０は、信号処理回路１８からマイクロコンピュータ１６を介して供給された画像信号から、ディスプレイ２０ａに表示させるための画像信号を生成して、この信号をディスプレイ２０ａに供給し、画像を表示させる。ディスプレイ２０ａは、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。
【００２１】
ところで、マイクロコンピュータ１６は、暗視状態において自動的に暗視モードに切り替える機能を有している。暗視状態の判断基準は特に限定されないが、例えばイメージセンサ１４により撮像された画像の輝度が所定値以下になった場合や、暗視状態を感知するセンサ（図示せず）等から入力される輝度が所定値以下になった場合等が挙げられる。
【００２２】
また、操作部１９が暗視モードを切り替え可能な設定になっており、ユーザが操作部１９を操作して暗視モードに切り替えるようになっていてもよい。
このような撮像装置１によれば、暗視モード時においてマイクロコンピュータ１６によって赤外線照射部１３に赤外線の照射指示が送られ、また、赤外カットフィルタ１２が光路内から外される。そして、赤外線照射部１３から無変調の赤外線が被写体に照射され、被写体からの映像光（反射光）がレンズ系により収束され、イメージセンサ１４に入射される。イメージセンサ１４に入射された映像光は光電変換によって電気信号に変換される。この変換された電気信号が保持・利得制御回路１５１に入力され、保持・利得制御回路１５１でサンプリングおよびゲインコントロールされた信号がＡ／Ｄ変換回路１５２に入力される。そしてＡ／Ｄ変換回路１５２に入力された信号はデジタル信号に変換されて、ＷＢ制御部１８１およびマイクロコンピュータ１６に出力される。
【００２３】
マイクロコンピュータ１６に入力されたデジタル信号は顔検出回路１７に出力され、顔検出回路１７によって顔領域の有無が検出される。暗視モードにおいては、顔検出回路１７は輝度信号から顔領域を検出する。
【００２４】
この検出結果がマイクロコンピュータ１６に渡され、顔領域が存在する場合、この顔領域の色が肌色になるようなホワイトバランスの制御値が設定され、ＷＢ制御部１８１のホワイトバランス処理に必要なゲイン値が設定される。また、顔検出回路１７によって検出された顔領域の色について、好適な肌色になるような最適なマトリクス係数が設定される。
【００２５】
ＷＢ制御部１８１に入力されたデジタル信号は、マイクロコンピュータ１６によって設定されたゲイン値に基づいてホワイトバランス処理が施され、ガンマ補正部１８２に出力される。
【００２６】
次に、ガンマ補正部１８２によりガンマ補正が行われて、信号処理部１８３で輝度信号と色差信号とに変換される。この色差信号は、色再現部１８４によりマイクロコンピュータ１６によって設定されたマトリクス係数に基づいて色再現補正処理が施される。
【００２７】
次に、撮像装置１の撮像時のマイクロコンピュータ１６の動作について説明する。
図２は、撮像装置の撮像時のマイクロコンピュータの動作を示すフローチャートである。
【００２８】
まず、マイクロコンピュータ１６は、撮影モードが暗視モードか否かを判断する（ステップＳ１）。
暗視モードではない場合（ステップＳ１のＮｏ）、暗視モードではない通常処理を行う（ステップＳ２）。この処理は従来公知の方法を用いて行うことができるため説明を省略する。
【００２９】
一方、暗視モードの場合（ステップＳ１のＹｅｓ）、赤外カットフィルタ１２を光路内から外す（ステップＳ３）。
次に、赤外線照射部１３に赤外線を照射させる（ステップＳ４）。
【００３０】
次に、顔検出回路１７の検出結果により顔領域が検出されたか否かを判断する（ステップＳ５）。
顔領域が検出されない場合（ステップＳ５のＮｏ）、後述する式（１）、（２）に基づいてＷＢ制御部１８１に出力するゲイン値（通常暗視モード用ゲイン値）を設定する（ステップＳ６）。
【００３１】
次に、後述する式（５）に基づいて、色再現マトリクス係数（通常暗視モード用色再現マトリクス係数）を設定する（ステップＳ７）。
一方、顔領域が検出された場合（ステップＳ５のＹｅｓ）、後述する式（３）、（４）に基づいてＷＢ制御部１８１に出力する顔領域用ゲイン値を設定する（ステップＳ８）。
【００３２】
次に、後述する式（６）に基づいて、色再現部１８４に出力する顔領域用色再現マトリクス係数を設定する（ステップＳ９）。
次に、暗視モード時に顔領域が検出されていない場合にはＷＢ制御部１８１にステップＳ６にて設定したゲイン値を出力し、色再現部１８４にステップＳ７にて設定した色再現マトリクス係数を出力する。また、暗視モード時に顔領域が検出された場合にはＷＢ制御部１８１にステップＳ８にて設定した顔領域用ゲイン値を出力し、色再現部１８４にステップＳ９にて設定した色再現マトリクス係数を出力する（ステップＳ１０）。
【００３３】
以上で動作を終了する。
次に、図２のステップＳ６およびステップＳ８の処理について詳しく説明する。
ステップＳ６では、ホワイトバランス補正前のＲＧＢ値（Ｒ0，Ｇ，Ｂ0）をホワイトバランス補正後のＲＧＢ値（Ｒ1，Ｇ，Ｂ1）、すなわち、画像全体を緑色にするように次式（１）、（２）を満たす一定のゲイン値（ｇr，ｇb）を設定する。
ｇr・Ｒ0／Ｇ＝Ｒ1／Ｇ・・・（１）
ｇb・Ｂ0／Ｇ＝Ｂ1／Ｇ・・・（２）
一方、ステップＳ８では、検出した顔領域の色（Ｒ0，Ｇ，Ｂ0）を肌色（Ｒ2，Ｇ，Ｂ2）になるように次式（２）を満たすゲイン値（ｇr1，ｇb1）を設定する。
ｇr1・Ｒ0／Ｇ＝Ｒ2／Ｇ・・・（３）
ｇb1・Ｂ0／Ｇ＝Ｂ2／Ｇ・・・（４）
なお、ゲイン値（ｇr1，ｇb1）は、固定値を予めテーブル化してメモリに格納しておいてもよいし、検出した顔領域の顔の特徴、例えば人種や性別等の違いを考慮してそれぞれの場合に最適な肌色になるよう連続的、断続的に値を変化させたりするようにしてもよい。この場合例えば複数の値を予めテーブル化してメモリに格納しておいて、適宜選択するようにしてもよいし、演算によって求めるようにしてもよい。
【００３４】
図３は、ＷＢ制御部の処理によって顔領域の色が変化する様子を示す図である。
図３に示すように、ＷＢ制御部１８１が式（３）、（４）によって得られたゲイン値を用いてホワイトバランス処理を行うことにより、検出した顔領域の色が肌色領域内に入る。
【００３５】
次に、図２のステップＳ７およびステップＳ９の処理について詳しく説明する。
ステップＳ７では、色再現補正前の色差信号（（Ｂ−Ｙ），（Ｒ−Ｙ））を色再現補正後の色差信号（（Ｂ−Ｙ）’，（Ｒ−Ｙ）’）にするために次式（５）を満たす色再現マトリクス係数（（ＧａｉｎＢ，ＨｕｅＲ）;（ＨｕｅＢ，ＧａｉｎＲ））を設定する。
【００３６】
【数１】
2008085915.tif 000003
ステップＳ７にて設定する色再現マトリクス係数は、ホワイトバランスに応じて変化する係数を用いる。
【００３７】
一方、ステップＳ９では、色再現補正前の色差信号（（Ｂ−Ｙ），（Ｒ−Ｙ））が、肌色の色差信号（（Ｂ−Ｙ）’’，（Ｒ−Ｙ）’’）になるように次式（６）を満たす色再現マトリクス係数（肌色に特化した係数）（（ＧａｉｎＢ’， ＨｕｅＲ’）;（ＨｕｅＢ’，ＧａｉｎＲ’））を設定する。
【００３８】
【数２】
2008085915.tif 000004
この色再現マトリクス係数もゲイン値と同様に、固定値を予めテーブル化してメモリに格納しておいてもよいし、検出した顔領域の顔の特徴、例えば人種や性別等の違いを考慮してそれぞれの場合に最適な肌色になるよう連続的、断続的に係数を変化させたりするようにしてもよい。この場合例えば複数の係数を予めテーブル化してメモリに格納しておいて、適宜選択するようにしてもよいし、演算によって求めるようにしてもよい。
【００３９】
図４は、色再現部によって、色が変化する様子を示す図である。
色再現部１８４が式（６）によって得られた色再現マトリクス係数を用いて色相の微調整（色再現補正）を行うことで、顔領域の色を理想的な色再現性を有する色相の領域に近づけることができる。
【００４０】
また、図２には示していないが、マイクロコンピュータ１６は、輝度についても次式（５）のように、検出した顔領域の輝度Ｙに対して適正な輝度Ｙ’になるようにオフセットｙを設定するのが好ましい。
Ｙ’＝Ｙ＋ｙ・・・（７）
このオフセットｙも、固定値を予めテーブル化してメモリに格納しておいてもよいし、検出した顔領域の顔の特徴、例えば人種や性別等の違いを考慮してそれぞれの場合に最適な肌色になるよう連続的、断続的に変化させたりするようにしてもよい。この場合例えば複数のオフセットｙを予めテーブル化してメモリに格納しておいて、適宜選択するようにしてもよいし、演算によって求めるようにしてもよい。
【００４１】
色再現部１８４が式（７）によって得られたオフセットｙを用いて輝度の調整を行うことで、より適切な明るさで顔を再現することができる。
次に、顔領域が検出された場合の図２のステップＳ１０の設定値出力のパターンについて説明する。
【００４２】
図５は、設定値出力のパターンを示す図である。
入力画像から顔領域を検出後、パターン１ではマイクロコンピュータ１６は、設定したゲイン値と色再現マトリクス係数とを入力画像全体に適用するようＷＢ制御部１８１に出力する。これにより、図５に示す画像Ｐ１が得られる。
【００４３】
また、パターン２では設定したゲイン値と色再現マトリクス係数とを検出された顔領域のみに適用するようＷＢ制御部１８１に指示する。この場合、マイクロコンピュータ１６は、顔検出回路１７からの顔領域の情報に基づき、ＷＢ制御部１８１に入力される画像信号が顔領域に含まれる画素の信号であれば、設定したゲイン値および色再現マトリクス係数を設定し、顔領域外の画素の信号であれば、図２のステップＳ２の通常処理で設定されるものと同じゲイン値および色再現マトリクス係数を設定する。これにより、図５に示す画像Ｐ２が得られる。画像Ｐ２は顔領域のみが肌色になるため画像Ｐ１よりも視認性に優れる。
【００４４】
以上述べたように、撮像装置１によれば、暗視モード時において顔検出回路１７によって顔領域が検出された場合、マイクロコンピュータ１６がＷＢ制御部１８１に出力する顔領域用ゲイン値と色再現部１８４に出力する顔領域用色再現マトリクス係数とを設定するようにしたので、ＷＢ制御部１８１が顔領域用ゲイン値を用いてホワイトバランス処理を施すことにより、顔領域が肌色になるホワイトバランスを実現することができる。また、色再現部１８４が顔領域用色再現マトリクス係数を用いて色再現補正処理を施すことにより、顔領域の肌色をより適切に再現することができる。
【００４５】
以上、本発明の撮像装置および撮像方法を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、上記の撮像機能を備えるあらゆる電子機器に適用することができる。また、上述した各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
【００４６】
また、本発明は、前述した実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。
【図面の簡単な説明】
【００４７】
【図１】実施の形態の撮像装置の構成を示すブロック図である。
【図２】撮像装置の撮像時のマイクロコンピュータの動作を示すフローチャートである。
【図３】ＷＢ制御部の処理によって顔領域の色が変化する様子を示す図である。
【図４】色再現部によって、色が変化する様子を示す図である。
【図５】設定値出力のパターンを示す図である。
【図６】従来の撮像装置を示す図である。
【符号の説明】
【００４８】
１……撮像装置、１１……レンズ、１２……赤外（ＩＲ）カットフィルタ、１３……赤外線照射部、１４……イメージセンサ、１５……ＡＦＥ回路、１６……マイクロコンピュータ、１７……顔検出回路、１８……信号処理回路、１８１……ＷＢ制御部、１８２……ガンマ補正部、１８３……信号処理部、１８４……色再現部
【図１】
2008085915.tif 000005
【図２】
2008085915.tif 000006
【図３】
2008085915.tif 000007
【図４】
2008085915.tif 000008
【図５】
2008085915.tif 000009
【図６】
2008085915.tif 000010