(57)【要約】【課題】顔の輝度の安定化を図るとともに、撮像シーンの切り替わり等画面全体の輝度値が大きく変化する状態が発生した場合でも、画面全体の露出を素早く適正にする露出制御を実現することができる撮像装置を提供する。【解決手段】被写体の撮像を行う撮像素子８と、撮像素子８で撮像した被写体の画像内の顔を検出する顔検出回路１６と、顔検出回路１６で検出した顔の位置の輝度値と、画面全体の輝度値を検出する輝度情報検出回路１７とを備える。さらに、輝度情報検出回路１７で検出した顔の輝度値に時定数を適用して得られた補償値と、画面全体の輝度値から、補正量の算出を行うマイクロコンピュータ１２を備える。このマイクロコンピュータ１２は、フレーム間の画面全体の輝度差が閾値を超えた場合には、補償値をクリアして補正量を求める。【選択図】図１
2011049737.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子で撮像した被写体の画像内の顔を検出する顔検出手段と、
前記顔検出手段で検出した顔の位置における第１の輝度値、および、前記顔よりも広い範囲における第２の輝度値を検出する輝度情報検出手段と、
前記第１の輝度値に第１の時定数を適用して得られた補償値と、前記第２の輝度値とから、前記画像の輝度を適正にするための補正量の算出を行う補正量算出手段を有し、
前記補正量算出手段は、複数の画像間における前記第２の輝度値の差が閾値を超えた場合に、前記補償値を０にクリアするか、あるいは、前記補償値を低減させることを特徴とする撮像装置。
【請求項２】
前記補正量算出手段は、前記補償値と前記第２の輝度値を加算して得られた値から、前記補正量の算出を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正量算出手段は、前記補償値と前記第２の輝度値を加算した値に前記第１の時定数よりも小さな値の第２の時定数を適用して得られた値と、目標値との差分から、前記補正量の算出を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記補正量算出手段は、前記顔検出手段にて顔が検出できなかった場合には、前記第２の輝度値に前記第２の時定数を適用して得られた値と、前記目標値との差分から、前記補正量の算出を行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮像素子で撮像した被写体の画像内の顔を検出する顔検出ステップと、
前記顔検出ステップで検出した顔の位置における第１の輝度値、および、前記顔よりも広い範囲における第２の輝度値を検出する輝度情報検出ステップと、
前記第１の輝度値に第１の時定数を適用して得られた補償値と、前記第２の輝度値とから、前記画像の輝度を適正にするための補正量の算出を行う補正量算出ステップを有し、
前記補正量算出ステップでは、複数の画像間における前記第２の輝度値の差が閾値を超えた場合に、前記補償値を０にクリアするか、あるいは、前記補償値を低減させることを特徴とする撮像装置の露出制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像情報から人物の顔を検出することが可能、かつ、検出した顔の露出を適正に補正することが可能な撮像装置及びその露出制御方法に関するものである。
【背景技術】
【０００２】
今日のデジタルカメラ、デジタルカムコーダ等の撮像装置においては、撮像（撮影）時、取得された画像情報に基づいて自動的に露出を決定するＡＥ（自動露出制御）機能を備える撮像装置が一般的である。自動露出制御では、適正な露出制御を行うために、様々な種類の測光方法を用いることで、撮像している画面全体の画像情報から輝度値情報を測光により取得する。
【０００３】
ここで、主に使用される測光方法として、画面全体から取得された測光値を平均化して露出制御を行う測光方法や、画面内を複数の領域に分割し、各領域での測光値に重み付けして露出制御を行う測光方法等がある。状況に応じて測光方法を切り替えることにより、画面全体の輝度値が明るい、または、一部の輝度値が明るい状態の場合においても画面全体の露出を適正に決定することができる。また、暗い状態の場合も同様な露出制御を行うことで露出を適正に収束することができる。
【０００４】
さらに、画像から人物の顔を検出する顔検出機能を備え、図４に示すように、画面全体の測光値を取得する測光枠とは別に、被写体の顔の測光値を取得する顔の測光枠を設定、使用する方法がある。顔測光枠は、画面内で被写体の顔が検出された位置、顔の大きさにより設定される。
【０００５】
顔測光枠から取得される顔測光値に対して画面全体の測光値よりも大きな重み付けをして露出制御を行うことで、その顔の輝度値を適正露出に制御する方法が提案されている（特許文献１を参照）。これにより、画面全体に比べ顔の輝度値が明るい場合等において、顔の測光値を基に露出制御を行うため、被写体の顔の白とびを抑え、適正露出に制御することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０７０５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、図５に示すように、顔の測光値を取得する際、人物が常に正面を向いていないため、髪の毛のように本来測光したい人肌部分以外の輝度値を測光してしまい、顔測光枠からの取得される顔測光値が安定しない場合が考えられる。この顔の測光値をそのまま用いると、露出制御により顔を考慮した全体の輝度値が安定せず、輝度値も収束しないため、明るさがちらついた画像になってしまう。
【０００８】
そのため、顔の輝度の変化量を小さくするために、画面全体の露出制御と同様に時定数を考慮している。これは、顔の向き、光源状態により顔の測光値が安定せず変動している場合においても、時定数により顔の急激な輝度変化を吸収し、画面全体の露出を緩やかに変化させるためである。ここで、顔における輝度変化は、背景における輝度変化よりも目立つことが多いため、顔の輝度を緩やかに変化させるために用いる時定数は、画面全体の露出制御に用いる時定数よりも大きい（変化の幅を小さくする）ものを使用する。
【０００９】
しかしながら、上記のように大きさが異なる時定数を用いる露出制御方法では、シーンの切り替わり等で画面全体の輝度差が大きい場合、顔の時定数の大きさの影響により、画面全体の輝度が目標値に収束するまでに多くの時間を要することになってしまう。
【００１０】
そこで、本発明の目的は、顔の輝度の安定化を図るとともに、画面全体の露出を素早く適正にする露出制御を実現することができる撮像装置及びその露出制御方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１記載の撮像装置は、撮像素子と、前記撮像素子で撮像した被写体の画像内の顔を検出する顔検出手段と、前記顔検出手段で検出した顔の位置における第１の輝度値、および、前記顔よりも広い範囲における第２の輝度値を検出する輝度情報検出手段と、前記第１の輝度値に第１の時定数を適用して得られた補償値と、前記第２の輝度値とから、前記画像の輝度を適正にするための補正量の算出を行う補正量算出手段を有し、前記補正量算出手段は、複数の画像間における前記第２の輝度値の差が閾値を超えた場合に、前記補償値を０にクリアするか、あるいは、前記補償値を低減させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、顔の輝度の安定化を図るとともに、撮像シーンの切り替わり等画面全体の輝度値が大きく変化する状態が発生した場合でも、画面全体の露出を素早く適正にする露出制御を実現することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る撮像装置の概略構成の一例を示す図である。
【図２】（ａ）〜（ｅ）は、本発明の顔情報を用いた露出制御方法を示す図である。
【図３】図１の撮像装置によって実行される顔情報を用いた露出制御処理の手順を示すフローチャートである。
【図４】本発明で用いる顔測光枠、画面全体の測光枠の関係を示す図である。
【図５】顔の測光値が不安定になる顔の状態を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を添付図面を参照しながら詳細に説明する。
【００１５】
図１は、本発明の実施の形態に係る撮像装置１００の概略構成の一例を示す図である。
【００１６】
図１において、撮像装置１００の外部から入射した光を撮像装置１００内部に導くレンズ１は、簡略して１枚を図示しているが、通常、複数枚のレンズから構成される。絞り２は、入射する光の量を調整する。絞り駆動モータ（Ｍ）３は、絞り２を駆動する。絞り状態検出回路（Ｓ）４は、絞り２の駆動状態を検出する。
【００１７】
ＮＤフィルタ５は、レンズ１から入射する光を減衰させる。ＮＤフィルタ駆動モータ（Ｍ）６は、ＮＤフィルタ５を駆動する。ＮＤフィルタ駆動検出回路（Ｓ）７は、ＮＤフィルタ５の駆動状態を検出する。
【００１８】
被写体の撮像を行う撮像素子８は、ＣＣＤ、ＣＭＯＳセンサ等その種類は問わない。ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）／ＡＧＣ（Auto Gain Control：自動利得調整）回路９は、撮像素子８の各画素に蓄えられた電荷（画像信号）に基づく画像情報をサンプリングし増幅する。絞り２およびNDフィルタ５を排除し、この撮像素子８の電荷蓄積時間やＩＳＯ感度を設定するのみで、露出制御を行うことも可能である。
【００１９】
Ａ／Ｄ変換回路１０は、ＣＤＳ／ＡＧＣ回路９から出力される画像情報をデジタル信号に変換する。デジタル信号処理回路１１は、Ａ／Ｄ変換回路１０から出力されたデジタルの画像情報に対して種々の信号処理を行う。
【００２０】
マイクロコンピュータ１２は、本実施の形態の撮像装置１００における動作を統括的に制御するものであり、例えば、デジタル信号処理回路１１からの輝度・色等の情報を受けて、各種の演算処理を行う。絞り機構駆動部１３は、マイクロコンピュータ１２による制御に基づき、絞り駆動モータ３へ電力の供給を行う。
【００２１】
撮像素子駆動部１４は、マイクロコンピュータ１２による制御に基づき、撮像素子８を駆動するための駆動パルス等を供給する。ＮＤフィルタ機構駆動部１５は、マイクロコンピュータ１２による制御に基づき、ＮＤフィルタ駆動モータ６へ電力の供給を行う。
【００２２】
顔検出回路１６は、デジタル信号処理回路１１で種々の信号処理が施された画像全体の情報から画像内（画面内）の被写体の顔位置、顔の大きさを検出する。輝度情報検出回路１７は、マイクロコンピュータ１２から送られるデジタルの画像データに基づいて輝度値（輝度情報）を検出する。
【００２３】
マイクロコンピュータ１２は、輝度情報検出回路１７で検出した輝度値から顔の露出を適正にするための補正量の算出を行う補正量算出手段として機能する。
【００２４】
記憶装置１９は、撮像した画像を一時的に保存（記憶）する。記録媒体２０は、撮像装置１００で撮像された画像情報を記録する。
【００２５】
本実施の形態の撮像装置１００において、顔の輝度値を適正に補正する露出制御を行う際の処理の概要を説明する。まず、撮像する被写体像を撮像素子８が受光し、撮像素子８の各画素に蓄えられた電荷が画像信号として出力され、ＣＤＳ／ＡＧＣ回路９でサンプリングされ、増幅される。そして、Ａ／Ｄ変換回路１０でデジタル信号に変換されて、デジタル信号処理回路１１へ送られる。
【００２６】
デジタル信号処理回路１１では、Ａ／Ｄ変換回路１０から出力されたデジタルの画像信号に対して種々の信号処理を行う。そして、その結果をマイクロコンピュータ１２が顔検出回路１６に送り、顔検出回路１６は、画像情報から画面内の被写体の顔位置、顔の大きさを検出する。
【００２７】
その後、顔検出回路１６により、被写体の顔位置、顔の大きさが検出された場合、画面内の顔位置の輝度値を取得するため、輝度情報検出回路１７により顔測光値（第１の輝度値）を取得する。このとき、同時に画面全体の全体測光値（第２の輝度値）も輝度情報検出回路１７で取得する。
【００２８】
そして、マイクロコンピュータ１２は、顔測光値と、顔が適正に収束するように設定された顔目標値との差分である顔差分値を算出する。その後、マイクロコンピュータ１２は算出した顔差分値から第１の時定数を適用した顔補償値を算出し、この顔補償値を画面全体の測光値に加算して最終測光値を求める。マイクロコンピュータ１２は、この最終測光値を画面全体の目標値に収束させるための最終補正値を決定し、この最終補正値に基づいて絞り機構駆動部１３、撮像素子駆動部１４、および、ＮＤフィルタ機構駆動部１５を制御する。
【００２９】
なお、本実施の形態では、分かりやすく表現するために、図１では全て独立した回路の構成を示しているが、全ての構成またはその一部をマイクロコンピュータ１２内に構成するようにしてもよい。
【００３０】
この最終補正値の決定方法について、図２を用いて詳細に説明する。図２は、顔測光値および画面全体の測光値（全体測光値）から最終補正値を求める方法を説明するための図である。図２（ａ）〜図２（ｅ）の横軸は時間軸であり、図２（ａ）〜図２（ｅ）は同一の時間におけるそれぞれの値を示している。図２の例では、画面全体の輝度にさほど変化はなく、人物が日陰から日当たりの良い場所へ近づいてくる過程のシーンを撮影しているものとする。
【００３１】
図２（ａ）は輝度情報検出回路１７で求められた各フレーム画像における顔測光値を示しており、マイクロコンピュータ１２は各フレームの顔測光値の顔目標値に対する過不足分を顔差分値として求める。
【００３２】
図２（ｂ）の左側のグラフは各フレーム画像における顔差分値を示す。この例では、顔測光値が顔目標値よりも小さな値であったため、顔差分値は負の値として求められる。マイクロコンピュータ１２は、顔の輝度の急激な変化を回避するため、得られた顔差分値に第１の時定数を適用して、図２（ｂ）の右側のグラフに示す顔補償値を求める。顔補償値は、顔差分値に比較して、各フレーム画像間における差分が小さくなるように設定される。上述したように、顔における顔の輝度変化は、背景における輝度変化よりも目立つため、この顔補償値を求めるための第１の時定数は、後述する図２（ｅ）に示す最終補正値を求める際に適用する第２の時定数よりも大きな値に設定される。
【００３３】
図２（ｃ）は輝度情報検出回路１７で求められた各フレーム画像における全体測光値を示す。ここでは画面全体における測光値を平均化した値を全体測光値として説明を行うが、画面の領域ごとに重み付けをして加算平均した値を全体測光値としてもよい。あるいは、必ずしも画面全体ではなく、画面の中央部８割程度の領域から得られた測光値を全体測光値としてもよい。すなわち、全体測光値は、検出された顔領域よりも広い範囲から得た測光値であればよい。
【００３４】
マイクロコンピュータ１２は、この全体測光値に対して、図２（ｂ）に示した顔補償値を加算し、最終測光値を求める。この例では、顔補償値が負の値であったため、最終測光値は全体測光値よりも小さな値となる。
【００３５】
そして、マイクロコンピュータ１２は、最終測光値の輝度変化を抑制するために最終測光値に対して第２の時定数を適用した値を求め、その値と画面全体の目標値との差分を相殺するための値を、図２（ｅ）に示す最終補正値として求める。
【００３６】
マイクロコンピュータはこの最終補正値に従って、絞り機構駆動部１３、撮像素子駆動部１４、およびＮＤフィルタ機構駆動部１５を制御することで、露出制御を行う。このようにすることで、顔の急激な輝度変化を抑制し、かつ、顔の輝度を目標値に近づける露出制御を行うことができる。
【００３７】
しかしながら、この方法だけでは、シーンの切り替わり等で画面全体の輝度差が大きい場合、第１の時定数の大きさによる顔補償値の変化の遅さから不具合が生じることがある。これを、屋内のように全体的に輝度が低いシーンから、急激に屋外の太陽光下のように輝度の高いシーンに切り替わった場合を例にあげて説明する。
【００３８】
このような状況下では、顔測光値は屋内では顔目標値よりも低い値となっていたが、シーン変化することで、急激に顔目標値よりも高くなる。しかしながら、第１の時定数はその値が第２の時定数よりも大きく設定されているため、顔補償値はシーン変化する前の顔測光値の影響を大きく受け、シーン変化をしてもしばらくは負の値となる。そのため、シーン変化後の現実の顔測光値は顔目標値を上回っているにも関わらず、シーン変化後しばらくの間は、全体測光値に対して負の値の顔補償値が加味されて、最終測光値が求められることになる。つまり、シーン変化後は、全体測光値も顔測光値も目標値を上回っているにも関わらず、顔補償値によってこれらの測光値を下げるように露出制御することが抑制され、全体測光値も顔測光値もそれぞれの目標値を上回る期間を長引かせてしまうという状況が生じる。
【００３９】
さらに、画像から顔が検出されない場合は、最終測光値を求める際に顔補償値を考慮する必要がない。そのため、顔が検出された場合と、されなかった場合とで、同様の急激な輝度変化が生じたとしても、その輝度が目標値に収束するまでの時間に大きな差が生じてしまうことになる。
【００４０】
そこで、本実施形態では、露出制御中に、輝度情報検出回路１７により前のフレームと現在のフレームで輝度差が大きい状態が検出された場合、マイクロコンピュータ１２は現在保持している顔補償値を０にする（クリアする）。即ち、顔補償値を考慮せずに、全体測光値のみから求められる最終測光値で露出制御を行うように切り替える。最終補正値はこの最終測光値に対して第２の時定数を適用した値となるが、上述したように、この第２の時定数は顔補償値を求める際に求める第１の時定数よりも値が小さい。よって、顔補償値を０にしないときよりも目標値に早く収束させることができる。また、顔が検出されなかった場合と比較して、同じ期間で最終測光値を目標値へ収束させることができるようになる。
【００４１】
また、マイクロコンピュータ１２は、フレーム間の輝度差が大きい状態が検出された場合に、顔補償値をクリアするだけでなく、顔補償値の値を低減させるようにしても、収束に要する時間を短縮させることが可能である。
【００４２】
その後、最終測光値が目標値に収束した場合、再度、顔検出回路１６により被写体の顔位置、顔の大きさを検出し、輝度情報検出回路１７により顔位置の輝度値を測光する。
【００４３】
そして、輝度情報検出回路１７により取得した測光値を用いて、マイクロコンピュータ１２で顔補償値を算出して、全体測光値に加算することで、顔補償値を加味して求めた最終測光値を画面全体の目標値に収束させて顔の露出を適正にする処理を再開する。
【００４４】
次に、本実施の形態の撮像装置１００による露出制御方法について説明する。
【００４５】
図３は、図１の撮像装置１００によって実行される顔情報を用いた露出制御処理の手順を示すフローチャートである。
【００４６】
本処理は、図１のマイクロコンピュータ１２の制御のもとに実行される。
【００４７】
顔情報を用いて露出制御を行う際、ステップＳ１０１において、顔検出回路１６により撮像している画面内に被写体の顔が存在するか否かの判断を行う。ステップＳ１０１の判断の結果、画面内に顔が存在していないと判断された場合、顔補償値の算出を行わずに全体測光値を最終測光値とみなし、ステップＳ１０８に進む。
【００４８】
一方、ステップＳ１０１の判断の結果、画面内に被写体の顔が存在すると判断された場合には、ステップＳ１０２に進む。そして、ステップＳ１０２において、マイクロコンピュータ１２は、ステップＳ１０１で検出した顔位置に顔枠を設定し、輝度情報検出回路１７により顔測光値を取得する。このとき、複数人の顔が検出されているならば、取得する顔測光値は、主たる一人の顔から求めるものであっても、全員の顔から求めるものであっても構わない。
【００４９】
そして、ステップＳ１０３において、マイクロコンピュータ１２により、顔測光値と顔目標値との差分値である顔差分値を算出する。その後、ステップＳ１０４において、算出した顔差分値からマイクロコンピュータ１２により第１の時定数を適用した顔補償値を算出する。
【００５０】
続いて、輝度情報検出回路１７により１フレーム前と現在のフレームとの画面全体の輝度値（全体測光値）の差分を算出し、ステップＳ１０５において、マイクロコンピュータ１２は算出した全体測光値の差分が閾値より大きいか否かの判断を行う。
【００５１】
露出制御中に全体測光値のフレーム間の差分が閾値より大きくなった場合、マイクロコンピュータ１２は、ステップＳ１０６にて、現在保持している顔補償値を０にクリアする。即ち、顔補償値を考慮しない全体測光値のみから求めた最終測光値で露出制御を行うように切り替える。一方、ステップＳ１０５の判断の結果、全体測光値のフレーム間の差分が閾値以下と判断された場合は、マイクロコンピュータ１２は、ステップＳ１０６の処理を行わず、ステップＳ１０７へ進む。マイクロコンピュータ１２は、ステップＳ１０７にて、全体測光値に顔補償値を加算して最終測光値を求める。そして、ステップＳ１０８において、最終測光値を画面全体の目標値に収束させるための最終補正値を決定する。
【００５２】
なお、本実施形態では、マイクロコンピュータ１２は、ステップＳ１０５において全体測光値が急激に変化したか否かを判断しているのであって、顔測光値のみが急激に変化した場合にはステップＳ１０６の処理へは進まない。これは、画面全体の輝度変化が少ないことからシーンの変化の可能性は低く、顔の輝度値のみが急激に変化したとしても、それは、顔の向き、光源状態等の変化のための一時的な輝度変化の可能性が高いと考えられるためである。そのため、このような状態の場合、通常通りの顔の補正値に時定数を考慮し、補正値の変化量を小さくし、露出制御を行えば影響は小さいと考えられる。従って、画面全体の輝度値の差が大きい場合のみ、この露出制御を行う。
【００５３】
以上のステップＳ１０１〜ステップＳ１０８の一連の処理により、本実施の形態の撮像装置１００による顔補償値を用いた露出制御が実行される。
【００５４】
最後に、本実施の形態の撮像装置１００における特徴的な動作について説明する。
【００５５】
まず、顔測光値から顔を適正露出に収束させるための顔補償値を求める。そして、この顔補償値を全体測光値に加味して、最終測光値を求める。そして、シーンの切り替わり等により閾値以上の輝度差を検出した場合、現在保持している顔補償値を０にクリアすることで、保持している顔補償値により画面全体の露出を過補正してしまうことを防ぐ。
【００５６】
これにより、撮像シーンの切り替わり等画面全体の輝度値が大きく変化する状態が発生した場合においても、従来の方法に比べ、画面全体の露出を素早く適正にする露出制御を行うことが可能である。
【符号の説明】
【００５７】
８  撮像素子
１１  デジタル信号処理回路
１２  マイクロコンピュータ
１３  絞り機構駆動部
１６  顔検出回路
１７  輝度情報検出回路
１００  撮像装置
【図１】
2011049737.tif 000003
【図２】
2011049737.tif 000004
【図３】
2011049737.tif 000005
【図４】
2011049737.tif 000006
【図５】
2011049737.tif 000007