(57)【要約】【課題】顔検出機能を備えたビデオムービーにおいて、顔が検出されなくなった時であっても正しい画質で撮影ができるようにすること。【解決手段】被写体を撮像する撮像部１と、画像中の顔を検出する顔検出部３と、顔検出部３で検出した顔データに応じて、明るさ、ホワイトバランスを調整するコントローラ４とを備え、コントローラ４は、顔検出部３による検出中の顔が、撮像領域外へ移動した場合に、顔データに応じた、明るさ、ホワイトバランスの調整を中止し、顔が、撮像領域内で検出できなくなった場合に、それ以前に検出した顔データに応じた明るさ、ホワイトバランスの調整を継続する。【選択図】図１
2010093689.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部の出力について、ホワイトバランス調整を含む画像処理を実行する画像処理部と、
前記画像処理部の画像中の特定被写体を検出する特徴検出部と、
前記特徴検出部で検出した特定被写体に応じて、前記画像処理部における画像処理を調整する画像処理調整部と、
前記特徴検出部による検出中の特定被写体が、撮像領域外へ移動した場合に、前記特定被写体に応じた画像処理の調整を中止し、特定被写体が、撮像領域内で検出できなくなった場合に、それ以前に検出した前記特定被写体に応じた画像処理の調整を継続する制御部と、
を備えた撮像装置。
【請求項２】
映像の平均輝度を検出する輝度検出手段を備え、
前記制御部は、
前記特徴検出部による検出中の特定被写体が、撮像領域内で検出できなくなった場合であっても、前記輝度検出手段により平均輝度が変化した場合には、前記特定被写体に応じた画像処理の調整を中止する
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記平均輝度の変化が一定時間継続しない場合は、それ以前に検出した前記特定被写体に応じた画像処理の調整を継続する
請求項２に記載の撮像装置。
【請求項４】
前記特徴検出部は、前記画像処理部の出力画像中の顔を検出する
請求項１から請求項３の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものであり、特に、顔検出手段を搭載した撮像装置に関するものである。
【背景技術】
【０００２】
最近の撮像装置では、顔検出機能を搭載し、検出された顔が綺麗に撮影されるようにフォーカスやホワイトバランス処理を行うようにしているものがある。例えば、顔位置を検出する顔検出手段と、顔位置と撮影された時刻を記録する顔位置記録手段と、顔検出結果に応じてホワイトバランス処理を変更するホワイトバランス調整手段と、測光エリアを顔位置に設定する露出制御手段と、合焦エリアを顔位置に設定する合焦エリア設定手段を有し、顔が検出されなくなった場合であっても、所定の時間内に得られた顔検出結果に基づいて撮影動作の制御を行うことで、例えば、被写体が後ろを向いたときなどでも画質が変わらないようにする、というものである（例えば、特許文献１参照）。
【特許文献１】特開２００６−１５７６１７号公報（第１−５頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の構成を動画撮影機能を有するビデオムービー等に適応した場合には、例えば、人とその背景を録画していて、被写体となる人が画面から立ち去った場合においても、そのままの撮影条件で撮影が継続されてしまい、逆に、ズームアウトにより顔が小さくなり、検出できなくなったような場合は、露出条件はそのままであって欲しいにも関わらず、一定時間が経過すると露出条件が変わってしまう、という課題があった。
【０００４】
本発明は上記の問題点に鑑み、常に好ましい撮影条件によって撮影が行われる撮像装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、被写体を撮像する撮像部と、前記撮像部の出力について、ホワイトバランス調整を含む画像処理を実行する画像処理部と、前記画像処理部の画像中の特定被写体を検出する特徴検出部と、前記特徴検出部で検出した特定被写体に応じて、前記画像処理部における画像処理を調整する画像処理調整部と、前記特徴検出部による検出中の特定被写体が、撮像領域外へ移動した場合に、前記特定被写体に応じた画像処理の調整を中止し、特定被写体が、撮像領域内で検出できなくなった場合に、それ以前に検出した前記特定被写体に応じた画像処理の調整を継続する制御部と、を備える。
【発明の効果】
【０００６】
本発明の撮像装置は、ズームアウトや、被写体となる人が横を向いた場合は、撮影条件を変えることなく、そのままの画質での映像を撮ることができ、逆に被写体となる人が画角の外に出ていった場合は、景色に合わせた画質での映像を撮ることができる。
【発明を実施するための最良の形態】
【０００７】
（実施の形態１）
図１は、本発明の撮像装置の実施の形態１を示すブロック図である。
【０００８】
撮像部１は、光学系と撮像素子とＡＤコンバータとで構成される。光学系は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ：光学式手ブレ補正）ユニット、フォーカスレンズ等を含む。光学系は、被写体からの光を集光し、被写体像を形成する。撮像素子は、光学系で形成された被写体像を撮像して、画像データを生成する。撮像素子は、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等である。ＡＤコンバータは、撮像素子で生成された画像データをデジタル信号に変換する。画像メモリ２は、撮像部１が出力した画像データを保持する。顔検出部３は、画像メモリ２上の画像データに、顔が存在するか否かを検出する。顔が検出された場合は、顔検出部３はその位置情報と大きさ情報をコントローラ４に通知する。
【０００９】
なお、本実施の形態では、画像データ中の顔を検出するとしたが、本発明はこれに限られず、例えば、人全体や、ねこ等の特定の動物や、動く物体等を検出してもよい。また、本実施の形態では、顔検出部３をコントローラ４と別に設けているが、コントローラ４で実現しても良い。
【００１０】
制御部５は、撮像部１を構成するレンズ、絞り、ＯＩＳユニット、フォーカス等を、コントローラ４からの出力に基づき、制御する。コントローラ４は、撮像装置全体を制御する制御手段である。コントローラ４は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ４は、マイクロコンピュータで実現できる。コントローラ４は、顔検出部３より通知された位置と大きさに基づき、その位置にフォーカスを合わせると共に、その位置の明るさが最適となるよう絞りを制御すべく、その命令を制御部５に対して出力する。また、検出された顔の位置情報と大きさ情報に基づき、その部分が最も良い色合いとなるよう、ホワイトバランスを補正するための命令をホワイトバランス補正部７に対して出力する。
【００１１】
ホワイトバランス補正部７は、コントローラ４からの指示に基づき、画像メモリ２からの画像データについて、ホワイトバランス補正を行う。画像処理部８は、画像圧縮部、画像伸張部、システムエンコーダ、システムデコーダを含む。
【００１２】
画像圧縮部は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。画像圧縮部は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、本発明は、ＭＰＥＧ−２や、Ｈ．２６４の形式の画像データに限定されない。画像伸張部は、システムデコーダから出力された圧縮済みの画像データを再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００１３】
システムデコーダは、記録手段９に記録されたＡＶデータを復号化し、圧縮画像データを生成する。システムデコーダは、生成した圧縮画像データを画像伸張部へ出力する。記録手段９は、記録媒体への画像データの記録や、再生を行う。記録媒体は、メモリカード、ハードディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等である。
【００１４】
画像データに顔があった場合について、その処理を図２に示すフローチャートを用いて、説明する。
【００１５】
コントローラ４は、顔検出フラグという独自のフラグを有しており、撮影開始時にはその初期状態であるＯＦＦとなっている。ビデオ撮影を開始する（ステップ２０）と（この時点では顔検出フラグは初期状態としてＯＦＦの状態）、顔検出部３により顔が検出されているかを判定する（ステップ２１）。顔が検出されていない場合は、判定は偽であるのでステップ２６に進む。顔検出フラグはまだＯＦＦのままなので、ステップ３１に進み、通常の自動露出（ＡＥ）処理が行われる。顔検出部３による顔検出が行われるまで、このルーチンでの処理が行われる。
【００１６】
顔検出部３により顔が検出されると、顔が検出されたこととともに、その位置情報が通知される。ステップ２１による判定が真となり、ステップ２２に進み、顔検出フラグがＯＮされる。その後、顔が検出された位置情報が記憶される（ステップ２３）。コントローラ４は、顔があるとされる場所が最も綺麗に表示されるようにホワイトバランスや明るさを補正すべく制御信号を生成するとともに、その補正量を記憶する（ステップ２５）。顔検出部３により顔が検出され続けている限り、このルーチンの処理が行われる。
【００１７】
次に、顔検出部３により顔検出がされなくなった場合の処理について述べる。顔検出部３により顔検出がされなくなると、ステップ２１の判定が偽となり、ステップ２６に進む。顔検出フラグはまだＯＮの状態なので、ステップ２７に進む。このステップでは過去に検出された顔の位置情報に基づき、顔が画面の外に出たのか、何等かの理由で突然検出されなくなったのかを判定する。
【００１８】
画面の外に出た、と判断される場合には、顔による特別な補正は不要となるため、ステップ３０においてＯＮとなっている顔検出フラグをＯＦＦし、ステップ３１に進み、通常の自動露出処理を行い、顔検出による補正がリセットされる。故に、次にステップ２１の判定を行った時は、当然顔検出がなされていないので、ステップ２６に進み、顔検出フラグがＯＦＦであるので、ステップ３１の通常の自動露出が行われる。
【００１９】
画面の外に出た、と判断できない場合は、例えば被写体が後ろを振り向いた時であり、頭部はまだ画面内にあるはずなので、ステップ２８、２９に進み、記憶されている明るさ調整量や、ホワイトバランス補正量を読み出し、それらに基づいて明るさ調整やホワイトバランスの調整を行う。即ち、直前に顔が検出されていた状態と同じような画質となるよう画質調整が行われる。
【００２０】
なお、ステップ２７の判定方法としては、検出された顔の位置情報の変化を調べ、画面外側に向けて動いている場合であって、直前の検出位置が画面周辺部であれば「顔は画面の外に出た」と判定することが可能である。
【００２１】
このような処理を行うことにより、例えば、被写体となる人が横を向いたりハンカチで顔の汗を拭った等で顔検出がされなくなった場合であっても、撮影条件を変えることなくそのままの画質での映像を撮ることができる。特に、ズームアウト等で顔の大きさが検出限界以下の大きさとなった場合等は画質を変えたくないので有効である。
【００２２】
逆に被写体となる人が画角の外に出ていった場合は、例えば逆光補正がなされている場合は、そのままの調整量を用いると明る過ぎることになり、早めの補正の調整が必要となる。このような場合、顔検出による補正をリセットし、通常の自動露出処理を行うため、常に正しい自動露出を行うことができ、撮りたい被写体に合わせた画質での撮影を行うことができるという利点がある。
【００２３】
なお、本実施の形態においては、音声について記載していないが、通常のビデオムービーと同様、音声信号を圧縮し、圧縮された動画とともに記録手段９により記録媒体に記録されてよいことはいうまでもない。
（実施の形態２）
図３は顔検出部３により顔検出がされなくなった場合であって、画面の外に出た、と判断できない場合における処理を更に高度化したものである。突然顔が検出されなくなった場合であっても、被写体が後ろを向いたまま画面外に出て行った場合も想定でき、このような場合は通常の自動露出に戻す方が良い。このため、本実施の形態ではステップ２９の後にステップ３５を追加するようにしている。
【００２４】
即ち、画面全体の輝度を測定し、その変化があまりない場合は、これまでどおり記憶された補正量に基づいて、明るさやホワイトバランスの補正を行う。輝度が大きく変化し、その変化の期間が短い場合は、例えば誰か別の場所でフラッシュ撮影をしたケース等が考えられる。この場合は、被写体が未だ画面内にいるものと推定する方が妥当であり、従来どおり、記憶された補正量での画質調整を行うようにする。逆に、輝度変化が一定時間以上継続する場合には、被写体が画面外に出たと考えられるため、ステップ３６でＹＥＳと判定し、ステップ３１で顔検出フラグをＯＦＦし、通常の自動露出が行われることになる。
【００２５】
なお、ここではステップ３５で画面全体の輝度を測定するようにしたが、白飛び（或いは黒落ち）している画素の量を計測し、その量の変化の度合いで判定するようにしても良い。例えば、元々白飛び（或いは黒落ち）が殆ど無かった場合は、白飛び量（或いは黒落ち量）が画面の一定比率(例えば１／５)を超えた場合、逆に、元々白飛び箇所（或いは黒落ち箇所）が多かった場合はその増加の比率が一定量を超えた場合に「変化有り」と判定するようにしても良い。因に、その“元となる”量は、顔検出部３で顔が検出されていた最後の補正後の画像にするとよい。
【産業上の利用可能性】
【００２６】
本発明にかかる撮像装置は動画撮影に限らず、デジタルカメラのような静止画を撮影する機器にも適用できる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態１における撮像装置の構成を示すブロック図
【図２】本発明の実施の形態１における処理のシーケンスを示すフローチャート
【図３】本発明の実施の形態２における処理のシーケンスを示すフローチャート
【符号の説明】
【００２８】
１    撮像部
２    画像メモリ
３    顔検出部
４    コントローラ
５    制御部
６    メモリ
７    ホワイトバランス補正部
８    画像処理部
９    記録手段
【図１】
2010093689.tif 000003
【図２】
2010093689.tif 000004
【図３】
2010093689.tif 000005