(57)【特許請求の範囲】
【請求項１】
撮像面に結像した被写体から連続的に人物の顔を検出する顔検出部と、
前記顔検出部によって前記人物の顔が検出されたとき安定度を増加させ、前記顔検出部によって前記人物の顔が検出されないとき前記安定度を減少させる安定度算出部と、
前記安定度算出部で算出された前記安定度が第１の閾値以上であるとき、前記検出された顔に基づく撮影制御を開始する、撮像装置。
【請求項２】
撮像面に結像した被写体から連続的に人物の顔を検出する顔検出部と、
前記顔検出部によって前記人物の顔が検出されたとき安定度を増加させ、前記顔検出部によって前記人物の顔が検出されないとき前記安定度を減少させる安定度算出部と、
前記安定度算出部で算出された前記安定度が第２の閾値以下であるとき、前記検出された顔に基づく撮影制御を停止する、撮像装置。
【請求項３】
前記安定度算出部は、前記検出された顔の顔検出位置に対して顔検出枠を設定し、所定周期ごとに、前記顔検出枠内に前記人物の顔が少なくとも一部検出されたとき前記安定度を増加させ、前記顔検出枠内に前記人物の顔が検出されないとき前記安定度を減少させる、請求項１または２に記載の撮像装置。
【請求項４】
前記撮像面上の前記被写体の動きに応じて、前記安定度算出部は、前記安定度の前記所定周期ごとの増減量を変化させる、請求項３に記載の撮像装置。
【請求項５】
前記撮像面上の前記被写体の動きが少ないとき、前記安定度算出部は、前記撮像面上の
前記被写体の動きが多いときに比して前記安定度の増加量を増加させる、請求項４に記載の撮像装置。
【請求項６】
前記撮像面上の前記被写体の動きが大きいとき、前記安定度算出部は、前記撮像面上の前記被写体の動きが少ないときに比して前記安定度の減少量を増加させる、請求項４に記載の撮像装置。
【請求項７】
前記撮像面上の前記被写体の動きに応じて、前記第１の閾値の値を変化させる、請求項１に記載の撮像装置。
【請求項８】
前記撮像面上の前記被写体の動きが少ないとき、前記撮像面上の前記被写体の動きが多いときに比して前記第１の閾値を低下させる、請求項７に記載の撮像装置。
【請求項９】
前記撮像面上の前記被写体の動きに応じて、前記第２の閾値の値を変化させる、請求項２に記載の撮像装置。
【請求項１０】
前記撮像面上の前記被写体の動きが大きいとき、前記撮像面上の前記被写体の動きが少ないときに比して前記第２の閾値を増加させる、請求項９に記載の撮像装置。
【請求項１１】
前記撮像面上の前記被写体の動きに応じて、前記顔検出位置に対する前記顔検出枠の位置又は大きさを変化させる、請求項３に記載の撮像装置。
【請求項１２】
前記顔検出部は、前記撮像面に結像した被写体から所定周期ごとに人物の顔を検出する、請求項１または２に記載の撮像装置。
【請求項１３】
前記検出された顔に基づく撮影制御は、前記検出された顔に基づいてホワイトバランス処理を行う制御である、請求項１または２に記載の撮像装置。
【請求項１４】
前記検出された顔に基づく撮影制御は、前記検出された顔に基づいた露出制御である、請求項１または２に記載の撮像装置。
【請求項１５】
前記検出された顔に基づく撮影制御は、前記検出された顔を中心とした合焦を行うフォーカス制御である、請求項１または２に記載の撮像装置。
【請求項１６】
撮像面に結像した被写体から連続的に人物の顔を検出するステップと、
前記人物の顔が検出されたとき安定度を増加させるステップと、
前記人物の顔が検出されないとき前記安定度を減少させるステップと、
前記算出された前記安定度が第１の閾値以上のとき、前記検出された顔に基づく撮影制御を開始するステップと、
を含む、撮像方法。
【請求項１７】
撮像面に結像した被写体から連続的に人物の顔を検出するステップと、
前記人物の顔が検出されたとき安定度を増加させるステップと、
前記人物の顔が検出されないとき前記安定度を減少させるステップと、
前記算出された前記安定度が第２の閾値以下のとき、前記検出された顔に基づく撮影制御を停止するステップと、
を含む、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
撮像装置には、被写体の中から人物の顔を検出して、検出された顔を基準に露出制御、フォーカス制御、ホワイトバランス制御を行うものがある。スチールカメラ等を用いた静止画の撮影では、まず、本撮影前に予備的な撮影を行って、被写体との距離を算出したり、露出条件等を算出したりして、露出制御等を行っている。
【０００３】
また、スチールカメラによる静止画の連続撮影モードでは、顔検出を行う場合、連続的な本撮影の各コマ毎に毎回予備的な撮影を行う必要があった。そのため、連続撮影の際のコマ速度が遅くなるという問題があった。そこで、特許文献１では、予備的撮影を省くことで、コマ速度の低下を防止することが可能な技術が開示されている。
【０００４】
【特許文献１】特開２００６−１５７６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一方、ビデオカメラ等を用いた動画の撮影では、顔検出は行われていなかった。即ち、動画の撮影では、予備的な撮影を行うことができない。また、顔検出をしながら露出制御等を行うと、被写体の動きやカメラの動きに対して、逐次制御値を変更する必要があり安定した映像を得ることができないという問題があった。
【０００６】
また、上記の特許文献１の撮像装置では、連続撮影の顔検出の際、顔が検出されないとき、顔位置を取得できた前後のコマの顔位置から取得でなかったコマの顔位置を補間処理し顔位置を算出する。しかし、特許文献１の技術によれば、常に顔検出をしながら露出等の制御を行っているため、被写体の動きやカメラの動きを伴った撮影時には、露出等の制御が急峻になってしまうという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、人物の顔検出をして撮影するとき、顔に基づく撮影制御を安定して行うことが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、撮像面に結像した被写体から人物の顔を検出する顔検出部と、顔検出部によって人物の顔が検出されたとき安定度を増加させ、顔検出部によって人物の顔が検出されないとき安定度を減少させる安定度算出部と、安定度算出部で算出された安定度に基づいて、検出された顔に基づく撮影制御を行うことを特徴とする撮像装置が提供される。
【０００９】
かかる構成により、顔検出部は、撮像面に結像した被写体から人物の顔を検出し、安定度算出部は、顔検出部によって人物の顔が検出されたとき安定度を増加させ、顔検出部によって人物の顔が検出されないとき安定度を減少させる。そして、安定度算出部で算出された安定度に基づいて、検出された顔に基づく撮影制御を行うので、撮影制御が安定して行われる。
【００１０】
上記安定度算出部は、検出された顔の顔検出位置に対して顔検出枠を設定し、所定周期ごとに、顔検出枠内に人物の顔が少なくとも一部検出されたとき安定度を増加させ、顔検出枠内に人物の顔が検出されないとき安定度を減少させるものであってもよい。
【００１１】
上記安定度が所定の第１の閾値以上であるとき、検出された顔に基づく撮影制御を開始するものであってもよい。また、上記検出された顔に基づく撮影制御をしているとき、安定度が所定の第２の閾値以下となった場合に、検出された顔に基づく撮影制御を停止するものであってもよい。
【００１２】
上記撮像面上の被写体の動きに応じて、安定度算出部は、安定度の所定周期ごとの増減量を変化させるものであってもよい。
【００１３】
上記撮像面上の被写体の動きが少ないとき、安定度算出部は、撮像面上の被写体の動きが多いときに比して安定度の増加量を増加させるものであってもよい。かかる構成により、例えば、ポートレート撮影時など被写体の動きが少ないとき、顔に基づく撮影制御への切り替えを早めることができる。
【００１４】
上記撮像面上の被写体の動きが大きいとき、安定度算出部は、撮像面上の被写体の動きが少ないときに比して安定度の減少量を増加させるものであってもよい。かかる構成により、例えば、スポーツ撮影時など被写体の動きが多いとき、顔に基づく撮影制御から通常の撮影制御への切り替えを早めることができる。
【００１５】
上記撮像面上の被写体の動きに応じて、第１の閾値の値を変化させるものであってもよい。また、上記撮像面上の被写体の動きが少ないとき、撮像面上の被写体の動きが多いときに比して第１の閾値を低下させるものであってもよい。かかる構成により、例えば、ポートレート撮影時など被写体の動きが少ないとき、顔に基づく撮影制御への切り替えを早めることができる。
【００１６】
上記撮像面上の被写体の動きに応じて、第２の閾値の値を変化させるものであってもよい。また、上記撮像面上の被写体の動きが大きいとき、撮像面上の被写体の動きが少ないときに比して第２の閾値を増加させるものであってもよい。かかる構成により、例えば、スポーツ撮影時など被写体の動きが多いとき、顔に基づく撮影制御から通常の撮影制御への切り替えを早めることができる。
【００１７】
上記撮像面上の被写体の動きに応じて、顔検出位置に対する顔検出枠の位置又は大きさを変化させるものであってもよい。
【００１８】
上記検出された顔に基づく撮影制御は、検出された顔に基づいてホワイトバランス処理を行う制御であってもよい。また、上記検出された顔に基づく撮影制御は、検出された顔に基づいた露出制御であってもよい。更に、上記検出された顔に基づく撮影制御は、検出された顔を中心とした合焦を行うフォーカス制御であってもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、撮像面に結像した被写体から人物の顔を検出するステップと、人物の顔が検出されたとき安定度を増加させるステップと、人物の顔が検出されないとき安定度を減少させるステップと、算出された安定度に基づいて、検出された顔に基づく撮影制御を行うステップとを含むことを特徴とする撮像方法が提供される。
【発明の効果】
【００２０】
本発明によれば、人物の顔検出をして撮影するとき、顔に基づく撮影制御を安定して行うことができる。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
（第１の実施形態の構成）
まず、本発明の第１の実施形態に係る撮像装置について説明する。図１は、本実施形態に係る撮像装置を示すブロック図である。
【００２３】
撮像装置１００は、動きのある被写体を撮影して、動画を記録することが可能な装置であり、例えば、カムコーダ等である。なお、本発明は、動画撮影用のビデオカメラに限定されず、静止画を撮影するためのスチールカメラに適用することができ、スチールカメラの連続撮影モードに適用して好適である。撮像装置１００は、例えば、光学系１０２と、撮像素子１２０と、増幅回路１２２と、信号処理部１３０と、マイクロコンピュータ１４０と、記録部１５０等からなる。
【００２４】
光学系１０２は、被写体からの反射光を捉えて、撮像素子１２０面上に被写体像を結像させる。光学系１０２は、例えば、ズームレンズ１０３と、絞り１０４と、光学フィルタ１０５と、フォーカスレンズ１０６等からなる。ズームレンズ１０３と、絞り１０４と、光学フィルタ１０５と、フォーカスレンズ１０６は、光路上に配置される。また、光学系１０２の各構成要素は、それぞれ絞り駆動部１１２、光学フィルタ駆動部１１４、フォーカス駆動部１１６等の駆動部によって駆動制御される。
【００２５】
ズームレンズ１０３は、焦点距離を変化させることができるレンズである。ズームレンズ１０３を備えることによって、撮像装置１００は被写体を望遠から広角にわたって捉えることができる。絞り１０４は、撮像素子１２０に到達する光量を調節する。光学フィルタ１０５は、入射された光について特定の波長を制限したり偏向によって制限したりする。フォーカスレンズ１０６は、被写体を撮像素子１２０面上に合焦させる。
【００２６】
絞り駆動部１１２は、露出条件に応じて光量を調節するため、絞り１０４の絞り孔を拡げたり狭めたりさせる。光学フィルタ駆動部１１４は、例えば利用者によって選択された撮影モードによって、光学フィルタ１０６を光路上に設置させたり、光路から外れるように解除させたりする。ここで、利用者が選択できるモードとは、例えば、撮影時のシーンや撮影条件設定等である。フォーカス駆動部１１６は、フォーカスレンズ１０６を前後に移動するように駆動させる。
【００２７】
撮像素子１２０は、光学系１０２を通過して入射した光を光電変換によって電気信号に変換させる。撮像素子１２０で生成された電気信号は、増幅回路１２２に出力される。撮像素子１２０は、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサーなどである。増幅回路１２２は、撮像素子１２０から出力された電気信号を画像信号として任意のレベルまで増幅し、所定の撮像周期ごとに信号処理部１３０に画像信号を出力する。
【００２８】
信号処理部１３０は、画像信号について画像処理をし、処理後の加工された映像情報を所定の撮像周期で記録部１５０に出力する。信号処理部１３０は、例えば、顔検出部１３１と、安定度算出部１３２と、検波部１３３等からなる。
【００２９】
顔検出部１３１は、撮像素子１２０が捉えた画面内から人物の顔を検出する。顔検出部１３１の顔検出方法は、通常の技術を適用することができ、ここでは詳細な説明を省略する。
【００３０】
安定度算出部１３２は、単位時間毎に顔検出部１３１で検出された顔が所定の範囲（顔検出範囲）内に存在するかを判断し、所定の範囲内に顔が存在する場合は、安定度を加算していく。所定の範囲内とは、例えば、図３に示すように検出された顔検出位置よりも広い範囲であるＸ×Ｙの範囲である。なお、図３は、本実施形態の撮像装置が捉える撮影画面と顔検出位置を示す説明図である。図３に示すＸは、座標位置Ｘ１からＸ２の範囲であり、Ｙは座標位置Ｙ１からＹ２の範囲である。また、顔検出範囲Ｘ×Ｙは、顔検出位置に対して対称形状ではなくてもよい。例えば、被写体の速度やカメラのパンやチルトの動作速度を検出して、顔検出位置に対する顔検出範囲Ｘ×Ｙの位置や大きさが設定されるとしてもよい。
【００３１】
検波部１３３は、撮像素子１２０に入射している被写体の光量を逐次検出する。検波部１３３は、検出された光量をマイクロコンピュータ１４０に出力する。
【００３２】
マイクロコンピュータ１４０は、例えば、ＣＰＵ（Central  Processing  Unit）であり、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御することができる。マイクロコンピュータ１４０は、検波部１３３で検出された光量の信号をもとに記録部１５０に記録する画像が適切な明るさとなるように調節する。例えば、マイクロコンピュータ１４０は、絞り１０４や光学フィルタ１０５を駆動させたり、シャッタースピード、ゲインなどを調節したりして画像の明るさを変化させる。
【００３３】
また、マイクロコンピュータ１４０は、信号処理部１３０が取得する光量のエリアを指定する。光量を取得するエリアは、例えば、画面全体や画面の一部、または顔を検出した位置などである。
【００３４】
更に、マイクロコンピュータ１４０は、例えば、ホワイトバランス制御部１４１と、露出制御部１４２と、合焦位置検出部１４３等を有する。
【００３５】
ホワイトバランス制御部１４１は、入力された画像信号に基づいて取り込まれた被写体の画像のホワイトバランスを調節する。ホワイトバランス制御部１４１は、安定度算出部１３２で算出された安定度に応じて、顔位置を基準としたホワイトバランス処理を行う。露出制御部１４２は、撮像素子１２０に入射された光量に応じて絞り、シャッタースピードを調節して露光を調節する。
【００３６】
合焦位置検出部１４３は、撮像素子１２０に入射され撮像素子１２０から出力された電気信号に基づいて、画像のコントラストなどを算出し、撮像素子１２０面上で被写体が合焦する位置を検出する。なお、合焦位置検出部１４３の合焦位置検出は、コントラスト検出方式に限定されず、通常の技術を適用することができる。
【００３７】
記録部１５０は、信号処理部１３０で信号処理された画像を所定の撮影周期ごとに記録する。記録部１５０は、例えば、ハードディスクドライブ、ＤＶＤなどを適用する光ディスクドライブなどである。
【００３８】
（第１の実施形態の動作）
次に、本発明の第１の実施形態に係る撮像装置の動作について説明する。図２は、本実施形態に係る撮像素子の動作を示すフローチャートである。
【００３９】
まず、撮影が開始されると、光学系１０２を介して被写体の画像が撮像素子１２０に取り込まれる。そして、撮像素子１２０から電気信号が出力され、信号処理部１３０に画像信号として信号が入力される。
【００４０】
信号処理部１３０の顔検出部１３１は、画像内に人物の顔が検出されたか否かを判断する（ステップＳ１０１）。撮像装置１００は、顔が検出されるまで通常の露出制御を行う。顔が検出されたとき、顔検出位置を記録する（ステップＳ１０２）。次に、安定度算出部１３２は、顔検出位置を基準として、画面内に図３に示すようなＸ×Ｙの顔検出枠を設定する（ステップＳ１０３）。
【００４１】
安定度算出部１３２は、Ｘ×Ｙの顔検出枠に顔が検出されているとき、単位時間（例えば、画更新周期）ごとに安定度ｓのカウントを増加させる。まず、安定度算出部１３２は、顔検出枠を設定すると、安定度ｓ＝０を設定する。そして、単位時間ｔ秒後に顔が顔検出枠に検出されたかを判断する（ステップＳ１０４）。顔検出枠に顔が滞留していたことによって顔が検出されたとき、安定度算出部１３２は安定度ｓを１増加させる（ステップＳ１０５）。一方、顔が検出されなかったとき、安定度算出部１３２は安定度ｓを１減少させる（ステップＳ１０９）。安定度ｓは、図４に示すように時間が経過するにつれて増減する。図４は、本実施形態の安定度と時間の関係を示すグラフである。
【００４２】
安定度ｓを１増加させたとき、安定度算出部１３２は安定度ｓが閾値Ｓ１（第１の閾値）以上となるかを判断する（ステップＳ１０７）。安定度ｓが閾値Ｓ１以上となった場合、即ち図４の時間ｔ１のとき、顔検出位置を基準として、ホワイトバランス制御、露出制御、オートフォーカス制御を行う（ステップＳ１０８）。一方、安定度ｓがＳ１未満であるとき、例えば図４の時間ｔ１より前の時間では、顔位置を基準としたホワイトバランス制御等は行わず、引き続き通常の露出制御を行う。
【００４３】
安定度ｓは、顔が検出され続けたのち、顔が検出されなくなるまで、図４に示すように安定度Ｓ２まで増加する。一方、顔が検出されないとき、安定度算出部１３２は安定度ｓを１減少させる（ステップＳ１０９）。そして、図４に示すように閾値Ｓ１を超えて顔位置を基準としたホワイトバランス制御等が動作しているとき（ステップＳ１１０）、安定度算出部１３２は安定度ｓが閾値Ｓ３（第２の閾値）以下になるかを判断する（ステップＳ１１１）。
【００４４】
安定度ｓが閾値Ｓ３以下となった場合、即ち図４の時間ｔ３以降のとき、顔位置を基準としたホワイトバランス制御等を停止して、通常の露出制御を行う（ステップＳ１１２）。一方、顔位置を基準としたホワイトバランス制御等が動作しているとき、安定度ｓが閾値Ｓ３を下回る以前、即ち図４のｔ１〜ｔ３の間は、顔位置を基準としたホワイトバランス制御等を継続する。
【００４５】
以上のように、本実施形態によれば、一度安定度ｓが閾値Ｓ１以上となり閾値Ｓ３以下となるまでの間は、依然として顔が検出される可能性があるとして、顔位置を基準としたホワイトバランス制御等を継続する。例えば、顔が検出されないため安定度ｓを減少させたとしても安定度ｓがＳ３を超えているときは、顔位置を基準としたホワイトバランス制御等が行われる。
【００４６】
そして、安定度ｓの値が高い値であるときは、顔が検出されないことにより顔位置を基準としたホワイトバランス制御等を停止させないため、急峻な制御が行われることなく適切な制御を行うことができる。また、顔の明るさが急に変化した場合においても、安定度から推測することによって顔位置に対しての制御を継続することが可能となる。
【００４７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００４８】
例えば、上記実施形態では、安定度算出部１３２における安定度の増減はそれぞれ１としたが、本発明はかかる例に限定されない。例えば、安定度の増減の値は同じではなくてもよく、増加のほうを減少より大きい値としてもよいし、反対に減少のほうを増加より大きい値としてもよい。
【００４９】
また、安定度を常に同じ値とするのではなく、撮影モードによって安定度の値を変化させてもよい。例えば、撮像装置おけるポートレートモードのように人物を撮影するモードでは、安定度の増加を通常より大きい値としてもよい。このような制御によって、撮像装置は顔を基準とした露出制御等にすぐに切り替わることができる。また、例えばスポーツのような動きの速い被写体を撮影するときは、安定度の減少を通常より大きい値としてもよい。このような制御によって、撮像装置は顔の位置で制御が安定しないことを抑制することができる。
【００５０】
また、例えば、上記実施形態では、図４に示すように閾値Ｓ１、Ｓ３を設定したが、本発明は図４に示す例に限定されず、Ｓ１、Ｓ３の値や大小関係は任意に設定することができる。また、上述した安定度の場合と同様に、撮影モードによって閾値Ｓ１、Ｓ３の値を変化させてもよい。具体的には、撮像面上の被写体の動きが少ないとき、撮像面上の被写体の動きが多いときに比してＳ１を低下させてもよく、撮像面上の被写体の動きが大きいとき、撮像面上の被写体の動きが少ないときに比してＳ３を増加させてもよい。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施形態に係る撮像装置を示すブロック図である
【図２】同実施形態に係る撮像素子の動作を示すフローチャートである。
【図３】同実施形態の撮像装置が捉える撮影画面と顔検出位置を示す説明図である。
【図４】同実施形態の安定度と時間の関係を示すグラフである。
【符号の説明】
【００５２】
１００      撮像装置
１０２      光学系
１０３      ズームレンズ
１０４      絞り
１０５      光学フィルタ
１０６      フォーカスレンズ
１１２      絞り駆動部
１１４      光学フィルタ駆動部
１１６      フォーカス駆動部
１２０      撮像素子
１２２      増幅回路
１３０      信号処理部
１３１      顔検出部
１３２      安定度算出部
１４０      マイクロコンピュータ
１４１      ホワイトバランス制御部
１４２      露出制御部
１４３      合焦位置検出部
１５０      記録部
【図１】
0004957461.tif 000002
【図２】
0004957461.tif 000003
【図３】
0004957461.tif 000004
【図４】
0004957461.tif 000005