(57)【要約】【課題】検出した顔にフォーカスを合わせる撮像装置において、顔が検出できなくなるとフォーカスを合わせるべき領域を見失い、フォーカスを追従できなくなる。【解決手段】被写体を撮像して画像データを出力する撮像手段と、被写体からの光を撮像手段に導く光学系と、画像データから顔領域を検出して顔検出エリアとする顔検出手段と、画像データの動き検出を行う動き検出手段と、顔検出手段が顔領域を検出したときには顔領域を合焦エリアとし、顔検出手段が顔領域を検出できないときには動き検出手段の動き検出結果に基づいて合焦エリアを移動させ、合焦エリアに合焦するように光学系を制御する制御手段と、を備える。【選択図】図４
2011107550.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを出力する撮像手段と、
前記被写体からの光を前記撮像手段に導く光学系と、
前記画像データから顔領域を検出して顔検出エリアとする顔検出手段と、
前記画像データの動き検出を行う動き検出手段と、
前記顔検出手段が前記顔領域を検出したときには前記顔領域を合焦エリアとし、前記顔検出手段が前記顔領域を検出できないときには前記動き検出手段の動き検出結果に基づいて前記合焦エリアを移動させ、前記合焦エリアに合焦するように前記光学系を制御する制御手段と、
を備える撮像装置。
【請求項２】
前記制御手段は、直前に撮像した画像データにおいて顔が検出されず、現在の画像データにおいて新たに顔が検出されたとき、検出された顔検出エリアの位置が合焦エリアと一致するとき、もしくは１フレーム前の合焦エリアを基準として前記動き検出手段で得られた動き検出結果に従って求めた動き検出エリアと一致するときに、その顔検出エリアを新たな合焦エリアとして採用する、請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、顔検出機能を有する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、顔検出技術を適用し、検出した顔にフォーカスを合わせる撮像装置を開示する。この撮像装置は、コントラストが高い顔の輪郭部分の情報も用いて焦点評価値を演算し、検出された被写体の顔への合焦精度を向上させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２７０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されている従来の撮像装置では、顔が横や下を向く等の要因により顔が検出できなくなるとフォーカスを合わせるべき領域を見失い、フォーカスを追従できなくなるという課題があった。
【０００５】
そこで本発明は、顔の検出ができなくなった場合でも被写体にフォーカスを追従させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明の撮像装置は、被写体を撮像して画像データを出力する撮像手段と、被写体からの光を撮像手段に導く光学系と、画像データから顔領域を検出して顔検出エリアとする顔検出手段と、画像データの動き検出を行う動き検出手段と、顔検出手段が顔領域を検出したときには顔領域を合焦エリアとし、顔検出手段が顔領域を検出できないときには動き検出手段の動き検出結果に基づいて合焦エリアを移動させ、合焦エリアに合焦するように光学系を制御する制御手段と、を備える。
【発明の効果】
【０００７】
本発明の撮像装置によれば、顔の検出ができなくなった場合でも被写体にフォーカスを追従させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態にかかるデジタルカメラの構成を示すブロック図
【図２】実施の形態にかかる画像処理部の内部構成を示すブロック図
【図３】実施の形態にかかる動き検出部の構成を示すブロック図
【図４】実施の形態にかかるデジタルカメラの撮像動作を示すフローチャート
【図５】実施の形態にかかる表示モニタのモニタ画面を示す図
【発明を実施するための形態】
【０００９】
〔１．実施の形態１〕
〔１−１．構成〕
本実施の形態にかかるデジタルカメラ１００の電気的構成について、図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像を、ＣＣＤイメージセンサー１４０で撮像する。ＣＣＤイメージセンサー１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。
【００１０】
光学系１１０は、ズームレンズやフォーカスレンズから構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。
【００１１】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータがこれにあたる。
【００１２】
絞り３００は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、透過する光の量を調整する。
【００１３】
シャッター１３０は、ＣＣＤイメージセンサー１４０に透過させる光を遮光するための手段である。
【００１４】
ＣＣＤイメージセンサー１４０は、光学系１１０で形成された被写体像を撮像して、アナログ画像データを生成する。ＣＣＤイメージセンサー１４０は、露光、転送、電子シャッターなどの各種動作を行う。ＣＣＤイメージセンサー１４０は１／３０秒ごとにアナログ画像データを生成する。
【００１５】
Ａ／Ｄコンバータ１５０は、ＣＣＤイメージセンサー１４０で生成されたアナログ画像データをデジタル画像データに変換する。
【００１６】
画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対して各種処理を施す。画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対して処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、動き検出処理を行う。また、画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対して、ＪＰＥＧ規格に準拠した圧縮形式等により画像データを圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。
【００１７】
コントローラー１８０は、全体を制御する制御手段である。コントローラー１８０は、画像処理部１６０で処理された画像データから顔を検出する（詳細は後述する）。また、コントローラー１８０は、顔検出結果や画像処理部１６０が出力する動きベクトルを用いて合焦制御を行う。また、コントローラー１８０は表示モニタ２２０に対し、合焦枠の描画制御を行う。
【００１８】
バッファ１７０は、画像処理部１６０及びコントローラー１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００１９】
カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２０】
操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。例えば、使用者からの操作を受け付ける十字キーや決定釦、シャッター釦、電源釦等がこれにあたる。
【００２１】
表示モニタ２２０は、ＣＣＤイメージセンサー１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面も表示可能である。また、表示モニタ２２０は、スルー画像に合焦枠を重畳して描画することも可能である。なお、スルー画像とは最終的にメモリカード２００に記録しない画像を意味する。
【００２２】
内部メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムを記憶している。内部メモリ２４０はフラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、顔検出に用いられる標準的な顔の目、鼻、口の位置関係に関する情報や、顔を識別するために事前に登録する顔に関する情報等を記憶している。
【００２３】
なお、ＣＣＤイメージセンサー１４０は、本発明の撮像手段の一例である。画像処理手段１６０は、本発明の動き検出手段の一例である。コントローラー１８０は、本発明の顔検出手段の一例であり、全体を制御する制御手段である。
【００２４】
〔１−２．顔検出部の構成〕
コントローラー１８０は、画像処理部１６０で生成された画像データから顔を検出することができる。コントローラー１８０は、画像処理部１６０で生成された画像データのうち、内部メモリ２４０に記憶されている目、鼻、口等の位置関係と類似する位置関係を有する部分があるかを判断する。類似する位置関係を有する部分があると判断すると、コントローラー１８０は、その部分を中心とする一定の範囲を顔として検出する。
【００２５】
〔１−３．動き検出部の構成〕
図２は画像処理部１６０の内部構成を示すブロック図である。画像処理部１６０は、前処理部１６１、ＹＣ変換部１６２、圧縮部１６３及び動き検出部１６４を含む。前処理部１６１は、Ａ／Ｄコンバータ１５０から入力されたデジタル画像データに対して、ゲイン補正、ガンマ補正、ホワイトバランス補正、傷補正などの各種の処理を行う。ＹＣ変換部１６２は、前処理後の画像データを色差と輝度信号とに分離する。圧縮部１６３は、ＹＣ変換後の画像データを圧縮処理する。
【００２６】
図３は動き検出部１６４の構成を示すブロック図である。動き検出部１６４は、ＣＣＤイメージセンサー１４０で生成された画像データに基づいて、その画像の動きを検出する。動き検出部１６４は、代表点記憶部１６４１、相関演算部１６４２、動きベクトル検出部１６４３を含む。
【００２７】
代表点記憶部１６４１は、前処理部１６１から入力される現フレームの画像信号を複数の領域に分割し、各領域に含まれる特定の代表点に対応する画像信号を代表点信号として記憶する。また、代表点記憶部１６４１は、既に記憶されている現フレームより１フレーム前（１／３０秒前）の代表点を読み出して相関演算部１６４２に与える。
【００２８】
相関演算部１６４２は、前フレームの代表点信号を代表点記憶部１６４１から取得し、現フレームの画像データを前処理部１６１から取得する。そして、相関演算部１６４２は、前フレーム代表点信号と現フレームの画像データとの間の相関演算を行う。この相関演算とは、前フレーム代表点信号と現フレームの画像信号との差を求めるものである。その後、相関演算部１６４２の出力は動きベクトル検出部１６４３に与えられる。
【００２９】
動きベクトル検出部１６４３は、相関演算部１６４２における演算結果から、前フレームと現フレーム間の画像の動きベクトルを検出し、バッファ１７０へ記録する。動きベクトルは、たとえば前フレーム内に現れているある画像要素が現フレームにおいて位置が移動したときの動き量および動く方向を示している。
【００３０】
〔２．動作〕
上述したように、デジタルカメラ１００は顔検出機能を有している。顔検出機能とは、ＣＣＤイメージセンサー１４０で撮像された画像データや、メモリカード２００から読み出した画像データの中に、目、鼻、口等の位置関係と類似する位置関係を有する部分があるかどうか判断する機能である。
【００３１】
デジタルカメラ１００は被写体の撮像を行う際に、撮像している被写体の中に、目、鼻、口などの位置関係と類似する位置関係を有する部分を見つけた場合に、優先的にフォーカスを合わせるなどの動作を行う。
【００３２】
また、デジタルカメラ１００は動きベクトル検出機能を有している。動き検出ベクトル検出機能とは、画像処理部１６０の動き検出部１６４が、ＣＣＤイメージセンサー１４０で撮像された２つの画像データからフレーム間の画像の動き量と方向を検出する機能である。
【００３３】
デジタルカメラ１００は被写体の撮像を行う際に、フォーカスする位置に動きを検出した場合に、フォーカス位置を被写体の動きに合わせて移動させるなどの動作を行う。
【００３４】
以下、本実施の形態のデジタルカメラの動作について図面を参照して説明する。
【００３５】
〔２−１．撮像動作〕
図４はデジタルカメラの撮像動作を示すフローチャートである。
【００３６】
図５は表示モニタ２２０のモニタ画面を示す図である。図５（Ａ）は、被写体である人物がこちらを向いている様子を示している。この画像はデータの中に、目、鼻、口等の位置関係と類似する位置関係を有する部分があると判断した例である。図５（Ｂ）は人物が横を向いており、画面中央に向かって移動している様子を示している。この画像はデータの中に、目、鼻、口等の位置関係と類似する位置関係を有する部分がないと判断した例である。図５（Ｃ）は移動した人物が再びこちらを向いている様子を示している。この画像はデータの中に、目、鼻、口等の位置関係と類似する位置関係を有する部分があると判断した例である。
【００３７】
デジタルカメラ１００は、電源釦により電源投入後、コントローラー１８０がレンズ駆動部１２０を制御し所定のレンズ初期化動作を行うと同時に、コントローラー１８０がＣＣＤイメージセンサー１４０を制御して撮像された画像を画像処理部１６０で処理し、スルー画像として表示モニタ２２０に表示する。以下、この状態（待機状態）からのデジタルカメラ１００の動作について図４のフローチャートを用いて説明する。
【００３８】
〔２−２．顔検出時の動作〕
ＣＣＤイメージセンサー１４０で撮像された画像データはフレーム毎に画像処理部１６０で動き検出および、顔検出が行われ、表示モニタ２２０に表示される。このとき撮像している被写体の中に、目、鼻、口などの位置関係と類似する位置関係を有する部分を見つけた状態が図５（Ａ）である。図５（Ａ）の実線枠を顔検出エリアと呼ぶ。
【００３９】
コントローラー１８０はスルー画像を処理し、スルー画像に目、鼻、口などの位置関係と類似する位置関係を有する部分があるかどうかを判断する（Ｓ１）。コントローラー１８０は、スルー画像に目、鼻、口などの位置関係と類似する位置関係を有する部分がある場合、顔があると判断する（Ｓ１におけるＹＥＳの動作）。
【００４０】
次にコントローラー１８０は画像処理部１６０で処理された顔検出エリアを合焦エリアとし、この合焦エリアの画像データのコントラストに基づいて、そのコントラスト値がピークとなるようにフォーカスレンズの位置を調整する。フォーカスレンズの移動は、コントローラー１８０の制御に基づいてレンズ駆動部１２０が行う（Ｓ２）。以上により、コントローラー１８０は自動合焦処理を行うことができる。
【００４１】
次にコントローラー１８０は、現フレームの合焦エリアの位置をバッファ１７０の合焦エリア保存領域に記憶する（Ｓ３）。
【００４２】
次にコントローラー１８０は、スルー画像が表示されている表示モニタ２２０に合焦エリア枠を描画し、スルー画像と重畳する（Ｓ６）。
【００４３】
次にコントローラー１８０はシャッター釦が全押しされたかどうか監視する（Ｓ７）。この際全押しされない場合（Ｓ７のＮＯの動作）は、現フレームのスルー画像を表示モニタ２２０に表示し、次フレームのスルー画像処理を開始する（Ｓ１）。
【００４４】
シャッター釦が全押しされた場合（Ｓ７のＹＥＳの動作）、コントローラー１８０はＣＣＤイメージセンサー１４０を制御して、露光動作を行う（Ｓ７）。そして、画像処理部１６０は、コントローラー１８０の制御により、画像データに対して所定の処理を施して、メモリカード２００内に処理後の画像データを記録する。その後、次フレームのスルー画像処理を開始する（Ｓ１）。
【００４５】
〔２−３．顔検出ができないときの動作〕
コントローラー１８０は、スルー画像に目、鼻、口などの位置関係と類似する位置関係を有する部分がない場合、顔がないと判断する（Ｓ１におけるＮＯの動作）。
【００４６】
このとき１フレーム前の合焦エリアを基準に、動き検出部１６４で得られた動きベクトルに従って、合焦エリアを移動し、これを動き検出エリアとする（Ｓ４）。合焦エリアを動き検出量に従い移動させた動き検出エリアを示したものが図５（Ｂ）である。図５（Ｂ）の破線枠が動き検出エリアである。なお、コントローラー１８０は電源投入後の所定の初期化処理の中で、バッファ１７０内の合焦エリア保存領域に対し、所定の初期値により初期化を行う。所定の初期値とは画面の中心である。これにより、電源投入直後に顔を検出できなかった場合も、基準となる合焦エリアを画面の中心として合焦処理を行うことができる。
【００４７】
次にコントローラー１８０は、動き検出量に従い１フレーム前の合焦エリアから移動させた動き検出エリアを新たに合焦エリアとし、合焦エリアの画像データのコントラストに基づいて、そのコントラスト値がピークとなるようにフォーカスレンズの位置を調整する。フォーカスレンズの移動は、コントローラー１８０の制御に基づいてレンズ駆動部１２０が行う（Ｓ５）。以上により、コントローラー１８０は自動合焦処理を行うことができる。
【００４８】
次にコントローラー１８０は、現フレームの合焦エリアの位置をバッファ１７０の合焦エリア保存領域に記憶する（Ｓ３）。
【００４９】
次にコントローラー１８０は、スルー画像が表示されている表示モニタ２２０に合焦エリア枠を描画し、スルー画像と重畳する（Ｓ６）。
【００５０】
次にコントローラー１８０は、シャッター釦が全押しされたかどうか監視する（Ｓ７）。この際全押しされない場合（Ｓ７のＮＯの動作）は、現フレームのスルー画像を表示モニタ２２０に表示し、次フレームのスルー画像処理を開始する（Ｓ１）。
【００５１】
シャッター釦が全押しされた場合（Ｓ７のＹＥＳの動作）、コントローラー１８０はＣＣＤイメージセンサー１４０を制御して、露光動作を行う（Ｓ７）。そして、画像処理部１６０は、コントローラー１８０の制御により、画像データに対して所定の処理を施して、メモリカード２００内に処理後の画像データを記録する。その後、次フレームのスルー画像処理を開始する（Ｓ１）。
【００５２】
〔２−４．再び顔検出ができたときの動作〕
スルー画像に顔が検出できないフレームが続いた（Ｓ１のＮＯの動作）あと、顔が再び現れた場合、顔検出エリアを得（Ｓ１のＹＥＳの動作）、この顔検出エリアを合焦エリアとして自動合焦処理（Ｓ２）およびこれ以降の処理を行う。具体的には、直前に撮像した画像データにおいて顔が検出されず、現在の画像データにおいて新たに顔が検出されたとき、新たに検出された顔検出エリアの位置が、合焦エリア保存領域に記憶されている合焦エリアと一致するとき、もしくは１フレーム前の合焦エリアを基準として動き検出部１６４で得られた動きベクトルに従って求めた動き検出エリアと一致するときに、その顔検出エリアを新たな合焦エリアとして採用する。以降、フローチャートに従い次フレームのスルー画像処理を開始する（Ｓ１）。このとき撮像している被写体の中に、目、鼻、口などの位置関係と類似する位置関係を有する部分を再び見つけた状態が図５（Ｃ）である。
【００５３】
〔３．まとめ〕
以上説明したように、通常は顔検出エリアを合焦エリアとして自動合焦処理をしているデジタルカメラにおいて、顔検出エリアを合焦エリアとして利用できない場合、動き検知エリアを合焦エリアとするように処理を切り替えることにより、常に、顔検出した被写体（人物）に合焦エリアを追従させることができる。
【００５４】
つまり、本発明は、顔認識ができなくなった場合でも被写体（人物）にフォーカス追従し、ピンボケを抑制することができる。
【００５５】
〔４．他の実施の形態〕
以上により、本発明の実施の形態１について説明した。しかし本発明は、これらには限定されない。そこで、本発明のほかの実施の形態について、本欄にまとめて説明する。
【００５６】
実施の形態１にかかる撮像装置は、スルー画像を表示している状態において、自動合焦処理を行う例について説明したが、シャッター釦を半押しし、露出固定を行った状態で自動合焦処理を行ってもよい。
【００５７】
また、実施の形態１ではＣＣＤイメージセンサー１４０が１／３０秒毎に１フレーム撮像し、フレーム毎に顔検出、動き検出を行っているが、フレーム毎に処理を行わなくてもよい。
【００５８】
また、実施の形態１では電源投入後の所定の初期化処理の中でバッファ１７０内の合焦エリア保存領域は、画面の中心に設定したが、画面全体の中で一番コントラスト値が高いエリアを合焦エリアとしてもよいし、ユーザーが合焦エリアを指定してもよい。
【００５９】
また、実施の形態１では、撮像手段として、ＣＣＤイメージセンサー１４０を例示したが、本発明はこれに限定されない。例えば、ＣＭＯＳイメージセンサーで構成してもよく、ＮＭＯＳイメージセンサーで構成してもよい。
【００６０】
また、実施の形態１では、画像処理部１６０とコントローラー１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。
【００６１】
また、実施の形態１では、画像処理部１６０が顔検出を行う構成としたが、必ずしもこのような構成とする必要はない。例えば、顔検出を行うチップをコントローラー１８０で行ってもよいし、別のチップとしてもよい。
【産業上の利用可能性】
【００６２】
本発明は、顔の検出ができなくなった場合でも被写体にフォーカスを追従させることができるため、顔識別機能を有するデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置や、カメラ機能付き携帯電話等にも適用可能である。
【符号の説明】
【００６３】
１００  デジタルカメラ
１１０  光学系
１２０  レンズ駆動部
１３０  シャッター
１４０  ＣＣＤイメージセンサー
１５０  Ａ／Ｄコンバータ
１６０  画像処理部
１７０  バッファ
１８０  コントローラー
１９０  カードスロット
２００  メモリカード
２１０  操作部材
２２０  表示モニタ
２３０  顔枠
２４０  内部メモリ
【図１】
2011107550.tif 000003
【図２】
2011107550.tif 000004
【図３】
2011107550.tif 000005
【図４】
2011107550.tif 000006
【図５】
2011107550.tif 000007