(57)【要約】【課題】  同じ主要被写体を確度高く追従することができる技術を提供することを目的とする。【解決手段】  被写界を時系列に連続して撮像し複数の画像を生成する撮像部と、画像の被写界から主要被写体を検出する被写体検出部と、画像から検出された主要被写体の複数の特徴量を抽出する抽出部と、抽出された複数の特徴量に基づいて追従対象の主要被写体を設定し、複数の特徴量のうち所定の特徴量を用いて追従対象の主要被写体を追従する制御部と、を備える。【選択図】    図１
2014120803.tif 000002
【特許請求の範囲】
【請求項１】
被写界を時系列に連続して撮像し複数の画像を生成する撮像部と、
前記画像の前記被写界から主要被写体を検出する被写体検出部と、
前記画像から検出された前記主要被写体の複数の特徴量を抽出する抽出部と、
抽出された前記複数の特徴量に基づいて追従対象の主要被写体を設定し、前記複数の特徴量のうち所定の前記特徴量を用いて前記追従対象の主要被写体を追従する制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画像を表示する表示部を備え、
前記制御部は、前記追従対象の主要被写体の位置を示す被写体枠を前記画像に重畳して前記表示部に表示する
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
ユーザからの入力指示を受け付ける操作部材を備え、
前記制御部は、前記ユーザにより指定された主要被写体を追従対象と設定する
ことを特徴とする撮像装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の撮像装置において、
前記所定の特徴量は、前記主要被写体の色情報であることを特徴とする撮像装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の撮像装置において、
前記被写体検出部は、前記主要被写体として人物の顔領域を検出し、前記顔領域の大きさ、前記顔領域の位置および前記顔領域の向きを取得することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記抽出部は、前記特徴量として前記顔領域における器官の位置情報を取得することを特徴とする撮像装置。
【請求項７】
請求項５または請求項６に記載の撮像装置において、
前記所定の特徴量は、前記顔領域における肌および髪の色情報であり、
前記抽出部は、前記顔領域の向きに応じて前記肌および髪の色情報を取得する
ことを特徴とする撮像装置。
【請求項８】
請求項１ないし請求項７のいずれか１項に記載の撮像装置において、
前記撮像部の撮像光学系を駆動するレンズ駆動部を備え、
前記制御部は、前記レンズ駆動部を駆動制御して前記撮像光学系のレンズ位置を調整し、前記追従対象の主要被写体に合焦させることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等は、構図確認用の低解像度画像（スルー画像）を動画表示するとともに、スルー画像から撮像された主要被写体である人物の顔領域を検出し、検出した顔領域でありオートフォーカス（ＡＦ）検出領域を示すＡＦ枠を、顔領域の動きに追従して表示する。
【０００３】
ＡＦ枠が同一人物の顔領域を追従するために、例えば、顔領域の大きさ、中心位置、傾き、向き等の情報に基づいて同一人物か否かを判定する技術がある（特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、追従している人物の顔領域の大きさや向きが変化する場合や、追従している人物と同じ大きさの別の人物がスルー画像に現れる等の場合、従来技術では、別の人物の顔領域にＡＦ枠を表示してしまう等、主要被写体の追従が正常に行われない。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、同じ主要被写体を確度高く追従することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明を例示する撮像装置の一態様は、被写界を時系列に連続して撮像し複数の画像を生成する撮像部と、画像の被写界から主要被写体を検出する被写体検出部と、画像から検出された主要被写体の複数の特徴量を抽出する抽出部と、抽出された複数の特徴量に基づいて追従対象の主要被写体を設定し、複数の特徴量のうち所定の特徴量を用いて追従対象の主要被写体を追従する制御部と、を備える。
【０００８】
また、画像を表示する表示部を備え、制御部は、追従対象の主要被写体の位置を示す被写体枠を画像に重畳して表示部に表示してもよい。
【０００９】
また、ユーザからの入力指示を受け付ける操作部材を備え、制御部は、ユーザにより指定された主要被写体を追従対象と設定してもよい。
【００１０】
また、所定の特徴量は、主要被写体の色情報であってもよい。
【００１１】
また、被写体検出部は、主要被写体として人物の顔領域を検出し、顔領域の大きさ、顔領域の位置および顔領域の向きを取得してもよい。
【００１２】
また、抽出部は、特徴量として顔領域における器官の位置情報を取得してもよい。
【００１３】
また、所定の特徴量は、顔領域における肌および髪の色情報であり、抽出部は、顔領域の向きに応じて肌および髪の色情報を取得してもよい。
【００１４】
また、撮像部の撮像光学系を駆動するレンズ駆動部を備え、制御部は、レンズ駆動部を駆動制御して撮像光学系のレンズ位置を調整し、追従対象の主要被写体に合焦させてもよい。
【発明の効果】
【００１５】
本発明によれば、同じ主要被写体を確度高く追従することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一の実施形態に係るデジタルカメラの構成を示す図
【図２】正面、左側および右側を向いた場合の顔領域のテンプレートを示す図
【図３】一の実施形態に係るデジタルカメラによる追従処理動作を示すフローチャート
【発明を実施するための形態】
【００１７】
以下、図面を用いて本発明の実施形態について説明する。
【００１８】
図１は、本発明の一の実施形態に係るデジタルカメラ１００の構成を示す図である。
【００１９】
本実施形態のデジタルカメラ１００は、撮像光学系１１、撮像素子１２、ＡＦＥ１３、バッファメモリ１４、モニタ１５、記憶部１６、記録Ｉ／Ｆ１７、レンズ駆動部１９、ＣＰＵ２０、操作部材２３およびバス２４から構成される。バッファメモリ１４、モニタ１５、記憶部１６、記録Ｉ／Ｆ１７およびＣＰＵ２０は、バス２４を介して情報伝達可能にそれぞれ接続される。また、レンズ駆動部１９および操作部材２２は、ＣＰＵ２０に接続される。
【００２０】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、ＣＰＵ２０の制御指示に基づきレンズ駆動部１９によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００２１】
撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写界を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。
【００２２】
撮像素子１２は、デジタルカメラ１００の撮影モードにおいて、操作部材２３のレリーズ釦の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔でスルー画像を撮像する。このスルー画像のデータは、モニタ１５に動画表示されたり、ＣＰＵ２０による各種演算処理等に使用されたりする。なお、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。また、撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列に従って配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーのスルー画像や本画像を取得できる。
【００２３】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、バッファメモリ１４に一時的に記録される。なお、本実施形態では、撮像光学系１１、撮像素子１２およびＡＦＥ１３で撮像部を構成する。また、バッファメモリ１４は、一般的な揮発性の半導体メモリ等を適宜選択して用いることができる。
【００２４】
モニタ１５は、液晶モニタ等であり、ＣＰＵ２０の指示に応じて各種画像を表示する。つまり、モニタ１５は、ＣＰＵ２０の指示に基づいて、撮像されたスルー画像や本画像を表示するとともに、撮像に必要となる各種情報や各種設定項目の入力を可能とするＧＵＩ(Graphical User Interface)形式の釦を重畳表示する。
【００２５】
記憶部１６は、ＣＰＵ２０によって実行される制御プログラム等や、デジタルカメラ１００によって撮像された本画像のファイルを記憶する。記憶部１６には、不揮発性の半導体メモリ等を用いることができる。
【００２６】
記録Ｉ／Ｆ１７には、記憶媒体１８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１８に対してデータの書き込み／読み込みを実行する。上記記憶媒体１８は、ハードディスクや、半導体メモリを内蔵したメモリカード等で構成される。なお、図１では記憶媒体１８の一例としてメモリカードを示す。
【００２７】
ＣＰＵ２０は、制御部として、デジタルカメラ１００の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ２０は、撮像素子１２に撮像されたスルー画像に基づいて、公知のコントラスト検出や位相差検出によるＡＦ制御、および公知の自動露出（ＡＥ）演算等をそれぞれ実行する。また、ＣＰＵ２０は、ＡＦＥ１３から出力される画像データに対して、デジタル処理を施す。本実施形態のデジタル処理には、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理等が含まれる。さらに、本実施形態のＣＰＵ２０は、顔検出部２１および抽出部２２として動作する。
【００２８】
顔検出部２１は、被写体検出部として、スルー画像に対して顔検出処理を施し、主要被写体の人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。例えば、顔検出部２１は、様々なパターンの顔画像のテンプレートを用いて、スルー画像に対しパターンマッチング処理等を施して主要被写体の顔領域を検出し、顔領域の大きさ、顔領域の向き等の顔情報を取得する。なお、記憶部１６には、正面や左右それぞれの方向を向いた顔画像のテンプレートが予め記憶されているものとする。
【００２９】
抽出部２２は、検出された顔領域に対して公知の特徴点抽出処理を施し、眉、目、鼻、唇等の器官の端点等を示す特徴点を抽出し、これらの特徴点に基づいて各器官の位置情報を取得する。また、本実施形態の抽出部２２は、検出された顔領域の向きに応じて肌領域と髪領域とを定義するテンプレートを選択し、顔領域における肌および髪の色情報を取得する。図２（ａ）〜（ｃ）は、顔領域が正面、左側および右側をそれぞれ向いた場合のテンプレートを示す。抽出部２２は、それらのテンプレートを用いて、肌領域および髪領域における色差Ｃｒ、Ｃｂの平均値をそれぞれ算出し、顔領域の肌および髪の色情報とする。
【００３０】
ここで、抽出部２２は、器官の位置情報に基づいて、少なくとも眉、目や唇等の器官の画素値を除外して、肌領域における色差Ｃｒ、Ｃｂの平均値を算出することが好ましい。また、テンプレートにおける肌領域および髪領域は、例えば、図２（ａ）に示す正面を向いている場合、顔領域の下部２／３および上部１／３とするが、顔領域の画素の色情報や器官の位置情報等に応じて適宜調整されることが好ましい。さらに、図２に示すテンプレートは、記憶部１６に予め記憶されているものとする。
【００３１】
なお、ＣＰＵ２０が、顔検出部２１および抽出部２２による検出結果および抽出結果に基づいて、どのように同一の人物の顔領域を追従するかについては、後ほど詳細に説明する。
【００３２】
操作部材２３は、例えば、レリーズ釦、電源釦、コマンドダイヤル、十字状のカーソルキー、決定釦等で構成される。そして、操作部材２３はデジタルカメラ１００の各種入力をユーザから受け付ける。例えば、操作部材２３は、レリーズ釦の全押し操作による撮像モードに応じた撮像指示入力、デジタルカメラ１００の動作モードの切替操作や設定画面での入力操作等をユーザから受け付ける。また、本実施形態では、モニタ１５と同形状の透明のパネルで構成されモニタ１５の表面全体に積層配置されるタッチパネルを、操作部材２３として用いてもよい。すなわち、タッチパネルが、パネル表面に接触したスタイラス（または指先等）の位置を検出し、検出した位置情報をＣＰＵ２０に出力することでユーザからの指示入力を受け付けるようにしてもよい。
【００３３】
次に、図３のフローチャートを参照しつつ、本実施形態のデジタルカメラ１００による追従処理動作について説明する。なお、本実施形態では、複数の人物がいる被写界が撮像され、そのうちの１人を追従対象の主要被写体とする場合について説明する。
【００３４】
ＣＰＵ２０は、ユーザによる操作部材２３の電源釦操作により、電源投入指示を受け付け、デジタルカメラ１００の電源を投入する。ＣＰＵ２０は、記憶部１６より制御プログラムを読み込んで実行し、デジタルカメラ１００を初期化する。ＣＰＵ２０は、撮像素子１２に被写体のスルー画像を所定のフレームレートで撮像させ、ステップＳ１０１からの処理を開始する。
【００３５】
ステップＳ１０１：ＣＰＵ２０は、撮像素子１２により撮像されたスルー画像（以下、現フレームと称す）を読み込む。顔検出部２１は、主要被写体であるそれぞれの人物の顔領域を検出し、顔領域の大きさ、位置および向き等の各人物の顔情報を取得する。
【００３６】
ステップＳ１０２：抽出部２２は、検出された各人物の顔領域の画像データから眉、目、鼻、唇等の各器官の位置情報を取得する。また、抽出部２２は、検出された各人物の顔領域の向きに基づいて、図２に示すテンプレートのいずれかを記憶部１６より読み込む。抽出部２２は、読み込んだテンプレートに基づいて、各顔領域における肌領域および髪領域の色差Ｃｒ、Ｃｂの平均値を算出し、肌および髪の色情報として取得する。
【００３７】
ステップＳ１０３：ＣＰＵ２０は、追従対象の主要被写体である人物が設定されているか否かを判定する。ＣＰＵ２０は、追従対象の人物が設定されていない場合、ステップＳ１０４（ＮＯ側）へ移行し、設定されている場合、ステップＳ１０５（ＹＥＳ側）へ移行する。
【００３８】
ステップＳ１０４：ＣＰＵ２０は、ステップＳ１０１およびステップＳ１０２で取得した各人物の顔情報、位置情報および色情報に基づいて、追従対象の主要被写体を決定し設定する。具体的には、ＣＰＵ２０は、例えば、顔領域が最も大きい人物や、顔情報、位置情報および色情報に基づいて求まる信頼度が最も高い人物等を追従対象の主要被写体と決定し設定する。
【００３９】
ステップＳ１０５：ＣＰＵ２０は、ステップＳ１０２で取得した各人物の色情報、および現フレームの１フレーム前の過去フレームにおける追従対象の人物の顔領域の色情報に基づいて、現フレームで検出された複数の顔領域から過去フレームの追従対象と同じ人物の顔領域を特定する。具体的には、ＣＰＵ２０は、バッファメモリ１４から過去フレームにおいて追従対象に設定された人物の顔領域の色情報を読み込み、現フレームにおける各人物と過去フレームの追従対象の人物との肌および髪の色情報を比較する。つまり、ＣＰＵ２０は、現フレームにおける各顔領域の肌領域および髪領域の色差Ｃｒ、Ｃｂの平均値それぞれが、過去フレームの追従対象である人物の値に対して所定の範囲内で一致するか否かを判定する。ＣＰＵ２０は、その判定結果に基づいて、現フレームにおいて過去フレームの追従対象と同一人物の顔領域を特定する。
【００４０】
なお、本実施形態における所定の範囲とは、過去フレームの追従対象の人物の肌領域および髪領域の色差Ｃｒ、Ｃｂの平均値に対して２０〜３０％程度の変動範囲とする。しかしながら、所定の範囲は、例えば、「晴天」や「曇天」、または「室内」等の撮影モードや撮影環境に応じて適宜設定されることが好ましい。
【００４１】
ステップＳ１０６：ＣＰＵ２０は、ステップＳ１０５において、現フレームから過去フレームの追従対象と同一人物の顔領域が特定されたか否かを判定する。ＣＰＵ２０は、特定された場合、ステップＳ１０７（ＹＥＳ側）へ移行する。一方、ＣＰＵ２０は、特定されなかった場合、例えば、追従対象の人物が被写界の外に移動したと判定して、追従対象を初期化し新たな追従対象の人物を設定するためにステップＳ１０１（ＮＯ側）へ移行する。
【００４２】
ステップＳ１０７：ＣＰＵ２０は、モニタ１５に現フレームとともに、ステップＳ１０４またはステップＳ１０５において設定した追従対象の人物の顔領域を示すＡＦ枠をモニタ１５に重畳表示する。
【００４３】
ステップＳ１０８：ＣＰＵ２０は、ユーザから操作部材２３のレリーズ釦の全押し操作による撮像指示を受け付けたか否かを判定する。ＣＰＵ２０は、撮像指示を受け付けた場合、ステップＳ１０９（ＹＥＳ側）へ移行する。一方、ＣＰＵ２０は、撮像指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行し、次のフレームを撮像素子１２により取得する。なお、ＣＰＵ２０は、少なくとも現フレームにおける追従対象の人物の顔情報、位置情報および色情報を、過去フレームの情報として、バッファメモリ１４に一時的に記録する。
【００４４】
ステップＳ１０９：ＣＰＵ２０は、レンズ駆動部１９を駆動制御して、撮像光学系１１のレンズ位置を調整し追従対象の人物の顔領域に合焦させる。ＣＰＵ２０は、ＡＥ演算を行い、得られた露光条件に基づいて撮像素子１２に被写界の本画像を撮像させる。ＣＰＵ２０は、撮像した本画像を記憶部１６または記憶媒体１８に記録する。
【００４５】
このように、本実施形態では、追従対象に設定された主要被写体の追従を、人物の肌領域および髪領域の色差Ｃｒ、Ｃｂ等の主要被写体の色情報に基づいて行うことにより、たとえ主要被写体の大きさや向き等が変化したとしても同じ主要被写体を確度高く追従することができる。
【００４６】
また、同じ主要被写体の顔領域を確度高く追従することにより、モニタ１５に表示されるＡＦ枠のちらつきを抑制することができる。
《実施形態の補足事項》
（１）上記実施形態では、顔検出部２１および抽出部２２の処理を、ＣＰＵ２０がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてハードウエア的に実現してもよい。
【００４７】
（２）上記実施形態では、追従対象の主要被写体を人物としたが、本発明はこれに限定されず、動物や車等の主要被写体を追従対象としてもよい。
【００４８】
（３）上記実施形態では、顔検出部２１が、撮像素子１２により撮像されたスルー画像全てについて顔検出し、抽出部２２が器官の位置情報と肌および髪の色情報とを取得したが、本発明はこれに限定されない。例えば、ＣＰＵ２０が追従対象の人物を設定した後は、抽出部２２は、肌および髪の色情報のみを抽出するようにしてもよい。これにより、追従処理の高速化を図ることができ、よりフレームレートの高いスルー画像や動画等に対して適用することができる。
【００４９】
（４）上記実施形態では、肌および髪の色情報として、肌領域および髪領域の色差Ｃｒ、Ｃｂの平均値としたが、本発明はこれに限定されない。例えば、肌領域および髪領域における色差Ｃｒ、Ｃｂの積算値や最大値を肌および髪の色情報としてもよいし、ＲＧＢなどの他の色空間の値を肌および髪の色情報としてもよい。
【００５０】
（５）上記実施形態では、追従対象として１人の人物を追従したが、本発明はこれに限定されず、複数の人物に対しても適用可能である。その場合、ＣＰＵ２０は、人物ごとにＡＦ枠の色を変えるのが好ましい。
【００５１】
また、デジタルカメラ１００は、例えば、特定の主要被写体を追従対象とするモードと被写界にいる全ての主要被写体を追従対象とするモードとからなる追従モードを有し、ユーザによる操作部材２３の選択操作に応じて、いずれかのモードが選択されることが好ましい。
【００５２】
また、上記特定の主要被写体を追従対象とするモードの場合、ＣＰＵ２０は、主要被写体の大きさや信頼度等に基づいて追従対象を決定し設定してもよいし、ユーザによる操作部材２３の選択操作によって選択された主要被写体を追従対象と設定してもよい。
【００５３】
さらに、記憶部１６に人物の顔画像等の所定の主要被写体が予め登録され記憶されている場合、ＣＰＵ２０は、追従対象の主要被写体を設定するにあたり、検出された主要被写体が登録された所定の主要被写体か否かを判定し、登録された所定の主要被写体を優先的に追従対象と設定してもよい。
【００５４】
（６）上記実施形態では、ステップＳ１０６において、現フレームから過去フレームの追従対象と同一の人物の顔領域が特定されなかった場合、追従対象を初期化し新たな追従対象の人物を設定するためにステップＳ１０１へ移行したが、本発明はこれに限定されない。ＣＰＵ２０は、例えば、顔領域の大きさや信頼度等が２番目に大きい人物を追従対象として設定し、ステップＳ１０１へ移行してもよい。
【００５５】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００５６】
１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…バッファメモリ、１５…モニタ、１６…記憶部、１７…記録Ｉ／Ｆ、１８…記憶媒体、１９…レンズ駆動部、２０…ＣＰＵ、２１…顔検出部、２２…抽出部、２３…操作部材、２４…バス、１００…デジタルカメラ
【図１】
2014120803.tif 000003
【図２】
2014120803.tif 000004
【図３】
2014120803.tif 000005