(57)【要約】【課題】  主被写体の選択漏れを抑制する。【解決手段】  被写体像を撮像する撮像手段１０１と、撮像手段から入力される映像データを一時保持する映像データ保持手段１１０と、映像データから主被写体を決定する第１の主被写体決定手段１０３と、第１の主被写体決定手段の決定結果を保持する履歴保持手段１０４と、映像データ保持手段に保持された映像データ、および履歴保持手段の決定結果から、主被写体を決定する第２の主被写体決定手段１０７とを有する。【選択図】  図１
2014007480.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像手段と、
前記撮像手段から入力される映像データを一時保持する映像データ保持手段と、
前記映像データから主被写体を決定する第１の主被写体決定手段と、
前記第１の主被写体決定手段の決定結果を保持する履歴保持手段と、
前記映像データ保持手段に保持された前記映像データ、および前記履歴保持手段の決定結果から、主被写体を決定する第２の主被写体決定手段とを有することを特徴とする撮像装置。
【請求項２】
前記映像データ保持手段への前記映像データの書き込み、読み出しを制御するメモリ制御手段をさらに有し、前記第２の主被写体決定手段が前記主被写体を決定する映像データは、前記メモリ制御手段により所定時間遅延して読み出された映像データであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記映像データ保持手段は、ループメモリであることを特徴とする請求項１または２のいずれか１項に記載の撮像装置。
【請求項４】
前記映像データ保持手段は、第１の領域および第２の領域を有し、
前記第１の領域は、常時、動画処理対象、および主被写体決定の処理対象となる映像データを保持し、
前記第２の領域は、動画撮影モードでは動画処理対象、および主被写体決定の処理対象となる映像データを、静止画撮影モードでは、静止画処理対象の映像データを、それぞれ保持することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第２の主被写体決定手段は、記録用の主被写体の決定処理と表示用の主被写体の決定処理を独立して行うことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
【請求項６】
前記第２の主被写体決定手段が記録用のために主被写体の決定処理する映像データは、記録用に対応する映像データであり、前記第２の主被写体決定手段が表示用のために主被写体の決定処理する映像データは、表示用に対応する映像データであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
被写体像を撮像する撮像ステップと、
撮像ステップで得られた映像データを一時保持する映像データ保持ステップと、
前記映像データから主被写体を決定する第１の主被写体決定ステップと、
前記第１の主被写体決定ステップでの決定結果を保持する履歴保持ステップと、
前記映像データ保持ステップで保持された前記映像データ、および前記履歴保持ステップでの決定結果から、主被写体を決定する第２の主被写体決定ステップとを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の被写体の中から主たる被写体を決定する機能を有するデジタルカメラ、デジタルビデオカメラなどの撮像装置およびその制御方法に関するものである。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラなどの撮像装置では、得られた静止画や動画内に存在する複数の被写体の中から、主被写体を選択する処理が行われている。例えば、被写体の中から人物の顔を検出する顔検出機能を有し、優先順位の高い主被写体となる顔を選択し、選択した顔に対して合焦制御（ＡＦ）や露出制御（ＡＥ）を行うものが知られている。あるいは、映像の記録時に、主被写体に対する符号量の割り当てを大きくするものが知られている。
【０００３】
複数の被写体の中から主被写体を選択する際には、それぞれの被写体の位置やサイズに応じた評価値を付与し、最も評価値の高い被写体を主被写体として選択する方法が考えられる。ただし、動画では、映像内の複数の被写体の全てが静止していることは稀であり、それぞれの被写体が動くことによって、それぞれの被写体の評価値が絶えず変化する。そのため、映像ごとに最も評価値の高い被写体が入れ替わることも考えられる。そこで、主被写体として選択される被写体が頻繁に入れ替わってしまうことを回避するための技術が知られている。例えば、複数の被写体が存在する場合には、複数のフレームにわたってそれぞれの被写体の評価値を求め、最も高い評価値を得た回数が所定値に達した被写体が存在する場合に、その被写体を主被写体として選択する方法が知られている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４１８４９ 号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような方法では、被写体の検出が開始されてから最も高い評価値を得た回数が所定値に達するまでの間は、主被写体が選択されないことになる。つまり、ｎ番目のフレームの映像において主被写体であると選択された被写体と同一の被写体が、（ｎ−１）番目以前のフレームの映像に存在していたとしても、その被写体が主被写体として選択されることはない。
【０００６】
本発明の目的は、主被写体の選択漏れを抑制することができる撮像装置およびその制御方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段から入力される映像データを一時保持する映像データ保持手段と、前記映像データから主被写体を決定する第１の主被写体決定手段と、前記第１の主被写体決定手段の決定結果を保持する履歴保持手段と、前記映像データ保持手段に保持された前記映像データ、および前記履歴保持手段の決定結果から、主被写体を決定する第２の主被写体決定手段とを有することを特徴とするものである。
【発明の効果】
【０００８】
本発明によれば、主被写体の選択漏れを抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態における撮像装置の全体構成を示す図である。
【図２】第１実施形態おける被写体検出、主被写体決定、および、主被写体再決定の各処理が実行されるタイミングを説明するための図である。
【図３】第１実施形態における主被写体の決定結果がＡＦや主枠の表示に反映されるタイミングと、記録時の符号量の補正に反映させるタイミングとを比較するための図である。
【図４】第１実施形態の処理動作を示すフローチャートである。
【図５】本発明の第２実施形態における撮像装置の全体構成を示す図である。
【図６】第２実施形態における被写体検出、主被写体決定、および、表示用主被写体再決定の各処理が実行されるタイミングを説明するための図である。
【図７】第２実施形態における主被写体の決定結果がＡＦに反映されるタイミング、主枠の表示に反映されるタイミング、および、記録時の符号量の補正に反映させるタイミングを比較するための図である。
【図８】第２実施形態の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。
【００１１】
（第１実施形態）
図１は本発明の第１実施形態における撮像装置の全体構成を示す図である。撮影された映像は、撮像手段を構成するセンサ１０１へ入射される。センサ１０１では、被写体像の光電変換が行われ、補正処理部１１３へ入力される。補正処理部１１３ではキズ補正等のセンサ固有の補正処理が実施される。補正後のデータはメモリ制御部１０５で決定されるアドレスでメモリ１１０へ一時保持のために書き込まれる。メモリ１１０はループメモリであり、映像データ保持手段を構成する。例えば、このメモリ１１０は、１９２０×１０８０画素の１２ビットで表されるＲＡＷ映像データを、１７０フレーム分記憶できる大容量のループメモリである。また、同補正後のデータは被写体検出部１０２へ入力され、顔等の所定の被写体が検出される。
【００１２】
例えば、公知の顔検出処理としては、例えば、映像信号に対応した映像データで表される各画素の階調色から肌色領域を抽出し、あらかじめ用意する顔の輪郭プレートとのマッチング度で顔領域を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔領域を検出する方法がある。本実施の形態における顔検出処理は、上述に述べた方法に限るものではなく、公知のいずれの方法でも良い。また、ここでは顔を検出する例をあげて説明を行ったが、人物の顔以外の動物などの被写体を、パターン認識技術を用いて抽出してもよい。
【００１３】
さらに主被写体決定部１０３は、検出されたそれぞれの顔の大きさと位置に基づいて主被写体を決定する。具体的には、主被写体決定部１０３は、それぞれの顔に対してサイズ評価値と、位置評価値を求め、これらの評価値を加算したものをその顔の評価値とする。サイズ評価値は映像に対する顔の面積が大きいほど値が大きくなり、位置評価値は顔の中心位置が映像の中心部に近いほど値が大きくなる。サイズ評価値と位置評価値に加え、また、被写体検出部１０２で得られたそれぞれの顔におけるマッチング度に応じた信頼度評価値を用いても良い。また、主被写体決定部１０３は、（ｎ−１）番目のフレームの映像で検出されたそれぞれの顔の中心位置と、ｎ番目のフレームの映像で検出されたそれぞれの顔の中心位置を比較する。そして、互いの距離が閾値以内であって、かつ、最も位置が近いものを同一の人物に対する顔であると判断し、同一の人物であると判断されたそれぞれの顔に同じＩＤを割り当てる。そして、主被写体決定部１０３は、３以上の連続するフレームにわたって同一の人物の顔に対する評価値が他の顔よりも高かった場合に、その評価値が最も高かった顔を主被写体として選択する。
【００１４】
主被写体決定部１０３は第１の主被写体決定手段を構成する。この主被写体決定結果は、不図示の合焦制御部や露出制御部に送られ、合焦制御部はこの主被写体に対してピントが合うように光学レンズを駆動し、露出制御部はこの主被写体の輝度値が最適化されるように絞りの開口径やセンサ１０１の電荷蓄積時間を制御する。また、主被写体決定部１０３で決定された主被写体が存在する領域を囲う主枠を、映像に重畳して不図示のモニターに表示することで、ユーザーはどの被写体が主被写体として選択されたのかを容易に知ることができる。被写体の検出および主被写体の決定に要した時間だけ、主枠が表示されている位置が実際の主被写体の位置から遅延して表示されることになるが、その遅延量は小さいため、ユーザーに違和感を与えることはない。主被写体のＩＤや位置に関する情報を含む主被写体決定結果は、履歴保持部１０４に保持される。この主被写体決定部１０３は、少なくとも連続する３フレームにわたって他の顔よりも高い評価値を得られた同一の顔が存在しなければ、主被写体を決定しないため、１フレーム目および２フレーム目においては主被写体を決定することができない。
【００１５】
補正処理部１１３経由でメモリ１１０へ書き込まれた映像データは、信号処理部１０６によりメモリ制御部１０５が指定するアドレスでアクセスされ、ノイズリダクション、リサイズ等の信号処理が行われる。信号処理後の映像データはメモリ制御部１０５が指定するアドレスから読み出され、主被写体再決定部１０７へ入力される。主被写体再決定部１０７は、読み出された映像データと履歴保持部１０４から読み出した履歴結果から、主被写体が決定されなかったフレームにおいて、主被写体が決定された主被写体と同一のＩＤを有する顔を主被写体であると決定する。例えば、ｎ番目のフレームで初めて主被写体が決定されたのであれば、（ｎ−１）番目以前のフレームの中からｎ番目のフレームで主被写体として決定された顔と同一のＩＤを有する顔を検索し、それらを主被写体として決定する。あるいは、ｎ番目のフレームで主被写体として決定された顔の映像とパターンマッチングを行うことで、この主被写体と同一人物の顔を検索するようにしてもよい。この主被写体再決定部１０７は第２の主被写体決定手段を構成する。領域重み付け部１０８は、主被写体が存在する領域の符号量の割り当てを多くなるように記録データの符号化時の符号量割り当てを補正し、記録処理に付す。
【００１６】
メモリ１１０は、動画処理、及び被写体検出処理に使用するフレームを常時格納する領域Ａを有する。また、撮影モード制御部１０９からの制御により、動画処理対象、及び被写体検出処理の対象のフレームか、静止画処理対象のフレームを格納するかを適応的に切り替える領域Ｂを有する。領域Ａは第１の領域を構成し、領域Ｂは第２の領域を構成する。静止画処理時に領域Ｂをすべて使用する場合は、動画処理、及び主被写体決定処理にはフレームＦＲ０〜ＦＲ９９までループメモリとしてアクセスする。また、動画撮影時にはフレームＦＲ０〜ＦＲ１６９をすべてループメモリとしてアクセスする。
【００１７】
図２は被写体検出、主被写体決定、および、主被写体再決定の各処理が実行されるタイミングを説明するための図である。図中、太線で囲まれた丸は同一の人物を示す。具体的には、フレームＦＲ＿０の右端の丸、フレームＦＲ＿２の中央の丸、フレームＦＲ＿Ｍの右下の丸（図６）、および、フレームＦＲ＿Ｎ−２〜ＦＲ＿Ｎの中央の丸が該当する。
【００１８】
また、図２の２段目のうち斜線で示された丸は、被写体検出部１０２で検出された顔であり、３段目のうち斜線で示された丸は、主被写体決定部１０３で主被写体として決定された顔である。
【００１９】
フレームＦＲ＿０〜ＦＲ＿Ｍの映像では、太線で囲まれた丸が示す人物は３以上の連続するフレームにわたって他の顔よりも高い評価値を得ることができないため、主被写体決定部１０３によって主被写体として決定されていないことを示している。これに対し、フレームＦＲ＿Ｎ−２〜ＦＲ＿Ｎでは、太線で囲まれた丸が示す人物は映像の中央に連続して位置するため主被写体として決定されていることを示している。メモリ１１０は容量の大きなループメモリとしてアクセスされるので、フレームＦＲ＿Ｎで太線の丸の人物が主被写体として決定されたときに、所定フレーム遅延（所定時間遅延）したフレームＦＲ＿０の映像が読み出され、主被写体再決定部１０７に入力される。
【００２０】
主被写体再決定部１０７は、履歴保持部１０４に記憶された履歴情報も参照し、フレームＦＲ＿０のうち、フレームＦＲ＿Ｎ−２〜ＦＲ＿Ｎで主被写体として決定された被写体と同一のＩＤを有する被写体を主被写体として決定し、記録映像への重み付けに反映させる。
【００２１】
図３は主被写体の決定結果がＡＦや主枠の表示に反映されるタイミングと、記録時の符号量の補正に反映させるタイミングとを比較するための図である。合焦制御部によるＡＦ処理や、主被写体を囲う主枠を映像に重畳して表示する処理は、主被写体が決定されたフレームＦＲ＿Ｎ以降のフレームの映像に対してのみ行われる。これに対し、主被写体が存在する領域の符号量の割り当てを多くなるように記録データの符号化時の符号量割り当てを補正する際には、主被写体の再決定が行われたフレームＦＲ＿０以降の映像に対して行うことが可能である。
【００２２】
図４は上述の動作を実行する際の処理を示すフローチャートである。センサ１０１から映像データを読み出し（ステップ４０１）後、映像データはまずメモリ１１０へ保持される（ステップ４０６）。同じ映像データを用いて、被写体検出部１０２がまず顔検出処理を行い（ステップ４０２）、主被写体決定部１０３が主被写体の決定処理を行う（ステップ４０３）。ステップ４０３で主被写体が決定されれば、この主被写体の情報を、主被写体を囲う主枠の表示や、合焦制御などの処理へ反映し（ステップ４０４）、かつ主被写体の決定結果の履歴を保持する（ステップ４０５）。
【００２３】
ステップ４０６でメモリ１１０へ保持されたデータは、主被写体決定部１０３が処理対象とするフレームよりも所定のフレーム数だけ遅れるようにアドレス（ステップ４１２）が指定され、主被写体再決定部１０７に読み出される（ステップ４０７）。例えば、動画撮影モードでは領域Ａの所定のアドレス、静止画撮影モードでは領域Ｂの所定のアドレスから読み出される。また、主被写体再決定部１０７がステップ４０５で保持した主被写体の決定結果の履歴を読み出し（ステップ４０８）、主被写体再決定を行う（ステップ４０９）。領域重み付け部１０８は、主被写体決定処理または主被写体再決定処理で決定された被写体の領域の符号量を増加させる補正を行う（ステップ４１０）。そして映像データは符号化され、記録される（ステップ４１１）。なお、静止画撮影時では、静止画を撮影する前に主被写体が決定され、決定された主被写体に対して合焦制御および露出制御を行ってから静止画の撮影が行われるため、ステップ４０８およびステップ４０９の処理は不要であり、これらの処理は動画撮影時に行われる。
【００２４】
（第２実施形態）
図５は本発明の第２実施形態における撮像装置の全体構成を示す図である。センサ５０１乃至信号処理部５０６は、図１のセンサ１０１乃至信号処理部１０６と同じものである。また、図５の記録用主被写体再決定部５０７、領域重み付け部５０８、撮影モード制御部５０９、および、補正処理部５１３と、図１の主被写体再決定部１０７、領域重み付け部１０８、撮影モード制御部１０９、および、補正処理部１１３は同じものである。図５の撮像装置は、表示用主被写体再決定部５１１を有する点が、図１に示す撮像装置と異なる。
【００２５】
この表示用主被写体再決定部５１１は、記録用主被写体再決定部５０７と同様に、メモリ５１０から読み出した映像データと履歴保持部５０４から読み出した履歴結果から、主被写体を再決定するものである。記録用主被写体再決定部５０７と表示用主被写体再決定部５１１とは、決定処理を互いに独立して行うものであり、記録用主被写体再決定部５０７と表示用主被写体再決定部５１１とで、主被写体決定部５０３に対する遅延時間が異なる。
【００２６】
図１に示す撮像装置では、主被写体決定部１０３で決定された主被写体が存在する領域を囲う主枠を、映像に重畳して不図示のモニターに表示した。これに対し、図５に示す撮像装置では、表示用主被写体再決定部５１１で決定された主被写体が存在する領域を囲う主枠を、映像に重畳して不図示のモニターに表示する。
【００２７】
被写体検出、主被写体決定、および、記録用主被写体再決定の各処理が実行されるタイミングは、図２と同一である。
【００２８】
これに対し、図６は被写体検出、主被写体決定、および、表示用主被写体再決定の各処理が実行されるタイミングを説明するための図である。
【００２９】
図７は主被写体の決定結果がＡＦに反映されるタイミング、主枠の表示に反映されるタイミング、および、記録時の符号量の補正に反映させるタイミングを比較するための図である。
【００３０】
主被写体決定部５０３がフレームＦＲ＿Ｎで太線の丸の人物を主被写体として決定した際に、記録用主被写体再決定部５０７がフレームＦＲ＿０の映像を読み出しているのに対して、表示用主被写体再決定部５１１はフレームＦＲ＿Ｍの映像を読み出している。主被写体決定部５０３よりも遅延して映像データを読み出すことで、主被写体決定部５０３が主被写体を決定できなかったフレームにおいて、その後のフレームで主被写体として決定された被写体と同一の被写体を主被写体として決定することが可能になる。遅延分を大きくするほど、主被写体の再決定をより前のフレームに対して行うことができるが、主枠が表示されている位置が実際の主被写体の位置から遅延する量も大きくなってしまう。
【００３１】
そこで、表示用主被写体再決定部５１１は、記録用主被写体再決定部５０７よりも、主被写体決定部５０３に対する映像データの読み込みのタイミングの遅延を小さくすることで、主被写体の再決定と主枠の表示の遅延の抑制の両立を図っている。
【００３２】
図８は上述の動作を実行する際の処理を示すフローチャートである。センサ５０１から映像データを読み出し（ステップ９０１）後、映像データはまずメモリ５１０へ保持される（ステップ９０６）。同じ映像データを用いて、被写体検出部５０２がまず顔検出処理を行い（ステップ９０２）、主被写体決定部５０３が主被写体の決定処理を行う（ステップ９０３）。ステップ９０３で主被写体が決定されれば、この主被写体の情報を合焦制御などの処理へ反映し（ステップ９０４）、かつ主被写体の決定結果を保持する（ステップ９０５）。
【００３３】
ステップ９０６でメモリ５１０へ保持されたデータは、主被写体決定部５０３が処理対象とするフレームよりも所定の第１のフレーム数だけ遅れるようにアドレス１（ステップ９１２）が指定され、記録用主被写体再決定部５０７に読み出される（ステップ９０７）。また、記録用主被写体再決定部５０７がステップ９０５で保持した主被写体の決定結果の履歴を読み出し（ステップ９０８）、主被写体再決定を行う（ステップ９０９）。領域重み付け部５０８は、主被写体決定部５０３または記録用主被写体再決定部５０７で決定された被写体が存在すれば、その被写体の領域の符号量を増加させる補正を行う（ステップ９１０）。そして映像データは符号化され、記録される（ステップ９１１）。
【００３４】
ステップ９０６でメモリ５１０へ保持されたデータは、主被写体決定部５０３が処理対象とするフレームよりも所定の第２のフレーム数だけ遅れるようにアドレス２（ステップ９１８）が指定され、表示用主被写体再決定部５１１に読み出される（ステップ９１３）。上述したように、第２のフレーム数は第１のフレーム数よりも小さい。また、表示用主被写体再決定部５１１がステップ９０５で保持した主被写体の決定結果の履歴を読み出し（ステップ９１４）、主被写体再決定を行う（ステップ９１５）。そして、主被写体決定部５０３または表示用主被写体再決定部５１１で決定された主被写体が存在すれば、その被写体の領域を囲う主枠を、映像に重畳して不図示のモニターに表示する（ステップ９１６）。
【符号の説明】
【００３５】
１０１，５０１  センサ
１０３，５０３  主被写体決定部
１０４，５０４  履歴保持部
１０５，５０５  メモリ制御部
１０７  主被写体再決定部
１０９，５０９  撮影モード制御部
１１０，５１０  メモリ
５０７  記録用主被写体再決定部
５１１  表示用主被写体再決定部
【図１】
2014007480.tif 000003
【図２】
2014007480.tif 000004
【図３】
2014007480.tif 000005
【図４】
2014007480.tif 000006
【図５】
2014007480.tif 000007
【図６】
2014007480.tif 000008
【図７】
2014007480.tif 000009
【図８】
2014007480.tif 000010