(57)【要約】【課題】複数の撮像光学系を備えた撮像装置において、被写体の検出及び追尾による処理の負荷を軽減できるようにする。【解決手段】メインカメラから撮影された画像に対しては、公知の顔検出処理及び顔追尾処理を行うが、撮影者自身を撮影することを想定したサブカメラの評価用画像を対象とした顔検出処理は１０回に１回と頻度を少なめに設定し、かつ、サブカメラの評価用画像を対象とした顔追尾処理は行わないようにして、ＣＰＵに多大な負荷が生じないようにする。【選択図】図１
2015122551.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データから被写体領域を検出する検出手段と、
前記撮像手段により生成された画像データから被写体領域を追尾する追尾手段とを有し、
前記撮像手段は、複数の撮像光学系を備えており、
前記追尾手段は、前記複数の撮像光学系のうち、少なくとも１つの撮像光学系から生成された画像データについては、被写体領域の追尾を行わないようにすることを特徴とする撮像装置。
【請求項２】
前記検出手段及び前記追尾手段の検出結果を記憶する記憶手段と、
前記記憶手段に被写体の位置情報を一定期間だけ保持するように制御する制御手段とをさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記追尾を行わない撮像光学系から生成された画像データにおける位置情報の保持時間を、前記追尾を行う撮像光学系から生成された画像データにおける位置情報の保持時間よりも長くすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記検出手段は、前記追尾を行わない撮像光学系から生成された画像データにおける検出の頻度を、前記追尾を行う撮像光学系から生成された画像データにおける検出の頻度よりも低くすることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記複数の撮像光学系は、互いに逆方向からの外光を集光する第１の撮像光学系と第２の撮像光学系とであることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記被写体領域は顔であることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
複数の撮像光学系を備えており、被写体を撮像して画像データを生成する撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段により生成された画像データから被写体領域を検出する検出工程と、
前記撮像手段により生成された画像データから被写体領域を追尾する追尾工程とを有し、
前記追尾工程においては、前記複数の撮像光学系のうち、少なくとも１つの撮像光学系から生成された画像データについては、被写体領域の追尾を行わないようにすることを特徴とする撮像装置の制御方法。
【請求項８】
複数の撮像光学系を備えており、被写体を撮像して画像データを生成する撮像手段を備えた撮像装置を制御するためのプログラムであって、
前記撮像手段により生成された画像データから被写体領域を検出する検出工程と、
前記撮像手段により生成された画像データから被写体領域を追尾する追尾工程とをコンピュータに実行させ、
前記追尾工程においては、前記複数の撮像光学系のうち、少なくとも１つの撮像光学系から生成された画像データについては、被写体領域の追尾を行わないようにすることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、複数の撮像光学系を備えた撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラなどの撮像装置には、逐次撮像された被写体から人物の顔領域を検出したり、一度検出した顔領域を追尾したりするものが知られている。このような撮像装置は、検出した人物の顔領域の情報を内部に保持し、保持している顔領域情報に基づいて特定の処理を行う。例えば特許文献１には、顔領域情報に基づいて人物の顔を追尾していることを示す識別情報を表示したり、焦点距離や被写体距離等に基づいて識別情報の表示保持時間を設定したりする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８１５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、例えば逆方向に別途撮像光学系を設け、撮影者自身を撮像できるようにした複数の撮像光学系機構を備えた撮像装置も知られている。しかしながら、撮像光学系機構を複数備えた撮像装置において、それぞれの撮像光学系で逐次撮像された被写体から人物の顔領域を検出したり追尾したりしようとすると、ＣＰＵに多大な負荷が生じてしまう。
【０００５】
本発明は前述の問題点に鑑み、複数の撮像光学系を備えた撮像装置において、被写体の検出及び追尾による処理の負担を軽減できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段により生成された画像データから被写体領域を検出する検出手段と、前記撮像手段により生成された画像データから被写体領域を追尾する追尾手段とを有し、前記撮像手段は、複数の撮像光学系を備えており、前記追尾手段は、前記複数の撮像光学系のうち、少なくとも１つの撮像光学系から生成された画像データについては、被写体領域の追尾を行わないようにすることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の撮像光学系を備えた撮像装置において、被写体の検出及び追尾による処理の負荷を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】実施形態に係るデジタルカメラにおける光学系機構の詳細な構成例を示す図である。
【図３】サブカメラにより評価用画像を生成するタイミングを説明するための図である。
【図４】メインカメラにより評価用画像を生成するタイミングを説明するための図である。
【図５】メインカメラ及びサブカメラによってそれぞれ生成される評価用画像を元に、顔検出及び顔追尾を行うタイミングを説明するための図である。
【図６】メインカメラの評価用画像から顔検出または顔追尾処理によって検出された顔位置情報の保持状況を説明するための図である。
【図７】サブカメラの評価用画像から顔検出によって検出された顔位置情報の保持状況を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。本実施形態では、撮像装置の一例としてデジタルカメラを用いて撮影を行う際の撮影シーケンスにおいて、被写体領域の検出及び追尾処理の制御方法について説明する。本実施形態に係るデジタルカメラはＡＥ（自動露出制御）、ＡＦ（オートフォーカス）といった一般的な機能を備えたものであり、ＡＦ機能は周知のコントラスト検出方式である。
【００１０】
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、本実施形態に係るデジタルカメラ１００は、第１の撮影レンズ１０１、第２の撮影レンズ１０２、第１の絞り／シャッタ１０３、第２の絞り／シャッタ１０４、及び自動露出（ＡＥ）処理部１０５を備えている。さらに、第１のフォーカスレンズ１０６、第２のフォーカスレンズ１０７、オートフォーカス（ＡＦ）処理部１０８、第１の撮像素子１０９、第２の撮像素子１１０、第１のＡ／Ｄ変換部１１１、及び第２のＡ／Ｄ変換部１１２を備えている。
【００１１】
第１の撮影レンズ１０１及び第２の撮影レンズ１０２は、ズーム機構を有するレンズである。第１の絞り／シャッタ１０３及び第２の絞り／シャッタ１０４は、ＡＥ処理部１０５からの指示に従って、それぞれ第１の撮像素子１０９及び第２の撮像素子１１０へ入射される被写体の反射光の入射光量と電荷蓄積時間とを制御する。ＡＥ処理部１０５は、それぞれ第１の絞り／シャッタ１０３及び第２の絞り／シャッタ１０４の動作を制御するとともに、後述する第１のＡ／Ｄ変換部１１１及び第２のＡ／Ｄ変換部１１２を制御する。
【００１２】
第１のフォーカスレンズ１０６及び第２のフォーカスレンズ１０７は、ＡＦ処理部１０８からの制御信号に従って、それぞれ第１の撮像素子１０９及び第２の撮像素子１１０の受光面上に焦点を合わせて光学像を結像させる。第１の撮像素子１０９及び第２の撮像素子１１０は、受光面に結像した光学像をＣＣＤ素子或いはＣＭＯＳ素子等の光電変換手段によって電気信号に変換して、それぞれ第１のＡ／Ｄ変換部１１１及び第２のＡ／Ｄ変換部１１２へ出力する。
【００１３】
第１のＡ／Ｄ変換部１１１及び第２のＡ／Ｄ変換部１１２は、それぞれ受信した電気信号（アナログ信号）をデジタル信号に変換する。また、第１のＡ／Ｄ変換部１１１及び第２のＡ／Ｄ変換部１１２は、それぞれ受信した電気信号からノイズを除去するＣＤＳ回路や、受信した電気信号をデジタル信号に変換する前に非線形増幅するための非線形増幅回路を含んでいる。
【００１４】
さらに、デジタルカメラ１００は、画像処理部１１３、フォーマット変換部１１４、及びＤＲＡＭ１１５を備えている。
【００１５】
画像処理部１１３は、第１のＡ／Ｄ変換部１１１及び第２のＡ／Ｄ変換部１１２から出力されたデジタル信号に対して所定の画素補間や画像縮小等のリサイズ処理と色変換処理とを行って、画像データを出力する。フォーマット変換部１１４は、画像データをＤＲＡＭ１１５に記憶するために、画像処理部１１３で生成された画像データのフォーマットを変換する。ＤＲＡＭ１１５は、高速な内蔵メモリの一例であり、画像データの一時的な記憶を司る高速バッファとして、或いは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。
【００１６】
また、デジタルカメラ１００は、画像記録部１１６、システム制御部１１７、ＶＲＡＭ１１８、表示部１１９、操作部１２０、メインスイッチ（メインＳＷ）１２１、第１スイッチ（ＳＷ１）１２２、及び第２スイッチ（ＳＷ２）１２３を備えている。
【００１７】
画像記録部１１６は、静止画または動画のデータを記録するメモリーカード等の記録媒体とそのインターフェースとを備えている。システム制御部１１７は、ＣＰＵ、ＲＯＭ、及びＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開して実行することにより、デジタルカメラ１００の全体的な動作制御を行う。また、システム制御部１１７は、第１の撮像素子１０９及び第２の撮像素子１１０に対する複数の撮像駆動モードの中からどのモードを使用するかを制御する。さらに、システム制御部１１７は、顔検出処理及び顔追尾処理も行う。顔検出処理としては、例えば、画像信号を色成分や輝度成分に分解し、周知のパターン認識技術を用いて、予め記憶させて顔のパーツ（目、鼻、口等）に一致する領域を抽出し、それらを包含する領域を顔として検出する方法がある。複数の顔が検出された場合には、顔のサイズが大きいほど、顔の位置が画像の中心に近いほど大きな値となるように、各顔に対して評価値を付与し、最も評価値の高い顔を主被写体とする。顔追尾処理としては、例えば、主被写体として設定された顔の画像をテンプレートとして記憶し、それ以降のフレームの画像から、記憶したテンプレートの画像との類似度が最も高い領域を検出する方法がある。ＶＲＡＭ１１８は画像表示用のメモリである。表示部１１９は例えばＬＣＤ等であり、画像を表示したり操作補助するための画面を表示したり、カメラ状態を表示したりする他、撮影時には撮影画面と測距領域とを表示する。
【００１８】
ユーザが操作部１２０を操作することにより、デジタルカメラ１００に指示が入力される。操作部１２０は、例えば、露出補正や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチや、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ等を有する。
【００１９】
メインスイッチ１２１は、デジタルカメラ１００のシステムに電源を投入するためのスイッチである。第１スイッチ１２２は、ＡＥ処理やＡＦ処理等の撮影準備動作を行うためのスイッチであり、第２スイッチ１２３は、第１スイッチ１２２の操作後に、システム制御部１１７に対して撮影指示を行うスイッチである。
【００２０】
＜光学系機構の構成＞
図２は、本実施形態に係るデジタルカメラ１００における光学系機構の詳細な構成例を示す図である。本実施形態に係るデジタルカメラ１００は、光学系機構として第１の撮像光学系２０５及び第２の撮像光学系２１０を備えている。以下、第１の撮像光学系２０５をメインカメラと呼び、第２の撮像光学系２１０をサブカメラと呼ぶ。
【００２１】
図２に示すように、メインカメラである第１の撮像光学系２０５では、第１のレンズ２０１により外光を第１の撮像素子２０４に集光する。図２に示す例では、レンズを１枚としているが、複数枚のレンズから構成されたレンズユニットを搭載するようにしてもよい。また、第１のレンズ２０１は、光軸に沿って前後に位置が動くことによって焦点を調節したり、画角を調節したりすることも可能である。第１のレンズ２０１を通過した光は第１の絞り２０３によりその光量が調節される。さらに、静止画撮像時は、第１のメカニカルシャッタ２０２の開閉時間を制御することにより露出時間を調節することができる。
【００２２】
また、図２に示すように、デジタルカメラ１００は、さらに前述した仕組みと同様の第２の撮像光学系２１０を、逆方向からの外光を取り込むような形で有している。すなわち、サブカメラは、撮影者自身を撮影することを想定した撮像系である。サブカメラである第２の撮像光学系２１０は、第２のレンズ２０６、第２のメカニカルシャッタ２０７、第２の絞り２０８、及び第２の撮像素子２０９を備えており、これらの機能はメインカメラと同様である。
【００２３】
＜顔検出及び顔追尾処理＞
ここで、図３のタイミングチャートを参照しながら、サブカメラにより評価用画像を生成するタイミングについて説明する。図３に示すように、サブカメラでは、第２の撮像素子１１０の垂直同期信号３０１を基準に、各垂直同期（ＶＤ）で露出３０２が行われている。
【００２４】
また、サブカメラでは、各ＶＤで露出した画像データが第２の撮像素子１１０から読み出され、その読み出された画像データを元に評価用画像の生成処理３０３が行われている。すなわち、サブカメラでは、時系列的に撮影された画像から人物被写体の顔検出に係る評価用画像が逐次生成される。また、露出３０２はＶＤ毎に行われており、評価用画像の生成処理３０３は、その次のＶＤから毎ＶＤで行われている。具体的には、露出期間３１０の画像データに対する評価用画像の生成処理３０３は、次のＶＤの期間３１１で行われる。
【００２５】
次に、図４のタイミングチャートを参照しながら、メインカメラによる評価用画像の生成、顔検出、及び顔追尾のタイミングについて説明する。図４に示すように、メインカメラでは、第１の撮像素子１０９の垂直同期信号４０１を基準に、各垂直同期（ＶＤ）で露出４０２が行われている。
【００２６】
また、メインカメラでは、各ＶＤで露出した画像データが第１の撮像素子１０９から読み出され、その読み出された画像データを元に評価用画像の生成処理４０３が行われている。すなわち、メインカメラでは、時系列的に撮影された画像から人物被写体の顔検出に係る評価用画像が逐次生成されている。また、露出４０２はＶＤ毎に行われており、評価用画像の生成処理４０３は、その次のＶＤから毎ＶＤで行われている。具体的には、露出時間４１０の画像データに対する評価用画像の生成処理４０３は、次のＶＤの期間４１１で行われる。
【００２７】
続いて、図５のタイミングチャートを参照しながら、メインカメラ及びサブカメラによってそれぞれ生成される評価用画像を元に、顔検出及び顔追尾を行うタイミングについて説明する。図５に示すように、デジタルカメラ１００では、第１の撮像素子１０９の垂直同期信号５０１を基準に、各垂直同期（ＶＤ）で顔検出が行われている。なお、図５に示す例では、垂直同期信号５０１の周期は、第１の撮像素子１０９の垂直同期信号４０１と同一とするが、例えば第２の撮像素子１１０の垂直同期信号３０１と同一としてもよい。
【００２８】
具体的には、図５に示すように、時刻５１０における顔検出では、顔検出対象画像５１２が示す通り、メインカメラから出力される評価用画像が対象であるため、メインカメラの評価用画像５１１を用いて第１の顔検出を行う。そして、検出された顔位置情報をＤＲＡＭ１１５に記憶する。
【００２９】
また、顔追尾対象画像５１３が示す通り、メインカメラの評価用画像５１１、５１４を対象に、顔追尾処理を用いて第２の顔検出を行う。上述した第１の顔検出で得られた顔の位置と、第２の顔検出によって得られた顔の位置とが重なる場合は、第１の顔検出で得られた顔位置情報をＤＲＡＭ１１５に記憶する。第１の顔検出で得られた顔の位置と、第２の顔検出によって得られた顔の位置とが重ならない場合は、第１の顔検出で得られた顔は別人の顔であると判断し、第２の顔検出で得られた顔位置情報をＤＲＡＭ１１５に記憶する。第１の顔検出において、検出結果が未検出だった場合は、第２の顔検出によって検出された顔位置情報をＤＲＡＭ１１５に記憶する。また、第１の顔検出だけでなく、顔追尾技術を用いた第２の顔検出による検出結果も未検出だった場合は、ＤＲＡＭ１１５に記憶されている顔位置情報は更新せず、以前の顔位置情報を引き続き保持するようにする。
【００３０】
また、時刻５１５における顔検出では、顔検出対象画像５１７が示す通り、サブカメラから出力される評価用画像が対象であるため、サブカメラの評価用画像５１６を用いて第１の顔検出を行う。そして、検出された顔位置情報をＤＲＡＭ１１５に記憶する。ここで、サブカメラの評価用画像を対象としているタイミングでは、顔追尾処理は行わず、第１の顔検出において検出結果が未検出だった場合は、ＤＲＡＭ１１５に記憶されている顔位置情報は更新せずに、以前の顔位置情報を引き続き保持する。
【００３１】
本実施形態では、サブカメラによって撮影される被写体として撮影者自身を想定しており、サブカメラの画角内における被写体の顔位置の変動頻度は少ないものと想定される。そのため、サブカメラの画角内から被写体の顔位置を一時的に検出できなくなったとしても、その顔位置が最後に検出できたときの位置から移動している可能性は低いと考えられる。よって、サブカメラの評価用画像に対しては顔追尾処理を行わず、直前に検出できたときの顔位置と同じ位置に、顔が存在しているとみなす。また、サブカメラの評価用画像を対象とした顔検出処理は１０回に１回と頻度を少なめに設定し、かつ、サブカメラの評価用画像を対象とした顔追尾処理は行わないようにしている。
【００３２】
＜顔位置情報保持＞
図６に示すように、システム制御部１１７により、顔検出または顔追尾処理によって検出された顔位置情報がＤＲＡＭ１１５に一定期間記憶される。前述したように、顔検出及び顔追尾処理による検出結果がともに未検出だった場合は、例えば顔位置情報６１０のように、ＤＲＡＭ１１５に記憶されている顔位置情報を更新せず、以前の顔位置情報を引き続き保持する。
【００３３】
また、顔検出及び顔追尾処理による検出結果がともに未検出の状態が２回連続した場合は、保持されている顔位置情報をＤＲＡＭ１１５から削除する。具体的には、時刻６１１におけるメインカメラの評価用画像６１２を対象とした顔検出結果６１３及び顔追尾結果６１４がともに未検出となり、直前の検出結果と併せて２回連続未検出である。この場合、ＤＲＡＭ１１５に記憶されているメイン顔位置情報を削除する。
【００３４】
図７は、サブカメラの評価用画像から検出された顔位置情報を削除するタイミングを説明するための図である。なお、ＶＤ７０１は、サブカメラの評価用画像５０３を対象に顔検出を行う各垂直同期のタイミングを示しており、この例では１０回に１回の垂直同期信号の周期を示していることになる。
【００３５】
顔検出によって顔が検出されると、システム制御部１１７により、顔位置情報がＤＲＡＭ１１５に記憶される。前述したように、顔検出による検出結果が未検出だった場合は、例えば顔位置情報７１０のように、ＤＲＡＭ１１５に記憶されているサブカメラからの顔位置情報を更新せず、以前のサブカメラからの顔位置情報を引き続き保持する。また、顔検出による検出結果が未検出の状態が３回連続した場合は、保持されているサブカメラからの顔位置情報を削除する。具体的には、時刻７１１におけるサブカメラの評価用画像７１２を対象とした顔検出結果７１３が未検出となり、直前の検出結果と併せて３回連続未検出となったところでＤＲＡＭ１１５に記憶されている顔位置情報を削除する。
【００３６】
以上のように本実施形態によれば、サブカメラから生成された画像データに対して顔追尾処理を実施しないようにしたので、ＣＰＵの負荷を軽減することができる。さらに、顔検出結果が未検出だった場合の顔位置情報の保持時間を長めに設定することにより、顔位置情報の有無が頻繁に切り替わることを抑止することができる。
【００３７】
（その他の実施形態）
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００３８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３９】
１０９  第１の撮像素子
１１０  第２の撮像素子
１１３  画像処理部
１１７  システム制御部
【図１】
2015122551.tif 000003
【図２】
2015122551.tif 000004
【図３】
2015122551.tif 000005
【図４】
2015122551.tif 000006
【図５】
2015122551.tif 000007
【図６】
2015122551.tif 000008
【図７】
2015122551.tif 000009