(57)【要約】【課題】複数の撮像光学系を備える撮像装置において、単一の画像認識処理部で画像の各々について画像認識処理を行う際、ＣＰＵなどの処理負荷を低減する。【解決手段】画像処理部１０９は、第１および第２の撮像系１０１および１０２で得られた画像を順次切り替えて入力して画像認識処理を行う。システム制御部１１３は第２の撮像系で得られた画像について、第１の撮像系で得られた画像よりも狭い画像認識角度で画像認識処理を行うよう画像認識部を制御する。【選択図】図２
2015122560.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像系を備える撮像装置であって、
前記複数の撮像系で得られた画像を順次切り替えて入力して画像認識処理を行う画像認識手段と、
前記複数の撮像系の少なくとも１つを副撮像系として当該副撮像系で得られた画像について、他の撮像系を主撮像系として当該主撮像系で得られた画像よりも狭い画像認識角度で画像認識処理を行うよう前記画像認識手段を制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮像装置に関してその天上方向を検知する検知手段を有し
前記制御手段は、前記検知手段で得られた天上方向に応じて前記画像認識角度を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記画像認識手段を制御して前記副撮像系で得られた画像における画像認識処理を、前記主撮像系で得られた画像よりもその認識周期を低くすることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、前記画像認識角度を所定の角度毎に区切って画像認識領域を設定し、前記主撮像系で得られた画像について画像認識処理を行う際には、前記画像認識領域を順次変更して前記画像認識手段に画像認識処理を行われることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記主撮像系で得られた画像について前記画像認識領域を順次変更して前記画像認識手段に画像認識処理を行わせた際、前記画像認識処理が成功すると、当該画像認識処理が失敗するまで、前記画像認識処理が成功した画像認識領域を変更することなく前記画像認識手段に前記画像認識処理を行わせることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像装置に関してその天上方向を検知する検知手段を有し
前記制御手段は、前記検知手段で得られた天上方向に応じて、前記副撮像系で得られた画像について前記画像認識角度を決定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記他の撮像系は、撮影者以外の被写体を撮像する第１の撮像系であり、前記副撮像系は撮影者を撮像する第２の撮像系であることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記画像認識手段は、前記主撮像系および前記副撮像系の各々で得られた画像についてその顔領域を認識することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
複数の撮像系を備える撮像装置の制御方法であって、
前記複数の撮像系で得られた画像を順次切り替えて入力して画像認識処理を行う画像認識ステップと、
前記複数の撮像系の少なくとも１つを副撮像系として当該副撮像系で得られた画像について、他の撮像系を主撮像系として当該主撮像系で得られた画像よりも狭い画像認識角度で前記画像認識ステップによる画像認識処理を制御する制御ステップと、
を有することを特徴とする制御方法。
【請求項１０】
複数の撮像系を備える撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記複数の撮像系で得られた画像を順次切り替えて入力して画像認識処理を行う画像認識ステップと、
前記複数の撮像系の少なくとも１つを副撮像系として当該副撮像系で得られた画像について、他の撮像系を主撮像系として当該主撮像系で得られた画像よりも狭い画像認識角度で前記画像認識ステップによる画像認識処理を制御する制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、複数の撮像光学系を備える撮像装置に関する。
【背景技術】
【０００２】
一般に、撮像装置において、複数の撮像光学系を備える撮像装置が知られている。そして、複数の撮像光学系で撮像した結果得られた画像についてそれぞれ画像認識処理を行って、ユーザ所望の画像を生成するようにした撮像装置がある。
【０００３】
このような撮像装置において、回路規模増大に伴うコストの上昇を回避するため、複数の撮像光学系による撮像の結果得られた画像を単一の画像認識処理回路を用いて処理するようにしたものがある。例えば、複数の撮像光学系による撮像の結果得られた画像を単一の顔認識処理回路によって認識処理を行って、立体画像を生成するようにしたものがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−７０１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述のように、撮像光学系の各々において逐次撮像された画像について単一の画像認識処理回路によって被写体認識を行う場合には、不可避的に画像認識処理回路の負荷が増大する。つまり、単一の画像認識処理回路における認識精度を保つためには、複数の画像認識処理回路を備える撮像装置に比べて高い周期で認識処理を行う必要がある。
【０００６】
この結果、画像認識処理回路に備えられたＣＰＵなどに多大な負荷が生じるばかりでなく、電力消費量および熱放出量が増大して種々の問題が発生することがある。
【０００７】
そこで、本発明の目的は、複数の撮像光学系を備え、単一の画像認識処理回路で画像の各々について画像認識処理を行う際、ＣＰＵなどの処理負荷を低減することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明による撮像装置は、複数の撮像系を備える撮像装置であって、前記複数の撮像系で得られた画像を順次切り替えて入力して画像認識処理を行う画像認識手段と、前記複数の撮像系の少なくとも１つを副撮像系として当該副撮像系で得られた画像について、他の撮像系を主撮像系として当該主撮像系で得られた画像よりも狭い画像認識角度で画像認識処理を行うよう前記画像認識手段を制御する制御手段と、を有することを特徴とする。
【０００９】
本発明による制御方法は、複数の撮像系を備える撮像装置の制御方法であって、前記複数の撮像系で得られた画像を順次切り替えて入力して画像認識処理を行う画像認識ステップと、前記複数の撮像系の少なくとも１つを副撮像系として当該副撮像系で得られた画像について、他の撮像系を主撮像系として当該主撮像系で得られた画像よりも狭い画像認識角度で前記画像認識ステップによる画像認識処理を制御する制御ステップと、を有することを特徴とする。
【００１０】
本発明による制御プログラムは、複数の撮像系を備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記複数の撮像系で得られた画像を順次切り替えて入力して画像認識処理を行う画像認識ステップと、前記複数の撮像系の少なくとも１つを副撮像系として当該副撮像系で得られた画像について、他の撮像系を主撮像系として当該主撮像系で得られた画像よりも狭い画像認識角度で前記画像認識ステップによる画像認識処理を制御する制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の撮像系で得られた画像を順次切り替えて入力して画像認識処理を行う際に、複数の撮像系の少なくとも１つを副撮像系として当該副撮像系で得られた画像について、他の撮像系で得られた画像よりも狭い画像認識角度で画像認識処理を行う。これによって、単一の画像認識処理手段で画像の各々について画像認識処理を行う際においても、ＣＰＵなど処理部の処理負荷を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態による撮像装置の一例についてその外観を示す図であり、（ａ）は正面からみた図、（ｂ）は上面からみた図である。
【図２】図１に示すカメラのハードウェア構成を示すブロック図である。
【図３】図２に示すカメラで行われる時系列的な顔認識処理の一例を説明するための図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施の形態による撮像装置の一例について、図面を参照して説明する。なお、ここでは、撮像装置として、所謂デジタルカメラを例に挙げて説明するが、デジタルカメラ以外の撮像装置、例えば、ビデオカメラなどにも適用することができる。
【００１４】
＜撮像装置の構成＞
図１は、本発明の実施の形態による撮像装置の一例についてその外観を示す図である。そして、図１（ａ）は正面（前面）からみた図であり、図１（ｂ）は側面の一方（上面）からみた図である。
【００１５】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、第１の撮像系１０１および第２の撮像系１０２（図２を参照）を有している。後述するように、第１の撮像系１０１および第２の撮像系１０２の各々は、撮影レンズ、絞りおよびシャッタ、自動露出（ＡＥ）処理部、フォーカスレンズ、オートフォーカス（ＡＦ）処理部、撮像素子、およびＡ／Ｄ変換部を備えている。なお、以下の説明では、第１の撮像系１０１が備える構成要素に「主」の文字を付し、第２の撮像系１０２が備える構成要素に「副」の文字を付す。
【００１６】
図示のように、第１の撮像系１０１に備えられた主撮影レンズ１０１ａは、カメラ１００の筐体において前面（正面）側に配置されており、第２の撮像系１０２に備えられた副撮影レンズ１０１ｂは、カメラ１００の筐体において背面側に配置されている。つまり、主撮影レンズ１０１ａおよび副撮影レンズ１０１ｂは互いに対向する面に配置されている。そして、図示の例では、第１の撮像系１０１は、撮影者以外の被写体を撮像する際に用いられ、第２の撮像系１０２は撮影者（つまり、ユーザ）を撮像する際に用いられる。
【００１７】
カメラ１００の筐体上面には、メインスイッチ（メインＳＷ）１１７およびシャッタボタン１２０が配置されている。このシャッタボタン１２０は、後述するように、第１のシャッタスイッチ（ＳＷ１）および第２のシャッタスイッチ（ＳＷ２）を有している。
【００１８】
図２は、図１に示すカメラ１００のハードウェア構成を示すブロック図である。
【００１９】
図示のように、第１の撮像系１０１として主撮影レンズ１０１ａ、主絞りおよびシャッタ１０２ａ、主自動露出（ＡＥ）処理部１０３ａ、主フォーカスレンズ１０４ａ、主オートフォーカス（ＡＦ）処理部１０５ａ、主撮像素子１０６ａ、および主Ａ／Ｄ変換部１０７ａを備えている。同様に、第２の撮像系１０２は、副撮影レンズ１０１ｂ、副絞りおよびシャッタ１０２ｂ、副自動露出（ＡＥ）処理部１０３ｂ、副フォーカスレンズ１０４ｂ、副オートフォーカス（ＡＦ）処理部１０５ｂ、副撮像素子１０６ｂ、および副Ａ／Ｄ変換部１０７ｂを備えている。
【００２０】
第１の撮像系１０１および第２の撮像系１０２の構成は同様であるので、ここでは第１の撮像系１０１に注目してその動作などを説明する。
【００２１】
主撮影レンズ１０１ａは、ズーム機構を有している。主絞りおよびシャッタ１０２ａは、主ＡＥ処理部１０３ａの制御下で、被写体からの入射光（被写体像）について主撮像素子１０６ａに対する入射光量および電荷蓄積時間を調整する。主ＡＥ処理部１０３ａは、主絞りおよびシャッタ１０２ａの動作を制御するととともに、後述する主Ａ／Ｄ変換部１０７ａを制御する。主フォーカスレンズ１０４ａは、主ＡＦ処理部１０５ａの制御下で、主撮像素子１０６ａの受光面に光学像である被写体像を結像させる。
【００２２】
主撮像素子１０６ａは、例えば、ＣＣＤ素子又はＣＭＯＳ素子であり、受光面に結像した光学像を光電変換によって電気信号（アナログ信号）に変換して、当該アナログ信号を主Ａ／Ｄ変換部１０７ａに出力する。そして、主Ａ／Ｄ変換部１０７ａはアナログ信号をデジタル信号に変換する。以下、主Ａ／Ｄ変換部１０７ａの出力であるデジタル信号を主デジタル信号（又は第１のデジタル信号）と呼ぶ。
【００２３】
なお、主Ａ／Ｄ変換部１０７ａはアナログ信号からノイズを除去するＣＤＳ回路およびアナログ信号をデジタル信号に変換する前に非線形増幅処理を行う非線形増幅回路を有している。
【００２４】
図示のように、第２の撮像系１０２は、副撮影レンズ１０１ｂ、副絞りおよびシャッタ１０２ｂ、副自動露出（ＡＥ）処理部１０３ｂ、副フォーカスレンズ１０４ｂ、副オートフォーカス（ＡＦ）処理部１０５ｂ、副撮像素子１０６ｂ、および副Ａ／Ｄ変換部１０７ｂを有している。前述のように、第２の撮像系１０２によって、ユーザである撮影者が撮影される。そして、主Ａ／Ｄ変換部１０７ｂはユーザ像に応じたデジタル信号を出力することになる。
【００２５】
以下、副Ａ／Ｄ変換部１０７ｂの出力であるデジタル信号を副デジタル信号（又は第２のデジタル信号）と呼ぶ。
【００２６】
図示のように、カメラ１００は、さらに画像処理部１０８、画像認識部１０９、フォーマット変換部１１０、およびＤＲＡＭ１１１を備えている。画像処理部１０８は後述するように、主デジタル信号および副デジタル信号を受けて、主デジタル信号および副デジタル信号の各々について所定の画素補間および画像縮小などのリサイズ処理と色変換処理とを行って、主画像データおよび副画像データを出力する。
【００２７】
画像認識部１０９は、画像処理部１０８から主画像データおよび副画像データを受けて、これら主画像データおよび副画像データの各々について画像認識処理、例えば、人物の顔を認識する顔認識処理を行う。フォーマット変換部１１０は、主画像データおよび副画像データをＤＲＡＭ１１１に記憶するため、主画像データおよび副画像データの各々についてそのフォーマット変換を行う。
【００２８】
ＤＲＡＭ１１１は、例えば、高速な内蔵メモリであり、主画像データおよび副画像データを一時的に記憶する高速バッファとして用いられるとともに、主画像データおよび副画像データを圧縮／伸張処理する際の作業用メモリとして用いられる。
【００２９】
さらに、カメラ１００は、画像記録部１１２、システム制御部１１３、ＶＲＡＭ１１４、表示部１１５、操作部１１６、メインスイッチ（メインＳＷ）１１７、第１のシャッタスイッチ（ＳＷ１）１１８、および第２のシャッタスイッチ（ＳＷ２）１１９を備えている。
【００３０】
画像記録部１１２は、第１の撮像系１０１および第２の撮像系１０２で得られた撮影画像（静止画又は動画）を記録するメモリカードなどの記録媒体を有するとともに、当該記録媒体用のインターフェースを有している。
【００３１】
図示はしないが、システム制御部１１３は、ＣＰＵ、ＲＯＭ、およびＲＡＭなどを備え、ＣＰＵはＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開して実行する。これによって、ＣＰＵはカメラ１００の動作制御を行う。さらに、システム制御部１１３は複数の撮像駆動モードのうちいずれの駆動モードで主撮像素子１０６ａを駆動するかについて制御する。ＶＲＡＭ１１４は画像表示用メモリである。
【００３２】
表示部１１５は、例えば、ＬＣＤであって、表示部１１５には、画像の表示、ユーザ操作補助のための表示、およびカメラ状態の表示が行われるとともに、撮影の際には撮影画面および測距領域が表示される。
【００３３】
ユーザは、操作部１１６を操作することによってカメラ１００を操作することができる。操作部１１６は、例えば、露出補正、絞り値の設定、および画像再生の際の設定など各種設定を行うメニュースイッチを有している。さらに、操作部１１６は、撮影レンズ（主撮影レンズおよび副撮影レンズ）のズーム動作を指示するズームレバーを備えるとともに、撮影モードおよび再生モードを切り替える動作モード切替スイッチなどを備えている。
【００３４】
ユーザによって、メインスイッチ１１７が操作されると、カメラ１００に電源が投入される。第１のシャッタスイッチ１１８は、ＡＥ処理およびＡＦ処理などの撮影準備動作を行うためのスイッチであり、第２のシャッタスイッチ１１９は、第１のシャッタスイッチ１１８の操作後にシステム制御部１１３に対して撮影指示を行うためのスイッチである。
【００３５】
ここでは、シャッタボタン１２０が半押しされると、第１のシャッタスイッチ１１８がオンして、システム制御部１１３は撮影準備動作を開始する。そして、シャッタボタン１２０が全押しされると、第２のシャッタスイッチ１１８がオンして、撮影指示がシステム制御部１１３に与えられて、システム制御部１１３は撮影を行う。
【００３６】
＜顔認識＞
続いて、図２に示す画像認識部１０９における顔認識処理について説明する。なお、画像認識部１０９はよって行われる顔認識処理は、システム制御部１１３の制御下で行われる。
【００３７】
前述のように、第１の撮像系１０１および第２の撮像系１０２で得られた主デジタル信号および副デジタル信号は、画像処理部１０８において縮小処理などの画像処理を施された後、主画像データおよび副画像データとして画像認識部１０９に入力される。当該入力は後述する手順に従って周期的に行われる（つまり、所定の認識周期で行われる）。
【００３８】
ここでは、主デジタル信号および副デジタル信号は選択的に、つまり、システム制御部１１３によって切り替え制御されて画像処理部１０８に入力される。これによって、単一の画像認識部１０９によって主画像データおよび副画像データにおいて顔認識処理を行うことができ、その結果、カメラ１００の回路規模を小さくできる結果、コストを低減することが可能となる。
【００３９】
画像認識部１０９は、主画像データおよび副画像データの各々について顔認識処理を行って、人物の顔領域を認識する。画像認識部１０９で用いられる顔認識処理手法として、種々の既知の手法が用いられる。例えば、画像認識部１０９は、ニューラルネットワークなどの統計的学習手法に基づいて主画像データおよび副画像データの各々において顔部品に類似する部分画像を顔領域として抽出する。
【００４０】
画像認識部１０９において顔の認識が行われると、システム制御部１１３は表示部１１５に顔領域の位置を示す矩形枠を画像に重畳して表示する。さらに、システム制御部１１３の制御下で、主ＡＦ処理部１０５ａおよび副ＡＦ処理部１０５ｂは、顔領域の位置にピントが合うようにＡＦ制御を行う。つまり、主フォーカスレンズ１０４ａおよび副フォーカスレンズ１０４ｂを光軸に沿って駆動して顔領域の位置に合焦させる。
【００４１】
さらに、システム制御部１１３の制御下で、主ＡＥ処理部１０３ａおよび副ＡＥ処理部１０３ｂは、顔の位置において露出が適正露出となるようにＡＥ制御を行う。つまり、主絞りおよびシャッタ１０２ａおよび副絞りおよびシャッタ１０２ａを調整して適正露出とする。
【００４２】
これによって、第１の撮像系１０１および第２の撮像系１０２の画角内に存在する顔領域に対して適正な撮像制御が行われた画像をユーザに提供することができる。
【００４３】
＜顔認識の時系列処理＞
続いて、図２に示すカメラ１００で行われる顔認識の時系列的処理について説明する。
【００４４】
図３は、図２に示すカメラ１００で行われる時系列的な顔認識処理の一例を説明するための図である。
【００４５】
時間的（つまり、時系列的）に変化してゆく撮影シーンにおいては、継続的に顔認識処理を行って、顔領域に対して上述の撮像制御を継続して行うことが望ましい。ところが、上述の顔認識処理には処理時間が掛かり、一般的には認識可能な顔領域の角度が広い程より処理時間が掛かる。
【００４６】
ここでは、認識可能な顔領域の角度を、カメラ１００に対して上、下、左、および右方向の４方向に９０度毎に区切って（つまり、複数の画像認識領域に分けて）、一回の顔認識処理について一方向（つまり、一つの画像認識領域）の処理を行うものとする。なお、認証対象とする顔領域の認識角度（画像認識角度）を所定の角度毎に区切って複数の画像認識領域とし、それぞれの画像認識領域に対して認識処理を行う構成であれば、９０度でなくとも、他の角度としてもよい。
【００４７】
カメラ１００においては、主撮像素子１０６ａおよび副撮像素子１０６ｂで用いられる垂直同期信号を基準として、各垂直同期期間（ＶＤ）において露出処理が行われている。同様に、顔認識処理についても、ＶＤ毎に顔認識処理が行われ、一方向に係る認識処理はＶＤにおいて終了する。
【００４８】
図３に示すように、システム制御部１１３は、第１〜第９のＶＤにおいては、第１の撮像系１０１（主撮像系ともいう）から得られた主デジタル信号を画像処理部１０８に与えて、画像処理を行って、主画像データを画像認識部１０９に送る。
【００４９】
システム制御部１１３の制御下で、画像認識部１０９は、第１のＶＤにおいてはカメラ１００に対して上方向に存在する顔領域を認識する。そして、第２のＶＤにおいては、画像認識部１０９はカメラ１００に対して右方向に存在する顔領域を認識する。
【００５０】
このようにして、時計回りに認識の方向を順次切り替えて（つまり、順次変更して）、顔認識処理が繰り返される。つまり、第３のＶＤ、第４のＶＤ、第５のＶＤ、第６のＶＤ、第７のＶＤ、第８のＶＤ、および第９のＶＤにおいては、画像認識部１０９は、それぞれ下方向、左方向、上方向、右方向、下方向、左方向、および上方向における顔領域の認識処理を行う。
【００５１】
第１０のＶＤにおいて、画像認識部１０９は、第２の撮像系１０２（副撮像系ともいう）で得られた副画像データについて、カメラ１００に対して上方向に存在する顔領域の認識処理を行う。続いて、第１１のＶＤにおいては、画像認識部１０９は、第１の撮像系１０１で得られた主画像データについて、時計回りの順に従って、カメラ１００に対して右方向に存在する顔領域の認識処理を行う。そして、画像認識部１０９は第１９のＶＤまで時計回りの順で主画像データについて顔領域の認識処理を行い。第２０のＶＤで再び副画像データについて上方向の顔認識処理を行う。つまり、連続的に顔認識処理を行う際、主画像データに対する顔認識処理の回数は副画像データに対する顔認識処理の回数よりも多い。
【００５２】
このようにして、第１の撮像系１０１で得られた主画像データについては、時計回りに顔認識処理の角度を切り替えつつ顔認識処理を連続的に行う。そして、１０×ｎ回目（ｎは１以上の整数）における認識処理では、画像認識部１０９は第２の撮像系１０２で得られた副画像データについて上方向に係る認識処理を行う。
【００５３】
第１の撮像系１０１で得られた主画像データは被写体を撮像したものであるため。撮影の際には様々なシーンが想定される。そして、被写体の顔の角度も様々である。このため、前述のように、主画像データについては、全角度について顔領域を順次認識対象とすることによって、多くの撮影シーンにおいて顔認識処理が可能となる。
【００５４】
一方、第２の撮像系１０２で得られた副画像データは、カメラ１００を使用するユーザを撮影した結果得られた画像データであるので、一方向（ここでは、上方向）について顔領域の認識処理を行えば十分である。
【００５５】
さらに、スポーツを行っている人物を撮影するシーンなどにおいては、第１の撮像系１０１で得られた主画像データに応じた画像を表示部１１５に表示した際、表示部１１５の画面において被写体の顔の位置が刻々と変化する。一方、第２の撮像系１０２で得られた副画像データについては、カメラ１００を使用するユーザを撮像したものであるので、顔位置の変化は少ない。
【００５６】
よって、前述のようにして、主画像データおよび副画像データについて時系列的に顔認識処理を行えば、多くのシーンで被写体の顔認識を行うことができるばかりでなく、被写体の動きに良好に対応して顔認識処理を行うことができる。
【００５７】
ここで、上記の時系列的な処理については、適宜変更することができる。例えば、上述の例では、第２の撮像系１０２で得られた副画像データについては、１０×ｎ回毎に１回の顔認識処理を行うようにしたが、被写体およびユーザである撮影者の移動速度に応じて、適宜頻度を調節するようにしてもよい。このようにすれば、より撮影シーンに適した結果を得ることができる。
【００５８】
さらに、カメラ１００に天上方向を検知する天上方向検知部を搭載して、当該天上検知部によって検知された天上方向に基づいて、第２の撮像系１０２で得られた副画像データについて顔認識処理を行う角度を決定するようにしてもよい。この場合には、例えば、カメラ１００を縦に構える場合であっても、副画像データにおいて撮影者の顔領域を認識することが可能になる。
【００５９】
また、第１の撮像系１０１で得られた主画像データに関する顔認識処理の実行の際には、所定の角度で一度顔認識に成功した場合には、以後同一の顔領域が認識できなくなるまで、所定の角度と同一の角度において顔認識処理を連続的に行うようにしてもよい。認識に失敗するまで顔認識処理を行う角度を維持することで、より安定した顔認識結果を継続して得ることができるようになる。
【００６０】
この際、第２の撮像系１０２で得られた副画像データに対する顔認識処理については、同一の角度に固定して顔認識処理を行わずに、毎回、最新の天上方向検知結果に応じた角度で顔認識処理を行うようにしてもよい。これによって、カメラ１００の構え方を途中で変更した場合であっても素早く顔認識処理を行うことができる。
【００６１】
上述の説明から明らかなように、本発明の実施の形態では、単一の画像認識部などによって被写体およびユーザの顔領域を認識する際、ＣＰＵなどの処理部の処理負荷を低減することができる。
【００６２】
上述の説明から明らかなように、図２に示す例においては、第１の撮像系１０１が他の撮像系であり、画像処理部１０８および画像認識部１０８が画像認識手段として機能する。また、システム制御部１１３が制御手段として機能する。
【００６３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００６５】
上記の制御方法および制御プログラムの各々は、少なくとも画像認識ステップおよび制御ステップを有している。
【００６６】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６７】
１０１  第１の撮像系
１０２  第２の撮像系
１０８  画像処理部
１０９  フォーマット変換部
１１０  ＤＲＡＭ
１１１  画像記録部
１１２  画像記録部
１１３  システム制御部
１１４  ＶＲＡＭ
１１５  表示部
【図１】
2015122560.tif 000003
【図２】
2015122560.tif 000004
【図３】
2015122560.tif 000005