(57)【要約】【課題】コスト高を抑えて複数の画像データについて、撮影タイミングに合わせて被写体の検出処理を行う。【解決手段】検出処理部１０３はメイン撮像部１０１で得られたメイン画像データおよびサブ撮像部１０２で得られたサブ画像データにおいて時分割でそれぞれ被写体を検出する検出処理を行う。制御部１０４は検出処理部によってメイン画像データについて検出処理を行った後、サブ画像データについて検出処理を順次行い、メイン画像データおよびサブ画像データにおいて被写体の検出処理を行う検出処理要求を受けた際、検出処理部がサブ画像データについて検出処理を行っていると、サブ画像データに係る検出処理を中断して、検出処理部にメイン画像データに対する検出処理を行わせる。【選択図】図１
2015231093.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して複数のフレームからなる画像データを得る複数の撮像手段を有する撮像装置であって、
前記複数の撮像手段で得られた複数の画像データにおいて時分割でそれぞれ被写体を検出する検出処理を行う検出処理手段と、
前記複数の撮像手段のうちの第１の撮像手段で得られた第１の画像データのいずれかのフレームに対して、前記検出処理手段に前記検出処理を行わせた後、前記第１の撮像手段とは異なる撮像手段で得られた第２の画像データのいずれかのフレームに対して、前記検出処理手段に前記検出処理を順次行わせる制御手段を有し、
前記制御手段は、前記複数の画像データにおいて被写体の検出処理を行う検出処理要求を受けた際、前記検出処理手段が前記第２の画像データに対して前記検出処理を行っていると、当該第２の画像データに対する検出処理を中断して、前記検出処理手段に前記第１の画像データの新たなフレームに対して検出処理を行わせることを特徴とする撮像装置。
【請求項２】
前記複数の撮像手段は、前記第１の撮像手段が撮像する被写体と異なる他の被写体を撮像して第２の画像データを得る第２の撮像手段を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記他の被写体は前記撮像装置を操作する撮影者であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記検出処理要求を受けた際、前記検出処理手段に前記第１の画像データのいずれかのフレームに対して検出処理を行わせていると、当該検出処理が完了した後、前記検出処理手段に前記第１の画像データおよび前記第２の画像データの新たなフレームに対して検出処理を行わせることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記検出処理要求を受けた際、前記検出処理手段に前記第１の画像データのいずれかのフレームに対して検出処理を行わせていると、当該検出処理が完了した後、前記検出処理手段に前記第２の画像データの新たなフレームに対して検出処理を行わせることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記第１の画像データに対して前記検出処理手段で得られた検出結果に被写体が存在しないと判定すると、前記検出処理要求を受けた際、前記検出処理手段に前記第２の画像データの新たなフレームに対して前記検出処理を行わせることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１の画像データについて前記検出処理手段で得られた検出結果に被写体が存在すると判定し、かつ当該被写体に動きがあると、前記検出処理要求を受けた際、前記検出処理手段に前記第１の画像データの新たなフレームに対して前記検出処理を行わせることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段は、前記検出処理手段に前記第１の画像データに対する検出処理を行わせた後、前記検出処理が中断された前記第２の画像データが存在すると、前記検出処理手段に前記第２の画像データに対して検出処理を行わせることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項９】
前記制御手段は、前記検出処理手段に前記第１の画像データに対して検出処理を行わせた後、前記検出処理が中断された前記第２の画像データが存在しないと、前記第２の画像データに対する前記検出処理で用いられる検出パラメータを変更することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項１０】
前記検出パラメータの変更は、前記第２の画像データにおいて前記被写体を検出するための検出領域を変更することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御手段は、前記検出処理要求を周期的に受けることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
被写体を撮像して複数のフレームからなる画像データを得る複数の撮像手段を有する撮像装置の制御方法であって、
前記複数の撮像手段のうちの第１の撮像手段で得られた第１の画像データのいずれかのフレームに対して、被写体を検出する検出処理を行った後、前記第１の撮像手段とは異なる撮像手段で得られた第２の画像データのいずれかのフレームに対して、前記検出処理を順次行う検出処理ステップを有し、
前記検出処理ステップにおいて、前記複数の画像データにおいて被写体の検出処理を行う検出処理要求を受けた際、前記検出処理ステップで前記第２の画像データに対して前記検出処理が行われていると、当該第２の画像データに係る検出処理を中断して、前記第１の画像データの新たなフレームに対して検出処理を行うことを特徴とする制御方法。
【請求項１３】
被写体を撮像して複数のフレームからなる画像データを得る複数の撮像手段を有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が有するコンピュータに、
前記複数の撮像手段のうちの第１の撮像手段で得られた第１の画像データのいずれかのフレームに対して、被写体を検出する検出処理を行った後、前記第１の撮像手段とは異なる撮像手段で得られた第２の画像データのいずれかのフレームに対して、前記検出処理を順次行う検出処理ステップを実行させ、
前記検出処理ステップにおいて、前記複数の画像データにおいて被写体の検出処理を行う検出処理要求を受けた際、前記検出処理ステップで前記第２の画像データに対して前記検出処理が行われていると、当該第２の画像データに係る検出処理を中断して、前記第１の画像データの新たなフレームに対して検出処理を行うことを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、複数の撮像部を備えて、複数の撮像部で得られた画像データを関連付けて保存する撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ又はデジタルビデオカメラなどの撮像装置において、複数の撮像部を備えるものが知られている。この種の撮像装置では、一方の撮像部で被写体を撮影するとともに、他方の撮像部で撮像装置を操作する撮影者を撮影する。
【０００３】
例えば、撮像装置が２系統の撮像部を備えて、第１の撮像部で被写体を撮影し、第２の撮像部で撮影者を被写体として撮影する撮像装置がある（特許文献１参照）。ここでは、第１の撮像部および第２の撮像部で得られた映像信号（つまり、画像データ）を合成処理して記録媒体に保存するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１６５０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、第１の撮像部および第２の撮像部で撮影を行う際、被写体および撮影者顔領域を適正な露出で撮影するため顔領域を検出することがある。さらには、被写体が赤ん坊である場合にフラッシュ発光を禁止したり、女性である場合にノイズ抑圧処理を強く設定したりするなど、被写体毎に適切なパラメータで撮影を行うために個人認証を行うことがある。そして、第１の撮像部および第２の撮像部で得られた画像データを、画像データに含まれる被写体の人物ごとに関連付けて保存するために、個人認証を行うことがある。
【０００６】
顔領域を検出する際には、第１の撮像部および第２の撮像部の各々に、つまり、撮像部毎に、顔領域検出のための検出処理部を備えれば、それぞれの撮像部の撮影のタイミングに合わせて顔領域の検出処理を行うことができる。ところが、撮像部毎に検出処理部を備えるとなると、検出処理部の個数が増えてしまい、撮像装置自体がコスト高となってしまう。
【０００７】
コスト高を抑えるためには、検出処理部の数を少なくして、複数の撮像部で得られた画像データについて顔領域の検出処理を行う必要がある。例えば、１つの検出処理部によって第１の撮像部および第２の撮像部でそれぞれ得られた画像データについて、時分割で顔領域の検出処理を行えば、コスト高を抑えることができる。
【０００８】
ここで、顔領域を検出する対象エリアを広くするほど、検出すべき顔領域のサイズの種類を多くするほど、検出処理部における検出処理時間が長くなってしまう。そのため、第１の撮像部および第２の撮像部における撮影のタイミングに合わせて顔領域の検出処理を行うことができないことがある。
【０００９】
加えて、省電力を企図して、検出処理部の動作周波数を低下させることがある。この場合においても、検出処理部における検出処理時間が長くなってしまい、第１の撮像部および第２の撮像部における撮影のタイミングに合わせて顔領域の検出処理を行うことができないことがある。
【００１０】
そこで、本発明の目的は、コスト高を抑えて第１の撮像部および第２の撮像部で得られた画像データについて、それぞれの撮像部の撮影タイミングに合わせて被写体の検出処理を行うことのできる構成を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明による撮像装置は、被写体を撮像して複数のフレームからなる画像データを得る複数の撮像手段を有する撮像装置であって、前記複数の撮像手段で得られた複数の画像データにおいて時分割でそれぞれ被写体を検出する検出処理を行う検出処理手段と、前記複数の撮像手段のうちの第１の撮像手段で得られた第１の画像データのいずれかのフレームに対して、前記検出処理手段に前記検出処理を行わせた後、前記第１の撮像手段とは異なる撮像手段で得られた第２の画像データのいずれかのフレームに対して、前記検出処理手段に前記検出処理を順次行わせる制御手段とを有し、前記制御手段は、前記複数の画像データにおいて被写体の検出処理を行う検出処理要求を受けた際、前記検出処理手段が前記第２の画像データに対して前記検出処理を行っていると、当該第２の画像データに係る検出処理を中断して、前記検出処理手段に前記第１の画像データの新たなフレームに対して検出処理を行わせることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、コスト高を抑えて複数の画像データについて、撮影タイミングに合わせて被写体の検出処理を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラの動作タイミングを説明するためのタイミング図である。
【図３】図１に示すカメラにおける検出処理を説明するためのフローチャートである。
【図４】本発明の第２の実施形態によるカメラの動作タイミングを説明するためのタイミング図である。
【図５】本発明の第２の実施形態によるカメラにおける検出処理を説明するためのフローチャートである。
【図６】本発明の第３の実施形態によるカメラの動作タイミングを説明するためのタイミング図である。
【図７】本発明の第３の実施形態によるカメラにおける検出処理を説明するためのフローチャートである。
【図８】本発明の第４の実施形態によるカメラにおいてサブ撮像部で得られる画像データの一例を示す図である。
【図９】本発明の第４の実施形態によるカメラにおける検出処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００１６】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、メイン撮像部（第１の撮像部）１０１およびサブ撮像部（第２の撮像部）１０２を有している。メイン撮像部１０１は人物などの被写体を撮影してメイン画像データ（第１の画像データ）を出力する。一方、サブ撮像部１０２は、カメラ１００を操作する撮影者（被写体の一つである）を撮影してサブ画像データ（第２の画像データ）を出力する。
【００１７】
カメラ１００は、カメラ全体の制御を司る制御部１０４を有しており、検出処理部１０３は、制御部１０４の制御下でメイン画像データおよびサブ画像データの各々において顔検出などの被写体の検出処理を行う。被写体の検出処理の際には、検出処理部１０３は時分割でメイン画像データおよびサブ画像データについて被写体の検出処理を順次行って、検出結果（例えば、顔検出結果）を出力する。ステータス管理部１０５は検出処理部１０３における検出処理の状態を示す検出処理ステータスを管理する。
【００１８】
図２は、図１に示すカメラ１００の動作タイミングを説明するためのタイミング図である。また、図３は、図１に示すカメラ１００における被写体の検出処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０４の制御下で行われる。
【００１９】
図１〜図３を参照して、制御部１０４は被写体の検出処理を開始すると、ステータス管理部１０５における検出処理ステータスを確認する（ステップＳ３０１）。そして、制御部１０４は検出処理ステータスが「処理していない」状態（ＮＯＰ）であるか否かを判定する（ステップＳ３０２）。この判定は、フレーム周期の整数倍の期間ごとに周期的に行われる。本実施形態では、１フレームごとに、検出処理ステータスの確認を行うものとする。
【００２０】
検出処理ステータスが「処理していない」状態であると（ステップＳ３０２において、ＹＥＳ）、制御部１０４は、ステータス管理部１０５における検出処理ステータスをメイン画像データにおける検出処理が行われている状態（ＭＡＩＮ）とする。そして、制御部１０４は検出処理部１０３を動作させて（ＲＵＮ）メイン画像データにおける顔検出処理を行う（ステップＳ３０３：メインの検出処理）。
【００２１】
続いて、制御部１０４は、ステータス管理部１０５における検出処理ステータスをサブ画像データにおける顔検出処理が行われている状態（ＳＵＢ）とする。そして、制御部１０４は検出処理部１０３を制御してサブ画像データにおける顔検出処理を行う（ステップＳ３０４：サブの検出処理）。その後、制御部１０４は検出処理を終了する。
【００２２】
検出処理ステータスが「処理していない」状態でないと（ステップＳ３０２において、ＮＯ）、制御部１０４は、ステータス管理部１０５における検出処理ステータスが現時点よりも前のサブ画像データにおいて顔検出処理が行われている状態を示す「前のサブ処理中」であるか否かを判定する（ステップＳ３０５）。検出処理ステータスが「前のサブ処理中」であると（ステップＳ３０５において、ＹＥＳ）、制御部１０４は検出処理部１０３を制御して「前のサブ処理」を中断する（ステップＳ３０６）。そして、制御部１０４はステップＳ３０３の処理に進む。
【００２３】
検出処理ステータスが「前のサブ処理中」でないと（ステップＳ３０５において、ＮＯ）、制御部１０４は、現時点よりも前のメイン画像データについて顔検出処理が行われているとして、現時点よりも前のメイン画像データに係る「前のメイン処理」の完了を待つ（ステップＳ３０７）。そして、「前のメイン処理」が完了すると、制御部１０４はステップＳ３０３の処理に進む。
【００２４】
図２において、時刻（ｔ−１）で、メイン撮像部１０１およびサブ撮像部１０２からそれぞれ顔検出処理要求（メイン検出処理要求およびサブ検出処理要求）を受けたものとする。これら検出処理要求に応答して、制御部１０４はステップＳ３０１において、ステータス管理部１０５における検出処理ステータスを確認する。
【００２５】
時刻（ｔ−１）においては、検出処理ステータスは「処理なし」の状態であるから、制御部１０４はステップＳ３０３の処理に進んで、検出処理部１０３によってメイン画像データについて顔検出処理を行う。そして、制御部１０４はステップＳ３０４において検出処理部１０３によってサブ画像データについて顔検出処理を行うことになる。
【００２６】
時刻ｔにおいて、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。また、時刻（ｔ＋１）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。
【００２７】
時刻（ｔ＋２）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はステップＳ３０１において、ステータス管理部１０５における検出処理ステータスを確認する。時刻（ｔ＋２）においては、検出処理ステータスは「前のサブ処理中」を示しているので、制御部１０４は「処理している」と判定することになる。そして、制御部１０４はステップＳ３０５の処理に進んで、「前のサブ処理中」であるか否かを判定する。
【００２８】
ここでは、時刻（ｔ＋１）で要求されたサブ検出処理要求に応じた「前のサブ処理中」であるので、制御部１０４はステップＳ３０６において、検出処理部１０３に対して「前のサブ処理」の中断を要求する中断要求を検出処理部１０３に送出して、「前のサブ処理」を中断させる。そして、制御部１０４はステップＳ３０３の処理に進んで、検出処理部１０３を制御して時刻（ｔ＋２）で要求されたメイン検出処理要求に応じてメイン画像データについて顔検出処理を行う。その後、制御部１０４はステップＳ３０４において、検出処理部１０３によってサブ画像データについて顔検出処理を行う。
【００２９】
時刻（ｔ＋３）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。
【００３０】
時刻（ｔ＋４）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はステップＳ３０１において、ステータス管理部１０５における検出処理ステータスを確認する。時刻（ｔ＋４）においては、検出処理ステータスは「前のメイン処理中」を示しているので、制御部１０４は「処理している」と判定することになる。そして、制御部１０４はステップＳ３０５の処理に進んで、「前のサブ処理中」であるか否かを判定する。
【００３１】
ここでは、時刻（ｔ＋３）で要求されたメイン検出処理要求に応じた「前のメイン処理中」であるので、制御部１０４はステップＳ３０７において、検出処理部１０３における「前のメイン処理」の完了を待つ。そして、制御部１０４は、「前のメイン処理」が完了すると、ステップＳ３０３の処理に進んで、検出処理部１０３を制御して時刻（ｔ＋４）で要求されたメイン検出処理要求に応じてメイン画像データについて顔検出処理を行う。その後、制御部１０４はステップＳ３０４において、検出処理部１０３によってサブ画像データについて顔検出処理を行う。
【００３２】
時刻（ｔ＋５）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はステップＳ３０６において、検出処理部１０３に対して「前のサブ処理」の中断を要求する中断要求を検出処理部１０３に送出することになる。
【００３３】
このように、本発明の第１の実施形態では、撮影者以外の被写体を撮影するメイン撮像部１０１から得られたメイン画像データにおける顔検出処理を優先的に行う。これによって、優先度が高いメイン撮像部１０１における撮影タイミングに合わせて顔検出処理を行うことができる。そして、優先度が低いサブ撮像部１０２で得られたサブ画像データについても、メイン画像データの処理状況に応じて、顔検出処理を行うことができる。
【００３４】
この結果、メイン画像データにおいて被写体の動きが存在し、さらに被写体の数が多い場合においても、撮影タイミングに合わせて、フレーム毎に顔検出処理を行うことができる。一方、サブ画像データについては、主に撮影者が存在するのみであので、フレーム毎に顔検出処理を行わなくても支障はない。
【００３５】
［第２の実施形態］
次に、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。
【００３６】
図４は本発明の第２の実施形態によるカメラの動作タイミングを説明するためのタイミング図である。また、図５は本発明の第２の実施形態によるカメラにおける被写体の検出処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０４の制御下で行われる。さらに、図５において、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００３７】
図１、図４、および図５を参照して、ここでは、ステップＳ３０７において、制御部１０４は「前のメイン処理」の完了を待ち、「前のメイン処理」が完了すると、ステップＳ３０４の処理に進む。
【００３８】
図４において、時刻（ｔ−１）で、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４は、検出処理部１０３によってメイン画像データおよびサブ画像データにおいて顔検出処理を行う。
【００３９】
さらに、時刻ｔにおいて、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。また、時刻（ｔ＋１）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。
【００４０】
時刻（ｔ＋２）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、ここでは、検出処理ステータスは「前のサブ処理中」を示しているので、制御部１０４はステップＳ３０６において、検出処理部１０３に対して「前のサブ処理」の中断を要求する中断要求を検出処理部１０３に送出して、「前のサブ処理」を中断させる。そして、制御部１０４はステップＳ３０３の処理に進んで、検出処理部１０３を制御して時刻（ｔ＋２）で要求されたメイン検出処理要求に応じてメイン画像データについて顔検出処理を行う。その後、制御部１０４はステップＳ３０４において、検出処理部１０３によってサブ画像データについて顔検出処理を行う。
【００４１】
時刻（ｔ＋３）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。
【００４２】
時刻（ｔ＋４）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、ここでは、時刻（ｔ＋３）で要求されたメイン検出処理要求に応じた「前のメイン処理中」であるので、制御部１０４はステップＳ３０７において、検出処理部１０３における「前のメイン処理」の完了を待つ。そして、制御部１０４は、「前のメイン処理」が完了すると、ステップＳ３０４の処理に進んで、検出処理部１０３を制御して時刻（ｔ＋４）で要求されたサブ検出処理要求に応じてメイン画像データについて顔検出処理を行う。
【００４３】
時刻（ｔ＋５）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。
【００４４】
このように、本発明の第２の実施形態では、撮影者以外の被写体を撮影するメイン撮像部１０１から得られたメイン画像データにおける顔検出処理を優先的に行う。これによって、優先度が高いメイン撮像部１０１における撮影タイミングに合わせて顔検出処理を行うことができる。
【００４５】
さらに、本発明の第２の実施形態では、優先度が高いメイン撮像部１０１で得られたメイン画像データに係る顔検出処理が長く、優先度が低いサブ撮像部１０２で得られたサブ画像データについて顔検出処理が行われない状態が続くと、サブ画像データについて顔検出処理を行う。この結果、サブ画像データについて長時間顔検出が行われないという事態を回避することができる。
【００４６】
［第３の実施形態］
次に、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。
【００４７】
図６は本発明の第３の実施形態によるカメラの動作タイミングを説明するためのタイミング図である。また、図７は本発明の第３の実施形態によるカメラにおける被写体の検出処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０４の制御下で行われる。さらに、図７において、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００４８】
図１、図６、および図７を参照して、ステップＳ３０２において、検出処理ステータスが「処理していない」状態であると、制御部１０４は、処理検出部１０３によってメイン撮像部１０１で得られた現時点よりもひとつ前のメイン画像データにおいて顔（顔領域）が検出されたか否かを判定する（ステップＳ７０３）。
【００４９】
メイン画像データにおいて顔領域が検出されると（ステップＳ７０３において、ＹＥＳ）、制御部１０４は複数のフレームに亘って検出された被写体が動いているか否かを判定する（ステップＳ７０４）。例えば、前後するフレームのメイン画像データを比較することで、検出された被写体の動きベクトルを検出する公知の方法を用いることで、メイン画像データ内の被写体が動いているか否かを判定することができる。この方法を用いれば、処理検出部１０３が顔領域を見失ったとしても、検出した動きベクトルに基づいて顔領域の位置を推定することができる。被写体が動いていると（ステップＳ７０４において、ＹＥＳ）、制御部１０４は、ステータス管理部１０５における検出処理ステータスをメイン画像データにおける顔検出処理が行われている状態（ＭＡＩＮ）とする。そして、制御部１０４は検出処理部１０３を制御してメイン画像データにおける顔検出処理を行う（ステップＳ７０５）。
【００５０】
続いて、制御部１０４は、ステータス管理部１０５における検出処理ステータスをサブ画像データにおける顔検出処理が行われている状態（ＳＵＢ）とする。そして、制御部１０４は検出処理部１０３を制御してサブ画像データにおける顔検出処理を行う（ステップＳ７０６）。その後、制御部１０４は検出処理を終了する。
【００５１】
被写体が動いていないと（ステップＳ７０４において、ＮＯ）、制御部１０４は、ステータス管理部１０５における検出処理ステータスをサブ画像データにおける顔検出処理が行われている状態（ＳＵＢ）とする。そして、制御部１０４は検出処理部１０３を制御してサブ画像データにおける顔検出処理を行う（ステップＳ７０７）。
【００５２】
続いて、制御部１０４は、ステータス管理部１０５における検出処理ステータスをメイン画像データにおける顔検出処理が行われている状態（ＭＡＩＮ）とする。そして、制御部１０４は検出処理部１０３を制御してメイン画像データにおける顔検出処理を行う（ステップＳ７０８）。その後、制御部１０４は検出処理を終了する。
【００５３】
メイン画像データにおいて顔領域が検出されないと（ステップＳ７０３において、ＮＯ）、制御部１０４はステップＳ７０７の処理に進む。なお、ステップＳ３０６又はＳ３０７の処理の後、制御部１０４はステップＳ７０３の処理に進む。
【００５４】
図６において、時刻（ｔ−１）で、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、前述のように、制御部１０４はステップＳ３０１において、ステータス管理部１０５における検出処理ステータスを確認する。
【００５５】
時刻（ｔ−１）においては、検出処理ステータスは「処理なし」の状態であるから、制御部１０４はステップＳ７０３の処理に進んで、検出処理部１０３によって時刻（ｔ−２）で得られたメイン画像データにおいて顔領域が検出されたか否かを判定する。ここでは、顔領域が検出されたので、制御部１０４は、ステップＳ７０４の処理に進んで、被写体に動きがあるか否かを判定することになる。
【００５６】
ここでは、被写体に動きがあるので、制御部１０４はステップＳ７０５において、検出処理部１０３によってメイン画像データについて顔検出処理を行う。そして、制御部１０４はステップＳ７０６において検出処理部１０３によってサブ画像データについて顔検出処理を行うことになる。
【００５７】
時刻ｔにおいて、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４は、ステップＳ７０３において時刻（ｔ−１）におけるメイン画像データに対して行われた顔検出処理において顔領域が検出されたか否かを判定する。
【００５８】
ここでは、顔領域が検出されているので、制御部１０４はステップＳ７０４において被写体に動きがあるか否かを判定する。そして、被写体に動きがあるので、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行うことになる。
【００５９】
また、時刻（ｔ＋ｍ−１）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はメイン画像データおよびサブ画像データについて顔検出処理を行う。なお、ここでは、時刻（ｔ＋ｍ−２）で得られたメイン画像データに対して行われた顔検出処理において顔領域が検出されたか否かを判定することになる。
【００６０】
時刻（ｔ＋ｍ）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けた際、ステータス管理部１０５における検出処理ステータスは「処理なし」を示している。よって、制御部１０４はステップＳ７０３において時刻（ｔ＋ｍ−１）のメイン画像データにおいて顔領域が検出されたか否かを判定する。
【００６１】
ここでは、顔領域が検出されないので、制御部１０４はステップＳ７０７において、検出処理部１０３によってサブ画像データについて顔検出処理を行う。そして、制御部１０４はステップＳ７０８において検出処理部１０３によってメイン画像データについて顔検出処理を行うことになる。
【００６２】
時刻（ｔ＋ｎ−１）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けた際、ステータス管理部１０５における検出処理ステータスは「処理なし」を示している。よって、制御部１０４はステップＳ７０３において、時刻（ｔ＋ｎ−２）のメイン画像データについて顔領域が検出されたか否かを判定する。
【００６３】
ここでは、顔領域が検出されているので、制御部１０４はステップＳ７０４において被写体に動きがあるか否かを判定する。ところが、被写体の動きはないので、制御部１０４はステップＳ７０７において、検出処理部１０３によってサブ画像データについて顔検出処理を行う。そして、制御部１０４はステップＳ７０８において検出処理部１０３によってメイン画像データについて顔検出処理を行うことになる。
【００６４】
時刻（ｔ＋ｎ）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はサブ画像データおよびメイン画像データについて顔検出処理を行う。なお、ここでは、時刻（ｔ＋ｎ−１）で得られたメイン画像データに対して行われた顔検出処理において顔領域が検出されたか否かを判定することになる。
【００６５】
時刻（ｔ＋ｎ＋１）において、メイン撮像部１０１およびサブ撮像部１０２からそれぞれメイン検出処理要求およびサブ検出処理要求を受けると、制御部１０４はサブ画像データおよびメイン画像データについて顔検出処理を行う。なお、ここでは、時刻（ｔ＋ｎ）で得られたメイン画像データに対して行われた顔検出処理において顔領域が検出されたか否かを判定することになる。
【００６６】
このように、本発明の第３の実施形態では、撮影者以外の被写体を撮影するメイン撮像部１０１から得られたメイン画像データにおける顔検出処理を優先的に行う際に、メイン撮像部１０１で得られたメイン画像データに被写体が存在しないか又は被写体に動きがないと、フレーム毎に検出処理を行う必要はないとする。この際には、サブ撮像部１０２で得られたサブ画像データに対して検出処理を行って、サブ画像データについて長時間顔検出が行われないという事態を回避するようにする。
【００６７】
［第４の実施形態］
続いて、本発明の第４の実施形態によるカメラの一例について説明する。なお、第４の実施形態によるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。
【００６８】
図８は本発明の第４の実施形態によるカメラにおいてサブ撮像部１０２で得られる画像データの一例を示す図である。また、図９は本発明の第４の実施形態によるカメラにおける被写体の検出処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０４の制御下で行われる。さらに、図９において、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００６９】
図１、図８、および図９を参照して、ステップＳ３０３の処理を行った後、制御部１０４は、サブ画像データについて顔検出処理を中断したか否かを判定する（ステップＳ９０４）。サブ画像データについて顔検出処理が中断されていると（ステップＳ９０４において、ＹＥＳ）、制御部１０４は、検出処理部１０３によってサブ画像データに対する顔検出処理を行う（ステップＳ９０５）。そして、制御部１０４は検出処理を終了する。
【００７０】
一方、サブ画像データについて顔検出処理が中断されていないと（ステップＳ９０４において、ＮＯ）、制御部１０４はサブ画像データに対する顔検出処理に係る設定（検出パラメータ設定）を変更する（ステップＳ９０６）。そして、制御部１０４はステップＳ９０５の処理に進む。
【００７１】
図８において、いま、時刻ｔおよび時刻（ｔ＋１）においては検出処理ステータスが「処理していない」状態であるものとする。そして、時刻ｔおよび時刻（ｔ＋１）におけるサブ画像データについては、顔検出処理が中断されていたものとする。よって、制御部１０４はステップＳ９０５において時刻ｔおよび時刻（ｔ＋１）におけるサブ画像データについて顔検出処理を行うことになる。
【００７２】
一方、時刻（ｔ＋２）においては検出処理ステータスが「前のサブ処理中」（つまり、時刻（ｔ＋１）におけるサブ画像データの処理中）を示しているものとする。よって、制御部１０４はステップＳ３０６において、前のサブ処理を中断して、ステップＳ３０３の処理に進む。そして、ステップＳ９０４の処理において、制御部１０４はサブ処理を中断したと判定するので、ステップＳ９０６に進んで、検出パラメータ設定を変更する。
【００７３】
この検出パラメータ変更においては、例えば、顔検出処理を行う際の検出領域を限定するか又は検出可能な顔のサイズを変更することが行われ、顔検出処理に要する時間を低減する。この結果、時刻（ｔ＋３）において、サブ画像データについて顔検出処理が行われる際には、例えば、図示のように、検出領域が時刻ｔ〜（ｔ＋２）に比べて限定されることになる。
【００７４】
このように、本発明の第１の実施形態では、撮影者以外の被写体を撮影するメイン撮像部１０１から得られたメイン画像データにおける顔検出処理を優先的に行う。これによって、優先度が高いメイン撮像部１０１における撮影タイミングに合わせて顔検出処理を行うことができる。そして、優先度が低いサブ撮像部１０２で得られたサブ画像データについても、顔検出処理が中断された場合には、顔検出力に要する時間を低減して、顔検出処理の中断を少なくすることができる。
【００７５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００７６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００７７】
上記の制御方法および制御プログラムの各々は、少なくとも検出処理ステップおよび制御ステップを有している。
【００７８】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７９】
１００  カメラ
１０１  メイン撮像部
１０２  サブ撮像部
１０３  検出処理部
１０４  制御部
１０５  ステータス管理部
【図１】
2015231093.tif 000003
【図２】
2015231093.tif 000004
【図３】
2015231093.tif 000005
【図４】
2015231093.tif 000006
【図５】
2015231093.tif 000007
【図６】
2015231093.tif 000008
【図７】
2015231093.tif 000009
【図８】
2015231093.tif 000010
【図９】
2015231093.tif 000011