(57)【要約】【課題】複数の撮像素子を用いてより良好なフォーカス制御を行う。【解決手段】撮像装置１００は、第１の撮像素子１０５からの信号を用いて焦点検出を行って第１のフォーカス制御データを取得する第１の焦点検出手段２０３と、第２の撮像素子からら信号を用いて焦点検出を行って第２のフォーカス制御データを取得する第２の焦点検出手段２１２と、第１および第２のフォーカス制御データのうち少なくとも一方を用いてフォーカス制御を行う制御手段２２３，１３１とを有する。制御手段は、第１および第２の焦点検出手段をそれぞれ独立して動作させる並列制御と、第１および第２の焦点検出手段をそれぞれにより得られる第１および第２のフォーカス制御データを共有させながら連動動作させる連動制御とを行うことが可能である。並列制御において特定の条件が成立することに応じて、第２の焦点検出制御を行う。【選択図】図１
2019075675.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像素子と、
第２の撮像素子と、
前記第１の撮像素子からの信号を用いて焦点検出を行うことにより第１のフォーカス制御データを取得する第１の焦点検出手段と、
前記第２の撮像素子からら信号を用いて焦点検出を行うことにより第２のフォーカス制御データを取得する第２の焦点検出手段と、
前記第１および第２の焦点検出手段を制御し、前記第１および第２のフォーカス制御データのうち少なくとも一方を用いてフォーカス制御を行う制御手段とを有し、
前記制御手段は、
前記第１および第２の焦点検出手段をそれぞれ独立して動作させる並列制御と、前記第１および第２の焦点検出手段をそれぞれにより得られる第１および第２のフォーカス制御データを共有させながら連動動作させる連動制御とを行うことが可能であり、
前記並列制御において特定の条件が成立することに応じて、前記第２の焦点検出制御を行うことを特徴とする撮像装置。
【請求項２】
前記特定の条件は、移動する被写体に対して追従するフォーカス制御が可能な条件であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特定の条件は、前記被写体の移動速度が所定速度以上であること、前記被写体の追従に対する応答性が所定値以上であること、連続撮像速度が所定速度以上であることおよび撮像開始指示がなされていることのうち少なくとも１つであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１および第２のフォーカス制御データは、像面位置、該像面位置の検出時刻、追従している被写体の中心座標、該被写体の大きさ、追尾演算結果、前記被写体を捉えている焦点検出領域の位置、前記焦点検出領域で検出されたデフォーカス量、該デフォーカス量の信頼性のうち少なくとも１つを含むことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記特定の条件は、前記第１および第２の撮像素子のそれぞれで得られた輝度が所定輝度以下であることを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
【請求項６】
前記並列制御において、前記第１および第２の撮像素子に対して、ゲイン、電荷蓄積時間および信号読出し領域のうち少なくとも１つを別々に設定することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記連動制御において、フレームレートが所定フレームレート以上である場合に前記第１および第２の撮像素子のうち処理速度が遅い側の撮像素子からの信号読出し領域を全画素領域より狭くする、または前記焦点検出に関連しない制御を前記第１および第２の撮像素子のうち処理速度が速い側の撮像素子から得られたデータを用いて行うことを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
第１の撮像素子と、第２の撮像素子と、前記第１の撮像素子からの信号を用いて焦点検出を行うことにより第１のフォーカス制御データを取得する第１の焦点検出手段と、前記第２の撮像素子からら信号を用いて焦点検出を行うことにより第２のフォーカス制御データを取得する第２の焦点検出手段とを有し、前記第１および第２のフォーカス制御データのうち少なくとも一方を用いてフォーカス制御を行う撮像装置の制御方法であって、
前記第１および第２の焦点検出手段をそれぞれ独立して動作させる並列制御を行うステップと、
前記第１および第２の焦点検出手段をそれぞれにより得られる第１および第２のフォーカス制御データを共有させながら連動動作させる連動制御を行うステップとを含み、
前記並列制御において特定の条件が成立することに応じて、前記第２の焦点検出制御を行うことを特徴とする撮像装置の制御方法。
【請求項９】
第１の撮像素子と、第２の撮像素子と、前記第１の撮像素子からの信号を用いて焦点検出を行うことにより第１のフォーカス制御データを取得する第１の焦点検出手段と、前記第２の撮像素子からら信号を用いて焦点検出を行うことにより第２のフォーカス制御データを取得する第２の焦点検出手段とを有し、前記第１および第２のフォーカス制御データのうち少なくとも一方を用いてフォーカス制御を行う撮像装置のコンピュータに処理を実行させるコンピュータプログラムであって、
前記処理は、
前記第１および第２の焦点検出手段をそれぞれ独立して動作させる並列制御を行う処理と、
前記第１および第２の焦点検出手段をそれぞれにより得られる第１および第２のフォーカス制御データを共有させながら連動動作させる連動制御を行う処理とを含み、
前記並列制御において特定の条件が成立することに応じて、前記コンピュータに前記第２の焦点検出制御を行わせることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子を用いて焦点検出を行う撮像装置に関する。
【背景技術】
【０００２】
上記のような撮像装置として、特許文献１には、複数の撮像素子により動画像を互いにタイミングをずらして撮像し、一方の撮像素子で得られた撮像映像のフレーム間を他方の撮像素子で得られた撮像映像のフレームで補間する撮像装置が開示されている。これにより、低フレームレートの撮像素子を用いて高フレームレートの撮像映像を得ることが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３００４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように複数の撮像素子を単にフレームレートの向上に用いるだけでなく、焦点検出（つまりはフォーカス制御）にも有効に利用することが望ましい。
【０００５】
本発明は、複数の撮像素子を用いてより良好なフォーカス制御を行えるようにした撮像装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての撮像装置は、第１の撮像素子と、第２の撮像素子と、第１の撮像素子からの信号を用いて焦点検出を行うことにより第１のフォーカス制御データを取得する第１の焦点検出手段と、第２の撮像素子からら信号を用いて焦点検出を行うことにより第２のフォーカス制御データを取得する第２の焦点検出手段と、第１および第２の焦点検出手段を制御し、第１および第２のフォーカス制御データのうち少なくとも一方を用いてフォーカス制御を行う制御手段とを有する。制御手段は、第１および第２の焦点検出手段をそれぞれ独立して動作させる並列制御と、第１および第２の焦点検出手段をそれぞれにより得られる第１および第２のフォーカス制御データを共有させながら連動動作させる連動制御とを行うことが可能である。そして、並列制御において特定の条件が成立することに応じて、第２の焦点検出制御を行うことを特徴とする。
【０００７】
また、本発明の他の一側面としての撮像方法は、第１の撮像素子と、第２の撮像素子と、第１の撮像素子からの信号を用いて焦点検出を行うことにより第１のフォーカス制御データを取得する第１の焦点検出手段と、第２の撮像素子からら信号を用いて焦点検出を行うことにより第２のフォーカス制御データを取得する第２の焦点検出手段とを有し、第１および第２のフォーカス制御データのうち少なくとも一方を用いてフォーカス制御を行う撮像装置に適用される。該制御方法は、第１および第２の焦点検出手段をそれぞれ独立して動作させる並列制御を行うステップと、第１および第２の焦点検出手段をそれぞれにより得られる第１および第２のフォーカス制御データを共有させながら連動動作させる連動制御を行うステップとを含む。そして、並列制御において特定の条件が成立することに応じて、第２の焦点検出制御を行うことを特徴とする。
【０００８】
なお、撮像装置のコンピュータに、上記制御方法を実行させるコンピュータプログラムも本発明の他の一側面を構成する。
【発明の効果】
【０００９】
本発明によれば、複数の撮像素子を用いてより良好なフォーカス制御を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１であるカメラの構成を示すブロック図。
【図２】実施例１（および実施例２）におけるカメラの焦点検出制御の切替え処理を示すフローチャート。
【図３】実施例１における第１および第２の焦点検出部の並列制御を示すフローチャート。
【図４】実施例１における第１および第２の焦点検出部の連動制御を示すフローチャート。
【図５】実施例１における第１および第２の焦点検出部の非連動制御を示すフローチャート。
【図６】実施例１における撮像制御を示すフローチャート。
【図７】実施例１における第１の焦点検出制御を示すフローチャート。
【図８】実施例１における第２の焦点検出制御を示すフローチャート。
【図９】実施例１における並列制御から連動制御への切替わりを示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１２】
図１（Ａ）は、本発明の実施例１である撮像装置としてのカメラ１００の構成を示す。カメラ１００は、被写体の光学像（被写体像）を形成する撮像光学系を備えたレンズ１０１と、該レンズが取り外し可能に装着されたカメラ本体とにより構成される。カメラは、本実施例のようなレンズ交換型カメラに限らず、レンズがカメラ本体に固定されたレンズ一体型カメラでもよい。
【００１３】
レンズ１０１内の撮像光学系は、焦点調節を行うフォーカスレンズ、変倍を行うズームレンズおよび光量を調節する絞り等の複数の光学素子を含み、被写体からの光を結像させる。レンズ制御部１４１は、レンズ１０１におけるフォーカスレンズの駆動、ズームレンズの駆動および絞りの駆動等を制御する。また、レンズ１０１は、レンズマウント１０２を介してカメラ本体に機械的および電気的に接続される。
【００１４】
ハーフミラー１０３は、レンズ１０１から入射した光束の一部（例えば半分）を第１の撮像素子１０５に向けて透過させ、残りの光束を第２の撮像素子１０６に向けて反射する。第１の撮像素子１０５および第２の撮像素子１０６は、ＣＭＯＳセンサ等の光電変換素子により構成される。第１の撮像素子１０５および第２の撮像素子１０６は、レンズ１０１により形成された被写体像を光電変換して画像信号を出力する。本実施例では、第１の撮像素子１０５により静止画撮像を行い、第２の撮像素子１０６により動画撮像を行う。ただし、第１の撮像素子１０５により動画撮像を行い、第２の撮像素子１０６により静止画撮像を行ってもよい。
【００１５】
フォーカルプレーンシャッタ１０４は、静止画撮像時に第１の撮像素子１０５の露光秒時を制御する。なお、フォーカルプレーンシャッタ１０４を設けずに、第１の撮像素子１０５が電子シャッタ機能によって露光秒時を制御してもよい。
【００１６】
映像信号処理部１２１は、第１の撮像素子１０５および第２の撮像素子１０６から出力されたアナログ画像信号をデジタル画像信号に変換し、該デジタル画像信号に対してホワイトバランス、色補正、γ変換、解像度変換等の各種画像処理を行って画像データを生成する。また、映像信号処理部１２１は、画像データの明るさやコントラスト等を解析し、その解析データをバス１５０を介してカメラＣＰＵ１３１に出力する。解析データは、露出制御（ＡＥ）やフォーカス制御（ＡＦ）に利用される。さらに、映像信号処理部１２１は、生成した画像データをバス１５０を介して共有メモリ１３２に出力する。
【００１７】
静止画エンコード処理部１２２は、共有メモリ１３２に格納されている画像データを入力として、ＪＰＥＧ等の画像圧縮を行い、圧縮静止画像データを再度、共有メモリ１３２に出力する。動画エンコード処理部１２３は、共有メモリ１３２に格納されている複数の画像データを入力として、Ｈ．２６４等の画像圧縮を行い、圧縮動画像データを再度、共有メモリ１３２に出力する。共有メモリ１３２は、画像データの他、カメラＣＰＵ１３１が各種処理を行う際に用いるデータを一時的に記憶する。不揮発性メモリ１３３は、カメラＣＰＵ１３１が実行するプログラムデータを保持する。
【００１８】
タイミング発生部１４２は、第１の撮像素子１０５、第２の撮像素子１０６および映像信号処理回路１２１にタイミング信号を供給する。バス１５０には、映像信号処理部１２１、メモリ１３２，１３３、静止画／動画エンコード処理部１２２，１２３、タイミング発生部１４２、レンズ制御部１４１、電源１１０、表示制御部１５１、カード入出力部１７１およびカメラＣＰＵ１３１が接続されている。また、バス１５０には、各種操作部材が接続されている。各種操作部材には、メイン（電源）スイッチ１６１、第１のレリーズスイッチ１６２、第２のレリーズスイッチ１６３、露出制御モード変更ボタン１６４、動画記録開始ボタン１６５、上下左右選択ボタン１６６および決定ボタン１６７が含まれる。
【００１９】
電源１１０は、バス１５０を介してカメラ１００内の各部に電源供給を行う。表示制御部１５１は、バス１５０を介して受け取ったタイミング発生部１４２からのタイミング信号に応じて、共有メモリ１３２に保存された表示用のデジタル画像データをＤ／Ａ変換部１５２にアナログ画像データに変換させる。変換されたアナログ画像データは、液晶表示素子等により構成される表示部１５３に表示されたり、ＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５等からケーブルを介して外部に設けられた外部表示部（不図示）に出力されて表示されたりする。
【００２０】
共有メモリ１３２内において画像データが記憶されている領域をＶＲＡＭと呼ぶ。表示制御部１５１が、共有メモリ１３２内のＶＲＡＭから画像データを読み出してＤ／Ａ変換部１５２にアナログ画像データに変換させることで、表示部１５３における表示用のアナログ画像データが更新される。この動作を連続して行って表示部１５３の表示画像が更新され続けることによって、動画が表示される。
【００２１】
カードスロット１７２には、メモリカード等の着脱可能な記録媒体１７３を差し込み可能である。記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。カード入出力部１７１は、共有メモリ１３２に記録されている画像データを記録媒体１７３へと記録したり、記録媒体１７３内に記録された画像データを読み出したりする。
【００２２】
制御手段としてのカメラＣＰＵ１３１は、バス１５０を介してカメラ１００内の各部に接続されており、各部を統括的に制御する。本実施例では、カメラＣＰＵ１３１は、レンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、静止画／動画エンコード処理部１２２，１２３、表示制御部１５１等の各部を制御する。なお、カメラＣＰＵに、レンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、静止画／動画エンコード処理部１２２，１２３、表示制御部１５１等の各部の機能を持たせてもよい。
【００２３】
次に、本実施例のカメラ１００における基本動作について説明する。まずユーザによりメインスイッチ１６１がオンされることで、電源部１１０がカメラ１００内の各部に電源を供給する。第２の撮像素子１０６上には、レンズ１０１によって形成された被写体像がハーフミラー１０３での反射を介して形成される。映像信号処理部１２１は、第２の撮像素子１０６から所定周期（例えば１秒間に６０回）で画像信号を取り込み、画像データを生成して共有メモリ１３２内のＶＲＡＭに格納する。これにより、第２の撮像素子１０６を用いて生成した画像データを表示部１５３に逐次表示（ライブビュー表示）することができる。
【００２４】
上下左右選択ボタン１６６および決定ボタン１６７がユーザによって操作されると、表示部１５３に表示されたＧＵＩを見ながら各種パラメータ等の選択および設定を行うことができる。また、露出制御モード変更ボタン１６４がユーザによって操作されると、露出制御モードの選択および設定を行うことができる。さらに、ライブビュー表示中にユーザによって動画記録開始／終了ボタン１６５が操作されると、第２の撮像素子１０６による動画撮像が開始される。再度、動画記録開始／終了ボタン１６５が操作されると、動画撮像が終了される。
【００２５】
第１のレリーズスイッチ１６２（以下、ＳＷ１と記す）は不図示のレリーズボタンの半押し操作によりオンとなり、これに応じて測光動作やＡＦ動作等の撮像準備動作が開始される。第２のレリーズスイッチ１６３（以下、ＳＷ２と記す）は、レリーズボタンの全押し操作によりオンとなり、これに応じてシャッタ１０４が開閉動作して第１の撮像素子１０５による静止画撮像が行われる。
【００２６】
次に、図１（Ｂ）を用いて、本実施例のカメラ１００における露出制御およびフォーカス制御について説明する。図２には、映像信号処理部１２１およびカメラＣＰＵ１３１をまとめて１つの露出／フォーカス制御ブロックとして示している。露出／フォーカス制御ブロックは、第１の映像信号処理部２０１、第１の露出検出部２０２、第１の焦点検出部２０３、第２の映像信号処理部２１１、第２の露出検出部２１２、第２の焦点検出部２１３を含む。さらに露出制御部２２１、撮像素子制御部２２１および焦点制御部２２３を含む。
【００２７】
第１の映像信号処理部２０１は、前述したように第１の撮像素子１０５の出力から画像データを生成し、該画像データの明るさおよびコントラストを解析する。第１の映像信号処理部２０１は、明るさの解析データを第１の露出検出部２０２に、コントラストの解析データを第１の焦点検出部２０３に出力する。第１の露出検出部２０２は、明るさの解析データに基づいて露出検出を行い、露出検出結果を露出制御部２２１に出力する。第１の焦点検出部２０３は、コントラストの解析データに基づいて焦点検出を行い、焦点検出結果を焦点制御部２２３に出力する。
【００２８】
第２の映像信号処理部２１１は、第２の撮像素子１０６の出力から画像データを生成し、該画像データの明るさおよびコントラストを解析する。第２の映像信号処理部２１１は、明るさの解析データを第２の露出検出部２１２に、コントラストの解析データを第２の焦点検出部２１３に出力する。第２の露出検出部２１２は、明るさの解析データに基づいて露出検出を行い、露出検出データを露出制御部２２１に出力する。第２の焦点検出部２１３は、コントラストの解析データに基づいて焦点検出を行い、その結果を焦点制御部２２３に出力する。
【００２９】
露出制御部２２１は、第１の露出検出部２０２および第２の露出検出部２１２からの露出検出結果に基づいて露出制御値を算出し、撮像素子制御部２２２に出力する。露出制御モードが絞り自動制御を行うモードである場合は、絞り値をレンズ制御部１４１に出力してもよい。撮像素子制御部２２２は、露出制御部２２１からの露出制御値に応じて第１の撮像素子１０５および第２の撮像素子１０６を制御する。
【００３０】
焦点制御部２２３は、第１の焦点検出部２０３および第２の焦点検出部２１３からの焦点検出結果に基づいて焦点制御値（フォーカスレンズの駆動量）を算出し、これをレンズ制御部１４１に出力する。レンズ制御部１４１は、焦点制御値に応じてフォーカスレンズを駆動する。これにより、ＡＦ（フォーカス制御）が行われる。
【００３１】
図２のフローチャートは、カメラＣＰＵ１３１が行う第１および第２の焦点検出部２０３，２１３の制御の切替え処理を示している。コンピュータとしてのカメラＣＰＵ１３１は、コンピュータプログラムである制御プログラムに従って本処理を実行する。Ｓはステップを意味する。
【００３２】
まずＳ２０１において、カメラＣＰＵ１３１は、ＳＷ１のオンによりＡＦ開始指示があったか否かを判断する。ＡＦ開始指示があった場合、カメラＣＰＵ１３１はＳ２０２において第１および第２の焦点検出部２０３，２１３をそれぞれ独立して並列動作させることが可能な並列制御を開始する。
【００３３】
この並列制御が完了すると（すなわち並列制御の結果に応じて）、カメラＣＰＵ１３１は、Ｓ２０３において、第１および第２の焦点検出部２０３，２１３の連動制御を行う条件（連動制御条件）が成立しているか否かを判定する。連動制御では、フレームレートが所定フレームレート以上である場合に処理速度が遅い側の撮像素子（第１の撮像素子１０５）からの信号読出し領域を狭く（後述するクロップ読出し）する。また、焦点検出に直接関連しない一部の制御を処理速度が速い側の撮像素子（第２の撮像素子１０６）から得られた制御データを利用して行う。このような連動制御により、焦点検出制御のトータルの処理時間を短縮することができる。本実施例では、特に動体としての被写体に対して焦点検出速度や被写体追従性能を上げることを目的とする。
【００３４】
このため連動制御条件は、被写体移動速度が所定速度以上であること、被写体追従敏感度（被写体追従に対する応答性）が所定値以上であること、連続撮像速度が所定速度以上であること、ＳＷ２が既にオンされている（撮像開始指示がなされている）こと等を含む。これらの条件は、移動する被写体に対して追従するフォーカス制御が可能であることを示す特定の条件である。
【００３５】
連動制御条件が成立しており、連動制御が必要と判定したカメラＣＰＵ１３１は、Ｓ２０４に進む。Ｓ２０４では、カメラＣＰＵ１３１は、第１および第２の焦点検出部２０３，２１３をそれらによる焦点検出制御結果を履歴データとして共有メモリ１３２を介して共有させながら連動動作させる連動制御を開始する。第１の焦点検出部２０３による焦点検出制御結果は第１のフォーカス制御データに相当し、第２の焦点検出部２０３による焦点検出制御結果は第２のフォーカス制御データに相当する。
【００３６】
図９は、並列／連動制御の切替え処理の例として、並列制御から連動制御への移行を示している。図９に示すように、第１および第２の撮像素子１０５，１０６をそれぞれ用いた第１および第２の焦点検出部２０３，２０１３の制御が、上記切替え処理によって並列制御から連動制御へと移行する。
【００３７】
一方、連動制御条件が不成立、すなわち連動制御が不要と判定したカメラＣＰＵ１３１は、Ｓ２０５に進み、第１および第２の焦点検出部２０３，２１３のうち一方のみを動作させることが可能な非連動制御を開始する。連動制御または非連動制御が終了すると、カメラＣＰＵ１３１はＳ２０６にてＳＷ１のオフによりＡＦ停止指示があったか否かを判定する。ＡＦ停止指示がなければＳ２０１に戻り、ＡＦ停止指示があれば本切替え処理を終了する。
【００３８】
次に、図３のフローチャートを用いて上述した並列制御について説明する。まずＳ３０１において、カメラＣＰＵ１３１は、焦点検出制御として第１の焦点検出制御（図には焦点検出制御１と記す）を設定する。
【００３９】
次にＳ３０２およびＳ３０６において、カメラＣＰＵ１３１は、第１の撮像素子１０５を用いた撮像制御（後述するように撮像制御には焦点検出制御が含まれる）と第２の撮像素子１０６を用いた撮像制御とを同時に行う並列制御を開始する。並列制御時では、第１および第２の撮像素子１０５，１０６の撮像制御を別々の制御パラメータを用いて行う。例えば、第１の撮像素子１０５の中央付近の部分画素領域からクロップ（切り出し）読出しした画像データを用いて高速フレームレートで焦点検出を行う一方、第２の撮像素子１０６の全画素領域から読み出した画像データを用いて広い撮像領域に対する焦点検出を行う。このように撮像素子から画像データを読み出す画素領域（信号読出し領域）や、ゲインおよび電荷蓄積時間（フレームレート）等の制御パラメータを別々にする。
【００４０】
これにより、第１および第２の撮像素子１０５，１０６のうちいずれかの１つでも動体としての被写体を捕捉して追従可能になった状態、つまり動体予測が可能になった時点で連動制御に移行することができる。このため、Ｓ３０３およびＳ３０７において、カメラＣＰＵ１３１は、第１および第２の撮像素子１０５，１０６の撮像制御が完了すると、それぞれにより得られた焦点検出制御の結果を確認する。
【００４１】
そして、Ｓ３０４およびＳ３０８において、カメラＣＰＵ１３１は、並列制御の終了判定を行う。具体的には、焦点検出制御の結果から被写体が動体であるか否か、所定の予測式で動体予測可能か否か、ＡＦ停止判定があったか否かおよび一方の撮像素子を用いた焦点検出制御が所定の終了条件に当てはまっているか否かを判定する。
【００４２】
被写体が動体ではない場合、予測式での動体予測が不可能である場合、ＡＦ停止判定があった場合または一方の撮像素子を用いた焦点検出制御が終了条件に当てはまっている場合は、カメラＣＰＵ１３１は、Ｓ３０５，Ｓ３０９からＳ３１０に進む。そうでない場合はＳ３０２，Ｓ３０６に戻って、再度、第１および第２の撮像素子１０５，１０６を用いた撮像制御を同時に開始する。
【００４３】
Ｓ３１０では、カメラＣＰＵ１３１は、第１および第２の撮像素子１０５，１０６のそれぞれを用いた焦点検出制御結果をマージ（合体）する。そしてＳ３１１では、カメラＣＰＵ１３１は、マージした結果を履歴データとして共有メモリ１３２に書き込む。履歴データは、この後の連動制御および非連動制御における焦点検出制御で利用される。
【００４４】
次に、図４のフローチャートを用いて上述した連動制御について説明する。まずＳ４０１において、カメラＣＰＵ１３１は、焦点検出制御として第２の焦点検出制御（図には焦点検出制御２と記す）を設定する。
【００４５】
次にＳ４０２において、カメラＣＰＵ１３１は、第１および第２の撮像素子１０５，１０６のそれぞれの撮像制御の同期制御用タイミングを設定する。これにより、第１および第２の撮像素子１０５，１０６をそれぞれどのようなタイミングで駆動して同期を取るのかを決める。例えば、半周期だけずらしたタイミングや、所定周期だけずらしたタイミングや、完全に同期したタイミングを設定する。
【００４６】
上記タイミング設定の後のＳ４０３，Ｓ４０５において、カメラＣＰＵ１３１は、第１の撮像素子１０５の撮像制御の開始タイミング待ちと第２の撮像素子１０６の撮像制御の開始タイミング待ちに同時に移行する。そしてカメラＣＰＵ１３１は、Ｓ４０４，Ｓ４０６において、先に設定した同期制御用タイミングで第１および第２の撮像素子１０５，１０６の撮像制御を開始する。
【００４７】
第１および第２の撮像素子１０５，１０６の撮像制御の両方が完了すると、カメラＣＰＵ１３１は、Ｓ４０７において、被写体が消失しているか否か又はＡＦ停止が指示されているか否かを確認する。カメラＣＰＵ１３１は、被写体が消失しておらず、かつＡＦ停止も指示されていない場合はＳ４０２に戻り、第１および第２の撮像素子１０５，１０６の撮像制御の結果を加味した同期制御用タイミングを再設定してその後の処理に進む。被写体が消失している又はＡＦ停止が指示されている場合は、カメラＣＰＵ１３１は、本処理を終了する。
【００４８】
次に、図５のフローチャートを用いて上述した非連動制御について説明する。まずＳ５０１において、カメラＣＰＵ１３１は、焦点検出制御として第２の焦点検出制御（図には焦点検出制御２と記す）を設定する。
【００４９】
次にＳ５０２において、カメラＣＰＵ１３１は、制御配分判定を行う。すなわち、焦点検出制御以外の制御の負荷状態に応じて、これらの制御を全て同一の撮像素子を用いて行うか、焦点検出制御とそれ以外の制御を別々の撮像素子を用いて行うかを判定する。負荷状態とは、１つの撮像素子を用いて焦点検出制御とそれ以外の制御を行える状態にあるか否かを意味する。片方の撮像素子がライブビュー表示のフレームレートより十分長い時間の電荷蓄積を行う予定がある場合、映像信号処理部１２１の許容処理量を大幅に超える処理が行われる予定がある場合には、焦点検出制御とそれ以外の制御を別々の撮像素子を用いて行う。また、表示や画像合成等の特殊な用途で片方の撮像素子を使用する場合にも、焦点検出制御とそれ以外の制御を別々の撮像素子を用いて行う。
【００５０】
Ｓ５０３，Ｓ５０７において、カメラＣＰＵ１３１は、Ｓ５０２での制御配分判定の結果に応じて第１および第２の撮像素子１０５，１０６の撮像制御を行い、次にＳ５０４，Ｓ５０８にて非連動制御の終了判定を行う。この終了判定では、カメラＣＰＵ１３１は、被写体が消失しているか否か、ＡＦ停止が指示されているか否か、および焦点検出制御とそれ以外の制御を別々の撮像素子を用いて行う必要がない負荷状態になったか（終了条件に当てはまっているか）否かを判定する。カメラＣＰＵ１３１は、被写体が消失しておらず、ＡＦ停止も指示されておらず、所定の終了条件にも当てはまっていない場合はＳ５０２に戻り、第１および第２の撮像素子１０５，１０６の撮像制御の結果を加味した制御配分判定を行い、その後の処理に進む。一方、被写体が消失している、ＡＦ停止が指示されている又は所定の終了条件に当てはまっている場合は、カメラＣＰＵ１３１は、本処理を終了する。
【００５１】
次に、図６のフローチャートを用いて撮像制御について説明する。この撮像制御は第１および第２の撮像素子１０５，１０６に共通の制御である。まずＳ６０１において、カメラＣＰＵ１３１は、フレームレートを設定する。
【００５２】
次にＳ６０２において、カメラＣＰＵ１３１は、フレームレートと後述するＡＥの結果に応じて決まる電荷蓄積時間での電荷蓄積を行う。
【００５３】
次にＳ６０３において、カメラＣＰＵ１３１は、フレームレートが所定フレームレート以上か否かを判定する。
【００５４】
フレームレートが所定フレームレート以上である場合は、カメラＣＰＵ１３１は、Ｓ６０４においてクロップ読出しを行う。これにより、カメラＣＰＵ１３１は、フレームレートが高速になってきた際に処理速度が速い側の撮像素子の処理タイミング追従させた処理が可能である。さらにカメラＣＰＵ１３１は、Ｓ６０５において共有メモリ１３２から最新のＡＥ結果およびＡＥ結果に基づく被写体の追尾演算結果を読み出す。共有メモリ１３２は、第１の撮像素子１０５の撮像制御および第２の撮像素子１０６の撮像制御によって得られる様々な結果を、カメラＣＰＵ１３１が書き込みおよび読み出しできるメモリである。この共有メモリ１３２を用いて第１および第２の撮像素子１０５，１０６が制御データを共有することができる。共有される制御データは、その単位ごとにキュー構造を持っており、時系列的に決められた個数だけ双方の履歴データとして保持可能である。
【００５５】
本実施例では共有メモリ１３２を用いて第１および第２の撮像素子１０５，１０６が制御データを共有する場合について説明している。ただし、第１および第２の撮像素子１０５，１０６が制御データを共有できればよいので、共有メモリではなく通信手段によって制御データを共有してもよい。本実施例では共有メモリ１３２から最新結果を読み出すことで、カメラＣＰＵ１３１自体による演算を不要として、高速フレームレート時における処理時間を短縮することができる。
【００５６】
次にＳ６０６において、カメラＣＰＵ１３１は焦点検出制御を行う。前述したように撮像制御を開始する前に第１および第２の焦点検出制御のうち一方が設定されているため、カメラＣＰＵ１３１はその設定されている焦点検出制御を行う。
【００５７】
次にＳ６０７において、カメラＣＰＵ１３１は、Ｓ６０６で得られた焦点検出制御結果に応じてフォーカスレンズを駆動し、本処理を終了する。
【００５８】
Ｓ６０３においてフレームレートが所定値以上ではないと判定したカメラＣＰＵ１３１はＳ６０９に進み、撮像素子からの全画素読出しを行い、制御配分を確認する。ここでは図５のＳ５０２での制御配分判定の結果を確認する。そして、制御配分判定の結果に応じてこの後の撮像制御を続行すべきか否かを判定する。撮像制御を続行すべきと判定した場合は後述する処理を行い、そうでなければ処理をスキップする。
【００５９】
Ｓ６１０では、カメラＣＰＵ１３１は、全画素読出しにより得られた結果に基づいてＡＥ演算を行う。ＡＥ演算が完了すると、カメラＣＰＵ１３１は、Ｓ６１１においてＡＥ演算結果を共有メモリ１３２に書き込み、Ｓ６１２においてその結果を用いてＡＥ制御を行う。これと同時にカメラＣＰＵ１３１は、Ｓ６１３において焦点検出制御を行う。Ｓ６０６と同様に、撮像制御を開始する前に第１および第２の焦点検出制御のうち一方が設定されているため、カメラＣＰＵ１３１はその設定されている焦点検出制御を行う。
【００６０】
次にＳ６１４において、カメラＣＰＵ１３１は、焦点検出制御の結果に基づいてフォーカス駆動を行う。また、これと同時にＳ６１５において、カメラＣＰＵ１３１は撮像素子から読み出した画像データの現像処理を行う。そして、カメラＣＰＵ１３１は、Ｓ６１６において該画像データ内の顔の検出を行い、Ｓ６１７において該画像データ内の人物の検出を行う。顔検出および人物検出が完了すると、カメラＣＰＵ１３１はＳ６１８において被写体追尾演算を行い、Ｓ６１９においてその追尾演算の結果を共有メモリ１３２に書き込む。さらにカメラＣＰＵ１３１は、現像された画像データを表示部１５３に表示し、動画記録中であればＳ６２０において動画記録処理を行う。これらの処理が全て完了すると、カメラＣＰＵ１３１は本制御を終了する。
【００６１】
次に、図７のフローチャートを用いて、並列制御にて行われる第１の焦点検出制御について説明する。Ｓ７０１では、カメラＣＰＵ１３１は、各撮像素子を用いて得られた画像データから、追尾している移動被写体に対するデフォーカス量を検出する。
【００６２】
次にＳ７０２では、カメラＣＰＵ１３１は、検出したデフォーカス量の信頼性を算出する。
【００６３】
次にＳ７０３では、カメラＣＰＵ１３１は、上記デフォーカス量を用いて追尾している被写体の像面位置（ピントが合った被写体像が得られる位置）を算出するとともに、該デフォーカス量の検出時刻を算出する。この際、カメラＣＰＵ１３１は、フォーカスレンズの相対的な繰出し量（位置）にデフォーカス量を加えることによって被写体の像面位置を算出する。また、デフォーカス量の検出時刻は、各撮像素子の電荷蓄積の開始時刻と終了時刻の間の中心時刻とする。
【００６４】
そして、Ｓ７０４では、カメラＣＰＵ１３１は、デフォーカス量の検出時刻をそのまま像面位置の検出時刻とし、像面位置とその検出時刻の組を焦点検出制御結果の履歴データとして共有メモリ１３２に書き込んで本処理を終了する。焦点検出制御結果の履歴データには、像面位置とその検出時刻の組に加え、デフォーカス量、画面内においてデフォーカス量を検出した（被写体を捉えている）焦点検出領域の位置、Ｓ７０２で算出したデフォーカス量の信頼性が含まれる。さらに、被写体の中心座標、該被写体の大きさおよび前述した追尾演算結果も含まれる。
【００６５】
共有メモリ１３２に格納される履歴データのデータ構造はキューとなっており、第１および第２の撮像素子１０５，１０６のそれぞれを用いて得た履歴データを格納しておくことが可能である。所定個数までの履歴データを順に格納し、所定個数を超える最新の履歴データは、格納された最も古い履歴データ上に上書きされる。
【００６６】
次に、図８のフローチャートを用いて、連動制御および非連動制御で行われる第２の焦点検出制御について説明する。Ｓ８０１では、カメラＣＰＵ１３１は、各撮像素子を用いて得られた画像データから、追尾している移動被写体に対するデフォーカス量を検出する。
【００６７】
次にＳ８０２では、カメラＣＰＵ１３１は、追尾演算結果を共有メモリ１３２から読み出し、さらにＳ８０３では該追尾演算結果とＳ８０１で検出したデフォーカス量の信頼性を算出する。
【００６８】
次にＳ８０４では、カメラＣＰＵ１３１は、図７のＳ７０３と同様に、デフォーカス量を用いて追尾している被写体の像面位置を算出するとともに、該デフォーカス量の検出時刻を算出する。
【００６９】
そしてＳ８０５では、カメラＣＰＵ１３１は、デフォーカス量の検出時刻をそのまま像面位置の検出時刻とし、像面位置とその検出時刻の組を焦点検出制御結果の履歴データとして共有メモリ１３２に書き込む。この履歴データは、図７のＳ７０４で説明した通りである。
【００７０】
次にＳ８０６では、カメラＣＰＵ１３１は、共有メモリ１３２に格納された履歴データの組数が統計演算可能な所定組数に達したか否かを判定する。本実施例では、将来の像面位置を予測する関数を以下の式（１）で示す関数とする。
ｙ（ｔ）＝α＋βｔ＋γｔｎ      （１）
式（１）において、ｎは後述する像面距離や像面速度や像面加速度等よって決まる変数である。このため、決定しなければならない未知の係数はα，β，γの３つである。したがって、少なくとも３組の履歴データがあればよいが、履歴データ組数が少ないとデフォーカス量の検出誤差の影響を受け易いので、本実施例では所定組数を少なくとも５組とする。なお、式（１）で示した予測式は例であり、他の予測式を用いてもよい。
【００７１】
Ｓ８０６での判定の結果、共有メモリ１３２に格納された履歴データの組数が所定組数に達していればカメラＣＰＵ１３１は、Ｓ８０７以降で統計演算による動体予測のための一連の処理を行う。
【００７２】
まず、カメラＣＰＵ１３１は、Ｓ８０７において像面距離を算出する。具体的には、結像位置検出ユニットからフォーカスレンズの絶対的な操出し量（位置）を取得し、これに現在のデフォーカス量を加算する。また、絶対的な繰出し量を取得できない場合でも、過去複数回の被写体の像面位置とその検出時刻の変化から、計算によって直接に像面距離を求めてもよい。
【００７３】
続いてカメラＣＰＵ１３１は、Ｓ８０８において像面速度を算出し、さらにＳ８０９において像面加速度を算出する。具体的には、過去の３つの像面位置とその検出時間から、像面速度と像面加速度を算出する。ただし、動体としての被写体にフォーカスレンズの移動が追従している場合には、フォーカスレンズの駆動源であるモータの回転数から像面速度と像面加速度を算出してもよい。
【００７４】
次にＳ８１０において、カメラＣＰＵ１３１は、統計演算に用いる予測式を決定する。前述したように、本実施例では式（１）の予測関数を用いる。そして、ｎを共有メモリ１３２に格納された履歴データを用いて像面位置を予測する場合に誤差が最も小さくなるように設定する。具体的には，既知のレンズ１０１の焦点距離をｆ（ｍｍ）とし、Ｓ８０７およびＳ８０８で算出した像面距離をｂ（ｍｍ）、像面速度をｖ（ｍｍ／ｓ）、像面加速度をａ（ｍｍ／ｓ２）とする。このとき、ｎを以下の式（２）で決定する。
ｎ＝１３．７１−０．５６ｆ＋０．５３ｂ＋０．１３ｖ−０．１４ａ    （２）
式（２）は、ｎを目的変数とし、ｆ，ｂ，ｖ，ａを説明変数として線形回帰モデルを作り、複数の代表的な動体予測撮像シーンのサンプルに対して予測を行ったときの予測誤差が最小となるｎの値から重回帰分析により各係数を統計的に決定している。一般に、被写体距離が近く、被写体の移動速度が大きいほど、その被写体の像面位置を正確に予測するために必要なｎの値は大きくなる。これは前述した通り、被写体がカメラに接近するほど像面距離が非線形に増加するためである。つまり、被写体距離が近く（短く）なるほど像面距離が遠く（長く）なる。また、被写体の移動速度が速いほど像面速度も速くなる。
【００７５】
したがって、式（２）は、被写体がカメラに近づくほど又は被写体の移動速度が速くなるほどｎの値が大きくなることを示す。すなわち、従来の１次直線や２次曲線等の多項式補間による予測方法のように被写体がカメラに近づくにつれて予測量が足りなくなることはなく、被写体追尾に必要なフォーカスレンズの駆動量を正確に予測することができる。
【００７６】
次にＳ８１１では、カメラＣＰＵ１３１は、次回の露光時における被写体の像面位置を予測し、露光時にレンズ１０１の焦点位置をその像面位置とするために必要なフォーカスレンズの駆動量を算出して、本制御を終了する。
【００７７】
またＳ８０６での判定で共有メモリ１３２に格納された履歴データの組数が所定組数に達していなければ、カメラＣＰＵ１３１は、Ｓ８１２において統計演算を用いずに、将来の像面位置を予測し、その予測された像面位置からフォーカスレンズの駆動量を算出する。そして、本制御を終了する。
【実施例２】
【００７８】
次に、本発明の実施例２について説明する。本実施例は、実施例１に対して、図２に示したＳ２０３での連動制御条件が異なる。本実施例では、連動制御を、所定輝度以下の環境において各フレームでの電荷蓄積時間を確保することを目的として行う。このため、Ｓ２０３での連動制御条件（特定の条件）を、画像データから得られた輝度が所定輝度以下であることとする。
【００７９】
連動制御条件が成立、すなわち連動制御が必要と判定したカメラＣＰＵ１３１は、Ｓ２０４に進み、実施例１で説明したように連動制御を開始する。
【００８０】
以上説明したように、上記各実施例では、第１および第２の焦点検出部が第１および第２の撮像素子を通じてそれぞれ得られた焦点検出制御結果の履歴データ（フォーカス制御データ）を共有しながら焦点検出制御を行う。これにより、得られた履歴データを第１および第２の焦点検出部のそれぞれの次回の焦点検出制御にフィードバックすることができ、この結果、フォーカス制御の速度や精度の向上を図ることができる。すなわち、複数の撮像素子を用いてより良好なフォーカス制御を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００８２】
１０５  第１の撮像素子
１０６  第２の撮像素子
２０３  第１の焦点検出部
２１３  第２の焦点検出部
２２３  焦点制御部
【図１】
2019075675.tif 000003
【図２】
2019075675.tif 000004
【図３】
2019075675.tif 000005
【図４】
2019075675.tif 000006
【図５】
2019075675.tif 000007
【図６】
2019075675.tif 000008
【図７】
2019075675.tif 000009
【図８】
2019075675.tif 000010
【図９】
2019075675.tif 000011