(57)【要約】【課題】複数の撮像素子からの信号を複数の信号処理部に適切に振り分けることで装置全体の処理能力を向上させることを可能にした撮像装置を提供する。【解決手段】撮像素子Ａによって取得された信号及び撮像素子Ｂによって取得された信号に対してそれぞれ信号処理を行うＤＳＰ＿Ａ及びＤＳＰ＿Ｂに、デジタルフロントエンド部（ＤＦＥ）が、撮像素子Ａからの信号に同期コードを付加してＤＳＰ＿Ａ及びＤＳＰ＿Ｂのうちの一方のＤＳＰに出力し、撮像素子Ｂからの信号に同期コードを付加してＤＳＰ＿Ａ及びＤＳＰ＿Ｂのうちの他方のＤＳＰに出力するともに、撮像素子からの信号が有効である期間以外の期間は同期コードの付加を行わないようにして、複数の撮像素子からの信号をＤＳＰ＿Ａ及びＤＳＰ＿Ｂに適切に振り分けて各ＤＳＰでの処理を平均化し装置全体の処理能力を向上させる。【選択図】図４
2016058963.tif 000002
【特許請求の範囲】
【請求項１】
光電変換により被写体像に応じた画像信号をそれぞれ生成する第１の撮像手段及び第２の撮像手段と、
前記第１の撮像手段及び前記第２の撮像手段によって取得された信号に対してそれぞれ信号処理を行う第１の信号処理手段及び第２の信号処理手段と、
前記第１の撮像手段及び前記第２の撮像手段からの信号を受信し、受信した前記第１の撮像手段からの信号に所定のコードを付加して前記第１の信号処理手段及び前記第２の信号処理手段のうちの一方の信号処理手段へ出力し、受信した前記第２の撮像手段からの信号に所定のコードを付加して前記第１の信号処理手段及び前記第２の信号処理手段のうちの他方の信号処理手段へ出力する中間処理手段とを有し、
前記中間処理手段は、前記信号処理手段に出力する前記第１の撮像手段及び前記第２の撮像手段からの信号が有効である期間は前記所定のコードの付加を行い、有効である期間以外の期間は前記所定のコードの付加を行わないことを特徴とする撮像装置。
【請求項２】
前記中間処理手段は、受信した前記第１の撮像手段からの信号を出力する前記信号処理手段、及び受信した前記第２の撮像手段からの信号を出力する前記信号処理手段を、前記第１の撮像手段によって取得される１つの画像毎に交互に切り替えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１の信号処理手段及び前記第２の信号処理手段は、前記所定のコードを基準に前記中間処理手段から出力された信号の取り込み期間を制御することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記第１の信号処理手段及び前記第２の信号処理手段は、同期信号とそれぞれに入力される前記所定のコードとを基準に前記中間処理手段から出力された信号の取り込み期間を制御することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記第２の撮像手段は、前記同期信号で示される前記第１の撮像手段における１フレームの期間内に複数のフレームの信号を取得可能であり、
前記中間処理手段は、前記第２の撮像手段によって取得された複数のフレームの間の無効期間は前記所定のコードの付加を行わないことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記第１の撮像手段からの信号の取得が終了しても、前記第２の撮像手段からの信号の取得が終了するまで前記同期信号を発行しないことを特徴とする請求項４又は５記載の撮像装置。
【請求項７】
前記第１の撮像手段及び前記第２の撮像手段は、互いに非同期に動作し、
前記中間処理手段は、互いに同期したクロックを基準にして、受信した前記第１の撮像手段からの信号及び受信した前記第２の撮像手段からの信号を前記信号処理手段にそれぞれ出力することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
光電変換により被写体像に応じた画像信号をそれぞれ生成する、互いに非同期に動作する第１の撮像手段及び第２の撮像手段と、
前記第１の撮像手段及び前記第２の撮像手段によって取得された信号に対してそれぞれ信号処理を行う第１の信号処理手段及び第２の信号処理手段と、
前記第１の撮像手段及び前記第２の撮像手段からの信号を受信し、互いに同期したクロックを基準にして、受信した前記第１の撮像手段からの信号を前記第１の信号処理手段及び前記第２の信号処理手段のうちの一方の信号処理手段へ出力し、受信した前記第２の撮像手段からの信号を前記第１の信号処理手段及び前記第２の信号処理手段のうちの他方の信号処理手段へ出力する中間処理手段とを有することを特徴とする撮像装置。
【請求項９】
前記中間処理手段は、受信した前記第１の撮像手段からの信号を出力する前記信号処理手段、及び受信した前記第２の撮像手段からの信号を出力する前記信号処理手段を、前記第１の撮像手段によって取得される１つの画像毎に交互に切り替えることを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記クロックは、前記第１の撮像手段又は前記第２の撮像手段の何れかから前記中間処理手段に伝送されるクロックと同期したクロックであることを特徴とする請求項７〜９の何れか１項に記載の撮像装置。
【請求項１１】
前記クロックは、前記第１の撮像手段及び前記第２の撮像手段から伝送されるクロックとは非同期であることを特徴とする請求項７〜９の何れか１項に記載の撮像装置。
【請求項１２】
前記中間処理手段は、前記第１の信号処理手段への出力及び前記第２の信号処理手段への出力をそれぞれ不要な期間に停止すること特徴とする請求項１〜１１の何れか１項に記載の撮像装置。
【請求項１３】
光電変換により被写体像に応じた画像信号をそれぞれ生成する第１の撮像手段及び第２の撮像手段と、前記第１の撮像手段及び前記第２の撮像手段によって取得された信号に対してそれぞれ信号処理を行う第１の信号処理手段及び第２の信号処理手段とを有する撮像装置の制御方法であって、
前記第１の撮像手段及び前記第２の撮像手段からの信号を受信する工程と、
受信した前記第１の撮像手段からの信号に所定のコードを付加して前記第１の信号処理手段及び前記第２の信号処理手段のうちの一方の信号処理手段へ出力し、受信した前記第２の撮像手段からの信号に所定のコードを付加して前記第１の信号処理手段及び前記第２の信号処理手段のうちの他方の信号処理手段へ出力する工程とを有し、
前記信号処理手段に信号を出力する工程では、前記信号処理手段に出力する前記第１の撮像手段及び前記第２の撮像手段からの信号が有効である期間は前記所定のコードの付加を行い、有効である期間以外の期間は前記所定のコードの付加を行わないことを特徴とする撮像装置の制御方法。
【請求項１４】
光電変換により被写体像に応じた画像信号をそれぞれ生成する、互いに非同期に動作する第１の撮像手段及び第２の撮像手段と、前記第１の撮像手段及び前記第２の撮像手段によって取得された信号に対してそれぞれ信号処理を行う第１の信号処理手段及び第２の信号処理手段とを有する撮像装置の制御方法であって、
前記第１の撮像手段及び前記第２の撮像手段からの信号を受信する工程と、
互いに同期したクロックを基準にして、受信した前記第１の撮像手段からの信号を前記第１の信号処理手段及び前記第２の信号処理手段のうちの一方の信号処理手段へ出力し、受信した前記第２の撮像手段からの信号を前記第１の信号処理手段及び前記第２の信号処理手段のうちの他方の信号処理手段へ出力する工程とを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置においては、複数の撮像素子を用いて、静止画撮影処理、及び静止画像の露出制御を行うための測光処理や自動焦点調節制御を行うための被写体追尾処理等の複数の機能を実現する構成が知られている。例えば、特許文献１には、撮像素子Ａによって取得した画像信号に基づいて静止画像を生成し、撮像素子Ｂから取得した画像信号に基づいて測光処理や被写体追尾処理を行う構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３１３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の特許文献１に開示された技術では、各々の撮像素子からの画像信号に対する信号処理部がそれぞれに必要となる。ここで、静止画取得用の撮像素子は測光処理用の撮像素子に比べて画素数が多く、静止画像生成処理を行う信号処理部での処理量も大きい。これに比べて、測光処理や被写体追尾処理を行う信号処理部は取扱う画素数も少なく、処理量が比較的小さい。本発明の目的は、複数の撮像素子によって取得した信号を複数の信号処理部に適切に振り分けることで装置全体の処理能力を向上させることを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、光電変換により被写体像に応じた画像信号をそれぞれ生成する第１の撮像手段及び第２の撮像手段と、前記第１の撮像手段及び前記第２の撮像手段によって取得された信号に対してそれぞれ信号処理を行う第１の信号処理手段及び第２の信号処理手段と、前記第１の撮像手段及び前記第２の撮像手段からの信号を受信し、受信した前記第１の撮像手段からの信号に所定のコードを付加して前記第１の信号処理手段及び前記第２の信号処理手段のうちの一方の信号処理手段へ出力し、受信した前記第２の撮像手段からの信号に所定のコードを付加して前記第１の信号処理手段及び前記第２の信号処理手段のうちの他方の信号処理手段へ出力する中間処理手段とを有し、前記中間処理手段は、前記信号処理手段に出力する前記第１の撮像手段及び前記第２の撮像手段からの信号が有効である期間は前記所定のコードの付加を行い、有効である期間以外の期間は前記所定のコードの付加を行わないことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、複数の撮像素子によって取得した信号を複数の信号処理部に適切に振り分けて信号処理部での処理を平均化でき、装置全体の処理能力を向上させることが可能となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態における撮像装置の構成例を示す図である。
【図２】第１の実施形態における撮像装置の動作例を示す図である。
【図３】本実施形態におけるＤＦＥの構成例を示す図である。
【図４】第１の実施形態におけるＤＦＥのデータ出力制御の例を示す図である。
【図５】第２の実施形態における撮像装置の動作例を示す図である。
【図６】第２の実施形態におけるＤＦＥのデータ出力制御の例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
前述したように静止画取得用の撮像素子は測光処理用の撮像素子に比べて画素数が多く、静止画像生成処理を行う信号処理部での処理量も大きい。それに対して、測光処理や被写体追尾処理を行う信号処理部は取扱う画素数も少なく、処理量が比較的小さい。したがって、例えば静止画の連写撮影時に静止画像生成処理を行う信号処理部と測光処理や被写体追尾処理を行う信号処理部とを交互に使い分け、処理を平均化すれば撮像装置全体としての処理能力を向上させることができる。また、それぞれの信号処理部に求められる処理性能を緩和することでコストダウンや電力削減を図ることが可能となる。
【０００９】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態における撮像装置１００の全体構成例を示す図である。第１のレンズ群１０１は、結像光学系の先端に配置され、光軸方向に進退可能に保持される。絞り１０２は、開口径を調節することで撮影時の光量調節を行う。第２のレンズ群１０３は、第１のレンズ群１０１の進退動作との連動により変倍作用（ズーム機能）を実現する。第３のレンズ群１０４は、光軸方向の進退により焦点調節を行う。
【００１０】
ミラー１０５は、ファインダーの使用時にはレンズ群を通った被写体像を不図示のファインダー及び撮像素子Ｂ１３２に導き、撮影時には跳ね上がりレンズ群を通った被写体像を撮像素子Ａ１０６へと導く。以下では、ミラー１０５の状態について、レンズ群を通った被写体像をファインダー及び撮像素子Ｂ１３２に導く状態のことをダウン状態とし、レンズ群を通った被写体像を撮像素子Ａ１０６に導く状態のことをアップ状態とする。また、ミラー１０５をダウン状態にするための動作をダウン動作とし、アップ状態にするための動作をアップ動作とする。ペンタプリズム１３１は、ミラー１０５で曲げられた光線を不図示のファインダー及び撮像素子Ｂ１３２へ導く。
【００１１】
撮像素子Ｂ１３２は、測光処理や被写体追尾処理に用いるデータを取得するための撮像素子である。撮像素子Ｂ１３２は、ＣＭＯＳイメージセンサやＣＣＤが用いられ、撮像した被写体像を光電変換して画像信号を生成する。また、撮像素子Ｂ１３２は、撮像した被写体像に応じた画像信号を内部でアナログ−デジタル変換し、変換後の信号をＬＶＤＳ（Low Voltage Differential Signaling）等の伝送方式によりデジタルデータとして出力する。撮像素子Ｂ１３２は、ＣＰＵ（Central Processing Unit）１１４からの駆動信号により制御される。
【００１２】
撮像素子Ａ１０６は、レンズ群により結像された被写体像を光電変換してアナログ画像信号を出力する。ここでは、撮像素子Ａ１０６には、ベイヤー配列のカラーフィルタが配されたＣＭＯＳイメージセンサが使用されるものとする。撮像素子Ａ１０６によって得られた信号は画像生成に使用される。また、撮像素子Ｂ１３２と撮像素子Ａ１０６とは互いに非同期で動作する。
【００１３】
アナログフロントエンド部（ＡＦＥ：Analog Front End）１０７は、撮像素子Ａ１０６から出力されるアナログ画像信号をデジタル画像信号に変換する。デジタルフロントエンド部（ＤＦＥ：Digital Front End）１０８は、ＡＦＥ１０７から出力されるデジタル画像信号が入力され、デジタル画像信号に所定の演算処理を施す。中間処理手段としてのＤＦＥ１０８には撮像素子Ｂ１３２によって得られたデータも入力され、測光処理や被写体追尾処理を行うための前処理が行われる。
【００１４】
ＡＦＥ１０７からの画像信号及び撮像素子Ｂ１３２からのデータは何れもデジタルデータとしてＬＶＤＳ等の高速差動伝送の形態でＤＦＥ１０８へ伝送される。また、ＤＦＥ１０８で処理されたデータは、信号処理部（ＤＳＰ：Digital Signal Processer）であるＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂへ出力される。
【００１５】
後述するように、ＤＦＥ１０８は、撮像素子Ａ１０６からの画像データをＤＳＰ＿Ａ１０９Ａへ出力している際には、撮像素子Ｂ１０８からのデータをＤＳＰ＿Ｂ１０９Ｂへ出力する。逆に、ＤＦＥ１０８は、撮像素子Ａ１０６からの画像データをＤＳＰ＿Ｂ１０９Ｂへ出力している際には、撮像素子Ｂ１３２からのデータをＤＳＰ＿Ａ１０９Ａへ出力する。
【００１６】
すなわち、ＤＦＥ１０８は、撮像素子Ａ１０６からの画像データをＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂの一方のＤＳＰへ出力している際には、撮像素子Ｂ１０８からのデータをＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂの他方のＤＳＰへ出力する。また、撮像素子Ａ１０６からの画像データ及び撮像素子Ｂ１３２からのデータを出力するＤＳＰは、撮像素子Ａ１０６における１つの画像毎に切り替えられる。
【００１７】
ＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂは、撮像素子Ａ１０６によって取得された画像データに対しては静止画像生成処理を行い、各種補正処理や現像処理を行って静止画像を生成する。また、ＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂは、撮像素子Ｂ１３２によって取得されたデータに対しては、露出制御を行うための測光処理や被写体追尾処理等を行う。
【００１８】
記録媒体１１０は、画像データを記録するためのものである。表示部１１１は、撮影した画像や各種メニュー画面等を表示するためのものであり、例えば液晶ディスプレイ（ＬＣＤ）等が使用される。記録媒体１１０や表示部１１１はＤＳＰ＿Ａ１０９Ａのみに接続されているが、ＤＳＰ＿Ｂ１０９Ｂで処理された画像データは、ＤＳＰ＿Ａ１０９Ａへ転送された後に記録媒体１１０に記録されたり、表示部１１１に表示されたりする。
【００１９】
ＲＡＭ（Random Access Memory）１１２Ａ、１１２Ｂは、画像データ等を一時記憶するメモリであり、ＲＯＭ（Read Only Memory）１１９Ａ、１１９Ｂは、各種補正データ等を記憶するメモリである。ＲＡＭ１１２Ａ及びＲＯＭ１１９ＡはＤＳＰ＿Ａ１０９Ａと接続されており、ＲＡＭ１１２Ｂ及びＲＯＭ１１９ＢはＤＳＰ＿Ｂ１０９Ｂと接続されている。
【００２０】
タイミングジェネレータ（ＴＧ：Timing Generator）１１３は、ＣＰＵ１１４による制御に基づいて撮像素子Ａ１０６に駆動信号を供給する。ＣＰＵ１１４は、ＡＦＥ１０７、ＤＦＥ１０８、ＤＳＰ＿Ａ１０９Ａ、ＤＳＰ＿Ｂ１０９Ｂ、ＴＧ１１３、絞り駆動回路１１５、フォーカス駆動回路１１６、シャッター駆動回路１２１、及びミラー駆動回路１３０の制御を行う。
【００２１】
絞り駆動回路１１５は、絞りアクチュエータ１１７を駆動制御することにより絞り１０２を駆動する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１８を駆動制御することにより第３のレンズ群１０４を光軸方向に進退させるよう駆動して焦点調節を行う。
【００２２】
メカニカルシャッター１２０は、静止画撮影時において撮像素子Ａ１０６への露光量を制御する。また、メカニカルシャッター１２０は、ライブビュー動作時や動画撮影時においては開状態を保持し、撮像素子Ａ１０６を露光し続ける状態とする。メカニカルシャッター１２０は、シャッター駆動回路１２１により制御される。ミラー駆動部１３０は、ＣＰＵ１１４からの制御信号に従ってミラー１０５を駆動し、ミラー１０５のアップ動作及びダウン動作を制御する。
【００２３】
図２は、第１の実施形態における撮像装置の静止画の連写撮影時の動作例を示すシーケンス図である。撮像装置は、シャッター釦（不図示）が操作されたときに静止画の連写撮影を行うように予め撮影者等により設定されているものとする。待機状態であるときに、撮影者がシャッター釦を操作して撮影指示をすると、それを検知したＣＰＵ１１４は、ミラー駆動回路１３０を制御してミラー１０５をアップ状態にする（時刻Ｔ１）。
【００２４】
次に、ＣＰＵ１１４は、ＴＧ１１３を制御して、撮像素子Ａ１０６をレンズ群により結像された被写体像に応じた光電荷の蓄積を行う電荷蓄積状態にする。この蓄積期間中にＣＰＵ１１４のシャッター駆動回路１２１に対する制御によりメカニカルシャッター１２０が駆動され、撮像素子Ａ１０６の露光が行われる。
【００２５】
所定の蓄積時間が経過した後、ＣＰＵ１１４は、撮像素子Ａ１０６からの信号読出し動作に移行させる（時刻Ｔ２）。撮像素子Ａ１０６から読み出された信号は、ＡＦＥ１０７及びＤＦＥ１０８を経由して、ＤＳＰ＿Ａ１０９Ａに伝送される。ＤＳＰ＿Ａ１０９Ａは、撮像素子Ａ１０６によって得られた信号を取得すると、各種画像補正、現像処理、及びＪＰＥＧ圧縮処理等の静止画像生成処理を開始する。
【００２６】
また、撮像素子Ａ１０６からの信号読出し動作と並行して、ＣＰＵ１１４は、ミラー駆動回路１３０の制御によりミラー１０５のダウン動作を行わせ、ミラー１０５をダウン状態にする。これにより、レンズ群を通った光線が撮像素子Ｂ１３２へ導かれるようになる。ミラー１０５がダウン状態で安定した後、ＣＰＵ１１４は、撮像素子Ｂ１３２の電荷蓄積動作及び信号読出し動作を行う。なお、撮像素子Ｂ１３２は、撮像素子Ａ１０６の１フレームの期間内に複数のフレームの信号を取得可能であり、撮像素子Ｂ１３２からの信号読出し回数は何回でも構わないが、ここでは２回として説明する。
【００２７】
ＣＰＵ１１４は、まず撮像素子Ｂ１３２を入射される光線に応じた光電荷の蓄積を行う１回目の電荷蓄積状態にした後（時刻Ｔ３）、第１のモードでの信号読出し動作（読出し１）を行う。第１のモードは、例えば画素信号の加算を行うことで撮像素子Ｂ１３２から短時間で信号を読出すものとする。続いて、ＣＰＵ１１４は、撮像素子Ｂ１３２を２回目の電荷蓄積状態にした後（時刻Ｔ４）、第２のモードでの信号読出し動作（読出し２）を行う。ここでは、第２のモードは、例えば画素信号の加算をせずに全画素の信号を読み出すものとする。
【００２８】
第１のモード及び第２のモードでの信号読出し動作の何れにおいても、撮像素子Ｂ１３２から読み出された信号は、ＤＦＥ１０８を経由してＤＳＰ＿Ｂ１０９Ｂに伝送される。ＤＳＰ＿Ｂ１０９Ｂは、第１のモードで読み出された信号に基づいて露出制御のための測光処理や焦点調節制御のための被写体追尾演算処理を行う。また、ＤＳＰ＿Ｂ１０９Ｂは、第２のモードで読み出された信号に基づいて顔検知演算処理を行う。
【００２９】
１コマ目の撮像素子Ａ１０６からの信号読出し動作が終了すると、ＣＰＵ１１４は、ミラー駆動回路１３０を制御して再びミラー１０５をアップ状態にして２コマ目の撮影準備に入る（Ｔ５）。以降、静止画の連写撮影中は、撮像素子Ａ１０６、撮像素子Ｂ１３２、及びミラー１０５の動作は１コマ目と同じ動作が繰り返される。２コマ目においては、ＣＰＵ１１４は、ＤＦＥ１０８を制御して、撮像素子Ａ１０６から読み出された信号がＤＳＰ＿Ｂ１０９Ｂへ伝送され、撮像素子Ｂ１３２から読み出された信号がＤＳＰ＿Ａ１０９Ａへ伝送されるように、コマ毎（画像毎）に切り替えられる。
【００３０】
ＤＳＰ＿Ａ１０９Ａにおいては、まだ継続されている１コマ目の静止画像生成処理と並行して、２コマ目の期間に得られた撮像素子Ｂ１３２からの信号に基づいた測光処理や被写体追尾演算処理及び顔検知演算処理が行われる。図２では、ＤＳＰ＿Ｂ１０９Ｂ側での顔検知演算処理の終了後に、撮像素子Ａ１０６によって得られた２コマ目の信号の取得動作が行われているが、顔検知演算処理が終了しない場合には、２コマ目の信号の取得動作と顔検知演算処理を並行して行ってもよい。
【００３１】
さらに、３コマ目については、ＤＳＰ＿Ａ１０９ＡとＤＳＰ＿Ｂ１０９Ｂの役割を再度入れ替え、１コマ目と同様に、ＤＳＰ＿Ａ１０９Ａで撮像素子Ａ１０６の信号を取得して処理し、ＤＳＰ＿Ｂ１０９Ｂで撮像素子Ｂ１３２の信号を取得して処理する。
【００３２】
図３は、第１の実施形態におけるＤＦＥ１０８の構成例を示すブロック図である。ＤＦＥ１０８は、撮像素子Ａ１０６からクロックＣＬＫ＿Ａ及びデータＤａｔａが入力され、撮像素子Ａデータ受信部２０１Ａで受信する。同様に、ＤＦＥ１０８は、撮像素子Ｂ１３２からクロックＣＬＫ＿Ｂ及びデータＤａｔａが入力され、撮像素子Ｂデータ受信部２０１Ｂで受信する。
【００３３】
撮像素子Ａデータ受信部２０１Ａで受信されたデータは、データ処理部Ａ２０２Ａで所定の処理が施され、データ出力制御部２０３からＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂへ出力される。また、撮像素子Ｂデータ受信部２０１Ｂで受信されたデータは、データ処理部Ｂ２０２Ｂで所定の処理が施され、データ出力制御部２０３からＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂへ出力される。
【００３４】
前述したように、撮像素子Ａ１０６及び撮像素子Ｂ１３２からのデータをＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂの何れに振り分けるかは、撮影毎（コマ毎）に切り替えられる。この動作は、ＣＰＵ１１４からの指示でデータ出力制御部２０３を制御することにより実現される。
【００３５】
クロックＣＬＫ＿Ｓは、外部から供給されるクロックであり、データ処理部Ａ２０２Ａ、データ処理部Ｂ２０２Ｂ、及びデータ出力制御部２０３の基準クロックとなる。クロックＣＬＫ＿Ｓは、ＤＦＥ１０８の内部あるいは外部に配置される発振回路で生成してもよいし、他のデバイスから供給されるようにしてもよい。
【００３６】
なお、撮像素子Ａデータ受信部２０１Ａ及び撮像素子Ｂデータ受信部２０１Ｂは、互いに位相や周波数の異なる非同期のクロックである、クロックＣＬＫ＿Ａ及びクロックＣＬＫ＿Ｂを基準にそれぞれ動作する。クロックＣＬＫ＿Ｓは、クロックＣＬＫ＿Ａ及びクロックＣＬＫ＿Ｂの何れかと同期したクロックであってもよいし、何れとも非同期のクロックであってもよい。
【００３７】
図３に示したＤＦＥ１０８では、データ出力制御部２０３からＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂへそれぞれ出力されるクロックＣＬＫとデータＤａｔａは、同一のクロックを基準に生成された同期したものとなる。ここで、それぞれ独立のクロックでデータが伝送される場合には、各ＤＳＰは、撮像素子Ａ１０６のデータを受信するのか、撮像素子Ｂ１３２のデータを受信するのかによって受信部の設定（ラッチ位相設定等）を撮影コマ毎に変更しなければならなくなる。本実施形態では、同一のクロックを基準に各撮像素子のデータを出力することで、ＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂは、受信するデータサイズ以外は撮像素子Ａ１０６と撮像素子Ｂ１３２との違いを区別することなく、データを受信することができる。
【００３８】
ここでは、撮像素子Ａ１０６及び撮像素子Ｂ１３２からの入力と、データ出力制御部２０３からの出力とを、データとは別配線でクロックを伝送する所謂ソースシンクロナスの形態で説明したが、これに限定されるものではない。データとクロック情報を同一の配線で伝送するクロックエンベデット方式で伝送する形態でも構わない。また、データ処理部Ａ２０２Ａ及びデータ処理部Ｂ２０２Ｂは、クロックＣＬＫ＿Ｓを基準に動作するものとして説明したが、それぞれクロックＣＬＫ＿Ａ、クロックＣＬＫ＿Ｂを基準に動作するように構成してもよい。
【００３９】
次に、ＤＦＥ１０８からＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂへのデータ転送について、図４を用いて説明する。図４は、第１の実施形態における１コマ撮影期間におけるＤＦＥ１０８のデータ出力制御の例を説明するタイムチャートである。撮像素子Ａ１０６及び撮像素子Ｂ１３２の動作については、図２に示した１コマ分の動作と同じものを示している。
【００４０】
垂直同期信号は、１コマ分の静止画の信号読出し開始と信号読出し終了を示す。ここでは、垂直同期信号は、ＤＳＰ＿Ａ１０９ＡからＤＦＥ１０８に出力されるものとし、同時にＤＳＰ＿Ｂ１０９Ｂにも伝達されるものとする。
【００４１】
撮像素子Ａ１０６の信号読出し開始時に垂直同期信号が発行されると、ＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂは、ＤＦＥ１０８からのデータを取得可能な状態に入る。また、ＤＦＥ１０８は、撮像素子Ａ１０６からのデータを出力し始める。図２に示したように撮像素子Ａ１０６からのデータについては、コマ毎（撮像素子Ａ１０６における画像毎）に切り替えられ、１コマ目はＤＳＰ＿Ａ１０９Ａへ、２コマ目はＤＳＰ＿Ｂ１０９Ｂへ出力されることになる。また、ＤＦＥ１０８が出力する撮像素子Ｂ１３２からのデータについては、１コマ目はＤＳＰ＿Ｂ１０９Ｂへ、２コマ目はＤＳＰ＿Ａ１０９Ａへ出力されることになる。
【００４２】
ＤＦＥ１０８は、撮像素子Ａ１０６及び撮像素子Ｂ１３２からのデータをＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂに出力するとき、所定のデータ単位毎に同期コードを出力データに付加して出力する。同期コードは、既定のパターンのデータを出力することで、データの境界位置を示すものである。例えば、０ｘＦＦＦＦや０ｘ００００（ともに１６進表記）といった値を所定パターンで繰り返す。
【００４３】
例えば１ライン分の有効データ毎に同期コードを挿入すると、ＤＳＰ＿Ａ１０９ＡやＤＳＰ＿Ｂ１０９Ｂは、同期コードが入力されたタイミングを基準に１ラインのデータの開始タイミングを判断することができ、データの取り込み期間を制御することができる。また、垂直同期信号が発行されてからの同期コードの入力回数によって、撮像素子Ａ１０６からの１フレーム分の信号の開始位置及び終了位置を判断することができ、取り込み期間を制御することができる。
【００４４】
ここで、撮像素子Ａ１０６及び撮像素子Ｂ１３２からのデータを転送する期間以外、つまりそれぞれの無効期間（電荷蓄積期間及び待機状態期間）においては、ＤＦＥ１０８は、同期コードを付加しないものとする。これにより、データを受信するＤＳＰ＿Ａ１０９ＡやＤＳＰ＿Ｂ１０９Ｂは、同期コードにより有効データの先頭を判別することが可能となる。これにより、有効データの長さが予め決まっている場合には、ＤＳＰ＿Ａ１０９ＡやＤＳＰ＿Ｂ１０９Ｂは、それぞれのデータの有効期間を認識することができるとともに、不要データである無効期間のデータを取り込まなくて済む。ＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂが取り込んだデータはそれぞれＲＡＭ１１２Ａ及びＲＡＭ１１２Ｂに記憶されるが、無効期間のデータを取り込まないことにより、使用するメモリ容量を低減することが可能となる。
【００４５】
また、図４に示した例では、撮像素子Ａ１０６の信号を伝送する側、及び撮像素子Ｂ１３２の信号を伝送する側の双方の無効期間で、ＤＦＥ１０８は同期コードの出力を停止しているが、一方の撮像素子の側の無効期間で同期コードを出力していても構わない。例えば、撮像素子Ａ１０６の信号を伝送する側の無効期間においても同期コードを出力していても構わない。垂直同期信号と同期コードのタイミング関係が規定されていれば、無効期間に同期コードを出力しても受信側のデータ取り込みは可能である。ただし、垂直同期信号と同期コードのタイミングが規定されず非同期に転送される側は、無効期間の同期コードの出力を停止、あるいは無効期間の同期コードの数が既知の数となるようにしないと受信側が有効データの開始位置を判別することができない。
【００４６】
なお、無効期間に伝送されるデータ値は何でもよい。また、消費電力低減のために、無効期間の一部又はすべての期間において、ＤＦＥ１０８の出力バッファを停止するようにしてもよい。特に、ＬＶＤＳ等の電流差動信号タイプの伝送方式の場合には、出力バッファを停止させ電流をオフすることで効率的に消費電力を抑制することができる。
【００４７】
第１の実施形態によれば、撮像素子Ａ１０６によって取得した信号と撮像素子Ｂ１３２によって取得した信号とに対する信号処理を撮影コマ毎に２つのＤＳＰに振り分けることが可能となる。これにより、２つのＤＳＰの処理を平均化できるため、装置としての処理能力を向上させることが可能となる。
【００４８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
前述した第１の実施形態では、撮像素子Ｂ１３２の電荷蓄積動作及び信号読出し動作が撮像素子Ａ１０６の信号読出し期間内に完了する場合を前提に撮像装置の動作を説明した。これに対し、何らかの要因で撮像素子Ｂ１３２の動作タイミングが遅れ、撮像素子Ａ１０６の信号読出し期間内に、撮像素子Ｂ１３２の電荷蓄積動作及び信号読出し動作が完了しない場合が考えられる。第２の実施形態では、このような場合の動作について説明する。なお、第２の実施形態における撮像装置及びＤＦＥの構成は、第１の実施形態と同様であるので説明は省略する。
【００４９】
図５は、第２の実施形態における撮像装置の静止画の連写撮影時の動作例を示すシーケンス図である。図５には、撮像素子Ｂ１３２の動作開始タイミングが遅れる場合の一例として、絞り１０２の動作時間が長い場合を例に示している。絞り１０２を、静止画撮影のための露光時（撮像素子Ａ１０６の電荷蓄積期間）には大きく絞り込み、露出制御のための測光動作時（撮像素子Ｂ１３２の電荷蓄積／読出し期間）には開くような条件においては、絞り１０２の駆動に時間を要する。すなわち、静止画撮影のための露光時と露出制御のための測光動作時との間に、絞り１０２を開放状態から絞り込み、また逆に絞り込んだ状態から開放状態にまで駆動するのに多大な時間を要する。
【００５０】
以下、図５に示した動作シーケンスについて説明する。なお、図５に示した動作シーケンスにおいて、図２に示した動作シーケンスと同様の部分については説明を省略する。まず、１コマ目の撮影前にＣＰＵ１１４は、絞り駆動回路１１５を介して絞りアクチュエータ１１７を制御することで絞り１０２を撮影条件に適した値まで絞り込む（時刻Ｔ１）。１コマ目の撮像素子１０６の露光を終了し、撮像素子Ａ１０６の信号読出し動作に入ると、次の測光動作のため、ＣＰＵ１１４は、ミラー１０５をダウン状態にさせるとともに、絞り１０２を一旦解放まで開かせるよう制御する（時刻Ｔ２）。絞り１０２が開放状態となった後に、ＣＰＵ１１４は、撮像素子Ｂ１３２の電荷蓄積動作及び信号読出し動作を行う。
【００５１】
静止画撮影のための露光時に絞り１０２を大きく絞り込んでいる場合、時刻Ｔ２からの絞り開放動作に長い時間を要する。絞り開放動作に要する時間は、撮影時（露光時）の絞り値に依存するため、撮影シーンにより異なることになる。より大きく絞り込んでいる場合には開放動作に長い時間を要するため、撮像素子Ｂ１３２の動作タイミングが遅れ、撮像素子Ｂ１３２の信号読出し動作（読出し２）が終了するまでの間に撮像素子Ａ１０６の信号読出し動作が終了することになる。
【００５２】
撮像素子Ｂ１３２の信号読出し動作（読出し２）までが終了した後（時刻Ｔ３）、２コマ目の撮影に向けて、ＣＰＵ１１４は、ミラー１０５のアップ動作を開始させるとともに、絞り１０２を２コマ目の絞り位置まで絞り込ませるよう制御する（Ｔ４）。撮像装置のモード設定により、露出制御が自動に設定されている場合、この２コマ目の絞り値は１コマ目の期間内に行われた測光処理に基づいて決定される。以降、静止画の連写撮影が継続されている間、同様の動作が繰り返される。
【００５３】
次に、ＤＦＥ１０８からＤＳＰ＿Ａ１０９Ａ及びＤＳＰ＿Ｂ１０９Ｂへのデータ転送について、図６を用いて説明する。図６は、第２の実施形態における１コマ撮影期間におけるＤＦＥ１０８のデータ出力制御の例を説明するタイムチャートである。撮像素子Ａ１０６及び撮像素子Ｂ１３２の動作については、図５に示した１コマ分の動作と同じものを示している。なお、図６に示したタイムチャートにおいて、図４に示したタイムチャートと同様の部分については説明を省略する。
【００５４】
前述した第１の実施形態では、撮像素子Ａ１０６の信号読出し動作終了時に垂直同期信号を発生していた（図６において点線で示した垂直同期信号のタイミング）。本実施形態では、撮像素子Ａ１０６の信号読出し動作が終了する時点では、まだ撮像素子Ｂ１３２の動作が完了していない。このため、垂直同期信号は撮像素子Ａ１０６の信号読出し終了時点では発行せず、矢印で示すように撮像素子Ｂ１３２の動作終了（読出し２の終了）後に発行するよう発行タイミングをシフトする。
【００５５】
垂直同期信号の発行タイミングの制御については、予め設定する場合には、その撮影コマの絞り値が決定した時点で、絞り駆動時間と撮像素子Ｂ１３２の動作時間を含んだ時間を、次の垂直同期信号の発行タイミングとして設定すればよい。本例の場合、垂直同期信号を発生するＤＳＰ＿Ａ１０９Ａに、この設定がなされることになる。
【００５６】
また、予め発行タイミングを設定するのではなく、撮像素子Ａ１０６の動作終了（信号読出し終了）と撮像素子Ｂ１３２の動作終了（読出し２の終了）とを待ち合わせて、双方の終了を確認した後に垂直同期信号を発生する方法も考えられる。その場合、それぞれの動作終了を認識する方法としては、各撮像素子からＤＳＰ＿Ａに信号読出し終了を示す信号を設ける方法や、各ＤＳＰ内で同期コードの回数をカウントしてデータをすべて受信し終わったかを認識する方法が考えられる。
【００５７】
なお、静止画撮影のための露光時の絞り値は直前の測光処理の結果で決まるため、連写撮影している間にも変わることがあり得る。このため、撮像素子Ｂ１３２の動作が、図４に示したように撮像素子Ａ１０６の動作完了前に終了する場合と、図６に示したように撮像素子Ａ１０６の動作完了までに終了しない場合とが連写撮影中にも混在する可能性がある。したがって、前述したような動作によって、垂直同期信号の発行タイミングをその都度調整しながら、連写撮影動作を継続することになる。
【００５８】
第２の実施形態によれば、撮像素子Ａ１０６の信号読出し期間内に、撮像素子Ｂ１３２の動作が完了しない場合でも、第１の実施形態と同様に撮像素子Ａ１０６及び撮像素子Ｂ１３２からの信号を２つのＤＳＰに適切に振り分けることが可能になる。これにより、２つのＤＳＰの処理を平均化できるため、装置としての処理能力を向上させることが可能となる。
【００５９】
なお、前述した第２の実施形態では、撮像素子Ｂ１３２の動作タイミングが遅れる要因を絞り１０２の駆動を待つためとしたが、それ以外の要因でタイミングが変化するような場合でも適用可能である。
【００６０】
また、前述した第１及び第２の実施形態では、撮像素子Ａ１０６を静止画像生成に使用し、撮像素子Ｂ１３２を測光処理や被写体追尾処理等に使用するものとして説明したが、それぞれの用途はこれに限られない。例えば、撮像素子Ｂ１３２が測距処理等に使用されてもよい。
【００６１】
さらに、撮影モードによっては、一方の撮像素子を動作させずにＤＦＥ１０８からの出力も停止させるようにしてもよい。例えば、ミラー１０５をアップ状態にしたままで連写撮影する撮影モード等がこれにあたる。この場合、一方のＤＳＰ（例えばＤＳＰ＿Ｂ１０９Ｂ）に対するＤＦＥ１０８の出力を停止し、消費電力を削減するようにしてもよい。
【００６２】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６３】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６４】
１０６：撮像素子Ａ  １０７：アナログフロントエンド部（ＡＦＥ）  １０８：デジタルフロントエンド部（ＤＦＥ）  １０９Ａ、１０９Ｂ：信号処理部（ＤＳＰ）  １１３：タイミングジェネレータ（ＴＧ）  １１４：ＣＰＵ  ２０１Ａ、２０１Ｂ：撮像素子データ受信部  ２０２Ａ、２０２Ｂ：データ処理部  ２０３：データ出力制御部
【図１】
2016058963.tif 000003
【図２】
2016058963.tif 000004
【図３】
2016058963.tif 000005
【図４】
2016058963.tif 000006
【図５】
2016058963.tif 000007
【図６】
2016058963.tif 000008