(57)【要約】【課題】撮像素子から分割して読み出した場合に、評価値を適切に算出することができないこと。【解決手段】撮像装置は、複数の第１光電変換素子および複数の第２光電変換素子を有する撮像素子と、複数の第１光電変換素子の出力を読み出して、複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１部分画像データを出力する第１読み出し回路と、複数の第２光電変換素子の出力を読み出して、複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２部分画像データを出力する第２読み出し回路と、第１読み出し回路から出力された第１部分画像データから、第１評価値を算出する第１算出部と、第２読み出し回路から出力された第２部分画像データから、第２評価値を算出する第２算出部とを備える。【選択図】図２
2014023114.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１光電変換素子および複数の第２光電変換素子を有する撮像素子と、
前記複数の第１光電変換素子の出力を読み出して、前記複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１部分画像データを出力する第１読み出し回路と、
前記複数の第２光電変換素子の出力を読み出して、前記複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２部分画像データを出力する第２読み出し回路と、
前記第１読み出し回路から出力された前記第１部分画像データから、第１評価値を算出する第１算出部と、
前記第２読み出し回路から出力された前記第２部分画像データから、第２評価値を算出する第２算出部と
を備える撮像装置。
【請求項２】
前記第１評価値および前記第２評価値に基づいて、前記第１部分画像データおよび前記第２部分画像データで表される１つの画像を評価する第１評価部
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記第１評価値および前記第２評価値に基づいて、前記第１部分画像データおよび前記第２部分画像データで表される１つの画像を評価する第２評価部
をさらに備える請求項２に記載の撮像装置。
【請求項４】
前記撮像素子は複数のタイミングで連続して撮像し、
前記第１評価部は、前記撮像素子が第１のタイミングで撮像した場合において、前記第１評価値および前記第２評価値に基づいて、前記第１のタイミングで撮像することにより得られた前記第１部分画像データおよび前記第２部分画像データで表される１つの画像を評価し、
前記第２評価部は、前記撮像素子が前記第１のタイミングに続く第２のタイミングで撮像した場合において、前記第１評価値および前記第２評価値に基づいて、前記第２のタイミングで撮像することにより得られた前記第１部分画像データおよび前記第２部分画像データで表される１つの画像を評価する
請求項３に記載の撮像装置。
【請求項５】
前記第１算出部は、前記第１評価値として第１の種類の評価値を算出し、
前記第２算出部は、前記第２評価値として第２の種類の評価値を算出する
請求項３に記載の撮像装置。
【請求項６】
前記撮像素子は複数のタイミングで連続して撮像し、
前記第１算出部は、前記撮像素子が第１のタイミングで撮像した場合において、前記第１評価値として第１の種類の評価値を算出し、
前記第２算出部は、前記撮像素子が前記第１のタイミングで撮像した場合において、前記第２評価値として第２の種類の評価値を算出し、
前記第１算出部は、前記撮像素子が前記第１のタイミングに続く第２のタイミングで撮像した場合において、前記第１評価値として前記第２の種類の評価値を算出し、
前記第２算出部は、前記撮像素子が前記第２のタイミングで撮像した場合において、前記第２評価値として前記第１の種類の評価値を算出する
請求項３に記載の撮像装置。
【請求項７】
前記第１評価値および前記第２評価値は、焦点状態を評価するためのＡＦ評価値、露出状態を評価するための露出評価値、ホワイトバランス状態を評価するためのホワイトバランス評価値、人物の顔の位置を評価するための顔検出情報の少なくともいずれかを含む
請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
前記第２算出部と、前記第２部分画像データを出力する第２出力部とを有する第２処理部と、
前記第１算出部と、前記第１部分画像データおよび前記第２出力部が出力した前記第２部分画像データで表される１つの画像の画像データに画像処理を施す第１画像処理部とを有する第１処理部と
を備える請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
前記第１処理部は、前記第１部分画像データを前記第２処理部へ出力する第１出力部をさらに有し、
前記第２処理部は、前記第２部分画像データおよび前記第１出力部が出力した前記第１部分画像データで表される１つの画像の画像データに画像処理を施す第２画像処理部をさらに有する
請求項８に記載の撮像装置。
【請求項１０】
前記撮像素子は複数のタイミングで連続して撮像し、
前記第２出力部は、前記撮像素子が第１のタイミングで撮像した場合において、前記第２部分画像データを前記第１画像処理部へ出力し、
前記第１出力部は、前記撮像素子が前記第１のタイミングに続く第２のタイミングで撮像した場合において、前記第１部分画像データを前記第２画像処理部へ出力する
請求項９に記載の撮像装置。
【請求項１１】
前記第１出力部は、ＲＡＷ画像データである前記第１部分画像データを、前記第２処理部へ出力し、
前記第２画像処理部は、前記第１部分画像データおよびＲＡＷ画像データである前記第２部分画像データで表される１つの画像の画像データに色補間処理および圧縮処理を含む画像処理を施し、
前記第２出力部は、前記第２画像処理部が前記画像処理を施すことにより得られた圧縮された画像データを、前記第１処理部へ出力し、
前記第１処理部は、前記圧縮された画像データを記録媒体に記録する記録制御部をさらに有する
請求項１０に記載の撮像装置。
【請求項１２】
前記第２出力部は、ＲＡＷ画像データである前記第２部分画像データを、前記第１処理部へ出力し、
前記第１画像処理部は、ＲＡＷ画像データである前記第１部分画像データおよび前記第２部分画像データで表される１つの画像の画像データに、色補間処理および圧縮処理を含む画像処理を施す
請求項８から１１のいずれか一項に記載の撮像装置。
【請求項１３】
撮像部が有する複数の第１光電変換素子の出力を読み出して、前記複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１画像データを出力する第１読み出し回路と、
前記撮像部が有する複数の第２光電変換素子の出力を読み出して、前記複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２画像データを出力する第２読み出し回路と、
前記第１読み出し回路から出力された前記第１画像データから第１評価値を算出する第１算出部と、
前記第２読み出し回路から出力された前記第２画像データから第２評価値を算出する第２算出部と
を備え、
前記第１算出部は、前記第１評価値を前記第２算出部へ出力し、
前記第２算出部は、前記第２評価値を前記第１算出部へ出力する
撮像装置。
【請求項１４】
前記複数の第１光電変換素子および前記複数の第２光電変換素子は、それぞれ複数の光電変換素子列を形成し、
前記複数の第１光電変換素子が形成する複数の光電変換素子列のうちの１つの第１光電変換素子列は、前記複数の第２光電変換素子が形成する複数の光電変換素子列のうちの１つの第２光電変換素子列と隣接し、
前記撮像装置は、
前記第１読み出し回路から順次に出力された、予め定められた数の光電変換素子列の列データを保持する第１バッファ部と、
前記第２読み出し回路から順次に出力された、予め定められた数の光電変換素子列の列データを保持する第２バッファ部と、
前記第２バッファ部に保持されている前記第２光電変換素子列の列データを前記第１算出部へ出力し、前記第１バッファ部に保持されている前記第１光電変換素子列の列データを前記第１算出部へ出力する出力制御部と
をさらに備える請求項１から１３のいずれか一項に記載の撮像装置。
【請求項１５】
前記第１算出部は、前記第２光電変換素子列の列データおよび前記複数の第１光電変換素子が形成する前記複数の光電変換素子列の列データで表される１つの画像の画像データから前記第１評価値を算出する
請求項１４に記載の撮像装置。
【請求項１６】
第１の方向にそれぞれ連続して並ぶ複数の第１光電変換素子列および複数の第２光電変換素子列を有する撮像素子と、
複数のタイミングのそれぞれから、前記複数の第１光電変換素子列および前記複数の第２光電変換素子列で、前記第１の方向に順次に露光させる露光制御部と、
第１のタイミングから前記複数の第１光電変換素子列で順次に露光することにより前記複数の第１光電変換素子列から出力された第１部分画像データ、および、前記第１のタイミングに続く第２のタイミングから前記複数の第２光電変換素子列で順次に露光することにより前記複数の第２光電変換素子列から出力された第２部分画像データを、１つの第１画像の画像データとして出力する出力制御部と
を備える撮像装置。
【請求項１７】
前記出力制御部は、前記第２のタイミングから前記複数の第１光電変換素子列で順次に露光することにより前記複数の第１光電変換素子列から出力された第３部分画像データ、および、前記第２のタイミングに続く第３のタイミングから前記複数の第２光電変換素子列で順次に露光することにより前記複数の第２光電変換素子列から出力された第４部分画像データを、前記第１画像に続く第２画像の画像データとして出力する
請求項１６に記載の撮像装置。
【請求項１８】
前記第１画像の画像データに画像処理を施す第１画像処理部と、
前記第２画像の画像データに画像処理を施す第２画像処理部と
をさらに備える請求項１７に記載の撮像装置。
【請求項１９】
前記出力制御部は、前記複数の第１光電変換素子列から出力された部分画像データおよび前記複数の第２光電変換素子列から出力された部分画像データの出力先を、前記第１画像処理部および前記第２画像処理部との間で順次に切り替えるセレクタを有する
請求項１８に記載の撮像装置。
【請求項２０】
前記出力制御部は、前記第１画像処理部および前記第２画像処理部のいずれに画像処理させるかを識別する識別信号を、前記複数の第１光電変換素子列から出力された部分画像データおよび前記複数の第２光電変換素子列から出力された部分画像データにそれぞれ対応づけて出力する
請求項１８に記載の撮像装置。
【請求項２１】
前記複数の第１光電変換素子列のうち、順次に露光した場合に最後に露光される光電変換素子列は、前記複数の第２光電変換素子列で順次に露光した場合に最初に露光される光電変換素子列と隣接し、
前記露光制御部は、第１のタイミングから前記複数の第１光電変換素子列で露光した場合に前記最後に露光される光電変換素子列の露光を開始した後の前記第２のタイミングから、前記複数の第１光電変換素子列および前記複数の第２光電変換素子列で、順次に露光させる
請求項１６から２０のいずれか一項に記載の撮像装置。
【請求項２２】
前記露光制御部は、第１のタイミングから前記複数の第１光電変換素子列で露光した場合に前記最後に露光される光電変換素子列の露光が終了する前の前記第２のタイミングから、前記複数の第１光電変換素子列および前記複数の第２光電変換素子列で、順次に露光させる
請求項２１に記載の撮像装置。
【請求項２３】
前記複数の第１光電変換素子列のうち、順次に露光した場合に最後に露光される光電変換素子列は、前記複数の第２光電変換素子列で順次に露光した場合に最初に露光される光電変換素子列と隣接し、
前記露光制御部は、１つの静止画の画像データを生成する撮像動作を行う場合に、第４のタイミングから、前記複数の第１光電変換素子列で前記第１の方向に順次に露光させ、前記第４のタイミングに続く第５のタイミングから、前記複数の第２光電変換素子列で前記第１の方向に順次に露光させ、
前記出力制御部は、前記第４のタイミングから前記複数の第１光電変換素子列で順次に露光することにより前記複数の第１光電変換素子列から出力された前記第１部分画像データ、および、前記第５のタイミングから前記複数の第２光電変換素子列で順次に露光することにより前記複数の第２光電変換素子列から出力された前記第２部分画像データを、前記静止画の画像データとして出力する
請求項１６から２２のいずれか一項に記載の撮像装置。
【請求項２４】
複数の第１光電変換素子および複数の第２光電変換素子を有する撮像素子を有する撮像装置用のプログラムであって、
第１読み出し回路に、前記複数の第１光電変換素子の出力を読み出して、前記複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１部分画像データを出力させるステップと、
第２読み出し回路に、前記複数の第２光電変換素子の出力を読み出して、前記複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２部分画像データを出力させるステップと、
第１算出部に、前記第１読み出し回路から出力された前記第１部分画像データから、第１評価値を算出させるステップと、
第２算出部に、前記第２読み出し回路から出力された前記第２部分画像データから、第２評価値を算出させるステップと
をコンピュータに実行させるためのプログラム。
【請求項２５】
第１読み出し回路に、撮像部が有する複数の第１光電変換素子の出力を読み出させて、前記複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１画像データを出力させるステップと、
第２読み出し回路に、前記撮像部が有する複数の第２光電変換素子の出力を読み出させて、前記複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２画像データを出力させるステップと、
第１算出部に、前記第１読み出し回路から出力された前記第１画像データから第１評価値を算出させるステップと、
第２算出部に、前記第２読み出し回路から出力された前記第２画像データから第２評価値を算出させるステップと、
前記第１評価値を前記第２算出部へ出力するステップと、
前記第２評価値を前記第１算出部へ出力するステップと
をコンピュータに実行させるためのプログラム。
【請求項２６】
第１の方向にそれぞれ連続して並ぶ複数の第１光電変換素子列および複数の第２光電変換素子列を有する撮像素子を有する撮像装置用のプログラムであって、
複数のタイミングのそれぞれから、前記複数の第１光電変換素子列および前記複数の第２光電変換素子列で、前記第１の方向に順次に露光させる露光制御ステップと、
第１のタイミングから前記複数の第１光電変換素子列で順次に露光することにより前記複数の第１光電変換素子列から出力された第１部分画像データ、および、前記第１のタイミングに続く第２のタイミングから前記複数の第２光電変換素子列で順次に露光することにより前記複数の第２光電変換素子列から出力された第２部分画像データを、１つの第１画像の画像データとして出力する出力制御ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
信号出力経路を複数有するＣＣＤイメージセンサが知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００８−１０４０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮像素子に含まれる複数の光電変換素子の出力を分けて読み出した場合に、評価値を適切に算出することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、撮像装置は、複数の第１光電変換素子および複数の第２光電変換素子を有する撮像素子と、複数の第１光電変換素子の出力を読み出して、複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１部分画像データを出力する第１読み出し回路と、複数の第２光電変換素子の出力を読み出して、複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２部分画像データを出力する第２読み出し回路と、第１読み出し回路から出力された第１部分画像データから、第１評価値を算出する第１算出部と、第２読み出し回路から出力された第２部分画像データから、第２評価値を算出する第２算出部とを備える。
【０００５】
本発明の第２の態様においては、撮像装置は、撮像部が有する複数の第１光電変換素子の出力を読み出して、複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１画像データを出力する第１読み出し回路と、撮像部が有する複数の第２光電変換素子の出力を読み出して、複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２画像データを出力する第２読み出し回路と、第１読み出し回路から出力された第１画像データから第１評価値を算出する第１算出部と、第２読み出し回路から出力された第２画像データから第２評価値を算出する第２算出部とを備え、第１算出部は、第１評価値を第２算出部へ出力し、第２算出部は、第２評価値を第１算出部へ出力する。
【０００６】
本発明の第３の態様においては、撮像装置は、第１の方向にそれぞれ連続して並ぶ複数の第１光電変換素子列および複数の第２光電変換素子列を有する撮像素子と、複数のタイミングのそれぞれから、複数の第１光電変換素列および複数の第２光電変換素列で、第１の方向に順次に露光させる露光制御部と、第１のタイミングから複数の第１光電変換素列で順次に露光することにより複数の第１光電変換素列から出力された第１部分画像データ、および、第１のタイミングに続く第２のタイミングから複数の第２光電変換素列で順次に露光することにより複数の第２光電変換素列から出力された第２部分画像データを、１つの第１画像の画像データとして出力する出力制御部とを備える。
【０００７】
本発明の第４の態様においては、複数の第１光電変換素子および複数の第２光電変換素子を有する撮像素子を有する撮像装置用のプログラムであって、第１読み出し回路に、複数の第１光電変換素子の出力を読み出して、複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１部分画像データを出力させるステップと、第２読み出し回路に、複数の第２光電変換素子の出力を読み出して、複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２部分画像データを出力させるステップと、第１算出部に、第１読み出し回路から出力された第１部分画像データから、第１評価値を算出させるステップと、第２算出部に、第２読み出し回路から出力された第２部分画像データから、第２評価値を算出させるステップとをコンピュータに実行させる。
【０００８】
本発明の第５の態様においては、第１読み出し回路に、撮像部が有する複数の第１光電変換素子の出力を読み出させて、複数の第１光電変換素子が設けられた部分に対応する画像の画像データである第１画像データを出力させるステップと、第２読み出し回路に、撮像部が有する複数の第２光電変換素子の出力を読み出させて、複数の第２光電変換素子に設けられた部分に対応する画像の画像データである第２画像データを出力させるステップと、第１算出部に、第１読み出し回路から出力された第１画像データから第１評価値を算出させるステップと、第２算出部に、第２読み出し回路から出力された第２画像データから第２評価値を算出させるステップと、第１評価値を第２算出部へ出力するステップと、第２評価値を第１算出部へ出力するステップとをコンピュータに実行させる。
【０００９】
本発明の第６の態様においては、第１の方向にそれぞれ連続して並ぶ複数の第１光電変換素子列および複数の第２光電変換素子列を有する撮像素子を有する撮像装置用のプログラムであって、複数のタイミングのそれぞれから、複数の第１光電変換素列および複数の第２光電変換素列で、第１の方向に順次に露光させる露光制御ステップと、第１のタイミングから複数の第１光電変換素列で順次に露光することにより複数の第１光電変換素列から出力された第１部分画像データ、および、第１のタイミングに続く第２のタイミングから複数の第２光電変換素列で順次に露光することにより複数の第２光電変換素列から出力された第２部分画像データを、１つの第１画像の画像データとして出力する出力制御ステップとをコンピュータに実行させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態に係るカメラ１０のブロック構成の一例を示す。
【図２】撮像素子１３２および画像処理エンジン部１３５のブロック構成の一例を、データ入出力関係とともに模式的に示す。
【図３】撮像が指示された場合の画像処理エンジン部１３５の動作フローの一例を示す。
【図４】画像の評価を行う場合の画像処理エンジン部１３５の係る動作フローの一例を示す。
【図５】ＡＦ評価に係る処理情報の一例を模式的に示す。
【図６】顔検出に係る処理情報の一例を示す。
【図７】画像処理を行う場合の画像処理エンジン部１３５における動作フローの一例を示す。
【図８】画像処理エンジン部１３５において各処理が行われるタイミングの一例を模式的に示す。
【図９】画像処理エンジン部１３５に画像データを転送する転送部の変形例を示す。
【図１０】出力制御部９３０が追加で出力する部分を模式的に示す。
【図１１】出力制御部９３０が画像処理エンジン部１３５へ出力する列データの出力シーケンスを模式的に示す。
【図１２】画像処理を行う場合の画像処理エンジン部１３５における動作フローの変形例を示す。
【図１３】撮像素子１３２から画像処理エンジン部１３５へ他の転送態様で転送する場合のブロック構成の一例を模式的に示す。
【図１４】撮像素子１３２の読み出しおよび出力先の切り替え制御の一例を模式的に示す。
【図１５】転送制御の変形例を示す。
【発明を実施するための形態】
【００１２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須で２あるとは限らない。
【００１３】
図１は、一実施形態に係るカメラ１０のブロック構成の一例を示す。本図ではレンズユニット１２０が装着された状態のカメラ１０のブロック構成を示す。カメラ１０は、撮像装置の一例としての一眼レフレックスカメラである。
【００１４】
レンズユニット１２０は、レンズマウント接点１２１を有するレンズマウントを備える。カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントとが係合してレンズユニット１２０とカメラ本体１３０とが一体化されると、レンズマウント接点１２１とカメラマウント接点１３１とが接続される。レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１４０と接続され、相互に通信しつつ協働してレンズユニット１２０を制御する。
【００１５】
レンズユニット１２０は、レンズ群１２２、レンズ駆動部１２４およびレンズＭＰＵ１２３を有する。被写体光は、レンズユニット１２０が有する光学系としてのレンズ群１２２を光軸に沿って透過して、カメラ本体１３０に入射する。メインミラー１４５は、レンズ群１２２の光軸を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避する退避状態を取り得る。
【００１６】
メインミラー１４５が斜設状態にある場合、メインミラー１４５は、レンズ群１２２を通過した被写体光束の一部を反射する。具体的には、斜設状態におけるメインミラー１４５の光軸近傍領域は、ハーフミラーとして形成されている。光軸近傍領域に入射した被写体光束の一部は透過し、他の一部は反射する。メインミラー１４５により反射された被写体光束はファインダ部１４７に導かれて、ユーザに観察される。ユーザは、ファインダ部１４７を通じて構図等を確認することができる。ファインダ部１４７は、被写体光束に基づく被写体像とともに、撮像動作の設定状態を示す情報等を含む種々の情報をユーザに提示する表示デバイスを含んでよい。
【００１７】
メインミラー１４５の光軸近傍領域を透過した被写体光束の一部は、サブミラー１４６で反射されて、ＡＦユニット１４２へ導かれる。ＡＦユニット１４２は、被写体光束を受光する複数の光電変換素子列を有する。光電変換素子列は、合焦状態にある場合には位相が一致した信号を出力し、前ピン状態または後ピン状態にある場合には、位相ずれした信号を出力する。位相のずれ量は、焦点状態からのずれ量に対応する。ＡＦユニット１４２は、光電変換素子列の出力を相関演算することで位相差を検出して、位相差を示す位相差信号をカメラＭＰＵ１４０へ出力する。
【００１８】
レンズ群１２２の焦点状態は、カメラＭＰＵ１４０等の制御により、ＡＦユニット１４２からの位相差信号を用いて調節される。例えば、位相差信号から検出された焦点状態に基づき、カメラＭＰＵ１４０によってレンズ群１２２が含むフォーカスレンズの目標位置が決定され、決定された目標位置に向けてレンズＭＰＵ１２３の制御によってフォーカスレンズの位置が制御される。具体的には、レンズＭＰＵ１２３は、一例としてフォーカスレンズモータを含むレンズ駆動部１２４を制御して、レンズ群１２２を構成するフォーカスレンズを移動させる。このように、メインミラー１４５がダウンして斜設状態にある場合に、位相差検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。ＡＦユニット１４２は、被写体像における複数の領域のそれぞれにおいて焦点状態を調節すべく、複数の領域にそれぞれ対応する複数の位置にそれぞれ光電変換素子列が設けられる。
【００１９】
測光素子１４４は、光学ファインダ部に導かれた光束の一部の光束を受光する。測光素子１４４が有する光電変換素子で検出された被写体の輝度情報は、カメラＭＰＵ１４０に出力される。カメラＭＰＵ１４０は、測光素子１４４から取得した輝度情報に基づき、ＡＥ評価値を算出して露出制御に用いる。
【００２０】
メインミラー１４５が被写体光束から退避すると、サブミラー１４６はメインミラー１４５に連動して被写体光束から退避する。撮像素子１３２のレンズ群１２２側には、メカニカルシャッタの一例としてのフォーカルプレーンシャッタ１４３が設けられる。メインミラー１４５が退避状態にあり、フォーカルプレーンシャッタ１４３が開状態にある場合、レンズ群１２２を透過した被写体光束は、撮像素子１３２の受光面に入射する。
【００２１】
撮像素子１３２は、撮像部の一例である。撮像素子１３２は、単一の撮像素子である。撮像素子１３２は、レンズ群１２２を通過した被写体光束により被写体を撮像する。撮像素子１３２としては、例えばＣＣＤセンサ、ＣＭＯＳセンサ等の固体撮像素子を含む。撮像素子１３２は、被写体光束を受光する複数の光電変換素子を有する。複数の光電変換素子は、それぞれで生じた蓄積電荷量に応じた信号を出力する。撮像素子１３２は、カメラＭＰＵ１４０からの指示を受けた駆動部１４８により駆動される。
【００２２】
各光電変換素子で光電変換されて得られたアナログの画像信号は、撮像素子１３２に設けられたＡＤ変換素子でＡＤ変換されて、デジタルの画像信号として画像処理エンジン部１３５へ出力される。撮像素子１３２は、複数の第１光電変換素子および複数の第２光電変換素子を有する。撮像素子１３２が有する複数の第１光電変換素子は、複数の第２光電変換素子とは独立に読み出され、それぞれのデジタルの画像信号は、画像処理エンジン部１３５へ並列に出力される。画像処理エンジン部１３５は、複数の第１光電変換素子および複数の第２光電変換素子のそれぞれから出力された部分画像データを纏めて１つの画像として処理する。
【００２３】
画像処理エンジン部１３５は、主として画像処理機能を担う。画像処理エンジン部１３５は、揮発性メモリの一例としてのＲＡＭ１３６の少なくとも一部のメモリ領域を、画像データを一時的に記憶するバッファ領域として使用して、ＲＡＭ１３６に記憶させた画像データに対して種々の画像処理を施す。画像処理エンジン部１３５による画像処理としては、ホワイトバランス補正、色補間処理、色補正、ガンマ補正、輪郭強調処理、画像データの圧縮処理等を例示することができる。撮像素子１３２が連続して撮像した場合、順次に出力される画像データはバッファ領域に順次に記憶される。撮像素子１３２が連続して撮像することにより得られた複数の画像データは、連続する静止画の画像データ、または、動画を構成する各画像の画像データとして、バッファ領域に順次に記憶される。ＲＡＭ１３６は、画像処理エンジン部１３５において動画データを処理する場合にフレームを一時的に記憶するフレームメモリとしても機能する。
【００２４】
画像処理エンジン部１３５は、記録用の画像データを生成する処理の他、表示用の画像データを生成する処理、自動焦点調節（ＡＦ）用の処理、自動露出調節（ＡＥ）用の処理、ホワイトバランス用の処理、顔検出処理を含む画像処理を担う。画像処理エンジン部１３５は、例えばＡＦ処理用のコントラスト評価値、ホワイトバランス評価値、顔検出用の評価情報等、各種の評価値を算出して、算出した評価情報に基づいて各種の制御を行う。例えば、画像処理エンジン部１３５は、画像データからコントラスト量を検出してカメラＭＰＵ１４０に供給する。例えば、画像処理エンジン部１３５は、光軸方向の異なる位置にフォーカスレンズを位置させて撮像することにより得られた複数の画像データのそれぞれからコントラスト量を検出する。カメラＭＰＵ１４０は、検出されたコントラスト量とフォーカスレンズの位置とに基づいて、レンズ群１２２の焦点状態を調節する。例えば、カメラＭＰＵ１４０は、コントラスト量を増大させるようフォーカスレンズの目標位置を決定して、レンズＭＰＵ１２３に、決定された目標位置に向けてフォーカスレンズの位置を制御させる。このように、メインミラー１４５がアップして退避状態にある場合に、コントラスト検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。このように、カメラＭＰＵ１４０は、画像処理エンジン部１３５およびレンズＭＰＵ１２３と協働して、レンズ群１２２の焦点調節を行う。
【００２５】
画像処理エンジン部１３５は、画像データを記録する場合、規格化された画像フォーマットの画像データに変換する。例えば、画像処理エンジン部１３５は、静止画の画像データを、ＪＰＥＧ等の規格に準拠した符号化形式で符号化された静止画データを生成するための圧縮処理を行う。また、画像処理エンジン部１３５は、複数のフレームを、ＱｕｉｃｋＴｉｍｅ、Ｈ．２６４、ＭＰＥＧ２、Ｍｏｔｉｏｎ  ＪＰＥＧ等の規格に準拠した符号化方式で符号化された動画データを生成するための圧縮処理を行う。
【００２６】
画像処理エンジン部１３５は、生成した静止画データ、動画データ等の画像データを、不揮発性の記録媒体の一例としての外部メモリ１８０ａおよび外部メモリ１８０ｂへ出力して記録させる。例えば、画像処理エンジン部１３５は、静止画ファイルを外部メモリ１８０ａに記録させ、動画ファイルを外部メモリ１８０ｂに記録させる。外部メモリ１８０としては、フラッシュメモリ等の半導体メモリを例示することができる。具体的には、外部メモリ１８０としては、ＳＤメモリカード、ＣＦストレージカード、ＸＱＤメモリカード等の種々のメモリカードを例示することができる。ＲＡＭ１３６に記憶されている画像データは、記録媒体ＩＦ１５０を通じて外部メモリ１８０へ転送される。また、外部メモリ１８０に記録されている画像データは、記録媒体ＩＦ１５０を通じてＲＡＭ１３６へ転送され、表示等の処理に供される。記録媒体ＩＦ１５０としては、上述したメモリカードに対するアクセスを制御するカードコントローラを例示することができる。
【００２７】
画像処理エンジン部１３５は、記録用の画像データの生成に並行して、表示用の画像データを生成する。例えば、画像処理エンジン部１３５は、いわゆるライブビュー動作時に、液晶表示デバイス等の表示部１３８に表示させる表示用の画像データを生成する。また、画像の再生時においては、画像処理エンジン部１３５は、外部メモリ１８０から読み出された画像データから表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従ってアナログの信号に変換され、表示部１３８に表示される。また、撮像により得られた画像データに基づく画像表示と共に、当該画像データに基づく画像表示をすることなく、カメラ１０の各種設定に関する様々なメニュー項目やタッチパネル用のオブジェクトも、画像処理エンジン部１３５および表示制御部１３７の制御により重畳される等して表示部１３８に表示される。
【００２８】
外部機器ＩＦ１５２は、カメラＭＰＵ１４０の制御に従って、外部機器との通信を担う。外部メモリ１８０に記録された画像データは、外部機器ＩＦ１５２を通じて外部機器へ転送される。また、外部機器ＩＦ１５２を通じて外部機器から通信により取得した画像データは、外部メモリ１８０に記録される。外部機器ＩＦ１５２は、ＵＳＢ通信により外部機器と通信してよい。
【００２９】
操作入力部１４１は、ユーザから操作を受け付ける。操作入力部１４１は、レリーズボタン、再生ボタン、ライブビュースイッチ、動画ボタン、電源スイッチ等の各種操作部材等を含む。カメラＭＰＵ１４０は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１４０は、レリーズボタンが押し込まれた場合に、撮像動作を実行するようにカメラ１０の各部を制御する。
【００３０】
カメラ１０は、上記に説明した制御を含めて、カメラＭＰＵ１４０および画像処理エンジン部１３５により直接的または間接的に制御される。カメラ１０の動作に必要な定数、変数等のパラメータ、プログラム等は、システムメモリ１３９に格納される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ、ＥＥＰＲＯＭ等により構成される。システムメモリ１３９は、パラメータ、プログラム等を、カメラ１０の非動作時にも失われないように格納する。システムメモリ１３９に記憶されたパラメータ、プログラム等は、ＲＡＭ１３６に展開され、カメラ１０の制御に利用される。カメラ本体１３０内の、画像処理エンジン部１３５、ＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、および、カメラＭＰＵ１４０は、バス等の接続インタフェース１４９により相互に接続され、各種のデータをやりとりする。
【００３１】
カメラ本体１３０の各部、レンズユニット１２０の各部および外部メモリ１８０は、カメラＭＰＵ１４０の制御により、電源回路１９２を介して電源１９０から電力供給を受ける。電源１９０は、ニッケル水素電池、リチウムイオン電池等の二次電池、非充電式の電池等であってよい。電池としての電源１９０は、カメラ本体１３０に対して着脱可能に装着される。電源１９０は、商用電源であってもよい。
【００３２】
図２は、撮像素子１３２および画像処理エンジン部１３５のブロック構成の一例を、データ入出力関係とともに模式的に示す。画像処理エンジン部１３５は、第１画像処理エンジン２１０および第２画像処理エンジン２２０を有する。撮像素子１３２は、第１光電変換素子２０１ａ、第１光電変換素子２０１ｂ・・・、第２光電変換素子２０２ａ、第２光電変換素子２０２ｂ・・・、第１駆動回路２１および第２駆動回路２２を有する。なお、複数の第１光電変換素子２０１ａ、第１光電変換素子２０１ｂ・・・を、複数の第１光電変換素子２０１、または、単に第１光電変換素子２０１と総称する場合がある。また、複数の第２光電変換素子２０２ａ、第２光電変換素子２０２ｂ・・・を、複数の第２光電変換素子２０２、または、単に第２光電変換素子２０２と総称する場合がある。第１光電変換素子および第２光電変換素子２０２は、撮像素子１３２の実質的に同一の面に配置される。一例として、第１光電変換素子および第２光電変換素子２０２は、マトリクス状に設けられる。
【００３３】
第１光電変換素子２０１および複数の第２光電変換素子２０２は、それぞれ複数の光電変換素子列を形成する。第１光電変換素子２０１および第２光電変換素子２０２は、全体でｎラインの光電変換素子列を形成する。具体的には、第１光電変換素子２０１は、連続するｍラインの光電変換素子列Ｌ１〜Ｌｍを形成する。また、第２光電変換素子２０２は、連続するｍラインの光電変換素子列Ｌｍ＋１〜Ｌｎを形成する。光電変換素子列Ｌ１〜Ｌｍおよび光電変換素子列Ｌｍ＋１〜Ｌｎは、特定の方向にそれぞれ連続して並んで設けられる。第１光電変換素子２０１が形成する複数の光電変換素子列のうちの１つの光電変換素子列Ｌｍは、第２光電変換素子２０２が形成する複数の光電変換素子列のうちの１つの光電変換素子列Ｌｍ＋１と隣接する。ここで、ｎ＝２ｍである。このように、第１光電変換素子２０１および第２光電変換素子２０２は、同じライン数の光電変換素子列を形成する。なお、簡単のため、第１光電変換素子２０１は第２光電変換素子２０２の上部に設けられ、出力された画像データで表される画像領域においても、第１光電変換素子２０１に対応する部分領域は、第２光電変換素子２０２に対応する部分領域の上部に位置するものとして説明する。
【００３４】
第１光電変換素子２０１の出力は、第１駆動回路２１で読み出されて、デジタルの画像信号である第１部分画像データとして第１画像処理エンジン２１０へ出力される。第２光電変換素子２０２の出力は、第２駆動回路２２で読み出されて、デジタルの画像信号である第２部分画像データとして第２画像処理エンジン２２０へ出力される。第１部分画像データおよび第２部分画像データは、並列に出力される。第１駆動回路２１は、第１光電変換素子２０１の出力を読み出して、第１光電変換素子２０１が設けられた部分に対応する画像の画像データである第１部分画像データを出力する第１読み出し回路の一例である。第２駆動回路２２は、第２光電変換素子２０２の出力を読み出して、第２光電変換素子２０２に設けられた部分に対応する画像の画像データである第２部分画像データを出力する第２読み出し回路の一例である。
【００３５】
一例として、第１光電変換素子２０１は、光電変換素子列Ｌｍ、・・・Ｌ４、Ｌ３、Ｌ２、Ｌ１の順で露光が開始されて読み出される。また、第２光電変換素子２０２は、光電変換素子列Ｌｍ＋１、Ｌｍ＋２、Ｌｍ＋３、Ｌｍ＋４・・・Ｌｎの順で露光が開始されて読み出される。このように、第１光電変換素子２０１の読み出し方向は、第２光電変換素子２０２の読み出し方向とは逆方向であってよい。駆動部１４８は、各光電変換素子列の光電変換素子の露光タイミングおよび読み出しタイミングを制御するタイミングクロックを、撮像素子１３２に供給する。第１駆動回路２１および第２駆動回路２２は、供給されたタイミングクロックに基づいて、対応する光電変換素子列に対する露光および読み出しを制御する。
【００３６】
第１駆動回路２１で読み出された第１部分画像データは、第１画像処理エンジン２１０へ出力される。第２駆動回路２２で読み出された第２部分画像データは、第２画像処理エンジン２２０へ出力される。第１画像処理エンジン２１０は、第１部分画像データから第１評価値を算出する。また、第２画像処理エンジン２２０は、第２部分画像データから第２評価値を算出する。第２画像処理エンジン２２０は、第２評価値を第１画像処理エンジン２１０へ出力して、第１画像処理エンジン２１０に評価させる。第１画像処理エンジン２１０は、第１評価値および第２評価値に基づいて、第１部分画像データおよび第２部分画像データで表される１つの画像を評価する。第１画像処理エンジン２１０は、第１評価値を第２画像処理エンジン２２０へ出力して、第２画像処理エンジン２２０に評価させる。第２画像処理エンジン２２０は、第１評価値および第２評価値に基づいて、第１部分画像データおよび第２部分画像データで表される１つの画像を評価する。第１画像処理エンジン２１０および第２画像処理エンジン２２０の機能および動作の詳細については後述する。
【００３７】
図３は、撮像が指示された場合の画像処理エンジン部１３５の動作フローの一例を示す。本フローは、動画の撮像動作を開始するユーザ指示をカメラＭＰＵ１４０が検出した場合に、開始される。例えば、動画記録ボタンの押し込みを検出した場合に、開始される。
【００３８】
本フローが開始すると、第１画像処理エンジン２１０は、第１駆動回路２１から第１部分画像データを取得する（ステップＳ３０２）。また、第１画像処理エンジン２１０は、第２駆動回路２２から第２部分画像データを取得する（ステップＳ３５２）。第１部分画像データおよび第２部分画像データは、ＲＡＷ画像データである。
【００３９】
続いて、第１画像処理エンジン２１０は、画像の評価に関する処理を行う（ステップＳ３０４）。また、第２画像処理エンジン２２０は、画像の評価に関する処理を行う（ステップＳ３５４）。ここでは、画像の評価情報が、第１画像処理エンジン２１０と第２画像処理エンジン２２０との間で相互に交換される。本処理については、図４等に関連して説明する。
【００４０】
続いて、第１画像処理エンジン２１０は、画像処理に係る処理を行う（ステップＳ３０６）。また、第２画像処理エンジン２２０は、画像処理に係る処理を行う（ステップＳ３５４）。ここでは、第２部分画像データが第２画像処理エンジン２２０から第１画像処理エンジン２１０へ送信されるか、第１部分画像データが第１画像処理エンジン２１０から第２画像処理エンジン２２０へ送信される。本処理については、図７等に関連して説明する。
【００４１】
続いて、第１画像処理エンジン２１０は、動画の撮像動作を終了するか否かを判断する（ステップＳ３０８）。また、第２画像処理エンジン２２０は、撮像動作を終了するか否かを判断する（ステップＳ３５８）。例えば、カメラＭＰＵ１４０は、動画の撮像動作を開始する旨の指示を受け付けた場合に、動画の撮像動作を終了する旨の指示を第１画像処理エンジン２１０および第２画像処理エンジン２２０へ出力する。第１画像処理エンジン２１０および第２画像処理エンジン２２０は、動画の撮像動作を終了する旨の指示をカメラＭＰＵ１４０から取得した場合に、動画の撮像動作を終了する旨を判断する。第１画像処理エンジン２１０は、動画の撮像動作を終了しない旨を判断した場合に、ステップＳ３０２に処理を移行し、第２画像処理エンジン２２０は、動画の撮像動作を終了しない旨を判断した場合に、ステップＳ３５２に処理を移行する。第１画像処理エンジン２１０および第２画像処理エンジン２２０は、動画の撮像動作を終了しない旨を判断した場合は、撮像動作を終了する。
【００４２】
図４は、画像の評価を行う場合の画像処理エンジン部１３５の係る動作フローの一例を示す。本フローは、図３のステップＳ３０４、ステップＳ３５４の内部フローとして適用できる。
【００４３】
本フローが開始すると、ステップＳ４０２において、第１画像処理エンジン２１０は、第１部分画像データから第１評価値を算出する。具体的には、ＡＦ評価値、ホワイトバランス補正評価値、ＡＥ評価値、人物検出用の評価情報を、第１評価値として算出する。また、ステップＳ４５２において、第２画像処理エンジン２２０は、第２部分画像データから第２評価値を算出する。具体的には、第１画像処理エンジン２１０と同種の評価値を算出する。ＡＦ評価値、ＡＥ評価値、ホワイトバランス評価値、人物検出用の評価情報は、それぞれ焦点状態を評価するための評価値、露出状態を評価するための評価値、ホワイトバランス状態を評価するための評価値、人物の顔の位置を評価するための顔検出情報の一例である。
【００４４】
そして、ステップＳ４０４において、第１画像処理エンジン２１０は、第２画像処理エンジン２２０へ送信する種類の評価値を決定する。また、ステップＳ４５４において、第２画像処理エンジン２２０は、第１画像処理エンジン２１０へ送信する種類の評価値を決定する。一例として、第１画像処理エンジン２１０は、現在のフレームが奇数番目のフレームである場合に、人物検出用の評価値以外の評価値を、第２画像処理エンジン２２０へ送信する評価値として決定する。また、第１画像処理エンジン２１０は、現在のフレームが偶数番目のフレームである場合に、人物検出用の評価値を、第２画像処理エンジン２２０へ送信する評価値として決定する。一方、第２画像処理エンジン２２０は、現在のフレームが奇数番目のフレームである場合に、人物検出用の評価値を、第１画像処理エンジン２１０へ送信する評価値として決定する。また、第２画像処理エンジン２２０は、現在のフレームが偶数番目のフレームである場合に、人物検出用の評価値以外の評価値を、第１画像処理エンジン２１０へ送信する評価値として決定する。本処理については、図５、６等に関連して後述する。
【００４５】
続いて、ステップＳ４０６において、第１画像処理エンジン２１０は、ステップＳ４０４で決定した種類の第１評価値を、第２画像処理エンジン２２０へ出力する。また、ステップＳ４５６において、第２画像処理エンジン２２０は、ステップＳ４５４で決定した種類の第２評価値を、第１画像処理エンジン２１０へ出力する。このように、第１画像処理エンジン２１０は、第１評価値として第１の種類の評価値を算出して第２画像処理エンジン２２０へ出力する。また、第２画像処理エンジン２２０は、第２評価値として第２の種類の評価値を算出して第１画像処理エンジン２１０へ出力する。具体的には、第１画像処理エンジン２１０は、撮像素子１３２が第１のタイミングで撮像した場合において、第１評価値として第１の種類の評価値を算出して第２画像処理エンジン２２０へ出力し、第２画像処理エンジン２２０は、撮像素子１３２が第１のタイミングで撮像した場合において、第２評価値として第２の種類の評価値を算出して第１画像処理エンジン２１０へ出力する。また、第１画像処理エンジン２１０は、撮像素子１３２が第１のタイミングに続く第２のタイミングで撮像した場合において、第１評価値として第２の種類の評価値を算出して第２画像処理エンジン２２０へ出力し、第２画像処理エンジン２２０は、撮像素子１３２が第２のタイミングで撮像した場合において、第２評価値として第１の種類の評価値を算出して第１画像処理エンジン２１０へ出力する。
【００４６】
続いて、ステップＳ４０８において、第１画像処理エンジン２１０は、全体画像に対する評価を行う。具体的には、第１画像処理エンジン２１０は、第２画像処理エンジン２２０から受信した種類の評価値に基づいて、評価を行う。例えば、現在のフレームが奇数番目のフレームである場合、第１画像処理エンジン２１０は、全体画像における人物の位置を特定する処理を行う。また、ステップＳ４５８において、第２画像処理エンジン２２０は、全体画像に対する評価を行う。具体的には、第２画像処理エンジン２２０は、第１画像処理エンジン２１０から受信した種類の評価値に基づいて、評価を行う。例えば、現在のフレームが奇数番目のフレームである場合、第２画像処理エンジン２２０は、画像全体の総コントラスト量を算出する。また、第２画像処理エンジン２２０は、総コントラスト量に基づいて被写体に対して合焦状態にあるか否かの判断を行う。このように、第１画像処理エンジン２１０は、撮像素子１３２が第１のタイミングで撮像した場合において、第１評価値および第２評価値に基づいて、第１のタイミングで撮像することにより得られた第１部分画像データおよび第２部分画像データで表される１つの画像を評価する。第２画像処理エンジン２２０は、撮像素子１３２が第１のタイミングに続く第２のタイミングで撮像した場合において、第１評価値および第２評価値に基づいて、第２のタイミングで撮像することにより得られた第１部分画像データおよび第２部分画像データで表される１つの画像を評価する。
【００４７】
続いて、ステップＳ４６０において、第２画像処理エンジン２２０は、ステップＳ４５８の評価結果を、第１画像処理エンジン２１０に送信する。例えば、第２画像処理エンジン２２０は、合焦度合いを示す判断結果を、第１画像処理エンジン２１０へ送信する。そして、Ｓ４１０において、第１画像処理エンジン２１０は、ステップＳ４０８の評価結果および第２画像処理エンジン２２０から受信した評価結果に基づいて、制御を行う。例えば、総コントラスト量や合焦状態の判断結果をカメラＭＰＵ１４０へ送信する。また、第１画像処理エンジン２１０は、特定した人物の位置に基づいて、顔検出枠を表示する等の処理を行う。第１画像処理エンジン２１０および第２画像処理エンジン２２０は、それぞれステップＳ４１０およびｓ４６０の処理が終了すると、本フローを終了する。
【００４８】
図５は、ＡＦ評価に係る処理情報の一例を模式的に示す。第１画像処理エンジン２１０には、第１部分画像データ５０１が出力される。第１画像処理エンジン２１０は、第１部分画像データ５０１に対して、焦点調節領域に対応する各画像領域５１０に、コントラスト量を抽出するフィルタを適用する。第２画像処理エンジン２２０には、第２部分画像データ５０２が出力される。第２画像処理エンジン２２０は、第２部分画像データ５０２に対して、焦点調節領域に対応する各画像領域５２０に、コントラスト量を抽出するフィルタを適用する。そして、第１画像処理エンジン２１０は、各画像領域５１０のコントラスト量を示す情報を第２画像処理エンジン２２０へ送信する。第２画像処理エンジン２２０は、各画像領域５１０および各画像領域５２０のそれぞれのコントラスト量に基づいて、画像領域５３０における総コントラスト量を算出する。例えば、第２画像処理エンジン２２０は、焦点調節する旨が指示された画像領域のコントラスト量に基づいて、総コントラスト量を算出する。また、第２画像処理エンジン２２０は、総コントラスト量に基づいて、合焦状態にあるか否かの判断を行う。そして、第１画像処理エンジン２１０は、第２画像処理エンジン２２０から判断結果を取得して、第１画像処理エンジン２１０における判断結果に基づいて、各種の制御を行う。例えば、第１画像処理エンジン２１０は、合焦状態にある旨を表示部１３８に表示させる。また、合焦状態にある旨をカメラＭＰＵ１４０に通知して、コントラストＡＦの制御を停止させる。
【００４９】
図６は、顔検出に係る処理情報の一例を示す。第１画像処理エンジン２１０には、第１部分画像データ６０１が出力される。第１画像処理エンジン２１０は、第１部分画像データ６０１を縮小した縮小画像データ６１０を、顔検出用の評価値として生成する。第２画像処理エンジン２２０には、第２部分画像データ６０２が出力される。第２画像処理エンジン２２０は、第２部分画像データ６０２を縮小した縮小画像データ６２０を、顔検出用の評価値として生成する。そして、第２画像処理エンジン２２０は、縮小画像データ６２０を第１画像処理エンジン２１０へ送信する。第２画像処理エンジン２２０は、縮小画像データ６１０および縮小画像データ６２０から全体画像の縮小画像データ６３０を生成して、縮小画像データ６３０に対して顔検出の画像処理を行う。
【００５０】
一例として、第１画像処理エンジン２１０は、パターンマッチング等により、人物の顔領域６４０のそれぞれの位置および大きさを特定する。そして、第１画像処理エンジン２１０は、特定した領域の位置および大きさに基づいて、顔が検出された位置をユーザに提示する顔検出枠等を、表示部１３８に表示させる。また、顔検出領域に対して人物の顔用の処理が施されるよう、カメラ１０の各部を制御してよい。
【００５１】
図７は、画像処理を行う場合の画像処理エンジン部１３５における動作フローの一例を示す。本フローは、図３のステップＳ３０６、ステップＳ３５６の内部フローとして適用できる。
【００５２】
本フローが開始すると、第１画像処理エンジン２１０においては、第１部分画像データを第２画像処理エンジン２２０へ送信するか否かを判断する（ステップＳ７０２）。例えば、第１画像処理エンジン２１０は、現在のフレームが奇数番目のフレームである場合に、第１部分画像データを第２画像処理エンジン２２０へ送信する旨を判断する。第１部分画像データを第２画像処理エンジン２２０へ送信すると判断した場合、ステップＳ７１２において第１部分画像データを第２画像処理エンジン２２０へ送信し、ステップＳ７１０に処理を進める。第１部分画像データを第２画像処理エンジン２２０へ送信しない旨を判断した場合、ステップＳ７０４に処理を進める。
【００５３】
第２画像処理エンジン２２０においては、第２部分画像データを第１画像処理エンジン２１０へ送信するか否かを判断する（ステップＳ７５２）。例えば、第２画像処理エンジン２２０は、現在のフレームが偶数番目のフレームである場合に、第２部分画像データを第１画像処理エンジン２１０へ送信する旨を判断する。第２部分画像データを第１画像処理エンジン２１０へ送信すると判断した場合、ステップＳ７６２において第２部分画像データを第１画像処理エンジン２１０へ送信し、本フローを終了する。第２部分画像データを第１画像処理エンジン２１０へ送信しない旨を判断した場合、ステップＳ７５４に処理を進める。
【００５４】
第１画像処理エンジン２１０では、ステップＳ７０４において、第１部分画像データと、第２画像処理エンジン２２０から送信された第２部分画像データとから、全体画像データを生成する。続いて、第１画像処理エンジン２１０は、全体画像データに画像処理を施す（ステップＳ７０６）。そして、第１画像処理エンジン２１０は、画像処理後の全体画像データに圧縮処理を施す（ステップＳ７０８）。このように、第２画像処理エンジン２２０は、第２部分画像データを第１画像処理エンジン２１０へ出力し、第１画像処理エンジン２１０は、第１部分画像データおよび第２部分画像データで表される１つの画像の画像データに画像処理を施す。具体的には、第２画像処理エンジン２２０は、ＲＡＷ画像データである第２部分画像データを、第１画像処理エンジン２１０へ出力し、第１画像処理エンジン２１０は、ＲＡＷ画像データである第１部分画像データおよびＲＡＷ画像データである第２部分画像データで表される１つの画像の画像データに、色補完処理および圧縮処理を含む画像処理を施す。そして、第１画像処理エンジン２１０は、ステップＳ７１０において、圧縮処理により得られた圧縮画像データを、外部メモリ１８０へ記録し、本フローを終了する。
【００５５】
第２画像処理エンジン２２０では、ステップＳ７５４において、第２部分画像データと、第１画像処理エンジン２１０から送信された第１部分画像データとから、全体画像データを生成する。続いて、第２画像処理エンジン２２０は、全体画像データに画像処理を施す（ステップＳ７５６）。ここでは、第２画像処理エンジン２２０は、ステップＳ７０６における画像処理と同種の画像処理を行う。そして、第２画像処理エンジン２２０は、画像処理後の全体画像データに圧縮処理を施す（ステップＳ７５８）。そして、第２画像処理エンジン２２０は、ステップＳ７６０において、圧縮処理により得られた圧縮画像データを、第１画像処理エンジン２１０へ送信する。このように、第１画像処理エンジン２１０は、第１部分画像データを、第２画像処理エンジン２２０へ出力し、第２画像処理エンジン２２０は、第２部分画像データおよび第１部分画像データで表される１つの画像の画像データに画像処理を施す。具体的には、第２画像処理エンジン２２０は、ＲＡＷ画像データである第１部分画像データおよびＲＡＷ画像データである第２部分画像データで表される１つの画像の画像データに色補間処理および圧縮処理を含む画像処理を施して、当該画像処理を施すことにより得られた圧縮された画像データを第１画像処理エンジン２１０へ出力する。
【００５６】
第１画像処理エンジン２１０では、ステップＳ７１２において第１部分画像データを第２画像処理エンジン２２０へ送信した後、ステップＳ７１０において、第１画像処理エンジン２１０から受信した圧縮画像データを外部メモリ１８０へ記録する。このように、第１画像処理エンジン２１０は、圧縮された画像データを外部メモリ１８０に記録する。
【００５７】
図８は、画像処理エンジン部１３５において各処理が行われるタイミングの一例を模式的に示す。本図において、奇数フレームであるＮ番目のフレームの読み出しが完了した時刻ｔ０以後の処理について説明する。
【００５８】
Ｎ番目のフレームの読み出しが完了すると、第１画像処理エンジン２１０および第２画像処理エンジン２２０は、それぞれ対応する部分画像データから評価値を算出する。そして、第１画像処理エンジン２１０は、顔検出用以外の種類の評価値を、第２画像処理エンジン２２０へ送信する。第２画像処理エンジン２２０は、顔検出用の評価値を、第１画像処理エンジン２１０へ送信する。評価値を受信すると、時刻ｔ１から、第１画像処理エンジン２１０は、顔検出用の評価を行う。第２画像処理エンジン２２０は、総コントラスト量、焦点状態の判断、適正露出であるか否か、ホワイトバランスの決定等の処理を行う。
【００５９】
また、第１画像処理エンジン２１０は、Ｎ番目のフレームの読み出しが完了すると、上述の処理に並行して、第１部分画像データを第２画像処理エンジン２２０へ送信する。第２画像処理エンジン２２０は、第２駆動回路２２から出力された第２部分画像データと、第１画像処理エンジン２１０から受け取った第１部分画像データとから全体画像データを生成して、画像処理および圧縮処理を施す。
【００６０】
時刻ｔ２において、Ｎ＋１番目のフレームの読み出しが完了すると、第１画像処理エンジン２１０および第２画像処理エンジン２２０は、それぞれ対応する部分画像データから評価値を算出する。そして、第１画像処理エンジン２１０は、顔検出用の評価値を、第２画像処理エンジン２２０へ送信する。第２画像処理エンジン２２０は、顔検出用以外の種類の評価値を、第１画像処理エンジン２１０へ送信する。評価値を受信すると、時刻ｔ３から、第１画像処理エンジン２１０は、総コントラスト量、焦点状態の判断、適正露出であるか否か、ホワイトバランスの決定等の処理を行う。第２画像処理エンジン２２０は、顔検出用の評価を行う。
【００６１】
また、第２画像処理エンジン２２０は、Ｎ＋１番目のフレームの読み出しが完了すると、上述の処理に並行して、第２部分画像データを第１画像処理エンジン２１０へ送信する。第１画像処理エンジン２１０は、第１駆動回路２１から出力された第１部分画像データと、第２画像処理エンジン２２０から受け取った第２部分画像データとから全体画像データを生成して、画像処理および圧縮処理を施す。このように、撮像素子１３２は複数のタイミングで連続して撮像した場合に、第２画像処理エンジン２２０は、撮像素子１３２が第１のタイミングで撮像した場合において、第２部分画像データから算出された第２評価値を第１画像処理エンジン２１０へ出力し、第１画像処理エンジン２１０は、撮像素子１３２が第１のタイミングに続く第２のタイミングで撮像した場合において、第１部分画像データから算出された第１評価値を第２画像処理エンジン２２０へ出力する。また、第２画像処理エンジン２２０は、撮像素子１３２が第１のタイミングで撮像した場合において、第２部分画像データを第１画像処理エンジン２１０へ出力し、第１画像処理エンジン２１０は、撮像素子１３２が第１のタイミングに続く第２のタイミングで撮像した場合において、第１部分画像データを第２画像処理エンジン２２０へ出力する。このように、第１画像処理エンジン２１０および第２画像処理エンジン２２０において評価値の算出、評価の処理、および画像処理や圧縮処理を分担することで、各エンジンにおける負荷を均等化することができる。また、演算に長い時間を要する処理を１つの画像処理エンジンで行わせることができる。
【００６２】
図９は、画像処理エンジン部１３５に部分画像データを転送する転送部の変形例を示す。本変形例のカメラ１０は、図１から図８等に関連して説明した機能ブロックに加えて、第１駆動回路２１および第２駆動回路２２の間に、第１バッファ部９１０、第２バッファ部９２０および出力制御部９３０をさらに有する。
【００６３】
なお、本図では、第１駆動回路２１および第２駆動回路２２と、画像処理エンジン部１３５との間のブロック構成を、画像処理エンジン部１３５とともに示す。カメラ１０における他の機能ブロックは、図１から図８等に関連して説明した対応する機能ブロックと略同様の機能および動作を有するので、図示を省略する。また、ここでは、図１から図８等に関連して説明したカメラ１０の機能ブロックの機能および動作との相違点を中心に説明する。
【００６４】
第１バッファ部９１０は、第１駆動回路２１から順次に出力される光電変換素子列の列データのうち、予め定められた数の列データを保持する。第１バッファ部９１０には、予め定められた数の最新の列データが保持される。第２バッファ部９２０は、第２駆動回路２２から順次に出力される光電変換素子列の列データのうち、予め定められた数の列データを保持する。第２バッファ部９２０には、予め定められた数の最新の列データが保持される。出力制御部９３０は、第２バッファ部９２０に保持されている光電変換素子列の列データを第１画像処理エンジン２１０へ出力し、第１バッファ部９１０に保持されている光電変換素子列の列データを第１画像処理エンジン２１０へ出力する。
【００６５】
出力制御部９３０は、第Ｌ１〜Ｌｍ行目の第２光電変換素子列の列データに加えて、第２バッファ部９２０が保持している列データのうち、予め定められた数の光電変換素子列の列データを第１画像処理エンジン２１０へ出力する。具体的には、出力制御部９３０は、第２バッファ部９２０が保持している列データのうち、予め定められた数の光電変換素子列の列データが、第Ｌｍ行目の第２光電変換素子列の列データより先に第１画像処理エンジン２１０へ出力する。
【００６６】
また、出力制御部９３０は、第Ｌｍ＋１〜Ｌｎ行目の第２光電変換素子列の列データに加えて、第１バッファ部９１０が保持している列データのうち、予め定められた数の光電変換素子列の列データを第２画像処理エンジン２２０へ出力する。具体的には、出力制御部９３０は、第１バッファ部９１０が保持している列データのうち、予め定められた数の光電変換素子列の列データが、第Ｌｍ＋１行目の第２光電変換素子列の列データより先に第２画像処理エンジン２２０へ出力させる。すなわち、第１光電変換素子２０１および第２光電変換素子２０２の隣接部分において、予め定められたライン数分の画像データが、第１画像処理エンジン２１０および第２画像処理エンジン２２０へ出力されるようにする。
【００６７】
図１０は、出力制御部９３０が追加で出力する部分を模式的に示す。出力制御部９３０は、第２光電変換素子２０２で形成される光電変換素子列群１０２０の列データを、第１画像処理エンジン２１０へ追加で出力する。光電変換素子列群１０２０は、第Ｌｍ＋１行目の第２光電変換素子２０２を含み、読み出し方向に連続する光電変換素子列で形成される。また、出力制御部９３０は、第１光電変換素子２０１で形成される光電変換素子列群１０２０の列データを、第２画像処理エンジン２２０へ追加で出力する。光電変換素子列群１０２０は、第Ｌｍ行目の第１光電変換素子２０１を含み、読み出し方向に連続する光電変換素子列で形成される。
【００６８】
このように、光電変換素子列群１０１０または光電変換素子列群１０２０に含まれる光電変換素子列の列データは、第１画像処理エンジン２１０および第２画像処理エンジン２２０に重複して出力される。そして、第１画像処理エンジン２１０は、光電変換素子列群１０２０に含まれる光電変換素子列の列データおよび第１光電変換素子２０１が形成する複数の光電変換素子列の列データで表される１つの画像の画像データを処理する。具体的には、第１画像処理エンジン２１０は、光電変換素子列群１０２０に含まれる光電変換素子列の列データおよび第１光電変換素子２０１が形成する光電変換素子列Ｌ１〜Ｌｍの列データで表される１つの画像の画像データから第１評価値を算出する。また、第２画像処理エンジン２２０は、光電変換素子列群１０１０に含まれる光電変換素子列の列データおよび第２光電変換素子２０２が形成する複数の光電変換素子列の列データで表される１つの画像の画像データを処理する。具体的には、第２画像処理エンジン２２０は、光電変換素子列群１０１０に含まれる光電変換素子列の列データおよび第２光電変換素子２０２が形成する複数の光電変換素子列Ｌｍ＋１〜Ｌｎの列データで表される１つの画像の画像データから第２評価値を算出する。このため、第１画像処理エンジン２１０および第２画像処理エンジン２２０は、複数列にわたって画像フィルタを適用できる。例えば、２次元の画像フィルタを適用することが可能になる。なお、光電変換素子列群１０１０および光電変換素子列群１０２０に含まれる光電変換素子列の列数は、第１画像処理エンジン２１０および第２画像処理エンジン２２０で適用する画像フィルタの列数で決定されてよい。例えば、４×４の画像フィルタを適用する場合、光電変換素子列群１０１０および光電変換素子列群１０２０にはそれぞれ少なくとも２列の光電変換素子列を含ませてよい。
【００６９】
図１１は、出力制御部９３０が画像処理エンジン部１３５へ出力する列データの出力シーケンスを模式的に示す。本例では、光電変換素子列群１０１０および光電変換素子列群１０２０のそれぞれに２列の光電変換素子列を含ませる場合の構成を説明する。第１バッファ部９１０は、５ライ分の列データを保持するラインバッファ１１１０−１〜５を有する。第２バッファ部９２０は、５ライン分の列データを保持するラインバッファラインバッファ１１２０−１〜５を有する。
【００７０】
ラインバッファ１１１０には、ラインバッファ１１１０−１、ラインバッファ１１１０−２、ラインバッファ１１１０−３・・・の順で、列データが格納される。ラインバッファ１１１０−５に列データが格納された後、次の列データは、ラインバッファ１１１０−１に格納され、再び上記の順で列データが格納されていく。ラインバッファ１１２０も同様に、ラインバッファ１１２０−１、ラインバッファ１１２０−２、ラインバッファ１１２０−３・・・の順で、列データが格納され、ラインバッファ１１１０−５に列データが格納された後、次の列データはラインバッファ１１２０−１に格納される。本図は、読み出しを開始してから４列のデータがラインバッファ１１１０およびラインバッファ１１２０に格納されたタイミングにおける状態を示す。
【００７１】
具体的には、第１の転送タイミングで、第１光電変換素子２０１の第Ｌｍ行の列データが、ラインバッファ１１１０−１に格納され、第２光電変換素子２０２の第Ｌｍ＋１行の列データが、ラインバッファ１１２０−１に格納される。続く第２の転送タイミングで、第１光電変換素子２０１の第Ｌｍ−１行の列データが、ラインバッファ１１１０−２に格納され、第２光電変換素子２０２の第Ｌｍ＋２行の列データが、ラインバッファ１１２０−２に格納される。
【００７２】
続いて、第３の転送タイミングで、第１光電変換素子２０１の第Ｌｍ−２行の列データが、ラインバッファ１１１０−３に格納され、第２光電変換素子２０２の第Ｌｍ＋３行の列データが、ラインバッファ１１２０−３に格納される。この転送タイミングで、出力制御部９３０は、ラインバッファ１１１０−２に格納されている第Ｌｍ−１行の列データを、第２画像処理エンジン２２０に出力し、ラインバッファ１１２０−２に格納されている第Ｌｍ＋２行の列データを、第１画像処理エンジン２１０に出力する。第１画像処理エンジン２１０に出力された列データは、第１部分画像データにおける最下部のラインの列データとしてバッファ領域に格納される。また、第２画像処理エンジン２２０に出力された列データは、第２部分画像データにおける最上部のラインの列データとしてバッファ領域に格納される。
【００７３】
続いて、第４の転送タイミングで、第１光電変換素子２０１の第Ｌｍ−３行の列データが、ラインバッファ１１１０−４に格納され、第２光電変換素子２０２の第Ｌｍ＋４行の列データが、ラインバッファ１１２０−４に格納される。この転送タイミングで、出力制御部９３０は、ラインバッファ１１１０−１に格納されている第Ｌｍ行の列データを、第２画像処理エンジン２２０に出力し、ラインバッファ１１２０−１に格納されている第Ｌｍ＋１行の列データを、第１画像処理エンジン２１０に出力する。第１画像処理エンジン２１０に出力された列データは、第１部分画像データにおける最下部から１つ上のラインの列データとしてバッファ領域に格納される。また、第２画像処理エンジン２２０に出力された列データは、第２部分画像データにおける最上部から１つ下のラインの列データとしてバッファ領域に格納される。
【００７４】
第１光電変換素子２０１の第Ｌｍ−４行の列データが、ラインバッファ１１１０−５に格納され、第２光電変換素子２０２の第Ｌｍ＋５行の列データが、ラインバッファ１１２０−５に格納される。この転送タイミングで、出力制御部９３０は、ラインバッファ１１２０−１に格納されている第Ｌｍ＋１行の列データを、第２画像処理エンジン２２０に出力し、ラインバッファ１１１０−１に格納されている第Ｌｍ行の列データを、第１画像処理エンジン２１０に出力する。第１画像処理エンジン２１０に出力された列データは、第１部分画像データにおける最下部から３つ上のラインの列データとしてバッファ領域に格納される。また、第２画像処理エンジン２２０に出力された列データは、第２部分画像データにおける最上部から３つ下のラインの列データとしてバッファ領域に格納される。
【００７５】
この後、出力制御部９３０は、第１光電変換素子２０１および第２光電変換素子２０２からの読み出しに同期して、ラインバッファ１１１０からの列データの読み出し位置を順次にシフトして、第１画像処理エンジン２１０へ出力する。また、出力制御部９３０は、ラインバッファ１１２０からの列データの読み出し位置を順次にシフトして、第２画像処理エンジン２２０へ出力する。これにより、ラインバッファ１１１０およびラインバッファ１１２０から、第１画像処理エンジン２１０および第２画像処理エンジン２２０への列データの転送が完了すると、第１画像処理エンジン２１０のバッファ領域には、第Ｌｍ行の光電変換素子列より２行下の光電変換素子列の出力を含む第１部分画像データが格納された状態になる。また、第２画像処理エンジン２２０のバッファ領域には、第Ｌｍ＋１行の光電変換素子列より２行上の光電変換素子列の出力を含む第２部分画像データが格納された状態になる。
【００７６】
図１２は、画像処理を行う場合の画像処理エンジン部１３５における動作フローの変形例を示す。本フローは、図３のステップＳ３０６、ステップＳ３５６の内部フローとして適用できる。なお、本変形例を適用する場合、図３のＳ３０２においては、第１画像処理エンジン２１０は、第１光電変換素子２０１およびデータ光電変換素子列群１０２０に属する第２光電変換素子２０２に対応する部分の画像データを取得する。当該画像データを第１拡張部分画像データと呼ぶ。図３のＳ３５２においては、第２画像処理エンジン２２０は、光電変換素子列群１０１０に属する第１光電変換素子２０１および第２光電変換素子２０２に対応する画像の画像データを取得する。当該画像データを第２拡張部分画像データと呼ぶ。
【００７７】
本フローが開始すると、第１画像処理エンジン２１０においては、第１拡張部分画像データに画像処理を施す（ステップＳ１２０２）。本処理では、第１画像処理エンジン２１０は、フィルタを適用して、ＲＡＷ画像データに色補間処理を施して、ＹＵＶ形式の画像データに変換する。輪郭強調処理等、種々の画像処理を施してよい。そして、第１画像処理エンジン２１０は、画像処理後の第１拡張部分画像データに圧縮処理を施し（ステップＳ１２０４）、ステップＳ１２０６に処理を進める。一例として、ステップＳ１２０４では、第１画像処理エンジン２１０は、ＪＰＥＧ形式の画像データを生成する。
【００７８】
第２画像処理エンジン２２０では、ステップＳ１２０２において、第２画像処理エンジン２２０においては、第２拡張部分画像データに画像処理を施す（ステップＳ１２５２）。本処理では、ステップＳ１２０２で第１拡張部分画像データに施された画像処理と同種の画像処理を施す。そして、第２画像処理エンジン２２０は、画像処理後の第２拡張部分画像データに圧縮処理を施す（ステップＳ１２５４）。本処理では、ステップＳ１２０２で第１拡張部分画像データに施された圧縮処理と同種の圧縮処理を施す。そして、第２画像処理エンジン２２０は、ステップＳ１２５４で第２拡張部分画像デーを圧縮することにより得られた圧縮部分画像データを、第１画像処理エンジン２１０へ送信する（ステップＳ１２５６）。
【００７９】
第１画像処理エンジン２１０では、ステップＳ１２０６において第１拡張部分画像デーを圧縮することにより得られた圧縮部分画像データと、第２画像処理エンジン２２０から受信した圧縮部分画像データとをマージする。本処理では、第１画像処理エンジン２１０は、ＪＰＥＧ形式のデータを生成する。そして、第１画像処理エンジン２１０は、マージして得られた全体画像の圧縮画像データを、外部メモリ１８０へ記録し、本フローを終了する。
【００８０】
本変形例によれば、第１画像処理エンジン２１０および第２画像処理エンジン２２０は、第１光電変換素子２０１と第２光電変換素子２０２との境界の画像領域にも、２次元フィルタを用いた画像処理を行うことができる。このため、第１画像処理エンジン２１０および第２画像処理エンジン２２０においてそれぞれ色補間処理や、ＹＵＶ信号への変換処理等の種々の画像処理を行うことができる。そのため、第１画像処理エンジン２１０および第２画像処理エンジン２２０で画像処理を分担することができる。また、本フローで説明したように、第２画像処理エンジン２２０は、圧縮後の部分画像データを第１画像処理エンジン２１０へ送信するので、第１画像処理エンジン２１０への転送データ量を削減することができる。
【００８１】
本図においては、圧縮後の部分画像データを第１画像処理エンジン２１０へ送信する場合を取り上げて説明した。しかし、ＹＵＶ形式の部分画像データを、第１画像処理エンジン２１０へ送信してもよい。そして、第１画像処理エンジン２１０において、ＹＵＶ形式の部分画像データのマージを行ってもよい。なお、マージにより得られた全体画像の画像データは、第１画像処理エンジン２１０において圧縮され、外部メモリ１８０に記録されてよい。また、第１画像処理エンジン２１０は、マージにより得られた全体画像の画像データから、表示用の画像データを生成して、表示制御部１３７を介して表示部１３８に表示させてよい。
【００８２】
なお、表示用の画像データおよび記録用の圧縮画像データを生成する場合、第１画像処理エンジン２１０が圧縮画像データの生成を担い、第２画像処理エンジン２２０が表示用の画像データの生成を担ってもよい。第２画像処理エンジン２２０が表示用の画像データの生成を担う場合、本図のステップＳ１２０２において画像処理により得られた画像データを、第２画像処理エンジン２２０へ送信して、第２画像処理エンジン２２０において、表示用の全体画像の画像データを生成してもよい。この場合、第１画像処理エンジン２１０は、表示部１３８が有する表示画素数に応じて画素の間引き処理が施された画像データを生成して、第２画像処理エンジン２２０へ送信してもよい。
【００８３】
図１３は、撮像素子１３２から画像処理エンジン部１３５へ他の転送態様で転送するブロック構成の一例を模式的に示す。本例のカメラ１０は、図１から図８等に関連して説明した機能ブロックに加えて、出力切換部１３００をさらに有する。本転送形態では、出力切換部１３００の制御により、同一のタイミングで露光を開始して出力された第１部分画像データおよび第２部分画像データは、異なるフレームの部分画像データとして画像処理エンジン部１３５へ出力される。出力切換部１３００は、第１部分画像データの出力先を、第１画像処理エンジン２１０と第２画像処理エンジン２２０との間でフレーム毎に切り換える。また、出力切換部１３００は、第２部分画像データの出力先を、第１画像処理エンジン２１０と第２画像処理エンジン２２０との間でフレーム毎に切り換える。
【００８４】
図１４は、撮像素子１３２の読み出しおよび出力先の切り替え制御の一例を模式的に示す。本図の例では、時刻ｔ１、ｔ２、ｔ３から、第１光電変換素子２０１および第２光電変換素子２０２の露光が開始されるとする。本転送態様では、複数のタイミングのそれぞれから、光電変換素子列Ｌ１〜Ｌｍおよび第２光電変換素子列Ｌｍ＋１〜Ｌｎで、光電変換素子列Ｌ１〜Ｌｎが並ぶ特定の方向に順次に露光させる。具体的には、第１光電変換素子２０１においてはＬ１、Ｌ２、Ｌ３・・・の順で露光が開始され、第２光電変換素子２０２においてはＬｍ＋１、Ｌｍ＋２、Ｌｍ＋３・・・の順で露光が開始される。すなわち、第１光電変換素子２０１の光電変換素子列および第２光電変換素子２０２の光電変換素子列は、同一方向に順次に読み出しが開始される。そして、光電変換素子列Ｌ１〜Ｌｍのうち光電変換素子列Ｌｍが、順次に露光した場合に最後に露光される。光電変換素子列Ｌｍ＋１〜Ｌｎのうち、光電変換素子列Ｌｍに隣接する光電変換素子列Ｌｍ＋１が、順次に露光した場合に最初に露光される。
【００８５】
時刻ｔ１から露光が開始されて第１光電変換素子２０１から出力された第１部分画像データは、出力切換部１３００の制御により第１画像処理エンジン２１０へ出力され、第Ｎフレームの上領域の画像の画像データとして、バッファ領域に格納される。また、時刻ｔ１から露光が開始されて第２光電変換素子２０２から出力された第２部分画像データは、出力切換部１３００の制御により第２画像処理エンジン２２０へ出力され、第Ｎ−１フレームの上領域の画像の画像データとして、バッファ領域に格納される。
【００８６】
時刻ｔ１から光電変換素子列Ｌｍの露光を開始した後の時刻ｔ２から、第１光電変換素子列Ｌ１〜Ｌｍおよび第２光電変換素子列Ｌｍ＋１〜Ｌｎで、順次に露光させる。時刻ｔ２は、光電変換素子列Ｌｍの露光が終了する時刻より前の時刻であってよい。時刻ｔ２から露光が開始されて第２光電変換素子２０２から出力された第２部分画像データは、出力切換部１３００の制御により第１画像処理エンジン２１０へ出力され、第Ｎフレームの下領域の画像の画像データとして、バッファ領域に格納される。そして、第１画像処理エンジン２１０において、第Ｎフレームの画像データに対して画像処理および符号化が行われ、表示部１３８の表示や外部メモリ１８０への記録に供される。
【００８７】
時刻ｔ３以後の部分画像データについても同様に、出力切換部１３００の制御により、画像データの出力先は交互に切り替わる。このため、時刻ｔ３から露光が開始されて得られた第２部分画像データは、第２画像処理エンジン２２０へ出力され、第２画像処理エンジン２２０において第Ｎ＋１フレームの画像データに対して画像処理および符号化が行われ、表示部１３８の表示や外部メモリ１８０への記録に供される。
【００８８】
このように、本転送態様によれば、出力切換部１３００は、第１のタイミングから光電変換素子列Ｌ１〜Ｌｍで順次に露光することにより複数の光電変換素子列Ｌ１〜Ｌｍから出力された第１部分画像データ、および、第１のタイミングに続く第２のタイミングから光電変換素子列Ｌｍ＋１〜Ｌｎで順次に露光することにより光電変換素子列Ｌｍ＋１〜Ｌｎから出力された第２部分画像データを、１つの第１画像の画像データとして出力する。また、出力切換部１３００は、第２のタイミングから複数の光電変換素子列Ｌ１〜Ｌｍで順次に露光することにより光電変換素子列Ｌ１〜Ｌｍから出力された第３部分画像データ、および、第２のタイミングに続く第３のタイミングから光電変換素子列Ｌｍ＋１〜Ｌｎで順次に露光することにより第２光電変換素子列Ｌｍ＋１〜Ｌｎから出力された第２部分画像データを、第１画像に続く第２画像の画像データとして出力する。第１画像処理エンジン２１０および第２画像処理エンジン２２０は、それぞれ第１画像の画像データおよび第２画像の画像データに画像処理を施す。なお、出力切換部１３００は、光電変換素子列Ｌ１〜Ｌｍから出力された部分画像データおよび光電変換素子列Ｌｍ＋１〜Ｌｎから出力された部分画像データの出力先を第１画像処理エンジン２１０および第２画像処理エンジン２２０との間で順次に切り替えるセレクタを有してよい。本転送制御例によれば、光電変換素子を２分割して並列に読み出すことで読み出し時間を短縮することができる。高速な読み出しを実現しつつ、第１光電変換素子２０１および第２光電変換素子２０２の出力を、１つの画像処理エンジンで画像処理させることができる。このため、第１光電変換素子２０１および第２光電変換素子２０２の境界の領域の列データを各画像処理エンジンへ重複して供給する必要がない。また、第１画像処理エンジン２１０および第２画像処理エンジン２２０のそれぞれへ出力される画像データは、１つの全体画像の画像データであるので、画像処理エンジンにおけるセンサ補正処理等の画像処理機能を大きく変更する必要がない。
【００８９】
また、被写体に動きがあり、被写体像にローリング歪が生じる場合でも、いわゆるローリング歪は一定方向の歪となる。１つの全体画像の全領域にわたって、ローリング歪の方向が一定になるので、閲覧者にとって違和感の少ない動画データをすることができる。
【００９０】
図１５は、転送制御の変形例を示す。本変形例では、第１駆動回路２１および第２駆動回路２２のそれぞれは、第１画像処理エンジン２１０および第２画像処理エンジン２２０のいずれに画像処理させるかを識別する識別信号を、光電変換素子列Ｌ１〜Ｌｍから出力された部分画像データおよび光電変換素子列Ｌｍ＋１〜Ｌｎから出力された部分画像データにそれぞれ対応づけて出力する。第１駆動回路２１および第２駆動回路２２が出力する識別情報と、第１画像処理エンジン２１０および第２画像処理エンジン２２０が識別情報に基づいて部分画像データの受け入れを決定することによって、第１画像処理エンジン２１０および第２画像処理エンジン２２０が扱う部分画像データが切り替えられる。具体的には、第１駆動回路２１および第２駆動回路２２の出力は、それぞれ第１画像処理エンジン２１０および第２画像処理エンジン２２０に供給される。ここで、第１駆動回路２１および第２駆動回路２２は、それぞれを識別する識別コードと、出力先の画像処理エンジンを識別する同期コードに対応づけて、部分画像データを出力する。
【００９１】
図１４に例示したシーケンスで画像処理させる場合、第１駆動回路２１は、時刻ｔ１から露光を開始して得られた部分画像データに対応づけて、同期コードＳｙｎｃＡを出力する。一方、第２駆動回路２２は、時刻ｔ１から露光を開始して得られた部分画像データに対応づけて、同期コードＳｙｎｃＢを出力する。そして、第１駆動回路２１は、時刻ｔ２から露光を開始して得られた部分画像データに対応づけて、同期コードＳｙｎｃＢを出力する。また、第２駆動回路２２は、時刻ｔ２から露光を開始して得られた部分画像データに対応づけて、同期コードＳｙｎｃＡを出力する。
【００９２】
第１画像処理エンジン２１０は、同期コードＳｙｎｃＡに対応づけて出力された部分画像データを受け取って、バッファ領域に格納する。第２画像処理エンジン２２０は、ＳｙｎｃＢに対応づけて出力された部分画像データを受け取って、バッファ領域に格納する。このため、時刻ｔ１から露光を開始して得られた第１部分画像データは、ＳｙｎｃＡに対応づけて第１駆動回路２１から出力されたものと判断され、第１画像処理エンジン２１０が第１部分画像データを受け入れて、第Ｎフレームの下領域の部分領域の画像データとしてバッファ領域に格納する。そして、時刻ｔ２から露光を開始して得られた第２部分画像データは、ＳｙｎｃＡに対応づけて第２駆動回路２２から出力されたものと判断され、第１画像処理エンジン２１０が第２部分画像データを受け入れて、第Ｎフレームの下領域の部分領域の画像データとしてバッファ領域に格納する。
【００９３】
なお、以上の例では、いわゆるローリングシャッタ方式で撮像動作を行う場合について説明した。静止画を撮像する場合等、いわゆるグローバルシャッタ動作を行う場合には、第１光電変換素子２０１および第２光電変換素子２０２の蓄積電荷をリセットした後、第１光電変換素子２０１、第２光電変換素子２０２の順に読み出しを行い、第１光電変換素子２０１の出力および第２光電変換素子２０２からの出力を、第１画像処理エンジン２１０へ出力するようにすればよい。すなわち、１つの静止画の画像データを生成する撮像動作を行う場合に、露光開始タイミングから、第１光電変換素子列Ｌ１からＬｍで第１の方向に順次に露光させ、第１の露光開始タイミングに続くタイミングから、第２光電変換素子列Ｌｍ＋１〜Ｌｎで光電変換素子列Ｌ１〜Ｌｎが並ぶ方向に順次に露光させる。出力切換部１３００は、第１の露光開始タイミングの続くタイミングから光電変換素子列Ｌ１〜Ｌｍで順次に露光することにより光電変換素子列Ｌ１〜Ｌｍから出力された第１部分画像データ、および、続くタイミングから光電変換素子列Ｌｍ＋１〜Ｌｎで順次に露光することにより光電変換素子列Ｌｍ＋１〜Ｌｎから出力された部分画像データを、静止画の画像データとして出力してよい。
【００９４】
また、図１から図１２等に関連して説明したように、評価値算出処理等の種々の処理を第１画像処理エンジン２１０および第２画像処理エンジン２２０で分担してもよい。例えば、処理の種類毎に、第１画像処理エンジン２１０および第２画像処理エンジン２２０の間で演算を分担してもよい。例えば、第１画像処理エンジン２１０が顔検出を行い、第２画像処理エンジン２２０がテンプレートマッチングを行うようにしてもよい。
【００９５】
以上に説明した転送態様によれば、第１画像処理エンジン２１０、第２画像処理エンジン２２０を大きく設計変更することなく、撮像素子１３２が有する光電変換素子を複数組に分けて並列に読み出す読み出し制御に対応させることができる。
【００９６】
なお、以上の説明では、撮像素子１３２は、光電変換素子の組を２組有するとした。しかし、撮像素子１３２は、光電変換素子の組を３組以上有してもよい。画像処理エンジン部１３５は、光電変換素子の組の数と同数の画像処理エンジンを有してよい。また、光電変換素子の組の配置態様としては、本例に説明したように上下方向に分離して配置する態様だけでなく、種々の配置態様を適用できる。例えば、第１光電変換素子と第２光電変換素子を、行方向および列方向の少なくとも一方に、交互に設けてもよい。
【００９７】
上記の説明において、カメラＭＰＵ１４０の動作として説明した処理は、カメラＭＰＵ１４０がプログラムに従ってカメラ１０が有する各ハードウェアを制御することにより実現される。また、上記の説明において画像処理エンジン部１３５により実現される処理は、プロセッサによって実現することができる。例えば、画像処理エンジン部１３５の動作として説明した処理は、プロセッサがプログラムに従ってカメラ１０が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態のカメラ１０に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
【００９８】
また、本実施形態において、レンズユニット１２０が装着された状態のカメラ１０を、撮像装置の一例として取り上げた。しかし、撮像装置とは、レンズユニット１２０が装着されていないカメラ本体１３０を含む概念である。撮像装置としては、レンズ交換式カメラの一例である一眼レフレックスカメラの他に、レンズ非交換式カメラの一例であるコンパクトデジタルカメラ、ミラーレス式カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の電子機器を適用の対象とすることができる。
【００９９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１００】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０１】
１０  カメラ、２０  レンズユニット、１２１  レンズマウント接点、１２２  レンズ群、１２３  レンズＭＰＵ、１２４  レンズ駆動部、１３０  カメラ本体、１３１  カメラマウント接点、１３２  撮像素子、１３５  画像処理エンジン部、１３６  ＲＡＭ、１３７  表示制御部、１３８  表示部、１３９  システムメモリ、１４０  カメラＭＰＵ、１４１  操作入力部、１４２  ＡＦユニット、１４３  フォーカルプレーンシャッタ、１４４  測光素子、１４５  メインミラー、１４６  サブミラー、１４７  ファインダ部、１４８  駆動部、１４９  接続インタフェース、１５０  記録媒体ＩＦ、１８０  外部メモリ、１９０  電源、１９２  電源回路
【図１】
2014023114.tif 000003
【図２】
2014023114.tif 000004
【図３】
2014023114.tif 000005
【図４】
2014023114.tif 000006
【図５】
2014023114.tif 000007
【図６】
2014023114.tif 000008
【図７】
2014023114.tif 000009
【図８】
2014023114.tif 000010
【図９】
2014023114.tif 000011
【図１０】
2014023114.tif 000012
【図１１】
2014023114.tif 000013
【図１２】
2014023114.tif 000014
【図１３】
2014023114.tif 000015
【図１４】
2014023114.tif 000016
【図１５】
2014023114.tif 000017