(57)【要約】【課題】同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行する場合に、使用する画像信号の数が少ない処理の遅延を抑制可能な撮像装置およびその制御方法を提供すること。【解決手段】撮像装置は、撮像素子から読み出した画像信号を用いる第１の処理と、第１の処理よりも少ない画像信号を用いる第２の処理を実行することができる。撮像装置は、第２の処理に用いられる画像信号を優先して読み出して第２の処理を実行する。また、撮像装置は、読み出した画像信号を、第２の処理に用いられる画像信号を優先して読み出さない場合と同じ順序に並び替えて第１の処理を実行する。【選択図】  図１
2019024172.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子から画像信号を読み出す読み出し手段と、
前記読み出し手段が読み出した画像信号を用いた第１の処理を実行する第１の処理手段と、
前記読み出し手段が読み出した画像信号を用いた第２の処理を実行する第２の処理手段と、を有し、
前記第２の処理は前記第１の処理よりも少ない画像信号を用いる処理であり、
前記読み出し手段は、前記第２の処理に用いられる画像信号を前記第２の処理に用いられない画像信号よりも優先して読み出して前記第２の処理手段に供給し、
さらに、前記読み出し手段が読み出した画像信号を、前記第２の処理に用いられる画像信号を優先して読み出さない場合と同じ順序に並び替えて前記第１の処理手段に供給する第１の並び替え手段と、を有する
ことを特徴とする撮像装置。
【請求項２】
さらに、前記画像信号を用いた第３の処理を実行する第３の処理手段を有し、
前記第３の処理は前記第１の処理よりも少ない画像信号を用いる処理であり、
前記読み出し手段は、前記画像信号を、前記第３の処理に用いられる画像信号、前記第２の処理に用いられる画像信号、前記第１の処理だけに用いられる画像信号の順に読み出し、
前記第１の並び替え手段は、前記読み出し手段が読み出した画像信号を、前記撮像素子が有する画素の並び順に読み出した場合と同じ順序に並び替えて前記第１の処理手段に供給し、
前記撮像装置は、
前記第３の処理および前記第２の処理に用いられる画像信号と、前記第３の処理に用いられず前記第２の処理に用いられる画像信号とを、前記撮像素子が有する画素の並び順に読み出した場合と同じ順序に並び替えて前記第２の処理手段に供給する第２の並び替え手段をさらに有する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第３の処理が焦点検出用信号の生成であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記読み出し手段が読み出した前記第２の処理に用いられる画像信号から、該画像信号を読み出した画素とは異なる位置の画素に対応する画像信号を生成する生成手段をさらに有し、
前記生成手段は、前記読み出し手段が読み出した画像信号と、前記生成した画像信号とを、前記撮像素子における画素の並び順で前記第２の処理手段に供給する、
ことを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項５】
前記第２の処理に用いられる画像信号は前記第３の処理にも用いられることを特徴とする請求項２から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の処理が記録用画像の生成であり、前記第２の処理が表示用画像の生成であることを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像素子の画素領域は、部分領域ごとに用途が予め定められており、
前記読み出し手段は、前記部分領域ごとに前記画像信号を読み出す、
ことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記部分領域が画素ラインであり、
前記画素領域に含まれる複数の画素ラインには、用途として第２の処理が周期的に設定される、
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
撮像素子から読み出された画像信号を用いた第１の処理を実行する第１の処理手段と、
前記撮像素子から読み出された画像信号を用いた第２の処理を実行する第２の処理手段と、を有する撮像装置の制御方法であって、
前記第２の処理は前記第１の処理よりも少ない画像信号を用いる処理であり、
前記撮像素子から画像信号を読み出す読み出し工程であって、前記第２の処理に用いられる画像信号を前記第２の処理に用いられない画像信号よりも優先して読み出して前記第２の処理手段に供給する読み出し工程と、
前記読み出し工程で読み出された画像信号を、前記第２の処理に用いられる画像信号が優先して読み出されない場合と同じ順序に並び替えて前記第１の処理手段に供給する並び替え工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項１０】
撮像装置が有するコンピュータを、請求項１から請求項８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
撮像素子が有する画素のうち、一部を画素から信号を読み出して画像を生成することにより、読み出し速度の向上や画像の倍率の変更などを実現することが知られている（特許文献１)。
【０００３】
通常、表示装置の解像度は撮像素子の解像度（画素数）よりも低い。そのため、表示用の画像を生成する場合には、表示に必要な数の画素だけを読み出すことで、読み出しおよび画像処理に要する時間を短縮できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３３０３２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば動画記録を行いながらライブビュー表示を行う場合のように、同一フレームの撮影画像から記録用と表示用の画像を生成する場合がある。このような場合、記録用の画像を生成するために、表示用の画像の生成に必要な画素より多くの画素から信号を読み出す必要がある。その結果、撮影から表示用の画像が得られるまでに要する時間が、ライブビュー表示だけを行う場合よりも長くなり、ライブビュー表示のリアルタイム性が低下する。
【０００６】
このような従来技術の課題に鑑み、本発明は、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行する場合に、使用する画像信号の数が少ない処理の遅延を抑制可能な撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、撮像素子と、撮像素子から画像信号を読み出す読み出し手段と、読み出し手段が読み出した画像信号を用いた第１の処理を実行する第１の処理手段と、読み出し手段が読み出した画像信号を用いた第２の処理を実行する第２の処理手段と、を有し、第２の処理は第１の処理よりも少ない画像信号を用いる処理であり、読み出し手段は、第２の処理に用いられる画像信号を第２の処理に用いられない画像信号よりも優先して読み出して第２の処理手段に供給し、さらに、読み出し手段が読み出した画像信号を、第２の処理に用いられる画像信号を優先して読み出さない場合と同じ順序に並び替えて第１の処理手段に供給する第１の並び替え手段と、を有することを特徴とする撮像装置によって達成される。
【発明の効果】
【０００８】
本発明によれば、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行する場合に、使用する画像信号の数が少ない処理の遅延を抑制可能な撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係るデジタルカメラのブロック図
【図２】第１実施形態における画像信号の並びの経時変化を模式的に示す図
【図３】第１実施形態における並び替え部５のブロック図
【図４】第１実施形態における並び替え部５のタイミングチャート
【図５】第２実施形態に係るデジタルカメラのブロック図
【図６】第２実施形態における撮像素子の構成に関する図
【図７】第２実施形態における画像信号の並びの経時変化を模式的に示す図
【図８】第２実施形態における並び替え部１３のブロック図
【図９】第２実施形態における並び替え部１３のタイミングチャート
【図１０】第２実施形態における並び替え部１５のブロック図
【図１１】第２実施形態における並び替え部１５のタイミングチャート
【図１２】第３実施形態に係るデジタルカメラのブロック図
【図１３】第３実施形態における画像信号の並びの経時変化を模式的に示す図
【図１４】第３実施形態における並び替え部１８のブロック図
【図１５】第３実施形態における並び替え部１８のタイミングチャート
【図１６】第３実施形態における補間部１９の動作を模式的に示す図
【図１７】第３実施形態における補間部１９のブロック図
【図１８】第３実施形態における補間部１９のタイミングチャート
【図１９】実施形態に関するフローチャート
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の例示的な実施形態を説明する。本発明は、例えば動画像を記録しながらライブビュー表示を行うといったような、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行することが可能な任意の撮像装置に適用可能である。なお、本明細書における撮像装置とは、カメラのみならず、内蔵または外付けのカメラを制御可能な任意の電子機器を含む。このような電子機器にはスマートフォン、パーソナルコンピュータ、タブレット端末、ゲーム機などが含まれるが、これらに限定されない。
【００１１】
図１は、本発明に係る実施形態の一例としてのデジタルカメラ１００（以下、単にカメラ１００と呼ぶ）の構成要素のうち、撮像素子から信号を読み出し、記録用の画像および表示用の画像を生成するために用いられる構成要素を模式的に示したブロック図である。
撮影光学系１は、フォーカスレンズおよび絞りを含み、被写体像を撮像素子２の結像面に形成する。撮像素子２は２次元配置された複数の画素を有し、画素が有する光電変換部によって被写体像を電気信号群（画像信号）に変換する。撮像素子２はＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであってよい。
【００１２】
撮像ＩＦ部３（読み出し手段）は撮像素子２の駆動回路および読み出し回路を有し、システム制御部１０の制御に従って撮像素子２から画像信号を読み出す。撮像ＩＦ部３はまた、読み出した画像信号をメモリ４に出力する。撮像ＩＦ部３はさらに、読み出した画像信号の一部、具体的には記録用画像の生成に用い、表示用画像の生成に用いない画像信号を現像部８にも出力するセレクタとしても機能する。
【００１３】
メモリ４は画像信号を一時的に記憶するためのバッファとして用いられる。並び替え部５（第１の並び替え手段）は、メモリ４に記憶されている画像信号を、記録用の画像を構成する順序（撮像素子における並び）で読み出して現像部６に出力する。
【００１４】
現像部６（第１の処理手段）は例えばメモリおよび画像処理回路を有し、並び替え部５から供給される画像信号をメモリに格納する。現像部６は画像信号に現像処理（第１の処理）を適用して記録用の画像信号を生成する。現像処理はＲＡＷ画像信号を汎用的な画像信号に変換するための画像処理の総称である。現像処理には例えばノイズ低減、色補間、ホワイトバランス調整、光学歪み補正などの処理が含まれるが、特に処理の種類に制限はない。現像部６はさらに、管理情報の生成や画像信号の信号型式の変換（ＲＧＢ→ＹＣｒＣｂ）や符号化処理など、記録形式に応じた処理を実行し、画像信号を格納したデータファイルを生成する。データファイルの構造や、格納する管理情報の種類、画像信号のデータ形式は予め定められている。
【００１５】
記録部７は、システム制御部１０の制御に従い、記録媒体にデータを記録したり、記録媒体に記録されたデータを読み出したりする。記録媒体は例えば着脱可能なメモリカードであってよい。
【００１６】
現像部８（第２の処理手段）は例えばメモリおよび画像処理回路を有し、撮像ＩＦ部３から供給される画像信号をメモリに格納する。現像部８は、画像信号に現像部６と同様の現像処理（第２の処理）を適用することにより、表示用の画像信号を生成する。現像部８はデータファイルを生成しない。現像部８は例えば表示部９の解像度に合わせた画像のスケーリング処理など、表示のための処理を画像信号に適用してもよい。
【００１７】
表示部９は例えばＬＣＤなどの表示デバイス、ビデオメモリ、表示制御回路などを有する。表示制御回路は、現像部８からビデオメモリに書き込まれる画像信号を読み出し、ＬＣＤに表示させる。
【００１８】
システム制御部１０は例えば１つ以上のプログラマブルプロセッサである。システム制御部１０は、例えばＲＯＭ１０２に記憶されているプログラムをＲＡＭ１０１に読み込んで実行することにより、上述した各部の動作を制御し、カメラ１００の機能を実現する。なお、システム制御部１０は、例えば表示用の画像信号に基づいて自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）といった、一般的なカメラが有する機能も実現する。
【００１９】
操作部１０３は、ボタン、スイッチ、タッチパネルなどの入力デバイス群の総称である。操作部１０３の操作はシステム制御部１０で検出され、システム制御部１０は検出された操作に応じた処理を実行する。
【００２０】
ＲＡＭ１０１はシステム制御部１０がワークエリアとして用いるメモリである。なお、ＲＡＭ１０１、メモリ４、および現像部６，８が有するメモリは、同一メモリ空間の一部領域であってもよい。
ＲＯＭ１０２は、システム制御部１０が実行するためのプログラム、ＧＵＩデータ、設定値などを記憶する。ＲＯＭ１０２は書き換え可能であってよい。
【００２１】
本実施形態においては、撮像素子２の画素領域について、所定サイズの部分領域ごとにその用途が予め設定されているものとする。具体的には、各部分領域について、記録および表示の両方に用いる領域（表示兼用領域）か、記録だけに用いる領域（記録専用領域）かが予め設定されているものとする。部分領域とその用途との関係は例えばＲＯＭ１０２に記憶しておくことができる。
【００２２】
ここでは一例として、複数の画素が２次元配置された画素領域をラスタースキャンする際の１スキャンラインに相当する画素ラインを部分領域とする。なお、部分領域を複数の画素ラインで構成してもよい。また、画素領域をスキャン方向とスキャン方向に直交する二方向とにそれぞれ複数分割した個々の領域を部分領域としてもよい。
【００２３】
以下の説明では、表示兼用領域に設定された画素ラインを表示兼用ライン、記録専用領域に設定された画素ラインを記録専用ラインと呼ぶ。また、本実施形態では、表示兼用ラインを周期的に設定する。これは、１フレームの撮像画像をおおよそ均等に縮小した表示用画像を表示兼用ラインから読み出した画像信号に基づいて生成するためである。
【００２４】
図２（ａ）は、表示兼用ラインが４画素ラインごとに割り当てられた、１３画素ラインから構成される画素領域を模式的に示している。先頭の画素ラインの番号を０、ｎを０以上の整数とすると、番号が４ｎの画素ラインが表示兼用ライン、残りの画素ラインが記録専用ラインである。
【００２５】
本実施形態において、撮像ＩＦ部３は、記録用と表示用の両方の画像を生成する必要がある場合、１フレームの画像信号について、全ての表示兼用ラインを読み出してから、記録専用ラインを読み出す。従って、撮像素子２からは図２（ｂ）に示す順序で画像信号が読み出される。なお、撮像ＩＦ部３は、例えば撮影スタンバイ時のように、記録を実行せずに表示を実行している間は、１フレームの撮像画像のうち、表示兼用ラインだけを読み出す。また、撮像ＩＦ部３は、表示を実行せずに記録を実行している間は、１フレームの撮像画像を画素ラインの順番通りに読み出す。表示を実行しないのは、例えば表示部９での表示を行わないように操作部１１から設定された場合などである。
【００２６】
上述の通り、撮像素子２の画素領域は部分領域ごとの用途が事前に設定されている。そのため、記録用と表示用の両方の画像を生成する必要がある場合、表示用の画像だけを生成する場合、記録用の画像だけを生成する場合、の３通りの読み出しモードについて、読み出し順序を予め定めておくことができる。従って、例えばシステム制御部１０はカメラ１００の動作状況に応じて読み出しモードを撮像ＩＦ部３に設定し、撮像ＩＦ部３は設定された読み出しモードに応じた画像信号の読み出しを実行するように構成してもよい。
【００２７】
図２（ｃ）は、撮像ＩＦ部３から読み出された画像信号がメモリ４に格納された状態を模式的に示している。メモリ４には読み出された順序で画像信号が格納されるため、メモリ４内の画像信号の並びは図２（ｂ）に示した読み出し順序と同じである。
【００２８】
図３は、並び替え部５の機能ブロック図である。
読み出し制御部５１および読み出し制御部５２は、並び替え制御部５３の制御に従い、メモリ４の所定のアドレスから画像信号を読み出す。セレクタ５４は、並び替え制御部５３の制御に従い、読み出し制御部５１および読み出し制御部５２の出力の一方を現像部６へ出力する。並び替え制御部５３は、読み出し制御部５１および読み出し制御部５２の読み出しアドレスと、セレクタ５４が選択する出力の切り替えとを制御する。並び替え制御部５３は、メモリ４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部５１、読み出し制御部５２、およびセレクタ５４の動作を制御する。
【００２９】
図４は並び替え部５の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部５１は、メモリ４内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。同様に、読み出し制御部５２は、メモリ４内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部５３が読み出し制御部５１、５２に設定してもよい。なお、表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部３がメモリ４への格納を開始する際にシステム制御部１０に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、表示兼用ラインが格納されている先頭アドレス、表示兼用ラインの数、１表示兼用ラインあたりのデータ量から算出することができる。
【００３０】
そして、読み出し制御部５１、５２は、並び替え制御部５３から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ５４は、並び替え制御部５３から入力される制御信号がＬレベルの期間に読み出し制御部５１の出力を、Ｈレベルの期間に読み出し制御部５２の出力を、それぞれ選択して現像部６へ供給するものとする。したがって、並び替え制御部５３は、読み出し制御部５１およびセレクタ５４に同一の制御信号ＳＴＯＰを供給する。そして、読み出し制御部５２には制御信号ＳＴＯＰのレベルを反転した制御信号が供給される。
【００３１】
図２（ｃ）に示した並びで画像信号がメモリ４に格納されている場合、並び替え制御部５３は、図４に示すように、表示兼用ラインの１ライン読み出しと、記録専用ラインの３ライン読み出しとが交互に実行されるように制御信号ＳＴＯＰの論理レベルを制御する。これにより、現像部６には、図２（ｄ）のような（図２（ａ）と同じ）順序で画像信号が出力される。
【００３２】
なお、図３の並び替え部５は、表示兼用ラインの画像信号は読み出し制御部５１が、記録専用ラインの画像信号は読み出し制御部５２が読み出し、セレクタ５４で読み出し制御部５１，５２の一方の出力を現像部６へ供給する構成を有する。しかし、並び替え部５は、１つの読み出し制御部と、並び替え制御部５３とから構成してもよい。この場合、番号０の画素ラインの画像信号、番号１の画素ラインの画像信号、・・・という順序で読み出し制御部がメモリ４から画像信号を読み出すよう、並び替え制御部５３が読み出しアドレスや読み出し範囲を制御する。
【００３３】
撮像ＩＦ部３は、撮像素子２から読み出される各フレームの画像において、表示兼用ラインから先に読み出すことは先に述べた。また、撮像ＩＦ部３は、表示兼用ラインから読み出した画像信号については、メモリ４だけでなく、現像部８にも出力する。これにより、１フレーム全体の画像信号を読み出し終わるより前に、現像部８には表示用画像を生成するために必要な画像信号が供給される。従って、撮影から現像部８で表示用画像を生成するまでの時間が短縮され、表示用画像がほぼリアルタイムに表示されるようになる。
【００３４】
なお、記録中に表示を行う際の、撮影から表示用画像が生成されるまでの時間を短縮する効果が最も高い構成として、表示に用いる領域の画像信号を全て読み出してから、記録だけに用いる領域の画像信号を読み出す構成を説明した。しかし、１フレーム分の画像信号が全て読み出されるよりも前に、表示に用いる領域の画像信号が全て読み出されれば効果は得られる。従って、必ずしも１フレームの撮影画像を読み出す際、表示に用いる領域の画像信号を最初に全て読み出さなくてもよい。
【００３５】
以上、説明したように、本実施形態によれば、同一フレームの撮影画像から記録用と表示用の画像を生成する場合、表示用の画像に用いる画像信号を記録用の画像だけに用いる画像信号よりも優先して読み出すようにした。そのため、表示用の画像の生成に要する時間を短縮することができる。また、読み出した画像信号を、通常の順序で読み出した場合と同等になるように並び替えてから記録用の画像を生成するようにしたので、記録用の画像も正しく生成することができる。
【００３６】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、撮像素子が像面位相差方式の焦点検出用信号を生成可能な構成である点で第１実施形態と異なる。具体的には、画素領域の部分領域ごとの用途として、表示および記録用と記録用の他に、ＡＦおよび記録用、ＡＦ・表示・記録用が設定される。以下では、ＡＦおよび記録用に設定された画素ラインをＡＦ兼用ライン、ＡＦ・表示・記録の全てに用いられるように設定された画素ラインをＡＦ表示兼用ラインと呼ぶ。
【００３７】
図５は本実施形態に係るカメラ１００Ｂの機能構成例を示すブロック図であり、第１実施形態と同一の構成には同一参照番号を付してある。以下では、第１実施形態と異なる点について主に説明する。
【００３８】
まず、撮像素子１１の構成および撮像ＩＦ部１２の読み出し動作について図６を用いて説明する。
図６（ａ）および図６（ｂ）は、撮像素子１１の画素領域におけるマイクロレンズおよび光電変換部の配置例を示す図である。画素領域は複数のマイクロレンズ１１ｆによって構成されるマイクロレンズアレイを有する。本実施形態の撮像素子１１は、１つのマイクロレンズに対して複数のフォトダイオード（ＰＤ）が設けられた構成を有する。図６（ａ）ではマイクロレンズあたり２つ、図６（ｂ）ではマイクロレンズあたり４つのＰＤが設けられた例を示す。なお、マイクロレンズあたりのＰＤの数に特に制限はない。
【００３９】
図６（ａ）の構成例において、ＰＤ１１ｈはＡ像用光電変換部、ＰＤ１１ｇはＢ像用光電変換部を構成する。１つのマイクロレンズ１１ｆに対応する撮像領域を１画素とした場合、画素領域には、水平方向にｈ画素、垂直方向にｖ画素配置されている。ＰＤ１１ｈとＰＤ１１ｇで蓄積された信号は、加算された後、あるいは別個に、電圧信号に変換され、画像信号として読み出される。ＰＤ１１ｈとＰＤ１１ｇには、マイクロレンズ１１ｆに対応する瞳領域の異なる一部から光束が入射するため、ＰＤ１１ｈの信号群から得られる像信号と、ＰＤ１１ｇの信号群から得られる像信号とは視点の異なる像となる。ＡＦ部１６は、これら１対の像信号（焦点検出用信号）の位相差を相関演算によって求め、デフォーカス量に変換することにより、撮影光学系１のフォーカスレンズの駆動量および方向が得られる。ここではＰＤ１１ｈ群から得られる像信号をＡ像、ＰＤ１１ｇ群から得られる像信号をＢ像と呼び、ＰＤ１１ｈをＡ像用光電変換部、ＰＤ１１ｇをＢ像用光電変換部と呼ぶ。図６（ａ）では、ＰＤ１１ｈとＰＤ１１ｇとが水平方向に並んで配置されているため、Ａ像とＢ像との相関演算からは水平方向の位相差が得られるが、ＰＤ１１ｈとＰＤ１１ｇとを垂直方向に並んで配置すれば同様にして垂直方向の位相差が得られる。
【００４０】
図６（ｂ）に示す構成の場合、ＰＤ１１ｊ、ＰＤ１１ｋ、ＰＤ１１ｍ、およびＰＤ１１ｎでそれぞれ視点の異なる像が得られる。例えばＰＤ１１ｊと１１ｋの信号を加算し、ＰＤ１１ｍと１１ｎの信号を加算すれば、実質的に図６（ａ）と同様の構成として取り扱うことができる。また、ＰＤ１１ｊと１１ｍの信号を加算し、ＰＤ１１ｋと１１ｎの信号を加算すれば、垂直方向にＰＤを２つ設けた構成と同様に取り扱うことができる。
【００４１】
本実施形態において、撮像ＩＦ部１２は、個々のＰＤから独立して、またはマイクロレンズを共有する複数のＰＤの２つ以上の電荷を加算して読み出すことができる。
表示および記録用（表示兼用ライン）および記録用（記録専用ライン）については、各画素の全ＰＤの電荷を加算した信号を読み出す。
【００４２】
また、ＡＦおよび記録用（ＡＦ兼用ライン）およびＡＦ・表示・記録用（ＡＦ表示兼用ライン）については、ＰＤごとの信号、もしくは各画素の全ＰＤの加算信号と、一部のＰＤの信号を読み出す。例えば、図６（ａ）に示すように、画素あたり２つのＰＤ１１ｈ、１１ｇが設けられている場合、撮像ＩＦ部１２は、１１ｈ＋１１ｇの加算信号と、１１ｈまたは１１ｇの信号の２つを読み出すか、１１ｈと１１ｇとのそれぞれから信号を読み出す。また、図６（ｂ）の構成において図６（ａ）の構成と同様のＡ像およびＢ像を得る場合、撮像ＩＦ部１２は、１１ｊ＋１１ｋ＋１１ｍ＋１１ｎの加算信号と、１１ｊ＋１１ｋの加算信号もしくは１１ｍ＋１１ｎの加算信号とを読み出す。あるいは、撮像ＩＦ部１２は、１１ｊ＋１１ｋの加算信号と、１１ｍ＋１１ｎの加算信号とを読み出す。
【００４３】
撮像ＩＦ部１２は、読み出した全ての画像信号をメモリ４に出力する。撮像ＩＦ部１２はさらに、表示用の画像生成に用いる画像信号はメモリ１４に、ＡＦに用いる画像信号はＡＦ部１６にもそれぞれ出力する。メモリ１４は、並び替え部１５が用いるバッファメモリである。メモリ１４も他のメモリと同じメモリ空間の領域であってよい。
【００４４】
並び替え部１３は、割り当てられた用途に応じた読み出し順でメモリ４に格納された画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように読み出して現像部６に供給する。
【００４５】
並び替え部１５（第２の並び替え手段）は、割り当てられた用途に応じた読み出し順でメモリ１４に格納された表示用の画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように読み出して現像部８に供給する。
【００４６】
ＡＦ部１６（第３の処理手段）は、撮像ＩＦ部１２から供給される、ＡＦ兼用ラインとＡＦ表示兼用ラインの画像信号から、上述した焦点検出用信号（Ａ像およびＢ像）を生成する（第３の処理）。そしてＡＦ部１６は、相関演算によってＡ像とＢ像の位相差を算出し、システム制御部１０に出力する。
システム制御部１０はＡＦ部１６から得られる位相差をデフォーカス量に変換する。そして、システム制御部１０は、デフォーカス量に基づいて撮影光学系１のフォーカスレンズを駆動する。
【００４７】
図７は、図２と同様に本実施形態における画像信号の配列の変化を示した図である。ここでは、画像が２１画素ラインで構成されているものとする。図７（ａ）に示すように、本実施形態においても、先頭の画素ラインの番号を０、ｎを０以上の整数とすると、番号が４ｎの画素ラインが表示に用いられる画素ライン（表示兼用ラインもしくはＡＦ表示兼用ライン）である。また、ＡＦに用いられる画素ライン（ＡＦ兼用ラインもしくはＡＦ表示兼用ライン）が４画素ラインずつ２箇所に割り当てられ、残りは記録専用ラインである。なお、ＡＦに用いられる画素ラインは例えば焦点検出領域の設定に応じて動的に位置が変化してもよい。
【００４８】
本実施形態において、撮像ＩＦ部１２は、同一フレームの撮像画像から記録用画像、表示用画像に加え、ＡＦ用信号を必要がある場合、ＡＦ動作の速度を最優先とし、表示用画像の生成の速度を次に優先する。そのため、撮像ＩＦ部１２はまず、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）をラスタースキャン順（画素ラインの番号の小さい順）に読み出す。撮像ＩＦ部１２は、ＡＦに用いられる画素ラインを全て読み出すと、次に、表示に用いられる画素ラインで、ＡＦに用いられない画素ライン（表示兼用ライン）を読み出す。ＡＦ表示兼用ラインは既に読み出されているためである。そして、撮像ＩＦ部１２は、ＡＦ兼用ラインを全て読み出すと、最後に記録専用ラインを読み出す。従って、撮像素子２からは図７（ｂ）に示す順序で画像信号が読み出される。なお、撮影モードや、撮影条件に応じて、表示に用いられる画素ラインをＡＦに用いられる画素ラインよりも優先して読み出すようにしてもよい。つまり、本実施形態では、１フレームの画像信号について、ＡＦに用いられる画素ラインと、表示に用いられる画素ラインとを、記録専用ラインよりも優先して読み出す。
【００４９】
なお、撮像ＩＦ部１２は、例えば撮影スタンバイ時のように、記録を実行せずに表示およびＡＦを実行している間は、１フレームの撮像画像のうち、記録専用ライン以外を読み出す。また、撮像ＩＦ部３は、表示およびＡＦを実行せずに記録を実行している間は、１フレームの撮像画像を画素ラインの順番通りに読み出す。
【００５０】
図７（ｃ）は、撮像ＩＦ部１２から読み出された画像信号がメモリ４に格納された状態を模式的に示している。メモリ４には読み出された順序で画像信号が格納されるため、メモリ４内の画像信号の並びは図７（ｂ）に示した読み出し順序と同じである。
【００５１】
図７（ｅ）は、撮像ＩＦ部１２から読み出された画像信号がメモリ１４に格納された状態を模式的に示している。メモリ１４には表示に用いられる画像信号が読み出された順序で格納されるため、ＡＦ表示兼用ラインが先に格納され、その後ＡＦ兼用ラインが格納される。
【００５２】
図８は、並び替え部１３の機能ブロック図である。
読み出し制御部５５〜５７は、並び替え制御部５８の制御に従い、メモリ４の所定のアドレスから画像信号を読み出す。セレクタ５９は、並び替え制御部５８の制御に従い、読み出し制御部５５〜５７の出力の一つを現像部６へ出力する。並び替え制御部５８は、読み出し制御部５５〜５７の読み出しアドレスと、セレクタ５９が選択する出力の切り替えとを制御する。並び替え制御部５８は、メモリ４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部５５〜５７およびセレクタ５９の動作を制御する。これにより、図７（ｄ）に示す順序で画像信号が出力される。
【００５３】
図９は並び替え部１３の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部５５は、メモリ４内に格納された画像信号のうち、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）の画像信号の先頭アドレスを把握しているものとする。また、読み出し制御部５６は、メモリ４内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。さらに、読み出し制御部５７は、メモリ４内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部５８が読み出し制御部５５〜５７に設定してもよい。なお、ＡＦ兼用ライン、ＡＦ表示兼用ライン、および表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部３がメモリ４への格納を開始する際にシステム制御部１０に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、記録専用ラインの番号と１画素ラインあたりのデータ量から算出することができる。
【００５４】
そして、読み出し制御部５５〜５７は、並び替え制御部５８から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ５９は、並び替え制御部５８から入力されるセレクタ制御信号の値が０の期間に読み出し制御部５６の出力を、１の期間に読み出し制御部５７の出力を、２の期間に読み出し制御部５５の出力を、それぞれ選択して現像部６へ供給するものとする。並び替え制御部５８は、読み出し制御部５５、５６に図９に示す制御信号ＳＴＯＰを供給する。読み出し制御部５７には、読み出し制御部５５、５６への制御信号の否定論理積（ＮＡＮＤ）に相当する制御信号が供給される。
【００５５】
図１０は、並び替え部１５の機能ブロック図である。
読み出し制御部６０および読み出し制御部６１は、並び替え制御部６２の制御に従い、メモリ１４の所定のアドレスから画像信号を読み出す。セレクタ６３は、並び替え制御部６２の制御に従い、読み出し制御部６０および読み出し制御部６１の出力の一方を現像部６へ出力する。並び替え制御部６２は、読み出し制御部６０および読み出し制御部６１の読み出しアドレスと、セレクタ６３が選択する出力の切り替えとを制御する。並び替え制御部６２は、メモリ１４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部６０、読み出し制御部６１、セレクタ６３の動作を制御する。これにより、図７（ｆ）に示す順序で画像信号が出力される。
【００５６】
図１１は並び替え部１５の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部６０は、メモリ１４内に格納された画像信号のうち、ＡＦ表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。同様に、読み出し制御部６１は、メモリ１４内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部６２が読み出し制御部６０、６１に設定してもよい。なお、これらの画素ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部３がメモリ１４への格納を開始する際にシステム制御部１０に通知してもよい。
【００５７】
そして、読み出し制御部６０、６１は、並び替え制御部６２から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ６３は、並び替え制御部６２から入力される制御信号がＬレベルの期間に読み出し制御部６０の出力を、Ｈレベルの期間に読み出し制御部６１の出力を、それぞれ選択して現像部６へ供給するものとする。したがって、並び替え制御部６２は、読み出し制御部６０およびセレクタ６３に同一の制御信号ＳＴＯＰを、読み出し制御部６１には制御信号ＳＴＯＰの論理を反転した信号を出力する。
【００５８】
なお、ＡＦ処理よりも表示処理が優先される場合、撮像ＩＦ部１２はからは表示に用いられる画素ラインが順番通りに出力されるため、メモリ１４および並び替え部１５は実質的に不要である。そのため、並び替え制御部６２は、読み出し制御部６１、６２によってメモリ１４から交互に１画素ラインずつ画像信号を読み出し、セレクタ６３で出力するように制御する。
【００５９】
本実施形態においても、第１の実施形態と同様に、並び替え部１３、１５はそれぞれ１つの読み出し制御部と並び替え制御部とで構成することができる。この場合、画素ラインの番号と用途との組み合わせを踏まえて、上述したセレクタ５９、６３が出力する順序でメモリ４、１４から画像信号を読み出すよう、並び替え制御部５８、６２が読み出し制御部の読み出しアドレスや読み出し範囲を制御する。
【００６０】
以上、説明したように、本実施形態によれば、同一フレームの撮影画像から表示用および記録用の画像のほか、ＡＦ用の信号を生成する場合に、ＡＦに用いる画像信号も記録用の画像だけに用いる画像信号よりも優先して読み出すようにした。そのため、第１実施形態の効果に加え、ＡＦ処理に要する時間も短縮することができる。
【００６１】
●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、記録よりも優先したい処理に必要な画像信号が不足した場合であっても、その処理に要する時間を短縮するための構成に関する。以下、本実施形態と第２実施形態との相違点を重点的に説明する。図１２は本実施形態に係るカメラ１００Ｃの機能構成例を示すブロック図であり、第２実施形態と同一の構成には同一参照番号を付してある。
【００６２】
本実施形態では、部分領域の用途として、表示と記録（表示兼用ライン）がなく、ＡＦと記録（ＡＦ兼用ライン）、ＡＦと表示と記録（ＡＦ表示兼用ライン）、記録のみ（記録専用ライン）の３種類が設定される。
【００６３】
そして、撮像ＩＦ部１７は、読み出した全ての画像信号をメモリ４に格納する一方、ＡＦに用いられる画像信号（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）はＡＦ部１６へも出力する。撮像ＩＦ部１７はさらに、表示に用いられる画像信号（ＡＦ表示兼用ライン）については、補間部１９へも出力する。
【００６４】
並び替え部１８は、割り当てられた用途に応じた読み出し順でメモリ４に格納された画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように読み出して現像部６に供給する。
【００６５】
補間部１９は、複数のＡＦ表示兼用ラインの画像信号を補間し、表示画像の生成に不足している位置の画素ラインの画像信号を生成する。そして、ＡＦ表示兼用ラインの画像信号と、補間により生成した画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように現像部８に供給する。
【００６６】
図１３は、図７と同様に本実施形態における画像信号の配列の変化を示した図である。ここでは、画像が２１画素ラインで構成されているものとする。図１３（ａ）に示すように、本実施形態においては、先頭の画素ライン（番号０）と末尾の画素ライン（番号２０）の２つが表示に用いられる画素ライン（ＡＦ表示兼用ライン）である。また、ＡＦに用いられる画素ライン（ＡＦ兼用ラインもしくはＡＦ表示兼用ライン）が４画素ラインずつ２箇所に割り当てられ、残りは記録専用ラインである。なお、ＡＦに用いられる画素ラインは例えば焦点検出領域の設定に応じて動的に位置が変化してもよい。
【００６７】
第２実施形態と同様、撮像ＩＦ部１７は、同一フレームの撮像画像から記録用画像、表示用画像に加え、ＡＦ用信号を必要がある場合、ＡＦ動作の速度を最優先とする。そのため、撮像ＩＦ部１７はまず、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）をラスタースキャン順（画素ラインの番号の小さい順）に読み出す。
【００６８】
本実施形態では表示に用いられる画素ラインはＡＦにも用いられるため、ＡＦに用いられる画素ラインの読み出しが完了した時点で、表示に用いられる画素ラインの読み出しも完了している。したがって、撮像ＩＦ部１７は、記録にだけ用いられる画素ライン（記録専用ライン）の読み出しを開始する。つまり、撮像素子２からは図１３（ｂ）に示す順序で画像信号が読み出される。このように、本実施形態でも、１フレームの画像信号について、ＡＦに用いられる画素ラインと、表示に用いられる画素ラインとを、記録専用ラインよりも優先して読み出している。
【００６９】
なお、撮像ＩＦ部１２は、例えば撮影スタンバイ時のように、記録を実行せずに表示およびＡＦを実行している間は、１フレームの撮像画像のうち、記録専用ライン以外を読み出す。また、撮像ＩＦ部１７は、表示およびＡＦを実行せずに記録を実行している間は、１フレームの撮像画像を画素ラインの順番通りに読み出す。
【００７０】
図１３（ｃ）は、撮像ＩＦ部１７から読み出された画像信号がメモリ４に格納された状態を模式的に示している。メモリ４には読み出された順序で画像信号が格納されるため、メモリ４内の画像信号の並びは図１３（ｂ）に示した読み出し順序と同じである。
【００７１】
図１４は、並び替え部１８の機能ブロック図である。
読み出し制御部６４、６５は、並び替え制御部６６の制御に従い、メモリ４の所定のアドレスから画像信号を読み出す。セレクタ６７は、並び替え制御部６６の制御に従い、読み出し制御部６４、６５の出力の一つを現像部６へ出力する。並び替え制御部６６は、読み出し制御部６４、６５の読み出しアドレスと、セレクタ６７が選択する出力の切り替えとを制御する。並び替え制御部６６は、メモリ４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部６４、６５およびセレクタ６７の動作を制御する。これにより、図１３（ｄ）に示す順序で画像信号が出力される。
【００７２】
図１５は並び替え部１８の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部６４は、メモリ４内に格納された画像信号のうち、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）の画像信号の先頭アドレスを把握しているものとする。また、読み出し制御部６５は、メモリ４内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部６６が読み出し制御部６４、６５に設定してもよい。なお、ＡＦ兼用ラインおよびＡＦ表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部１７がメモリ４への格納を開始する際にシステム制御部１０に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、記録専用ラインの番号と１画素ラインあたりのデータ量から算出することができる。
【００７３】
そして、読み出し制御部６４、６５は、並び替え制御部６６から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ６７は、並び替え制御部６６から入力されるセレクタ制御信号がＬレベルの期間に読み出し制御部６４の出力を、Ｈレベルの期間に読み出し制御部６５の出力を選択して現像部６へ供給するものとする。並び替え制御部６６は、読み出し制御部６４に図１５に示す制御信号ＳＴＯＰを供給する。読み出し制御部６５には、制御信号ＳＴＯＰのレベルを反転した制御信号が供給される。
【００７４】
図１６は、補間部１９の動作を模式的に示した図である。第２実施形態では表示に用いる画素ラインが４画素ラインごとに設定されていたが、本実施形態ではＡＦに用いられる画素ラインのみを表示に用いるようにした。これにより、ＡＦを表示用画像の生成より優先した場合でも第２実施形態のメモリ１４および並び替え部１５が不要となる。しかし、表示に用いる画素ラインの数が少なくなるため、表示用画像のサイズ（解像度）が小さくなる。そのため、本実施形態では補間部１９で表示用画像に用いる画像信号を生成することで、表示用画像生成用に読み出される画像信号数の低下を補う。
【００７５】
本実施形態では先頭（番号０）と末尾（番号２０）の２画素ラインの画像信号から、間に位置する番号４、８、１２、１６の４画素ラインの画像信号を補間によって生成することで、第２実施形態と同等の解像度を有する表示用画像の生成を可能にする。
【００７６】
図１６に示すように、補間部１９は、実際に読み出された２つの画素ラインの画像信号を加重加算することによって画像信号を生成する。その際、２つの画素ラインと、補間によって生成する画素ラインとの距離に反比例する重みを用いる。例えば、番号４の画素ラインの画像信号を生成する場合、番号０と番号４の画素ラインとの距離は、番号２０と番号４の画素ラインの距離の１／４である。したがって、補間部１９は、
番号４の画素ラインの画像信号＝
番号０の画素ラインの画像信号＊４／５＋番号２０の画素ラインの画像信号／５
として生成する。同様に補間部１９は、
番号８の画素ラインの画像信号＝
番号０の画素ラインの画像信号＊３／５＋番号２０の画素ラインの画像信号２／５
として生成する。他の画素ラインについても同様である。なお、補間は、各画素ライン内の水平位置（画素）ごとに実行する。
【００７７】
図１７は、補間部１９の機能ブロック図である。メモリ１９０は、撮像ＩＦ部１７から供給される、ＡＦ表示兼用ラインの画像信号を格納する。メモリ１９０の容量は補間に用いる画素ライン分でよく、本実施形態であれば２画素ライン分の画像信号が格納できればよいため、少容量ですむ。
【００７８】
演算部１９１は、メモリ１９０に格納された複数のＡＦ表示兼用ラインの画像信号を、補間制御部１９２から指定される比率（重み）に従って加重加算し、画素信号を生成する。補間制御部１９２は、例えばシステム制御部１０から、撮像ＩＦ部１７から供給される画素ラインの位置（番号）と、画像信号を生成する画素ラインの位置とに応じて、比率（重み）を決定する。補間制御部１９２はまた、セレクタ１９３の動作を制御する。
【００７９】
セレクタ１９３は、補間制御部１９２の制御に従い、補間部１９の入力信号（撮像ＩＦ部１７から供給される画像信号）をそのまま現像部６に出力するか、演算部１９１の出力を現像部６に出力する。
【００８０】
図１８は、補間部１９の各部の動作を示すタイミングチャートである。
セレクタ１９３は、補間制御部１９２から入力されるセレクタ制御信号がＬレベルの期間には、撮像ＩＦ部１７からの入力信号をそのまま現像部６に供給し、Ｈレベルの期間は演算部１９１が出力する信号を現像部６に供給する。
【００８１】
補間制御部１９２は、撮像ＩＦ部１７からＡＦ表示兼用ライン（番号０）が入力される期間は、セレクタ制御信号をＬレベルとする。また、ＡＦ表示兼用ライン（番号０）の画像信号はメモリ１９０に格納される。その後、補間制御部１９２は、撮像ＩＦ部１７からＡＦ表示兼用ライン（番号２０）が入力される期間になると、セレクタ制御信号をＨレベルとする。また、補間制御部１９２は、ＡＦ表示兼用ライン（番号２０）の画像信号がメモリ１９０に格納され始めると、演算部１９１に補間動作の開始と、比率（重み）とを通知する。
【００８２】
ここで、比率（重み）は、いずれか一方の画素ラインに対するものであってよい。演算部１９１は、通知された比率（重み）を１から減じることによってもう一方の画素ラインの比率（重み）を求めることができる。補間制御部１９２は、比率の異なる補間を連続して実行する必要がある場合、複数の比率を、補間を実行する順番で演算部１９１に通知することができる。また、補間制御部１９２は、メモリ１９０に格納されている画素ラインの画像信号のうち、番号の大きい方の画素ラインの画像信号を読み出して出力する指示として、特定の比率（例えば０）を演算部１９１に通知することができる。
【００８３】
本実施形態の場合、補間制御部１９２は番号４、８、１２、１６の画素ラインの画像信号を順次補間したのち、番号２０の画素ラインの画像信号をメモリ１９０から読み出してて出力する指示として、演算部１９１に以下の５つの比率を通知することができる。
比率＝（４／５，３／５，２／５，１／５，０）
【００８４】
補間制御部１９２はまた、演算部１９１に補間処理の開始を通知すると、撮像ＩＦ部１７への制御信号ＳＴＯＰをＨレベルにする。制御信号ＳＴＯＰは、撮像ＩＦ部１７からの画素ラインの画像信号を入力を禁止するための信号である。撮像ＩＦ部１７は、制御信号ＳＴＯＰがＨレベルの場合には補間部１９への出力を保留する。撮像ＩＦ部１７は、制御信号ＳＴＯＰがＬレベルであれば、画像信号を補間部１９に出力する。
【００８５】
ここでは、メモリ１９０が、２画素ライン分の画像信号を保持するのに必要最低限の容量しか有さないため、補間処理中は、次のＡＦ表示兼用ラインが入力されないように制御信号ＳＴＯＰをＨレベルにしている。しかし、メモリ１９０の容量に余裕がある場合は、空き容量が閾値未満になるまで制御信号ＳＴＯＰをＨレベルにする必要はない。
【００８６】
演算部１９１は通知された比率に従って補間を実行し、生成した画像信号（またはメモリ１９０から読み出した画像信号）をセレクタ１９３に順次出力する。
【００８７】
本実施形態によれば、記録よりも優先すべき処理に用いる画像信号の一部を、補間により生成することで、並び替えを行う場合よりも簡便な構成で同様の効果を実現できる。
【００８８】
●（記録用撮影処理）
図１９は、上述した第１〜第３実施形態の動作を伴う記録動作に関するフローチャートである。この処理は、システム制御部１０がＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０１に読み込んで実行し、カメラ１００〜１００Ｃの構成要素を制御することによって実現される。
【００８９】
Ｓ１０１でシステム制御部１０は、撮影処理を実行する。これにより、１フレームの撮像画像の画像信号が撮像素子に蓄積される。
Ｓ１０３で撮像ＩＦ部は、記録処理よりも優先すべき処理（ＡＦおよび／または表示）に用いる部分領域の画像信号を、記録処理だけに用いる部分領域の画像信号よりも優先して撮像素子から読み出す。
【００９０】
Ｓ１０５で撮像ＩＦ部は、部分領域から読み出した画像信号を、その部分領域に設定されている用途に応じた宛先に分配（出力）する。上述の実施形態では並び替え用のメモリ、表示画像生成用の現像部、ＡＦ部、補間部が宛先に該当する。そして、宛先の構成要素では、ＡＦ処理の実行を開始したり（Ｓ１２１）、表示用画像の生成を開始したり（Ｓ１３１）する。補間が必要な場合には補間も随時実行する。
【００９１】
Ｓ１０７で撮像ＩＦ部は、優先して読み出すべき画像信号を全て読み出したか否かを判定し、読み出したと判定されればＳ１０９へ処理を進め、判定されなければＳ１０３に処理を戻して読み出しを継続する。
【００９２】
Ｓ１０９で撮像ＩＦ部は、記録処理にだけ用いる部分領域から画像信号を読み出し、記録用画像を生成するための画像信号を格納するためのメモリ（メモリ４）に格納する。
Ｓ１１１で撮像ＩＦ部は、記録処理にだけ用いる部分領域から画像信号を全て読み出したか否かを判定し、読み出したと判定されればＳ１１３へ処理を進め、判定されなければＳ１０９に処理を戻して読み出しを継続する。
【００９３】
Ｓ１１３で並び替え部は、メモリ４に格納されている、記録用画像の生成に用いる画像信号を、撮像素子から通常の順序で読み出した場合と同じ順序となるように読み出し、記録用画像の現像部へ出力する。
【００９４】
Ｓ１１５で記録用画像の現像部は、記録用画像を生成する。また、記録用画像の現像部は、記録形式に応じて、記録用画像を格納したデータファイルを生成する。
Ｓ１１７で記録部は、データファイルを記録媒体に記録する。
【００９５】
システム制御部１０は、以上の動作を撮影が終了するまで継続して実行させ、撮影が終了すると記録媒体に記録中のデータファイルのクローズ処理などを実行する。
【００９６】
（その他の実施形態）
上述の実施形態では、撮像画像の画像信号を用いた処理のうち、優先順位を異ならせる処理の例として、記録用画像の生成、表示用画像の生成、焦点検出用信号の生成について説明した。しかし、本発明はこれら特定の処理に限定されない。
【００９７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９８】
１…撮影光学系、２…撮像素子、３…撮像ＩＦ部、４…メモリ、５…並び替え部、６、８…現像部、７…記録部、９…表示部、１０…システム制御部、５１、５２…読み出し制御部、５３、５８…並び替え制御部、５４…セレクタ
【図１】
2019024172.tif 000003
【図２】
2019024172.tif 000004
【図３】
2019024172.tif 000005
【図４】
2019024172.tif 000006
【図５】
2019024172.tif 000007
【図６】
2019024172.tif 000008
【図７】
2019024172.tif 000009
【図８】
2019024172.tif 000010
【図９】
2019024172.tif 000011
【図１０】
2019024172.tif 000012
【図１１】
2019024172.tif 000013
【図１２】
2019024172.tif 000014
【図１３】
2019024172.tif 000015
【図１４】
2019024172.tif 000016
【図１５】
2019024172.tif 000017
【図１６】
2019024172.tif 000018
【図１７】
2019024172.tif 000019
【図１８】
2019024172.tif 000020
【図１９】
2019024172.tif 000021