(57)【要約】【課題】被写体の撮像画像信号および位相差情報の取得用画像信号を出力する撮像素子を備える撮像装置において、位相差情報の算出精度を確保すること。【解決手段】撮像装置は、被写体の撮像画像の画素信号と位相差情報の取得用画像の画素信号を出力可能な撮像素子２を備える。位相差情報の取得用画像に関して、撮像素子２の内部で信号の加算読み出しと非加算読み出しとの切り替えが行われる。位相差情報算出部１０は撮像素子２から位相差情報の取得用画像信号を取得し、位相差方式の焦点検出が行われる。撮像装置はスイッチ部４、画像切り出し部５、ＣＰＵ９を備え、焦点合わせのための補助機能として、全画角に対応する撮像画像から切り出した画像領域を拡大して表示する拡大表示機能を有する。ＣＰＵ９は、拡大表示機能が選択された拡大表示状態において位相差情報の取得用画像の画素信号を非加算読み出しに切り替える制御を行う。【選択図】図１
2019140576.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮像画像に係る第１の信号、および位相差情報の取得用画像に係る第２の信号を出力する撮像素子と、
前記撮像素子から信号を加算して読み出す第１の制御と、該信号を非加算で読み出す第２の制御とを切り替える制御手段と、
前記撮像画像から画像領域を切り出す処理を行う処理手段と、
前記撮像画像または前記処理手段が切り出した画像を選択して画像信号を出力する選択手段と、を備え、
前記制御手段は、前記選択手段によって前記撮像画像が選択される第１の状態にて前記第１の信号を前記第２の制御で読み出すとともに、前記第２の信号を前記第１の制御で読み出す制御を行い、前記選択手段によって前記処理手段の切り出した画像が選択される第２の状態にて前記第１および第２の信号を前記第２の制御で読み出す制御を行う
ことを特徴とする撮像装置。
【請求項２】
前記第２の信号と、前記１の信号から前記第２の信号を減算することにより得られる第３の信号を用いて位相差検出を行い、撮像光学系の焦点調節を行う焦点調節手段と、
前記第２の状態にて前記処理手段が切り出した画像の拡大表示を行う表示手段と、を備え、
前記制御手段は、前記撮像素子の内部で前記信号の加算処理と非加算処理とを切り替える制御を行う
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記表示手段による拡大表示を行うか否かを判定して、前記撮像素子の信号読み出しを行う際の前記撮像画像の領域制御と位相差情報の取得用画像の領域制御を行うとともに、前記信号の加算処理と非加算処理との切り替えを制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第２の状態にて、前記表示手段による拡大表示の拡大率に対応した、前記撮像画像における信号の読み出し領域を設定し、
前記処理手段は、前記拡大率に合わせて前記画像領域を切り出す処理を行う
ことを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記第１の状態において前記撮像素子の信号読み出しを停止させる停止期間を含む読み出し動作の制御を行い、前記２の状態において前記停止期間を含む読み出し動作の制御を停止する
ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記停止期間を、撮像光学系の絞りの設定値が小さい場合に比べて、当該設定値が大きい場合に長くする制御を行う
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１の状態において前記撮像素子の信号読み出しを停止させる停止期間を含む読み出し動作の制御を行い、前記第２の信号を読み出すときのフレームレートを変更する制御を行う
ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段は、前記第２の信号を読み出すときのフレームレートを、撮像光学系の絞りの設定値が小さい場合に比べて、当該設定値が大きい場合に低くする制御を行う
ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記制御手段は、画像の拡大表示機能の非選択状態もしくは選択状態、または画像信号の記録フレームレートを判定して前記第１の状態での制御または前記第２の状態での制御に切り替える
ことを特徴とする請求項２に記載の撮像装置。
【請求項１０】
被写体の撮像画像に係る第１の信号、および位相差情報の取得用画像に係る第２の信号を出力する撮像素子を備える撮像装置にて実行される制御方法であって、
前記撮像素子から信号を加算して読み出す第１の制御と、該信号を非加算で読み出す第２の制御とを制御手段が切り替える工程と、
処理手段が前記撮像画像から画像領域を切り出す処理を行う工程と、
選択手段が前記撮像画像または前記処理手段が切り出した画像を選択して画像信号を出力する工程と、を有し、
前記選択手段によって前記撮像画像が選択される第１の状態にて、前記第１の信号を前記第２の制御で読み出すとともに、前記第２の信号を前記第１の制御で読み出す制御が行われ、前記選択手段によって前記処理手段の切り出した画像が選択される第２の状態にて、前記第１および第２の信号を前記第２の制御で読み出す制御が行われる
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から撮像画像信号と位相差情報の取得用画像信号を読み出す制御に関する。
【背景技術】
【０００２】
高画質のテレビジョン放送は４Ｋ、８Ｋといった高画素化により、高精細で臨場感のある映像表現を実現可能である。これに伴って撮像装置の高解像度化が進み、さらには、被写体の撮像画像を滑らかに表示するための高フレームレート化が進んでいる。また、高解像度化に伴い、撮影レンズの合焦精度や焦点調節動作の高速化が必要となる。撮像装置の焦点調節動作の高速化および合焦精度の向上を実現するために、撮像装置が備える撮像素子は、位相差情報の取得用画像を、被写体の撮像画像と同時に取得可能である。
【０００３】
特許文献１に記載の撮像装置は、撮影用画素と焦点検出用画素が配置された撮像素子を備える。第１の読み出しモードでは、撮像素子の画素信号を所定の間引き率で間引いて画素の信号が読み出される。また第２の読み出しモードでは、所定の間引き率よりも高い間引き率で間引いて画素信号が読み出される。第１および第２の読み出しモードにおいて、画像生成のための読み出しを行う第１の垂直走査を行う前、または後に、焦点検出用画素が配置された撮像素子の行を読み出す第２の垂直走査が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２４１５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の装置では、例えば焦点調節時に画像を拡大して表示する拡大表示機能をユーザが使用した場合、撮像素子の焦点検出用画素の配置によっては、焦点調節可能な被写体画像内の領域が制限される可能性がある。そこで、すべての画素部に位相差情報を取得可能な複数の光電変換部が配置され、被写体画像用の画素信号と、位相差情報の取得用の画素信号とを同時に読み出せる撮像素子が開発されている。
【０００６】
このような撮像素子では、被写体画像用の画素信号と、位相差情報の取得用の画素信号が同時に読み出されるので、撮像素子の信号読み出し帯域が、被写体画像用のみの信号読み出し帯域に対して約２倍になる。そのため、読み出し後の画像処理が間に合わなくなることや、撮像素子の消費電力の増加が懸念される。また、高画素化（４Ｋ＊２Ｋや８Ｋ＊４Ｋ等）を実現する場合、信号読み出し帯域が撮像素子の最大の信号読み出し帯域を超えないことを要する。
【０００７】
解決策のひとつとして、位相差情報の取得用の画素信号を加算して読み出す方法がある。しかし、この方法では、位相差情報の取得用画像の解像度に限界があり、被写体の撮像画像の解像度によっては位相差情報の精度が十分でないことが起こり得る。
本発明の目的は、被写体の撮像画像信号および位相差情報の取得用画像信号を出力する撮像素子を備える撮像装置において、位相差情報の算出精度を確保することである。
【課題を解決するための手段】
【０００８】
本発明の実施形態の撮像装置は、被写体の撮像画像に係る第１の信号、および位相差情報の取得用画像に係る第２の信号を出力する撮像素子と、前記撮像素子から信号を加算して読み出す第１の制御と、該信号を非加算で読み出す第２の制御とを切り替える制御手段と、前記撮像画像から画像領域を切り出す処理を行う処理手段と、前記撮像画像または前記処理手段が切り出した画像を選択する選択手段と、前記選択手段により選択された画像信号を出力する出力手段と、を備える。前記制御手段は、前記選択手段によって前記撮像画像が選択される第１の状態にて前記第１の信号を前記第２の制御で読み出すとともに、前記第２の信号を前記第１の制御で読み出す制御を行い、前記選択手段によって前記処理手段の切り出した画像が選択される第２の状態にて前記第１および第２の信号を前記第２の制御で読み出す制御を行う。
【発明の効果】
【０００９】
本発明によれば、被写体の撮像画像信号および位相差情報の取得用画像信号を出力する撮像素子を備える撮像装置において、位相差情報の算出精度を確保することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】撮像装置内の撮像素子の画素構成を示す模式図である。
【図３】拡大表示機能の非選択／選択状態に応じた信号読み出しを示す概略図である。
【図４】拡大表示機能の非選択／選択状態に応じた撮像素子の駆動制御を示す概略図である。
【図５】本発明の実施形態における処理を説明するフローチャートである。
【図６】第２実施形態における撮像素子の駆動制御を示す概略図である。
【図７】第２実施形態における撮像素子の動作およびフレームレートの説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の各実施形態について、図面を参照して詳細に説明する。以下では、撮像素子から、加算処理を行って信号を読み出す制御を加算読み出しという。また撮像素子から信号を加算せずに、非加算処理で信号を読み出す制御を非加算読み出しという。
【００１２】
撮像素子は、被写体の撮像画像の画素信号と位相差情報の取得用画素信号を同時に読み出すことが可能である。この場合、位相差情報の取得用画素信号の非加算読み出しを行うと読み出しレートが高くなり、画像処理が間に合わなくなる可能性や、撮像素子の消費電力が増加する可能性がある。一方で、位相差情報の取得用画素信号の加算読み出しを行うと、撮像画像の解像度によっては、位相差情報を十分な精度で取得できなくなる可能性がある。
【００１３】
そこで実施形態は、撮像装置のもつ機能の選択／非選択状態等に応じて、位相差情報の取得用画像の信号読み出しを、非加算読み出しまたは加算読み出しに切り替えることで、位相差情報の精度を確保しつつ、処理レートや消費電力の増加を抑制する。
【００１４】
［第１実施形態］
本実施形態では、拡大表示機能の選択状態または非選択状態に応じた、被写体の撮像画像の読み出し領域の制御、並びに、位相差情報の取得用画像の加算／非加算読み出しおよびその読み出し領域の制御について説明する。拡大表示機能は、例えば、ユーザが撮像光学系の焦点合わせを容易に行えるように画像を拡大して表示する補助機能である。これは、ユーザが所望の被写体にピントを合わせたいときに便利な機能である。
【００１５】
図１は、本発明を適用した撮像装置の構成例について概要を示す図である。撮像装置は撮影レンズ部１を備える。撮影レンズ部１は撮像装置の本体部に装着可能なレンズ装置であるか、または本体部と一体的に構成されたレンズ部である。撮影レンズ部１は被写体を撮像する撮像光学系を構成するフォーカスレンズや絞り等の光学部材を備える。撮影レンズ部１を通過した、被写体からの光は撮像素子２によって受光される。撮像素子２はＣＭＯＳ（相補型金属酸化膜半導体）型エリアイメージセンサ等であり、撮像光学系によって結像される光像を光電変換して電気信号を出力する。撮像素子２の画素部の構造については、図２を用いて後述する。
【００１６】
現像処理部３は、撮像素子２の出力信号を取得して現像処理を行う。現像処理部３は入力された画像加工前のＲＡＷ画像に対して、各画素の補間処理や色補正処理等の現像処理を行い、現像画像（ＹＵＶ画像）のデータを生成する。生成されたデータは、スイッチ部４と画像切り出し部５と記録部８に出力される。
【００１７】
画像切り出し部５は、現像処理部３から入力された現像画像データに対して画像切り出し処理を行い、処理されたデータをスイッチ部４に出力する。画像切り出し処理では、ＣＰＵ（中央演算処理装置）９からの制御情報に基づいて、画像の倍率が特定の倍率になるように水平方向および垂直方向で画像領域の切り出し制御が行われる。
【００１８】
スイッチ部４は、現像処理部３からの現像画像データと、画像切り出し部５からの切り出し画像データを取得し、ＣＰＵ９からの制御情報に応じて選択した画像データを表示部６とモニタ出力部７に出力する。表示部６はＬＣＤ（液晶表示装置）等の表示デバイスを備え、画面上に撮像画像等を表示する。またモニタ出力部７は外部表示装置に対して表示用画像データの信号を出力する。記録部８は現像処理部３から現像画像データを取得し、記録用画像データを生成して記録媒体に記録する処理を行う。
【００１９】
ＣＰＵ９は撮像装置全体を制御する制御中枢部であり、撮像素子２、スイッチ部４、画像切り出し部５等を制御する。ＣＰＵ９はメモリに記憶されたプログラムを読み出して実行することによって、各種の処理を行う。
【００２０】
位相差情報算出部１０は、撮像素子２の出力する信号を取得し、位相差検出方式の焦点検出を行う。位相差情報算出部１０が算出した位相差情報はＣＰＵ９に出力され、焦点調節用信号として使用される。ＣＰＵ９は撮影レンズ部１が備える焦点調節機構の駆動部に制御信号を出力することにより、フォーカスレンズを駆動して焦点調節制御を行う。
【００２１】
図２は、撮像素子２の画素部の構造と画素配列を示す模式図である。図２（Ａ）は、１つの画素部を構成する２つの光電変換部を示す。円形枠で示す１つのマイクロレンズ１００に対して、２つのフォトダイオード（ＰＤ）を備える構成例を示す。各画素部は、１つのマイクロレンズとカラーフィルタに対して、複数の光電変換部１１０Ｌ，１１０Ｒを備える。被写体側から見て左側をＬと表記し、右側をＲと表記する。２分割された光電変換部１１０Ｌと光電変換部１１０Ｒは、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を受光して光電変換を行う。
【００２２】
図２（Ｂ）は、複数の画素部が２次元アレイ状に配置され、Ｘ−Ｙアドレス指定が可能な画素配列を部分的に示す。撮像素子２は、２つの光電変換部１１０Ｌ，１１０Ｒの各信号を加算した画像信号（以下、撮像画像信号という）と、２つの光電変換部のうちの１つから取得される画像信号（以下、視点画像信号という）を同時に出力する。例えば、光電変換部１１０Ｌによる信号（Ｌ画素信号）から視点画像信号が生成される。撮像画像信号からＬ画素信号を減算することによって、光電変換部１１０Ｒによる信号（Ｒ画素信号）を取得することができる。Ｌ画素信号とＲ画素信号は、互いに視点の異なる視点画像信号であって視差を有しており、両信号の比較によって撮像面位相差検出が可能である。この場合、複数の視点画像信号は位相差情報の取得用画像信号に相当する。
【００２３】
また、各画素部でのＬ画素信号とＲ画素信号から３次元表示（立体視表示）用の視差画像データを取得することもできる。視差画像は複数の視点画像から構成され、画像生成部により３次元表示用データが生成され、表示装置によってユーザに提示される。
【００２４】
図１の現像処理部３は、撮像素子２の出力する撮像画像信号を現像処理し、スイッチ部４と画像切り出し部５に出力する。画像切り出し部５は現像画像から所定の画像領域を抽出してスイッチ部４に出力する。スイッチ部４には、現像処理部３の出力信号と、画像切り出し部５の出力信号が入力され、ＣＰＵ９の制御指令にしたがって出力信号の切り替えを制御する。位相差情報算出部１０は、撮像画像信号と第１の視点画像信号を取得し、撮像画像信号から第１の視点画像信号を減算することによって第２の視点画像信号を生成する。第１および第２の視点画像信号を比較することによって、位相差情報を算出することができる。
【００２５】
ＣＰＵ９は、撮像素子２の内部で信号の加算処理と非加算処理とを切り替える制御を行う。撮像装置が有する拡大表示機能の選択状態または非選択状態に応じて、位相差検出用画像信号と撮像画像信号の読み出し方法を切り替える制御が行われる。尚、図１では、図示の簡略化のため、ユーザが操作に使用する操作部等のような撮像装置が通常備えている構成要素を省略する。
【００２６】
本実施形態においてＣＰＵ９は、撮像素子２に制御信号を出力して画素値の加算処理を制御する。例えば、撮像素子２はＬ画素信号に対応する視点画像信号について、水平方向にて４画素と垂直方向にて２ラインの加算処理（４ｐｉｘｅｌ * ２ｌｉｎｅ）を行った後で信号を出力する。また位相差情報算出部１０は、入力された撮像画像信号から、２つの視点画像信号のうちの一方の信号を減算することにより、他方の視点画像信号を生成する。図２では水平方向に２分割された瞳分割画素の構成を例示したが、分割数は任意である。例えば、水平方向および垂直方向にそれぞれ２分割された瞳分割画素の構成でもよく、４つの光電変換部がそれぞれ出力する信号から視点の異なる４つの視点画像信号を取得することができる。
【００２７】
次に図３を参照して、拡大表示機能の非選択時における撮像素子２からの信号読み出しと、拡大表示機能の選択時における撮像素子２からの信号読み出しについて説明する。図３の例では、非拡大表示時の撮像画像信号の画像サイズを、４Ｋ＊２Ｋ（４０９６ピクセル＊２１６０ライン）とする。点線の矩形枠で示す焦点調節用枠はフォーカス制御用の測距枠（焦点状態検出枠）である。この場合の測距枠（焦点状態検出枠）のサイズについては、例えば水平方向にて４００ピクセル、垂直方向にて２００ラインに設定されるものとする。
【００２８】
図３（Ａ）は拡大表示機能の非選択状態を示す。図１に示す撮像素子２における撮像画像信号の読み出しは非加算処理で行われ、４Ｋ＊２Ｋ（４０９６ピクセル＊２１６０ライン）の画像データが取得される。また、位相差情報を取得するための視点画像信号の読み出しは、水平方向にて４ピクセル、垂直方向にて２ラインの加算処理で行われる。つまり、１Ｋ＊１Ｋ（１０２４ピクセル＊１０８０ライン）の画像データが取得される。焦点調節用枠のサイズは水平方向にて４００ピクセル、垂直方向にて２００ラインに設定されるので、焦点調節用の測距枠に対応する、位相差情報の取得用画像の測距枠のサイズは、水平方向にて１００ピクセル、垂直方向にて１００ラインとなる。
【００２９】
図３（Ｂ）は拡大表示機能の選択状態を示す。一例として、拡大表示機能の拡大率が２倍に設定された場合を想定する。この場合、撮像素子２における撮影用画像信号の読み出しは、全画角（４Ｋ＊２Ｋ）の中心領域を切り出して非加算で行われ、２Ｋ＊１Ｋ（２０４８ピクセル＊１０８０ライン）の画像データが取得される。また、位相差情報の取得用画像信号（視点画像信号）の読み出しは、非加算での読み出しに切り替わる。つまり、拡大表示機能の非選択状態では加算読み出しであるが、拡大表示機能の選択状態では、非加算読み出しが行われる。よって位相差情報の取得用画像のサイズは、撮影用画像と同じサイズの、２Ｋ＊１Ｋ（１０２４ピクセル＊１０８０ライン）の画像データとなる。焦点調節用枠のサイズは、水平方向にて４００ピクセル、垂直方向にて２００ラインに設定されるが、全画角（４Ｋ＊２Ｋ）から２Ｋ＊１Ｋの画像領域を切り出して撮像素子２から信号読み出しが行われる。そのため、焦点調節用の測距枠に対応する、位相差情報の取得用画像の測距枠は、水平方向にて２００ピクセル、垂直方向にて１００ラインとなる。
【００３０】
以上のように、焦点調節用の測距枠に対応する、位相差情報の取得用画像の測距枠については、拡大表示機能の非選択時よりも、拡大表示機能の選択時にて位相差情報の算出精度を向上させることができる。さらに、撮像画像信号の読み出し時には拡大表示機能の選択状態において、指定された拡大率に合わせて、画像領域を切り出して信号読み出しが行われる。そのため、信号読み出し帯域が撮像素子の最大の信号読み出し帯域を超えることによる信号読み出しの誤動作を防止できる。
【００３１】
図４を参照して、撮像素子２の信号読み出し動作について説明する。図４は、垂直同期信号ＶＤ、撮像画像信号の読み出し状態、位相差情報の取得用画像信号の読み出し状態、撮像素子の電力を共通の時間軸で示す。
【００３２】
図４（Ａ）は、１フレームの読み出し動作について、拡大表示機能の非選択状態を示す。１／３０ｓ（秒）は垂直同期信号ＶＤの周期に対応する。被写体の撮像画像である４Ｋ＊２Ｋ画像は、垂直同期信号ＶＤの周期に対応する期間の前半部で信号読み出しが完了し、当該期間の残りの期間では、信号読み出しを停止している。位相差情報の取得用画像についても撮像画像と同様に、垂直同期信号ＶＤの周期に対応する期間の前半部で信号読み出しが完了する。水平方向にて４ピクセル、垂直方向にて２ラインの加算により１Ｋ＊１Ｋの画像データが取得され、読み出し期間を除いた残りの期間では信号読み出しが停止している。撮像素子の電力は、１周期内での前半の読み出し期間において消費され、残りの期間では消費電力がほぼゼロである。
【００３３】
図４（Ｂ）は、１フレームの読み出し動作について、拡大表示機能の選択状態（拡大表示状態）を示す。例えば、拡大表示中の拡大率として２倍が設定された場合を例示する。１／１２０ｓ（秒）は垂直同期信号ＶＤの周期に対応する。被写体の撮像画像については、画像領域を切り出して読み出しを行うエリア読み出しが行われ、２Ｋ＊１Ｋの画像データがフレームごとに取得される。本動作は１／１２０ｓの期間で完結し、次回の垂直同期信号ＶＤのタイミング以降も順次にフレームの読み出しが行われる。また、位相差情報の取得用画像の信号読み出しは、撮像画像にて指定された画像切り出し領域に対応した領域について非加算で行われ、２Ｋ＊１Ｋの画像データがフレームごとに取得される。本動作は、撮像画像の信号読み出しと同様に１／１２０ｓの期間で完結し、次回の垂直同期信号ＶＤのタイミング以降も順次にフレームの読み出しが行われる。撮像素子の電力は、信号の読み出し期間において消費される。
【００３４】
以上の動作により、拡大表示機能が選択されている間、位相差情報の算出精度を向上させることができ、さらには、位相差情報の取得用画像に係る出力フレームレートを、拡大表示機能の非選択時よりも向上させることができる。
【００３５】
図５に示すフローチャートを参照して、拡大表示機能の選択状態に応じた撮像素子の信号読み出しの切り替え動作について説明する。以下に示す各ステップの処理はＣＰＵ９が所定のプログラムを読み出して実行することにより実現される。
・Ｓ１０００：撮像開始
撮像素子２は信号読み出しを開始し、被写体の撮像画像信号と同時に、位相差情報の取得用画像信号を出力する。
【００３６】
・Ｓ１００１：拡大表示機能選択
ＣＰＵ９は、拡大表示機能の選択状態または非選択状態を検出する。拡大表示機能の選択または設定は、ユーザの操作指示にしたがって行われる。
・Ｓ１００２：選択ＯＮ？
ＣＰＵ９は、Ｓ１００１の検出結果に基づき、拡大表示機能の選択状態であるか否かを判定する。判定の結果、現在の状態が拡大表示機能の非選択状態である場合、Ｓ１００３の処理に進み、拡大表示機能の選択状態である場合、Ｓ１００４の処理に進む。
【００３７】
・Ｓ１００３：被写体画像全画素非加算／位相差情報取得用画像加算読み出し
ＣＰＵ９は撮像素子２に対し、以下の設定を行い、信号の読み出し処理を実行する。
（Ａ）被写体の撮像画像に関し、全画素領域にて非加算読み出しを行う設定。
（Ｂ）位相差情報の取得用画像に関し、加算読み出しを行う設定。
上記（Ｂ）の設定では、例えば水平方向にて４ピクセルで、垂直方向にて２ラインでの加算読み出しが行われる。Ｓ１００３の次にＳ１００６の処理に進む。
【００３８】
・Ｓ１００４：拡大表示時の拡大率検出
ＣＰＵ９は、現時点で設定されている拡大表示の拡大率を検出し、またはユーザの操作指示に応じた拡大率を取得する。次にＳ１００５の処理に進む。
・Ｓ１００５：拡大率に応じた撮像素子エリア読み出し設定
ＣＰＵ９は、Ｓ１００４での検出結果に基づいて、拡大率に対応した読み出し領域の設定を行う。つまり、撮像素子２に対して撮像画像における読み出し領域が設定される。次にＳ１００６の処理に進む。
【００３９】
・Ｓ１００６：位相差情報算出
位相差情報算出部１０は、撮像素子２から出力された撮像画像信号と、位相差情報の取得用画像信号（視点画像信号）に基づき、複数の視点画像信号を生成して比較することにより、位相差情報を算出する。次にＳ１００７の処理に進む。
・Ｓ１００７：拡大表示？
ＣＰＵ９は画像の拡大表示を行うか否かを判定し、拡大表示を行う場合、Ｓ１００８の処理に進み、拡大表示を行わない場合、Ｓ１００９の処理に進む。
【００４０】
・Ｓ１００８：拡大画像表示
ＣＰＵ９はスイッチ部４に対し、拡大表示機能の選択に対応する制御情報を出力し、画像切り出し部５の出力信号を選択するように指令する。撮像素子２から出力された被写体の撮像画像信号は現像処理部３により現像処理が施された後、画像切り出し部５が拡大率に応じて画像領域の信号を抽出する。撮像素子の全画素領域から切り出された画像領域の信号はスイッチ部４から表示部６、モニタ出力部７に送られ、拡大画像が画面に表示される。
【００４１】
・Ｓ１００９：通常画像表示
ＣＰＵ９はスイッチ部４に対し、拡大表示機能の非選択に対応する制御情報を出力し、現像処理部３の出力信号を選択するように指令する。撮像素子２から出力された被写体の撮像画像信号は現像処理部３により現像処理が施された後、スイッチ部４から表示部６、モニタ出力部７に送られる。撮像素子２の全画素領域に対応する撮像画像が画面に表示される。
【００４２】
本実施形態の撮像装置は画像の拡大表示機能を有し、当該機能の選択状態または非選択状態に応じて、撮像素子から信号読み出しを行う撮像画像の領域制御と、位相差情報の取得用画像の領域制御と、加算読み出し／非加算読み出しを切り替える。これにより、拡大表示機能の選択状態にて位相差情報の算出精度を向上させ、位相差情報の取得用画像の出力フレームレートを拡大表示機能の非選択時に比べて向上させることができる。
【００４３】
［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、撮像素子の消費電力を低減するために実行される信号読み出しの停止制御に関し、拡大表示機能の選択／非選択と撮像光学系内部の絞りの設定値（絞り値）に応じた切り替えを行う。さらに、位相差情報の取得用画像信号に係る読み出しフレームレートの制御について説明する。尚、本実施形態において第１実施形態と同様の事項については既に使用した符号または記号を用いることにより、それらの詳細な説明を省略し、主に第１実施形態との相違点を説明する。
【００４４】
図６は、撮像素子２の信号読み出し動作の説明図であり、フレームレート、撮像画像信号の読み出し状態、位相差情報の取得用画像信号の読み出し状態、撮像素子の電力を共通の時間軸で示す。図６（Ａ）は、撮像画像信号を記録する際のフレームレートが３０ｆｐｓ（１秒あたり３０コマ）である例を示す。図６（Ａ）に示す状態は、拡大表示機能の非選択状態である。撮像画像信号の読み出しは非加算で行われ、４Ｋ＊２Ｋの画像データが取得される。また、位相差情報の取得用画像信号の読み出しは、水平方向にて４ピクセル、垂直方向にて２ラインの加算で行われ、１Ｋ＊１Ｋの画像データが取得される。図６（Ｂ）は、撮像素子２の読み出しフレームレートが１２０ｆｐｓである例を示す。撮像画像信号の読み出しは非加算で行われ、４Ｋ＊２Ｋの画像データが取得される。また、位相差情報の取得用画像信号の読み出しは非加算で行われ、２Ｋ＊１Ｋの画像データが取得される。
【００４５】
まず、図６（Ａ）を参照して、撮像素子の消費電力の低減を可能にする読み出し制御について説明する。図６（Ａ）は図４（Ａ）に対応するが、撮像画像信号の記録フレームレートが３０ｆｐｓである。１／３０ｓの期間は、３０ｆｐｓに対応する周期をもつ期間である。撮像素子２は、記録フレームレートと同じフレームレートである３０ｆｐｓで信号読み出しが可能である。その場合、撮像素子２は、１Ｈ時間（１ライン分の水平転送時間）が３０ｆｐｓに適応した時間で、信号を読み出すことになる。しかし、これでは撮像素子２が常に転送動作を行うので、消費電力を低減できない。
【００４６】
そこで本実施形態では、撮像画像信号の記録フレームレートが３０ｆｐｓであった場合、撮像素子２の読み出しフレームレートが１２０ｆｐｓに設定される。１Ｈ時間が１２０ｆｐｓに適応した時間で信号読み出しが行われる。１／３０ｓの期間内の前半部（読み出し期間）において撮像画像信号と位相差情報の取得用画像信号の読み出しが行われた後、信号読み出しが停止される。信号読み出しの停止期間の長さは、１／３０ｓ−１／１２０ｓ＝３／１２０ｓ＝１／４０ｓ（秒）である。信号読み出しの停止期間には撮像素子２の消費電力はほぼゼロであるので、撮像素子２の平均消費電力を低減できる。以下、本動作を間欠読み出し動作と称する。図４（Ａ）、図６（Ａ）に示す拡大表示機能の非選択状態において、撮像素子２の間欠読み出し動作が行われる。
【００４７】
次に図６（Ｂ）を参照して、撮像光学系の絞りの設定値（絞り値）に応じた撮像素子の信号読み出し制御について説明する。拡大表示機能の選択状態において、絞り値が閾値よりも小さい場合を想定する。例えば、絞り値がＦ２．０に設定された場合、間欠読み出し動作が停止され、位相差情報の取得用画像信号の読み出しフレームレートが高く設定される。図６（Ｂ）の例では、撮像素子２の信号読み出し制御の切り替えによって、位相差情報の取得用画像信号の読み出しフレームレートが１２０ｆｐｓに設定される。このとき、第１実施形態で説明したように、撮像素子２において信号の読み出し方式（加算／非加算、全画角／領域指定）が変更される。また図６（Ｂ）の例では、被写体の撮像画像信号の読み出し期間の長さは、１／１２０ｓの２倍である１／６０ｓである。読み出し期間後の、読み出しの停止期間の長さは１／６０ｓである。位相差情報の取得用画像信号は１／１２０ｓの各期間において非加算で読み出される。撮像素子２の電力は、撮像画像信号の読み出しの停止期間において削減可能である。
【００４８】
このように、拡大表示機能の選択状態と非選択状態に応じて、被写体の撮像画像信号を読み出す領域制御と、位相差情報の取得用画像信号を読み出す領域制御と、加算／非加算読み出しが切り替わる。さらには、撮像光学系の絞り値に応じて、撮像素子が行う間欠読み出し動作を停止させる制御が行われ、位相差情報の取得用画像信号のフレームレートを向上させることができる。
【００４９】
図７を参照して、絞りの設定値と、信号読み出しの停止期間の長さ（停止時間）と、フレームレートとの関係を例示して説明する。図７は横軸に絞りの設定値ＦａからＦｉを示し、左側の縦軸に停止時間を示し、右側の縦軸に位相差情報の取得用画像信号の読み出しフレームレートを示すグラフである。絞りの設定値は“Ｆ”に付記したアルファベット記号ａ〜ｉの序列にしたがい、図７の右側ほど大きいものとする。
【００５０】
絞りの設定値がＦｅからＦｉまでの範囲では、撮像素子２の間欠読み出し動作が行われる。この場合の間欠読み出し動作時の停止時間は３／１２０ｓ＝１／４０ｓ（秒）であり、位相差情報の取得用画像信号の読み出しフレームレートは３０ｆｐｓに設定される。
【００５１】
絞りの設定値がＦｃからＦｅまでの範囲では、撮像素子２の間欠読み出し動作が行われる。この場合の間欠読み出し動作時の停止時間は２／１２０ｓ＝１／６０ｓ（秒）であり、位相差情報の取得用画像信号の読み出しフレームレートは６０ｆｐｓに設定される。また、絞りの設定値がＦａからＦｃまでの範囲では間欠読み出し動作が停止され、位相差情報の取得用画像信号の読み出しフレームレートは１２０ｆｐｓに設定される。
【００５２】
本実施形態では、画像の拡大表示機能の選択状態にて、撮像光学系の絞りの設定値に応じて、間欠読み出し動作の変更および停止の制御と、位相差情報の取得用画像信号の読み出しフレームレートの変更制御が行われる。これにより、位相差情報の算出精度を高めつつ、処理レートの増加や撮像素子の消費電力の低減を実現できる。
【００５３】
本発明の好適な実施形態として、拡大表示機能が選択状態であるか、または非選択状態であるかを判定する処理を例示して説明した。判定結果に応じて、位相差情報の取得用画素信号の加算読み出しと非加算読み出しが切り替わり、さらに、被写体の撮像画像信号を全画素から読み出す制御と、撮像画像から所定の画像領域を切り出して読み出す制御が切り替わる。本発明は、このような拡大表示機能の選択状態の判定処理に限定されない。撮像装置が有する記録フレームレートに応じて、被写体の撮像画像の領域制御と、位相差情報の取得用画像の領域制御と、加算読み出し／非加算読み出しを切り替えてもよい。例えば、画像信号の記録フレームレートが第１の範囲内である場合、撮像素子から被写体の撮像画像に係る画素信号の非加算読み出しが行われ、位相差情報の取得用画素信号の加算読み出しが行われる。また画像信号の記録フレームレートが第２の範囲内である場合には、被写体の撮像画像に係る画素信号および位相差情報の取得用画素信号の非加算読み出しが行われる。
【符号の説明】
【００５４】
２・・・撮像素子
４・・・スイッチ部
５・・・画像切り出し部
９・・・ＣＰＵ
１０・・・位相差情報算出部
【図１】
2019140576.tif 000003
【図２】
2019140576.tif 000004
【図３】
2019140576.tif 000005
【図４】
2019140576.tif 000006
【図５】
2019140576.tif 000007
【図６】
2019140576.tif 000008
【図７】
2019140576.tif 000009