(57)【要約】【課題】滑らかにズーム変化する画像と瞬間的にズーム変化する画像の両方を取得することが可能な撮像装置を提供する。【解決手段】撮像装置（１）は、撮像光学系を介して形成された第１の光束に基づいて第１の撮像信号を出力する第１の撮像素子（１０１）と、撮像光学系を介して形成された第２の光束に基づいて第２の撮像信号を出力する第２の撮像素子（１０２）と、撮像光学系の光学倍率を変更する光学倍率変更部（１０４１ａ）と、第１の撮像信号または第２の撮像信号の電子倍率を変更する電子倍率変更部（１０４１ｂ）とを有し、電子倍率変更部は、撮影範囲を拡大する場合、第１の撮像信号の電子倍率を変更し、撮影範囲を縮小する場合、第２の撮像信号の電子倍率を変更する。【選択図】図１３
2019045568.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して形成された第１の光束に基づいて第１の撮像信号を出力する第１の撮像素子と、
前記撮像光学系を介して形成された第２の光束に基づいて第２の撮像信号を出力する第２の撮像素子と、
前記撮像光学系の光学倍率を変更する光学倍率変更部と、
前記第１の撮像信号または前記第２の撮像信号の電子倍率を変更する電子倍率変更部と、を有し、
前記電子倍率変更部は、
撮影範囲を拡大する場合、前記第１の撮像信号の前記電子倍率を変更し、
前記撮影範囲を縮小する場合、前記第２の撮像信号の前記電子倍率を変更することを特徴とする撮像装置。
【請求項２】
前記第１の撮像信号は、静止画を生成するための信号であり、
前記第２の撮像信号は、動画を生成するための信号であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光学倍率変更部および前記電子倍率変更部を制御する制御部を更に有し、
前記制御部は、前記撮影範囲を拡大する場合、
前記第１の撮像信号に関して、前記光学倍率変更部および前記電子倍率変更部を用いて前記光学倍率および前記電子倍率の両方を拡大し、
前記第２の撮像信号に関して、前記光学倍率変更部を用いて前記光学倍率のみを拡大することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御部は、前記撮影範囲を縮小する場合、
前記第１の撮像信号に関して、前記光学倍率変更部を用いて前記光学倍率のみを拡大し、
前記第２の撮像信号に関して、前記光学倍率変更部および前記電子倍率変更部を用いて前記光学倍率および前記電子倍率の両方を拡大することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮影範囲の変更を指示するための指示部を更に有し、
前記制御部は、前記指示部により指示された前記撮影範囲の変更に応じて、前記光学倍率変更部および前記電子倍率変更部を制御することを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記撮像光学系を通過する光束を前記第１の光束と前記第２の光束とに分割する光束分割手段を更に有し、
前記第１の撮像素子は、前記第１の光束が集束する第１の位置に配置されており、
前記第２の撮像素子は、前記第２の光束が集束する第２の位置に配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の撮像信号に基づいて生成された第１の画像および前記第２の撮像信号に基づいて生成された第２の画像の少なくとも一方を表示する表示部を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１の撮像信号に基づいて生成された第１の画像および前記第２の撮像信号に基づいて生成された第２の画像の少なくとも一方を記録する記録部を有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の撮像素子または前記第２の撮像素子からの一対の信号に基づいて焦点検出を行う焦点検出部を更に有し、
前記焦点検出部は、前記電子倍率変更部が前記電子倍率を変更する対象となる前記第１の撮像信号を出力する前記第１の撮像素子または前記第２の撮像信号を出力する第２の撮像素子の一方を選択し、前記電子倍率が変更された領域に関する前記一対の信号のみに基づいて前記焦点検出を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像光学系を含むレンズ装置と、
請求項１乃至９のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出を行うことが可能な撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラ等の撮像装置のズーム機能を実現する方法として、撮影レンズの光学倍率を変更して撮像素子の撮像範囲を変更する光学ズームと、撮像信号の少なくとも一部領域を切り出し拡大する電子ズームとがある。特許文献１には、光学ズームと電子ズームとを併用することで滑らかなズーム変化を実現し、撮影者が違和感を覚えないようにする電子カメラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１４３５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された電子カメラでは、滑らかにズーム変化する画像と瞬間的にズーム変化する画像の両方を取得することができない。
【０００５】
そこで本発明は、滑らかにズーム変化する画像と瞬間的にズーム変化する画像の両方を取得することが可能な撮像装置および撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての撮像装置は、撮像光学系を介して形成された第１の光束に基づいて第１の撮像信号を出力する第１の撮像素子と、前記撮像光学系を介して形成された第２の光束に基づいて第２の撮像信号を出力する第２の撮像素子と、前記撮像光学系の光学倍率を変更する光学倍率変更部と、前記第１の撮像信号または前記第２の撮像信号の電子倍率を変更する電子倍率変更部とを有し、前記電子倍率変更部は、撮影範囲を拡大する場合、前記第１の撮像信号の前記電子倍率を変更し、前記撮影範囲を縮小する場合、前記第２の撮像信号の前記電子倍率を変更する。
【０００７】
本発明の他の側面としての撮像システムは、撮像光学系を含むレンズ装置と、前記撮像装置とを有する。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、滑らかにズーム変化する画像と瞬間的にズーム変化する画像の両方を取得することが可能な撮像装置および撮像システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】各実施例における撮像装置のブロック図である。
【図２】各実施例における撮像素子の構成図である。
【図３】各実施例における撮像素子の読み出し回路の構成図である。
【図４】各実施例における撮影レンズの射出瞳と２つの撮像素子の焦点検出瞳との関係図である。
【図５】各実施例における射出瞳と焦点検出瞳との相対位置の説明図である。
【図６】各実施例におけるシェーディング特性の説明図である。
【図７】各実施例におけるシェーディング比の説明図である。
【図８】各実施例における焦点検出信号の説明図である。
【図９】各実施例における相間演算結果の説明図である。
【図１０】各実施例におけるシェーディング補正情報の説明図である。
【図１１】各実施例におけるデフォーカス量変換情報の説明図である。
【図１２】各実施例における撮影処理のフローチャートである。
【図１３】各実施例における倍率変更のサブルーチンのフローチャートである。
【図１４】各実施例における初期撮影範囲および目標撮影範囲の説明図である。
【図１５】各実施例における外部表示器の説明図である。
【図１６】各実施例における倍率変更時の焦点距離の時間変化の説明図である。
【図１７】各実施例における電子倍率変更量の時間変化の説明図である。
【図１８】各実施例における倍率変更時の焦点距離の時間変化の説明図である。
【図１９】各実施例における撮像画像と外部表示器への表示画像の説明図である。
【図２０】各実施例における倍率変更時の焦点距離の時間変化の説明図である。
【図２１】各実施例における撮像画像と外部表示器への表示画像の説明図である。
【図２２】実施例１における第１の焦点検出のサブルーチンのフローチャートである。
【図２３】各実施例における静止画撮影のサブルーチンのフローチャートである。
【図２４】実施例２における第２の焦点検出のサブルーチンのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【実施例１】
【００１２】
＜撮像装置の全体概略構成＞
まず、図１を参照して、本発明の実施例１における撮像装置の構成について説明する。図１は、撮像装置１のブロック図である。本実施例において、撮像装置１は、カメラ本体（レンズ交換式デジタルカメラ本体）１００と撮影レンズ（レンズ装置）５００とを備えて構成される撮像システムである。撮影レンズ５００は、カメラ本体１００に対して着脱可能である。ただし本実施例は、これに限定されるものではなく、カメラ本体と撮影レンズとが一体的に構成された撮像装置にも適用可能である。
【００１３】
撮影レンズ５００内の各レンズ群（撮像光学系）を通過した光束は、カメラ本体１００に設けられたビームスプリッタ（光束分割手段）１０３に入射する。ビームスプリッタ１０３は、カメラ本体１００の内部に固定されており、本実施例においてはハーフミラーである。ビームスプリッタ１０３は、撮像光学系を通過する光束（撮像光学系を介して形成された光束）を第１の光束と第２の光束とに分割する。ビームスプリッタ１０３により分割された光束の一方の光束（第１の光束）は、ビームスプリッタ１０３を透過して第１の撮像面（第１の光束が集束する第１の位置）に配置された撮像素子（第１の撮像素子）１０１へ導かれる。他方の光束（第２の光束）は、ビームスプリッタ１０３で反射して第２の撮像面（第２の光束が集束する第２の位置）に配置された撮像素子（第２の撮像素子）１０２へ導かれる。撮像素子１０１、１０２はそれぞれ、瞳分割手段として機能する。なおビームスプリッタ１０３は、入射光束を分割することが可能であれば、必ずしもハーフミラーでなくてもよい。
【００１４】
第１の撮像面および第２の撮像面は、撮影レンズ５００から見て光学的に等価な位置にある。換言すると、第１の撮像面に配置された撮像素子１０１と第２の撮像面に配置された撮像素子１０２はそれぞれ、撮影レンズ５００を介して、被写体に対して光学的に共役な結像面にある。第１の撮像面および第２の撮像面には、ビームスプリッタ１０３の透過率および反射率に応じた明るさの被写体像が形成される。撮像光束中に配置されたハーフミラー（ビームスプリッタ１０３）は、理想的な平面であって、かつ光束が透過する領域の屈折率が一様であることが好ましい。しかし、現実には、ある程度のうねりや屈折率分布が生じているため、ビームスプリッタ１０３を透過および反射した光束により形成される画像の画質は、低下する場合がある。そして、ハーフミラーが薄板ガラスで構成されている場合、画質低下の程度は、透過した光束により形成される画像と比較して、反射した光束により形成される画像において相対的に大きい。
【００１５】
そこで本実施例においては、透過側の撮像素子１０１を高解像度記録用撮像素子、すなわち主として静止画を撮影するための第１の撮像素子とし、反射側の撮像素子１０２を静止画よりも記録画素数が少ない動画の撮影に用いる第２の撮像素子としている。ただし本実施例は、これに限定されるものではなく、ビームスプリッタ１０３の特性やその他の条件に応じて、撮像素子１０１、１０２の位置を互いに入れ替えてもよい。撮像素子１０１、１０２はそれぞれ、ＣＭＯＳエリアセンサを備え、撮影レンズ５００の撮像光学系を介して形成された光学像（被写体像）を光電変換する。ＣＭＯＳエリアセンサは、被写体像を電気信号に変換するマトリクス状に配置された画素部を有する。電気信号に変換された画素情報は、カメラＣＰＵ１０４に入力される。カメラＣＰＵ１０４は、画素情報に対して、画像信号や焦点検出信号を得るための各種補正処理や、得られた画像信号をライブビュー画像や記録画像へ変換するための処理等を行う。なお本実施例において、これらの処理等をカメラＣＰＵ１０４で行っているが、これに限定されるものではない。これらの処理等を専用の回路で行ってもよい。
【００１６】
フォーカルプレンシャッタ１１１は、撮像素子１０１の前面に配置されている。シャッタ駆動部１１２は、例えばモータであり、シャッタの羽根を駆動制御することで、静止画を撮像する際の露光時間を制御する。カメラ側通信端子１１３は、撮影レンズ５００を装着するためのカメラマウント部に設けられている。カメラ側通信端子１１３は、レンズマウント部に設けられたレンズ側通信端子５０８とともに、カメラＣＰＵ１０４とレンズＣＰＵ５０７との間でやりとりされる情報を送受信する。
【００１７】
撮影レンズ５００は、カメラ本体１００に対して着脱可能であり、本実施例では焦点距離が可変なズームレンズである。被写体からの光束は、第１のレンズ群５０１、第２のレンズ群５０２、および、第３のレンズ群５０３（併せて撮像光学系という）を通過し、カメラ本体１００内の撮像面に被写体像を形成する。第２のレンズ群５０２は、光軸ＯＡに沿った方向（光軸方向）に進退して光学倍率を変更するバリエータとして機能する。本実施例において、第２のレンズ群５０２は、ステッピングモータ等を用いた第２のレンズ群駆動部５０９により駆動される。第３のレンズ群５０３は、光軸方向に進退して焦点調節を行うフォーカスレンズとして機能する。第３のレンズ群５０３は、ステッピングモータ等を用いたフォーカス駆動部５０４により駆動される。絞り（虹彩絞り）５０５は、撮影レンズ５００に入射する光量を調節するための複数の絞り羽根で構成されている。絞り駆動部５０６は、絞り羽根を所定の絞り値（Ｆ値）になるまで絞り込み駆動する。
【００１８】
レンズＣＰＵ５０７は、レンズ側通信端子５０８およびカメラ側通信端子１１３を介してカメラＣＰＵ１０４と通信し、各種情報を送受信する。またレンズＣＰＵ５０７は、カメラＣＰＵ１０４からの指令に基づいて、フォーカス駆動部５０４、絞り駆動部５０６、および、第２のレンズ群駆動部５０９を制御する。具体的には、レンズＣＰＵ５０７は、焦点調節手段として機能し、フォーカス駆動部５０４を所定量だけ駆動してピントズレを解消する（焦点調節を行う）。
【００１９】
撮影レンズ５００のズームレンジや開放Ｆ値は撮影意図に応じて設計されるが、本実施例において、開放Ｆ値はズーム状態やフォーカス状態によらず、Ｆ２の一定値となるように構成されている。一方、射出瞳と撮像面との間の距離、いわゆる射出瞳距離はズーム状態およびフォーカス状態に応じて変化する。
【００２０】
操作部材１０５は、カメラ本体１００の撮影モードや撮影条件等を設定するための各種部材である。記録媒体（記録部）１０６は、フラッシュメモリであり、撮影した静止画を記録する静止画記録部１０６ａ、および、動画を記録する動画記録部１０６ｂを有する。このような構成により、記録媒体１０６は、第１の撮像信号に基づいて生成された第１の画像および第２の撮像信号に基づいて生成された第２の画像の少なくとも一方を記録する。外部表示器１１０は、表示部１１０ａおよび指示部１１０ｂを有する。表示部１１０ａは、裸眼視に適した画面サイズの有機ＥＬディスプレイや液晶ディスプレイを備え、第１の撮像信号に基づいて生成された第１の画像および第２の撮像信号に基づいて生成された第２の画像の少なくとも一方を表示する。また表示部１１０ａは、カメラＣＰＵ１０４の指令に基づいて、カメラ本体１００の設定状態、ライブビュー画像、撮影済み画像等の各種情報をに表示する。
【００２１】
表示部１１０ａにはタッチパネル機能が付与可能であり、操作部材１０５を用いて行う操作を、表示部１１０ａのタッチパネル入力で行ってもよい。本実施例では、タッチパネル機能を利用可能であるものとして説明する。指示部１１０ｂは、ユーザからの入力情報をカメラＣＰＵ１０４へ送信し、各種情報の変更を指示する。指示部１１０ｂが変更を指示する情報とは、例えば、初期撮影範囲Ｓから目標撮影範囲Ｅへの倍率変更（撮影範囲の変更）に関する情報である。すなわちカメラＣＰＵ１０４は、指示部１１０ｂにより指示された撮影範囲の変更に応じて、光学倍率変更部１０４１ａおよび電子倍率変更部１０４１ｂを制御する。なお、初期撮影範囲Ｓから目標撮影範囲Ｅへの倍率変更の詳細については、図１４を参照して後述する。表示部１１０ａにタッチパネル機能がない場合、ユーザは、操作部材１０５を操作して情報を入力すればよい。
【００２２】
カメラＣＰＵ１０４は、後述の倍率変更処理を行う倍率変更部１０４１を有する。倍率変更部１０４１は光学倍率変更部１０４１ａを有する。光学倍率変更部１０４１ａは、指示部１１０ｂからの情報に基づいて光学倍率変更量を決定し、カメラ側通信端子１１３およびレンズ側通信端子５０８を介してレンズＣＰＵ５０７へ光学倍率変更の指令を行う。レンズＣＰＵ５０７は、その指令に基づいて、第２のレンズ群駆動部５０９を制御し、撮像素子１０１、１０２に撮像される撮像範囲を時々刻々と変化させる。ここで撮像範囲とは、撮影範囲と異なる意味を有する単語として定義される。撮像範囲とは、撮像素子１０１、１０２に撮像される範囲を意味する。一方、撮影範囲とは、撮像範囲の少なくとも一部領域を切出した範囲を意味し、表示部１１０ａに表示され、または記録媒体１０６に記憶される範囲である。また、本実施例における光学倍率変更量を、単位時間あたりの焦点距離の変化量と定義し、単位を［ｍｍ／ｓｅｃ］とする。
【００２３】
倍率変更部１０４１は、電子倍率変更部１０４１ｂを有する。電子倍率変更部１０４１ｂは、指示部１１０ｂからの情報に基づいて電子倍率変更量を決定し、電子倍率変更を行う。電子倍率変更とは、撮像素子１０１、１０２の撮像信号の少なくとも一部領域を切り出して拡大した、ある撮影範囲の信号を生成することを意味する。拡大後の信号は、補間処理により作成される。なお、本実施例における補間方法としては、周辺画素の平均化処理や超解像処理が用いられるが、これらに限定されるものではなく、他の処理を用いてもよい。なお、電子倍率変更量の定義については後述する。
【００２４】
倍率変更部１０４１は、切り替え部（倍率変更方向判定部）１０４１ｃを有する。切り替え部１０４１ｃは、指示部１１０ｂからの情報に基づいて、動画の撮影範囲および静止画の撮影範囲の変更量を切り替える。切り替え方法の詳細については、後述する。カメラＣＰＵ１０４は焦点検出部１０４２を有し、撮像素子１０１または撮像素子１０２から出力された一対の信号に基づいて後述の焦点検出処理を行う。
【００２５】
＜撮像素子の構成＞
次に、図２を参照して、本実施例における撮像素子１０１の構成について説明する。図２は、撮像素子１０１の構成図である。本実施例において、撮像素子１０１と撮像素子１０２は、後述のマイクロレンズの偏心量を除いて、同一構造で同一画素数を有する。このため、図２においては、撮像素子１０１の構造について説明する。
【００２６】
図２（ａ）は、撮像面の中央近傍（像高０付近）における一部の画素部（画素群）を撮影レンズ５００側から見た平面図である。撮像素子１０１の複数の画素部はそれぞれ、撮像面上の水平方向（ｘ方向）および垂直方向（ｙ方向）ともに４μｍの大きさを有する正方形の画素部であり、これらの画素部の構造は実質的に全て同じである。撮像素子１０１は、これらの画素部が水平方向に６０００画素、垂直方向に４０００画素配列された、有効画素数２４００万画素の撮像素子である。撮像領域の大きさは、画素部の大きさ、すなわち画素ピッチに画素数を乗じることにより求めることができる。本実施例において、撮像領域は、水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素部には、ＲＧＢのカラーフィルタがモザイク状に配列されている。
【００２７】
図２（ｂ）は、画素群のうちの一つの画素部の断面図である。ＣＭＯＳイメージセンサの基体を成すシリコン基板１０１ｄ内には、光電変換部（第１の光電変換部）１０１ａおよび光電変換部（第２の光電変換部）１０１ｂが設けられている。また、シリコン基板１０１ｄ内には、光電変換部１０１ａ、１０１ｂで発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成されている。光電変換後の出力信号は、配線層１０１ｅを介して読み出される。
【００２８】
各々の配線層１０１ｅは、透明な層間膜１０１ｆにより絶縁されている。オンチップマイクロレンズ１０１ｃの下には、色分離用のカラーフィルタ１０１ｇが設けられている。オンチップマイクロレンズ１０１ｃの形状は、その焦点位置が光電変換部１０１ａおよび光電変換部１０１ｂの上面に略一致するように決められる。このため、光電変換部１０１ａ、１０１ｂは、オンチップマイクロレンズ１０１ｃを介して後述する撮影レンズ５００の射出瞳近傍に逆投影され、逆投影像が位相差式焦点検出の際の焦点検出瞳として機能する。そして、位相差式の焦点検出を行う際、光電変換部１０１ａ、１０１ｂの出力信号を個別に処理して一対の像（２像）の位相差像を生成する。カメラＣＰＵ（焦点検出手段）１０４は、この２像の相対的な像ずれ量に基づいて、撮像面における被写体像のデフォーカス量を算出する。またカメラＣＰＵ１０４は、一対の光電変換部１０１ａ、１０１ｂの信号を加算し、静止画もしくは動画の記録用画像信号またはライブビュー用（表示用）の画像信号を得る。なお、この加算処理は専用の回路を設けて行うことができる。または、撮像素子１０１が光電変換部１０１ａ、１０１ｂからの信号を個別に出力した後に、撮像素子１０１内でそれらの信号を加算して出力してもよい。なお、撮像素子１０２の平面構造および断面構造は、図２（ａ）、（ｂ）に示される撮像素子１０１の構造と実質的に同一であるため、撮像素子１０２の構造に関する詳細な説明は省略する。
【００２９】
＜撮像素子の読み出し回路の構成＞
次に、図３を参照して、本実施例における撮像素子１０１の読み出し回路の構成について説明する。図３は、撮像素子１０１の読み出し回路の構成図である。光電変換部１０１ａ、１０１ｂは、１つの画素部に配置された一対の光電変換部である。１２１は水平走査回路であり、１２３は垂直走査回路である。各画素部の境界には、水平走査ライン１２２ａ、１２２ｂ、および、垂直走査ライン１２４ａ、１２４ｂが配線されている。各光電変換部からの信号は、これらの各走査ラインを介して外部に読み出される。なお、撮像素子１０２も撮像素子１０１と同様の読み出し回路を有するため、その説明は省略する。
【００３０】
本実施例の撮像素子１０１、１０２は、以下の３種類の読み出しモードを有する。第１の読み出しモード（第１のモード）は、全画素読み出しモードと称され、記録用の静止画や動画を撮像するためのモードである。この場合、全画素部の信号が読み出される。第２の読み出しモード（第２のモード）は、間引き読み出しモードと称され、記録用の静止画よりも画素数の少ないライブビュー画像の表示を行うためのモードである。ライブビュー画像とは、撮像素子１０１が取得した画像を表示部１１０ａにリアルタイムで表示するための画像である。ライブビューに必要な画素数は全画素数よりも少ないため、撮像素子１０１は、ｘ方向およびｙ方向ともに所定比率に間引いた画素部のみから信号を読み出すことで、信号処理回路の処理負荷を軽減するとともに、消費電力の低減にも寄与する。第３の読み出しモード（第３のモード）は、領域限定全画素読み出しモードと称され、所定の領域内に含まれる全画素部の信号が読み出される。一部の領域のみを拡大してライブビュー画面に表示し、または、一部の領域のみの焦点検出のための信号を生成するためのモードである。一部の領域に限定して読み出した際の画素数は、全画素数よりも少ないため、第３のモードは、第１のモードと比較して信号処理回路の処理負荷が軽減されるとともに、消費電力の低減にも寄与する。
【００３１】
また、第１〜第３のいずれの読み出しモードにおいても、各画素部が備える一対の光電変換部の信号は独立して読み出される。このため、いずれのモードにおいても、焦点検出のための信号を生成することが可能である。なお本実施例において、撮像素子１０１は主として静止画撮影用に用いられるが、動画撮影用に用いてもよい。例えば、撮像素子１０２を用いて動画撮影中に、撮像素子１０１は前述の間引き読み出しモードで画像を低解像度動画として記録することも可能である。同様に、撮像素子１０２は主として動画撮影用に用いられるが、静止画撮影用に用いてもよい。例えば、動画記録中に所定の１フレームを静止画として記録することも可能である。
【００３２】
＜撮影レンズの射出瞳と２つの撮像素子における焦点検出瞳との関係＞
次に、図４を参照して、撮影レンズ５００の射出瞳と２つの撮像素子１０１、１０２の焦点検出瞳との関係について説明する。図４は、撮影レンズ５００の射出瞳と２つの撮像素子１０１、１０２の焦点検出瞳の関係図であり、図４（ａ）は撮像素子１０１の説明図、図４（ｂ）は撮像素子１０２の説明図である。
【００３３】
高精度な位相差ＡＦを実現するには、位相差検出用の焦点検出瞳の基線長が長いこと、撮影レンズ５００の絞り値（Ｆ値）や射出瞳距離の変化に対して射出瞳と焦点検出瞳の位置ずれが少ないこと等が挙げられる。これらの性能を満足するための画素部の構造に関し、図４（ａ）を参照して説明する。
【００３４】
図４（ａ）は、撮影レンズ５００の光学要素部、および、撮像素子１０１の２つの画素部１０１１、１０１２を示している。画素部１０１１は撮像面中央、すなわち像高ｘ＝０に配置された画素部であり、画素１０１２は撮像面の端に近い場所、例えば像高ｘ＝１０ｍｍに配置された画素部である。まず、撮影レンズ５００の射出瞳について説明する。
【００３５】
撮影レンズ５００は焦点距離が可変のズームレンズであり、ズーム操作に応じて焦点距離、開放Ｆ値、および、後述する射出瞳距離が変化する。図４において、撮影レンズ５００の焦点距離は、広角端に設定されている。撮影レンズ５００を構成する第１のレンズ群５０１は、その最前面が前枠５０１ｒで不図示のレンズ鏡筒に保持され、第３のレンズ群５０３の最後面は後枠５０３ｒでレンズ鏡筒に保持される。第１のレンズ群５０１と第３のレンズ群５０３との間には、絞り５０５が配置されている。図４において、絞り５０５の開口は開放状態を示している。絞りが開放の時、画素部１０１１に到達する光束のうち、最も外側の光線Ｌ１１ａ、Ｌ１１ｂは、絞り５０５の開口部で規制された光線である。光線Ｌ１１ａ、Ｌ１１ｂがなす角度θ１１は、広角端における開放Ｆ値に対応する光束の角度である。
【００３６】
一方、撮影レンズ５００を通過して撮像面の端付近に配置された画素部１０１２に到達する光束は、光線Ｌ１２ａ、Ｌ１２ｂに挟まれた領域内の光束となる。光線Ｌ１２ａは、前枠５０１ｒで規制された光線であり、いわゆる下線と称される光線である。光線Ｌ１２ｂは、後枠５０３ｒで規制された光線であり、上線と称される光線である。光線（上線）Ｌ１２ｂと光線（下線）Ｌ１２ａとのなす角度θ１２は、口径食のために画面中央の光線の角度θ１１よりも小さい。
【００３７】
光線（上線）Ｌ１２ｂと光線（下線）Ｌ１２ａの中間の光線Ｌ１２ｃは主光線であり、光軸Ｌ１１ｃと主光線Ｌ１２ｃとの交角は角度β１をなす。そして、光軸Ｌ１１ｃと主光線Ｌ１２ｃとが交差する点ＣＬ１を通り、光軸Ｌ１１ｃに垂直な面は、射出瞳面ＥＰＬ１である。射出瞳面ＥＰＬ１上において、画素部１０１２へ到達する光束が通る領域は、画素部１０１２から見た射出瞳であり、撮像面と射出瞳との間隔ＰＬ１は射出瞳距離である。本実施例において、撮影レンズ５００の射出瞳距離ＰＬ１をレンズ瞳距離と呼ぶ。なお、絞り５０５の絞り込みに応じて口径食が変化するため、撮影レンズ５００の射出瞳距離も厳密には絞り込み状態に応じて変化する。ただし、一般的には絞り込みによる射出瞳距離変動が僅少となるようにレンズ設計が行なわれるため、絞り込みによる射出瞳距離の変化は無視し得ることが多い。そこで本実施例では、射出瞳距離はズーム状態やフォーカス状態に応じて変化するが、絞り値（Ｆ値）に対しては不変であるとして説明する。
【００３８】
次に、画素部の構造および焦点検出瞳について説明する。画素部１０１１は撮像領域の中央、すなわち撮影レンズの光軸上に位置した画素である。一対の光電変換部１０１１ａ、１０１１ｂは隣接配置され、その境界が極小幅の不感帯となっている。この境界の中心は画素中心と一致しており、一対の光電変換部はｘ方向において画素中心に対して対称形状となっている。このため、個々の光電変換部の重心位置は、画素中心に対してｘ方向に等距離である。主点１０１１ｐは、画素部１０１１のマイクロレンズ１０１１ｃの光線屈折作用を考える上での基準位置であり、主点１０１１ｐを通って光軸に直交する面が撮像素子１０１の予定結像面、いわゆる撮像面ＩＰ１となる。すなわち、撮影レンズ５００によって形成される被写体像のピント位置が各マイクロレンズの主点１０１１ｐを連ねた予定結像面ＩＰ１上に一致する状態が合焦状態であり、このとき、撮像素子１０１が取得する被写体像が最も先鋭となる。なお、マイクロレンズの厚さは１μｍ程度であり、マイクロレンズの頂点と主点１０１１ｐの間隔は更に小さな値であるため、主点１０１１ｐはマイクロレンズの頂点とみなしても差し支えない。
【００３９】
画素部１０１１において、マイクロレンズ１０１１ｃの光軸と画素部の中心（一対の光電変換部の境界中心）とが一致している。一方、撮像面ＩＰ１の端部に位置する画素部１０１２において、マイクロレンズ１０１２ｃの光軸と画素部の中心とは一致しておらず、撮影レンズ５００の光軸寄りに所定量ｄｘ１だけ偏心している。ここで、境界の中心とマイクロレンズの主点とを結ぶ線を画素部の主光線と定義する。このとき、画素部の主光線は、光軸に対して所定の角度ω１だけ傾斜し、撮像面ＩＰ１から所定距離だけ隔たった点ＣＳ１で光軸と交差する。ここで、交点ＣＳ１を通り光軸と直交する仮想面をセンサ瞳面ＳＰＬ１、センサ瞳面ＳＰＬ１と撮像面ＩＰ１との間の距離ＰＳ１をセンサ瞳距離と呼ぶ。センサ瞳面上では、全ての画素の焦点検出瞳が実質的に一致するが、その理由については後述する。
【００４０】
撮像面中央の画素部１０１１において、マイクロレンズ１０１１ｃの主点１０１１ｐと一対の光電変換部上面間の高さｈ１は、画素部の光学的な高さである。厳密な光学的高さは、機械的寸法である高さｈ１に画素部内の光路部分の屈折率を乗じた値であるが、ここでは説明を平易にするため、図４（ａ）に示される高さｈ１を画素部の高さとする。そして、マイクロレンズ１０１１ｃの焦点が光電変換部１０１１ａ、１０１１ｂの上面と略一致するように、マイクロレンズ１０１１ｃの形状（光学パワー）が設定されている。図４（ａ）において、画素部の高さｈ１に対してレンズ瞳距離ＰＬ１およびセンサ瞳距離ＰＳ１はそれぞれ数倍程度の大きさに描かれている。ただし、現実には、画素部の高さｈ１がマイクロメートルオーダーであるのに対して、レンズ瞳距離ＰＬ１およびセンサ瞳距離ＰＳ１は数１０ｍｍオーダーであり、両者の大きさには４桁程度の開きがある。すなわち、マイクロレンズの集光作用を考える場合、画素部１０１１から見た撮影レンズの射出瞳やセンサ瞳面は、非常に遠方にあると見なすことができる。そこで、マイクロレンズ１０１１ｃの焦点位置が光電変換部の上面に略一致していると、光電変換部の上面は遠方にある平面上に投影されることになるが、その投影像の大きさは投影される面の距離に比例する。ここで、投影面を前述のセンサ瞳面ＳＰＬ１とすると、センサ瞳面ＳＰＬ１上には一対の光電変換部１０１１ａ及び１０１１ｂに対応する一対の逆投影像ＡＰ１ａ、ＡＰ１ｂが形成され、これが焦点検出時の光束を規定する焦点検出瞳となる。
【００４１】
次に、画素部１０１２の構造およびセンサ瞳距離について説明する。図４（ａ）において、画素部１０１２のｘ座標をＸ１とすると、マイクロレンズ１０１２ｃの主点およびセンサ瞳面上の点ＣＳ１を頂点とする２つの三角形の相似関係より、以下の式（１）が成り立つ。
【００４２】
Ｘ１／（ＰＳ１＋ｈ１）＝ｄｘ１／ｈ１  …  （１）
式（１）において、ＰＳ１≫ｈ１であるため、左辺の分母ＰＳ１＋ｈ１はＰＳ１と近似できる。式（１）を変形すると、以下の式（２）、（３）の関係が得られる。
【００４３】
ＰＳ１＝Ｘ１×（ｈ１／ｄｘ１）  …  （２）
ｄｘ１＝ｈ１×（Ｘ１／ＰＳ１）  …  （３）
また、画素部１０１２の画素構造や各部の寸法は、マイクロレンズの偏心量を除いて画素部１０１１と同一である。このため、センサ瞳面ＳＰＬ１上には、一対の光電変換部１０１２ａ及び１０１２ｂに対応する一対の逆投影像が形成され、この逆投影像は画素部１０１１の光電変換部の逆投影像ＡＰ１ａ、ＡＰ１ｂと実質的に同一となる。すなわち、任意の画素において、式（３）が成り立つように各画素のマイクロレンズの偏心量を設定することにより、全ての画素のセンサ瞳距離がＰＳ１となり、センサ瞳面上においては全ての画素の焦点検出瞳がＡＰ１ａ、ＡＰ１ｂに共通化される。すなわち、マイクロレンズアレイを介して各画素が備える光電変換部とセンサ瞳面とが共役な関係になり、全ての画素の焦点検出瞳がセンサ瞳面上で実質的に一致する。
【００４４】
次に、焦点検出瞳の基線長について説明する。画素部１０１１における一対の光電変換部１０１１ａ、１０１１ｂは、ｘ方向において対称形状であり、各々の光電変換部における感度重心位置のｘ方向間隔をＧＳ１とする。そして、光電変換部の感度重心位置とマイクロレンズ１０１１ｃの主点１０１１ｐとを結び、撮影レンズ５００の射出瞳方向に延長した線を光電変換部の主光線と定義する。このとき、マイクロレンズの主点を頂点とし、一対の２本の主光線Ｓ１１ａ、Ｓ１１ｂが形成する２つの三角形の相似関係から、以下の式（４）が導かれる。
【００４５】
ＧＰ１／ＰＳ１＝ＧＳ１／ｈ１  …      （４）
式（４）を変形すると、焦点検出瞳の基線長ＧＰ１は、以下の式（５）のように表される。
【００４６】
ＧＰ１＝ＧＳ１×（ＰＳ１／ｈ１）  …  （５）
また、一対の焦点検出光束における一対の主光線Ｓ１１ａ、Ｓ１１ｂのなす角度が基線角度α１１で、ｓｉｎα≒ｔａｎα≒αの近似が成り立つ領域では、以下の式（６）が成り立つ。
【００４７】
α１１＝ＧＳ１／ｈ１＝ＧＰ１／ＰＳ１  …  （６）
撮像面の端部に位置する画素部１０１２に関しても、光電変換部１０１２ａの感度重心位置と光電変換部１０１２ｂの感度重心位置のｘ方向間隔はＧＳ１であり、一対の光電変換部の主光線Ｓ１２ａ、Ｓ１２ｂが定義され、式（１）、（２）が成り立つ。すなわち、画素部１０１１と画素部１０１２のそれぞれにおいて、焦点検出瞳の基線長は互いに等しい値ＧＰ１となる。一方、両者の基線角度は厳密には異なり、画素部１０１１の基線角度はα１１、画素部１０１２の基線角度はα１２となり、α１１＞α１２の関係となる。
【００４８】
基線長は、２眼式ステレオカメラや、外測式位相差検出モジュールにおける一対の光学系の入射瞳間の距離を意味するが、本実施例における撮像面位相差検出方式では、センサ瞳面ＳＰＬ１上の一対の光束の間の距離ＧＰ１を基線長と称する。この場合、センサ瞳面ＳＰＬ１と撮像面ＩＰ１との間隔であるセンサ瞳距離ＰＳ１が変化すると、基線長ＧＰ１も変化する。このため、基線長の大小を比較する場合、センサ瞳距離ＰＳ１を揃えなければならない。また、図４（ａ）、（ｂ）に示される基線長ＧＰ１、ＧＰ２は画素単体の基線長である。ただし、焦点検出時には焦点検出瞳が撮影レンズ５００の射出瞳でケラレるため、ケラレ状況に応じて基線長は短くなる。なお、基線角度α１１はレンズ瞳距離やセンサ瞳距離には依存せず、画素の構造と寸法のみにより決定される。このため、撮像素子単体の焦点検出能力を比較する場合、基線角度αで比較することが妥当である。位相差検出時の一対２像の相対的な横ずれ量は、基線長ＧＰ１または基線角度α１１に比例する。このため、これらの値が大きいほど、焦点検出分解能は高い。
【００４９】
次に、撮像素子１０１を用いた焦点検出の原理を説明する。撮像素子１０１に配置された任意の像高の画素内の一方の光電変換部１０１１ａ（または光電変換部１０１２ａ）は、マイクロレンズアレイを介して焦点検出瞳ＡＰ１ａを通過した光束を受光し、光電変換信号Ｓａを出力する。同様に、画素内の他方の光電変換部１０１１ｂ（または光電変換部１０１２ｂ）は、マイクロレンズアレイを介して焦点検出瞳ＡＰ１ｂを通過した光束を受光し、光電変換信号Ｓｂを出力する。そこで、ｘ方向に連続して配置された複数の画素が出力する信号Ｓａ同士、および、信号Ｓｂ同士を連ねた信号をそれぞれ、Ａ像信号およびＢ像信号と定義する。このときＡ像信号とＢ像信号は、被写体像のピントズレ状態に応じてｘ方向に横ずれしている。この横ずれ量は、被写体像のピントズレ量すなわちデフォーカス量に比例するとともに、焦点検出瞳の基線長ＧＰ１または基線角度α１１にも比例する。
【００５０】
次に、図４（ｂ）に示される撮像素子１０２の画素部の構造と焦点検出瞳について説明する。本実施例において、２つの撮像素子１０１、１０２は１つの撮影レンズ５００を共用しているが、撮影レンズ５００から撮像素子１０２に向かう光束は、ビームスプリッタ１０３を介して９０度折れ曲がる。そこで、撮像素子１０２上に形成される被写体像は鏡像となっているが、ここでは光束を直線状に展開し、鏡像も元の正像に戻した状態で説明する。
【００５１】
図４（ｂ）は、図４（ａ）と同様に、２つの画素部１０２１、１０２２を示している。画素部１０２１は撮像面中央、すなわち像高ｘ＝０ｍｍに配置され、画素部１０２２は像高ｘ＝１０ｍｍに配置されている。撮像面中央の画素部１０２１は、図４（ａ）の画素部１０１１と同一構成である。すなわち、画素部１０２１の画素の高さｈ２は画素部１０１１の画素の高さｈ１と同一であり、マイクロレンズ１０２１ｃの主点１０２ｐを通り光軸Ｓ２１ｃに直交する面が撮像面ＩＰ２である。また、マイクロレンズ１０２１ｃの光軸は一対の光電変換部の境界と一致し、かつマイクロレンズ１０２１ｃの焦点位置は一対の光電変換部の上面と略一致している。
【００５２】
一方、撮像面ＩＰ２の端部近傍に位置する画素部１０２２においては、撮像素子１０１の画素部１０１２と同様に、マイクロレンズ１０２２ｃの光軸が画素部の中心に対して偏心しているが、その偏心量は前記所定量ｄｘ１とは異なる所定量ｄｘ２に設定されている。画素部１０２２の主光線Ｓ２２ｃ（一対の光電変換部境界とマイクロレンズの主点を結ぶ線）は、光軸に対して所定の角度ω２だけ傾斜し、撮像面ＩＰ１から所定距離だけ隔たった点ＣＳ２で光軸と交差する。交差点ＣＳ２を通って光軸と直交する仮想面を、図４（ａ）を参照して説明したと同様にセンサ瞳面ＳＰＬ２とし、センサ瞳面ＳＰＬ２と撮像面ＩＰ２との間の距離ＰＳ２をセンサ瞳距離と呼ぶ。
【００５３】
このため、撮像素子１０１に関するセンサ瞳距離に対応する式（１）〜（３）はそれぞれ、撮像素子１０２に関しては以下の式（７）〜（９）のように表される。
【００５４】
Ｘ１／（ＰＳ２＋ｈ２）＝ｄｘ２／ｈ２  …  （７）
ＰＳ２＝Ｘ１×（ｈ２／ｄｘ２）  …  （８）
ｄｘ２＝ｈ２×（Ｘ１／ＰＳ２）  …  （９）
画素部１０２２の画素構造や各部の寸法は、マイクロレンズの偏心量を除いて、画素部１０２１と同一である。このため、センサ瞳面ＳＰＬ２上には、一対の光電変換部１０２２ａ、１０２２ｂに対応する一対の逆投影像が形成され、この逆投影像は画素部１０２１の光電変換部の逆投影像ＡＰ２ａ、ＡＰ２ｂと実質的に同一となる。すなわち、任意の画素において、式（９）が成り立つように画素のマイクロレンズの偏心量を設定することにより、全ての画素のセンサ瞳距離がＰＳ２となり、センサ瞳面上においては全ての画素の焦点検出瞳がＡＰ２ａ、ＡＰ２ｂに共通化される。
【００５５】
ここで、画素部１０１２のマイクロレンズ１０２２ｃの偏心量ｄｘ２は、図４（ａ）に示される撮像素子１０１における偏心量ｄｘ１よりも小さい。このため、撮像面の端部における主光線角度ωとセンサ瞳距離ＰＳとの大小関係は、以下の式（１０）、（１１）のようになる。
【００５６】
ω１＞ω２  …  （１０）
ＰＳ１＜ＰＳ２  …  （１１）
なお、撮像素子においては、その製造工程において、画素の高さに関して所定の製造ばらつきが生じるため、主光線角度ωとセンサ瞳距離ＰＳに関してもばらつきが生じる。そこで、画素の高さの製造ばらつきが生じても式（１０）、（１１）のそれぞれの大小関係が逆転しないように、マイクロレンズの偏心量ｄｘ１、ｄｘ２を設定することが好ましい。
【００５７】
次に、撮像素子１０２における焦点検出瞳の基線長について説明する。画素部１０２１における一対の光電変換部１０２１ａ、１０１２ｂは、撮像素子１０１の画素部１０１１と同様にｘ方向において対称形状であり、各々の光電変換部における感度重心位置のｘ方向間隔をＧＳ２とする。また、画素の高さはｈ２である。このとき、撮像素子１０１に関する前述の式（４）〜（６）は、撮像素子１０２においては、以下の式（１２）〜（１４）のように表される。
【００５８】
ＧＰ２／ＰＳ２＝ＧＳ２／ｈ２  …  （１２）
ＧＰ２＝ＧＳ２×（ＰＳ２／ｈ２）  …  （１３）
α２１＝ＧＳ２／ｈ２＝ＧＰ２／ＰＳ２  …  （１４）
また、ｈ１＝ｈ２、ＧＳ１＝ＧＳ２であるため、基線角度は等しく、α１１＝α２１となる。一方、焦点検出瞳の基線長はＧＰ２＞ＧＰ１となり、両者は異なる値であるが、これは焦点検出瞳を投影する面と撮像面の間隔が異なることに起因する。そして、焦点検出精度は基線角度αに依存するため、撮像素子１０１、１０２において、撮像面中央にある画素単体の焦点検出性能は同一となる。撮像面の端部における画素１０２２についても、式（１２）、（１３）が成り立つため、撮像素子単体では撮像素子１０１、１０２の焦点検出性能は等しい。
【００５９】
以上のように、撮像素子１０１、１０２に関して、各画素の基本的な特性は同一であるが、センサ瞳距離は互いに異なる。このため、撮像面中央において両者は同等の焦点検出特性となるが、撮像面端部においては撮影レンズ５００の射出瞳と撮像素子の焦点検出瞳との位置関係が異なり、焦点検出特性も異なる。その様子については、図５を参照して後述する。
【００６０】
＜各画素部の焦点検出瞳と撮影レンズの射出瞳の相対的な位置関係＞
次に、図５を参照して、各画素部の焦点検出瞳と撮影レンズ５００の射出瞳との相対位置（相対的な位置関係）について説明する。図５は、図４に示されるセンサ瞳面ＳＰＬ１、ＳＰＬ２における、各画素部の焦点検出瞳と撮影レンズの射出瞳の相対的な位置関係を示す図である。図５（ａ）は撮像素子１０１の画素部１０１１、図５（ｂ）は撮像素子１０１の画素部１０１２、図５（ｃ）は撮像素子１０２の画素部１０２１、図５（ｄ）は撮像素子１０２の画素部１０２２に関する図をそれぞれ示している。前述のように、焦点検出瞳の大きさは、焦点検出瞳の投影面距離に比例する。そして、図５（ａ）、（ｂ）と、図５（ｃ）、（ｄ）は投影面であるセンサ瞳距離が互いに異なるため、投影距離が揃うように図面の縮尺を調整している。また、いずれの図においても、センサ瞳面における光軸位置を原点としている。まず、図５（ａ）について説明する。
【００６１】
図５（ａ）は、撮像素子１０１の撮像面中央に位置する画素部１０１１からセンサ瞳面ＳＰＬ１を見たときの焦点検出瞳と撮影レンズ５００の射出瞳とを示す。原点はセンサ瞳面ＳＰＬ１と光軸の交点であり、図４（ａ）における点ＣＳ１である。一対の焦点検出瞳ＡＰ１ａ、ＡＰ１ｂは、マイクロレンズ１０１１ｃを介して画素部１０１１の一対の光電変換部１０１１ａ、１０１１ｂと光学的に共役関係にある。ただし、マイクロレンズ１０１１ｃの光学収差、および、画素部の大きさが微小であることによる光波の回折により、一対の焦点検出瞳ＡＰ１ａ、ＡＰ１ｂは輪郭がぼけている。各焦点検出瞳は、クロスハッチングで示される中心部に近づくほど効率が高い、換言すると、中心部に近づくほど受光強度が高い。また、網点で示される領域は、周辺部に行くほど効率が低い、換言すると、受光強度は低くなる。そして、周辺部は互いの領域の一部が重なっている。
【００６２】
ＥＰ１１は撮影レンズ５００における絞り開放時、すなわちＦ２における射出瞳である。絞り５０５は、小絞り時の開口を形成し、例えばＦ５．６における射出瞳を示している。撮像面中央においては、焦点検出瞳と射出瞳は原点である光軸に対して瞳分割方向（横軸ｕ方向）に対称である。このため、焦点検出時のＦ値に関わりなく、一対の焦点検出瞳のケラレは瞳分割方向に対称となり、画素部１０１１の一対の光電変換部１０１１ａ、１０１１ｂの受光信号強度は互いに等しい。
【００６３】
図５（ｂ）は、撮像素子１０１の撮像面端部に位置する画素部１０１２からセンサ瞳面ＳＰＬ１を見たときの焦点検出瞳と撮影レンズ５００の射出瞳とを示している。原点は、図５（ａ）と同様に、図４（ａ）における点ＣＳ１である。一対の焦点検出瞳ＡＰ１ａ、ＡＰ１ｂの形状と位置は、図４（ａ）に示される画素部１０１１と同様であり、原点ＣＳ１に対して瞳分割方向に対称である。
【００６４】
ＥＰ１２は撮影レンズ５００における絞り開放時の射出瞳である。画素部１０１２から見た射出瞳は、口径食により２つの円弧で囲まれた形状となり、ｕ軸方向の幅は狭くなっている。また、絞り５０５は、図５（ａ）と同様に、絞り値Ｆ５．６における射出瞳である。図４（ａ）を参照して説明したように、レンズ瞳距離ＰＬ１と撮像素子１０１のセンサ瞳距離ＰＳ１は若干異なっているため、開放及び絞り込み時の射出瞳中心ＣＤ１は、焦点検出瞳の境界中心ＣＳ１に対して左方向に若干偏心している。ただし、その偏心量は僅かであるため、一対の焦点検出瞳のケラレは瞳分割方向において略対称となり、画素部１０１２が有する一対の光電変換部１０１２ａと１０１２ｂの受光信号強度は略等しい。
【００６５】
図５（ｃ）は、撮像素子１０２の撮像面中央に位置する画素部１０２１からセンサ瞳面ＳＰＬ２を見たときの焦点検出瞳と撮影レンズの射出瞳を示す。原点はセンサ瞳面ＳＰＬ２と光軸の交点であり、図４（ｂ）における点ＣＳ２である。一対の焦点検出瞳ＡＰ２ａ、ＡＰ２ｂは、実質的に図４（ａ）の画素部１０１１と同一である。
【００６６】
また、絞り開放時の射出瞳ＥＰ２１と、Ｆ５．６における射出瞳５０５も、図４（ａ）に示される射出瞳ＥＰ１１および絞り５０５の射出瞳と同一である。このため、画素部１０２１においても焦点検出時のＦ値に関わりなく、一対の焦点検出瞳のケラレは瞳分割方向に対称となり、一対の光電変換部１０２１ａと１０２１ｂの受光信号強度は互いに等しい。
【００６７】
図５（ｄ）は、撮像素子１０２の撮像面の端部に位置する画素部１０２２からセンサ瞳面ＳＰＬ２を見たときの焦点検出瞳と撮影レンズの射出瞳を示す。当図の原点ＣＳ２は、図５（ｃ）と同様に、図４（ｂ）における点ＣＳ２である。一対の焦点検出瞳ＡＰ２ａ、ＡＰ２ｂは、図５（ｃ）と同様に、原点ＣＳ２に対して瞳分割方向に対称となっている。
ＥＰ２２は、絞り開放時の射出瞳であり、図５（ｂ）と同様に、口径食により２つの円弧で囲まれた形状となっている。また、絞り５０５は他の図と同様に絞り値Ｆ５．６における射出瞳に相当する。図４（ｂ）を参照して説明したように、レンズ瞳距離ＰＬ１と撮像素子１０２のセンサ瞳距離ＰＳ２は大きく異なる。このため、開放および絞り込み時の射出瞳中心ＣＤ２は、焦点検出瞳の境界中心ＣＳ２に対して左方向に大きく偏倚する。そこで、一対の焦点検出瞳のケラレは瞳分割方向に非対称となり、画素部１０２２の一対の光電変換部１０２２ａ、１０２２ｂの受光信号強度は大きく異なる。この光量差（厳密には光量比）は、像高が大きく、また小絞りになるほど著しくなる。
【００６８】
＜シェーディング特性＞
次に、図６を参照して、本実施例における撮像素子１０１、１０２のシェーディング特性について説明する。図６は、撮影レンズ５００の絞り値を開放、および、Ｆ５．６に絞り込んだときの、一様な輝度分布を有する被写体を撮像した際の撮像素子の受光光量、すなわちシェーディング特性の説明図である。図６（ａ）は撮像素子１０１の特性図、図６（ｂ）は撮像素子１０２の特性図である。
【００６９】
まず、図６（ａ）について説明する。図６（ａ）の横軸は撮像素子１０１の撮像面ＩＰ１におけるｘ方向の像高、縦軸は一対の焦点検出瞳に対応する光束を受光する光電変換部の出力信号であり、各画素が備える光電変換部の受光光量に比例した値である。Ｓ１ａ（Ｆ２）は、絞り開放（Ｆ２）時における、一方の焦点検出瞳ＡＰ１ａに対応する光電変換部群の出力信号であり、これをＡ像信号と呼ぶ。Ｓ１ｂ（Ｆ２）は、対となる他方の焦点検出瞳ＡＰ１ｂに対応する光電変換部の出力信号であり、これをＢ像信号と呼ぶ。焦点検出の際は、所定の明暗パターンを有する被写体についてのＡ像信号とＢ像信号との相関演算を行ってデフォーカス量を検出する。
【００７０】
図６（ａ）の波形は、無地の均一輝度面に対する信号、すなわち焦点検出系のシェーディング特性を示している。図６（ａ）において、両信号は、像高ｘの増加とともにその値が急激に低下する。これは、撮影レンズ５００の口径食に起因する。また撮像素子１０１は、レンズ瞳距ＰＬ１とセンサ瞳距離ＰＳ１とが略一致しているが、図４（ａ）を参照して説明したように、厳密にはレンズ瞳距離ＰＬ１の方が若干小さい。そこで、図５（ａ）、（ｂ）を参照して説明したように、像高の増加と共に撮影レンズの射出瞳中心と焦点検出瞳の中立点が僅かにずれるため、図６（ａ）のＡ像信号Ｓ１ａ（Ｆ２）とＢ像信号Ｓ１ｂ（Ｆ２）は像高に応じてその値も若干のずれを生じている。また、像高ｘが正の領域ではＡ像＞Ｂ像、像高ｘが負の領域ではＡ像＜Ｂ像となり、像高の正負に応じて両信号の大小関係は逆転する。図６（ａ）のＳ１ａ（Ｆ５．６）、Ｓ１ｂ（Ｆ５．６）はそれぞれ、Ｆ５．６に絞ったときのＡ像信号およびＢ像信号である。両信号は像高と共に出力が緩やかに低下するが、その低下原因はコサイン４乗則による。また、両信号も像高の増加とともに値が異なっていくが、その理由は絞り開放の場合と同様である。
【００７１】
図６（ｂ）は撮像素子１０２の特性図であり、図の意味は図６（ａ）と同じである。Ｓ２ａ（Ｆ２）とＳ２ｂ（Ｆ２）はそれぞれ、絞り開放（Ｆ２）時におけるＡ像信号およびＢ像信号である。Ｓ２ａ（Ｆ５．６）とＳ２ｂ（Ｆ５．６）はそれぞれ、Ｆ５．６に絞り込んだときのＡ像信号およびＢ像信号である。図４（ｂ）を参照して説明したように、撮像素子１０２はレンズ瞳距ＰＬ１とセンサ瞳距離ＰＳ２の乖離が大きい。このため、図５（ｄ）に示されるように、像高の大きな領域では撮影レンズの射出瞳中心と焦点検出瞳の中立点のずれも大きく、一対の焦点検出瞳の光量比もアンバランスになる。したがって、撮像素子１０２のシェーディング特性も口径食やコサイン４乗則を起因とする光量低下に加えて、射出瞳と焦点検出瞳の位置ずれに起因するＡ像信号とＢ像信号の乖離が顕著になっている。
【００７２】
焦点検出時には、撮像装置１が記憶しているシェーディング補正情報を用いてＡ像信号とＢ像信号にシェーディングを施した後に相間演算を行うことが一般的である。しかしながら、元の像信号のレベル差が大きいと、シェーディング補正誤差も大きくなる傾向がある。また、元の信号レベルが本来想定したレベルより低いと、シェーディング補正による信号増幅比も大きくなり、その結果、ノイズ等を増幅して焦点検出誤差が増加してしまう。すなわち、図６（ａ）、（ｂ）のシェーディング特性を比較すると、図６（ａ）の方がＡ像信号とＢ像信号のレベル差が少なく、焦点検出精度が良いと判定される。このため、２つの撮像素子が位相差検出可能な場合、レンズ瞳距離とセンサ瞳距離との乖離が少なく、Ａ像信号とＢ像信号のシェーディング特性が一致している方の撮像素子の焦点検出結果を優先的に使用することが好ましい。
【００７３】
シェーディング特性の一致度は、以下のように定義して判定される。撮像面の端部に近い所定像高において、Ａ像信号とＢ像信号のうちの大きな方をＭａｘ（Ａ，Ｂ）、小さな方をＭｉｎ（Ａ，Ｂ）、両者の比をシェーディング比ＳＨとし、以下の式（１５）のように定義される。
【００７４】
ＳＨ＝Ｍａｘ（Ａ，Ｂ）／Ｍｉｎ（Ａ，Ｂ）  …  （１５）
次に、図７を参照して、２つの撮像素子１０１、１０２のそれぞれのシェーディング比について説明する。図７は、シェーディング比の説明図であり、２つの撮像素子１０１、１０２におけるシェーディング比ＳＨがレンズ瞳距離に対してどのように変化するのかを示している。図７の横軸は撮影レンズ５００のレンズ瞳距離ＰＬ、縦軸はシェーディング比ＳＨである。
【００７５】
本実施例の撮影レンズ５００は、ズームやフォーカスの状態変化により、レンズ瞳距離がＰＬｍｉｎからＰＬｍａｘまで変化する。ＳＨ１（Ｆ２）、ＳＨ１（Ｆ５．６）はそれぞれ、撮影レンズ５００の絞り値が開放およびＦ５．６における撮像素子１０１のシェーディング比である。レンズ瞳距離ＰＬが撮像素子１０１のセンサ瞳距離ＰＳ１に一致すると、Ａ像信号とＢ像信号のシェーディング波形は互いに等しく、シェーディング比ＳＨ１は極小値の１となる。レンズ瞳距離ＰＬがセンサ瞳距離ＰＳ１からずれるに従って、シェーディング比ＳＨ１は増加する。撮影レンズ５００の絞り５０５が小絞りになるほど、シェーディング比の増加が著しい。
【００７６】
ＳＨ２（Ｆ２）、ＳＨ２（Ｆ５．６）はそれぞれ、撮影レンズ５００の絞り値が開放およびＦ５．６に絞ったときの撮像素子１０２のシェーディング比である。レンズ瞳距離ＰＬが撮像素子１０２のセンサ瞳距離ＰＳ２に一致すると、Ａ像信号とＢ像信号のシェーディング波形は互いに等しく、シェーディング比ＳＨ１は極小値の１となる。レンズ瞳距離ＰＬがセンサ瞳距離ＰＳ２からずれるに従って、シェーディング比ＳＨ２は増加する。撮影レンズ５００の絞り５０５が小絞りになるほど、シェーディング比の増加が著しい。
【００７７】
ＰＳｍｉｄはシェーディング比ＳＨ１、ＳＨ２の大小関係が反転するレンズ瞳距離であり、これを境界瞳距離と呼ぶ。シェーディング比ＳＨが小さいほど、Ａ像信号とＢ像信号のレベル差が少ないため、焦点検出の際にはシェーディング比ＳＨが小さい方の撮像素子を用いるのが好ましい。このため、焦点検出時のレンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄよりも小さい場合には撮像素子１０１の焦点検出結果を優先し、レンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄよりも大きい場合には撮像素子１０２の焦点検出結果を優先することが好ましい。
【００７８】
＜焦点検出信号の波形例＞
次に、図８を参照して、焦点検出信号の波形について説明する。図７は、焦点検出信号の説明図であり、所定の焦点検出エリア内に存在する被写体を焦点検出する場合の焦点検出信号の波形例を示している。図８（ａ）はシェーディング補正前、図８（ｂ）はシェーディング補正後の波形をそれぞれ示している。図８（ａ）、（ｂ）において、横軸は撮像面のｘ座標、縦軸は焦点検出信号の出力強度である。Ｓａは撮像素子１０１または撮像素子１０２から出力されるＡ像信号、Ｓｂは撮像素子１０１または撮像素子１０２から出力されるＢ像信号である。図８（ａ）において、シェーディング補正前のため、一対の信号にはレベル差が生じている。すなわちＢ像信号Ｓｂに対してＡ像信号Ｓａは平均値が高く、かつ、像高ｘの増加に応じてレベル差が拡大している。
【００７９】
図８（ｂ）は、後述するシェーディング補正処理を行った後の焦点検出信号を示し、Ａ像信号ＳａとＢ像信号Ｓｂのシェーディングが解消し、信号レベルが揃っている。そこで、シェーディング補正後の一対の２像の信号において、所定の相間演算により２像の位相差φを算出する。相間演算式には種々の式が提案されているが、例えば以下の式（１６）が用いられる。
【００８０】
Ｃ（φ）＝Σ｜Ａ（ｉ）−Ｂ（ｉ）｜  …  （１６）
式（１６）において、Ａ（ｉ）、Ｂ（ｉ）はそれぞれ、所定の焦点検出領域から出力されたＡ像信号とＢ像信号である。ｉはｘ軸方向の画素番号を表している。例えば、焦点検出領域のｘ軸方向に存在する焦点検出用画素の数が１００画素であれば、ｉは１から１００の値を取る。従って、式（１６）の右辺は、焦点検出領域内のＡ像信号とＢ像信号の差の絶対値を積算した値となる。Ｃ（φ）は相関値であり、φは前述の積算演算を行う際のＡ像信号とＢ像信号との相対的なずらし量である。すなわち相間演算は、Ａ像信号とＢ像信号とを相対的にずらしながら式（１６）を計算し、相関値Ｃ（φ）が極小値を取るときのφをＡ像信号とＢ像信号との位相差とみなす。
【００８１】
＜一対の２像の位相差と相関値との関係＞
次に、図９を参照して、一対の２像の位相差と相関値との関係について説明する。図９は、相間演算結果の説明図であり、一対の２像の位相差と相関値との関係の説明である。横軸はＡ像信号とＢ像信号との相対的なずらし量、縦軸は式（１６）の相関値Ｃ（φ）である。Ｃ１は撮像素子１０１の焦点検出信号の相関値であり、ずらし量φ１において、相関値は極小値Ｃ１ｍｉｎを示す。Ｃ２は撮像素子１０２の焦点検出信号の相関値であり、ずらし量φ２において、相関値は極小値Ｃ２ｍｉｎを示す。図４に示されるように、レンズ瞳距離とセンサ瞳距離との一致度は撮像素子１０１の方が良好であるため、焦点検出信号も撮像素子１０１から出力された信号の方が信頼性が高い場合が多い。このため、相関値Ｃ（φ）の極小値も撮像素子１０１による値の方が小さく、得られた位相差も、φ２よりもφ１の方が信頼性が高いと推定される。
【００８２】
次に、式（１６）で得られた位相差φをデフォーカス量ＤＥＦに変換する。ここで、位相差φとデフォーカス量ＤＥＦはそれぞれ、以下の式（１７）、（１８）のように表される。
【００８３】
φ＝ＤＥＦ×α  …  （１７）
ＤＥＦ＝φ／α＝φ×Ｋ  …  （１８）
式（１７）、（１８）において、αは一対の焦点検出光束の基線角度であり、図４（ａ）中のα１１やα１２、または、図４（ｂ）中のα２１やα２２である。ただし、図４に示される基線角度は撮像素子単体における値であるが、焦点検出光束は撮影レンズ５００の射出瞳によってケラレが生ずる。このため、式（１７）や式（１８）の基線角度αは、撮影レンズ５００の光学状態、すなわち撮影レンズ５００のＦ値やレンズ瞳距離によっても変化する。従って、デフォーカス量ＤＥＦを算出するには、基線角度αに関する情報が必要となるが、この情報については後述する。
【００８４】
カメラＣＰＵ１０４は、式（１８）を用いて位相差φをデフォーカス量ＤＥＦに変換し、さらにフォーカスレンズの駆動量に変換して撮影レンズ５００のレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は、受信したレンズ駆動量に基づいてフォーカスレンズアクチュエータ（フォーカス駆動部５０４）を制御することにより、被写体像を合焦させる。
【００８５】
＜シェーディング補正情報＞
次に、図１０を参照して、本実施例における撮像装置１のシェーディング補正情報について説明する。図１０は、シェーディング補正情報の説明図であり、ルックアップテーブルとしてカメラＣＰＵ１０４に記憶されている。図１０（ａ）は撮像素子１０１用に記憶された補正情報、図１０（ｂ）は撮像素子１０２用の補正情報をそれぞれ示している。
【００８６】
図１０（ａ）において、ルックアップテーブルの列方向（横方向）には、撮影レンズ５００のＦ値が、Ｆ１．４からＦ１６まで１段絞りごとに８種の値として割り当てられる。行方向（縦方向）には、撮影レンズ５００のレンズ瞳距離が、最小値のレンズ瞳距離１（例えば５０ｍｍ）から最大値のレンズ瞳距離８（例えば２００ｍｍ）まで、等差数列または等比数列として割り当てられる。各Ｆ値とレンズ瞳距離に対応する箇所には、撮像素子１０１に対応するシェーディング補正情報Ｆｓ１１１〜Ｆｓ１８８が格納されている。ここで、シェーディング補正情報Ｆｓ１１１〜Ｆｓ１８８は単一の定数ではなく、所定の関数を定義するための複数の係数で構成される。焦点検出信号に生ずるシェーディングは、図６を参照して説明したように、撮像面上の像高に応じて連続的に変化する。そこで、シェーディング補正関数を、像高ｘおよび像高ｙを変数とする多項式関数で定義し、図６のシェーディング波形をこの関数で近似した場合の各次数における係数を記憶すればよい。なお、図１０（ｂ）は撮像素子１０２に関するシェーディング補正情報であり、その内容は図１０（ａ）と同様であるため、その説明は省略する。
【００８７】
＜位相差φをデフォーカス量に変換するための変換情報＞
次に、図１１を参照して、図８（ｂ）に示される２像の位相差φをデフォーカス量に変換するための変換情報（デフォーカス量変換情報）について説明する。図１１は、デフォーカス量変換情報の説明図である。この変換情報は、式（１８）のＫに相当し、図１０と同様のルックアップテーブルとしてカメラＣＰＵ１０４に記憶されている。図１１（ａ）は撮像素子１０１用の変換情報、図１１（ｂ）は撮像素子１０２用の変換情報である。
【００８８】
図１１（ａ）において、ルックアップテーブルのＦ値とレンズ瞳距離に対応する箇所には、撮像素子１０１に対応する変換情報Ｆｋ１１１〜Ｆｋ１８８が格納されている。変換情報Ｆｋ１１１〜Ｆｋ１８８も単一の定数ではなく、所定の関数を定義するための複数の係数で構成される。位相差検出時に撮像面上の各画素が受光する焦点検出光束は、撮像面上のｘ座標およびｙ座標に応じてケラレ状態が変化するため、焦点検出瞳の基線長も像高に応じて連続的に変化する。このため、位相差φをデフォーカス量に変換する係数も、像高ｘおよび像高ｙを変数とする多項式関数で定義し、光学計算または実測で求めた変換係数分布をこの関数で近似し、近似した関数の各次数における係数を記憶すればよい。なお、図１１（ｂ）は撮像素子１０２に関する変換情報であり、その内容は図１１（ａ）と同様であるため、その説明は省略する。
【００８９】
＜撮影処理のメインフロー＞
次に、図１２を参照して、本実施例における撮影処理について説明する。図１２は、撮影処理のフローチャートであり、撮像装置１の異画角取得モードがオンの状態における、撮影処理の手順を示すメインフローチャートを示している。図１２の各ステップは、主に、カメラＣＰＵ１０４またはレンズＣＰＵ５０７により実行される。
【００９０】
異画角取得モードとは、撮像素子１０１、１０２とでそれぞれ異なる、光学倍率変更量または後述の電子倍率変更量を設定することにより、互いに異なる撮影範囲の画像を同時に撮影するモードである。異画角取得モードの目的は、静止画の撮影範囲を瞬時に変更すること、および、動画の撮影範囲を滑らかにゆっくりと変更することの両立である。異画角取得モードによれば、ユーザは、違和感なく撮影範囲がゆっくりと変化する動画と、指定した所望の撮影範囲の静止画を瞬時に取得することが可能となる。異画角取得モードがオンの状態において、動画用ライブビューまたは動画記録の際に静止画撮影が指示されると、撮像素子１０１による静止画の記録が可能となる。
【００９１】
まずステップＳ１０１において、ユーザが撮像装置１（カメラ本体１００）の電源スイッチをオン操作する。電源スイッチがオンされると、カメラＣＰＵ１０４は、カメラ本体１００内の各アクチュエータや撮像素子１０１、１０２の動作確認を行うとともに、メモリ内容や実行プログラムの初期化を行う。続いてステップＳ１０２において、カメラＣＰＵ１０４は、レンズＣＰＵ５０７と通信を行い、撮影レンズ５００の開放Ｆ値、焦点距離、射出瞳距離ＰＬ、および、フォーカスレンズ繰り出し量とピント変化量の比例定数であるフォーカス敏感度等の情報を受信する。
【００９２】
続いてステップＳ１０３において、カメラＣＰＵ１０４は、静止画撮影用の撮像素子１０１と、動画撮影用の撮像素子１０２とをライブビューモードで駆動する。続いてステップＳ１０４において、カメラＣＰＵ１０４は、動画記録用の絞り制御を行う。動画撮影時はライブビュー時と動画記録時の絞り値（Ｆ値）が同じであるため、カメラＣＰＵ１０４は、ステップＳ１０４にて動画に適した絞り値を選択する。動画撮影時に電子シャッタの露光時間を短くし過ぎると、動きのある被写体の連続性が失われ、ストップモーションの静止画が高速でコマ送りされるような不自然な動画となる。このためカメラＣＰＵ１０４は、このような現象を回避する電子シャッタの秒時を選択し、適正露光となるように撮影レンズ５００の絞り値や撮像素子１０１、１０２のアンプゲインを適切に制御する。カメラＣＰＵ１０４により決定された絞り値（Ｆ値）は、カメラ側通信端子１１３およびレンズ側通信端子５０８を介して、レンズＣＰＵ５０７に送信される。レンズＣＰＵ５０７は、絞り駆動部５０６を制御し、絞り５０５の開口径を所定の値に設定する。
【００９３】
続いてステップＳ１０５において、カメラＣＰＵ１０４は、撮像素子１０２により取得された信号を表示用信号に変換し、表示用信号をファインダ内表示器１０７または表示部１１０ａに送信してライブビュー表示を開始する。なお、ライブビュー表示方法の具体例は、図１５を参照して後述する。
【００９４】
続いてステップＳ１０６において、カメラＣＰＵ１０４は、倍率変更のサブルーチンを実行する。なお、倍率変更のサブルーチンの詳細は、図１３を参照して後述する。続いてステップＳ１０７において、カメラＣＰＵ１０４の焦点検出部１０４２は、第１の焦点検出のサブルーチンを実行する。なお、第１の焦点検出のサブルーチンの詳細は、図２２を参照して後述する。
【００９５】
続いてステップＳ１０８において、カメラＣＰＵ１０４は、ステップＳ１０７にて算出したフォーカスレンズ駆動量を、カメラ側通信端子１１３およびレンズ側通信端子５０８を介してレンズＣＰＵ５０７に送信する。焦点調節手段としてのレンズＣＰＵ５０７は、フォーカス駆動部５０４を制御してフォーカスレンズ（第３のレンズ群５０３）を所定量だけ駆動することにより、ピントズレを解消する。
【００９６】
続いてステップＳ１０９において、カメラＣＰＵ１０４は、ユーザが動画撮影トリガボタンをオン操作したか否かを判定する。動画撮影トリガボタンがオン操作された場合、ステップＳ１１０に移行する。ステップＳ１１０において、カメラＣＰＵ１０４は、動画用の画像処理を行って動画を生成し、記録媒体１０６に含まれる動画記録部１０６ｂに動画を記録する。生成された動画が動画記録部１０６ｂに記録されると、ステップＳ１１１に移行する。一方、ステップＳ１０９にて動画撮影トリガボタンがオン操作されていない場合、動画記録することなく、ステップＳ１１１に移行する。
【００９７】
ステップＳ１１１において、カメラＣＰＵ１０４は、ユーザが静止画開始トリガボタンをオン操作したか否かを判定する。本実施例において、動画用ライブビューまたは動画記録時に静止画撮影が指示されると、撮像素子１０１による静止画の記録が可能となる。静止画開始トリガボタンがオン操作された場合、ステップＳ１１２に移行する。ステップＳ１１２において、カメラＣＰＵ１０４は、静止画撮影のサブルーチンを実行する。静止画撮影のサブルーチンにおいて、カメラＣＰＵ１０４は、動画撮影モードが選択された状態で、動画撮影に並行して静止画撮影を行うように制御を行う。なお、静止画撮影のサブルーチンの詳細は、図２３を参照して後述する。
【００９８】
続いてステップＳ１１３において、カメラＣＰＵ１０４は、ステップＳ１１２にて取得した信号を処理して静止画像信号を生成する。静止画像信号は、記録媒体１０６の静止画記録部１０６ａに記録される。撮像素子１０１の各画素部は、位相差検出のために一対の２つの光電変換部を有する。このため、その出力信号も各画素部について一対の２つの信号を有する。そこで画素部毎の一対の信号を、カメラＣＰＵ１０４または加算専用の回路が加算し、各画素部の記録用又は表示用の画像信号を得る。続いて、カメラＣＰＵ１０４は、ベイヤー配列の色情報をデモザイキングするカラー変換、ガンマ補正、および、圧縮等の処理を行い、記録用の画像を生成する。ステップＳ１１３では更に、撮像素子１０１の各画素部について一対の２つの信号からなる出力信号（Ａ像信号とＢ像信号）も共に、記録媒体１０６に含まれる静止画記録部１０６ａに記録される。なお、画像信号の処理や記録画像の生成は、専用回路を設け、この専用回路で行ってもよい。
【００９９】
続いてステップＳ１１４において、カメラＣＰＵ１０４は、ユーザが動画撮影トリガボタンをオフ操作したか否かを判断する。そしてオン状態が継続している場合、ステップＳ１０３〜Ｓ１１３のステップを繰り返し実行し、動画用のＡＦ制御や動画記録を継続するとともに、静止画の割り込みを許可する。そしてステップＳ１１４において、カメラＣＰＵ１０４は、動画撮影トリガボタンがオフ操作されたと判定した場合、本フロー（動画撮影）を終了する。
【０１００】
＜倍率変更のサブルーチンフロー＞
次に、図１３を参照して、倍率変更（図１２のステップＳ１０６）について説明する。図１３は、倍率変更のサブルーチンのフローチャートである。図１３の各ステップは、カメラＣＰＵ１０４の光学倍率変更部１０４１ａ、電子倍率変更部１０４１ｂ、または、切り替え部１０４１ｃにより実行される。
【０１０１】
まずステップＳ２０１において、カメラＣＰＵ１０４は、ユーザが指示部１１０ｂを介して撮影範囲（倍率）の変更を指示したか否かを判定する。撮影範囲変更（倍率変更）の指示がない場合、本フローを終了する。一方、撮影範囲の変更が指示された場合、ステップＳ２０２に移行する。ステップＳ２０２において、カメラＣＰＵ１０４は、初期撮影範囲Ｓ、および、指示部１１０ｂを介して指示された目標撮影範囲Ｅを取得する。ここで、図１４および図１５を参照して、初期撮影範囲Ｓおよび目標撮影範囲Ｅの具体例を説明する。
【０１０２】
図１４は、初期撮影範囲Ｓおよび目標撮影範囲Ｅの説明図である。図１４（ａ）は、ＷＩＤＥ側へ、すなわち、より広い範囲を撮影するように倍率変更する場合を示している。図１４（ａ）は、ＴＥＬＥ側へ、すなわち、より狭い範囲を撮影するように倍率変更する場合を示している。
【０１０３】
図１４（ａ）（１）に示されるＸ方向およびＹ方向はそれぞれ光軸方向に垂直であり、かつ、Ｘ方向とＹ方向は互いに直交している。実線で示される枠は、指示部１１０ｂを介して指示する前の、初期状態の撮影範囲を表し、これを初期撮影範囲Ｓと称する。また、このときの焦点距離をｆＳとする。点線で示さえる枠は、指示部１１０ｂを介して指示した、ユーザの所望する倍率変更後の撮影範囲を表し、これを目標撮影範囲Ｅと称する。また、目標撮影範囲Ｅに相当する焦点距離をｆＥとする。図１４（ａ）（２）は、図１４（ａ）（１）に示される被写体１４を真上から見下ろしたときの図である。Ｚ方向は、光軸方向に相当する。
【０１０４】
図１４（ｂ）（１）において、図１４（ａ）（１）と同様に、実線で示される」枠は初期撮影範囲Ｓを表し、点線で示される枠は目標撮影範囲Ｅを表す。図１４（ｂ）（２）は、図１４（ａ）（２）の被写体１４を真上から見下ろしたときの図である。Ｚ方向は、光軸方向に相当する。図１４（ａ）に示されるようにＷＩＤＥ側へ倍率変更する場合にはｆＥ＜ｆＳ、図１４（ｂ）に示されるようにＴＥＬＥ側へ倍率変更する場合にはｆＥ＞ｆＳとなる。
【０１０５】
図１５は、外部表示器１１０の説明図である。図１５（ａ）は、１つの外部表示器１１０内に、静止画撮影用の撮像素子１０１と、動画撮影用の撮像素子１０２の撮影範囲の両方が表示されている様子を示す図である。外部表示器１１０には、タッチパネル機能が付与されている。ユーザが、図１５（ａ）中の点線で囲われた丸で示さえるような、任意の２点をタッチしたまま矢印の方向に広げて手を離すと、ＴＥＬＥ側への倍率変更の指示が可能である。一方、２点をタッチしたまま矢印と反対方向に狭めてから離すと、ＷＩＤＥ側への倍率変更の指示が可能である。倍率変更の指示は、静止画側または動画側、どちらで行ってもよい。なお、外部表示器１１０の形状（表示形態）は、図１５（ａ）に示されるような形状（表示形態）に限定されるものではなく、図１５（ｂ）、（ｃ）に示される形状、または、その他の形状であってもよい。
【０１０６】
図１５（ｂ）は、２つの外部表示器１１０があり、それぞれに静止画撮影用の撮像素子１０１と、動画撮影用の撮像素子１０２の撮影範囲の両方が表示されている様子を示す図である。
【０１０７】
図１５（ｃ）は、１つの外部表示器１１０があり、静止画撮影用の撮像素子１０１の撮影範囲と動画画撮影用の撮像素子１０２の撮影範囲が同時に（同じ位置に）表示されている様子を示す図である。点線で示される枠が静止画の撮影範囲であり、一点鎖線で示す枠が動画の撮影範囲であり、この例では２つの枠は重なっている。動画と静止画の撮影範囲が異なるタイミングにおいては、狭い範囲を示すほうの枠だけを小さく表示する。なお、図１５におけるいずれの例も、異画角取得モードがオンの状態において、異なる画角で撮影している様子をユーザに伝えることが可能である。同様の情報がユーザに伝われば、図１５に示される形状以外の外部表示器１１０の形状でもよい。
【０１０８】
続いて、図１３のステップＳ２０３において、カメラＣＰＵ１０４は、初期撮影範囲Ｓに相当する焦点距離ｆＳを取得する。焦点距離ｆＳとは、本フロー実行時における最新の焦点距離のことである。続いてステップＳ２０４において、カメラＣＰＵ１０４は、目標撮影範囲Ｅに相当する焦点距離ｆＥを算出する。カメラＣＰＵ１０４は、初期撮影範囲Ｓと目標撮影範囲Ｅの画角比に基づいて、焦点距離ｆＥを算出することができる。例えば、画角と焦点距離との関係式またはルックアップテーブルが、カメラＣＰＵ１０４の内部メモリに記憶されている。
【０１０９】
続いてステップＳ２０５において、切り替え部（倍率変更方向判定部）１０４１ｃは、焦点距離ｆＥと焦点距離ｆＳの大小関係を比較し（倍率変更方向を判定し）、その比較結果（倍率変更方向）に応じてその後の処理方法を切り替える。ｆＥ＞ｆＳの場合、すなわちＷＩＤＥ側へ倍率変更する場合、ステップＳ２０６へ移行する。一方、ｆＥ＜ｆＳの場合、すなわちＴＥＬＥ側へ倍率変更する場合、ステップＳ２１１へ移行する。
【０１１０】
ステップＳ２０６において、光学倍率変更部１０４１ａは、光倍率変更量を第１の変更量ｆ１に設定する。第１の変更量ｆ１の詳細については後述する。続いてステップＳ２０７において、倍率変更部１０４１は、総合倍率変更量を第２の変更量ｆ２に設定する。総合倍率変更量の定義については後述する。
【０１１１】
ここで、図１６を参照して、第１の変更量ｆ１、第２の変更量ｆ２、および、総合倍率変更量について説明する。図１６は、倍率変更時（光学倍率および総合倍率変更時）の焦点距離の時間変化の説明図である。図１６において、横軸は時間［ｓｅｃ］を表し、時刻ｔ１０〜ｔ１６は等間隔である。時刻ｔ１０は、倍率変更の指示の開始時刻である。縦軸は、焦点距離［ｍｍ］を表している。縦軸の目盛上のＴＥＬＥ端とは、第２のレンズ群５０２の光軸方向の進退限界位置のうちＴＥＬＥ側の位置の焦点距離を示す。同様に、ＷＩＤＥ端とは、進退限界位置のうちＷＩＤＥ側の位置の焦点距離を示す。
【０１１２】
図１６の実線のグラフは、光学倍率変更をする際の、焦点距離の時間変化である。前述のステップＳ２０６にて光倍率変更量として設定した第１の変更量ｆ１［ｍｍ／ｓｅｃ］は、時刻ｔ１０〜ｔ１３におけるグラフの傾きに相当する。時刻ｔ１０〜ｔ１３の間の任意の時刻ｔにおける焦点距離ＺＫ（ｔ）は、以下の式（１９）により算出することができる。
【０１１３】
ＺＫ（ｔ）＝ｆ１×（ｔ−ｔ１０）＋ｆｓ  …  （１９）
図１６の時刻ｔ１３以降の実線のグラフで示されるように、目標焦点距離ｆＥに達した後の光学倍率変更量は０［ｍｍ／ｓｅｃ］とする。図１６の点線のグラフは、光学倍率変更に加えて電子倍率変更も同時に行う際の、見かけ上の焦点距離の時間変化である。見かけ上の焦点距離とは、撮像信号の一部領域を切出した撮影範囲と同等の範囲を、電子倍率変更をせずに撮像素子全体に撮像した場合の焦点距離と定義する。以下において、区別のため、電子倍率変更をしていない状態における焦点距離を真の焦点距離と称する。
【０１１４】
図１６の点線のグラフの時刻ｔ１０〜ｔ１６における傾き、すなわち、光学倍率変更に加えて電子倍率変更も同時に行う際の、単位時間あたりの、見かけ上の焦点距離の変化量を総合倍率変更量と定義し、単位を［ｍｍ／ｓｅｃ］とする。ステップＳ２０７にて総合倍率変更量として設定される第２の変更量ｆ２は、必ず、第１の変更量ｆ１よりも小さい。図１６における関係は、以下の式（２０）で表されるが、これに限定されるものではない。
【０１１５】
ｆ２＝０．５×ｆ１  …  （２０）
第１の変更量ｆ１および第２の変更量ｆ２は共に負の値であるから、第２の変更量ｆ２のほうが第１の変更量ｆ１よりも大きい。
【０１１６】
また、第１の変更量ｆ１には、本実施例における撮像装置１の構成で実現可能な最小の値、すなわち、ＷＩＤＥ側方向への最速の焦点変化量を設定することが好ましい。これは、光学倍率変更を瞬時に行うためである。時刻ｔ１０〜ｔ１６の間の任意の時刻ｔにおける見かけ上の焦点距離ＺＡ（ｔ）は、以下の式（２１）で表されるように算出することができる。
【０１１７】
ＺＡ（ｔ）＝ｆ２×（ｔ−ｔ１０）＋ｆｓ  …  （２１）
続いて、図１３のステップＳ２０８において、電子倍率変更部１０４１ｂは、真の焦点距離および見かけ上の焦点距離が目標焦点距離に到達するまでの任意の時刻ｔの電子倍率変更量を算出する。電子倍率変更量ＺＥ（ｔ）は、以下の式（２２）のように定義される。
【０１１８】
ＺＥ（ｔ）＝ＺＡ（ｔ）−ＺＫ（ｔ）  …  （２２）
ただし、図１６の実線グラフに示す光学倍率変更時の時刻ｔにおける真の焦点距離をＺＫ（ｔ）とし、図１６の点線グラフに示す総合倍率変更時の時刻ｔにおける見かけ上の焦点距離をＺＡ（ｔ）とする。なお、ＺＫ（ｔ）、ＺＡ（ｔ）はそれぞれ、ステップＳ２０６、Ｓ２０７にて算出済であるとする。
【０１１９】
次に、図１７を参照して、電子倍率変更量ＺＥ（ｔ）の具体例を説明する。図１７は、電子倍率変更量ＺＥ（ｔ）の時間変化の説明図である。図１７において、縦軸は電子倍率変更量ＺＥ（ｔ）、横軸は時刻を示している。時刻は、図１６と同一である。例えば時刻ｔ１０において、図１６（ａ１０）と（ｋ１０）は共に初期焦点距離ｆｓとして一致しているため、電子倍率変更量ＺＥ（ｔ１０）は、式（２２）に代入して、以下の式（２３）のように０となる。
【０１２０】
ＺＥ（ｔ１０）＝ｆｓ−ｆｓ＝０  …  （２３）
同様に、時刻ｔ１１における（ａ１１）の焦点距離をｆａ１１、（ｋ１１）の焦点距離をｆｋ１１とすると、時刻ｔ１１における電子倍率変更量ＺＥ（ｔ１１）は、式（２２）に代入して、以下の式（２４）のように表される。
【０１２１】
ＺＥ（ｔ１１）＝ｆａ１１−ｆｋ１１  …  （２４）
図１７に示されるように、時刻ｔ１３まで電子倍率変更量ＺＥ（ｔ）は増加し、ｔ１３以降は減少に転じている。
【０１２２】
続いて、図１３のステップＳ２０９において、カメラＣＰＵ１０４は、撮像素子１０１の撮影範囲を光学倍率変更量に基づいて決定する。続いてステップＳ２１０において、カメラＣＰＵ１０４は、撮像素子１０２の撮影範囲を総合倍率変更量に基づいて決定する。
【０１２３】
ここで、図１９を参照して、具体例を説明する。図１９は、撮像画像と外部表示器１１０への表示画像の説明図である。図１９の列（１）は、図１６および図１７のそれぞれの横軸の時刻ｔ１０〜ｔ１６における、撮像素子１０１（静止画撮影用）の撮像信号を示す。図１９の列（２）は、同様に、時刻ｔ１０〜ｔ１６における、撮像素子１０２（動画撮影用）の撮像信号を示す。撮像素子１０１の撮像信号と、撮像素子１０２の撮像信号を同時刻で比較すると、本実施例では光学系が共通であるため、撮像範囲は必ず一致している。列（２）の網掛けの領域は、電子倍率変更部１０４１ｂが拡大する一部領域の範囲外の領域を示している。
【０１２４】
図１９の列（３）は、表示部１１０ａに表示された、撮像素子１０１の撮影範囲の画像である。図１９に示されるように、列（３）は列（１）に対応している。このように、撮像素子１０１の撮影範囲は光学倍率変更量に基づいて決定される。図１９の列（４）は、表示部１１０ａに表示された、撮像素子１０２の撮影範囲の画像である。図１９に示されるように、列（４）は列（２）に対応している。列（２）の網掛けの領域は、列（４）では表示部１１０ａに表示されず、拡大されている様子がわかる。このように、撮像素子１０２の撮影範囲は、総合倍率変更量に基づいて決定される。
【０１２５】
図１３のステップＳ２１１において、光学倍率変更部１０４１ａは、光倍率変更量を第３の変更量ｆ３に設定する。第３の変更量ｆ３の詳細については後述する。続いてステップＳ２１２において、倍率変更部１０４１は、総合倍率変更量を第４の変更量ｆ４に設定する。ここで、図２０を参照して、第３の変更量ｆ３および第４の変更量ｆ４について説明する。図２０は、倍率変更時（光学倍率および総合倍率変更時）の焦点距離の時間変化の説明図である。横軸は時間［ｓｅｃ］を表し、時刻ｔ２０〜ｔ２６は等間隔である。時刻ｔ２０は、倍率変更の指示の開始時刻である。縦軸は焦点距離［ｍｍ］を表している。図２０の実線のグラフは、光学倍率変更をする際の、真の焦点距離の時間変化である。前述の第３の変更量ｆ３［ｍｍ／ｓｅｃ］は、時刻ｔ２０〜ｔ２３におけるグラフの傾きに相当する。
【０１２６】
時刻ｔ２０〜ｔ２３の間の任意の時刻ｔにおける真の焦点距離のＺＫ（ｔ）は、以下の式（２５）により算出することができる。
【０１２７】
ＺＫ（ｔ）＝ｆ３×（ｔ−ｔ２０）＋ｆｓ  …  （２５）
図２０の時刻ｔ２３以降の実線のグラフで示されるように、目標焦点距離ｆＥに達した後の光学倍率変更量は０［ｍｍ／ｓｅｃ］とする。
【０１２８】
図２０の点線のグラフは、光学倍率変更に加えて電子倍率変更も同時に行う際の、見かけ上の焦点距離の時間変化である。図２０の点線のグラフの時刻ｔ２０〜ｔ２６における傾き（第４の変更量ｆ４）が総合倍率変更量であり、単位を［ｍｍ／ｓｅｃ］とする。総合倍率変更量として設定される第４の変更量ｆ４は、必ず、第３の変更量ｆ３（図２０の実線のグラフの傾き）よりも大きい。図２０における関係は、以下の式（２６）で表されるが、これに限定されるものではない。
【０１２９】
ｆ３＝０．５×ｆ４  …  （２６）
第３の変更量ｆ３と第４の変更量ｆ４は共に正の値であるから、第４の変更量ｆ４のほうが第３の変更量ｆ３よりも大きい。また、第４の変更量ｆ４には、本実施例における撮像装置１の構成で実現可能な最大の値、すなわち、ＴＥＬＥ方向への最速の焦点変化量を設定することが好ましい。これは、総合倍率変更を瞬時に行うためである。
【０１３０】
時刻ｔ２０〜ｔ２６の間の任意の時刻ｔにおける見かけ上の焦点距離の変化ＺＡ（ｔ）は、以下の式（２７）のように算出することができる。
【０１３１】
ＺＡ（ｔ）＝ｆ４×（ｔ−ｔ２０）＋ｆｓ  …  （２７）
続いて、図１３のステップＳ２１３において、電子倍率変更部１０４１ｂは、真の焦点距離および見かけ上の焦点距離が目標焦点距離に到達するまでの任意の時刻ｔの電子倍率変更量ＺＥ（ｔ）を、式（２２）を用いて算出する。ＺＫ（ｔ）、ＺＡ（ｔ）はそれぞれ、ステップＳ２１１、Ｓ２１２にて算出済である。なお、ステップＳ２１３における電子倍率変更量ＺＥ（ｔ）の具体例は、図１７を参照して説明した内容と同様であるため、ここでの説明を省略する。
【０１３２】
続いてステップＳ２１４において、カメラＣＰＵ１０４は、撮像素子１０１の撮影範囲を総合倍率変更量に基づいて決定する。続いてステップＳ２１５において、カメラＣＰＵ１０４は、撮像素子１０２の撮影範囲を光学倍率変更量に基づいて決定する。
【０１３３】
ここで、図２１を参照して、具体例を説明する。図２１は、撮像画像と外部表示器１１０への表示画像の説明図である。図２１の列（１）は、図１６および図１７のそれぞれの横軸の時刻ｔ２０〜ｔ２６における、撮像素子１０１（静止画撮影用）の撮像信号を示す。列（１）の網掛けの領域は、電子倍率変更部１０４１ｂが拡大する一部領域の範囲外の領域を示している。図２１の列（２）は、同様に、時刻ｔ２０〜ｔ２６における、撮像素子１０２（動画撮影用）の撮像信号を示す。撮像素子１０１の撮像信号と撮像素子１０２の撮像信号とを同時刻で比較すると、本実施例において光学系が共通であるため、撮像範囲は必ず一致している。
【０１３４】
図２１の列（３）は、表示部１１０ａに表示された、撮像素子１０１の撮影範囲の画像である。図２１に示されるように、列（３）は列（１）に対応している。このように、撮像素子１０１の撮影範囲は、総合倍率変更量に基づいて決定される。図２１の列（４）は、表示部１１０ａに表示された、撮像素子１０２の撮影範囲の画像である。図２１に示されるように、列（４）は列（２）に対応している。列（２）の網掛けの領域は、列（４）では表示部１１０ａに表示されず、拡大されている様子がわかる。このように、撮像素子１０２の撮影範囲は、光学倍率変更量に基づいて決定される。
【０１３５】
続いて、図１３のステップＳ２１６において、カメラＣＰＵ１０４は倍率変更を開始する。具体的には、光学倍率変更部１０４１ａは、算出済の光学倍率変更量に基づいて、レンズＣＰＵ５０７へ光学倍率変更を指令する。また、電子倍率変更部１０４１ｂは、算出済の電子倍率変更量に基づいて、電子倍率変更を行う。ステップＳ２１６にて倍率変更を開始すると、本フロー（倍率変更処理）を終了する。
【０１３６】
＜第１の焦点検出のサブルーチンフロー＞
次に、図２２を参照して、図１２のステップＳ１０７にて実行される第１の焦点検出（静止画撮影時に焦点検出部１０４２が実行する第１の焦点検出）について説明する。図２２は、第１の焦点検出（図１２のステップＳ１０７）のサブルーチンのフローチャートである。図２２の各ステップは、主に、カメラＣＰＵ１０４（焦点検出部１０４２）により実行される。
【０１３７】
まず、ステップＳ１５１において、カメラＣＰＵ１０４は、レンズＣＰＵ５０７から送信された撮影レンズ５００のレンズ瞳距離ＰＬが、図７を参照して説明した境界瞳距離ＰＳｍｉｄよりも小さいか否かを判定する。レンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄよりも小さい場合、ステップＳ１５２へ移行する。
【０１３８】
ステップＳ１５２において、カメラＣＰＵ１０４は、静止画用の撮像素子１０１を駆動する。続いてステップＳ１５３において、焦点検出部１０４２は、静止画撮影用の撮像素子１０１を用いて焦点検出を行う。すなわち、焦点検出部１０４２は、静止画用の撮像素子１０１により取得した信号に基づいて、一対の焦点検出信号（Ａ像信号とＢ像信号）を生成する。ただし本実施例で用いる焦点検出信号は、信号処理回路の処理負荷軽減および消費電力低減のため、第２の読み出しモードを用いて撮像素子１０１より取得された信号から生成されている。
【０１３９】
そして焦点検出部１０４２は、図１０（ａ）に示されるシェーディング補正のためのルックアップデーブルから、焦点検出時のＦ値とレンズ瞳距離に対応する情報を読み出し、Ａ像信号とＢ像信号にシェーディング補正を施す。続いて焦点検出部１０４２は、式（１６）を用いた相間演算により、Ａ像信号とＢ像信号の位相差φ１を計算する。そして焦点検出部１０４２は、図１１（ａ）に示されるルックアップテーブルから、デフォーカス量ＤＥＦ１を算出するための変換情報を読み出し、式（１８）を用いてデフォーカス量ＤＥＦ１を算出し、ステップＳ１５６に移行する。
【０１４０】
一方、ステップＳ１５１にて現在のレンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄよりも大きい場合、ステップＳ１５４に移行する。ステップＳ１５４において、カメラＣＰＵ１０４は、動画用の撮像素子１０２を駆動する。
【０１４１】
続いてステップＳ１５５において、焦点検出部１０４２は、前述のステップＳ１５３と同様の制御を行う。すなわち焦点検出部１０４２は、動画用の撮像素子１０２により取得した信号に基づいて一対の焦点検出信号（Ａ像信号とＢ像信号）を生成する。ただし本実施例で用いる焦点検出信号は、信号処理回路の処理負荷軽減および消費電力低減のために第２の読み出しモードを用いて、撮像素子１０２より取得された信号から生成されている。
【０１４２】
そして焦点検出部１０４２は、図１０（ｂ）に示されるシェーディング補正のためのルックアップデーブルから、焦点検出時のＦ値とレンズ瞳距離に対応する情報を読み出し、Ａ像信号とＢ像信号にシェーディング補正を施す。続いて焦点検出部１０４２は、公知の相間演算アルゴリズムを用いてＡ像信号とＢ像信号の位相差φ２を計算する。そして、図１１（ｂ）に示されるルックアップデーブルから、デフォーカス量ＤＥＦ２を算出するための変換情報を読み出し、前述の式（１８）を用いてデフォーカス量ＤＥＦ２を算出し、ステップＳ１５６に移行する。ステップＳ１５６において、カメラＣＰＵ１０４は、デフォーカス量（ＤＥＦ１、ＤＥＦ２）をフォーカスレンズ駆動量に変換し、メインフローにリターンする。
【０１４３】
＜静止画撮影のサブルーチンフロー＞
次に、図２３を参照して、図１２のステップＳ１１２にて実行される静止画撮影（動画撮影中に静止画記録を行う静止画撮影）について説明する。図２３は、静止画撮影（図１２のステップＳ１１２）のサブルーチンのフローチャートである。図２３の各ステップは、主に、カメラＣＰＵ１０４により実行される。
【０１４４】
ここで、フォーカルプレンシャッタは開放状態になっているとともに、撮影レンズ５００の絞り５０５は動画撮影用のＦ値に制御されている。まずステップＳ１８１において、カメラＣＰＵ１０４は、この時点におけるＦ値および撮像素子１０１に関して設定された感度に基づいて、静止画用の撮像素子１０１の露出時間を演算する。続いてステップＳ１８２において、カメラＣＰＵ１０４は、フォーカルプレンシャッタを開放状態としたまま、撮像素子１０１の電子シャッタを動作させ、電荷蓄積を開始する。続いてステップＳ１８３において、カメラＣＰＵ１０４は、所定時間が経過した後に電子シャッタを閉動作させ、電荷蓄積を終了する。続いてステップＳ１８４において、カメラＣＰＵ１０４は、撮像素子１０１における電荷転送を行い、メインフローにリターンする。
【０１４５】
以上のように、動画撮影モードが選択された状態で、動画撮影に並行して静止画撮影を行う場合は、動画撮影モードで制御されているＦ値のまま静止画撮影を行う。また、フォーカルプレンシャッタを動作させることなく、電子シャッタによる露光制御を行う。したがって、動画記録中に絞り５０５の開口径が不用意に変化することなく、かつフォーカルプレンシャッタの動作音が録音されることもないため、高品位な動画記録を継続したまま、静止画を得ることができる。
【０１４６】
本実施例では、撮像素子１０１は主として静止画撮影用、撮像素子１０２は主として動画撮影用であり、センサ瞳距離は動画用の撮像素子１０２の方をより大きくしている。その理由は、動画撮影に適した撮影レンズ５００は、レンズ瞳距離が大きくなるように設計される傾向があるためである。焦点調節時にフォーカスレンズを駆動した際に、ピント状態だけでなく、像の大きさの変化、いわゆる像倍率変動を生ずる。動画記録時に像倍率変動が生じると、動画の品位を低下させてしまう。このため、動画撮影用レンズは像倍率変化を抑えるため、射出瞳距離が大きい、いわゆる像側テレセントリックとなるように設計するのが好ましい。そこで本実施例では、動画撮影用の撮像素子１０２のセンサ瞳距離の方を大きくしている。ただし本実施例は、これに限定されるものではなく、静止画用の撮像素子１０１のセンサ瞳距離の方を大きくしてもよい。
【０１４７】
また本実施例では、焦点検出に用いる撮像素子を選択するための判定基準として、センサ瞳距離を用いるが、これに限定されるものではない。例えば、図１０に示されるシェーディング補正情報を判定基準として用いてもよい。図１０において、焦点検出時のＦ値がＦ２、レンズ瞳距離がレンズ瞳距離２の場合、撮像素子１０１におけるシェーディング補正情報は、図１０（ａ）よりＦｓ１２２、撮像素子１０２におけるシェーディング補正情報は図１０（ｂ）よりＦｓ２２２である。そして、Ｆｓ１２２とＦｓ２２２の値を比較することにより、Ａ像信号とＢ像信号のレベル差を推定することが可能である。すなわち、焦点検出信号の補正のために記憶された情報を比較し、その結果に基づいて焦点検出に用いる撮像素子を選択することができる。
【０１４８】
なお、本実施例では、第１の変更量ｆ１、第２の変更量ｆ２、第３の変更量ｆ３、および、第４の変更量ｆ４は、事前に決定されている。第１の変更量ｆ１と第２の変更量ｆ２との関係式（式（２０））の係数は０．５であるが、この係数をより小さくするほど、動画と静止画の目標焦点距離Ｅまでの到達時刻に差が生じる。この係数は、ユーザの好みによって事前に設定または変更することが可能である。同様に、第３の変更量ｆ３と第４の変更量ｆ４との関係式（式（２６））の係数は０．５であるが、この係数をより小さくするほど、動画と静止画の目標焦点距離Ｅまでの到達時刻に差が生じる。この係数は、ユーザの好みによって事前に設定または変更することが可能である。
【０１４９】
なお、図１６では、光学倍率変更量を第１の変更量ｆ１に相当する傾きを有する線形変化、総合倍率変更量を第２の変更量ｆ２に相当する傾きを有する線形変化としているが、これに限定されるものではない。例えば図１８に示されるように、光学倍率変更量および総合倍率変更量を設定してもよい。図１８は、図１６と同様の横軸および縦軸を有するグラフである。図１８において、図１６と同様に、実線のグラフは光学倍率を変更する際の真の焦点距離の時間変化を示し、点線のグラフは光学倍率変更と電子倍率変更を同時にする際の見かけ上の焦点距離の時間変化を示す。このように、線形変化させないことで、ユーザへの違和感がなく撮影範囲を変化させてもよい。
【実施例２】
【０１５０】
次に、本発明の実施例２について説明する。実施例１は、焦点検出に用いる撮像素子を選択するための判定基準として、撮像装置１に記憶された、レンズ瞳距離とセンサ瞳距離の情報、または、シェーディング補正情報などの情報を用いる。一方、本実施例では、焦点検出に用いる撮像素子を選択するための判定基準として、電子倍率変更量ＺＥ（ｔ）を用いる。これにより、焦点検出精度を向上させることができる。以下、撮像素子１０１と撮像素子１０２のどちらの撮像素子を用いるかに関する詳細な選択方法を説明する。なお、本実施例における撮像装置の構成は実施例１と同様であるため、その説明は省略する。また、本実施例における撮影処理のメインフローは図１２と同一であるが、第１の焦点検出のサブルーチンであるステップＳ１０７が異なるため、本実施例では、焦点検出サブルーチンのみ説明する。本実施例における焦点検出サブルーチンを第２の焦点検出と称する。
【０１５１】
＜第２の焦点検出のサブルーチンフロー＞
図２４を参照して、図１２のステップＳ１０７にて実行される第１の焦点検出に代えて実行される第２の焦点検出について説明する。図２４は、第２の焦点検出のサブルーチンのフローチャートである。図２４の各ステップは、主に、カメラＣＰＵ１０４（焦点検出部１０４２）により実行される。なお、図２４のステップＳ３０２〜Ｓ３０６、Ｓ３１２はそれぞれ、図２２のステップＳ１５１〜Ｓ１５６と同様であるため、それらの説明は省略する。
【０１５２】
まず、ステップＳ３０１において、カメラＣＰＵ１０４は、撮像素子１０１、１０２において電子倍率変更量ＺＥ（ｔ）が閾値よりも大きいか否かを判定する。具体的には、本ステップ実行時の時刻をｔ２とすると、カメラＣＰＵ１０４は、電子倍率変更量ＺＥ（ｔ２）が閾値よりも大きいか否かを判定する。電子倍率変更量ＺＥ（ｔ２）  が閾値よりも大きい場合、ステップＳ３０７へ移行する。一方、電子倍率変更量ＺＥ（ｔ２）  が閾値よりも小さい場合、ステップＳ３０２へ移行する。なお、閾値の設定方法は、後述する。
【０１５３】
ステップＳ３０７において、カメラＣＰＵ１０４は、撮像素子１０１、１０２のいずれの撮像素子で電子倍率変更が行われているかを判定する。撮像素子１０１で電子倍率変更が行われている場合、ステップＳ３０８へ移行する。一方、撮像素子１０２で電子倍率変更が行われている場合、ステップＳ３１０へ移行する。
【０１５４】
ステップＳ３０８において、カメラＣＰＵ１０４は、撮像素子１０１を駆動する。続いてステップＳ３０９において、カメラＣＰＵ１０４（焦点検出部１０４２）は、静止画撮影用の撮像素子１０１による焦点検出を行う。まず、焦点検出部１０４２は、静止画用の撮像素子１０１で取得した信号に基づいて、一対の焦点検出信号（Ａ像信号とＢ像信号）を生成する。ただし本実施例で用いる焦点検出信号は、信号処理回路の処理負荷軽減および消費電力低減のために第３の読み出しモードを用いて、撮像素子１０１より取得された信号から生成されている。
【０１５５】
ここで、図２１を参照して、第３の読み出しモードの読み出し領域について説明する。図２１の列（１）は、撮像素子１０１の撮像画像であり、網掛けの領域は、電子倍率変更部１０４１ｂが拡大する一部領域の範囲外の領域を示している。例えば時刻ｔ２３における網掛けの範囲は、図２１の列（３）のように表示部１１０ａには表示されない。そこで本ステップでは、網掛けの範囲を読み出す無駄を省くため、網掛けの範囲の内側の領域のみに対して、読み出しを行う。すなわち焦点検出部１０４２は、電子倍率を変更する対象となる第１の撮像信号を出力する撮像素子１０１または第２の撮像信号を出力する撮像素子１０２の一方を選択し、電子倍率が変更された領域に関する一対の信号のみに基づいて焦点検出を行う。その結果、信号処理回路の処理負荷軽減および消費電力低減が可能となる。
【０１５６】
続いて焦点検出部１０４２は、図１０（ａ）に示されるシェーディング補正のためのルックアップデーブルから、焦点検出時のＦ値とレンズ瞳距離に対応する情報を読み出し、Ａ像信号とＢ像信号にシェーディング補正を施す。続いて焦点検出部１０４２は、式（１６）を用いた相間演算により、Ａ像信号とＢ像信号の位相差φ３を計算する。そして焦点検出部１０４２は、図１１（ａ）に示されるルックアップテーブルから、デフォーカス量ＤＥＦ１を算出するための変換情報を読み出し、式（１８）を用いてデフォーカス量ＤＥＦ１を算出し、ステップＳ３１２に移行する。
【０１５７】
ステップＳ３１０において、カメラＣＰＵ１０４は、撮像素子１０２を駆動する。続いてステップＳ３１１において、カメラＣＰＵ１０４（焦点検出部１０４２）は、動画用の撮像素子１０２による焦点検出を行う。まず、焦点検出部１０４２は、動画用の撮像素子１０２で取得した信号に基づいて、一対の焦点検出信号（Ａ像信号とＢ像信号）を生成する。ただし本実施例で用いる焦点検出信号は、信号処理回路の処理負荷軽減および消費電力低減のために第３の読み出しモードを用いて、撮像素子１０２より取得された信号から生成されている。
【０１５８】
続いて焦点検出部１０４２は、図１０（ｂ）に示されるシェーディング補正のためのルックアップデーブルから、焦点検出時のＦ値とレンズ瞳距離に対応する情報を読み出し、Ａ像信号とＢ像信号にシェーディング補正を施す。続いて焦点検出部１０４２は、式（１６）を用いた相間演算により、Ａ像信号とＢ像信号の位相差φ４を計算する。そして焦点検出部１０４２は、図１１（ｂ）に示されるルックアップデーブルから、デフォーカス量ＤＥＦ２を算出するための変換情報を読み出し、前述の式（１８）を用いてデフォーカス量ＤＥＦ２を算出し、ステップＳ３１２に移行する。
【０１５９】
ここで、図１９を参照して、閾値の設定方法について具体的に説明する。図１９の列（２）は、撮像素子１０１の撮像画像である。網掛けの領域は、電子倍率変更部１０４１ｂが拡大する一部領域の範囲外の領域を示しており、表示部１１０ａに表示されない領域である。
【０１６０】
図１９の列（２）の時刻ｔ１１の網掛け領域の範囲は、時刻ｔ１３の網掛けの範囲よりも、明らかに少ないことがわかる。すなわち、同じ第３の読み出しモードを用いて、撮像素子１０１より信号を取得する場合に、時刻ｔ１１のほうが、より多くの画素部を読みだす必要が生じる。時刻ｔ１１のように電子倍率変更量が少ない場合、信号処理回路の処理負荷軽減および消費電力低減の効果が低い。すなわち、信号処理回路の処理負荷軽減および消費電力低減の効果が高くなるように、電子倍率変更量に対して閾値を設定すればよい。
【０１６１】
以上のように本実施例では、電子倍率変更が行われている撮像素子を選択し、第３の読み出しモードで取得した撮影画像から生成した焦点検出信号を用いて焦点検出を行う。第３の読み出しモードでは、一部領域に限定した読み出し範囲内の画素部に関して間引きは行われない。一方、実施例１の読み出し方法である第２の読み出し方法では、ｘ方向及びｙ方向ともに所定比率に間引いた画素部のみから信号読み出すため、画素ピッチが大きく、像ずれ量の検出精度が相対的に低い。すなわち本実施例では、実施例１よりも焦点検出の精度を向上させることが可能である。
【０１６２】
なお本実施例では、焦点検出の精度を向上させるため、ステップＳ３０９、Ｓ３１１において第３の読み出しモードで取得した信号を用いているが、本実施例はこれに限定されるものではない。信号処理回路の処理負荷軽減および消費電力低減のため、ステップＳ３０９、Ｓ３１１にて、第３の読み出しモードで取得した信号を用いることなく、電子倍率変更により拡大された領域内において、所定比率に間引いた画素部のみから信号を読み出してもよい。このように、焦点検出の精度向上を優先する場合と、信号処理回路の処理負荷軽減および消費電力低減を優先する場合とで、信号の読み出し方法を変更してもよい。
【０１６３】
このように各実施例において、撮像装置１は、撮像光学系の光学倍率を変更する光学倍率変更部１０４１ａと、第１の撮像信号または第２の撮像信号の電子倍率を変更する電子倍率変更部１０４１ｂとを有する。電子倍率変更部１０４１ｂは、撮影範囲（倍率）を拡大する場合には第１の撮像信号の電子倍率を変更し、撮影範囲を縮小する場合には第２の撮像信号の電子倍率を変更する。好ましくは、第１の撮像信号は静止画を生成するための信号であり、第２の撮像信号は動画を生成するための信号である。また好ましくは、撮像装置１は、光学倍率変更部１０４１ａおよび電子倍率変更部１０４１ｂを制御する制御部（カメラＣＰＵ１０４）を有する。制御部は、撮影範囲を拡大する場合、第１の撮像信号に関しては光学倍率変更部１０４１ａおよび電子倍率変更部１０４１ｂを用いて光学倍率および電子倍率の両方を拡大し、第２の撮像信号に関しては光学倍率変更部１０４１ａを用いて光学倍率のみを拡大する。制御部は、撮影範囲を縮小する場合、第１の撮像信号に関しては光学倍率変更部１０４１ａを用いて光学倍率のみを拡大し、第２の撮像信号に関しては光学倍率変更部１０４１ａおよび電子倍率変更部１０４１ｂを用いて光学倍率および電子倍率の両方を拡大する。
【０１６４】
各実施例によれば、滑らかにズーム変化する画像と瞬間的にズーム変化する画像の両方を取得することが可能な撮像装置および撮像システムを提供することができる。
【０１６５】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１６６】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１６７】
１  撮像装置
１０１  撮像素子（第１の撮像素子）
１０２  撮像素子（第２の撮像素子）
１０４１ａ  光学倍率変更部
１０４１ｂ  電子倍率変更部
【図１】
2019045568.tif 000003
【図２】
2019045568.tif 000004
【図３】
2019045568.tif 000005
【図４】
2019045568.tif 000006
【図５】
2019045568.tif 000007
【図６】
2019045568.tif 000008
【図７】
2019045568.tif 000009
【図８】
2019045568.tif 000010
【図９】
2019045568.tif 000011
【図１０】
2019045568.tif 000012
【図１１】
2019045568.tif 000013
【図１２】
2019045568.tif 000014
【図１３】
2019045568.tif 000015
【図１４】
2019045568.tif 000016
【図１５】
2019045568.tif 000017
【図１６】
2019045568.tif 000018
【図１７】
2019045568.tif 000019
【図１８】
2019045568.tif 000020
【図１９】
2019045568.tif 000021
【図２０】
2019045568.tif 000022
【図２１】
2019045568.tif 000023
【図２２】
2019045568.tif 000024
【図２３】
2019045568.tif 000025
【図２４】
2019045568.tif 000026