(57)【要約】【課題】読み出す画素信号の数を最小限に抑えながら、高精度の焦点検出を行うことができる撮像素子及びそれを備えた撮像装置を提供すること。【解決手段】撮像素子は、第１の方向及び第２の方向に配列された複数のマイクロレンズと、それぞれが複数のマイクロレンズのうちの１つのマイクロレンズに対応した画素部であって、第１の方向に瞳分割された複数の受光部を有する複数の第１の画素部と、それぞれが複数のマイクロレンズのうちの１つのマイクロレンズに対応した画素部であって、第２の方向に沿って受光領域と非受光領域とを有する複数の第２の画素部とを備える。第１の画素部は、第１の方向及び第２の方向に配列され、第２の画素部は、一部の第１の画素部と置き換えられて第２の方向に隣接して又は離散的に配列されている。【選択図】図５
2019106634.tif 000002
【特許請求の範囲】
【請求項１】
第１の方向及び第２の方向に配列された複数のマイクロレンズと、
それぞれが複数の前記マイクロレンズのうちの１つの前記マイクロレンズに対応した画素部であって、前記第１の方向に瞳分割された複数の受光部を有する複数の第１の画素部と、それぞれが複数の前記マイクロレンズのうちの１つの前記マイクロレンズに対応した画素部であって、前記第２の方向に沿って受光領域と非受光領域とを有する複数の第２の画素部と、
を具備し、
複数の前記第１の画素部は、前記第１の方向及び前記第２の方向に配列され、
複数の前記第２の画素部は、一部の前記第１の画素部と置き換えられて前記第２の方向に隣接して又は離散的に配列されている撮像素子。
【請求項２】
複数の前記第２の画素部は、前記第２の方向の異なる側に前記非受光領域を有する画素部の対によって構成されている請求項１に記載の撮像素子。
【請求項３】
前記非受光領域は、前記第２の画素部の受光領域の一部を遮光することによって形成されている請求項２に記載の撮像素子。
【請求項４】
複数の前記マイクロレンズのそれぞれに対応してベイヤ配列されるカラーフィルタを具備し、
前記第２の画素部は、一部の赤又は青の前記カラーフィルタに対応して配置される請求項１に記載の撮像素子。
【請求項５】
請求項１乃至４の何れか１項に記載の撮像素子と、
前記撮像素子の前記第１の画素部及び前記第２の画素部から出力される画素信号に基づいて位相差情報を検出する焦点検出回路と、
を具備し、
前記焦点検出回路は、前記第１の画素部からの画素信号に基づいて、前記第１の方向に関する位相差情報を検出し、前記第２の画素部からの画素信号に基づいて、前記第２の方向に関する位相差情報を検出する撮像装置。
【請求項６】
前記第１の画素部の画素信号と前記第２の画素部の画素信号とを交互に出力させるように前記撮像素子を制御する制御回路をさらに具備する請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子及びそれを備える撮像装置に関する。
【背景技術】
【０００２】
従来、位相差方式の焦点検出を行うことができるように構成された撮像素子が知られている。このような撮像素子としては、一部の受光領域が遮光されている焦点検出画素によって焦点検出のための画素信号を得る撮像素子、及び特許文献１において提案されているような水平方向と垂直方向の少なくとも何れかに瞳分割された複数の受光部によって１つの画素を構成し、この画素を構成する複数の受光部のそれぞれから出力される画素信号に基づいて焦点検出のための画素信号を得る撮像素子等が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４６７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
焦点検出画素を設ける方式において高精度の焦点検出を実現しようとする場合には、焦点検出画素を密に配置する必要がある。焦点検出画素からの画素信号はそのままでは表示等に用いることができないので、例えば周囲の通常の画素の画素信号を用いた補間によって必要な画素信号を得る必要がある。ここで、焦点検出画素が密に配置されていると、十分な補間を行うことができない可能性がある。結果として、焦点検出画素を密に配置した場合には、表示等の際の画質の低下に繋がる可能性がある。
【０００５】
一方、瞳分割された複数の受光部によって１つ画素を構成する方式では、焦点検出画素を設ける場合のような画質の劣化は生じない。しかしながら、瞳分割された複数の受光部によって１つ画素を構成する方式では、焦点検出画素を設ける場合と比較して焦点検出の際に読み出す必要のある画素信号が多くなって画素信号の読み出しに時間がかかり易い。
【０００６】
本発明は、前記の事情に鑑みてなされたものであり、読み出す画素信号の数を最小限に抑えながら、高精度の焦点検出を行うことができる撮像素子及びそれを備えた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記の目的を達成するために、本発明の第１の態様の撮像素子は、第１の方向及び第２の方向に配列された複数のマイクロレンズと、それぞれが複数の前記マイクロレンズのうちの１つの前記マイクロレンズに対応した画素部であって、前記第１の方向に瞳分割された複数の受光部を有する複数の第１の画素部と、それぞれが複数の前記マイクロレンズのうちの１つの前記マイクロレンズに対応した画素部であって、前記第２の方向に沿って受光領域と非受光領域とを有する複数の第２の画素部とを具備し、複数の前記第１の画素部は、前記第１の方向及び前記第２の方向に配列され、複数の前記第２の画素部は、一部の前記第１の画素部と置き換えられて前記第２の方向に隣接して又は離散的に配列されている。
【０００８】
前記の目的を達成するために、本発明の第２の態様の撮像装置は、第１の態様に記載の撮像素子と、前記撮像素子の前記第１の画素部及び前記第２の画素部から出力される画素信号に基づいて位相差情報を検出する焦点検出回路とを具備し、前記焦点検出回路は、前記第１の画素部からの画素信号に基づいて、前記第１の方向に関する位相差情報を検出し、前記第２の画素部からの画素信号に基づいて、前記第２の方向に関する位相差情報を検出する。
【発明の効果】
【０００９】
本発明によれば、読み出す画素信号の数を最小限に抑えながら、高精度の焦点検出を行うことができる撮像素子及びそれを備えた撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の一実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】図２は、一例の撮像素子の構成を示す図である。
【図３】図３は、第１の画素部の詳細な構成を示す図である。
【図４Ａ】図４Ａは、下側の受光領域が遮光された第２の画素部の構成を示す図である。
【図４Ｂ】図４Ｂは、上側の受光領域が遮光された第２の画素部の構成を示す図である。
【図５】図５は、第１の画素部及び第２の画素部の配置を示す図ある。
【図６Ａ】図６Ａは、本発明の一実施形態に係る撮像装置の動作について示すフローチャートである。
【図６Ｂ】図６Ｂは、本発明の一実施形態に係る撮像装置の動作について示すフローチャートである。
【図７】図７は、左開口画像と右開口画像とを用いたぼけ像の位置の変更の概要を示す図である。
【図８】図８は、ＡＦ及びＬＶ表示のための読み出し処理について説明するためのタイミングチャートである。
【図９】図９は、ｒｌ＋ＬＶ読み出しにおける、基準部の画素信号と参照部の画素信号との読み出しについて示す図である。
【図１０】図１０は、ｔｂ読み出しにおける、基準部の画素信号と参照部の画素信号との読み出しについて示す図である。
【図１１】図１１は、高速読み出しのときのｔｂ読み出しにおける読み出し範囲の制限について示す図である。
【図１２】図１２は、ＡＦ及びＬＶ表示のための読み出し処理において高速読み出しが行われるときのタイミングチャートである。
【図１３】図１３は、第２の画素部に異なる色のフィルタを形成する変形例を示す図である。
【図１４Ａ】図１４Ａは、第２の画素部の第１の変形例を示す図である。
【図１４Ｂ】図１４Ｂは、第２の画素部の第２の変形例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の一実施形態に係る撮像装置の構成の一例を示すブロック図である。なお、図１中において、矢印付き実線はデータの流れを、矢印付き破線は制御信号の流れをそれぞれ示している。
【００１２】
図１に示すように、撮像装置１は、交換式レンズ１００と、カメラ本体２００とを有する。交換式レンズ１００は、カメラ本体２００に着脱できるように構成されている。交換式レンズ１００とカメラ本体２００とは、交換式レンズ１００がカメラ本体２００に装着されたときに、互いに通信できるように接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてもよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。
【００１３】
交換式レンズ１００は、撮像光学系１０２と、駆動部１０４と、レンズＣＰＵ１０６と、レンズ側記憶部１０８とを備える。ここで、交換式レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、交換式レンズ１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【００１４】
撮像光学系１０２は、被写体からの光束をカメラ本体２００の撮像素子２０８に結像させるための光学系である。撮像光学系１０２は、フォーカスレンズ１０２１と、絞り１０２２とを有する。フォーカスレンズ１０２１は、光軸方向に移動することによって、撮像光学系１０２の焦点位置を調節できるように構成されている。
【００１５】
絞り１０２２は、フォーカスレンズ１０２１の光軸上に配置される。絞り１０２２の口径は可変である。絞り１０２２は、フォーカスレンズ１０２１を通過して撮像素子２０８に入射する被写体からの光束の量を調節する。駆動部１０４は、レンズＣＰＵ１０６から出力される制御信号に基づいて、フォーカスレンズ１０２１と絞り１０２２とを駆動する。ここで、撮像光学系１０２は、ズームレンズとして構成されていてもよい。この場合、駆動部１０４はズーム駆動も行う。
【００１６】
レンズＣＰＵ１０６は、インターフェイス（Ｉ／Ｆ）１１０を介してカメラ本体２００のＣＰＵ２１２との間で通信できるように構成されている。レンズＣＰＵ１０６は、カメラ本体２００のＣＰＵ２１２の制御に従って駆動部１０４を制御する。また、レンズＣＰＵ１０６は、Ｉ／Ｆ１１０を介して絞り１０２２の絞り値（Ｆ値）及びレンズ側記憶部１０８に記憶されているレンズ情報といった情報をＣＰＵ２１２に送信する。なお、レンズＣＰＵ１０６は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、レンズＣＰＵ１０６と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、レンズＣＰＵ１０６と同様の機能は、ソフトウェアによって実現されてもよい。
【００１７】
レンズ側記憶部１０８は、交換式レンズ１００に関するレンズ情報を記憶している。レンズ情報は、例えば撮像光学系１０２の焦点距離の情報や収差の情報を含む。
【００１８】
カメラ本体２００は、メカシャッター２０２と、駆動部２０４と、操作部２０６と、撮像素子２０８と、手振れ補正回路２１０と、ＣＰＵ２１２と、画像処理回路２１４と、画像圧縮展開部２１６と、焦点検出回路２１８と、露出制御回路２２０と、表示部２２２と、バス２２４と、ＤＲＡＭ２２６と、本体側記憶部２２８と、記録媒体２３０とを有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【００１９】
メカシャッター２０２は、開閉自在に構成され、撮像素子２０８への被写体からの光束の入射時間（撮像素子２０８の露光時間）を調節する。メカシャッター２０２としては、例えばフォーカルプレーンシャッターが採用される。駆動部２０４は、ＣＰＵ２１２からの制御信号に基づいてメカシャッター２０２を駆動する。
【００２０】
操作部２０６は、電源ボタン、レリーズボタン、動画ボタン、再生ボタン、メニューボタンといった各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部２０６は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１２に出力する。
【００２１】
撮像素子２０８は、撮像光学系１０２の光軸上であって、メカシャッター２０２の後方で、かつ、撮像光学系１０２によって被写体からの光束が結像される位置に配置されている。撮像素子２０８は、被写体を撮像して被写体に係る画素信号を生成する。撮像素子２０８については後で詳しく説明する。
【００２２】
手振れ補正回路２１０は、カメラ本体２００に発生した手振れが抑制されるように、撮像素子２０８をその受光面と平行な方向に移動させる。手振れに従って撮像素子２０８が移動されることにより、手振れに起因して画像データに発生する被写体像のぶれが抑制される。なお、手振れ補正回路は、交換式レンズ１００に設けられていてもよい。この場合の手振れ補正回路は、撮像光学系１０２に含まれる手振れ補正光学系を移動させるように構成される。
【００２３】
ＣＰＵ２１２は、本体側記憶部２２８に記憶されているプログラムに従ってカメラ本体２００の全体制御を行う。ＣＰＵ２１２は、例えば撮像素子２０８による撮像を制御する。また、ＣＰＵ２１２は、焦点検出回路２１８によって検出されたフォーカスレンズ１０２１の焦点状態に応じて、フォーカスレンズ１０２１を駆動するための制御信号をレンズＣＰＵ１０６に対して出力する。また、ＣＰＵ２１２は、露出制御回路２２０によって算出された露出設定値をレンズＣＰＵ１０６及び撮像素子２０８に対して出力する。ここで、ＣＰＵ２１２は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、ＣＰＵ２１２と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、ＣＰＵ２１２と同様の機能は、ソフトウェアによって実現されてもよい。
【００２４】
画像処理回路２１４は、画素データに対して各種の画像処理を施す。例えば画像処理回路２１４は、静止画撮影の際には、静止画記録用の画像処理を施して静止画データを生成する。同様に、画像処理回路２１４は、動画撮影の際には、動画記録用の画像処理を施して動画データを生成する。さらに、画像処理回路２１４は、ライブビュー表示時には、表示用の画像処理を施して表示画像データを生成する。
【００２５】
画像圧縮展開部２１６は、画像データの記録時には、画像処理回路２１４で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、記録媒体２３０に圧縮状態で記録された画像データを伸張（展開）する。
【００２６】
焦点検出回路２１８は、撮像素子２０８から出力される焦点検出画素データを用いた公知の位相差方式によってフォーカスレンズ１０２１の焦点検出を行う。
【００２７】
露出制御回路２２０は、撮像素子２０８の画素データに基づいて露出設定値を算出する。この露出制御回路２２０は、撮像素子２０８の画素データから被写体輝度を測定し、測定した被写体輝度から撮影時の被写体の輝度を適正値にするために必要な露出設定値を算出する。露出設定値は、絞り１０２２の開口量（絞り値）、撮像素子２０８の露光時間（シャッタースピード）を含む。
【００２８】
表示部２２２は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ本体２００の背面に配置される。この表示部２２２は、ＣＰＵ２１２の制御に従って画像を表示する。表示部２２２は、ライブビュー表示や記録済み画像の表示等に使用される。
【００２９】
バス２２４は、撮像素子２０８、ＣＰＵ２１２、画像処理回路２１４、画像圧縮展開部２１６、焦点検出回路２１８、露出制御回路２２０、表示部２２２、ＤＲＡＭ２２６、本体側記憶部２２８、記録媒体２３０に接続され、これらのブロックで発生した各種のデータを転送するための転送路として動作する。
【００３０】
ＤＲＡＭ２２６は、電気的に書き換えできるメモリであり、撮像素子２０８から出力される画素データ、静止画データ、動画データ、表示画像データ、ＣＰＵ２１２における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭが用いられてもよい。
【００３１】
本体側記憶部２２８は、ＣＰＵ２１２で使用されるプログラム、カメラ本体２００の調整値等の各種データを記憶している。記録媒体２３０は、カメラ本体２００に内蔵されるか又は装填されるように構成されており、記録用の画像データを所定の形式の画像ファイルとして記録する。なお、ＤＲＡＭ２２６、本体側記憶部２２８及び記録媒体２３０は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。
【００３２】
次に、撮像素子２０８について説明する。図２は、一例の撮像素子２０８の構成を示す図である。図２に示すように、撮像素子２０８は、入力回路３０１と、制御回路３０２と、画素部３０３と、垂直走査回路３０４と、アナログ処理回路３０５と、アナログデジタル変換（ＡＤＣ）処理回路３０６と、メモリ回路３０７と、水平走査回路３０８と、出力回路３０９とを有する。ここで、本実施形態における撮像部は、画素部３０３を有して構成されている。撮像部は、垂直走査回路３０４、アナログ処理回路３０５、ＡＤＣ処理回路３０６、メモリ回路３０７をさらに有していてもよい。また、アナログ処理回路３０５及びＡＤＣ処理回路３０６は、撮像素子２０８の外部に設けられていてもよい。
【００３３】
入力回路３０１は、ＣＰＵ２１２から撮像素子２０８の動作に係る制御信号を受け取って、制御回路３０２に入力する。この動作に係る制御信号は、同期信号（垂直同期信号及び水平同期信号）及び基準クロック並びに撮像素子２０８の動作設定の信号を含む。
【００３４】
制御回路３０２は、例えばＣＰＵ又はＡＳＩＣ又はロジック回路（デジタル回路）によって構成され、入力回路３０１から入力された制御信号に基づいて撮像素子２０８の各部の動作を制御する。
【００３５】
画素部３０３は、２次元状に複数配置され、入射光を光電変換して画素信号を生成する。本実施形態において、画素部３０３は、第１の画素部と、第２の画素部とを有する。
【００３６】
まず、第１の画素部について説明する。図３は、第１の画素部の詳細な構成を示す図である。ここで、図３の左側は第１の画素部を正面から見た図を示し、図３の右側は第１の画素部を側面から見た図を示している。図３に示すように、第１の画素部は、マイクロレンズ３０３１ａと、カラーフィルタ３０３１ｂと、画素３０３１ｃとを有している。
【００３７】
マイクロレンズ３０３１ａは、撮像光学系１０２を通過した光束を対応する画素３０３１ｃの受光部に集光させる。後で説明するように、１個の画素３０３１ｃは、第１の方向である水平方向に瞳分割された２個の受光部によって構成されている。マイクロレンズ３０３１ａは、撮像光学系１０２の異なる射出瞳領域を通過した光束を異なる受光部に集光させる。
【００３８】
カラーフィルタ３０３１ｂは、例えば原色系のベイヤ配列のカラーフィルタである。原色系のベイヤ配列は、赤（Ｒ）フィルタ及び緑（Ｇｒ）フィルタを交互に配列した行と、青（Ｂ）フィルタ及び緑（Ｇｂ）フィルタを交互に配列した行とを列方向に交互に配置した配列である。カラーフィルタ３０３１ｂの１色は、１個の画素３０３１ｃと対応している。したがって、画素３０３１ｃを構成する２個の受光部には同じ色の光が入射する。なお、カラーフィルタ３０３１ｂは、必ずしも原色系のベイヤ配列のカラーフィルタでなくてもよい。
【００３９】
画素３０３１ｃは、第１の方向である水平方向に分割して配置された２個の受光部ｌ、ｒによって構成されている。受光部ｌ、ｒは、被写体の同一の部分から射出された光束を受光する。受光部ｌ、ｒのそれぞれは例えばフォトダイオードによって構成され、受光した光束に応じて蓄積された電荷に基づく画素信号を出力する。ここで、受光部ｌは、射出された光束のうち、撮像光学系１０２の右側の射出瞳領域を通過した光束を受光する。受光部ｒは、射出された光束のうち、撮像光学系１０２の左側の射出瞳領域を通過した光束を受光する。
【００４０】
画素３０３１ｃが２個の受光部ｌ、ｒに分割されている構造により、画素３０３１ｃを位相差検出のための左右開口画素として扱うことができる。左右開口画素とは、左側だけが露出している画素と右側だけが露出している画素との対である。また、２個の受光部ｌ、ｒを全て合わせた全開口画素としても扱うことが可能であり、制御回路３０２からの制御信号により設定することができる。この場合は、位相差情報が不要な静止画撮影用の画素として使用される。
【００４１】
次に、第２の画素部について説明する。図４Ａ及び図４Ｂは、第２の画素部の詳細な構成を示す図である。第２の画素部は、第１の画素部と異なる垂直方向の位相差検出のために、受光領域の上側又は下側が遮光された構成を有する。図４Ａは下側の受光領域が遮光された第２の画素部の構成を示し、図４Ｂは上側の受光領域が遮光された第２の画素部の構成を示している。ここで、図４Ａ及び図４Ｂの左側は第２の画素部を正面から見た図を示し、図４Ａ及び図４Ｂの右側は第２の画素部を側面から見た図を示している。図４Ａ及び図４Ｂに示すように、第２の画素部は、マイクロレンズ３０３２ａと、遮光部３０３２ｂと、画素３０３２ｃとを有している。第１の画素部と第２の画素部との違いは、第２の画素部はカラーフィルタを有さない代わりに遮光部を有している点である。
【００４２】
マイクロレンズ３０３２ａは、マイクロレンズ３０３１ａと同様に、撮像光学系１０２を通過した光束を対応する画素３０３２ｃの受光部に集光させる。後で説明するように、一例の画素３０３２ｃも、画素３０３１ｃと同様に、第１の方向である水平方向に瞳分割された２個の受光部によって構成されている。マイクロレンズ３０３２ａは、撮像光学系１０２の異なる射出瞳領域を通過した光束を異なる受光部に集光させる。
【００４３】
遮光部３０３２ｂは、画素３０３２ｃの受光部によって形成される受光領域の一部を遮光する。遮光部３０３２ｂは、例えば、画素３０３２ｃの一部の受光領域を覆うように形成された遮光メタルによって構成されている。図４Ａの遮光部３０３２ｂは、画素３０３２ｃの下側の受光領域を遮光して非受光領域を形成し、上側の受光領域を露出させるように構成されている。また、図４Ｂの遮光部３０３２ｂは、画素３０３２ｃの上側の受光領域を遮光して非受光領域を形成し、下側の受光領域を露出させるように構成されている。
【００４４】
画素３０３２ｃは、画素３０３１ｃと同様に、第１の方向である水平方向に分割して配置された２個の受光部ｔｌ、ｔｒ又はｂｌ、ｂｒによって構成されている。受光部ｔｌ、ｔｒは、被写体の同一の部分から射出された光束を受光する。同様に、受光部ｂｌ、ｂｒは、被写体の同一の部分から射出された光束を受光する。受光部のそれぞれは例えばフォトダイオードによって構成され、受光した光束に応じて蓄積された電荷に基づく画素信号を出力する。ここで、受光部ｔｌは、射出された光束のうち、撮像光学系１０２の右下の射出瞳領域を通過した光束を受光する。受光部ｔｒは、射出された光束のうち、撮像光学系１０２の左下の射出瞳領域を通過した光束を受光する。受光部ｂｌは、射出された光束のうち、撮像光学系１０２の右上の射出瞳領域を通過した光束を受光する。受光部ｂｒは、射出された光束のうち、撮像光学系１０２の左上の射出瞳領域を通過した光束を受光する。以下、必要に応じて、図４Ａに示す上側が受光領域である受光部ｔｌとｔｒとを受光部ｔと総称し、図４Ｂに示す下側が受光領域である受光部ｂｌとｂｒとを受光部ｂと総称する。
【００４５】
受光部ｔを有する画素３０３２ｃは位相差検出のための上開口画素として扱うことができる。また、受光部ｂを有する画素３０３２ｃは位相差検出のための下開口画素として扱うことができる。
【００４６】
図５は、第１の画素部及び第２の画素部の配置を示す図である。図５の「Ｒ」、「Ｇｒ」、「Ｇｂ」、「Ｂ」は、第１の画素部を構成する受光部であることを示している。ここで、「Ｒ」、「Ｇｒ」、「Ｇｂ」、「Ｂ」に添えられている「ｌ」は受光部ｌであることを示し、「ｒ」は受光部ｒであることを示す。ベイヤ配列の場合、受光部Ｒｌ及びＲｒの対と受光部Ｇｒｌ及びＧｒｒの対が交互に配置された行と受光部Ｇｂｌ及びＧｂｒの対と受光部Ｂｌ及びＢｒの対とが交互に配置された行とが列方向に交互に配置される。
【００４７】
一方、図５の「ｔｌ」、「ｔｒ」、「ｂｌ」、「ｂｒ」は、第２の画素部の受光部であることを示している。図５に示すように、第２の画素部は、一部のＢ画素の位置に離散的に配置されている。受光部ｔ（受光部ｔｌ及び受光部ｔｒ）は、行方向に８画素部だけ間隔を空けて配置されている。図５の例では、受光部ｔは、３、４列目及び１９、２０列目に配置されている。そして、１９、２０列目に配置されている受光部ｔは、３、４列目に配置されている受光部ｔに対して２行だけ下方向にずれて配置されている。さらに、受光部ｔは、列方向にも４画素部だけ間隔を空けて配置されている。一方、受光部ｂ（受光部ｂｌ及び受光部ｂｒ）は、受光部ｔに対して行方向に４画素部だけ間隔を空けて配置されている。図５の例では、受光部ｂは、１１、１２列目に配置されている。また、図５では示されていないが、受光部ｂは、１９、２０列目から４画素部だけ間隔を空けた２７、２８列目にも配置されている。そして、２７、２８列目に配置されている受光部ｂは、１１、１２列目に配置されている受光部ｂに対して２行だけ下方向にずれて配置されている。さらに、受光部ｂは、列方向にも４画素部だけ間隔を空けて配置されている。
【００４８】
ここで、図５では、第２の画素部はＢ画素の位置に離散的に配置されているが、隣接して配置されていてもよい。また、第２の画素部は一部のＢ画素の位置に配置されているが、第２の画素部は一部のＲ画素の位置に配置されていてもよい。
【００４９】
このような撮像素子２０８では、受光部ｌと受光部ｒとの対によって水平方向の焦点検出を行うことができる。また、受光部ｔと受光部ｂとの対によって垂直方向の焦点検出を行うことができる。ここで、前述したように、３、４列目の受光部ｔと１１、１２列目の受光部ｂとの対に対し、１９、２０列目の受光部ｔと受光部２７、２８列目の対は２行だけ下方向にずれて配置されている。このような構成により、見かけ上の上下開口画素の数を増やして垂直方向の位相差検出性能を向上させることができる。
【００５０】
垂直走査回路３０４は、制御回路３０２からの制御信号としての蓄積開始信号を受ける毎に１行ずつ画素部３０３の画素３０３ｃに蓄積された電荷をリセットしてから画素部３０３における電荷の蓄積を開始させる。また、垂直走査回路３０４は、制御回路３０２からの制御信号としての蓄積終了信号を受ける毎に１行ずつ画素部３０３の画素３０３ｃにおける電荷の蓄積を終了させ、蓄積された電荷を画素信号としてアナログ処理回路３０５に転送させる。
【００５１】
アナログ処理回路３０５は、画素部３０３から順次に転送された画素信号に対してアナログ処理をする。アナログ処理回路３０５は、例えば、画素信号をアナログ的に増幅するプリアンプ、画素信号からリセットノイズを除去する相関二重サンプリング（ＣＤＳ）処理回路等を含む。
【００５２】
ＡＤＣ処理回路３０６は、制御回路３０２からの制御信号に従ってアナログ処理回路３０５から出力された画素信号をデジタル信号である画素データに変換する。このＡＤＣ処理回路３０６は、例えばカラム型ＡＤＣ処理回路として構成されている。
【００５３】
メモリ回路３０７は、制御回路３０２からの制御信号に従ってＡＤＣ処理回路３０６から出力された画素データを一時的に記憶する。メモリ回路３０７は、揮発性メモリ等で構成されている。メモリ回路３０７は、画素データのデジタル加算を行うように構成されていてもよい。この場合、メモリ回路３０７は、ＡＤＣ処理回路３０６から出力される画素データの加算値を記憶するように構成される。
【００５４】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。
【００５５】
出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成する。また、出力回路３０９は、画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。
【００５６】
以下、本実施形態に係る撮像装置１の動作を説明する。図６Ａ及び図６Ｂは、本実施形態に係る撮像装置の動作について示すフローチャートである。ここで、図６Ａ及び図６Ｂは、撮像装置１のＡＦモードがコンティニュアスＡＦモードであるときの動作を示している。コンティニュアスＡＦモードは、動く被写体に対して適したＡＦモードであり、被写体に追従するようにピント合わせを続けるＡＦモードである。
【００５７】
図６Ａ及び図６Ｂの動作は、ユーザによる撮像装置１の電源のオン操作が検出されたときに開始される。電源のオン操作が検出されると、ステップＳ１０１において、ＣＰＵ２１２は、レリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。１ｓｔレリーズスイッチは、例えばユーザによるレリーズボタンの半押し操作に応答してオンの状態となるスイッチである。ステップＳ１０１において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０１において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１０２に移行する。
【００５８】
ステップＳ１０２において、ＣＰＵ２１２は、ライブビュー（ＬＶ）表示のための表示画素データの取り込みを行う。このとき、ＣＰＵ２１２は、メカシャッター２０２を全開状態とするように駆動部２０４に対して制御信号を出力するとともに、絞り１０２２を所定量（例えば開放絞り）だけ駆動するようにレンズＣＰＵ１０６に対して制御信号を出力する。その後、ＣＰＵ２１２は、撮像素子２０８に対して制御信号を出力して撮像素子２０８によるＬＶ表示のための撮像を開始させる。そして、ＬＶ表示のための撮像が完了する毎に、制御回路３０２は、画素部３０３からの画素信号の読み出しを開始させる。なお、画素信号の読み出しに際し、制御回路３０２は、画素部３０３の画素３０３ｃから出力される同一開口（同色）の画素信号を加算させるようにしてもよい。撮像素子２０８から出力された表示画素データは、ＤＲＡＭ２２６に記憶される。
【００５９】
ステップＳ１０３において、ＣＰＵ２１２はＬＶ表示を行う。このとき、ＣＰＵ２１２は、画像処理回路２１４に表示画像データを生成させる。これを受けて、画像処理回路２１４は、表示画素データに対して必要な処理を行って表示のための表示画像データを生成する。第１の画素部の位置における表示画像データは、同一の第１の画素部に属する受光部ｌ、ｒからの画素データを加算平均することで得られる。また、第２の画素部の位置における表示画像データは、その第２の画素部の周囲の同色（図５の例ではＢ）の第１の画素部からの画素データを用いた補間演算によって得られる。ＣＰＵ２１２は、画像処理回路２１４で生成された表示画像データに基づいて表示部２２２にＬＶ画像を表示させる。その後、処理は、ステップＳ１２６に移行する。
【００６０】
ステップＳ１０４において、ＣＰＵ２１２は、オートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ステップＳ１０４のＡＦ及びＬＶ表示のための撮像と読み出し処理については後で詳しく説明する。ここでは、ＡＦのための撮像と読み出しによってＡＦのための焦点検出画素データがＤＲＡＭ２２６に記憶され、ＬＶのための撮像と読み出しによって表示のための表示画素データがＤＲＡＭ２２６に記憶されたものとして説明を続ける。
【００６１】
ステップＳ１０５において、ＣＰＵ２１２は、ＬＶ表示を行う。
【００６２】
ステップＳ１０６において、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの基準部の焦点検出画素データと参照部の焦点検出画素データの対を用いて相関演算を行う。水平方向の位相差検出の場合の対をなす焦点検出画素データは左開口画素データｌと右開口画素データｒであり、垂直方向の位相差の検出の場合の対をなす焦点検出画素データは上開口画素データｔと下開口画素データｂである。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。信頼性判定は、例えば画素データから得られるコントラスト、相関演算の結果として算出される相関値に基づいて判定される。
【００６３】
ステップＳ１０７において、焦点検出回路２１８は、ピントずれ量演算を行う。すなわち、焦点検出回路２１８は、ステップＳ１０６における信頼性判定の結果、信頼性が高いと判定された焦点検出領域における２像間隔値（相関値の極値に対応した像ずれ量）からフォーカスレンズ１０２１の合焦位置に対するピントずれ量を算出する。その後、処理はステップＳ１０８に移行する。
【００６４】
ステップＳ１０８において、焦点検出回路２１８は、フォーカスレンズ１０２１の駆動に用いるフォーカスレンズ位置に対応する焦点検出領域を選択するためのエリア選択処理を行う。エリア選択処理の後、処理はステップＳ１０９に移行する。エリア選択処理は、例えば、最も近い被写体距離に対応した（すなわち最至近の）フォーカスレンズ位置に対応するピントずれ量を示す焦点検出領域を選択することで行われる。
【００６５】
ステップＳ１０９において、ＣＰＵ２１２は、フォーカスレンズ１０２１が合焦状態であるか否かを判定する。ステップＳ１０９における判定は、例えばエリア選択処理において選択された焦点検出領域におけるピントずれ量が予め定められた許容範囲内であるか否かを判定することによって行われる。ピントずれ量が許容範囲内であるときには合焦状態であると判定される。ステップＳ１０９において、フォーカスレンズ１０２１が合焦状態でないと判定されたときには処理はステップＳ１１０に移行する。ステップＳ１０９において、フォーカスレンズ１０２１が合焦状態であると判定されたときには処理はステップＳ１１１に移行する。
【００６６】
ステップＳ１１０において、ＣＰＵ２１２は、ステップＳ１０８において選択された焦点検出領域について算出されたフォーカスレンズ位置に応じてフォーカスレンズ１０２１が駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２１を駆動する。その後、処理は、ステップＳ１２６へ移行する。
【００６７】
ステップＳ１１１において、ＣＰＵ２１２は、ステップＳ１０４と同様のオートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ここでは、ＡＦのための撮像と読み出しによって焦点検出画素データがＤＲＡＭ２２６に記憶され、ＬＶのための撮像と読み出しによって表示画素データがＤＲＡＭ２２６に記憶されたものとして説明を続ける。
【００６８】
ステップＳ１１２において、ＣＰＵ２１２は、ＬＶ表示を行う。
【００６９】
ステップＳ１１３において、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データを用いて相関演算を行う。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。ステップＳ１１４において、焦点検出回路２１８は、ピントずれ量演算を行う。ステップＳ１１５において、焦点検出回路２１８は、エリア選択処理を行う。
【００７０】
ステップＳ１１６において、焦点検出回路２１８は、焦点検出に係る情報を履歴情報として例えばＤＲＡＭ２２６に保存する。焦点検出に係る情報は、例えばステップＳ１１４で算出されたピントずれ量の情報及びステップＳ１１５で選択された焦点検出領域の情報を含む。
【００７１】
ステップＳ１１７において、ＣＰＵ２１２は、２ｎｄレリーズスイッチがオンされているか否かを判定する。２ｎｄレリーズスイッチは、例えばユーザによるレリーズボタンの全押し操作に応答してオンの状態となるスイッチである。ステップＳ１１７において、２ｎｄレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１１８に移行する。ステップＳ１１７において、２ｎｄレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１２０に移行する。
【００７２】
ステップＳ１１８において、ＣＰＵ２１２は、フォーカスレンズ１０２１が合焦状態であるか否かを判定する。ステップＳ１１８において、フォーカスレンズ１０２１が合焦状態でないと判定されたときには処理はステップＳ１１９に移行する。ステップＳ１１８において、フォーカスレンズ１０２１が合焦状態であると判定されたときには処理はステップＳ１２５に移行する。
【００７３】
ステップＳ１１９において、ＣＰＵ２１２は、ステップＳ１１５において選択された焦点検出領域について算出されたフォーカスレンズ位置に応じてフォーカスレンズ１０２１が駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２１を駆動する。その後、処理は、ステップＳ１２５に移行する。
【００７４】
ステップＳ１２０において、ＣＰＵ２１２は、焦点検出回路２１８よる動体予測演算を実行させる。これを受けて、焦点検出回路２１８は、動体予測演算を行う。動体予測演算は、ステップＳ１１６で記憶させておいた過去のピントずれ量演算の結果（フォーカスレンズ位置）の履歴から今回のフォーカスレンズ１０２１の駆動すべき位置を予測する処理である。
【００７５】
ステップＳ１２１において、ＣＰＵ２１２は、静止画取得のための撮像（本露光）を行うために、メカシャッター２０２の動作を開始させる。このメカシャッター２０２の動作は、本露光の前後のメカシャッター２０２の開閉動作と、本露光の後でライブビュー及びＡＦのための撮像を開始するためのメカシャッター２０２の全開動作とを含む。ＣＰＵ２１２は、まず、メカシャッター２０２を全閉状態とするように駆動部２０４の制御信号を切り替える。そして、ステップＳ１２３で本露光を行った後に、ＣＰＵ２１２は、メカシャッター２０２を全開状態とするように駆動部２０４を制御する。
【００７６】
ステップＳ１２２において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対してフォーカスレンズ１０２１及び絞り１０２２を同時駆動させるように指示して動作を開始させる。ここで、フォーカスレンズ１０２１の駆動位置は、ステップＳ１２０の動体予測演算において予測された位置である。また、絞り１０２２の開口量は、直前の測光演算によって測定された被写体輝度に基づいて算出された絞り値に応じた開口量である。
【００７７】
ステップＳ１２３において、ＣＰＵ２１２は、本露光を開始させる。本露光は、記録用の画像データを取得するための撮像である。本露光において、ＣＰＵ２１２は、撮像素子２０８の撮像を開始させる。露光期間の終了後、制御回路３０２は、撮像素子２０８の各受光部から画素信号を静止画画素信号として読み出す。静止画画素信号の読み出しについては後で詳しく説明する。ここでは、静止画画素信号が読み出されたものとして説明を続ける。静止画画素信号の読み出し後、ＣＰＵ２１２は、記録用の画像画素信号を生成するための処理を画像処理回路２１４に行わせる。これを受けて、画像処理回路２１４は、記録用の画像データの生成に必要な処理を行って記録用の静止画データを生成する。画像処理の完了後、ＣＰＵ２１２は、画像圧縮展開部２１６によって記録用の静止画データを圧縮する。圧縮の完了後、ＣＰＵ２１２は、圧縮された記録用の静止画データを画像ファイルとして記録媒体２３０に記録する。
【００７８】
ステップＳ１２４において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対して絞り１０２２を開放させるように指示する。
【００７９】
ステップＳ１２５において、ＣＰＵ２１２は、１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。ステップＳ１２５において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１１１に戻る。この後、２ｎｄレリーズスイッチがオンの状態であれば連続的に静止画撮影が行われることになる。ステップＳ１２５において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１２６に移行する。
【００８０】
ステップＳ１２６おいて、ＣＰＵ２１２は、カメラ本体２００の電源をオフするか否かを判定する。例えば、ユーザの操作部２０６の操作によって電源のオフが指示された場合又は所定時間のユーザの操作部２０６の操作がない場合には電源をオフすると判定される。ステップＳ１２６において、カメラ本体２００の電源をオフしないと判定されたときには、処理はステップＳ１０１に戻る。ステップＳ１２６において、カメラ本体２００の電源をオフすると判定されたときには、処理は終了する。
【００８１】
次に、画素信号の読み出しについて説明する。まず、本露光時の静止画画素信号の読み出しについて説明する。連写速度が遅い場合には静止画画素信号の読み出しに時間をかけることができる。このとき、制御回路３０２は、図５で示したそれぞれの画素部の２個の受光部からの画素信号が加算されずに出力されるように画素部３０３の設定を切り替える。したがって、ＤＲＡＭ２２６には、図５で示した配列の静止画画素信号がデジタル化されてＲＡＷ画像として記憶される。なお、受光部ｔ及び受光部ｂの画素信号はそのままでは静止画として使用することができない。したがって、このＲＡＷ画像の現像処理により静止画画像を作成する際には、受光部ｔ及び受光部ｂの画素信号は、周囲の同色の受光部の画素信号を用いた補間演算によって補間される。
【００８２】
このように、受光部ｌの画素信号と受光部ｒの画素信号とを加算しないようにすることで、静止画画素信号（ＲＡＷ画像）は、受光部ｌの画素信号に基づく左開口画像と受光部ｒの画素信号に基づく右開口画像の両方を含むことになる。したがって、左開口画像と右開口画像とを用いて静止画内でピントの合っている位置を検出することができる。また、これらの左開口画像と右開口画像とを用いて、静止画内でピント位置を微小にずらすことができる。例えば、左開口画素と右開口画素の画素値の重み付け加算や、異なるマイクロレンズの左開口画素と右開口画素の画素値の加算等の手法によりピント位置を微小にずらす方法を利用する。図７は、撮影した静止画画像のぼけ量を調節するユーザインターフェイスを含むタッチパネル付の表示部の画像を示す。図７に示すように、例えば、被写体Ｓの位置をタッチして画像領域を選択し、次に矢印部分をタッチし左右にスライドして、ぼけている像Ｓのぼけ量を微小にずらすこともできる。
【００８３】
ここで、連写速度が遅いときの静止画画素信号の読み出しは、単写のときの静止画画素信号の読み出しにも使用され得る。また、連写速度が速く、静止画画素信号の読み出しに時間をかけることができない場合には、制御回路３０２は、２個の受光部ｌ、ｒが加算されて出力されるように画素部３０３の設定を切り替える。
【００８４】
次に、ＡＦ及びＬＶ表示のための読み出し処理について説明する。図８は、ステップＳ１０４及びステップＳ１１１のＡＦ及びＬＶ表示のための読み出し処理について説明するためのタイミングチャートである。図８の「ｒｌ＋ＬＶ読み出し」は、表示画素信号及び第１の方向である水平方向に関する焦点検出画素信号の生成のための読み出し動作である。「ｔｂ読み出し」は、第２の方向である垂直方向に関する焦点検出画素信号の生成のための読み出し動作である。コンティニュアスモード中では、図８に示すようにｒｌ＋ＬＶ読み出しとｔｂ読み出しは１フレームの間に１回ずつ行われる。なお、１フレームの長さは、ＬＶ表示の画面の更新間隔及び連写時の連写間隔を示す連写速度等に応じて決められる。
【００８５】
ここで、読み出し処理中の画素加算の設定について説明する。以下の説明において、画素部３０３における画素加算の設定は、ｎ／ｍに、水平方向を表す「Ｈ」又は垂直方向を表す「Ｖ」を付して表すこととする。ここで、ｎは加算に用いられる画素信号の数である。また、ｍは加算の対象となる画素信号の数である。例えば、Ｖ１／５画素加算の場合、垂直方向に並ぶ５個の同一開口の画素信号のうちの１個を加算する、すなわち５個のうちの１個の画素信号だけを読み出し、残りの４個を間引くことを表す。また、Ｖ１／１画素加算の場合、垂直方向については加算及び間引きをせずに画素信号を読み出すことを示す。また、Ｈ１／１画素加算の場合、水平方向については加算及び間引きをせずに画素信号を読み出すことを示す。
【００８６】
ｒｌ＋ＬＶ読み出しにおいて、制御回路３０２は、画素部３０３から左開口画素信号ｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と右開口画素信号ｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）とが出力されるように画素部３０３の設定を切り替える。また、制御回路３０２は、画素信号の読み出し時間の短縮を図るために、画素部３０３の間の画素加算の設定を行う。
【００８７】
ここで、瞳分割された受光部ｌ、ｒには同一の光が入射する。この場合、基準部の画素信号と参照部の画素信号とで位置ずれはない。このため、第１の方向については、それぞれの受光部ｌ、ｒから出力される画素信号の対が１つの焦点検出領域のための１つの要素（ＥＬ）になる。そして、複数の要素によって１つの焦点検出領域における水平方向の位相差検出が行われる。このようにして要素数を増やすことによって位相差検出性能を向上させることができる。
【００８８】
本実施形態におけるｒｌ＋ＬＶ読み出しでは、第１の方向である水平方向については加算が行われずに、第２の方向である垂直方向についてだけ加算が行われるように設定がされる。例えば、水平方向については同一開口（左開口同士又は右開口同士）の画素信号を１／１画素加算（すなわち加算なしに）するように設定され、垂直方向については同一開口（左開口同士又は右開口同士）の画素信号を１／５画素加算するように設定される。画素信号の加算数は例えばフレームレートに応じて適宜に設定される。
【００８９】
図９は、ｒｌ＋ＬＶ読み出しにおける、基準部の画素信号（左開口画素信号）と参照部の画素信号（右開口画素信号）との読み出しについて示す図である。読み出し時には、図９に示すように、左開口画素の画素信号からなる基準部の画素信号ＢＡと右開口画素の画素信号からなる参照部の画素信号ＲＥとが交互に（ジグザグに）読み出される。一方で、垂直方向については、１／５画素加算して読み出される。これにより、水平方向の位相差検出性能を落とさずにＳ／Ｎを向上させることができる。また、図９のような読み出しが行われる場合、第１の方向である水平方向における相関演算方向の画素密度は、第２の方向である垂直方向における相関演算方向の画素密度の４倍になる。したがって、水平方向についての位相差検出精度も、垂直方向の位相差検出精度の４倍になる。
【００９０】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。
【００９１】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。
【００９２】
ｒｌ＋ＬＶ読み出しによってＤＲＡＭ２２６に記憶された画素データ列は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている左開口画素データＧｒｌと右開口画素データＧｒｒの対及び左開口画素データＧｂｌと右開口画素データＧｂｒの対を用いて相関演算を行う。
【００９３】
ｒｌ＋ＬＶ読み出しによってＤＲＡＭ２２６に記憶された画素データ列は、ＬＶ表示に用いられる。前述したように、表示画像データは、同一の画素部３０３に属する受光部ｌ、ｒの画素データを加算平均することで得られる。したがって、画像処理回路２１４は、左開口画素データｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と右開口画素データｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）とを加算平均して表示画像データを生成する。すなわち、左右開口画素データＧｒｌ、Ｇｒｒ、Ｇｂｌ、Ｇｂｒは、ＤＲＡＭ２２６から２回読み出される。また、第２の画素部の位置における表示画像データは、その第２の画素部の周囲の同色（図５の例ではＢ）の第１の画素部からの画素データを用いた補間演算によって得られる。
【００９４】
また、ｔｂ読み出しにおいて、制御回路３０２は、Ｇｂ行の画素部３０３から全開口画素信号（受光部ｌと受光部ｒの加算画素信号）が出力されるように画素部３０３の設定を切り替える。また、画素部３０３の間の画素加算の設定を行う。
【００９５】
ここで、受光部ｔ、ｂには同一の光が入射するとは限らない。この場合、基準部の画素信号と参照部の画素信号とで位置ずれが生じる可能性がある。このため、第２の方向については、隣接する複数の受光部ｔ及び受光部ｂから出力される画素信号の対を１つの要素（ＥＬ）とする。そして、複数の要素によって１つの焦点検出領域における垂直方向の位相差検出が行われる。このようにして処理することによって位置ずれの影響が低減される。
【００９６】
本実施形態におけるｔｂ読み出しでは、垂直方向の要素数を増やすために第２の方向である垂直方向について加算が行われないように設定がされる。また、第１の方向である水平方向についても加算が行われないように設定がされる。例えば、水平方向及び垂直方向ともに同一開口（上開口同士又は下開口同士）の画素信号を１／１画素加算（すなわち加算なしに）するように設定される。一方で、本実施形態におけるｔｂ読み出しでは、Ｇｂ行だけから画素信号を読み出すことで読み出し時間の短縮化が図られる。
【００９７】
図１０は、ｔｂ読み出しにおける、基準部の画素信号（上開口画素信号）と参照部の画素信号（下開口画素信号）との読み出しについて示す図である。読み出し時には、図１０の破線枠ＥＬ１１、ＥＬ２１、ＥＬ３１、ＥＬ４１、ＥＬ５１でそれぞれ示される範囲に含まれる２個の上開口画素信号及び図１０の実線枠ＥＬ１２、ＥＬ２２、ＥＬ３２、ＥＬ４２、ＥＬ５２でそれぞれ示される範囲に含まれる２個の下開口画素信号が１つの要素ＥＬとして読み出される。
【００９８】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。
【００９９】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。
【０１００】
ｔｂ読み出しによってＤＲＡＭ２２６に記憶された画素データ列は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている上開口画素データｔと下開口画素データｂの対を用いて相関演算を行う。
【０１０１】
以上説明したように本実施形態によれば、撮像素子は、第１の方向である水平方向に瞳分割された複数の受光部を有する第１の画素部と、第２の方向である垂直方向に沿って受光領域と非受光領域とを有する第２の画素部とを有する。第１の画素部は、第１の方向である水平方向及び第２の方向である垂直方向に沿って２次元状に配列されている。また、第２の画素部は、一部の第１の画素部と置き換えられて第２の方向に沿って配置されている。第１の画素部を構成する複数の受光部によって第１の方向に沿った位相差検出をすることができる。また、第２の画素部によって第２の方向に沿った位相差検出をすることができる。そして、第２の方向に沿った位相差検出のときには、第２の画素部を含む行の画素信号だけが読み出されればよい。例えば、カラーフィルタ配列がベイヤ配列の場合のｔｂ読み出しでは、Ｇｂ行の画素部だけから画素信号が読み出されればよい。このようにすることで、ｔｂ読み出しの読み出し時間は、静止画画素信号の読み出し時のように全画素部から画素信号が読み出される場合の読み出し時間の半分になる。このため、読み出し時間の短縮化を図ることができる。また、すべての画素部が第２の画素部で構成されていないので、表示等の際の画質の低下が抑制される。
【０１０２】
［変形例］
以下、本実施形態の変形例を説明する。フレームレートが図５の例よりも高速になったときには、前述した実施形態よりも高速の画素信号の読み出しの必要がある。
【０１０３】
高速読み出しが必要な場合、例えばｔｂ読み出しにおいては、読み出し範囲を通常のフレームレートのときよりも減らせばよい。例えば、図１１に示すように、画面中央部を含む５０％の領域に読み出し範囲を制限する（上部２５％及び下部２５％を読み出し範囲から除外する）ことにより、読み出し時間は画面全体でｔｂ読み出しをする場合の半分の時間になる。なお、読み出し範囲は必ずしも画面中央部に制限される必要はない。例えば、顔検出によって被写体が特定できているのであれば、その被写体を含む範囲だけが読み出し範囲に設定されてもよい。
【０１０４】
また、ｒｌ＋ＬＶ読み出しにおいては、間引き数を増やせばよい。例えば、図１２に示すようにｒｌ＋ＬＶ読み出しにおける垂直方向については１／９画素加算して画素信号を読み出すことで、読み出し時間は１／５画素読み出しの場合よりも短縮される。
【０１０５】
また、低輝度時等のように、読み出しの時間よりも焦点検出性能が要求される場合もある。焦点検出性能が要求される場合、例えばｒｌ＋ＬＶ読み出しにおいて垂直方向の加算数を増やせばよい。例えば、垂直方向についてのｒｌ＋ＬＶ読み出しにおける画素加算を２／５画素加算にすれば、Ｓ／Ｎは通常時の２倍になる。これによって、水平方向の位相差検出性能は向上する。
【０１０６】
さらに、読み出し時間や焦点検出性能よりもライブビューの解像度が要求される場合もある。この場合、例えばｒｌ＋ＬＶ読み出しにおいて垂直方向の加算数及び間引き数を減らせばよい。例えば、垂直方向についてのｒｌ＋ＬＶ読み出しにおける画素加算を１／１画素加算にすれば解像度は通常時の５倍になる。これによって、ライブビューの解像度は向上する。
【０１０７】
また、前述した実施形態では、第２の画素部には、カラーフィルタが配置されないとしている。これは、第２の画素部の位置の画素データそのものは表示等には用いられないためである。一方で、第２の画素部にＢフィルタを形成することで、第２の画素部と第１の画素部とを同一の工程で形成できるようにしてもよい。また、第２の画素部にＧフィルタ（Ｇｂフィルタ）を形成することで撮像素子として受光できる光量を増やすようにしてもよい。
【０１０８】
さらに、第２の画素部に異なる色のフィルタが形成されていてもよい。この場合、対となる第２の画素部については同一色のフィルタが形成されている必要がある。このようなフィルタ配置の例を図１３に示す。なお、図１３において偶数列については図示が省略されている。偶数列については図５と同様の第１の画素部が配列されている。図１３の例では、３及び１１列目の第２の画素部についてはＧフィルタが形成され、１９及び２７列目の第２の画素部についてはＢフィルタが形成され、３５及び４３列目の第２の画素部についてはＲフィルタが形成され、５１及び５９列目の第２の画素部についてはＧフィルタが形成されている。
【０１０９】
図１３のようにして第２の画素部が形成されていることにより、第２の画素部からの画素データを表示等に使用することができる。すなわち、第２の画素部からの画素データを略２倍することにより、第２の画素部からの画素データを第１の画素部からの画素データと略同等に扱うことができる。
【０１１０】
また、前述した実施形態では、第２の画素部は、受光部の一部の受光領域を遮光部によって遮光することで形成されている。これに対し、第２の画素部は、遮光部を用いずに形成することもできる。
【０１１１】
図１４Ａは、第２の画素部の第１の変形例を示す図である。図１４Ａは、縦長の長方形状を有する受光部のうち、第２の画素部に対応する受光部だけが正方形状に構成された例である。図１４Ａの受光部Ｂｌ及びＢｒで構成される画素部は、図４Ｂで示す第２の画素部と同様に、上側に非受光領域を有し、下側に受光領域を有する画素部になる。
【０１１２】
図１４Ｂは、第２の画素部の第２の変形例を示す図である。図１４Ｂは、円形状をしていたマイクロレンズを楕円形状とする例である。図１４Ｂの受光部Ｂｌ及びＢｒで構成される画素部も、図４Ｂで示す第２の画素部と同様に、上側に非受光領域を有し、下側に受光領域を有する画素部になる。
【０１１３】
さらに、前述した実施形態では、第１の方向を水平方向とし、第２の方向を垂直方向としている。逆に、第１の方向を垂直方向とし、第２の方向を水平方向としてもよい。また、前述した実施形態では、１つの画素は、第１の方向に瞳分割された２つの受光部によって構成されている。これに対し、１つの画素は、第１の方向及び第２の方向に瞳分割された４つの受光部によって構成されていてもよい。
【０１１４】
また、前述した実施形態では、画素部３０３における画素加算の設定等は、撮像素子２０８の内部に設けられた制御回路３０２によって行われる。制御回路３０２は、撮像素子２０８の外部に設けられていてもよい。この場合、例えばＣＰＵ２１２が制御回路３０２と同じ処理を実行できるように構成されていてもよい。
【０１１５】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１１６】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１１７】
また、上述した実施形態による各処理は、コンピュータであるＣＰＵ２１２又は制御回路３０２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２１２又は制御回路３０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【０１１８】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【０１１９】
１  撮像装置、１００  交換式レンズ、１０２  撮像光学系、１０４  駆動部、１０６  レンズＣＰＵ、１０８  レンズ側記憶部、１１０  インターフェイス（Ｉ／Ｆ）、２００  カメラ本体、２０２  メカシャッター、２０４  駆動部、２０６  操作部、２０８  撮像素子、２１０  手振れ補正回路、２１２  ＣＰＵ、２１４  画像処理回路、２１６  画像圧縮展開部、２１８  焦点検出回路、２２０  露出制御回路、２２２  表示部、２２４  バス、２２６  ＤＲＡＭ、２２８  本体側記憶部、２３０  記録媒体、３０１  入力回路、３０２  制御回路、３０３１ａ  マイクロレンズ、３０３１ｂ  カラーフィルタ、３０３１ｃ  画素、３０３２ａ  マイクロレンズ、３０３２ｂ  遮光部、３０３２ｃ  画素、  ３０４  垂直走査回路、３０５  アナログ処理回路、３０６  アナログデジタル変換（ＡＤＣ）処理回路、３０７  メモリ回路、３０８  水平走査回路、３０９  出力回路、１０２１  フォーカスレンズ、１０２２  絞り。
【図１】
2019106634.tif 000003
【図２】
2019106634.tif 000004
【図３】
2019106634.tif 000005
【図４Ａ】
2019106634.tif 000006
【図４Ｂ】
2019106634.tif 000007
【図５】
2019106634.tif 000008
【図６Ａ】
2019106634.tif 000009
【図６Ｂ】
2019106634.tif 000010
【図７】
2019106634.tif 000011
【図８】
2019106634.tif 000012
【図９】
2019106634.tif 000013
【図１０】
2019106634.tif 000014
【図１１】
2019106634.tif 000015
【図１２】
2019106634.tif 000016
【図１３】
2019106634.tif 000017
【図１４Ａ】
2019106634.tif 000018
【図１４Ｂ】
2019106634.tif 000019