(57)【要約】【課題】  １つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像装置において、正常でない信号を出力する光電変換部に対する補間方法を提供する。【解決手段】  撮像装置は、正常ではない信号を出力する光電変換部を含む第１の光電変換領域と、正な信号を出力する光電変換部を含む第２の光電変換領域と、を有する処理対象の画素に対して補間を行う補間手段を有し、この補間手段は、処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、処理対象の画素における第１の光電変換領域の位置に対応する第３の光電変換領域の信号を加重平均した第１の値と、処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、処理対象の画素における第２の光電変換領域の位置に対応する第４の光電変換領域の信号を加重平均した第２の値との比を求め、この比を用いて補間を行う。【選択図】  図８
2018019355.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズに対して複数の光電変換領域を有する複数の画素を備え、前記複数の光電変換領域のそれぞれが１つ以上の光電変換部を含む撮像素子と、
正常ではないとみなされる信号を出力する光電変換部を含む第１の光電変換領域と、正常とみなされる信号を出力する光電変換部を含む第２の光電変換領域と、を有する処理対象となる画素の、前記第１の光電変換領域に対して第１の補間を行う補間手段と、を有し、
前記補間手段は、
前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第１の光電変換領域の位置に対応する第３の光電変換領域の信号に対して、係数を用いて加重平均することで得られる第１の値と、前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第２の光電変換領域の位置に対応する第４の光電変換領域の信号に対して、前記係数を用いて加重平均することで得られる第２の値との比を求め、
前記第２の光電変換領域の信号、および、前記比を用いて前記第１の補間を行うことを特徴とする撮像装置。
【請求項２】
前記補間手段が前記比を求めるときに用いる前記周辺画素は、前記第１の光電変換領域を含む画素と異なる色の画素であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補間手段は、所定の条件を満たす場合に、前記処理対象の画素に隣接し、かつ、前記処理対象の画素と異なる色の画素を前記周辺画素として選択し、前記所定の条件を満たさない場合に、前記処理対象に隣接せず、かつ、前記処理対象の画素と同色の画素を前記周辺画素として選択することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記所定の条件は、前記処理対象の画素に基づいて設定した領域において、いずれか１つの色に対応する画素の信号が他の色に対応する画素の信号より大きく、かつ、その差が閾値を超えていることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記補間手段は、前記複数の周辺画素の光電変換領域のうち、欠陥のある光電変換部を含む光電変換領域に対する係数を、０に設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記補間手段は、前記周辺画素のそれぞれにおいて、前記第３の光電変換領域と前記第４の光電変換領域との信号の比に応じ、前記係数を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記周辺画素のうち、前記画素を挟んで対称な位置にある２つの画素のそれぞれにおいて、前記第３の光電変換領域の信号と第４の光電変換領域の信号との比を算出し、
前記補間手段は、前記信号の比の違いに応じて前記係数を設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記補間手段は、前記信号の比の違いが大きいほど、小さい前記係数を設定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記補間手段は、前記信号の比の違いが予め定められた閾値より大きい場合、前記係数に０を設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記複数の画素の前記光電変換部のそれぞれの出力が飽和のレベルに達していることを検出する検出手段を有し、
前記検出手段は、少なくとも一部の前記光電変換部の出力が飽和のレベルに達していることが検出された画素に含まれる光電変換領域に対する係数を、０に設定することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記補間手段は、第２の光電変換領域の信号および前記比を用いずに前記第１の光電変換領域の信号に対して補間を行う第２の補間を行うものであって、前記第１の補間と前記第２の補間のいずれかを選択することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記補間手段は、前記第２の光電変換領域が欠陥のある光電変換部を含む場合には、前記周辺画素の前記第３の光電変換領域の信号を用いて、前記第２の補間を行うことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記第２の補間では、
前記周辺画素の前記第３の光電変換領域の信号の平均を用いて行うことを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
欠陥のある光電変換部を示す情報を記憶する記憶手段を有し、
前記補間手段は、前記記憶手段により記憶された情報が示す光電変換部を含む光電変換領域を、前記第１の補間の対象にすることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記画素の配列はベイヤー配列であることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
１つのマイクロレンズに対して複数の光電変換領域を有する複数の画素を備え、前記複数の光電変換領域のそれぞれが１つ以上の光電変換部を含む撮像素子と、
正常ではないとみなされる信号を出力する光電変換部を含む第１の光電変換領域と、正常とみなされる信号を出力する光電変換部を含む第２の光電変換領域と、を有する処理対象となる画素の、前記第１の光電変換領域に対して第１の補間を行う補間手段と、
を有する撮像装置の制御方法において、
前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第１の光電変換領域の位置に対応する第３の光電変換領域の信号に対して、係数を用いて加重平均することで得られる第１の値と、前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第２の光電変換領域の位置に対応する第４の光電変換領域の信号に対して、前記係数を用いて加重平均することで得られる第２の値との比を求める工程と、
前記第２の光電変換領域の信号、および、前記比を用いて前記第１の補間を行う工程を含むことを特徴とする撮像装置の制御方法。
【請求項１７】
１つのマイクロレンズに対して複数の光電変換領域を有する複数の画素を備え、前記複数の光電変換領域のそれぞれが１つ以上の光電変換部を含む撮像素子と、
正常ではないとみなされる信号を出力する光電変換部を含む第１の光電変換領域と、正常とみなされる信号を出力する光電変換部を含む第２の光電変換領域と、を有する処理対象となる画素の、前記第１の光電変換領域に対して第１の補間を行う補間手段と、
を有する撮像装置の制御方法をコンピュータに動作させるプログラムであって、
前記コンピュータに、
前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第１の光電変換領域の位置に対応する第３の光電変換領域の信号に対して、係数を用いて加重平均することで得られる第１の値と、前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第２の光電変換領域の位置に対応する第４の光電変換領域の信号に対して、前記係数を用いて加重平均することで得られる第２の値との比を求めるステップと、
前記第２の光電変換領域の信号、および、前記比を用いて前記第１の補間を行うステップを含むことを特徴とするコンピュータのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光電変換部を有する画素を複数備えた撮像素子の、欠陥を有する光電変換部から読み出された信号の補間の技術に関するものである。
【背景技術】
【０００２】
１つのマイクロレンズに対して、複数の光電変換部を有する画素を複数備えた撮像素子が知られている。この撮像素子のそれぞれの画素において、複数の光電変換部の一部の光電変換部とそれ以外の光電変換部とから互いに信号を独立に読み出し、独立に読み出した信号の位相差を求めることで、被写体までの距離情報を得ることができる。この複数の光電変換部の一部の光電変換部に欠陥がある場合や、この一部の光電変換部に接続される回路に不具合がある場合には、この光電変換部から読み出された信号はそのままでは位相差検出に用いることができない。
【０００３】
そこで、特許文献１には、１つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子において、正常ではない光電変換部の信号に対して、周辺画素の光電変換部の信号を用いて補間する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−５６７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に記載の補間方法では、正常ではない信号を出力する光電変換部を含む画素（以下、欠陥画素と呼ぶ）と同じカラーフィルタに対応する画素に含まれる光電変換部の信号を用いるため、補間に使える画素の自由度が低い。たとえば、ベイヤー配列にて構成された撮像素子であれば、同じカラーフィルタに対応する画素は、水平および垂直方向においては１つ置きにしか存在しない。そのため、特許文献１に記載の補間方法では、補間を行う際に、水平および垂直方向に隣接する画素の光電変換部から読み出された信号を用いることができない。
【０００６】
補間する際に用いる信号は、空間的に近い位置から読み出された信号を用いたほうが、補間する際の高周波成分の再現性が向上する。そのため、被写体の模様にもよるが、補間する際の高周波成分の再現性をさらに向上させるためには、補間する際に信号を参照する光電変換部を含む画素の位置は、補間対象の光電変換部を含む画素と同色の画素の位置に限定されないほうが望ましい。
【０００７】
さらに、補間する際に用いる信号を読み出す光電変換部そのものの信号も正常ではない場合や、飽和していたりする場合も考えられる。あるいは、被写体の模様によっては、近傍の画素に含まれる光電変換部であっても、補間対象の光電変換部とは別の被写体に係る信号を出力している場合も考えられる。
【０００８】
そこで、補間によって得られた信号の精度をさらに向上させるために、補間する際に信号を参照する光電変換部を含む画素の位置の自由度を向上させるとともに、状況に応じて参照する光電変換部から読み出された信号に適切な優先度を設けることが望ましい。
【課題を解決するための手段】
【０００９】
本発明は、１つのマイクロレンズに対して複数の光電変換領域を有する複数の画素を備え、前記複数の光電変換領域のそれぞれが１つ以上の光電変換部を含む撮像素子と、正常ではないとみなされる信号を出力する光電変換部を含む第１の光電変換領域と、正常とみなされる信号を出力する光電変換部を含む第２の光電変換領域と、を有する処理対象となる画素の、前記第１の光電変換領域に対して第１の補間を行う補間手段と、を有し、前記補間手段は、前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第１の光電変換領域の位置に対応する第３の光電変換領域の信号に対して、係数を用いて加重平均することで得られる第１の値と、前記処理対象の画素の周囲に位置する複数の周辺画素のそれぞれの、前記処理対象の画素における前記第２の光電変換領域の位置に対応する第４の光電変換領域の信号に対して、前記係数を用いて加重平均することで得られる第２の値との比を求め、前記第２の光電変換領域の信号、および、前記比を用いて前記第１の補間を行うことを特徴とする撮像装置を提供する。
【発明の効果】
【００１０】
本発明によれば、１つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子を有する撮像装置において、正常ではない信号を出力する光電変換部に対して高い精度で信号を補間することを可能とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態における撮像素子の構成を説明するための図である。
【図３】本発明の実施形態における画素アレイの一部を示す等価回路図である。
【図４】本発明の実施形態における信号の読み出しのタイミングを示す図である。
【図５】本発明の実施形態における２つのＰＤとＧの色相のカラーフィルタとを有する画素の信号の補間を示す図である。
【図６】本発明の実施形態における２つのＰＤとＲの色相のカラーフィルタとを有する画素の信号の補間を示す図である。
【図７】本発明の実施形態における４つのＰＤとＧの色相のカラーフィルタとを有する画素の信号の補間を示す図である。
【図８】本発明の実施形態を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下では、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を実施するための一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１３】
以下、図面を参照して、本発明の実施形態について説明する。
【００１４】
図１は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。同図において、撮像素子１００は、撮像光学系で形成された被写体の光学像を電気信号に光電変換する。撮像素子１００は後述するＣＰＵ（中央処理装置）１０３等によって制御され、静止画または動画を撮像する。また、後述するように、撮像素子は、複数色からなるカラーフィルタに覆われている。ＡＦＥ（アナログフロントエンド）１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。ＴＧ（タイミングジェネレータ）１０２は、撮像素子１００およびＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。
【００１５】
上述のように、ＣＰＵ１０３は撮像素子の各部を制御するためのプログラムを実行する。操作部１０４は、撮像命令や撮像条件等の設定をＣＰＵ１０３に対して行う。表示部１０５は、撮像した静止画像や動画像およびメニュー等の表示を行うディスプレイである。ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理部１０８で処理された画像データを記憶する画像データ記憶手段の機能と、ＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。ＲＯＭ１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムを格納する。また、撮像素子１００に関する欠陥である光電変換部や信号の飽和レベルなどの情報も、工場出荷時から、ＲＯＭ１０７に格納されている。なお、ここでいう欠陥である光電変換部とは、光電変換部の構成自体に欠陥があるものだけでなく、光電変換部に接続される回路に欠陥があるものも含む。すなわち、結果的に出力される信号が正常ではないとみなされる光電変換部を、欠陥である光電変換部ということとする。ここで、本実施形態では、フラッシュメモリを示すが、これは一例であり、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。画像処理部１０８は、撮像された静止画または動画の補正や圧縮等の処理を行う。また、後述するＡ像データとＢ像データへの分離機能や、画像の補正機能や、静止画像、動画像の生成機能を備える。
【００１６】
ＡＦ演算部１０９は、相関演算部１２０から出力される相関演算の結果を用いて、フォーカスレンズの駆動量を算出する。フラッシュメモリ１１０は、静止画データおよび動画データを記録するための、着脱可能なフラッシュメモリである。本実施形態では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発メモリでもよい。また、これらのメモリを内蔵した形態でもよい。
【００１７】
フォーカルプレーンシャッタ１１１は、静止画撮像時に露光秒時を調節する。本実施形態では、フォーカルプレーンシャッタ１１１にて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１２は、光学系の焦点位置を変更するものであり、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ１１９を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口径を制御する。第１レンズ１１６は、撮像光学系（共通光学系）の先端に配置され、光軸方向に進退可能に保持される。絞り１１７は、その開口径を調節することで撮像時の光量を調節する。そして、絞り１１７および第２レンズ１１８は一体となって光軸方向に進退し、第１レンズ１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ１１９は、光軸方向の進退により、撮像光学系の焦点を調節する。相関演算部１２０は、撮像素子１００から出力される画素信号を用いて相関演算を行う。
【００１８】
図２は、撮像素子１００の構成を説明するための図である。図２（ａ）は、撮像素子１００の構成を示す。図２（ａ）において、撮像素子は、画素が２次元に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直走査回路１００ｄ、画素アレイ１００ａの画素の列を選択する水平走査回路１００ｃを持つ。また、撮像素子１００はさらに、画素アレイ１００ａの画素のうち、垂直走査回路１００ｄおよび水平走査回路１００ｃによって選択される画素の信号を読み出すための読み出し回路１００ｂを備える。垂直走査回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づいたＴＧ１０２から出力される読み出しパルスを、選択行において有効にする。読み出し回路１００ｂは列毎に設けられたアンプやメモリを有し、走査行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平走査回路１００ｃによって列方向に順に選択され、出力回路１００ｅを介して外部に出力される。この動作を繰り返し、すべての画素の信号を外部に出力する。
【００１９】
撮像素子１００の画素アレイ１００ａを図２（ｂ）に示す。図２（ｂ）において、マイクロレンズアレイは、水平方向にｈ個、垂直方向にｖ個配置されたマイクロレンズ１００ｆを含む。ＰＤ（フォトダイオード）１００ｈ、１００ｇは光電変換を行う光電変換部として、後述するＡ像用光電変換部、Ｂ像用光電変換部を構成する。各画素は、ＰＤ２つに対して１つのマイクロレンズ１００ｆが上部に配置される構成となっている。すなわち、各画素は、１つのマイクロレンズに対して光電変換部を複数備える。マイクロレンズ１００ｆを共有している２つのＰＤで１画素を構成する場合、画素アレイ１００ａは水平方向にｈ個、垂直方向にｖ個の画素を含む。ＰＤ１００ｈとＰＤ１００ｇで蓄積された信号は、後述する画素転送動作によって、同時または独立に電圧に信号に変換され、前述した読出し動作によって外部に出力される。ＰＤ１００ｈとＰＤ１００ｇは、瞳分割構成となっており、互いに位相差を持った別々の像が入射される。そのため、ＰＤ１００ｈとＰＤ１００ｇの信号を独立に読み出し、前述の相関演算部１２０において相関演算処理を行い、その結果を用いて前述のＡＦ演算部１０９でフォーカスレンズの駆動量を計算することができる。ここではＰＤ１００ｈをＡ像用光電変換部、ＰＤ１００ｇをＢ像用光電変換部とする。図２（ｂ）では、マイクロレンズ１つに対してＰＤが２つ配置される構成であるが、これに限られるものではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であっても本発明を適用することができ、または４つ以上に瞳分割することもできる。たとえば、図２（ｃ）では、ＰＤが４つ配置される例を示している。画素１００ｉは、ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍおよびＰＤ１００ｎを有する。ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍおよびＰＤ１００ｎには、それぞれ異なる位相の像が入射し、別々に信号を読み出すことが可能である。もしくは、状況に応じ、ＰＤ１００ｊとＰＤ１００ｋの信号を加算して読み出し、ＰＤ１００ｍとＰＤ１００ｎの信号を加算して読み出すことで、水平方向の位相差を相関演算部１２０での演算を経て取得することができる。または、ＰＤ１００ｊとＰＤ１００ｍの信号を加算して読み出し、ＰＤ１００ｋとＰＤ１００ｎの信号を加算して読み出すことで、垂直方向の位相差を相関演算部１２０での演算を経て取得することができる。このように、ＰＤから得られた信号を位相差検出のために使うことができる。図２（ｄ）は、マイクロレンズのカラーフィルタを示す図である。図２（ｄ）での１マスは、１つのマイクロレンズに対応するカラーフィルタを意味する。マイクロレンズに書いてある「Ｒ」、「Ｂ」および「Ｇ」の文字は、カラーフィルタの色相を表しており、それぞれ「赤」、「青」および「緑」に相当する。本実施形態では、図２（ｄ）で示したように、ベイヤー配列のカラーフィルタに基づいて説明するが、この限りでなく、たとえばイエロー、マゼンダ、シアン、グリーンの４つの色相が２×２に配置されたカラーフィルタなどを用いても実施できる。
【００２０】
以下においては、マイクロレンズ１つに対してＰＤが２つ配置される構成を用いて実施形態を説明する。図３は、画素アレイ１００ａに設けられた複数の画素のうち、隣り合う２行（ｊ行と（ｊ＋１）行）、２列（ｉ列と（ｉ＋１）列）分の画素と、２列（ｉ列と（ｉ＋１）列）分の読み出し回路１００ｂの構成を示す等価回路図である。
【００２１】
ｊ行目の画素３０１の転送スイッチ３０２ａには制御信号ΦＴＸＡ（ｊ）が入力され、転送スイッチ３０２ｂのゲートには、制御信号ΦＴＸＢ（ｊ）が入力される。リセットスイッチ３０４は、リセット信号ΦＲ（ｊ）により制御され、行選択スイッチ３０６は、行選択信号ΦＳ（ｊ）によって制御される。同様に、（ｊ＋１）行目の画素は、制御信号ΦＴＸＡ（ｊ＋１）およびΦＴＸＢ（ｊ＋１）、リセット信号ΦＲ（ｊ＋１）、および行選択信号ΦＳ（ｊ＋１）により制御される。なお、制御信号ΦＴＸＡ（ｊ）およびΦＴＸＢ（ｊ）、リセット信号ΦＲ（ｊ）、行選択信号ΦＳ（ｊ）は、垂直走査回路１００ｄにより制御される。
【００２２】
また、画素列毎に垂直信号線３０８を設けており、各々の垂直信号線３０８は、各列に設けられた読み出し回路１００ｂの電流源３０７および転送スイッチ３１０ａ、３１０ｂに接続される。
【００２３】
転送スイッチ３１０ａのゲートには制御信号ΦＴＮが入力され、転送スイッチ３１０ｂのゲートには制御信号ΦＴＳが入力される。また、転送スイッチ３１２ａおよび転送スイッチ３１２ｂのゲートには、水平走査回路１００ｃから出力される制御信号ΦＰＨ（ｉ）が入力される。蓄積容量部３１１ａは、転送スイッチ３１０ａがオン状態で転送スイッチ３１２ａがオフ状態にあるときに、垂直信号線３０８の出力を蓄積する。同様に、蓄積容量部３１１ｂは、転送スイッチ３１０ｂがオン状態で転送スイッチ３１２ｂがオフ状態にあるときに、垂直信号線３０８の出力を蓄積する。
【００２４】
水平走査回路１００ｃの列選択信号ΦＰＨ（ｉ）によりｉ列目の転送スイッチ３１２ａと転送スイッチ３１２ｂとをオン状態にすることで、蓄積容量部３１１ａおよび蓄積容量部３１１ｂの出力がそれぞれ別の水平出力線を介して出力回路１００ｅに転送される。
【００２５】
上記構成を有する撮像素子１００から信号を読み出す読み出し動作として、加算読み出し動作（第１の読み出し動作）と、分割読み出し動作（第２の読み出し動作）とを選択的に行うことが可能である。以下、加算読み出し動作と分割読み出し動作について説明する。なお、本実施形態では、各制御信号がＨ（ｈｉｇｈ）の状態の時に各スイッチがオン、Ｌ（ｌｏｗ）の時にオフとなるものとして説明する。
【００２６】
＜加算読み出し動作＞（第１の読み出し動作）
図４（ａ）は、加算読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１において、リセット信号ΦＲ（ｊ）がＨになる。次に、時刻Ｔ２において、制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ｊ行目の画素１００ｆのＰＤ１００ｈ、１００ｇがリセットされる。
【００２７】
次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬになると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）がＨになると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。
【００２８】
次に、時刻Ｔ５でリセット信号ΦＲ（ｊ）がＬにされた後、時刻Ｔ６で制御信号ΦＴＮがＨになると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）が蓄積容量部３１１ａに転送される。
【００２９】
次に、時刻Ｔ７で制御信号ΦＴＮがＬにされ、蓄積容量部３１１ａにノイズ信号が保持される。その後、時刻Ｔ８で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ＰＤ１００ｈ、１００ｇの電荷がＦＤ領域（フローティングディフュージョン領域）３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇの電荷が同じＦＤ領域３０３に転送されるので、２つのＰＤ１００ｈ、１００ｇの電荷が混合された信号（１画素分の光信号＋ノイズ信号）が垂直信号線３０８に出力される。
【００３０】
続いて時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬにされる。その後、時刻Ｔ１０で制御信号ΦＴＳがＨになると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳがＬにされ、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１２で行選択信号ΦＳ（ｊ）がＬにされる。
【００３１】
この後、水平走査回路１００ｃの列選択信号ΦＰＨによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂが順にＨにされる。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１画素分の光信号＋ノイズ信号がそれぞれ異なる水平出力線を介して出力回路１００ｅに転送される。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した加算読み出し動作により得られた信号を、「第１の加算信号」と呼ぶ。
【００３２】
＜分割読み出し動作＞（第２の読み出し動作）
次に、分割読み出し動作について図４（ｂ）を用いて説明する。図４（ｂ）は、分割読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１においてリセット信号ΦＲ（ｊ）がＨにされる。続いて、時刻Ｔ２においてΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ｊ行目の画素３０１のＰＤ１００ｈ、１００ｇがリセットされる。次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬになると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）がＨとなると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。
【００３３】
時刻Ｔ５でリセット信号ΦＲ（ｊ）がＬにされた後、時刻Ｔ６で制御信号ΦＴＮがＨになると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）が蓄積容量部３１１ａに転送される。
【００３４】
次に、時刻Ｔ７で制御信号ΦＴＮがＬにされ、蓄積容量部３１１ａにノイズ信号が保持された後、時刻Ｔ８でΦＴＸＡ（ｊ）がＨになると、ＰＤ１００ｈの電荷がＦＤ領域３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇのうち一方（ここではＰＤ１００ｈ）の電荷をＦＤ領域３０３に転送するので、ＰＤ１００ｈの電荷に応じた信号だけが垂直信号線３０８に出力される。
【００３５】
次に、時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）がＬにされた後、時刻Ｔ１０で制御信号ΦＴＳがＨになると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１ＰＤ分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳがＬにされる。
【００３６】
この後、水平走査回路１００ｃの列選択信号ΦＰＨによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂが順にＨにされる。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１ＰＤ分の光信号＋ノイズ信号がそれぞれ別の水平出力線で出力回路１００ｅに転送される。出力回路１００ｅでは、この２つの水平出力線の差分（１ＰＤ分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した読み出し動作により得られた信号を、「分割信号」と呼ぶ。
【００３７】
その後、時刻Ｔ１２でΦＴＸＡ（ｊ）およびΦＴＸＢ（ｊ）がＨとなり、先に転送したＰＤ１００ｈの電荷に加えて、更にＰＤ１００ｇの電荷と新たに発生したＰＤ１００ｈの電荷とがＦＤ領域３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇの電荷が同じＦＤ領域３０３に転送されるので、２つのＰＤ１００ｈ、１００ｇの電荷が混合された信号（１画素分の光信号＋ノイズ信号）が垂直信号線３０８に出力される。
【００３８】
続いて時刻Ｔ１３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬにされた後、時刻Ｔ１４で制御信号ΦＴＳがＨになると、転送スイッチ３１０ｂがオン状態になる。これにより、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）蓄積容量部３１１ｂに転送される。
【００３９】
次に時刻Ｔ１５で制御信号ΦＴＳがＬにされ、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１６で行選択信号ΦＳ（ｊ）がＬにされる。
【００４０】
この後、水平走査回路１００ｃの列選択信号ΦＰＨによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂが順にＨにされる。これにより、蓄積容量部３１１ａ、３１１ｂのノイズ信号と、１画素分の光信号＋ノイズ信号がそれぞれ異なる水平出力線で出力回路１００ｅに転送される。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定のゲインを乗じた信号を出力する。以下、上記読み出し動作により得られた信号を、第１の加算信号と区別するために、「第２の加算信号」と呼ぶ。
【００４１】
このようにして読み出した第２の加算信号から、一方のＰＤ１００ｈに対応する分割信号を差し引くことで、他方のＰＤ１００ｇに対応する分割信号を得ることができる。このようにして得られた一対の分割信号を「焦点検出用信号」と呼ぶ。そして、得られた焦点検出用信号に対して公知の相関演算を行うことにより、信号間の位相差を算出することができる。
【００４２】
上記の分割読み出し動作と加算読み出し動作とは、同じ画素に対しても、必要に応じて、切り替えることができる。ただし、本実施形態では、補間の対象となる画素と後述する周辺画素とにおいては、分割読み出し動作が行われるものとする。
【００４３】
なお、リセット、電荷の蓄積、および、信号の読み出しという一連の動作をＰＤ１００ｈに対して行った後、同様の動作をＰＤ１００ｇに対して行うことで、１回の電荷蓄積動作に対して２つのＰＤ１００ｈ、１００ｇの信号を独立に読み出すようにしてもよい。このようにして２回に分けて読み出したＰＤ１００ｈ、１００ｇの信号は、加算することで第２の加算信号を得ることができる。また、以上にも述べたように、マイクロレンズ１つに対して２つのＰＤが配置される構成に限られるものではなく、３つ以上のＰＤを有する構成であっても同様の考え方で複数回に分けて信号を読みだすことが可能である。
【００４４】
＜欠陥のある光電変換部から読み出された信号の補間方法＞
次に、本実施形態における欠陥がある光電変換部から読み出された信号の補間方法について説明する。図５は、マイクロレンズ１つに対して２つのＰＤが配置される構成で、１つの画素の１つのＰＤにのみ欠陥がある場合を示す図である。ここで、画素５００の左に配置されているＰＤ５０１に欠陥があり、正しい信号を取得できないため、このＰＤ５０１の信号が補間の対象となる。これに対し同じ画素５００の右に配置されているＰＤ５０２には欠陥がないものとする。なお、各々の画素の上部に書いてある文字は、カラーフィルタの色相を表している。
【００４５】
画像処理部１０８は、ＰＤ５０１の信号に対して、以下の（式１）で、周辺画素それぞれの２つの光電変換部の信号の加重平均の結果の比を用いて補間することができる。
【００４６】
【数１】
2018019355.tif 000003
【００４７】
上記の（式１）では、Ｓ５０１は補間によって得られるＰＤ５０１の信号値を意味し、ｗ１、ｗ２、ｗ３およびｗ４は、加重係数を表す。画像処理部１０８は、ＰＤ５０１を有する画素５００の上下左右に配置された周辺画素５１０乃至５４０のそれぞれに含まれる２つのＰＤの信号値Ｓ５１１乃至Ｓ５４２と、画素５００に含まれる他方のＰＤ５０２との信号値Ｓ５０２を用いて補間する。具体的には、周辺画素５１０乃至５４０のそれぞれにおいてＰＤ５０１と同じく左側にあるＰＤ５１１、ＰＤ５２１、ＰＤ５３１およびＰＤ５４１の信号値Ｓ５１１、Ｓ５２１、Ｓ５３１およびＳ５４１に対し、加重係数を掛けて加算した値を求める。さらに、周辺画素５１０乃至５４０のそれぞれにおいてＰＤ５０１と反対側となる右側にあるＰＤ５１２、ＰＤ５２２、ＰＤ５３２およびＰＤ５４２の信号値Ｓ５１２、Ｓ５２２、Ｓ５３２およびＳ５４２に対して、加重係数を掛けて加算した値を求める。そして、左側のＰＤの信号値を用いて加重平均して得られた値と、右側のＰＤの信号値を用いて加重平均して得られた値との比を算出する。この比は、画素５００を中心として複数画素を含む領域における、左側のＰＤと右側のＰＤの平均的な比率に相当する。そして、算出した比に、画素５００の、正常な信号を出力するとみなされた右側のＰＤ５０２の信号値に掛けて得られた値を、画素５００の左側のＰＤ５０１の信号の補間の値とする。
【００４８】
ここで、加重係数ｗ１乃至ｗ４は、画素５００の周囲の画素の状態や被写体に応じてその値を変更することより、補間の精度を向上させる役目を有している。例えば、周辺画素に欠陥のある画素が含まれている場合、この画素から得られたＰＤの信号値を用いて上記の比を求めてしまうと、周辺画素における平均的な比率から乖離した値となる場合がある。そのため、画像処理部１０８は、ＲＯＭ１０７に記憶された欠陥の情報に基づき、欠陥があると判断された周辺画素から得られた信号値に与える加重係数を０に設定する。たとえば、画素５００に含まれるＰＤ５１１とＰＤ５１２の少なくとも一方に欠陥があるときには、ＰＤ５１１とＰＤ５１２から得られる信号値Ｓ５１１とＳ５１２に対する加重係数ｗ１を０に設定する。
【００４９】
あるいは、いずれかのＰＤから読み出した信号値が、ＲＯＭ１０７に予め記憶された飽和レベルに達している場合には、このＰＤを含む画素から得られた信号値に対応する加重係数を０に設定する。少なくとも一方のＰＤから読み出した信号値が飽和していれば、そのＰＤから読み出された信号値は本来の被写体に応じた信号値よりも小さな値となっており、正しい値ではないため、精度の高い比の計算に用いることができないためである。
【００５０】
このように、上述した方法によれば、まず処理対象となる画素の周辺画素を用いて、同一のマイクロレンズに対応する複数のＰＤ間の信号値の比を求める。そして、これを欠陥のあるＰＤと同一のマイクロレンズに対応する別のＰＤから得られた信号値に掛けることで、欠陥のあるＰＤの信号値を補間している。同一マイクロレンズに対応するＰＤ間の信号値の比は、ＰＤに入射する被写体上の領域の違いに起因するものであるため、この比を求める場合には、処理対象となる画素と異なる色相に対応する画素を用いることができる。そのため、（式１）に示したように、処理対象となる画素に隣接する、処理対象と異なる色相に対応する画素を用いてＰＤ間の信号値の比を求めることが可能である。
【００５１】
もちろん、下記の（式２）に示すように、画像処理部１０８は、周辺画素のうち処理対象の画素と同色画素に含まれる２つのＰＤから得られた信号値の加重平均して得られた値の比を用いて、欠陥のあるＰＤの信号値を補間することもできる。
【００５２】
【数２】
2018019355.tif 000004
【００５３】
上記の（式２）では、補間の対象となる画素５００が色相Ｇに対応する場合には、画素５００と同じ色相Ｇのカラーフィルタを有する画素の信号を用いて補間を行うものである。色相Ｇに対応する画素は、色相ＲおよびＢに対応する画素よりも密度が高いため、同色画素を用いた場合であっても、補間の対象となる画素と周辺画素との距離が近く、精度の高い比を求めることができる。
【００５４】
次に、図６は、Ｒの色相のカラーフィルタを有する画素の左のＰＤ６０１が欠陥であることを示す。画像処理部１０８は、ＰＤ６０１の信号に対して、以下の（式３）または（式４）を用いて補間することができる。
【００５５】
【数３】
2018019355.tif 000005
【００５６】
【数４】
2018019355.tif 000006
【００５７】
上記の（式３）では、Ｓ６０１は補間によって得られるＰＤ６０１の信号を意味し、ｗ１乃至ｗ４は加重係数を表す。ＰＤ６０１を有する画素６００の上下左右に配置されている周辺画素６１０乃至６４０のそれぞれにおいて、ＰＤ６０１と同じく左側にあるＰＤ６１１乃至６４１の信号値Ｓ６１１乃至Ｓ６４４に対し、加重係数を掛けて加算した値を求める。さらに、周辺画素６１１乃至６４１のそれぞれにおいて、ＰＤ６０１と反対側となる右側にあるＰＤ６１２乃至６４２の信号値Ｓ６１２乃至Ｓ６４２に対し、加重係数を掛けて加算した値を求める。そして、左側のＰＤの信号値を用いて加重平均して得られた値と、右側のＰＤの信号値を用いて加重平均して得られた値との比を算出する。そして、算出した比に、画素６００の右側のＰＤ６０２の信号Ｓ６０２に掛けて得られた値を、画素６００の左側のＰＤ６０１の信号の補間の値とする。
【００５８】
同様に、上記の（式４）のように、画像処理部１０８は、周辺画素のうち処理対象の画素と同色画素６５０、６６０、６７０および６８０に含まれる２つのＰＤから得られた信号値の加重平均して得られた値の比を用いて、欠陥のあるＰＤの信号値を補間することもできる。
【００５９】
さらに、上記の（式３）と（式４）のどちらか一方を用いて補間を行うのでなく、両方用いてもよい。つまり、周辺画素６１０乃至６８０のそれぞれにおいて、ＰＤ６０１と同じく左側にあるＰＤ６１１乃至６８１の信号値に対して、加重係数を掛けて加算した値を求める。さらに、周辺画素６１０乃至６８０のそれぞれにおいて、ＰＤ６０１と反対側になる右側にあるＰＤ６１２乃至６８２の信号値に対して、加重係数を掛けて加算した値を求める。そして、左側のＰＤの信号値を用いて加重平均して得られた値と、右側のＰＤの信号値を用いて加重平均して得られた値との比を算出する。そして、算出した比に、画素６００の右側のＰＤ６０２の信号値に掛けて得られた値を、画素６００の左側のＰＤ６０１の信号の補間の値とする。
【００６０】
なお、画像処理部１０８は、（式３）と（式４）とを状況に応じて選べるように構成してもよい。例えば、補間の対象となる画素の中心とした５画素×５画素の領域を設定し、それぞれのカラーフィルタに対応する正常な光電変換部から読み出された信号値を用いて、それぞれのカラーフィルタに対応する信号値の平均値を求める。そして、いずれか１つのカラーフィルタに対応する信号値に平均値が、他のカラーフィルタに対応する信号値の平均値よりも、予め設定した閾値を超えて大きい場合には、（式４）を用いるようにし、それ以外の場合には（式３）を用いる。
【００６１】
これは、特定のカラーフィルタの信号値のみが大きい場合には、補正の対象となる画素と異なるカラーフィルタに対応する画素の信号値を用いて補間を行うと、精度が低下する可能性が高くなるためである。例えば、色相Ｒに対応する信号値の平均値のみが大きく、色相Ｇおよび色相Ｂに対応する信号値の平均値が小さい場合を考える。色相ＲについてはＳ／Ｎ比が大きいため、ノイズ成分の影響をほとんど受けずに左右のＰＤ間の信号値の比を得ることができるが、色相Ｇおよび色相ＢはＳ／Ｎ比が小さくなるため、ＰＤ間の信号値の比を得る際にノイズ成分が大きく影響してしまう。このような場合には、色相Ｒに対応する画素に含まれる光電変換部の信号を補間するためには、色相Ｒに対応する周辺画素から得られたＰＤ間の信号値の比を用いることが望ましい。反対に、それぞれの色相に対応する信号値の平均値が類似していれば、色相によってノイズ成分の影響の程度が大きく異なることはないため、色相ＧおよびＢに対応する周辺画素から得られたＰＤ間の信号値の比を用いてもよい。
【００６２】
また、上述した加重係数は、欠陥や飽和の有無だけでなく、被写体の輝度や色合いの変化によって変更するようにしてもよい。補間の際に参照する周辺画素は、被写体上のごく近い領域に対応する信号値を出力するため、被写体の輝度や色合いに変化がなければ、周辺画素における左右のＰＤの信号値の比率は類似するはずである。反対に、いずれかの周辺画素において、他の画素と比べて左右のＰＤの信号値に比率が大きく異なるのであれば、被写体の輝度や色合いが変化する領域に掛かっている可能性が高い。
【００６３】
そこで、そこで画像処理部１０８は、図５で示した撮像素子に対して、まず周辺画素５１０、５２０、５３０および５４０のそれぞれの２つのＰＤの信号値の比を算出する。つまり、下記の（式５）の比Ｒ５１０、Ｒ５２０、Ｒ５３０およびＲ５４０を算出する。
【００６４】
【数５】
2018019355.tif 000007
【００６５】
そして、上記の比Ｒ５１０、Ｒ５２０、Ｒ５３０およびＲ５４０を互いに比較し、偏差の大きい画素に対して小さい加重係数を設定した上で、（式１）を用いて補間後の信号値を算出する。
【００６６】
上記の設定方法を、さらに下記のように変形することができる。補間の対象となる画素５００の上下にある対称な画素５１０と画素５２０とのそれぞれの２つのＰＤの信号値の比Ｒ５１０とＲ５２０とを算出する。この２つの比の差｜Ｒ５１０−Ｒ５２０｜を算出する。この差が予め定められた閾値以上の値となれば、垂直方向における被写体の輝度や色合いの変化が大きいと判定し、加重係数ｗ１とｗ２とを、０に設定する。
【００６７】
同様に、補間の対象となる画素５００の上下にある画素５３０と画素５４０とのそれぞれの２つのＰＤの信号値の比Ｒ５３０とＲ５４０とを算出し、比の差｜Ｒ５３０−Ｒ５４０｜も算出する。この差が予め定められた閾値以上の値となれば、加重係数ｗ３とｗ４とともに、０に設定する。もし、｜Ｒ５１０−Ｒ５２０｜と｜Ｒ５１０−Ｒ５２０｜の両方が閾値以上の場合には、加重係数ｗ１乃至ｗ４を全て１にする。あるいは、｜Ｒ５１０−Ｒ５２０｜と｜Ｒ５１０−Ｒ５２０｜の大きさの比率に反比例するように、加重係数を加重係数ｗ１乃至ｗ４を設定する。すなわち、｜Ｒ５１０−Ｒ５２０｜のほうが小さければ、画素Ｒ５１０とＲ５２０に対応する加重係数ｗ１およびｗ２を加重係数ｗ３およびｗ４よりも大きくすればよい。反対に、｜Ｒ５１０−Ｒ５２０｜のほうが大きければ、加重係数ｗ１およびｗ２を加重係数ｗ３およびｗ４よりも小さくすればよい。
【００６８】
上記したように、補間の計算で加重係数を用いることにより、信ぴょう性の低い信号のデータにより小さい加重係数を与え、補間でより正確な欠陥画素の信号を得ることができる。
【００６９】
なお、以上の説明は、１つのマイクロレンズに対して、２つのＰＤが配置される構成をもとにして説明したが、これに限られるわけではない。たとえば、１つのマイクロレンズに対して、４つのＰＤが配置される構成においても、本実施形態を実施することができる。図７は、１つのマイクロレンズに対して、４つのＰＤが配置される構成を示す。以下では、図７に示した構成を用いて、本実施形態における補間方法を用いる場合の処理について説明する。図７では、ＰＤ７０１に欠陥があるものとする。
【００７０】
図７に示した構成では、上述したように、たとえば、画素７００において、水平方向の位相差を検出する場合、ＰＤ７０１とＰＤ７０２との信号を加算して読み出し、ＰＤ７０３とＰＤ７０４との信号を加算して読み出す必要がある。ここでは、ＰＤ７０１とＰＤ７０２を含む領域を第１の光電変換領域と呼び、ＰＤ７０３とＰＤ７０４を含む領域を第２の光電変換領域と呼ぶ。ＰＤ７０１には欠陥があるため、ＰＤ７０１とＰＤ７０２との信号を加算して読み出すと、第１の光電変換領域としての正しい信号が得られない。
【００７１】
周辺画素７１０においても、水平の位相差を検出する場合、ＰＤ７１１とＰＤ７１２との信号を加算して読み出し、ＰＤ７１３とＰＤ７１４との信号を加算して読み出す必要がある。ここでは、画素７００における第１の光電変換領域の位置に対応する位置にある、ＰＤ７１１とＰＤ７１２とを第３の光電変換領域と呼ぶ。同様に、画素７００における第２の光電変換領域の位置に対応する位置にある、ＰＤ７１３とＰＤ７１４と第４の光電変換領域と呼ぶ。画素７２０乃至７４０においても、画素７００における第１の光電変換領域の位置に対応する位置にある光電変換部を第３の光電変換領域、画素７００における第２の光電変換領域の位置に対応する位置にある光電変換部を第４の光電変換領域と呼ぶ。
【００７２】
図５に示した素子に倣って、画像処理部１０８は、ＰＤ７０１とＰＤ７０２との信号に対して、下記の（式６）を用いて補間することができる。
【００７３】
【数６】
2018019355.tif 000008
【００７４】
ただし、Ａ１はＳ７１１とＳ７１２を加算した値で、Ａ２はＳ７２１とＳ７２２を加算した値で、Ａ３はＳ７３１とＳ７３２を加算した値、Ａ４はＳ７４１とＳ７４２を加算した値である。同様に、Ｂ１はＳ７１３とＳ７１４を加算した値で、Ｂ２はＳ７２３とＳ７２４を加算した値で、Ｂ３はＳ７３３とＳ７３４を加算した値、Ｂ４はＳ７４３とＳ７４４を加算した値である。
【００７５】
（式６）で示した方法では、欠陥があるＰＤ７０１を有する画素７００では、ＰＤ７０１とＰＤ７０２との信号を加算して読み出す。他の画素においても、同様に、左側にある２つのＰＤの信号を加算して読み出し、右側にある２つのＰＤの信号を加算して読み出す。周辺画素７１０乃至７４０のそれぞれにおいて、左側の２つのＰＤの信号に対し、加重係数を掛けて加重平均した値を求める。さらに、周辺画素７１０乃至７４０のそれぞれにおいて、右側の２つのＰＤの信号に対しても、加重係数を掛けて加重平均した値を求める。そして、左側の２つのＰＤの信号値を用いて加重平均して得られた値と、右側の２つのＰＤの信号値を用いて加重平均して得られた値との比を算出する。そして、算出した比に、画素７００の右側にあるＰＤ７０３とＰＤ７０４との信号値の和に掛けて、ＰＤ７０１とＰＤ７０２との信号値の和が得られる。この値を、水平方向の位相差の検出に用いる。
【００７６】
同様に、垂直方法の位相差を検出する場合、画素７００において、ＰＤ７０１とＰＤ７０３との信号を加算して読み出し、ＰＤ７０２とＰＤ７０４との信号を加算して読み出す必要がある。周辺画素においても同様である。画像処理部１０８は、ＰＤ７０１とＰＤ７０３との信号に対して、下記の（式７）を用いて補間することができる。
【００７７】
【数７】
2018019355.tif 000009
【００７８】
ただし、Ｃ１はＳ７１１とＳ７１３を加算した値で、Ｃ２はＳ７２１とＳ７２３を加算した値で、Ｃ３はＳ７３１とＳ７３３を加算した値、Ｃ４はＳ７４１とＳ７４３を加算した値である。同様に、Ｄ１はＳ７１２とＳ７１４を加算した値で、Ｄ２はＳ７２２とＳ７２４を加算した値で、Ｄ３はＳ７３２とＳ７３４を加算した値、Ｄ４はＳ７４２とＳ７４４を加算した値である。
【００７９】
ここで、第１乃至第４の光電変換領域の信号値をそれぞれ、ＳＳ１、ＳＳ２、ＳＳ３、ＳＳ４と定義すれば、上記の（式６）および（式７）は、下記の（式８）に書き直すことができる。
【００８０】
【数８】
2018019355.tif 000010
【００８１】
ただし、上記のＮは、計算に用いる周辺画素の数である。算出した第１の光電変換領域の信号値ＳＳ１から欠陥のないＰＤの信号値を引くと、欠陥のあるＰＤの信号を得ることができる。
【００８２】
同色の周辺画素７５０、７６０、７７０および７８０からの信号を用いて補間するとき、同様な方法が使える。
【００８３】
なお、上述した１つの画素が２つのＰＤを有する撮像素子において、欠陥のあるＰＤを第１の光電変換領域と、同じ画素にある別のＰＤを第２の光電変換領域とみなせる。たとえば、図５に示した撮像素子において、ＰＤ５０１を第１の光電変換領域と、ＰＤ５０２を第２の光電変換領域とみなせる。同様に、ＰＤ５１１、５２１、５３１および５４１のそれぞれを第３の光電変換領域と、ＰＤ５１２、５２２、５３２および５４２のそれぞれを第４の光電変換領域とみなせる。こういう解釈のもとで、１つの画素が２つのＰＤを有する撮像素子でも、上記の（式８）を適用することができる。
【００８４】
また、１つのマイクロレンズに対して、４つを超える数のＰＤを有する画素の構造の撮像素子の場合でも、上記方法に倣って補間することができる。
【００８５】
ここまで説明をした、欠陥のある光電変換部と同一画素内にある第２の光電変換領域から読み出された信号レベルを用いて欠陥のある光電変換部を含む第１の光電変換領域の補間を行う方法を、第１の補間と呼ぶ。
【００８６】
この第１の補間は、第２の光電変換領域から正しい信号を得られない場合は、使うことができない。このような場合には、第１の補間の代わりに、第２の補間を使うことが必要となる。
【００８７】
第２の補間は、第２の補間は、背景技術で説明した技術と同様の補間である。
【００８８】
ステップＳ８０８では、画像処理部１０８は、欠陥のある光電変換部を含む画素と同じカラーフィルタに対応する複数の周辺画素に含まれ、かつ、マイクロレンズに対して欠陥のある光電変換部の信号と同じ位置に存在する光電変換部を選択する。
【００８９】
たとえば、図６に示した撮像素子を用いるときは、ＰＤ６０１の信号値は、下記の（式９）により求めることができる。（式９）では、欠陥のあるＰＤ６０１の補間の値は、欠陥画素６００と同色の４つの周辺画素６５０乃至６８０周辺画素において、ＰＤ６０１と同じく、左側にあるＰＤ６５１乃至ＰＤ６８１の信号値の平均により求められることを示している。
【００９０】
【数９】
2018019355.tif 000011
【００９１】
なお、ＰＤ６５１乃至ＰＤ６８１の信号値の単純平均の代わりに、加重平均を用いてもよい。
【００９２】
図８は、上記の補間方法を用いるときのフローチャートの一例である。
【００９３】
ステップＳ８０１で、ＣＰＵ１０３は、ＲＯＭ１０７に格納されている欠陥のある光電変換部の情報を読み出す。ステップＳ８０２で、ＣＰＵ１０３が、ステップＳ８０１で読み出した欠陥のある光電変換部の情報と照らし合わせ、処理中の画素が欠陥のある光電変換部を含むかどうかを判断する。処理中の画素が欠陥のある光電変換部を含む画素でなければ、ステップＳ８１０へ移行する。処理中の画素が欠陥のある光電変換部を含む画素であれば、ステップＳ８０３へ移行する。
【００９４】
ステップＳ８０３で、ＣＰＵ１０３が、さらに同一の画素内に、欠陥のある光電変換部の信号を補間するために必要な正常な光電変換領域が存在するかどうかについて判断する。補間するために必要な正常な光電変換領域が存在していれば、ステップＳ８０４へ移行し、ＣＰＵ１０３が、第１の補間を用いて補間することを決定する。反対に、補間するために必要な正常な光電変換領域が無ければ、ステップＳ８０７へ移行し、ＣＰＵ１０３が、第２の補間を用いて補間することを決定する。
【００９５】
ステップＳ８０４で、画像処理部１０８は、補間に用いる光電変換領域を含む周辺画素を決める。その一例としては、前述したように、最も近い画素を周辺画素としても良いし、最も近い同色の画素を周辺画素としても良い。ステップＳ８０６で、画像処理部１０８は、補間の決算に用いる加重係数を決める。加重係数を決めるには、前述した方法を用いる。
【００９６】
ここでステップＳ８０７に戻り、続くステップＳ８０８では、画像処理部１０８は、欠陥のある光電変換領域を含む画素と同じカラーフィルタに対応する複数の周辺画素を選択する。
【００９７】
ステップＳ８０９で、画像処理部１０８は、選択された画素に含まれる光電変換領域の信号を用いて補間の計算を行う。ステップＳ８１０で、ＣＰＵ１０３は、すべての画素の処理が終了しているかどうかを判断する。すべての画素の処理が終了していなければ、ステップＳ８０２に戻る。
【００９８】
本実施形態によれば、１つのマイクロレンズに対して、複数の光電変換部を有する画素を複数備えた撮像素子で、一部の光電変換部に欠陥がある画素に対して補間をする場合、補間に用いる周囲画像を決める自由度をより高く提供することができる。
【００９９】
（その他の実施形態）
以上の実施形態は、撮像装置での実施をもとに説明したが、撮像装置に限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよい。
【０１００】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０１】
１００  撮像素子
１０１  ＡＦＥ
１０２  ＴＧ
１０３  ＣＰＵ
１０４  操作部
１０５  表示部
１０６  ＲＡＭ
１０７  ＲＯＭ
１０８  画像処理部
１０９  ＡＦ演算部
１１０  フラッシュメモリ
１１１  フォーカルプレーンシャッタ
１１２  フォーカス駆動回路
１１３  絞り駆動回路
１１４  フォーカスアクチュエータ
１１５  絞りアクチュエータ
１１６  第１レンズ
１１７  絞り
１１８  第２レンズ
１１９  第３レンズ
１２０  相関演算部
【図１】
2018019355.tif 000012
【図２】
2018019355.tif 000013
【図３】
2018019355.tif 000014
【図４】
2018019355.tif 000015
【図５】
2018019355.tif 000016
【図６】
2018019355.tif 000017
【図７】
2018019355.tif 000018
【図８】
2018019355.tif 000019