(57)【要約】【課題】撮像素子により取得される画像に含まれる欠陥画素の情報量を低減させる。【解決手段】撮像装置１０は、マイクロレンズ１００ｆに対してＰＤ１００ｂ，１００ｃが設けられて撮影光学系を瞳分割する画素１００ｍを有する撮像素子１００と、画素１００ｍごとにＰＤ１００ｂ，１００ｃの信号を加算して読み出されるＡＢ像のＡＢ像欠陥情報２０４及びＰＤ１００ｂの信号を読み出したＡ像の欠陥情報のうちＡＢ像欠陥情報２０４と重複した情報を除いたＡ像欠陥情報２０５を保持するＲＯＭ１０７と、ＡＢ像欠陥情報２０４とＡ像欠陥情報２０５に基づいてＡ像に含まれる欠陥画素の位置を指定し、指定された欠陥画素を補正することによりＡ像を補正する欠陥補正部１２０を備える。【選択図】図４
2018101896.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズに対して複数の光電変換部が設けられて撮影光学系を瞳分割する複数の画素を有する撮像素子と、
前記複数の画素ごとに前記複数の光電変換部の信号のすべてを加算して生成される第１の画像データの欠陥情報を示す第１の欠陥情報と、前記複数の画素ごとに前記複数の光電変換部のうちの１つの信号により又は一部の信号を加算することにより生成される第２の画像データの欠陥情報のうち前記第１の欠陥情報と重複した情報を除いた第２の欠陥情報とを保持する保持手段と、
前記第１の欠陥情報と前記第２の欠陥情報に基づいて前記第２の画像データに含まれる欠陥画素の位置を指定する指定手段と、
前記指定手段に指定された欠陥画素を補正することにより前記第２の画像データを補正する補正手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記指定手段は、前記第１の欠陥情報に基づいて前記第１の画像データに含まれる欠陥画素の位置を指定し、
前記補正手段は、前記指定手段に指定された欠陥画素を補正することにより前記第１の画像データを補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記保持手段から前記指定手段への前記第１の欠陥情報の入力と前記第２の欠陥情報の入力を切り替える切り替え手段を更に有することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記指定手段は、前記第１の欠陥情報に基づいて前記第１の画像データと前記第２の画像データのそれぞれに含まれる欠陥画素の位置を指定する手段と、前記第２の欠陥情報に基づいて前記第２の画像データに含まれる欠陥画素の位置を指定する手段とを別々に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の画素のそれぞれで前記複数の光電変換部はフォトダイオードを素子分離領域で分割することにより形成されており、
前記第１の欠陥情報は、前記フォトダイオードに異常があり又は前記光電変換部から信号を読み出すための転送ゲートに異常のある画素の情報であり、
前記第２の欠陥情報は、前記素子分離領域に異常のある画素の情報であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第２の欠陥情報では、前記第２の画像データを生成するための前記光電変換部の信号の読み出し方法ごとに欠陥画素が特定されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記保持手段は、第１の欠陥情報と前記第２の欠陥情報のそれぞれを欠陥画素の種類ごとにグレードを設けてコードを付加してまとめて保持し、
前記指定手段は、前記撮像素子から読み出された画像が前記複数の光電変換部のうちどの光電変換部から前記画素ごとに信号が読み出されたかに応じてどのグレードを指定するかを決定し、決定したグレードに対応するコードが付された画素の情報を前記保持手段から読み出して、前記読み出された画像に含まれる欠陥画素の位置を指定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
１つのマイクロレンズに対して複数の光電変換部が設けられて撮影光学系を瞳分割する画素を有する撮像素子と、
瞳分割された複数の画像を前記撮像素子から読み出す読み出し手段と、
前記瞳分割された複数の画像がそれぞれ有する欠陥画素の欠陥情報を前記複数の画像ごとに保持する保持手段と、
記憶用の画像に含まれる欠陥画素の情報を前記瞳分割された複数の画像ごとに保持された前記欠陥情報に基づいて生成する方法を、前記複数の光電変換部からの信号の読み出し方法に応じて切り替えることにより、又は、前記欠陥情報が示す欠陥画素の欠陥種別に応じて切り替えることにより、前記記憶用の画像に含まれる欠陥画素の情報を生成する生成手段と、を備えることを特徴とする撮像装置。
【請求項９】
前記記憶用の画像は、前記画素ごとに前記複数の光電変換部の信号のすべてを加算して読み出すことにより生成され又は前記画素ごとに前記複数の光電変換部のうちの１つの信号により生成されもしくは一部の信号を加算することにより生成される複数の画像を加算することにより生成されることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記生成手段は、前記欠陥情報に含まれる欠陥種別が白傷、ＦＤリーク傷あるいはＲＴＳ傷の場合に、それぞれの欠陥レベルを加算することにより前記記憶用の画像に含まれる欠陥画素の情報を生成することを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記生成手段は、前記欠陥情報に含まれる欠陥種別が感度傷である場合に、その欠陥レベルを平均化し又はその像高に応じて欠陥レベルを加重加算平均することにより前記記憶用の画像に含まれる欠陥画素の情報を生成することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
１つのマイクロレンズに対して複数の光電変換部が設けられて撮影光学系を瞳分割する画素を有する撮像素子を備える撮像装置の制御方法であって、
前記撮像素子から前記画素ごとに前記複数の光電変換部の信号のすべてを加算して読み出すことにより第１の画像データを生成するステップと、
前記撮像素子から前記画素ごとに前記複数の光電変換部のうちの１つの信号又は一部の信号を加算して読み出すことにより第２の画像データを生成するステップと、
前記第１の画像データの欠陥情報を示す第１の欠陥情報と前記第２の画像データの欠陥情報のうち前記第１の欠陥情報と重複した情報を除いた第２の欠陥情報とに基づいて、前記第２の画像データに含まれる欠陥画素の位置を指定するステップと、
前記指定された欠陥画素を補正することにより前記第２の画像データを補正するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１３】
１つのマイクロレンズに対して複数の光電変換部が設けられて撮影光学系を瞳分割する画素を有する撮像素子を備える撮像装置の制御方法であって、
前記撮像素子から瞳分割された複数の画像を読み出すステップと、
前記瞳分割された複数の画像のそれぞれに含まれる欠陥画素の欠陥情報に基づいて、記憶用の画像に含まれる欠陥画素の情報を生成するステップと、
前記生成された情報を用いて前記記憶用の画像に含まれる欠陥画素を補正するステップと、を有し、
前記記憶用の画像に含まれる欠陥画素の情報を生成する方法が、前記複数の光電変換部からの信号の読み出し方法に応じて又は前記瞳分割された複数の画像ごとの前記欠陥情報が示す欠陥画素の欠陥種別に応じて切り替えられることを特徴とする撮像装置の制御方法。
【請求項１４】
請求項１２又は１３に記載の撮像装置の制御方法における各ステップの処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置とその制御方法及びプログラムに関し、特に、撮影光学系を瞳分割する画素を有する撮像素子を備える撮像装置により撮像される画像の欠陥を補正する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に用いられるＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子は、光電変換部を含む複数の画素が２次元的に配列された構造を有している。画素配列を構成する複数の画素の中には、撮像素子の受光面全体に均一なレベルの入射光が照射された場合に特異なレベルの電気信号しか出力しない欠陥画素が含まれることが多い。欠陥画素から出力された信号をそのまま用いて画像を形成してしまうと、画質劣化が生じる。そこで、例えば、特許文献１には、工場出荷時に撮像素子の欠陥画素のアドレス等の情報（以下「欠陥情報」という）を不揮発性メモリに格納し、実際の撮影時には欠陥情報を参照して欠陥画素を補正する技術が提案されている。
【０００３】
ところで、１つのマイクロレンズに複数のフォトダイオードが配置されて撮影光学系の射出瞳を瞳分割する画素を有する撮像素子が知られており、このような撮像素子を用いたオートフォーカス（ＡＦ）方式として、撮像面位相差ＡＦ方式が知られている。撮像面位相差ＡＦ方式では、撮像素子に設けられた測距用の分割画素の出力位相差からデフォーカス量を求めてピント位置を求めることができるため、焦点検出を短時間で行うことができる。しかし、測距用の分割画素に異常出力のある欠陥画素が含まれている場合には測距性能が低下してしまうため、上述した画像形成の際に欠陥画素を補正する必要があるのと同様に、欠陥補正が必要となる。そこで、例えば、特許文献２には、撮像用画素の欠陥情報と測距用画素の欠陥情報とを不揮発性メモリに格納し、撮影時に各欠陥情報を分離して取り出して欠陥を補正する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−８２６３４号公報
【特許文献２】特開２０１５−８０１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載された技術では、撮像素子の全画素を対象として欠陥画素を抽出している。この場合、１つのマイクロレンズに対して複数のフォトダイオードが配置されて撮影光学系を瞳分割する画素を有する撮像素子では、欠陥画素を検出する対象がフォトダイオードの数だけ必要になる。その結果、欠陥画素の情報量が多くなり、欠陥画素の情報を格納するための不揮発性メモリ等の記憶手段に大きな記憶容量が必要になるという問題がある。
【０００６】
また、測距用画素を撮像用画素と兼用している撮像素子が知られており、この場合には測距用画像と撮像用画像の双方を補正する必要がある。その際に特許文献２に記載されている技術を適用した場合、測距用画素の欠陥データを分離した後、測距用画素をその周辺の撮像用画素の情報を用いて補間するため、欠陥画素の影響を排除して測距演算を行うことはできないという問題がある。
【０００７】
本発明は、撮影光学系を瞳分割する画素を有する撮像素子の欠陥画素の情報量を低減させることを可能にする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、１つのマイクロレンズに対して複数の光電変換部が設けられて撮影光学系を瞳分割する複数の画素を有する撮像素子と、前記複数の画素ごとに前記複数の光電変換部の信号のすべてを加算して生成される第１の画像データの欠陥情報を示す第１の欠陥情報と、前記複数の画素ごとに前記複数の光電変換部のうちの１つの信号により又は一部の信号を加算することにより生成される第２の画像データの欠陥情報のうち前記第１の欠陥情報と重複した情報を除いた第２の欠陥情報とを保持する保持手段と、前記第１の欠陥情報と前記第２の欠陥情報に基づいて前記第２の画像データに含まれる欠陥画素の位置を指定する指定手段と、前記指定手段に指定された欠陥画素を補正することにより前記第２の画像データを補正する補正手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影光学系を瞳分割する画素を有する撮像素子の欠陥画素の情報量を低減させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の概略構成を示す図である。
【図２】撮像装置が備える撮像素子の構成の一例を説明する図である。
【図３】図２の撮像素子の１画素分のフォトダイオードの構造を示す図である。
【図４】図２の撮像素子を有する撮像装置が備える欠陥補正部の構成を示すブロック図である。
【図５】図２の撮像素子を有する撮像装置での動画撮影動作のフローチャートである。
【図６】撮像装置が備える撮像素子の構成の別の例を説明する図である。
【図７】図６の撮像素子の１画素分のフォトダイオードの構造を示す図である。
【図８】図６の撮像素子を有する撮像装置が備える欠陥補正部の構成を示すブロック図である。
【図９】図６の撮像素子を有する撮像装置での静止画撮影動作のフローチャートである。
【図１０】撮像素子から出力される信号の処理経路図である。
【図１１】Ａ像欠陥情報とＢ像欠陥情報の統合方法を説明する図である。
【図１２】測距用の画像を補正するための簡易欠陥補正方法を説明する図である。
【図１３】記憶用の画像を補正するための高精度欠陥補正の方法を説明する図である。
【図１４】欠陥情報の構成の一例を説明する図である。
【図１５】撮像素子からの信号読み出しの一例を説明する図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１０の概略構成を示す図である。なお、本実施形態では、撮像装置１０の一例として動画像を取得するためのデジタルビデオカメラを取り上げるが、本発明はこれに限られず、静止画も取得可能なデジタルカメラ、監視カメラ、携帯電話、車載（移動体）カメラ等にも適用が可能である。撮像装置１０は、撮像素子１００、アナログフロントエンド１０１（以下「ＡＦＥ１０１」と記す）、タイミングジェネレータ１０２（以下「ＴＧ１０２」と記す）、ＣＰＵ１０３、操作部１０４、表示部１０５、ＲＡＭ１０６及びＲＯＭ１０７を備える。また、撮像装置１０は、画像処理部１０８、ＡＦ演算部１０９、フラッシュメモリ１１０、フォーカルプレーンシャッタ１１１、フォーカス駆動回路１１２、絞り駆動回路１１３、フォーカスアクチュエータ１１４及び絞りアクチュエータ１１５を備える。更に撮像装置１０は、第１レンズ群１１６、絞り１１７、第２レンズ群１１８、第３レンズ群１１９及び欠陥補正部１２０を備える。
【００１２】
撮像素子１００は、ＣＰＵ１０３等によって制御され、撮影光学系で形成された被写体の光学像を光電変換することによりアナログ電気信号を生成する。ＡＦＥ１０１は、撮像素子１００から出力されたアナログ電気信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行い、これによりデジタル信号からなる静止画又は動画の画像データが生成される。ＴＧ１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１とＴＧ１０２を配置しているが、これらは撮像素子１００に内蔵される構成となっていてもよい。
【００１３】
ＲＡＭ１０６は、ＡＦＥ１０１から出力される画像データや画像処理部１０８で処理された画像データを一時的に記憶する画像データ記憶手段としての機能と、ＣＰＵ１０３がプログラムを実行する等の動作を行う際のワークメモリとしての機能とを有する。なお、ＲＡＭ１０６の機能は、アクセス速度が十分に速く、動作上の問題が生じないメモリであれば、他のメモリを用いても構わない。ＲＯＭ１０７は、ＣＰＵ１０３が撮像装置１０を構成する各部の動作を制御するために実行するプログラムを格納する。また、ＲＯＭ１０７は、撮像素子１００に含まれる欠陥画素のアドレス等に関する情報（欠陥情報）を格納している。ここで、欠陥情報には、欠陥画素のアドレスに加えて、少なくとも欠陥の度合いに対応する欠陥レベルや欠陥原因に相当する欠陥種別が含まれる。なお、ＲＯＭ１０７としては、例えば、フラッシュＲＯＭが用いられるが、アクセス速度が十分に速く、動作上の問題が生じないメモリであれば、他のメモリを用いても構わない。ＣＰＵ１０３は、ＲＯＭ１０７に格納された所定のプログラムをＲＡＭ１０６のワークエリアに展開して撮像装置１０を構成する各部の動作を制御することにより、撮像装置１０の統括的な制御を実現する。画像処理部１０８は、ＡＦＥ１０１から出力される画像データに対して補正や圧縮等の所定の画像処理を行うことにより、各種の画像データを生成する。
【００１４】
ＡＦ演算部１０９は、画像処理部１０８により生成された焦点検出用データであるＡ像データ及びＢ像データを用いて、撮像面位相差ＡＦ方式による焦点検出を行う。なお、Ａ像データ及びＢ像データの詳細については後述する。フラッシュメモリ１１０は、撮像装置１０の本体に対して着脱自在であり、画像処理部１０８により生成された静止画像データ及び動画像データを記憶する。なお、フラッシュメモリ１１０に代えて、データの書き込み／読み出しが可能な不揮発性メモリやハードディスク等の記憶媒体を用いても構わず、また、このような記憶媒体は撮像装置１０の本体に内蔵されていてもよい。操作部１０４は、ユーザによる操作に応じて撮影の実行や撮影条件等の設定等をＣＰＵ１０３に対して指示する。表示部１０５は、例えば、液晶パネル等であり、スルー画像（被写体像）の表示、撮影された静止画像や動画像の再生表示、メニュー等の表示等を行う。
【００１５】
第１レンズ群１１６は、撮影光学系の先端に配置されており、光軸方向に進退可能に保持されている。絞り１１７の開口径が調節されることにより撮影時の光量が調節される。第２レンズ群１１８は、絞り１１７と一体となって光軸方向に進退し、第１レンズ群１１６の進退動作との連動により変倍作用（ズーム機能）を実現する。第３レンズ群１１９は、所謂フォーカスレンズであり、光軸方向の進退により撮影光学系の焦点を調節する。フォーカルプレーンシャッタ１１１は、静止画撮影時に露光秒時を調節する。なお、フォーカルプレーンシャッタ１１１で撮像素子１００での露光秒時を調節する構成に代えて、撮像素子１００に電子シャッタ機能を持たせ、制御パルスで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１２は、ＡＦ演算部１０９での焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動させることで撮影光学系の焦点位置を調節する。絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して、絞り１１７の開口を制御する。欠陥補正部１２０は、撮像素子１００に含まれる欠陥画素の画素値を補正する。なお、上述した撮像装置１０の全体的な構成は、以下の各実施形態において共通している。
【００１６】
次に、本発明の第１実施形態について説明する。図２（ａ）は、撮像素子１００の構成の一例を説明する図である。撮像素子１００は、画素が二次元に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直選択回路１３２と、画素アレイ１００ａの画素の列を選択する水平選択回路１３１とを有する。また、撮像素子１００は、画素アレイ１００ａの画素のうち、垂直選択回路１３２及び水平選択回路１３１によって選択される画素の信号を読み出すための読み出し回路１３０を備える。
【００１７】
垂直選択回路１３２は、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づいてＴＧ１０２から出力される読み出しパルスを選択行において有効にする。読み出し回路１３０は、列ごとに設けられ、アンプやメモリを有し、選択行の画素信号をアンプを介してメモリに記憶する。メモリに記憶された１行分の画素信号は、水平選択回路１３１によって列方向に順に選択され、アンプ１３３を介して外部に出力される。このような動作が行数分だけ繰り返されることで、画素アレイ１００ａのすべての画素の信号が外部（ＡＦＥ１０１）に出力される。
【００１８】
図２（ｂ）は、画素アレイ１００ａの構成を示す平面図である。以下の説明において、「ＰＤ」は、光電変換手段であるフォトダイオードを表すものとする。画素アレイ１００ａは、マイクロレンズ１００ｆが平面上を水平方向にｈ個、垂直方向にｖ個配置されてなるマイクロレンズアレイを有する。１つの画素は、ＰＤ１００ｂ及びＰＤ１００ｃに対して１つのマイクロレンズ１００ｆが設けられた構造を有する。ＰＤ１００ｂ及びＰＤ１００ｃは、図３を参照して後述するように、１つのＰＤが素子分離領域によって分離されることによって形成された光電変換部である。よって、画素アレイ１００ａは、マイクロレンズ１００ｆを共有している撮像領域を１画素として、水平方向にｈ画素、垂直方向にｖ画素が並べられた構造を有する。なお、本実施形態の撮像領域の一例として、ｈ画素は８１９２画素であり、ｖ画素は４３２０画素である。
【００１９】
撮像素子１００は、１つのマイクロレンズ１００ｆに対して複数の光電変換部（ここではＰＤ１００ｂとＰＤ１００ｃの２つ）が設けられることで撮影光学系を瞳分割する画素で構成される。ＰＤ１００ｂとＰＤ１００ｃのそれぞれに、瞳分割構成により位相差を持った光学像が入射する。本実施形態では、ＰＤ１００ｂが光電変換を行うことにより生成する像をＡ像とし、ＰＤ１００ｃが光電変換を行うことにより生成する像をＢ像とする。図２（ｃ）は、撮像素子１００からの画素信号の読み出し態様を説明する図である。撮像素子１００からは、ＰＤ１００ｂのみの信号であるＡ像（第２の画像データ）と、ＰＤ１００ｂとＰＤ１００ｃの信号を加算した信号であるＡＢ像（第１の画像データ）が読み出される。本実施形態では、Ｂ像の信号は、画像処理部１０８がＡＢ像の信号からＡ像の信号を減算することによって求めることとする。但し、Ａ像又はＡＢ像に代えて、Ｂ像を読み出すようにしてもよい。ＡＦ演算部１０９は、Ａ像とＢ像の位相差を利用して、撮像面位相差ＡＦ方式によりフォーカス量を求める。なお、撮像面位相差ＡＦ方式でのデフォーカス量の算出方法については、周知の技術を用いることができるため、説明を省略する。
【００２０】
続いて、撮像素子１００での画素欠陥の原因について説明する。図３は、１画素分のＰＤ１００ｍの構成を示す図である。ＰＤ１００ｍは、ＰＤ１００ｂ、ＰＤ１００ｃ、ＰＤ１００ｂとＰＤ１００ｃを分離する素子分離領域１００ｉ、転送ゲート１４１及び転送ゲート１４２を有する。転送ゲート１４１は、ＰＤ１００ｂからの電荷（信号）の読み出しの際のオン／オフを制御して、ＰＤ１００ｂの電荷を読み出し回路１３０へ転送する。同様に、転送ゲート１４２は、ＰＤ１００ｃからの電荷の読み出しの際のオン／オフを制御して、ＰＤ１００ｃの電荷を読み出し回路１３０へ転送する。
【００２１】
画素欠陥には主に２種類のものがあり、第１の欠陥はＰＤ１００ｍへの不純物の混入や転送ゲート１４１，１４２の異常を原因とするものであり、第２の欠陥は素子分離領域１００ｉの異常を原因とするものである。但し、欠陥原因はこのような分類に限定されるものではない。第１の欠陥を有する画素は、読み出したＡ像とＡＢ像の双方で欠陥となる。一方、第２の欠陥を有する画素は、読み出したＡ像では隣接するフォトダイオードの電荷混入により欠陥となるが、ＡＢ像では電荷の異常にはならないために欠陥にはならない。
【００２２】
次に、欠陥補正部１２０について説明する。図４は、画素アレイ１００ａを有する撮像素子１００を有する撮像装置１０に設けられる欠陥補正部１２０の構成を示すブロック図である。欠陥補正部１２０は、第１の欠陥指定回路２０１、第２の欠陥指定回路２０２及び欠陥補正回路２０３を有する。第１の欠陥指定回路２０１には、ＲＯＭ１０７（またはＲＡＭ１０６）に格納されている第１の欠陥情報であるＡＢ像欠陥情報２０４が入力される。ＡＢ像欠陥情報２０４は、撮像素子１００の検査工程においてＡＢ像を評価して抽出された欠陥画素であって、上述した第１の欠陥を有する画素のアドレスを含む。第１の欠陥指定回路２０１は、ＡＢ像データ中の画素であってＡＢ像欠陥情報２０４が有するアドレスに該当する画素に、欠陥であることを示すフラグ（欠陥フラグ（傷マーク））を付加する。
【００２３】
第２の欠陥指定回路２０２には、ＲＯＭ１０７に格納されている第２の欠陥情報であるＡ像欠陥情報２０５が入力される。Ａ像欠陥情報２０５は、撮像素子１００の検査工程にてＡ像を評価して抽出された欠陥画素のうち、ＡＢ像欠陥情報２０４に含まれるアドレスを除いたＡ像特有の欠陥画素であって、上述した第２の欠陥を有する画素のアドレスを含む。第２の欠陥指定回路２０２は、Ａ像データ中の画素であってＡ像欠陥情報２０５が有するアドレスに該当する画素に欠陥フラグを付加する。欠陥補正回路２０３は、入力された画素に欠陥フラグが付加されていた場合に、その周辺の同じカラーフィルタが配置される画素値を用いて画素値を補間することで欠陥補正を行う。
【００２４】
次に、撮像装置１０での撮影動作について説明する。図５は、撮像装置１０での動画撮影動作のフローチャートである。図５のフローチャートの各処理は、ＣＰＵ１０３がＲＯＭ１０７に格納されたプログラムをＲＡＭ１０６に展開して撮像装置１０を構成する各部の動作を制御することによって実現される。ユーザによって操作部１０４が操作されて動画撮影が開始されると、ステップＳ１０１においてＣＰＵ１０３は、撮像素子１００からＡ像とＡＢ像を読み出す。読み出されたＡ像とＡＢ像はＡＦＥ１０１においてデジタルデータであるＡ像データとＡＢ像データに変換されてＲＡＭ１０６に記憶される。
【００２５】
ステップＳ１０２においてＣＰＵ１０３は、ＲＡＭ１０６から欠陥補正部１２０にＡＢ像データを転送し、ＡＢ像欠陥情報２０４を第１の欠陥指定回路２０１へ転送する。第１の欠陥指定回路２０１は、ＡＢ像欠陥情報２０４に従ってＡＢ像データに対して欠陥フラグを付加する。なお、ＡＢ像データは、第１の欠陥指定回路２０１から第２の欠陥指定回路２０２に入力されるが、第２の欠陥指定回路２０２ではＡＢ像データに対する処理は行われず、後段の欠陥補正回路２０３に入力される。欠陥補正回路２０３は、ＡＢ像データにおいて欠陥フラグが付加された画素の欠陥補正を行い、欠陥補正後のＡＢ像データをＲＡＭ１０６に記憶する。ＲＡＭ１０６に記憶されたＡＢ像データは、画像処理部１０８で圧縮等の処理が施された後、フラッシュメモリ１１０に記憶される。
【００２６】
ステップＳ１０３においてＣＰＵ１０３は、ＲＡＭ１０６から欠陥補正部１２０にＡ像を転送すると共に、ＡＢ像欠陥情報２０４を第１の欠陥指定回路２０１へ転送し、また、Ａ像欠陥情報２０５を第２の欠陥指定回路２０２へ転送する。第１の欠陥指定回路２０１は、ＡＢ像欠陥情報２０４に従ってＡ像データに対して欠陥フラグを付加する。その後、Ａ像データは第２の欠陥指定回路２０２へ送られ、第２の欠陥指定回路２０２はＡ像欠陥情報２０５に従ってＡ像データに対して欠陥フラグを付加する。その後、Ａ像データは欠陥補正回路２０３に入力される。欠陥補正回路２０３は、Ａ像データにおいて欠陥フラグが付加された画素の欠陥補正を行った後、欠陥補正後のＡ像データをＲＡＭ１０６に記憶する。
【００２７】
ステップＳ１０４においてＣＰＵ１０３は、ＲＡＭ１０６に記憶された欠陥補正後のＡＢ像データとＡ像データを画像処理部１０８へ転送する。画像処理部１０８は、ＡＢ像からＡ像を減算してＢ像を生成する。Ａ像データとＢ像データは、焦点検出用データとしてＡＦ演算部１０９へ転送される。ＡＦ演算部１０９は、Ａ像とＢ像の相関演算を行い、演算結果に基づいてピントのずれ量（デフォーカス量）を算出する。ＣＰＵ１０３は、算出されたデフォーカス量に基づいてフォーカス駆動距離を算出し、フォーカス駆動回路１１２へ転送する。フォーカス駆動回路１１２は、取得したフォーカス駆動距離に従ってフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節（ピント合わせ）を行う。
【００２８】
ステップＳ１０５においてＣＰＵ１０３は、ユーザが操作部１０４を操作して動画撮影終了を命令したか否かを判定する。ＣＰＵ１０３は、動画撮影終了が命令されたと判定した場合（Ｓ１０５でＹＥＳ）、動画撮影を終了し、動画撮影終了が命令されていないと判定された場合（Ｓ１０５でＮＯ）、処理をステップＳ１０１へ戻す。
【００２９】
上記の通り本実施形態では、１つのマイクロレンズ内に複数のＰＤを持つ画素で構成される撮像素子について、ＰＤの異常や転送ゲートの異常を原因とする欠陥画素と素子分離領域の異常を原因とする欠陥画素の情報を欠陥種別ごとに別々に保持する。これにより、ＰＤの異常や転送ゲートの異常を原因とする欠陥画素について重複してアドレス情報を持つことはなくなり、よって、準備する欠陥画素の情報量を低減することができ、ひいてはＲＯＭ１０７の容量を低減させることができる。また、出力する画像であるＡＢ像に発生する欠陥を、まず第１の欠陥指定回路２０１のみ指定することで、指定することに伴う処理負荷も低減することが可能となる。
【００３０】
次に、本発明の第２実施形態について、第１実施形態との相違点を中心に説明する。第２実施形態では、撮像装置１０が備える撮像素子１００は、第１実施形態で説明した画素アレイ１００ａに代えて、図６（ａ）に示すように、画素構造の異なる画素アレイ３００を備えた構造を有する。
【００３１】
図６（ａ）は、画素アレイ３００の構成を説明する平面図である。画素アレイ３００は、マイクロレンズ３００ｆが平面上を水平方向にｈ個、垂直方向にｖ個配置されてなるマイクロレンズアレイを有する。１つの画素は、４つのＰＤ３００ａ，３００ｂ，３００ｃ，３００ｄに対して１つのマイクロレンズ３００ｆが設けられた構造を有する。ＰＤ３００ａ〜３００ｄは、後述するように、１つのＰＤが素子分離領域によって分離されることによって構成されている。こうして、画素アレイ３００は、マイクロレンズ３００ｆを共有している撮像領域を１画素として、水平方向にｈ画素、垂直方向にｖ画素が並べられた構造を有する。
【００３２】
ＰＤ３００ａ〜３００ｄのそれぞれに、瞳分割構成により位相差を持った光学像が入射する。本実施形態では、ＰＤ３００ａはＡ像を生成する光電変換部であるとし、同様に、ＰＤ３００ｂ，３００ｃ，３００ｄはそれぞれＢ像，Ｃ像，Ｄ像を生成する光電変換部であるとする。ＰＤ３００ａ〜３００ｄのそれぞれで蓄積された信号（電荷）は、第１実施形態で説明した画素アレイ１００ａからの信号読み出し動作と同様の動作により、所定の組み合わせで外部に出力される。図６（ｂ）は、画素アレイ３００を備える撮像素子からの画素信号の読み出し態様を説明する図である。本実施形態では、４つのＰＤ３００ａ〜３００ｄのうちの１つ信号を読み出す一例として、ＰＤ３００ａの信号からなるＡ像と、ＰＤ３００ｂの信号からなるＢ像とが読み出される。また、４つのＰＤ３００ａ〜３００ｄの一部の信号を加算して読み出す一例として、ＰＤ３００ａとＰＤ３００ｃの各信号を加算したＡＣ像と、ＰＤ３００ｂとＰＤ３００ｄの各信号を加算したＢＤ像が読み出される。
【００３３】
図７は、画素アレイ３００の１画素分のＰＤ３００ｍの構成を示す図である。ＰＤ３００ｍでは、ＰＤ３００ａ，３００ｂ間は素子分離領域３０９により、ＰＤ３００ａ，３００ｃ間は素子分離領域３１０によりそれぞれ分離されている。また、ＰＤ３００ｂ，３００ｄ間は素子分離領域３１１により、ＰＤ３００ｃ，３００ｄ間は素子分離領域３１２によりそれぞれ分離されている。ＰＤ３００ａ，３００ｂ，３００ｃ，３００ｄにはそれぞれ転送ゲート３０５ａ，３０５ｂ，３０５ｃ，３０５ｄが設けられている。転送ゲート３０５ａ〜３０５ｄのオン／オフが制御されることにより、ＰＤ３００ａ〜３００ｄから読み出し回路１３０への信号の読み出しが制御される。
【００３４】
画素アレイ３００を構成するＰＤ３００ｍに発生する欠陥の種類は４つあり、第１の欠陥は、ＰＤ３００ｍに不純物が混入した場合や転送ゲート３０５ａ〜３０５ｄに異常がある場合に発生する。第２の欠陥は、素子分離領域３０９又は素子分離領域３１２に異常がある場合に発生する。第３の欠陥は、素子分離領域３１０に異常がある場合に発生する。第４の欠陥は、素子分離領域３１１に異常がある場合に発生する。なお、本実施形態では、欠陥の原因をこれら４種類に分類したが、欠陥の原因の分類方法はこれに限られない。
【００３５】
第１の欠陥を有する画素は、読み出したＡＣ像とＢＤ像が両方が欠陥となり、よって、ＡＣ像とＢＤ像を加算したＡＢＣＤ像も欠陥となる。第２の欠陥を有する画素は、読み出したＡＣ像とＢＤ像は隣接するＰＤからの電荷混入によって欠陥となるが、ＡＣ像とＢＤ像を加算したＡＢＣＤ像では欠陥とならない。第３の欠陥を有する画素は、読み出したＡＣ像は異常にならないが、後述する処理により生成されるＡ像又はＣ像では欠陥となる。第４の欠陥を有する画素は、読み出したＢＤ像は異常にならず、後述する処理により生成されるＢ像又はＤ像では欠陥となる。
【００３６】
撮像装置１０において画素アレイ３００を有する撮像素子１００が用いられている場合の欠陥補正部１２０の構成について説明する。図８は、画素アレイ３００を有する撮像素子１００を有する撮像装置１０に設けられる欠陥補正部１２０の構成を示すブロック図である。欠陥補正部１２０は、第１の欠陥指定回路４０１、第２の欠陥指定回路４０２、第３の欠陥指定回路４０３及び欠陥補正回路４０４を有する。第１の欠陥指定回路４０１へは、ＲＯＭ１０７に格納されているＡＢＣＤ像欠陥情報４１１が入力され、第２の欠陥指定回路４０２へは、ＲＯＭ１０７に格納されているＡＣ像欠陥情報４０６が入力される。第３の欠陥指定回路４０３へは、ＲＯＭ１０７に格納されているＡ像欠陥情報４０７又はＢ像欠陥情報４０８が入力される。第１の欠陥指定回路４０１、第２の欠陥指定回路４０２及び第３の欠陥指定回路４０３はそれぞれ、入力された画像データ中の画素であって入力された欠陥情報が有するアドレスの画素に該当する画素に欠陥フラグを付加する。欠陥補正回路４０４は、入力された画像データ中の欠陥フラグが付加された画素に対して、その周辺の同じカラーフィルタが配置される画素値を用いて画素値を補間する欠陥補正を行う。
【００３７】
ＡＢＣＤ像欠陥情報４０５は、撮像素子１００の検査工程においてＡＣ像とＢＤ像を加算して生成したＡＢＣＤ像を評価して抽出された欠陥画素であって、上述した第１の欠陥を有する画素のアドレスを含む。ＡＣ像欠陥情報４０６は、撮像素子１００の検査工程においてＡＣ像を評価して抽出された欠陥画素のアドレスからＡＢＣＤ像欠陥情報４０５に含まれるアドレスを削除した、ＡＣ像特有の欠陥画素のアドレスを含む。つまり、ＡＣ像欠陥情報４０６は、上述した第２の欠陥を有する画素のアドレスを示す。Ａ像欠陥情報４０７は、撮像素子１００の検査工程においてＡ像を評価して抽出された欠陥画素のアドレスからＡＢＣＤ像欠陥情報４０５とＡＣ像欠陥情報４０６に含まれるアドレスを削除した、Ａ像特有の欠陥画素のアドレスを含む。つまり、Ａ像欠陥情報４０７は、上述した第３の欠陥を有する画素のアドレスを示す。Ｂ像欠陥情報４０８は、撮像素子１００の検査工程においてＢ像を評価して抽出された欠陥画素のアドレスからＡＢＣＤ像欠陥情報４０５とＡＣ像欠陥情報４０６に含まれるアドレスを削除した、Ｂ像特有の欠陥画素のアドレスを含む。つまり、Ｂ像欠陥情報４０８は、上述した第４の欠陥を有する画素のアドレスを示す。なお、ＡＣ像欠陥情報４０６は、ＢＤ像の欠陥アドレスと同じになるため、ＢＤ像の欠陥情報は不要となる。
【００３８】
図９は、図６に示した画素アレイ３００を有する撮像素子１００と図８に示した欠陥補正部１２０を備える撮像装置１０での静止画撮影動作のフローチャートである。図９のフローチャートの各処理は、ＣＰＵ１０３がＲＯＭ１０７に格納されたプログラムをＲＡＭ１０６に展開して撮像装置１０を構成する各部の動作を制御することによって実現される。ユーザによって操作部１０４が操作されて撮影が開始され、所定の被写体に対するピント合わせが行われると、例えば、撮像素子１００からＡ像とＢ像が読み出されて、撮像面位相差ＡＦ方式により所定の被写体に対するピント合わせが行われる。ステップＳ２０１においてＣＰＵ１０３は、操作部１０４の１つであるレリーズボタンの押下に応じて撮像素子１００からＡ像、Ｂ像、ＡＣ像及びＢＤ像を読み出す。読み出されたＡ像、Ｂ像、ＡＣ像及びＢＤ像は、ＡＦＥ１０１においてデジタルデータに変換されＲＡＭ１０６に記憶される。
【００３９】
ステップＳ２０２においてＣＰＵ１０３は、ＲＡＭ１０６から画像処理部１０８へＡＣ像データとＢＤ像データを転送する。画像処理部１０８は、ＡＣ像データとＢＤ像データを加算してＡＢＣＤ像データを生成し、生成したＡＢＣＤ像データをＲＡＭ１０６に記憶する。ステップＳ２０３においてＣＰＵ１０３は、ＲＡＭ１０６から欠陥補正部１２０へＡＢＣＤ像データを転送すると共に、ＡＢＣＤ像欠陥情報４０５を第１の欠陥指定回路４０１へ転送する。第１の欠陥指定回路４０１は、ＡＢＣＤ像欠陥情報４０５に従ってＡＢＣＤ像データに欠陥フラグを付加する。欠陥フラグが付加されたＡＢＣＤ像データは、第２の欠陥指定回路４０２と第３の欠陥指定回路４０３に入力されるが、これらの回路では処理されることはなく、欠陥補正回路４０４に入力される。欠陥補正回路４０４は、ＡＢＣＤ像データにおいて欠陥フラグが付加された画素の欠陥補正を行って、ＲＡＭ１０６に記憶する。
【００４０】
ステップＳ２０４においてＣＰＵ１０３は、ＲＡＭ１０６から欠陥補正部１２０にＡＣ像データを転送する。また、ＣＰＵ１０３は、ＡＢＣＤ像欠陥情報４０５を第１の欠陥指定回路４０１へ転送し、ＡＣ像欠陥情報４０６を第２の欠陥指定回路４０２へ転送する。ＡＣ像データには、第１の欠陥指定回路４０１においてＡＢＣＤ像欠陥情報４０５に従って欠陥フラグが付加され、続いて第２の欠陥指定回路４０２においてＡＣ像欠陥情報４０６に従って欠陥フラグが付加される。こうして欠陥フラグが付加されたＡＣ像データは、第３の欠陥指定回路４０３に入力されるが、ここでは処理されることはなく、欠陥補正回路４０４に入力される。欠陥補正回路４０４は、ＡＣ像データにおいて欠陥フラグが付加された画素の欠陥補正を行って、ＲＡＭ１０６に記憶する。
【００４１】
ステップＳ２０５においてＣＰＵ１０３は、ＲＡＭ１０６から欠陥補正部１２０にＢＤ像データを転送すると共に、ＡＢＣＤ像欠陥情報４０５を第１の欠陥指定回路４０１へ転送し、ＡＣ像欠陥情報４０６を第２の欠陥指定回路４０２へ転送する。ＢＤ像データには、第１の欠陥指定回路４０１においてＡＢＣＤ像欠陥情報４０５に従って対して欠陥フラグが付加され、続いて第２の欠陥指定回路４０２においてＡＣ像欠陥情報４０６に従って欠陥フラグが付加される。こうして欠陥フラグが付加されたＢＤ像データは、第３の欠陥指定回路４０３に入力されるが、ここでは処理されることはなく、欠陥補正回路４０４に入力される。欠陥補正回路４０４は、ＢＤ像データにおいて欠陥フラグが付加された画素の欠陥補正を行って、ＲＡＭ１０６に記憶する。
【００４２】
ステップＳ２０６においてＣＰＵ１０３は、ＲＡＭ１０６から欠陥補正部１２０にＡ像データを転送する。また、ＣＰＵ１０３は、ＡＢＣＤ像欠陥情報４０５を第１の欠陥指定回路４０１へ転送し、ＡＣ像欠陥情報４０６を第２の欠陥指定回路４０２へ転送し、Ａ像欠陥情報４０７を第３の欠陥指定回路４０３へ転送する。Ａ像データには、第１の欠陥指定回路４０１においてＡＢＣＤ像欠陥情報４０５に従って欠陥フラグが付加され、続いて第２の欠陥指定回路４０２においてＡＣ像欠陥情報４０６に従って欠陥フラグが付加される。更にＡ像データには、第３の欠陥指定回路４０３においてＡ像欠陥情報４０７に従って欠陥フラグが付加される。こうして欠陥フラグが付加されたＡ像データは、欠陥補正回路４０４に入力される。欠陥補正回路４０４は、Ａ像データにおいて欠陥フラグが付加された画素の欠陥補正を行って、ＲＡＭ１０６に記憶する。
【００４３】
ステップＳ２０７においてＣＰＵ１０３は、ＲＡＭ１０６から欠陥補正部１２０にＢ像データを転送する。また、ＣＰＵ１０３は、ＡＢＣＤ像欠陥情報４０５を第１の欠陥指定回路４０１へ転送し、ＡＣ像欠陥情報４０６を第２の欠陥指定回路４０２へ転送し、Ｂ像欠陥情報４０８を第３の欠陥指定回路４０３へ転送する。Ｂ像データには、第１の欠陥指定回路４０１においてＡＢＣＤ像欠陥情報４０５に従って欠陥フラグが付加され、続いて第２の欠陥指定回路４０２においてＡＣ像欠陥情報４０６に従って欠陥フラグが付加される。更にＢ像データには、第３の欠陥指定回路４０３においてＢ像欠陥情報４０８に従って欠陥フラグが付加される。こうして欠陥フラグが付加されたＢ像データは欠陥補正回路４０４に入力され、欠陥補正回路４０４はＢ像データにおいて欠陥フラグが付加された画素の欠陥補正を行って、ＲＡＭ１０６に記憶する。
【００４４】
ステップＳ２０８においてＣＰＵ１０３は、ＲＡＭ１０６に記憶されたＡＢＣＤ像、ＡＣ像、ＢＤ像、Ａ像及びＢ像を画像処理部１０８へ転送する。画像処理部１０８は、各画像に圧縮等の処理を行った後、１つのファイルとしてフラッシュメモリ１１０へする。ステップＳ２０９おいてＣＰＵ１０３は、操作部１０４を介して撮影終了が指示されたか否かを判定する。ＣＰＵ１０３は、撮影終了は指示されていない判定した場合（Ｓ２０９でＮＯ）、処理をステップＳ２０１へ戻し、撮影終了が指示されたと判定した場合（Ｓ２０９でＹＥＳ）、本処理を終了させる。
【００４５】
なお、本実施形態では、フラッシュメモリ１１０に記憶された画像データに対してリフォーカス（合焦位置の変更）を行うことができる。具体的には、ＣＰＵ１０３は、操作部１０４を通じてリフォーカスモードが指示されると、フラッシュメモリ１１０に記憶したＡＢＣＤ像を表示部１０５に表示する。続いて、操作部１０４を通じて新たなピント位置が指定されると、ＣＰＵ１０３は、フラッシュメモリ１１０に記憶されているＡ像、Ｂ像、ＡＣ像及びＢＤ像の各データを画像処理部１０８に送信する。ＣＰＵ１０３からの指示に基づき、画像処理部１０８は、ＡＣ像からＡ像を減算してＣ像を生成し、ＢＤ像からＢ像を減算してＤ像を生成し、生成したＣ像データとＤ像データをＲＡＭ１０６に記憶する。続いて、画像処理部１０８は、ユーザが指定した位置にピントが合うように、ＲＡＭ１０６に記憶されるＡ像、Ｂ像、Ｃ像及びＤ像の位置をシフトさせて加算し、指定位置にピントの合った新たなＡＢＣＤ像を生成する。新たなＡＢＣＤ像データは、画像処理部１０８によって圧縮等の処理が施された後に、フラッシュメモリ１１０に記憶される。
【００４６】
本実施形態では、撮像素子１００から読み出されるＡ像、Ｂ像、ＡＣ像及びＢＤ像の各像に特有な欠陥情報を持つことにより、ＰＤの素子分離領域に異常がある場合に発生する欠陥情報を重複することなく持つことができる。これにより、記憶する欠陥画素の情報量を低減することが可能となることで、ＲＯＭ１０７の容量を低減させることができる。
【００４７】
次に、本発明の第３実施形態について説明する。上記第１及び第２実施形態では、予め保有する欠陥画素の情報量を低減させることで、ＲＯＭ１０７の容量を低減させる構成について説明した。これに対して第３実施形態では、実際に欠陥画素の補正に用いるアドレス情報を、ＲＯＭ１０７に格納された欠陥情報を用いて生成するプロセスに特徴を持たせた構成について説明する。これによって、1画素に含まれる光電変換部の数が増加したとしても、本実施形態の生成するプロセスを用いることで、更にＲＯＭ１０７の容量を低減し、且つ、適切に欠陥画素を補正することが可能となる。
【００４８】
図１０は、撮像素子１００から出力される信号の処理経路を説明する図である。なお、本実施形態では、撮像素子１００は図２を参照して説明した画素アレイ１００ａを備えるものとし、撮像素子１００からはＡ像とＡＢ像が順次読み出されるものとする。また、ＲＯＭ１０７には、撮像素子１００の検査工程において抽出されたＡ像欠陥情報５０１とＢ像欠陥情報５０２が格納されている。本実施形態では、例えば入力画像が１４ビットで信号入力レンジが０〜１６３８３ＬＳＢであれば、１〜１６３８３ＬＳＢの画素を通常信号画素とし、０ＬＳＢの画素を欠陥画素としている。
【００４９】
撮像素子１００から読み出されたＡＢ像は、表示・記憶用画像として使用される。また、画像処理部１０８は、ＡＢ像からＡ像を減算してＢ像を生成する。Ａ像とＢ像は、測距演算に用いられる。Ａ像データとＢ像データは欠陥補正部１２０に入力され、欠陥補正部１２０は、入力されたＡ像データに対してＡ像欠陥情報５０１に従って欠陥フラグを付加し、また、Ｂ像データに対してＢ像欠陥情報５０２に従って欠陥フラグを付加する。そして、欠陥補正部１２０は、欠陥フラグが付加されたＡ像データとＢ像データに対して測距のための簡易補正を行う。ＡＦ演算部１０９は、簡易補正が行われたＡ像データとＢ像データを用いて、撮像面位相差ＡＦ方式による測距演算を行う。なお、Ａ像データとＢ像データに対する簡易補正の内容については、図１２を参照して後述する。
【００５０】
一方、欠陥補正部１２０は、Ａ像欠陥情報５０１とＢ像欠陥情報５０２を統合（マージ）した欠陥情報に基づいて、ＡＢ像データに対して欠陥フラグを付加する。なお、Ａ像欠陥情報５０１とＢ像欠陥情報５０２の統合はＣＰＵ１０３が行い、統合方法については図１１を参照して後述する。欠陥補正部１２０は、欠陥フラグが付加されたＡＢ像データに対して高精度欠陥補正を行う。こうして生成された表示・記憶用のＡＢ像は、フラッシュメモリ１１０に記憶される。なお、Ａ像及びＡＢ像データに対する高精度欠陥補正の内容については、図１３を参照して後述する。
【００５１】
図１１は、Ａ像欠陥情報５０１とＢ像欠陥情報５０２の統合方法を説明する図である。ＣＰＵ１０３は、Ａ像欠陥情報５０１とＢ像欠陥情報５０２の統合方法を、図１１に示すように欠陥種別によって切り替える。このような切り替えと統合を可能とするために、Ａ像欠陥情報５０１とＢ像欠陥情報５０２はそれぞれ、少なくとも欠陥画素のアドレス情報、欠陥種別情報及び欠陥レベル情報を含んでおり、これらの各情報については図１４を参照して後述する。
【００５２】
ＣＰＵ１０３はＡ像欠陥情報５０１とＢ像欠陥情報５０２を比較して統合処理を行う。統合処理は欠陥情報に含まれる欠陥種別情報に対応した統合方法を用いて行われる。例えば、Ａ像での欠陥画素の欠陥レベルを“Ｌｖ＿Ａ”、Ｂ像での欠陥画素の欠陥レベルを“Ｌｖ＿Ｂ”、統合後の欠陥レベルを“Ｌｖ＿Ｍｒｇ”で表したときに、欠陥の統合方法が加算であるときは、Ｌｖ＿Ｍｒｇ＝Ｌｖ＿Ａ＋Ｌｖ＿Ｂ、の関係が成り立つ。このような加算処理を行う欠陥の種別には、光電変換部が構成されているＳｉ基板上の異常に基づく白傷、ＦＤリーク傷、ＲＴＳ傷等の欠陥が挙げられる。これに対して、光電変換部への入射光量が異常となることに起因する感度傷については平均化を行い、その場合には、Ｌｖ＿Ｍｒｇ＝（Ｌｖ＿Ａ＋Ｌｖ＿Ｂ）／２、の関係が成り立つ。なお、感度傷については、平均値に代えて、像高に応じて欠陥レベルの加重加算平均を求めて用いてもよい。また、欠陥種別には、ＡＢ像にのみ発生する欠陥（以下「本画像傷」という）があり、これについては、統合処理は行わずにそのまま使用する。また、同一画素で欠陥種別が異なる場合があり、この場合には独立して補正する必要があるので、同一画素に対して２つの欠陥情報が出力される。このように、各欠陥画素における欠陥の原因に応じて統合方法を切り替えることによって、適切な欠陥情報をマージ（生成）することが可能となる。
【００５３】
図１２は、欠陥画素の簡易補正の方法を説明する図である。欠陥補正部１２０において、測距用のＡ像データとＢ像データの補正を安価な構成で行うことを可能とするために、本実施形態では、水平方向のみを参照して欠陥画素を補正する。具体的には、図１２の中央の画素Ｒｔが補正対象の欠陥画素である場合、画素Ｒｔを中心として左右（水平方向）の同色の２画素ずつの画素値Ｒ１，Ｒ２，Ｒ３，Ｒ４を抽出する。そして、これらの画素値に画素Ｒｔの画素値Ｒ５を含めてメディアンフィルタを掛けて、中央値Ｍｄ（＝Ｍｅｄｉｎａｎ（Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５）を選択する。欠陥画素の画素値を中央値Ｍｄで置き換える（ＰｉｘＣｏｒｒｅｃｔ＝Ｍｄ）ことで、欠陥画素を補正することができる。なお、これに限らず、画素Ｒｔの両サイドの同色の２つの画素の画素値Ｒ２，Ｒ４の平均値で補正（ＰｉｘＣｏｒｒｅｃｔ＝（Ｒ２＋Ｒ４）／２）してもよい。
【００５４】
図１３は、欠陥画素の高精度補正の方法を説明する図である。補正対象となっている中央の画素のカラーフィルタは“Ｒ（赤）”であり、よって、その周辺のＲ画素を用いて欠陥を補正する。その場合に、まず、対角画素同士の画素値の差を、Ｄｉｆｆ１＝｜Ｒ０−Ｒ８｜、Ｄｉｆｆ２＝｜Ｒ１−Ｒ７｜、Ｄｉｆｆ３＝｜Ｒ２−Ｒ６｜、Ｄｉｆｆ４＝｜Ｒ３−Ｒ５｜、により求め、続いて、Ｄｉｆｆ１〜Ｄｉｆｆ４の最小値を検出する。これは、差分値が小さいということは、画素間にエッジ部がなく画素補間による補正が適切であると言えるからである。差分値が最小値となる組み合わせで平均値を求め、欠陥画素の画素値とする。例えば、Ｄｉｆｆ１が最小値となった場合、欠陥画素の補正値ＰｉｘＣｏｒｒｅｃｔは、ＰｉｘＣｏｒｒｅｃｔ＝（Ｒ０＋Ｒ８）／２、と決定される。このような演算処理を対象となるすべての欠陥画素について行うことで、欠陥画素を補正（補間）する。なお、欠陥画素の補正に用いる画素値は、上述の方法に限られない。例えば、欠陥画素の周囲のすべての画素の画素値の平均値を用いて欠陥画素を補正してもよいし、方向別の画素値の差分が所定値以下の組み合わせのすべてを使用して求めた平均値を用いて欠陥画素を補正してもよい。
【００５５】
図１４は、ＲＯＭ１０７に格納された欠陥情報（Ａ像欠陥情報５０１及びＢ像欠陥情報５０２）の構成の一例を説明する図である。本実施形態では、１つの欠陥情報は３２ビットで保持され、距離情報（１６ビット）、欠陥種別（８ビット）及び欠陥レベル（８ビット）の情報を含むものとする。距離情報は、１つの欠陥から次の欠陥までの画素数換算の距離を示す情報である。これは、ランレングス圧縮と言われる形式で規定されるものであり、ＸＹ座標（アドレス）で保持するよりもデータ量を圧縮して記憶することができるという利点がある。よって、ＲＯＭ１０７の容量削減を図ることができる。
【００５６】
欠陥種別は、図１１に示した欠陥種別を示しており、白傷、感度傷、ＦＤリーク傷、ＲＴＳ傷、本画像傷等が挙げられる。欠陥情報においてこれらの欠陥は、それぞれにＩＤが付されることによって管理されている。なお、これらの欠陥は、種別ごとに発生条件が異なるため、例えば、白傷はシャッタ速度に応じて、ＦＤリーク傷は温度に応じてというように、撮影条件に応じて補正量を変えることが望ましい。欠陥レベルは、欠陥補正を行う必要性（重要度）を示す情報である。つまり、欠陥レベルの高い欠陥とは、どのような撮影条件でも補正する必要のある欠陥であり、そのため、該当する画素は常時補正される。逆に、欠陥レベルの低い欠陥とは、高感度撮影や長秒撮影、高温時撮影等でのみ発生する欠陥であり、該当する画素を補正するか否かは撮影条件を考慮して判断される。
【００５７】
本実施形態では、Ａ像とＢ像のそれぞれの欠陥情報を独立させて記憶しておき、補正時に統合する。これにより、ＲＯＭ１０７に記憶する欠陥情報量を低減させることができる。また、表示・記憶用のＡＢ像に対して適切な欠陥情報を得て補正を行うと共に、測距用のＡ像とＢ像のそれぞれを適切に補正してデフォーカス量を求めることができる。
【００５８】
ところで、測距精度を高めるためには、測距用画像としてのＡ像とＢ像を撮像素子１００の全行から取得することが理想的であるが、この場合には撮像素子１００からの信号の読み出し時間が長くなってしまう。その結果、フレームレートが低下して連写速度が低下するため、測距用のＡ像の読み出しを必要最小限に止め、これによりＢ像の生成も最小限に止めることが望ましい。
【００５９】
図１５は、撮像素子１００からの信号読み出しの一例を説明する図である。図１５中の「Ａ／ＡＢ独立読み出し」の行ではＡ像とＡＢ像とが独立して読み出され、よって、画像処理部１０８はＡＢ像からＡ像が減算されることでＢ像を生成し、ＡＦ演算部１０９はＡ像とＢ像とから撮像面位相差ＡＦ方式による測距を行う。図１５中の「ＡＢ読み出し」の行では、ＡＢ像のみが読み出される。例えば、被写体が静止している場合や連写速度を優先する場合にはＡ像のみを取得する必要はないため、撮像素子１００全体からＡＢ像のみを読み出すようにする。こうして測距のための信号読み出しと表示・記憶のための信号読み出しを分ける場合には、「Ａ／ＡＢ独立読み出し」が行われる行の画素についてはＡ像欠陥情報５０１とＢ像欠陥情報５０２とを独立させて保持し、図１０の処理経路に従う処理を行うようにする。一方、「ＡＢ読み出し」を行う行については、本画像傷の欠陥情報を保持するようにする。撮像素子１００全体からＡＢ像のみを読み出す場合には、「Ａ／ＡＢ独立読み出し」を行う行についても、本画像傷の欠陥情報をそのまま使用すればよく、Ａ像欠陥情報５０１とＢ像欠陥情報５０２の統合は不要となる。
【００６０】
次に、本発明の第４実施形態について説明する。第３実施形態では、Ａ像とＡＢ像を読み出し、ＡＢ像からＡ像を減算することによりＢ像を生成し、Ａ像とＢ像を用いて測距を行う構成について説明した。これに対して、本実施形態では、Ａ像を読み出した後にＢ画像を読み出し、Ａ像とＢ像を加算することによりＡＢ像を生成する。
【００６１】
この場合の図１０の処理経路から変更点について説明する。撮像素子１００からはＡ像とＢ像が順次出力される。Ａ像とＢ像は、欠陥補正部１２０へ入力され、そこでＡ像欠陥情報５０１とＢ像欠陥情報５０２に従って簡易補正された後、ＡＦ演算部１０９へ入力される。ＡＦ演算部１０９は、補正されたＡ像とＢ像に基づき、撮像面位相差ＡＦ方式によりデフォーカス量を算出する。なお、図１５を参照して説明したように特定の行（Ａ／ＡＢ独立読み出し）でのみデフォーカス量を算出する場合、デフォーカス量を算出する必要のない行（ＡＢ読み出し）から読み出したＡ像とＢ像は欠陥補正部１２０へ入力する必要はない。また、Ａ像とＢ像は、画像処理部１０８へ入力され、そこで加算処理されることによりＡＢ像が生成される。ＡＢ像は、欠陥補正部１２０においてＡ像欠陥情報５０１とＢ像欠陥情報５０２とを統合した欠陥情報に基づいて高精度補正される。
【００６２】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００６３】
例えば、第１実施形態及び第２実施形態では、欠陥補正部１２０として複数の欠陥指定回路を有する構成を示した。これに限らず、１つの欠陥指定回路を有し、欠陥情報の欠陥指定回路への入力を切り替えると共に対応する画像データを欠陥指定回路に入力して処理を行う構成としてもよい。また、複数の欠陥情報を持つ構成について説明したが、これに限られない。例えば、撮像素子１００が有する欠陥画素の種類（第１乃至第４の欠陥）にグレードを設けてコード化し、各欠陥画素のアドレス情報にコードを付加する。そして、欠陥補正部１２０に入力された画像がどの像（Ａ像、Ｂ像、ＡＣ像、ＢＤ像）かに応じてどのグレードの欠陥を指定するかを決定し、決定したグレードに対応するコードが付されたアドレス情報をＲＯＭ１０７から読み出す構成としてもよい。
【００６４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６５】
１０    撮像装置
１００    撮像素子
１００ｂ，１００ｃ    ＰＤ
１００ｆ    マイクロレンズ
１０７    ＲＯＭ
１０８    画像処理部
１２０    欠陥補正部
２０１    第１の欠陥指定回路
２０２    第２の欠陥指定回路
２０３    欠陥補正回路
【図１】
2018101896.tif 000003
【図２】
2018101896.tif 000004
【図３】
2018101896.tif 000005
【図４】
2018101896.tif 000006
【図５】
2018101896.tif 000007
【図６】
2018101896.tif 000008
【図７】
2018101896.tif 000009
【図８】
2018101896.tif 000010
【図９】
2018101896.tif 000011
【図１０】
2018101896.tif 000012
【図１１】
2018101896.tif 000013
【図１２】
2018101896.tif 000014
【図１３】
2018101896.tif 000015
【図１４】
2018101896.tif 000016
【図１５】
2018101896.tif 000017