(57)【特許請求の範囲】
【請求項１】
複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子のうち一部の光電変換素子からの信号を第１信号として読み出すための読み出し動作と、前記複数の光電変換素子からの信号を混合して画像信号として読み出すための第２の読み出し動作を、複数の画素群に対して行う読み出し手段と、
前記読み出し手段によって前記光電変換素子から信号が読み出されたときに前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データに基づいて、欠陥となる画素群から読み出された前記第１信号を補正する補正手段と、
前記補正手段により補正された前記第１信号と、前記画像信号と、を含む１つの画像ファイルを生成する生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記欠陥データは、光電変換素子の信号を出力する指示を出すための信号線の欠陥に起因した欠陥が生じる画素群を示すデータであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段により生成される画像ファイルを記録媒体に記録する記録手段を有し、
前記生成手段は、前記画像ファイルにさらに前記欠陥データを含むことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記欠陥データを予め記憶する記憶手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像信号および前記第１信号を用いて第２信号を生成する生成手段と、
前記第１信号と前記第２信号とに基づいて相関演算を行う演算手段と、を有し、
前記演算手段は、複数の前記第１信号のうち前記欠陥データの示す、欠陥となっている第１信号は用いずに前記演算を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像素子は、前記各画素に含まれる複数の光電変換素子が、撮像光学系の異なる射出瞳を通過した光束をそれぞれ受光することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記補正手段は、前記欠陥データに基づいて、欠陥となる画素群から読み出された前記第１信号を、該画素群の周辺に位置する画素の信号を用いた補間によって補正することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記補正手段は、記録媒体に記録する画像を撮像するための本露光の撮像指示に応じて得られる前記第１信号に対して、前記補正を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記演算手段は、記録媒体に記録する画像を撮像するための本露光の撮像指示より前に得られる前記第１信号及び前記画像信号に対して前記相関演算を行うことを特徴とする請求項５に記載の撮像装置。
【請求項１０】
前記画像ファイルは、ＴＩＦＦ画像ファイルであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記画像ファイルは、前記第１信号に対応するＩＦＤ部を前記画像ファイルの複数のＩＦＤ部の最後尾に持ち、
前記第１信号のデータを前記画像ファイルの画像データ部の最後尾にもつことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記画像ファイルは、ＴＩＦＦ画像ファイルであり、
前記欠陥データは、前記第１信号に対応するＩＦＤ部に記録されることを特徴とする請求項３に記載の撮像装置。
【請求項１３】
前記画像ファイルから前記画像信号及び前記第１信号を復号する復号手段と、
前記復号手段により復号された前記第１信号の前記欠陥を、前記補正手段よりも高精度に補正する復号時補正手段と、
を有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記復号時補正手段により補正された前記第１信号と前記画像信号とを画像処理する画像処理手段と、
前記画像処理手段による画像処理は、仮想的な像面に焦点位置を移動させた画像信号を生成するリフォーカス処理であることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記復号時補正手段により補正された前記第１信号と前記画像信号とを画像処理する画像処理手段と、
前記画像処理手段による画像処理は、仮想的な視点からの仮想視点画像を生成する画像処理であることを特徴とする請求項１３に記載の撮像装置。
【請求項１６】
前記画像ファイルから前記画像信号及び前記第１信号を復号する復号手段と、
前記復号手段で復号された前記第１信号と前記画像信号とを画像処理する画像処理手段と、
前記画像処理手段による画像処理は、仮想的な像面に焦点位置を移動させた画像信号を生成するリフォーカス処理であることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１７】
前記画像ファイルから前記画像信号及び前記第１信号を復号する復号手段と、
前記復号手段で復号された前記第１信号と前記画像信号とを画像処理する画像処理手段と、
前記画像処理手段による画像処理は、仮想的な視点からの仮想視点画像を生成する画像処理であることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１８】
複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子を有する撮像装置の制御方法であって、
前記複数の光電変換素子のうち一部の光電変換素子からの信号を第１信号として読み出すための読み出し動作を複数の画素群に対して行う第１の読み出しステップと、
前記複数の光電変換素子からの信号を混合して画像信号として読み出すための読み出し動作を、複数の画素群に対して行う第２の読み出しステップと、
前記第１及び第２の読み出しステップにて前記光電変換素子から信号が読み出されたときに前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データに基づいて、欠陥となる画素群から読み出された前記第１信号を補正する補正ステップと、
前記補正ステップにて補正された前記第１信号と、前記画像信号と、を含む１つの画像ファイルを生成する生成ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１９】
コンピュータを、請求項１乃至１７のいずれか１項に記載の撮像装置の各手段として機能させるプログラム。
【請求項２０】
コンピュータを、請求項１乃至１７のいずれか１項に記載の撮像装置の各手段として機能させるプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項２１】
複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子から得られる信号であって、前記複数の光電変換素子のうち一部の光電変換素子からの第１信号と、前記複数の光電変換素子からの信号を混合して得られる画像信号と、前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データとを含む画像ファイルを取得する取得手段と、
前記画像ファイルから前記画像信号及び前記第１信号を復号する復号手段と、
前記復号手段により復号された前記第１信号の前記欠陥を、前記欠陥データに基づいて補正する復号時補正手段と、
前記復号時補正手段により補正された前記第１信号と前記画像信号とを画像処理する画像処理手段と、を有することを特徴とする画像処理装置。
【請求項２２】
前記欠陥データは、光電変換素子の信号を出力する指示を出すための信号線の欠陥に起因した欠陥が生じる画素群を示すデータであることを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記復号手段により復号された前記第１信号のうち欠陥のある第１信号を用いずに相関演算を行う演算手段を有することを特徴とする請求項２１または２２に記載の画像処理装置。
【請求項２４】
前記画像処理手段による画像処理は、仮想的な像面に焦点位置を移動させた画像信号を生成するリフォーカス処理であることを特徴とする請求項２１乃至２３のいずれか１項に記載の画像処理装置。
【請求項２５】
前記画像処理手段による画像処理は、仮想的な視点からの仮想視点画像を生成する画像処理であることを特徴とする請求項２１乃至２４のいずれか１項に記載の画像処理装置。
【請求項２６】
複数の画素を含み、各画素が複数の光電変換素子を含む撮像素子から得られる信号であって、前記複数の光電変換素子のうち一部の光電変換素子からの第１信号と、前記複数の光電変換素子からの信号を混合して得られる画像信号と、前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データとを処理する画像処理装置の制御方法であって、
前記画像信号及び前記第１信号を復号する復号ステップと、
前記復号ステップにて復号された前記第１信号の前記欠陥を、前記欠陥データに基づいて補正する復号時補正ステップと、
前記復号時補正ステップにて補正された前記第１信号と前記画像信号とを画像処理する画像処理ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項２７】
コンピュータを、請求項２１乃至２５のいずれか１項に記載の画像処理装置の各手段として機能させるプログラム。
【請求項２８】
コンピュータを、請求項２１乃至２５のいずれか１項に記載の画像処理装置の各手段として機能させるプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項２９】
複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む光電変換素子ごとに読み出し可能な撮像素子と、
前記複数の光電変換素子のうち一部の光電変換素子からの信号を第１信号として読み出すための読み出し動作と、前記複数の光電変換素子からの信号を混合して画像信号として読み出すための第２の読み出し動作を、複数の画素群に対して行う読み出し手段と、
前記第１及び第２の読み出しステップにて前記光電変換素子から信号が読み出されたときに前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データと、前記第１信号と、前記画像信号と、を含む１つの画像ファイルを生成する生成手段と、
を有することを特徴とする撮像装置。
【請求項３０】
複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子を有する撮像装置の制御方法であって、
前記複数の光電変換素子のうち一部の光電変換素子からの信号を第１信号として読み出すための読み出し動作を複数の画素群に対して行う第１の読み出しステップと、
前記複数の光電変換素子からの信号を混合して画像信号として読み出すための読み出し動作を、複数の画素群に対して行う第２の読み出しステップと、
前記第１及び第２の読み出しステップにて前記光電変換素子から信号が読み出されたときに前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データと、前記第１信号と、前記画像信号と、を含む１つの画像ファイルを生成する生成ステップと、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像光学系の異なる瞳領域を通過した光をそれぞれ受光可能な画素からの信号を、それぞれ画像データとして保存する撮像装置、当該画像データを処理する画像処理装置及びそれらの制御方法に関する。
【背景技術】
【０００２】
撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献１では、分割されたそれぞれの瞳領域に対応する１つのＰＤの信号を、信号線を介して読み出す際に、他の瞳領域に対応するＰＤの信号を読み出すための信号線との間でショートしてしまう欠陥について記載がある。特許文献１では、この信号線のショートにより２つのＰＤの信号を混合して読み出してしまうことを課題として、信号線に欠陥のある画素群からの信号を用いずに位相差検出を行う技術の開示がある。特許文献１においては、記録される画像は画像信号として元々２つのＰＤからの信号を混合したものであるので、上述した欠陥の影響を受けずに済んでいる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１４６０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述した撮像素子の欠陥（信号線のショート）により得られる視差画像に欠陥のある画素信号があると、視差画像を用いて行うリフォーカス処理や仮想視点画像の生成処理などが、該当する領域で正しく行うことができない。このような欠陥のある画素信号を含む視差画像を不揮発性メモリなどの記録媒体に記録する場合、欠陥の影響を考慮して、当該欠陥について何らかの対応が必要になる。
【０００５】
本発明は上記問題点を鑑みてなされたものである。すなわち、複数の視差画像を撮像により取得し、記録する撮像装置であって、視差画像を合わせて読み出す画像信号には生じず一部の視差画像に生じる欠陥に応じて、視差画像を含む画像ファイルを生成する撮像装置及びその制御方法を提供することを目的とする。また、記録された複数の視差画像を含む画像ファイルを用いて画像処理を行う画像処理装置であって、一部の視差画像に生じる欠陥に応じた画像処理を行う画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の撮像装置は、複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子のうち一部の光電変換素子からの信号を第１信号として読み出すための読み出し動作と、前記複数の光電変換素子からの信号を混合して画像信号として読み出すための読み出し動作を、複数の画素群に対して行う読み出し手段と、記読み出し手段によって前記光電変換素子から信号が読み出されたときに前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データに基づいて、欠陥となる画素群から読み出された前記第１信号を補正する補正手段と、前記補正手段により補正された前記第１信号と、前記画像信号と、を含む１つの画像ファイルを生成する生成手段と、を有することを特徴とする。
【０００７】
また、本発明の画像処理装置は、複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子から得られる信号であって、前記複数の光電変換素子のうち一部の光電変換素子からの第１信号と、前記複数の光電変換素子からの信号を混合して得られる画像信号と、前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データとを含む画像ファイルを取得する取得手段と、前記画像ファイルから前記画像信号及び前記第１信号を復号する復号手段と、前記復号手段により復号された前記第１信号の前記欠陥を、前記欠陥データに基づいて補正する復号時補正手段と、前記復号時補正手段により補正された前記第１信号と前記画像信号とを画像処理する画像処理手段と、を有することを特徴とする。
【０００８】
また、本発明の画像処理装置の制御方法は、複数の画素を含み、各画素が複数の光電変換素子を含む撮像素子から得られる信号であって、前記複数の光電変換素子のうち一部の光電変換素子からの第１信号と、前記複数の光電変換素子からの信号を混合して得られる画像信号と、前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データとを処理する画像処理装置の制御方法であって、前記画像信号及び前記第１信号を復号する復号ステップと、  前記復号ステップにて復号された前記第１信号の前記欠陥を、前記欠陥データに基づいて補正する復号時補正ステップと、前記復号時補正ステップにて補正された前記第１信号と前記画像信号とを画像処理する画像処理ステップと、を有することを特徴とする。
【０００９】
また、本発明の画像処理装置の制御方法は、複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子から得られる信号であって、前記複数の光電変換素子のうち一部の光電変換素子からの第１信号と、前記複数の光電変換素子からの信号を混合して得られる画像信号と、前記画像信号は欠陥とならず前記第１信号が欠陥となる画素群を示すデータである欠陥データとを処理する画像処理装置の制御方法であって、前記画像信号及び前記第１信号を復号する復号ステップと、前記復号ステップにて復号された前記第１信号の前記欠陥を、前記欠陥データに基づいて補正する復号時補正ステップと、前記復号時補正ステップにて補正された前記第１信号と前記画像信号とを画像処理する画像処理ステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像素子一部の視差画像に生じる欠陥が、視差画像の記録画像に及ぼす影響を低減させることができる。また、一部の視差画像に生じる欠陥が画像処理あるいは画像処理後の画像に及ぼす影響を低減させることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る撮像装置の構成例を示す図である。
【図２】第１実施形態に係る撮像素子の全体構成を概略的に示す図である。
【図３】第１実施形態に係る撮像素子の画素の構成を概略的に示す図である。
【図４】撮像素子の画素の構成例を概略的に示す図である。
【図５】第１実施形態に係る画素に対する物体の結像関係を模式的に示す図である。
【図６】第１実施形態に係る画素の回路構成を概略的に示す図である。
【図７】第１実施形態に係る撮像素子の駆動パターンを示すタイミングチャートである。
【図８】第１実施形態に係る映像信号処理部の構成例を示す図である。
【図９】第１実施形態に係る欠陥行データの補間例を模式的に示す図である。
【図１０】第１実施形態に係る撮像装置の撮像処理の例を説明するフローチャートである。
【図１１】第１実施形態に係る画像ファイル構造例を模式的に示す図である。
【図１２】第１実施形態に係る欠陥行データ構造を模式的に示す図である。
【図１３】第１実施形態に係る復号時の映像信号処理部の構成例を示す図である。
【図１４】第１実施形態に係るリフォーカス処理の概念図を示す図である。
【図１５】第２実施形態に係る映像信号処理部の構成例を示す図である。
【発明を実施するための形態】
【００１２】
〔第１実施形態〕
＜撮像装置の構成＞
図１は本実施形態に係る撮像装置であるカメラ１００の構成例を示したブロック図である。なお、図１や後述する図８、図１３に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１３】
カメラ１００は、撮像素子１０３とレンズ部１０１とが、一体構造となっている撮像装置である。しかし、これに限らず、レンズ部１０１がカメラ本体（カメラ１００）とレンズマウントを介して着脱可能に構成されていてもよい。
【００１４】
レンズ部１０１は、被写体の光学像を撮像素子１０３へと導くフォーカスレンズ、ズームレンズ、絞り及びそれらの駆動部を含む。
【００１５】
レンズ制御部１４１は、レンズ部１０１の駆動制御手段であって、レンズ制御部１４１がレンズ部１０１が有するモータ等の駆動部に信号を送り制御することでズーム、フォーカス、絞りの制御を実行する。
【００１６】
撮像素子１０３は、ＣＭＯＳセンサ等で構成される光電変換手段である。撮像素子１０３は、レンズ部１０１の撮像光学系で形成された被写体像を光電変換し、変換後の信号を出力することができる。
【００１７】
タイミング発生部１４２は、撮像素子１０３、映像信号処理部１２１にタイミングを提供する。
【００１８】
バス１５０には前述した構成部以外にレンズ制御部１４１、電源１１０、メモリ１３２、不揮発性メモリ１３３、表示制御部１５１、カード入出力部１７１、そして、各種のスイッチ類が接続される。
【００１９】
尚、上述の各種のスイッチ類とは、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、上下左右選択ボタン１６４、決定ボタン１６５である。さらに表示部１５３に重畳される形でタッチパネル等の入力インターフェイスを備えていてもよい。タッチパネルでは、画面上に各機能に対応するアイコンを重畳表示させ、選択可能にすることで、各種スイッチ類の操作入力の代りとすることもできる。
【００２０】
電源１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。
【００２１】
表示制御部１５１は、バス１５０を介してタイミング発生部１４２からの信号に応じて、メモリ１３２に保存された表示用画像データを不図示のＤ／Ａ変換部においてデジタル画像データから表示用のアナログ画像データへと変換する。変換されたアナログ画像データは、液晶表示素子からなるＴＦＴなどの表示部１５３、若しくはＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５などのケーブルを介して外部に設けられた外部表示部（不図示）に表示される。
【００２２】
カードスロット１７２は、例えばＳＤカード等の着脱可能な記録媒体１７３を差し込み可能である。そして、記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。この状態で、メモリ１３２に記録されている画像データを記録媒体１７３へと記録することが可能である。また、記録媒体１７３の内部に記録されたデータをカメラ１００で読み出すことも可能である。
【００２３】
ＣＰＵ１３１は、バス１５０を介して上述したようなカメラ１００内の各部へと接続されており、カメラ１００内の各部を統括的に制御する制御部である。本実施形態では、ＣＰＵ１３１は、レンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、表示制御部１５１に対して、カメラ１００内の各部の制御を指示する。尚、上述したような制御部や処理部を設けずに、ＣＰＵ１３１がカメラ１００内の各部の駆動を制御するような構成であっても良い。また、ＣＰＵ１３１を設けずに上述した制御部や処理部がそれぞれ連動して制御（処理）をおこなうことでカメラ１００内の各部の駆動を制御するような構成であってもよい。
【００２４】
次に、第１レリーズスイッチ１６２はレリーズボタン（不図示）の第１ストローク（半押し状態）でオンとなり、被写体の撮影準備を開始する。ここで、撮影準備の詳細としては、レンズ制御部１４１によるレンズ部１０１の駆動制御によって前述したフォーカス、ズーム、絞りなどの制御を必要に応じて実行する。
【００２５】
次に、第２レリーズスイッチ１６３は、レリーズボタン（不図示）の第２ストローク（全押し状態）でオンとなり、被写体の撮影を開始する。
【００２６】
＜撮像素子の構成＞
図２は撮像素子１０３を示している。図２において撮像素子１０３は、画素アレイ２０１と、画素アレイ２０１における行を選択する垂直選択回路２０２、画素アレイ２０１における列を選択する水平選択回路２０４を含む。また、画素アレイ２０１中の画素のうち垂直選択回路２０２によって選択される画素の信号を読み出す読み出し回路２０３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス（ＳＩ）２０５を含んで構成される。読み出し回路２０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。典型的には、垂直選択回路２０２は、画素アレイ２０１の複数の行を順に選択し、読み出し回路２０３は選択された行の画素信号を読み出す。さらに撮像素子１０３は、水平選択回路２０４を含み、読み出し回路２０３に読み出された複数の画素信号を列毎に順に選択し、出力する。
【００２７】
図３は本実施形態における撮像素子１０３の１画素の構成の概略を示す図である。図３（ａ）で、１つの画素３０１は、１つのマイクロレンズ３０１１と、光電変換素子として、２つのフォトダイオード（ＰＤ）３０１Ｌ及び３０１Ｒを有する。更に、ＰＤ３０１ＬとＰＤ３０１Ｒの各々で蓄積された信号を読み出す転送スイッチ３０１２及び３０１３と、ＰＤ３０１ＬとＰＤ３０１Ｒの信号を一時的に蓄積するフローティングディフュージョン（ＦＤ）３０１４を有する。各画素は、図示された構成要素以外にも、後述する複数の構成要素を備える。
【００２８】
図３（ｂ）は画素アレイ２０１の一部を概略的に示す平面図である。画素アレイ２０１は、２次元の画像を提供するために、図３（ａ）に示すような複数の画素を、２次元アレイ状に配列して構成される。画素３０１、３０２、３０３、３０４を例にとって説明すると、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは図３（ａ）のＰＤ３０１Ｌに対応し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは図３（ａ）のＰＤ３０１Ｒに対応している。
【００２９】
また、撮像素子の構成としては上記に限らず、たとえば図４のように２以上の分割構成をもってよい。図４では、４０１ａ、４０１ｂ、４０１ｃ、４０１ｄの４つのＰＤを有しているが、２つ以上であればいくつでもよい。このとき、複数のＰＤ出力を選択して加算させてもよい。例えば、４０１ａと４０１ｃ、４０１ｂと４０１ｄのＰＤ出力を各々加算し、２つの出力としてもよいし、４０１ａと４０１ｂ、４０１ｃと４０１ｄのＰＤ出力を各々加算し、２つの出力としてもよい。
【００３０】
図３、４のような画素構成を有する撮像素子１０３における受光の様子について、図５を用いて説明する。図５は撮影レンズの射出瞳から出た光束が撮像素子１０３に入射する概念図である。５０１は３つの画素アレイの断面を示す。５０２はマイクロレンズであり、５０３はカラーフィルターであり、５０４、５０５はＰＤである。ＰＤ５０４、ＰＤ５０５が各々図３で示すところの、ＰＤ３０１Ｌ、ＰＤ３０１Ｒに対応する。５０６はレンズ部１０１によって構成される撮影レンズの射出瞳を示す。ここでは、マイクロレンズ５０２を有する画素に対して、射出瞳から出た光束の中心を光軸５０９とする。射出瞳から出た光は、光軸５０９を中心として撮像素子１０３に入射される。５０７、５０８は撮影レンズの射出瞳の一部領域を表す。射出瞳の一部領域５０７を通過する光の最外周の光線を５１０、５１１で示し、射出瞳の一部領域５０８を通過する光の最外周の光線を５１２、５１３で示す。この図からわかるように、射出瞳から出る光束のうち、光軸５０９を境にして、上側の光束はＰＤ５０５に入射され、下側の光束はＰＤ５０４に入射される。つまり、ＰＤ５０４とＰＤ５０５は各々、撮影レンズの射出瞳に対する別の領域の光を受光している。この特性を生かして、視差のある少なくとも２つの画像を取得することができる。ＰＤ５０４（ＰＤ５０５）、ならびにＰＤ５０４（ＰＤ５０５）と同じ射出瞳の領域からの光束を受光するＰＤからの信号で得られる画像信号を以下で単にＡ像（Ｂ像）と呼ぶことにする。ＰＤ５０４とＰＤ５０５（ＰＤ３０１ＬとＰＤ３０１Ｒ）、ならびにそれぞれと同じ射出瞳の領域からの光束を受光するＰＤからの信号を混合（加算）して得られる画像をＡ＋Ｂ像と呼ぶことにする。
【００３１】
図６は、図３（ａ）に示す構成を有する画素の回路構成を示す等価回路図である。ここでは、模式的に３列１行分の画素を記載している。図６において、図２と同じ構成には同じ参照番号を付している。画素３０１の転送スイッチ３０１２、３０１３はそれぞれ転送パルスφＴＸ１、φＴＸ２によって駆動され、それぞれ対応するＰＤ３０１ＬとＰＤ３０１Ｒで発生した光電荷をＦＤ３０１４に転送する。ＦＤ３０１４は電荷を一時的に蓄積するバッファとしての役割を有する。６０１はソースフォロアとして機能する増幅ＭＯＳアンプ、６０２は垂直選択パルスφＳＥＬによって画素を選択する選択スイッチである。ＦＤ３０１４、増幅ＭＯＳアンプ６０１、及び垂直出力線６０３に接続された不図示の定電流源からフローティングディフュージョンアンプが構成される。選択スイッチ６０２で選択された画素のＦＤ３０１４の信号電荷がフローティングディフュージョンアンプにより電圧に変換されて、垂直出力線６０３に出力され、読み出し回路２０３に読み出される。６０４はリセットパルスφＲＥＳを受けてＶＤＤによりＦＤ３０１４をリセットするリセットスイッチである。
【００３２】
上述したように、ＰＤ３０１ＬとＰＤ３０１Ｒはそれぞれに対応する転送スイッチ３０１２、３０１３を持つが、画素中の回路において、ＦＤ３０１４以降で信号読み出しに用いる回路を共有する。このような構成にすることで、画素の縮小化を図ることができる。また、図示したように転送パルスφＴＸ１、φＴＸ２を提供する配線は各行に配列された画素により共有される。すなわち、撮像素子１０３は複数の画素群（行）を含み、画素群の各画素が複数の光電変換素子を含み、前記複数の光電変換素子からの信号を、前記画素群で共通の信号線から光電変換素子ごとに読み出し可能となっている。
【００３３】
次に、上記構成を有する撮像素子１０３の駆動方法について説明する。図７は駆動パターンを示すタイミングチャートであり、１行分の信号を読み出し回路２０３に読み出す駆動について示す。先ず、ｔ７０１の間に、リセットパルスφＲＥＳと転送パルスφＴＸ１、φＴＸ２を同時に高電位（以下、「Ｈ」）にする。これにより、リセットスイッチ６０４と転送スイッチ３０１２、３０１３がオンとなり、ＰＤ３０１Ｌ、ＰＤ３０１Ｒ、ＦＤ３０１４の電位が初期電位ＶＤＤにリセットされる。その後、転送パルスφＴＸ１、φＴＸ２が低電位（以下、「Ｌ」）になると、ＰＤ３０１Ｌ、ＰＤ３０１Ｒにおいて電荷蓄積が始まる。
【００３４】
次に、電荷蓄積時間に基づいて決められる所定時間経過後、ｔ７０３において選択パルスφＳＥＬをＨにして選択スイッチ６０２をオンすることで読み出し行を選択し、１行分の信号の読み出し動作が行われる。また同時にリセットパルスφＲＥＳをＬにして、ＦＤ３０１４のリセットを解除する。
【００３５】
ｔ７０４の間にφＴＮをＨにして、読み出し回路２０３に、ＦＤ３０１４のリセット信号であるＮ信号を読み出して記録する。なお図示しないが、読み出し回路２０３では、φＴＮ、φＳ１、φＳ２の制御に基づいて、ＦＤ３０１４の電位を垂直出力線６０３を介し読み出し、各々信号を記録しておく。次に、ｔ７０５の間に転送パルスφＴＸ１をＨにして転送スイッチ３０１２をオンすることで、ＰＤ３０１Ｌで発生した光電荷がＦＤ３０１４に転送される。このとき同時にφＳ１をＨにすることで、ＰＤ３０１Ｌの光第１ＰＤ信号が読み出し回路２０３に記録される。
【００３６】
次に、リセットスイッチ６０４をオンしない状態で、ｔ７０６の間に転送パルスφＴＸ１、φＴＸ２を同時にＨにして転送スイッチ３０１２、３０１３をオンする。これにより、ＰＤ３０１Ｒで発生した光電荷とＰＤ３０１Ｌで追加発生した光電荷が、すでに電荷が転送されているＦＤ３０１４に追加転送される。さらに同時にφＳ２をＨにすることで、ＰＤ３０１Ｌの光信号とＰＤ３０１Ｒの光信号とノイズ信号とが混合された加算信号である第２ＰＤ信号が読み出し回路２０３に記録される。時刻ｔ７０５で一度転送パルスφＴＸ１をオンしてＰＤ３０１Ｌの信号をＦＤ３０１４に読み出しているので、時刻ｔ７０６では転送パルスφＴＸ１はオフ状態でもよい。また、厳密には、ｔ７０１の終了からｔ７０６の終了までが蓄積時間ｔ７０２となる。なお、転送パルスφＴＸ２をＨにしてＰＤ３０１Ｌをリセットするタイミングを、ｔ７０５とｔ７０６の時間差分、遅らせても良い。
【００３７】
上記の動作で読み出し回路２０３に読み出されたＮ信号、第１ＰＤ信号、第２ＰＤ信号に基づいて、第１ＰＤ信号からノイズ信号を差分したＡ像信号（第１信号）と、第２ＰＤ信号からノイズ信号を差分した画像信号が撮像素子１０３の外部に出力される。この画像信号はＰＤ３０１ＬとＰＤ３０１Ｒの信号を合成した信号であるので、後段の信号処理回路などによって画像信号（Ａ＋Ｂ像）からＡ像信号を減算することでＢ像信号（第２信号）を生成することができる。
【００３８】
上記説明した動作でＡ像信号、画像信号及びＢ像信号が得られるが、ここで、製造上の不良で転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線がショートするという信号線の欠陥が生じている場合を考える。このとき、時刻ｔ７０５で本来Ｌであるべきの転送パルスφＴＸ２がＨになってしまう。この場合、第１ＰＤ信号を読み出すはずの動作において、第２ＰＤ信号を読み出してしまうことになる。第２ＰＤ信号を読み出す動作では、もともと転送φＴＸ１とφＴＸ２が同時にＨになるので影響は出ない。結果として、転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線がショートした行は、画像信号は通常通り得られるが、Ａ像信号として、画像信号と同じ信号を読み出してしまう。さらに、画像信号からＡ像信号を減算して求めるＢ像信号は信号が無くなってしまう。つまり、その行の画像信号は問題ないが、Ａ像信号とＢ像信号は欠陥という現象が発生する。視差画像であるＡ像やＢ像に欠陥があると、撮像時に視差画像間の相関をとる（位相差を検出する）ことで得られる焦点検出やデフォーカスマップの生成を正しく行うことが出来ない。あるいは、撮像後の画像処理で焦点位置を変更するリフォーカス処理や仮想的な視点の画像を生成する仮想視点画像処理などを正しく行うことができない。
【００３９】
そこで、本実施形態では、撮像時のカメラ内での視差画像（Ａ像信号）を用いた演算では、欠陥のある画素群からの信号について補正をせずに、欠陥のある画素群からの信号を除外して演算を行う。これは、撮像時の補正による処理負荷の増加やタイムラグを防ぐためである。また、撮像時に想定される例えば相関演算などの処理では、欠陥のある画素群からの信号を除外したとしても処理精度上大きな問題になりにくいからである。
【００４０】
一方、記録される視差画像に対しては、欠陥のある画素群からの信号について補正を行う。記録される視差画像では、観賞用画像として使用される可能性や、外部の汎用装置に出力される場合に、視差画像に欠陥が残ってしまうことを防ぐためである。また、記録後の画像処理ではリフォーカス処理や仮想視点画像の生成処理など、映像をより直接的に画像として用いることが多く想定されるため、画質、精度の面で補正を行う必要性がより高いためである。
【００４１】
以下で、上述した撮像素子１０３により取得されるＡ＋Ｂ像、Ａ像に対して相関演算を伴う焦点調節処理を行うと共に、Ａ＋Ｂ像、Ａ像を１の画像ファイルに記録する処理を行う映像信号処理部１２１の構成と動作について詳細に説明する。
【００４２】
＜映像信号処理部の構成＞
図８は映像信号処理部１２１の一部である映像信号処理部１２１Ａの構成を表す図である。映像信号処理部１２１Ａには、バス１５０を介して、ＣＰＵ１３１、メモリ１３２、不揮発性メモリ１３３が接続される。
【００４３】
メモリ１３２は、映像信号処理部１２１Ａの出力画像データの他、ＣＰＵ１３１が各種処理を行う際のデータを一時的に記憶する。
【００４４】
不揮発性メモリ１３３は、ＣＰＵ１３１が実行するプログラムデータや、撮像素子１０３の個体差に応じたＡ像欠陥行データ（欠陥データ）を保持する。Ａ像欠陥行データは製品の製造・出荷時に計測の上予め記憶されている。また、メンテナンス時にサポートセンター等で技術者により再度計測されて記憶されてもよい。
【００４５】
Ａ＋Ｂ像生成部８０１は、ＡＦＥ１０４から順次出力されるＡ＋Ｂ像に撮像素子１０３等の個体差に起因する補正を行い、補正後のＡ＋Ｂ像を出力する。
【００４６】
現像処理部８０２は、Ａ＋Ｂ像生成部８０１が出力したＡ＋Ｂ像を入力とし、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換等の現像処理や各種の補正処理を行う。
【００４７】
非可逆圧縮処理部８０３は、例えばＪＰＥＧ圧縮などの非可逆圧縮処理を行い、メモリインターフェイス８０４を経由して、メモリ１３２に非可逆圧縮画像を出力する。
【００４８】
Ａ像生成部８０５は、Ａ＋Ｂ像生成部８０１と同様に、ＡＦＥ１０４から順次出力されるＡ像に撮像素子１０３等の個体差に起因する補正を行い、補正後のＡ像を出力する。
【００４９】
Ａ像欠陥行補正部８００は、ＡＦＥ１０４から順次出力されるＡ像の画像に対して、不揮発性メモリ１３３に保持した欠陥行データを元に欠陥行補正を行う。
【００５０】
Ｂ像生成部８０７は、Ａ＋Ｂ像生成部８０１、Ａ像生成部８０５からそれぞれ出力されるＡ＋Ｂ像とＡ像から、減算によりＢ像を生成する。
【００５１】
可逆圧縮処理部８０６は、Ａ＋Ｂ像生成部８０１、Ａ像欠陥行補正部８００から入力される画像それぞれに対し、符号化による可逆圧縮処理を行い、メモリインターフェイス８０４を経由して、メモリ１３２に可逆圧縮画像を出力する。
【００５２】
相関演算部８０８は、Ａ像生成部８０５、Ｂ像生成部８０７から出力されるＡ像、Ｂ像を用いて相関波形を算出する相関演算を行う。相関演算の処理の詳細は後述する。
【００５３】
デフォーカス量算出部８０９は、相関演算部８０８で得られた相関波形に基づいて像ずれ量を算出し、像ずれ量をデフォーカス量に換算して、画像内の所望の領域におけるデフォーカス量を算出する。レンズ制御部１４１は、算出されたデフォーカス量に基づいてレンズ部１０１のフォーカスレンズの駆動を制御し、焦点調節を行う。
【００５４】
ファイル生成部８１０は、可逆圧縮処理部８０６や非可逆圧縮処理部８０３から得られる画像データや予め記憶されているＡ像の欠陥行データなどを含めたデータをメモリインターフェイス８０４を介して取得し、それらのデータを含めた画像ファイルを生成する。
【００５５】
本実施形態では、Ａ像欠陥行補正部８００は、相関演算部８０８へ出力するＡ像の画像に対しては欠陥行補正を行わず、可逆圧縮処理部８０６へ出力するＡ像の画像に対して欠陥行補正を行う。このように、Ａ像欠陥行補正部８００は、その後の処理に応じて補正の機能をオフすることができる。
【００５６】
欠陥行補正は、例えば図９に示すような同色上隣接画素の前置補間などを用いる。図９（ａ）は画面水平方向に生じた欠陥行の模式図であり、図９（ｂ）は（ａ）での欠陥行の各画素値を上に隣接する非欠陥行の画素値で置換する前置補間処理の模式図である。このほか、下に隣接する非欠陥行を用いた補間や、欠陥行に隣接する行を上下ともに用いて線形補間などの補間を行ってもよい。なお、ここでいう隣接するとは画素同士が隣接しているとは限らず、同色フィルタの画素で最至近の行、という意味である。また、必ずしも隣接する必要はなく、周辺行の画素値を用いて補間が行われればよい。
【００５７】
さらに、欠陥行が前置補間されたＡ像をＡ＋Ｂ像に対して減算することで、Ｂ像が得られる。Ａ像とＡ＋Ｂ像はそれぞれ別のタイミングでＡＤ変換をしたものであるので、前置補間後のＡ像欠陥行をＢ像に変換することで、ＡＤ変換時の時刻差により生じるアナログ的なノイズ成分を重畳することができる。
【００５８】
一般的に前置補間などの画像処理を広い範囲に施すと、塗りつぶしたような違和感のある画像となってしまうが、本実施形態では、Ａ像の１行分のデータに対して補間処理を行うので、より好適な画質を得るためには、Ｂ像に変換した方がよい。
【００５９】
＜撮像装置の撮像・記録動作の説明＞
以下、図１０（ａ）、（ｂ）、（ｃ）を参照して、本実施形態における撮像装置のフローチャートについて説明する。各フローチャートの各ステップは、ＣＰＵ１３１あるいはＣＰＵ１３１による各部への指示によって実行される。
【００６０】
図１０（ａ）において、ＣＰＵ１３１は、電源投入や撮像モードへの設定を検知して処理を開始する。ステップＳ１００１では、ユーザ設定や不図示の測光センサの出力、画像解析結果に基づいてズーム、絞り、シャッタースピード、ＩＳＯ感度、ホワイトバランスなどの撮影条件の設定を行う。
【００６１】
ステップＳ１００２では、上述した撮影条件で露光を行う。
【００６２】
ステップＳ１００３では、ステップＳ１００２の露光で得られたＡ像、Ａ＋Ｂ像を用いて相関演算を行い、焦点調節を行う。これらステップＳ１００１〜Ｓ１００３の処理を第１レリーズスイッチ１６２が押下げされるまで繰り返す（Ｓ１００４）。
【００６３】
ステップＳ１００５では、第１レリーズスイッチのＯＮに応じてフォーカスや露出を固定するモードにおいて再度、焦点調節処理を行う。
【００６４】
ステップＳ１００６では、第２レリーズスイッチがＯＮされたか（撮像指示がおこなわれたか）を検知し、そしてステップＳ１００７は、第２レリーズスイッチがＯＦＦである場合、第１レリーズスイッチがＯＮかどうかを検知する。第２レリーズスイッチがＯＮであれば本露光ステップＳ１００８に進み、第１レリーズスイッチがＯＮの状態で第２レリーズスイッチがＯＦＦであれば、特にＡＦ、ＡＥなどの撮影条件が固定された状態で第２レリーズスイッチのＯＮを待機する状態に入る。第１レリーズスイッチまでＯＦＦになると、ステップＳ１００１に戻る。
【００６５】
ステップＳ１００８では、ステップＳ１００５で決定した撮影条件で本露光が行われ、画像が記録される。ステップＳ１００９では、電源がＯＦＦになっていないか、あるいは本モードがメニュー表示モードや再生モードなどに変更されていないかを検知し、電源ＯＦＦや他モードに変更されていれば処理を終了する。引き続き、本モードが継続される場合には、ステップＳ１００１に戻って処理が繰り返される。なお、電源ＯＦＦや他モードへの変更は随時ユーザからの操作を受け付けても良い。
【００６６】
図１０（ｂ）は、ステップＳ１００３及びステップＳ１００５で実行される焦点調節処理のフローチャートである。
【００６７】
ステップＳ１０２１では、ユーザの設定あるいは画像解析等により自動で設定されたピントを合わせる領域（焦点検出領域）のＡ像、Ａ＋Ｂ像を読み出し、さらにＢ像生成部８０７によって両像から前述した演算によってＢ像を取得する。
【００６８】
ステップＳ１０２２では、予め記憶しておいた欠陥行データを用いてＡ像の欠陥行を特定し、焦点検出領域の中で欠陥行を除く領域の画素値を用いて相関波形を算出する。ここで、相関波形は各行で求めた相関波形を積算して求めてもよいし、列ごとに画素値を一定行分加算し、相関波形を算出してもよい。具体的には、相関値は以下の式（１）で算出されるように、Ａ像とＢ像の各画素での信号値の差の絶対値を求めることで算出される。
【００６９】
【数１】
0006723709.tif 000002
【００７０】
Ａｘ、Ｂｘは指定した行での、Ａ像、Ｂ像のｘ座標の出力をそれぞれ示す。つまり、Ｃ（Ｉｙ）は、Ｂ像をＩｙ画素分シフトさせたときのＡ像とＢ像の差の絶対値の総和を求めている。これらを複数のシフト数で算出しプロットして得られるものが相関波形であり、この相関波形が最小値をとるところが像ずれ量に対応する。また、相関波形の算出方法はこれに限らず、公知の手法を用いることができる。
【００７１】
ステップＳ１０２３では、ステップＳ１０２２で得られた相関波形から像ずれ量を算出し、さらにデフォーカス量に換算する。
【００７２】
ステップＳ１０２４では、得られたデフォーカス量に基づいてレンズ制御部１４１がレンズ部１０１のフォーカスレンズを駆動し、焦点調節を行って焦点調節処理を終了する。
【００７３】
図１０（ｃ）は、ステップＳ１００８で実行される本露光・記録処理のフローチャートである。ステップＳ１０３１では、本露光により取得されたＡ＋Ｂ像、Ａ像を撮像素子１０３から上述した流れで読み出し、映像信号処理部１２１Ａへ出力する。ステップＳ１０３２では、前述したように、読み出されたＡ像に対して予め記憶しておいた欠陥行データを用いてＡ行欠陥補正部８００が欠陥補正を行う。
【００７４】
以下、ステップＳ１０３３、Ｓ１０３４、Ｓ１０３５、Ｓ１０３６は並行して処理が可能であるが、メモリ１３２の空き状況や、映像信号処理部１２１Ａの処理スピード等に応じて、順に実行してもよい。また、映像信号処理部１２１Ａがシングルプロセッサであってもよく、この場合、Ａ＋Ｂ像、Ａ像は順に処理していかなければならない。
【００７５】
ステップＳ１０３３では、可逆圧縮処理部８０６が、Ａ＋Ｂ像に対して可逆圧縮処理を施し、メモリインターフェイス８０４を介してメモリ１３２に保存する。
【００７６】
ステップＳ１０３４では、現像処理部８０２は、Ａ＋Ｂ像に対して種々の現像処理を行う。次にステップＳ１０３５に進み、非可逆圧縮処理部８０３において非可逆圧縮処理を行い、Ａ＋Ｂ像表示用画像としてメモリ１３２に保存する。また同時に、Ａ＋Ｂ像表示用画像を縮小したＡ＋Ｂ像サムネイル画像を生成して、メモリ１３２に保存する。
【００７７】
ステップＳ１０３６では、可逆圧縮処理部８０６は、Ａ像に対して、可逆圧縮処理を施し、メモリ１３２に保存する。
【００７８】
ステップＳ１０３３、Ｓ１０３５、Ｓ１０３６が完了したら、ステップＳ１０３７へ進み、画像ファイルの生成を行う。画像ファイルの生成においては、可逆圧縮したＡ＋Ｂ像とＡ像、非可逆圧縮したＡ＋Ｂ像表示用画像、及び、Ａ＋Ｂ像サムネイル画像をメモリ１３２から読み出してファイルを構成する。さらに、不揮発性メモリ１３３に保持している、Ａ像の欠陥行データを読み出して画像ファイル内に付加する。画像ファイルの構成に関する詳細は後述する。
【００７９】
ステップＳ１０３８では生成された画像ファイルを、カード入出力部１７１を介して、外部の記録媒体１７３へ保存し、本露光・記録処理を終了する。
【００８０】
＜画像ファイル構造の説明＞
次にステップＳ１０３７で生成される画像ファイルの詳細な構成について図１１を用いて説明する。
【００８１】
図１１（ａ）は一般的なＴＩＦＦ（ＴａｇｇｅｄＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）画像ファイルの構造を表す図である。
【００８２】
ＴＩＦＦ画像ファイル１１００は１つのファイルに複数の画像データを格納することができ、ＴＩＦＦヘッダ部１１０１、複数のＩＦＤ（ＩｍａｇｅＦｉｌｅＤｉｒｅｃｔｏｒｙ）部１１０２〜１１０５、複数の画像データ部１１０６〜１１０９で構成されている。
【００８３】
ＴＩＦＦヘッダ部１１０１はＴＩＦＦファイル構造であることを識別するためのデータを格納する領域である。
【００８４】
各ＩＦＤ部１１０２〜１１０５は、各画像データ部１１０６〜１１０９に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ〜Ｄと、画像データ部１１０６〜１１０９までのオフセット値Ｅ〜Ｈを格納する領域である。すなわち、各ＩＦＤ部は、画像データの個数分だけ存在する。
【００８５】
０ｔｈＩＦＤ部１１０２は０ｔｈ画像データ部１１０６に対応するように、ひとつのＩＦＤはひとつの画像データに対応しており、ＩＦＤ部１１０２〜１１０５のオフセット値Ｅ〜Ｈにより各画像データの開始位置が特定されることになる。
【００８６】
図１１（ｂ）は本実施形態に対するＡ＋Ｂ像とＡ像とＡ像欠陥行データを含むＴＩＦＦ画像ファイルを生成した場合のファイル構造の一例を表す図である。
【００８７】
画像ファイル１１１０の構造はＴＩＦＦ画像データを構成するＴＩＦＦヘッダ部１１１１、Ａ＋Ｂ像サムネイル画像用のＩＦＤである０ｔｈＩＦＤ部１１１２、Ａ＋Ｂ像表示用画像用のＩＦＤである１ｓｔＩＦＤ部１１１３を有する。さらに、Ａ＋Ｂ像のＩＦＤである２ｎｄＩＦＤ部１１１４、Ａ像のＩＦＤである３ｒｄＩＦＤ部１１１５で構成される。画像データ部は、Ａ＋Ｂ像サムネイル画像部１１１６、Ａ＋Ｂ像表示用画像部１１１７、Ａ＋Ｂ像部１１１８、Ａ像部１１１９で構成されている。
【００８８】
ＴＩＦＦヘッダ部１１１１はＴＩＦＦファイル構造であることを識別するためのデータを格納する領域である。
【００８９】
０ｔｈＩＦＤ部１１１２は、Ａ＋Ｂ像サムネイル画像部１１１６に関連する撮影情報やパラメータなどのメタデータＡとＡ＋Ｂ像サムネイル画像部１１１６までのオフセット値Ｅが格納される領域である。
【００９０】
１ｓｔＩＦＤ部１１１３は、Ａ＋Ｂ像表示用画像部１１１７に関連する撮影情報やパラメータなどのメタデータＢとＡ＋Ｂ像表示用画像部１１１７までのオフセット値Ｆが格納される領域である。
【００９１】
２ｎｄＩＦＤ部１１１４は、Ａ＋Ｂ像部１１１８に関連する撮影情報やパラメータなどのメタデータＣとＡ＋Ｂ像部１１１８までのオフセット値Ｇが格納される領域である。
【００９２】
３ｒｄＩＦＤ部１１１５は、Ａ像部１１１９に関連する撮影情報やパラメータなどのメタデータＤとＡ像部１１１９までのオフセット値Ｈが格納される領域である。また本実施形態では、Ａ像のメタデータの一つとして、Ａ像欠陥行データを含む。ただし、記録されるＡ像には既に欠陥行補正が施されているため、必ずしもＡ像欠陥行データを記録しておく必要はなく、記録しなくてもよい。また各種撮影条件やユーザの設定に応じて記録の有無を切り替えてもよい。
【００９３】
図１２は欠陥行データの一例を示した図であり、欠陥のある画素位置を特定するために、欠陥行データの総数と、欠陥行の行数を保持する。例えば、１０行目、１５行目、３０行目が欠陥行である場合、総数３、欠陥行１０、１５、３０のデータとなる。
【００９４】
これらオフセット値Ｅ〜Ｈにより、各画像データの開始位置が特定されることになる。
【００９５】
Ａ＋Ｂ像サムネイル画像部１１１６は表示部１５３に複数枚（インデックス）表示を行う際などに利用するために、Ａ＋Ｂ像表示用画像部１１１７に格納されている画像を間引いてリサイズした画像を格納する領域である。
【００９６】
Ａ＋Ｂ像表示用画像部１１１７は表示部１５３に表示を行う際などに利用するために、撮像素子１０３から画像データを映像信号処理部１２１Ａで処理して得たＪＰＥＧ画像を格納する領域である。
【００９７】
Ａ＋Ｂ像部１１１８は、撮影後にアプリケーションソフトなどで撮影パラメータを変更してＪＰＥＧ画像の現像を行う際などに利用するために、映像信号処理部１２１Ａで可逆圧縮処理して得たＡ＋Ｂ像を格納する領域である。
【００９８】
Ａ像部１１１９は、撮影後にアプリケーションソフトなどでＡ＋Ｂ像と合わせて、リフォーカス処理や立体画像生成処理などに利用するために、映像信号処理部１２１Ａで可逆圧縮処理して得たＡ像を格納する領域である。
【００９９】
撮影後にリフォーカス処理や立体画像生成処理を行うにあたっては、３ｒｄＩＦＤ部１１１５に保持するＡ像欠陥行データを利用することで、補完された欠陥行を認識して各種画像処理を行うことができる。本実施形態では、本画像ファイルを使用する画像処理装置で、Ａ像欠陥行データを用いて記録時の補正（補間）よりもより高精度な補正処理を欠陥行に対して行うことで、画像処理装置内での画像処理の精度と画質を向上させることもできる。
【０１００】
さらに、リフォーカス処理や仮想視点画像の生成処理をスペック上行うことができないアプリケーションソフトや画像処理装置にとっては不要なデータとなるＡ像のデータ部分を、ＩＦＤ部として３ｒｄＩＦＤ部１１１５に持つ。さらに画像データ部としてＡ像部１１１９を最後尾に持つ。これにより、Ａ像のデータに対応しないアプリケーションや装置であっても従来通りの読み出し動作が行えるため、ファイルの互換性を維持することができる。
【０１０１】
次に、上述したようにして記録された画像ファイルを読み出し、復号し、画像処理する画像処理装置の構成と動作について説明する。本実施形態では、カメラ１００内の主に映像信号処理部１２１Ａで行うこととする。しかし、本発明でいう画像処理装置は、撮像装置内部に構成されているものに限らず、上述した画像ファイルを取得し、処理可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
【０１０２】
＜再生時の画像処理装置の説明＞
画像処理装置としての、映像信号処理部１２１を含めた各部の構成と動作について説明する。
【０１０３】
復号時に用いる、映像信号処理部１２１の他の一部である映像信号処理部１２１Ｂの構成を図１３に示した。ここでは、再生時に用いる画像処理装置として、撮像装置内の映像信号処理部を用いているが、撮像装置と異なる外部の画像処理装置として図１３のような構成を取っていてももちろんよい。
【０１０４】
復号時は、映像信号処理部１２１Ｂの復号部１３０１、Ａ像欠陥行補正部１３０２、復号時画像処理部１３０３を使用する。なお、ここでのＡ像とは１つの視差画像を表しているもので、後述する画像処理においては、このＡ像が撮像光学系においてどの瞳領域を通過した光束に対応しているかに依らず同じ扱いでよい。
【０１０５】
復号部１３０１は、メモリインターフェイス８０４を介してメモリ１３２から取得される前述の画像ファイルを復号し、欠陥行データと、撮像素子の出力と同じ形式に変換したＡ像データとＡ＋Ｂ像データを出力する。ここで、復号部１３０１はヘッダ部を順に解析し、画像ファイルにどのような画像が含まれているかを判定する。本実施形態では、図１１（ｂ）に示したようにＡ像部１１１９のヘッダ情報及びデータ部をそれぞれの最後尾に持たせている。これにより、Ａ像部１１１９の出力に対応していない復号部しか有さない画像処理装置であっても、０ｔｈＩＦＤ部１１１２から２ｎｄＩＦＤ部１１１４までは従来通りに読み取ることができ、互換性を損なわずにすむ。
【０１０６】
Ａ像欠陥行補正部１３０２は、欠陥行データと、Ａ像とＡ＋Ｂ像を復号部１３０１から入力される。入力された欠陥行データを記憶し、入力されたＡ像の欠陥行データが示す行を補正する。
【０１０７】
Ａ像欠陥行補正部１３０２が行う補正（復号時補正）は、前述のＡ像欠陥行補正部８００とは異なる方法で、処理負荷あるいは回路規模はより大きいが、より精度の高い補正方法を用いる。たとえば、対象画を中心に７×７のマトリクスから、最も確からしい画素値を予測して補間する。再生、復号時のＡ像欠陥行補正部１３０２による補正では、撮影時とは違い撮影間隔（タイムラグ）などの影響を考慮する必要がないので、上述したような高精度な処理が可能となりやすい。
【０１０８】
復号時画像処理部１３０３は、Ａ像欠陥行補正部１３０２から入力されるＡ像をＡ＋Ｂ像に対して減算することで、Ｂ像を生成する。Ａ像とＢ像の二つの視差画像から、公知の手段でリフォーカス処理や、立体画像生成処理を行う。復号時画像処理部１３０３はユーザからの操作入力等に応じてそうした画像処理を施した画像データを出力する。
【０１０９】
非可逆圧縮処理部８０３に、復号時画像処理部１３０３の出力画像データが入力される。撮影時と同じく非可逆圧縮処理され、メモリインターフェイス８０４を経由して、メモリ１３２に非可逆圧縮画像を出力する。
【０１１０】
可逆圧縮処理部８０６は、Ａ像欠陥行補正部８００から出力されるＡ像とＡ＋Ｂ像それぞれに対し、可逆圧縮処理を行い、メモリインターフェイス８０４を経由して、メモリ１３２に可逆圧縮画像を出力する。
【０１１１】
以降の処理は、撮影時と同様であるので記述は省略する。
【０１１２】
ここで、復号時画像処理部１３０３が行うリフォーカス処理の一例を説明する。図１４は、本実施形態の撮像素子により取得されたＡ像とＢ像による１次元方向（行方向、水平方向）のリフォーカス処理を説明するための模式図である。ｉを整数として、撮像面１４００に配置された撮像素子の行方向ｉ番目の画素のＡ像をＡｉ、Ｂ像をＢｉで模式的に表している。Ａｉは、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。Ｂｉは、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。
【０１１３】
ＡｉとＢｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、Ａｉを角度θａに沿って仮想結像面１４１０まで平行移動させ、Ｂｉを角度θｂに沿って仮想結像面１４１０まで平行移動させ、加算することで、仮想結像面１４１０でのリフォーカス信号を生成できる。同様に、ＡｉとＢｉを画素整数個分シフトさせて合成することで、整数シフト量に応じた各仮想結像面でのリフォーカス画像を生成できる。
【０１１４】
また、本実施形態ではマイクロレンズ下の画素分割数が２であるため、上記の簡易的なリフォーカス処理例を示したが、リフォーカス処理はこれに限らない。より多分割に分割された画像を用いる場合などにも有効な、Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙと呼ばれる公知のリフォーカス処理の演算によってリフォーカスを実現してもよい。
【０１１５】
また、復号時画像処理部１３０３の画像処理としては、他にも各画素におけるＡ像、Ｂ像を重み付け加算することで、仮想的に視点を変更した画像を生成する、仮想視点画像の生成処理なども考えられる。
【０１１６】
また、相関演算部８０８は、撮影時とは別に再生時に相関演算を必要とする処理を行うこともできる。例えば再生時に改めてデフォーカス量を検出し、リフォーカスを行う場合や、デフォーカスマップを生成する場合に、それぞれＡ像、Ｂ像を用いた相関演算を行う。この際、記録時にＡ像欠陥行について補正がなされている画像ファイルから読み出されたＡ像、Ｂ像であっても、相関演算から欠陥行に対応するＡ像、Ｂ像のデータを除外して相関演算を行ってもよい。すなわち、復号時画像処理部１３０３が行う画像処理として相関演算を行う場合には欠陥のある信号に対応するデータは除外することもできる。
【０１１７】
以上のように、本実施形態では、撮像・記録時のカメラ内の演算では、視差画像のうち欠陥のある画素群からの信号について補正をせずに除外して演算を行う。また、記録される視差画像については、欠陥のある画素群からの信号について補正を行った画像を記録する。これにより、一部の視差画像に生じる欠陥が、記録画像に及ぼす影響を低減させることができる。また、視差画像に生じる欠陥が画像処理あるいは画像処理後の画像に及ぼす影響を低減させることができる。
【０１１８】
本実施形態では、視差画像の欠陥のある画素群を示すデータ（欠陥行データ）を視差画像のＩＦＤ部に記録しているが、これに限らず、画像ファイルのＩＦＤ部の先頭に記録されていてもよい。また、視差画像とファイル名などの何らかの方法で関連付けられていれば、欠陥行データは別ファイルで記録していてもよい。
【０１１９】
〔第２の実施形態〕
上述した第１の実施形態では、記録される視差画像について当該視差画像を用いて行う画像処理への影響を低減させるために補正を行って記録していた。これに対して本実施形態では、撮影後の記録時には欠陥のある画素群からの信号を補正することはせずに、視差画像と視差画像欠陥行データを関連付けて記録する。
【０１２０】
図１５は図１の映像信号処理部１２１Ａに代わる、本実施形態における映像信号処理部１５００Ａのブロック図である。図１のその他のブロックは第１の実施形態と同様であるため説明を省略する。第１の実施形態に対応する図８の映像信号処理部１２１Ａと違い、Ａ像欠陥行補正部８００がない。
【０１２１】
また、第１の実施形態と異なり、本実施形態では、図１０（Ｃ）のステップＳ１０３２のステップであるＡ像の欠陥行補正処理を行わない。
【０１２２】
なお、本実施形態では、第１の実施形態と同様の映像信号処理部１２１Ｂを備えている。第１の実施形態で説明したように、映像信号処理部１２１Ｂは入力された欠陥行データに基づいて、復号したＡ像に対して補正を行う機能を有している。そのため、入力された画像ファイルに含まれるＡ像に対して補正が行われていない場合であっても、復号時にＡ像に対して第１の実施形態と同様に欠陥行に対応する画素信号を補正できる。
【０１２３】
以上のように、本実施形態では、撮像・記録時のカメラ内の演算では、視差画像のうち欠陥のある画素群からの信号について補正をせずに除外して演算を行う。また、記録される視差画像については、欠陥のある画素群からの信号についてのデータを視差画像と関連付けて記録する。これにより、再生時の画像処理として、記録された一部の視差画像に生じる欠陥を踏まえて処理することができ、欠陥の影響を低減させることができる。
【０１２４】
上述した各実施形態では、Ａ像欠陥行に対する補正方法としてＡ像の前後の行で前置補間しているが、補正方法としては、これに限らない。例えば、前述した方法で欠陥行が補間されたＡ像をＡ＋Ｂ像に対して減算することで、Ｂ像を生成し、Ａ像ではなく、Ｂ像を記録するようにする。Ａ像とＡ＋Ｂ像はそれぞれ別のタイミングでＡＤ変換をしたものであるので、前置補間後の欠陥行のＡ像をＢ像に変換することで、ＡＤ変換時の時刻差により生じるアナログ的なノイズ成分を重畳することができる。これにより、前置補間の塗りつぶしたような違和感が軽減された画像が記録できることになる。
【０１２５】
また、上述した各実施形態では、各画素からの電荷を読み出す信号線が行単位で共通していることで、信号線のショートに起因する欠陥が欠陥行として生じ、補正は欠陥行補正であり、欠陥画素群のデータは欠陥行データとなった。しかし、画素からの信号を読み出す信号線は必ずしもこのように配線されているとは限らないので、欠陥のある画素群の分布は必ずしも行単位とは限らない。その場合、撮像素子の構造に対応した欠陥画素群のデータの持ち方、補正の仕方をすればよいのは言うまでもない。
【０１２６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１２７】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１２８】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１２９】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１３０】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１３１】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【０１３２】
また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【符号の説明】
【０１３３】
１００  カメラ
１０３  撮像素子
１２１  映像信号処理部
１３１  ＣＰＵ
１３３  不揮発性メモリ
【図１】
0006723709.tif 000003
【図２】
0006723709.tif 000004
【図３】
0006723709.tif 000005
【図４】
0006723709.tif 000006
【図５】
0006723709.tif 000007
【図６】
0006723709.tif 000008
【図７】
0006723709.tif 000009
【図８】
0006723709.tif 000010
【図９】
0006723709.tif 000011
【図１０】
0006723709.tif 000012
【図１１】
0006723709.tif 000013
【図１２】
0006723709.tif 000014
【図１３】
0006723709.tif 000015
【図１４】
0006723709.tif 000016
【図１５】
0006723709.tif 000017