(57)【特許請求の範囲】
【請求項１】
撮像素子が有する画素のうち、撮像用画素の欠陥画素と焦点検出用画素との情報を記憶する画素情報管理装置であって、
撮像用画素の欠陥画素と焦点検出用画素との各々について、
撮像用画素の欠陥画素か焦点検出用画素かを示す情報を格納する第１の領域と、
撮像用画素の欠陥画素については第１の情報を、焦点検出用画素については前記第１の情報を含まない第２の情報を格納する第２の領域と、
画素の位置を特定する情報を格納する位置情報領域と、
を有する画素情報を記憶し、
前記第１の領域、前記第２の領域、および前記位置情報領域の各々は固定ビット数を有し、
前記位置情報領域には、前記画素の位置を特定する情報として、他の撮像用画素の欠陥画素もしくは他の焦点検出用画素からの、予め定められた画素のスキャン規則に従った相対距離を記憶することを特徴とする画素情報管理装置。
【請求項２】
撮像素子が有する画素のうち、撮像用画素の欠陥画素と焦点検出用画素との情報を記憶する画素情報管理装置であって、
撮像用画素の欠陥画素と焦点検出用画素との各々について、
撮像用画素の欠陥画素か焦点検出用画素かを示す情報を格納する第１の領域と、
撮像用画素の欠陥画素については第１の情報を、焦点検出用画素については前記第１の情報を含まない第２の情報を格納する第２の領域と、
画素の位置を特定する情報を格納する位置情報領域と、
をそれぞれ異なる領域に有する画素情報を記憶し、
前記位置情報領域には、前記画素の位置を特定する情報として、他の撮像用画素の欠陥画素もしくは他の焦点検出用画素からの相対距離を記憶することを特徴とする画素情報管理装置。
【請求項３】
前記第１の領域、前記第２の領域、および前記位置情報領域の各々は固定ビット数を有することを特徴とする請求項２記載の画素情報管理装置。
【請求項４】
前記焦点検出用画素は、前記撮像素子において予め定められた規則に従って配されていることを特徴とする請求項３記載の画素情報管理装置。
【請求項５】
前記位置情報領域のビット数で表現できる、前記他の撮像用画素の欠陥画素もしくは他の焦点検出用画素のからの相対距離を超える相対距離については、前記第１の領域に焦点検出用画素も撮像用画素も示さない情報を格納した画素情報を含む、複数の画素情報の前記位置情報領域が格納する前記画素の位置を特定する情報を用いて表現することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画素情報管理装置。
【請求項６】
前記撮像用画素の欠陥画素か焦点検出用画素かを示す情報が、欠陥画素の種類を示す情報を含むことを特徴とする請求項１乃至請求項５のいずれか１項に記載の画素情報管理装置。
【請求項７】
前記第１の情報が欠陥レベルを示す情報を含み、前記第２の情報が焦点検出用画素の種類を示す情報を含むことを特徴とする請求項１乃至請求項６のいずれか１項に記載の画素情報管理装置。
【請求項８】
前記撮像素子の製造時に前記画素情報を記憶するための領域と、増えた欠陥画素の画素情報を記憶するための領域とをさらに有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画素情報管理装置。
【請求項９】
前記撮像素子が、読み出される画素の数の異なる複数の読み出しモードを有し、
前記画素情報管理装置が、撮像用画素の欠陥画素と焦点検出用画素との各々について、前記位置情報領域に前記読み出される画素の数に対応した前記画素の位置を特定する情報を格納した複数の画素情報を記憶することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画素情報管理装置。
【請求項１０】
前記焦点検出用画素が前記撮像素子の部分領域に配置され、かつ前記撮像素子が間引き読み出しされるモードを有する場合、
前記画素情報管理装置が、前記間引き読み出しされるモードに対応した前記画素情報として、前記撮像素子の前記部分領域以外の領域に、前記焦点検出用画素と同様の配置密度で前記撮像用画素の欠陥画素が存在するような前記画素情報を記憶することを特徴とする請求項９記載の画素情報管理装置。
【請求項１１】
撮像用画素と焦点検出用画素とを有する撮像素子と、
請求項１乃至請求項７、請求項９、および請求項１０のいずれか１項に記載の画素情報管理装置とを有する撮像装置であって、
前記画素情報のうち、焦点検出用画素を示す情報が前記第１の領域に格納された画素情報を用いて、前記撮像素子が有する焦点検出用画素を判別し、焦点検出用画素の出力信号から位相差検出方式の焦点検出用の像信号を生成する手段と、
前記画素情報のうち、撮像用画素の欠陥画素または焦点検出用画素を示す情報が前記第１の領域に格納された画素情報を用いて、撮像用画素の欠陥画素または焦点検出用画素の位置の信号を補間により生成する手段と、を有することを特徴とする撮像装置。
【請求項１２】
撮像用画素と少なくとも１つの焦点検出用画素とを有する撮像素子と、
前記撮像用画素の欠陥画素と、前記焦点検出用画素との各々について、撮像用画素の欠陥画素か、焦点検出用画素かを示す情報を格納する第１の領域と、撮像用画素の欠陥画素については第１の情報を、焦点検出用画素については前記第１の情報を含まない第２の情報を格納する第２の領域と、画素の位置を特定する情報を格納する位置情報領域と、をそれぞれ異なる領域に有する画素情報を記憶する画素情報管理装置とを有する撮像装置であって、
前記画素情報のうち、焦点検出用画素を示す情報が前記第１の領域に格納された画素情報を用いて、前記撮像素子が有する焦点検出用画素を判別し、焦点検出用画素の出力信号から位相差検出方式の焦点検出用の像信号を生成する手段と、
前記画素情報のうち、撮像用画素の欠陥画素または焦点検出用画素を示す情報が前記第１の領域に格納された画素情報を用いて、前記撮像用画素の欠陥画素または前記焦点検出用画素の位置の信号を補間により生成する手段と、を有することを特徴とする撮像装置。
【請求項１３】
前記第１の領域、前記第２の領域、および前記位置情報領域の各々は固定ビット数を有することを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記焦点検出用画素は、予め定められた規則に従って配されていることを特徴とする請求項１２または請求項１３記載の撮像装置。
【請求項１５】
前記位置情報領域のビット数で表現できる相対距離を超える相対距離については、前記第１の領域に焦点検出用画素も撮像用画素も示さない情報を格納した画素情報を含む、複数の画素情報の前記位置情報領域が格納する前記画素の位置を特定する情報を用いて表現することを特徴とする請求項１２乃至請求項１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記撮像用画素の欠陥画素か、焦点検出用画素かを示す情報が、欠陥画素の種類を示す情報を含むことを特徴とする請求項１２乃至請求項１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記第１の情報が欠陥レベルを示す情報を含み、前記第２の情報が焦点検出用画素の種類を含むことを特徴とする請求項１２乃至請求項１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記撮像素子の製造時に前記画素情報を記憶するための領域と、増えた欠陥画素の画素情報を記憶するための領域とを有することを特徴とする請求項１２乃至請求項１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記撮像素子が、読み出される画素の数の異なる複数の読み出しモードを有し、
前記画素情報管理装置が、撮像用画素の欠陥画素と、焦点検出用画素との各々について、前記位置情報領域に前記読み出される画素の数に対応した前記画素の位置を特定する情報を格納した複数の画素情報を有することを特徴とする請求項１２乃至請求項１８のいずれか１項に記載の撮像装置。
【請求項２０】
前記焦点検出用画素が前記撮像素子の部分領域に配置され、かつ前記撮像素子が間引き読み出しされるモードを有する場合、
前記画素情報管理装置が、前記間引き読み出しされるモードに対応した前記画素情報として、前記撮像素子の前記部分領域以外の領域に、前記焦点検出用画素と同様の配置密度で前記撮像用画素の欠陥画素が存在するような前記画素情報を有することを特徴とする請求項１９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素情報管理装置およびそれを用いた撮像装置に関する。特に、撮像素子が有する画素についての情報（画素情報）を効率よく管理する技術および、画素情報を利用した信号処理技術に関する。
【背景技術】
【０００２】
従来、一部の画素を、瞳分割した焦点検出用画素とすることにより、位相差検出方式の焦点検出用信号と撮像信号との両方を取得可能な撮像素子が提案されている。焦点検出用画素は、マイクロレンズと光電変換部の間に部分的な遮光層を有する特殊な画素である。遮光層の配置を異ならせることにより、光電変換部が受光する瞳領域の異なる焦点検出用画素を形成し、同種の焦点検出用画素の出力から形成した一対の像信号（Ａ像、Ｂ像とも呼ばれる）のずれ量とずれ方向から、デフォーカス量と方向とを検出することができる。
【０００３】
このような撮像素子においては、撮像素子の出力する画素信号が焦点検出用画素の出力か撮像用画素の出力かを区別して処理する必要がある。すなわち、焦点検出用画素の出力については焦点検出用の像信号を形成し、撮像用画素の出力については焦点検出用画素位置の撮像信号を補間する必要がある。焦点検出用画素の位置を不揮発性メモリに予め記憶させておくことで、焦点検出用画素の出力と撮像用画素の出力とを区別することができる。
【０００４】
なお、従来、撮像素子が有する欠陥画素の位置を予め記憶しておき、欠陥画素の位置の撮像信号を補間することが知られている。焦点検出用画素位置の撮像信号についても同様に補間することができるため、欠陥画素の位置とともに焦点検出用画素位置の情報も記憶しておけば、焦点検出用画素を有する撮像素子を用いる場合も信号処理の方法を変える必要が無い。
【０００５】
一方、焦点検出用画素をどのように配置するか、またどのような焦点検出用画素を配置するかにより、焦点検出精度が影響をうけるため、様々な提案がなされている。
例えば、特許文献１では、瞳分割方向を異ならせた焦点検出用画素を用いるとともに、焦点検出用画素の配置方法を工夫することにより、焦点検出性能を向上させる手法が開示されている。
【０００６】
また特許文献２では、左右に瞳分割を行う瞳の中心を少しづつづらした、５種類の開口の焦点検出用画素を撮像素子中に配置することにより、マイクロレンズの光軸中心が製造誤差によりずれた場合でも、良好な焦点検出精度を実現することが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９―２１７０７４号公報
【特許文献２】特開２０１０−１１３１６２号公報
【特許文献３】特開２００９−１６３２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１と特許文献２の開口種別をすべて含む構成をとる場合、縦、横、斜め×２の４方向に対し、それぞれ５種類の開口位置が存在し、さらに一対の像信号（Ａ像およびＢ像）を生成するために開口位置のずれ方向に２種類必要となる。その結果、方向４×開口位置５×開口位置のずれ方向（Ａ像用、Ｂ像用）２で、合計４０種類の焦点検出用画素が分散配置されることになる。
【０００９】
このように、多種の焦点検出用画素が存在する場合、種類に応じて出力信号を処理する必要があるため、予め記憶しておく必要のある情報量も増加する。例えば、特許文献３では補正を行う画素の位置を示す情報である画素アドレスと、瞳分割方向ビットと、ＡＢビットと、焦点検出用画素ビットと、傷ビットとを含んだ補正情報を記憶することが開示されている。焦点検出用画素ビットと、傷ビットとを用いることで、欠陥画素と焦点検出用画素の両方の情報を補正情報に記憶している。
【００１０】
特許文献３と同様にして上述の４０種類の焦点検出用画素の情報を記憶しようとすると、傷ビット（１）、焦点検出用画素ビット（１）、ＡＢビット（１）、瞳分割方向ビット（２）、開口位置（３）で合計８ビット必要となる（（）内は必要ビット数である）。さらに、横４０００ｘ縦３０００画素（１２００万画素）の撮像素子の場合、画素アドレスを２次元座標で表すには、縦方向、横方向とも１２ビットが必要であり、１つの欠陥画素・焦点検出用画素の情報を記録するために３０ビットが必要となる。しかしながら、撮像用画素の欠陥画素については、画素アドレスを除くと傷ビットの１ビットしか必要なく、７ビット分は無駄になっている。そのため情報を記録するためのメモリの利用効率が悪い。
【００１１】
メモリの利用効率を向上させるには、撮像用画素の欠陥画素の情報については焦点検出用画素とは別の形式、例えば別のテーブルに記憶することが考えられる。しかしながら、複数の異なるテーブルを用いた場合、その情報を用いる処理の内容もテーブルの種類に応じて変更する必要がある。また、画素出力をスキャンしながら処理を行うことを想定すると、１つの画素アドレスについて複数のテーブルを参照するのは処理効率の低下を招く。
【００１２】
本発明はこのような従来技術の課題に鑑みてなされたものである。従って、本発明の目的は、撮像用画素の欠陥画素の情報と、焦点検出用画素の情報とを同じ形式で、かつ効率よく記憶することのできる画素情報管理装置およびそれを用いた撮像装置を提供することである。
【課題を解決するための手段】
【００１３】
上述の目的は、撮像素子が有する画素のうち、撮像用画素の欠陥画素と焦点検出用画素との情報を記憶する画素情報管理装置であって、撮像用画素の欠陥画素と焦点検出用画素との各々について、撮像用画素の欠陥画素か焦点検出用画素かを示す情報を格納する第１の領域と、撮像用画素の欠陥画素については第１の情報を、焦点検出用画素については第１の情報を含まない第２の情報を格納する第２の領域と、画素の位置を特定する情報を格納する位置情報領域と、を有する画素情報を記憶し、第１の領域、第２の領域、および位置情報領域の各々は固定ビット数を有し、位置情報領域には、画素の位置を特定する情報として、他の撮像用画素の欠陥画素もしくは焦点検出用画素からの、予め定められた画素のスキャン規則に従った相対距離を記憶することを特徴とする画素情報管理装置によって達成される。
【発明の効果】
【００１４】
このような構成により本発明によれば、撮像用画素の欠陥画素の情報と、焦点検出用画素の情報とを同じ形式で、かつ効率よく記憶することのできる画素情報管理装置それを用いた撮像装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る画素情報管理装置を適用可能な装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】撮像用画素と焦点検出用画素の構造例を示す垂直断面図
【図３】焦点検出用画素と撮像用画像の配置例を示す図
【図４】焦点検出用画素の配置例を示す図
【図５】本発明の実施形態における画素情報の構成例を示す図
【図６】本発明の実施形態における画素情報から必要な情報を取得、生成する回路の構成例を示すブロック図
【図７】本発明の第２の実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図８】本発明の第３の実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図９】（ａ）は本発明の第４の実施形態における焦点検出用画素の配置例を示す図、（ｂ）は本発明の第４の実施形態における焦点検出用画素と欠陥画素の配置例を示す図
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下に、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。図１は、本発明の実施形態に係る画素情報管理装置を適用可能な装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。
撮像レンズ１０１は制御部１０７の制御に従って駆動するフォーカスレンズを有し、被写体像を撮像素子１０２の撮像面に形成する。撮像素子１０２はＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの光電変換素子であり、複数の画素が配置されている。撮像素子１０２は、撮像用画素と焦点検出用画素とを有している。画素情報管理装置の一形態である画素情報記憶部１０３は、欠陥画素や焦点検出用画素の位置情報を記憶する。なお、欠陥画素には、撮像用画素と焦点検出用画素の両方が存在しうる。画素分離回路１０４は、撮像素子１０２の出力信号のうち、焦点検出用画素の出力信号から、焦点検出用の１対の像信号（Ａ像信号およびＢ像信号）を生成する。
【００１７】
欠陥画素補正回路１０５は、撮像用画素の欠陥画素と焦点検出用画素の位置の信号を補間により生成する。なお、欠陥画素補正回路１０５は、欠陥画素でない撮像用画素の出力信号はそのまま出力する。信号処理回路１０６は、欠陥画素補間後の撮像素子１０２の出力信号からカラー画像信号を作成する。焦点検出回路１０８は、画素分離回路１０４の出力する１対の像信号のずれ方向およびずれ量から、デフォーカスの方向および量（方向は例えば符号によって表すことができるため、以下、まとめてデフォーカス量という）を計算する。制御部１０７は、焦点検出回路１０８が検出したデフォーカス量に応じて撮像レンズ１０１のフォーカシングレンズを駆動する。制御部１０７はまた、デジタルカメラ全体の動作を制御する。制御部１０７は例えばＣＰＵ，ＲＯＭ，ＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭに展開してＣＰＵが実行することにより、以下に説明するデジタルカメラの動作を実現することができる。
【００１８】
図２は、撮像素子１０２の画素構造例を示す垂直断面図である。図３では３つの連続する画素を取り出して示しており、中央の画素は焦点検出用画素、左右の画素は撮像用画素である。各画素とも光電変換部２０１，２０４、マイクロレンズ２０３、配線層２０２，２０５を有する。一方、焦点検出用画素にはカラーフィルタが設けられず、配線層２０５を利用して光電変換部２０４に入射する光束を制限することにより、瞳分割機能を持たせている。このように、焦点検出用画素における配線層２０５は、画素内の絞り機構として機能する。配線層２０５によって形成される開口部の位置を異ならせることにより、光電変換部２０４に入射する光束が通過する瞳領域を異ならせることができる。従って、水平方向に瞳分割する場合、配線層２０５によって形成される開口部の水平位置の異なる焦点検出用画素が少なくとも２種類形成される。
【００１９】
図３は、ベイヤ配列の原色カラーフィルタが設けられた撮像素子における焦点検出用画素の配置例を模式的に示す図である。ベイヤ配列では２×２画素を１単位として規則的にＲ，Ｇ，Ｂの各色画素が配置される。図３の例では、中央に存在するベイヤ配列の１単位に含まれるＲ画素の位置とＢ画素の位置に焦点検出用画素Ｓ１ ３０１，Ｓ２ ３０２が配置されている。焦点検出用画素Ｓ１，Ｓ２で水平方向に瞳分割する場合、焦点検出用画素Ｓ１，Ｓ２が有する開口の水平位置が異なるように配線層２０５が形成される。
【００２０】
上述したように、焦点検出用画素３０１、３０２の位置で得られるはずのＲ画素とＢ画素の出力値は、欠陥画素補正回路１０５において補間により生成される。
【００２１】
図４は、撮像素子１０２における焦点検出用画素の配置例を模式的に示している。位相差検出方式による焦点検出を行うために必要な１対の像信号を生成するには、焦点検出用画素Ｓ１ ３０１およびＳ２ ３０２と同様の焦点検出用画素対が複数必要である。また、画面内の複数位置において焦点検出することができるよう、複数の焦点検出用画素対が撮像素子１０２の全体に離散的に配置されている。
【００２２】
また、水平方向に瞳分割した焦点検出用画素対から得られる１対の像信号からは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する被写体、例えば横線に対しては焦点検出不能である。そのため、瞳分割方向が異なる（例えば垂直方向、斜め４５°方向、１３５℃方向など）焦点検出用画素対がやはり撮像素子１０２の全体に離散的に配置される。
【００２３】
上述の通り、マイクロレンズの光軸ずれを考慮して開口位置を変化させた焦点検出用画素を設ける場合も同様であり、従って多数の異なる種類の焦点検出用画素対が撮像素子１０２の全体に離散的に配置される。また、図４に示すように、焦点検出用画素対の配置は均一ではなく、一見変則的な配置を有する。
【００２４】
図５は、画素情報記憶部１０３が記憶する画素情報とそのデータ構造の例を模式的に示す図である。一つの画素情報は、画素の種類によらず、図５（ａ）に示すように、それぞれ固定ビット数を有する、ＩＤ領域５０１、オペランド領域５０２、および位置情報領域５０３を有する。なお、これら情報の格納順序は図示したものに限定されない。画素情報記憶部１０３は、図５（ａ）に示す形式のデータ（レコード）の集合体であり、配列として取り扱われてもよい。
【００２５】
ＩＤ領域５０１には、その画素が焦点検出用画素なのか、撮像用画素の欠陥画素なのか、また、欠陥画素の場合、その種類を示す情報が格納される。欠陥画素の種類は、例えば欠陥を補正する方法を示しても良く、ゲインを補正する欠陥、周囲から補間する欠陥、オフセットを補正する欠陥などの種類がある。
また、ＩＤ領域５０１には、ダミーＩＤが格納されることもある。ダミーＩＤの意味とその使用方法については後で説明する。
【００２６】
オペランド領域５０２には、ＩＤ領域５０１の内容によって異なる情報が格納される。例えばＩＤ領域５０１が焦点検出用画素を示す場合、例えば開口の種類を特定する情報（開口ＩＤ）が格納されてよい。また、ＩＤ領域５０１が欠陥画素を示す場合、例えば欠陥レベルを示す情報が格納されてよい。
【００２７】
位置情報領域５０３には、画素の位置を特定する情報が格納される。画素の位置情報は、絶対位置の情報（例えばＸＹ座標）ではなく、他の欠陥画素または焦点検出用画素からの相対距離（画素数）の情報とする。このように、他の欠陥画素の位置からの相対距離で位置情報を記憶することにより、絶対位置情報を記憶する場合よりも位置情報領域５０３に必要なビット数を少なくすることができる。なお、相対距離を０とすることで、同一画素に対して複数の画素情報（例えば、焦点検出画素としての情報と欠陥画素としての情報）を記憶することもできる。
【００２８】
なお、相対距離は予め定められた画素のスキャン規則に従った距離であり、必ずしも最短距離であるとは限らない。例えば撮像素子の左上隅の画素から右方向に１ライン分画素をスキャンしたら、次のラインの左端の画素から右方向にスキャンする規則であれば、水平方向の位置が等しく、垂直方向に隣接する画素間の距離は１（水平）ライン分の画素数に等しい。なお、スキャン規則における最初の欠陥画素または焦点検出用画素に対する位置情報は、例えば０番目の画素からの相対距離を格納する。スキャン規則に従って現れる欠陥画素または焦点検出用画素の順番に従って画素情報を記憶することで、画素情報を順に読み出して用いることができる。
【００２９】
例えば、撮像素子１０２が横４０００×縦３０００画素を有する場合、画素の位置を絶対座標で表現するには、横（Ｘ）方向の座標と縦（Ｙ）方向の座標のそれぞれに対して１２ビット必要であるため、合計２４ビットが必要である。
【００３０】
一方、画素間の相対距離であれば、１６ビットもあれば６５０００画素分の距離を表現できる。欠陥画素は平均１／６４０００画素程度の発生確率であるため、十分対応可能である。また、本実施形態では欠陥画素以外に焦点検出用画素も離散的に配置されるため、１６ビットで足りる場合が多いと考えられる。
【００３１】
しかしながら、１６ビットで表現できる画素数よりも相対距離が大きい場合が発生する可能性がある。そのため、本実施形態では、位置情報領域５０３に割り当てたビット数で表現できる画素数を超える相対距離に対応するため、ダミーＩＤを用いる。ＩＤ領域５０１にダミーＩＤが格納されている場合には、位置情報領域５０３の情報は位置情報処理回路６０３のカウントダウンのみに用いられ、位置情報領域５０３に格納されている値に対応する画素を欠陥画素や焦点検出用画素とは扱わない。
【００３２】
具体的には、ダミーＩＤが格納された画素情報については、位置情報領域５０３の値をカウントダウンするだけで、他の処理は行わない。これによりダミーＩＤが格納された画素情報の位置情報領域５０３の値と、次の画素情報の位置情報領域５０３の値との合計により相対距離を表すことができる。ダミーＩＤを有する画素情報は繰り返されてもよい。これにより、まれに生じうる長大な相対距離にも対応可能である。従って、画素情報を記憶する際に、相対距離が位置情報領域５０３のビット数で対応できない場合、ダミーＩＤを格納した画素情報の位置情報と、それに続く、ダミーＩＤを格納しない画素情報との位置情報との合計により相対距離を表すようにする。
【００３３】
図６は画素分離回路１０４および欠陥画素補正回路１０５において、画素情報記憶部１０３に記憶された画素情報から必要な情報を取得、生成する回路の構成例を示すブロック図である。
【００３４】
画素情報は画素情報記憶部１０３から読み出され、ＩＤ領域５０１は画素ＩＤ処理回路６０１に、オペランド領域５０２はオペランド処理回路６０２に、位置情報領域５０３は位置情報処理回路６０３にそれぞれロードされる。ここで、位置情報は上述の通り、他の欠陥画素または焦点検出用画素からの相対距離（画素数）を示す値である。
【００３５】
位置情報処理回路６０３はダウンカウンタを有し、画素信号を処理するごとにカウントダウンする。位置情報処理回路６０３は、ダウンカウンタの値が０になるまで、”０”を出力する。この出力はインバータ６０４を通じて値”１”のBUSY信号として出力され、次の画素情報のロードを禁止する。ダウンカウンタの値が０になると、位置情報処理回路６０３の出力は”１”となる。これにより、インバータ６０４を通じてBUSY信号の値は”０”となり、次の画素情報のロードが許可される。
【００３６】
位置情報処理回路６０３がカウントダウンしている間、画素ＩＤ処理回路６０１は画素ＩＤを保持する。そしてＩＤ検知回路６０６は、保持されている画素ＩＤが、ＩＤ指定レジスタ６０５に指定されている画素ＩＤかどうかどうかを判別する。ＩＤ指定レジスタ６０５は、欠陥画素補正回路１０５と画素分離回路１０４で処理すべき画素の種類を制御部１０７から指定するために設けられている。
【００３７】
画素ＩＤ処理回路６０１に保持されている画素ＩＤがＩＤ指定レジスタ６０５に指定されている画素ＩＤであれば、ＩＤ検知回路６０６はＡＮＤゲート６０７に値”１”の信号を、それ以外の場合（ダミーＩＤの場合を含む）は値”０”の信号をＡＮＤゲート６０７に出力する。ＡＮＤゲート６０７は位置情報処理回路６０３の出力とＩＤ検知回路６０６の出力との論理積をタイミングフラグ（処理すべき欠陥画素・焦点検出用画素を示す欠陥フラグ）として出力する。また、ＩＤ検知回路６０６は、画素ＩＤが欠陥の種類を示す情報の場合、その情報を出力する。
【００３８】
制御部１０７は、画素分離回路１０４のＩＤ指定レジスタ６０５には、焦点検出用画素ＩＤのみを指定する。画素分離回路１０４では、オペランド処理回路６０２の出力するオペランド領域５０２の情報を、Ａ像Ｂ像、垂直方向の瞳分割、水平方向の瞳分割など、焦点検出用画素の種類を特定する分類情報として扱う。
【００３９】
画素分離回路１０４では、オペランド領域５０２に格納された開口ＩＤから焦点検出用画素の種類を判別し、同種のＡ像用焦点検出用画素とＢ像用焦点検出用画素の出力信号からＡ像とＢ像を生成する。そして、焦点検出回路１０８は、Ａ像とＢ像のずれ量とずれ方向からデフォーカス量を計算する。なお、画素分離回路１０４は、焦点検出用画素の瞳分割方向が複数あれば、瞳分割方向ごとにＡ像およびＢ像を生成する。
【００４０】
一方、制御部１０７は、欠陥画素補正回路１０５のＩＤ指定レジスタ６０５には、欠陥種類ＩＤに加え、焦点検出用画素ＩＤも処理対象の画素として指定する。これにより、欠陥画素補正回路１０５では撮像用画素と焦点検出用画素の両方について画素補間処理を適用する。なお、焦点検出用画素に対する補間処理と、撮像用画素の欠陥画素に対する補間処理は同じであってもよいし、異ならせてもよい。撮像用画素の欠陥画素については、欠陥の種類およびレベルに応じた補間処理を行うようにしてもよい。
【００４１】
ダミーＩＤは関しては欠陥画素補正回路１０５でも画素分離回路１０４でもＩＤ指定レジスタ６０５に指定されないため、ＩＤ検知回路６０６の、欠陥画素の種類の出力には影響しない。
【００４２】
このように、ＩＤ指定レジスタに指定されていないＩＤを有する画素情報については処理しないように構成することで、既存の回路での処理に影響を与えること無く、新たなＩＤを導入したり、新たなＩＤに対する処理を行う回路を追加することが容易に実現できる。例えば離散的に赤外画素を配置して、赤外画素処理回路を追加する場合、赤外画素のＩＤを有する画素情報を追加し、赤外画素処理回路のＩＤ指定レジスタ６０５に赤外画素のＩＤを指定すればよい。画素分離回路１０４や欠陥画素補正回路１０５では、赤外画素のＩＤは無視されるため、処理が影響を受けない。
【００４３】
以上説明したように、本実施形態によれば、撮像用画素の欠陥画素と焦点検出用画素の情報をまとめて管理し、撮像用画素の欠陥画素については欠陥の種類やレベルについての情報を含めることができるため、きめ細かい補間処理を行うことができる。また、画素の位置を特定する情報として他の撮像用画素の欠陥画素と焦点検出用画素からの相対距離を用いることで、画素情報あたりに必要な情報量を削減することができ、メモリ使用効率を向上させることができる。
【００４４】
また、欠陥画素や焦点検出画素の処理回路を、指定されたＩＤを有する画素情報に対応する画素だけを処理するように構成することにより、既存の処理回路の処理に影響を与えること無しに、新たな画素の種類や処理回路を追加することができる。
【００４５】
（第２の実施形態）
次に、図７を参照して、本発明の第２の実施形態について説明する。本実施形態においても第１の実施形態と同様、本発明に係る画素情報記憶装置を適用したデジタルカメラを例にして説明する。図７において、第１の実施形態と同様の構成については図１と同じ参照数字を付してある。
【００４６】
第１の実施形態においては、欠陥画素補正回路１０５と画素分離回路１０４が画素情報記憶部１０３に並列に接続された構成であった。それに対し、本実施形態では、画素分離回路１０４と欠陥画素補正回路１０５とが直列に配線され、第１の実施形態における画素情報記憶部と同様の画素情報が記憶される第１の画素情報記憶部１０３に加え、第２の画素情報記憶部１０９が追加されている。第２の画素情報記憶部１０９では、第１の画素情報記憶部１０９に記憶される画素情報とは異なる画素情報が記憶されている。
【００４７】
画素分離回路１０４は、撮像用画素については出力をそのまま欠陥画素補正回路１０５に供給し、焦点検出用画素についてはその出力を特別な値に置き換えて欠陥画素補正回路１０５に供給する。欠陥画素補正回路１０５は、画素分離回路１０４の出力値から焦点検出用画素の出力を判別し、補間処理の対象とする。焦点検出用画素の出力であることを示す特別な値は、ゼロなど、画像としては階調が重要でないと思われる領域の値である。値ゼロの撮像用画素があった場合、その値を例えば１に置き換えて出力する。
【００４８】
撮像素子の製造時に検出した欠陥画素の情報は第１の画素情報記憶部１０３に記憶されているが、製造時には正常な画素とみなされていた画素が、経年劣化などにより欠陥画素になる場合がある。そのため、本実施形態では、第１の画素情報記憶部１０３に画素情報を記憶した後で経年劣化等により増えた欠陥画素の画素情報を記憶するために第２の画素情報記憶部１０９を追加している。第２の画素情報記憶部１０９への情報の追加は、例えば装置の起動時に欠陥画素の検出処理を行い、新たに欠陥画素と判別された画素が見つかった際に行う等、任意のタイミングで行うことができる。
【００４９】
欠陥画素補正回路１０５は、第２の画素情報記憶部１０９に記憶されている画素情報は第１の実施形態と同様に図６に示した回路で処理する。それに加え、画素信号値が特別な値である画素についても補間処理を行う。画素信号値が特別な値である画素に対してどのような補間処理を行うかは任意である。
【００５０】
欠陥画素補正回路１０５には、製造時に生じた欠陥画素を知らせる必要がある。そのため、本実施形態では、欠陥画素についても焦点検出用画素として第１の画素情報記憶部１０３に記憶しておく。ただし、画素分離回路１０４が焦点検出用画素として処理しないように、開口ＩＤに特別な値を指定しておく。画素分離回路１０４は、開口ＩＤに特別な値が含まれている場合、対応する画素を欠陥画素と判別し、出力値を特別な値（ゼロ）に置き換えて欠陥画素補正回路１０５に供給する。
【００５１】
本実施形態によれば、経時劣化によって生じた欠陥画素についても補間処理の対象とすることができる。
【００５２】
（第３の実施形態）
次に、図８を参照して、本発明の第３の実施形態について説明する。本実施形態においても第１の実施形態と同様、本発明に係る画素情報記憶装置を適用したデジタルカメラを例にして説明する。図８において、第１の実施形態と同様の構成については図１と同じ参照数字を付してある。
【００５３】
本実施形態では、画素情報記憶部に相当する第１の画素情報記憶部１０３に加え、第３の画素情報記憶部１１０が追加されている。また、第１および第３の画素情報記憶部１０３，１１０のいずれかを、制御部１０７の制御に応じて選択的に画素分離回路１０４と欠陥画素補正回路１０５と接続するスイッチ１１１が設けられている。
【００５４】
撮像素子１０２が複数の読み出しモードを有する場合がある。例えば、すべての画素を読み出すモードに加え、画素を間引いて読み出すモードや、画素を加算してから読み出すモードなどがある。
間引きや加算を行う場合、全ての画素を読み出す場合と読み出される画素数が異なる。このように、読み出しモードによって読み出す画素数が異なる場合、画素情報に含まれる位置情報についても読み出しモードに応じた相対距離とする必要がある。
【００５５】
本実施形態では、読み出される画素数が読み出しモードに応じて２通り存在する場合に、読み出し画素数に応じた画素位置を有する画素情報を記憶した画素情報記憶部を用意し、読み出しモードに応じて制御部１０７がスイッチ１１１を適切に切り替える。例えば、第１の画素情報記憶部１０３が全画素を読み出すモードに対応する画素情報を記憶し、第３の画素情報記憶部１１０が、間引き読み出しや加算読みだしのように全画素より少ない特定数の画素を読み出すモードに対応する画素情報を記憶している。
【００５６】
なお、図８では、第１および第３の画素情報記憶部１０３，１１０を物理的に異なる記憶部とし、スイッチ１１１で接続を切り替える構成を示した。しかし、第１および第３の画素情報記憶部１０３，１１０を、同一の記憶装置の異なるアドレス空間として実装してもよい。
【００５７】
（第４の実施形態）
次に図９を参照して本発明の第４の実施形態について説明する。本実施形態においても第３の実施形態と同様、本発明に係る画素情報記憶装置を適用したデジタルカメラを例にして説明する。
【００５８】
図９は撮像素子１０２における焦点検出用画素の別の配置例を模式的に示している。
９０１は撮像素子における画素配置領域の全体を示し、図９（ａ）の例では９０２で指し示す中央部のみに焦点検出用画素が配置されている。このように、撮像素子の部分領域、特に中央部のみに焦点検出用画素を配置するのは、撮像する視野の中央部分に主被写体が存在する場合が多いことや、焦点検出用画素の配置が限定的な範囲である方が撮像素子の設計上の制約が小さいことなどの理由による。図９（ａ）に示すように焦点検出用画素が配置された撮像素子を備えるデジタルカメラは、視野の中央部の被写体に対して焦点検出する仕様になる。
【００５９】
第３の実施形態で示した間引きや加算読み出しのモードは撮影時のビューファインダーや動画撮影に利用するものであるが、そのようなモードでは焦点検出用画素の密度が高くなるように画素を配置すると、焦点検出精度が良くなる。
【００６０】
一方で、ある画素領域において焦点検出用画素の配置密度を高めると、その領域内での撮像用画素の配置密度が低下するため、画質が低下する。具体例としては、繰り返しパターンを含む被写体を撮影した時に、繰り返しパターンの空間周波数と焦点検出用画素の配置の空間周波数とが干渉して低い疑似周波数成分を発生させてしまう。そのような低い周波数成分は間引き読み出しによっても発生するが、間引き読み出しで発生する低周波数成分は撮像素子の画素配置領域全体に一様に発生するため目立たない。しかし、焦点検出用画素の配置密度が領域によって異なる場合、配置密度が高い領域と低い領域とでは発生する低周波成分が異なる。図９（ａ）の例では、撮像素子の画素配置領域の中央部にのみ焦点検出用画素が配置されているため、中央部に発生する疑似低周波成分が他の領域よりも多くなり、視覚的に強い違和感を与えてしまう。
【００６１】
本実施形態では、焦点検出用画素が撮像素子の部分領域に配置され、かつ間引き読み出しモード時は、焦点検出用画素が配置されていない領域に、焦点検出用画素と同じ配置密度で欠陥画素が存在するものとして取り扱う。図９（ａ）の例で言えば、９０２で示す部分領域以外の領域の少なくとも一部について、焦点検出用画素と同じ配置密度（かつ配置規則）で、欠陥画素が存在しているような画素情報を記憶した第２の画素情報記憶部１０９を用意しておく。そして、焦点検出用画素が撮像素子の部分領域に配置され、かつ間引き読み出しモード時には、間引き読み出しモード用の画素情報を第２の画素情報記憶部１０９から参照する。
【００６２】
これにより、焦点検出用画素の配置領域と非配置領域とで生じる低周波成分の差を低減もしくは解消することができ、視覚的な違和感を低減もしくは解消することができる。図９（ｂ）は、間引き読み出し時における欠陥画素と焦点検出用画素の配置例を示している。図９（ｂ）において、焦点検出用画素は図９（ａ）と同様、中央部のみに配置されており、他の領域では欠陥画素が配置されている。
【００６３】
なお、全画素を読みだして静止画を記録する場合のように、間引き読み出し時よりも焦点検出用画素の密度が十分低くなる場合には、焦点検出用画素が配置された領域だけを補正しても視覚的に目立たない。そのため、焦点検出用画素が配置されない領域について欠陥画素を配置せず、補正が必要な領域のみを必要に応じて欠陥画素補正することができる。
【００６４】
本実施形態によれば、読み出し画素数の異なる読み出しモードが存在する場合でも対応することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
0006027777.tif 000002
【図２】
0006027777.tif 000003
【図３】
0006027777.tif 000004
【図４】
0006027777.tif 000005
【図５】
0006027777.tif 000006
【図６】
0006027777.tif 000007
【図７】
0006027777.tif 000008
【図８】
0006027777.tif 000009
【図９】
0006027777.tif 000010