(57)【要約】【課題】複数の撮像用画素の間に離散的に焦点検出用画素が配置されている撮像素子において、焦点検出用画素を用いた焦点検出を精度良く行えるようにする。【解決手段】撮影レンズの予定結像面に配設される撮像素子であって、撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素と、撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素とを有する撮像素子と、撮像用画素もしくは焦点検出用画素が飽和している領域を検出する飽和領域検出部と、飽和している領域における撮像用画素もしくは焦点検出用画素の近傍ライン同士の像信号の比較結果に基づいて、焦点検出用画素の像信号を補正する補正部と、補正部で補正された焦点検出用画素の像信号に基づいて撮影レンズの焦点状態を検出する焦点検出部と、を備える。【選択図】図１１
2011257565.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズの予定結像面に配設される撮像素子であって、前記撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素と、前記撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素とを有する撮像素子と、
前記撮像用画素もしくは前記焦点検出用画素が飽和している領域を検出する飽和領域検出手段と、
前記飽和している領域における前記撮像用画素もしくは前記焦点検出用画素の近傍ライン同士の像信号の比較結果に基づいて、前記焦点検出用画素の像信号を補正する補正手段と、
前記補正手段で補正された焦点検出用画素の像信号に基づいて前記撮影レンズの焦点状態を検出する焦点検出手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記近傍ライン同士とは、前記焦点検出用画素のうち、前記撮影レンズの射出瞳の略同じ領域に受光分布を有するもの同士であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記飽和領域検出手段は、前記撮像用画素が飽和している領域を検出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記補正手段は、前記比較結果に基づいて前記撮像用画素の像信号を推定し、推定した前記撮像用画素の像信号に基づいて前記焦点検出用画素の像信号を補正することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像を行うための固体撮像素子から得られる像に基づいて撮影レンズの焦点状態を検出可能なデジタルスチルカメラ等の撮像装置に関するものである。
【背景技術】
【０００２】
撮影レンズの焦点状態を検出する方式の一つとして、各画素にマイクロレンズが形成された２次元の撮像素子を用いて瞳分割方式の焦点検出を行う撮像装置が特許文献１に開示されている。特許文献１では、光電変換領域の重心を互いに反対方向に偏倚させた焦点検出用画素対が、２次元的に配置された画素群の中に離散的に配置されており、その焦点検出用画素からの信号に基づいて撮影レンズの焦点状態を検出するように構成されている。
【０００３】
特許文献１に開示されているような撮像装置では、隣接する撮像用画素から焦点検出用画素への出力の洩れ込み（クロストーク）があり、その影響で焦点検出精度が悪化するという現象がある。そこで、隣接する撮像用画素の出力に応じて、焦点検出用画素の出力を補正する所謂クロストーク補正が行われていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１５６８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１に示す構成では、焦点検出用画素に隣接する撮像用画素が飽和しているときには、正しくクロストーク補正が行われず、焦点検出結果に誤差が生じてしまうという問題があった。
【０００６】
本発明は上述した課題に鑑みてなされたものであり、その目的は、複数の撮像用画素の間に離散的に焦点検出用画素が配置されている撮像素子において、焦点検出用画素を用いた焦点検出を精度良く行えるようにすることである。
【課題を解決するための手段】
【０００７】
本発明に係わる撮像装置は、撮影レンズの予定結像面に配設される撮像素子であって、前記撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素と、前記撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素とを有する撮像素子と、前記撮像用画素もしくは前記焦点検出用画素が飽和している領域を検出する飽和領域検出手段と、前記飽和している領域における前記撮像用画素もしくは前記焦点検出用画素の近傍ライン同士の像信号の比較結果に基づいて、前記焦点検出用画素の像信号を補正する補正手段と、前記補正手段で補正された焦点検出用画素の像信号に基づいて前記撮影レンズの焦点状態を検出する焦点検出手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の撮像用画素の間に離散的に焦点検出用画素が配置されている撮像素子において、焦点検出用画素を用いた焦点検出を精度良く行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置の一実施形態であるところのカメラの構成図。
【図２】一実施形態の撮像素子の一部平面図。
【図３】撮像素子の一部断面図。
【図４】焦点検出用画素と焦点検出用画素に隣接する画素の撮影レンズの射出瞳上での受光分布を説明する図。
【図５】焦点検出用画素と焦点検出用画素に隣接する画素の構成図。
【図６】一実施形態の撮像装置の撮像領域と焦点検出領域の関係を示した図。
【図７】焦点検出領域が複数の焦点検出ラインで構成されていることを説明する図。
【図８】一実施形態の撮像装置の動作フロー図。
【図９】焦点検出サブルーチンの動作フロー図。
【図１０】撮影サブルーチンの動作フロー図。
【図１１】クロストーク補正サブルーチンの動作フロー図。
【図１２】被写体例と焦点検出領域の関係を説明する図。
【図１３】近傍ラインLine１とLine２から得られる像信号を示す図。
【図１４】近傍ライン同士での像信号の比較を説明するための図。
【図１５】一実施形態のクロストーク補正残り補正を説明する図。
【図１６】クロストーク補正残り補正の演算処理内容を説明するための図。
【発明を実施するための形態】
【００１０】
図１〜図１６は、本発明の一実施形態を示す図であり、図１は本発明の撮像装置の一実施形態であるところのカメラの構成図、図２は一実施形態の撮像素子の一部平面図、図３は撮像素子の一部断面図である。図４は焦点検出用画素と焦点検出用画素に隣接する画素の撮影レンズの射出瞳上での受光分布を説明する図、図５は焦点検出用画素と焦点検出用画素に隣接する画素の構成図である。図６は一実施形態の撮像装置の撮像領域と焦点検出領域の関係を示した図、図７は焦点検出領域が複数の焦点検出ラインで構成されていることを説明する図である。図８は一実施形態の撮像装置の動作フロー、図９は焦点検出サブルーチンの動作フロー、図１０は撮影サブルーチンの動作フロー、図１１はクロストーク補正サブルーチンの動作フローである。図１２は被写体例と焦点検出領域の関係を説明する図、図１３は近傍ラインLine１とLine２から得られる像信号を示す図である。図１４は近傍ライン同士での像信号の比較を説明するための図、図１５は本実施形態のクロストーク補正残り補正を説明する図である。
【００１１】
図１において、１０は撮像素子で、デジタルスチルカメラ１の撮影レンズ５の予定結像面に配置されている。デジタルスチルカメラ１は、カメラ全体を制御するカメラＣＰＵ２０、撮像素子１０を駆動制御するメージセンサ制御回路２１、撮像素子１０にて撮像した画像信号を画像処理する画像処理回路２４を備える。また、画像処理された画像を表示する液晶表示素子９と、それを駆動する液晶表示素子駆動回路２５、液晶表示素子９に表示された被写体像を観察するための接眼レンズ３も備える。さらに、撮像素子１０にて撮像された画像を記録するメモリ回路２２、画像処理回路２４にて画像処理された画像をカメラ外部に出力するためのインターフェース回路２３を備える。またメモリ回路２２では、撮像素子１０の受光分布も記憶できるようになっている。
【００１２】
撮影レンズ５はデジタルスチルカメラ１に対して着脱可能で、便宜上２枚のレンズ５ａ、５ｂで図示しているが、実際は多数枚のレンズで構成されている。撮影レンズ５は、デジタルスチルカメラ１の本体のカメラＣＰＵ２０から送られてくる焦点調節情報を電気接点２６を介してレンズＣＰＵ５０にて受信し、その焦点調節情報に基づいて撮影レンズ駆動機構５１によって合焦状態に調節される。また５３は撮影レンズ５の射出瞳近傍に配設された絞り装置で、絞り駆動機構５２によって所定の絞り値に絞り込まれるようになっている。
【００１３】
図２は撮像素子の一部平面図である。１３１、１３２は電極である。電極１３１及び１３２で区切られた領域が１画素を示しており、１画素中に書かれた「Ｒ」「Ｇ」「Ｂ」の文字は各画素のカラーフィルタの色相を表している。「Ｒ」の文字の書かれた画素は赤の成分の光を透過し、「Ｇ」の文字の書かれた画素は緑の成分の光を透過し、「Ｂ」の文字の書かれた画素は青の成分の光を透過する。また、「Ｒ」、「Ｇ」、「Ｂ」の文字が書かれた各画素は、撮影レンズ５の射出瞳の全域（全瞳領域）を通過した光を受光するように構成されている。
【００１４】
カラーフィルタの配列がベイヤ配列の場合、１画素は「Ｒ」、「Ｂ」の画素と２つの「Ｇ」の画素から構成される。ところが、本実施形態の撮像装置を構成する撮像素子は「Ｒ」あるいは「Ｂ」であるべき画素の一部に、撮影レンズ５の射出瞳の一部領域（一部の瞳領域）を通過した光を受光する焦点検出用画素が割り当てられている。図中、Ｐ−1、Ｑ−１、Ｐ−２、Ｑ−２は撮影レンズ５の焦点状態を検出するための焦点検出用画素で、電極１３１にてｘ方向の開口が制限されている。
【００１５】
電極１３１_３と電極１３１_４とで決まる開口が画素中心に対して＋ｘ方向に偏位した焦点検出用画素Ｐ−１に対して、ｘ方向に４画素隣接した位置に同様の電極開口を有する焦点検出用画素が配設されている。また、焦点検出用画素Ｐ−１に対して斜めに隣接する位置に、電極１３１_１と電極１３１_２とで決まる開口が画素中心と略一致する焦点検出用画素Ｑ−１が配設されている。さらに、焦点検出用画素Ｑ−１に対して、ｘ方向に４画素隣接した位置に同様の電極開口を有する焦点検出用画素が配設されている。
【００１６】
本実施形態の撮像装置の構成の一部である焦点検出部は、焦点検出用画素Ｐ−１と同じ電極開口を有する焦点検出用画素群から第１の焦点検出用画像を生成する。また、同様に焦点検出用画素Ｑ−１と同じ電極開口を有する焦点検出用画素群から第２の焦点検出用画像を生成する。さらに焦点検出部は、第１の焦点検出用画像と第２の焦点検出用画像に基づいて相関演算を行うことにより、焦点検出用画素Ｐ−１とＱ−１が位置する領域での撮影レンズ５の焦点状態を検出する。本実施形態ではＣＰＵ２０が焦点検出部の機能を担う。
【００１７】
同様に焦点検出部は、焦点検出用画素Ｐ−２と同じ電極開口を有する焦点検出用画素群から第３の焦点検出用画像を生成する。また、同様に焦点検出用画素Ｑ−２と同じ電極開口を有する焦点検出用画素群から第４の焦点検出用画像を生成する。さらに焦点検出部は、第３の焦点検出用画像と第４の焦点検出用画像に基づいて相関演算を行うことにより、焦点検出用画素Ｐ−２とＱ−２が位置する領域での撮影レンズ５の焦点状態を検出する。
【００１８】
さらに焦点検出部は、焦点検出用画素Ｐ−１とＱ−１が位置する領域での撮影レンズ５の焦点状態、焦点検出用画素Ｐ−２とＱ−２が位置する領域での撮影レンズ５の焦点状態を平均する。そしてＣＰＵ２０は焦点検出結果に基づいて撮影レンズ駆動機構５１に焦点調節情報を送って、撮影レンズ５の焦点調節を行う。
【００１９】
一方、通常の画像の撮像時は、画素の電極開口が制限されている焦点検出用画素は欠陥画素として取り扱われ、焦点検出用画素の周辺に位置する画素から補間処理を行って画像信号が生成される。
【００２０】
図３は、図２の撮像素子１０の一部平面図に示した、Ａ−Ａ’面の断面図である。図３の右側の画素は、撮影レンズ５の射出瞳の全領域を通過した光束を受光可能な画素を示している。また、図中左側の画素は、撮影レンズ５の射出瞳の一部領域を通過した光束を受光可能な焦点検出用画素を示している。
【００２１】
撮像素子１０は、シリコン基板１１０の内部に光電変換部１１１が形成されている。光電変換部１１１で発生した信号電荷は、不図示のフローティングディフュージョン部、第１の電極１３１及び第２の電極１３２を介して外部に出力される。光電変換部１１１と電極１３１との間には層間絶縁膜１２１が形成され、電極１３１と電極１３２との間には層間絶縁膜１２２が形成されている。また、電極１３２の光入射側には層間絶縁膜１２３が形成され、さらにパッシべーション膜１４０、平坦化層１５０が形成されている。平坦化層１５０の光入射側には、カラーフィルタ層１５１、平坦化層１５２及びマイクロレンズ１５３が形成されている。ここで、マイクロレンズ１５３のパワーは、撮影レンズ５の射出瞳と光電変換部１１１が略共役になるように設定されている。また、撮像素子１０の中央に位置する画素ではマイクロレンズ１５３は画素の中心に配設され、周辺に位置する画素では、撮影レンズ５の光軸側に偏位して配設される。
【００２２】
撮影レンズ５を透過した被写体光は撮像素子１０近傍に集光される。さらに撮像素子１０の各画素に到達した光は、マイクロレンズ１５３で屈折され光電変換部１１１に集光される。通常の撮像に使う図中右側の画素では、入射する光を遮光しないように第１の電極１３１及び第２の電極１３２が配設されている。図４（ｂ）に撮像用画素の撮影レンズ５の射出瞳上での透過領域を示す。６０３は撮像用画素が受光する光束の透過領域である。図４（ｂ）に示すように、撮像用画素が受光する光束は、撮影レンズの射出瞳１５３の全域６０３を透過していることが分かる。
【００２３】
一方、図中左側の撮影レンズ５の焦点検出を行う画素では、電極１３１の一部が光電変換部１１１を覆うように構成されている。その結果図中左側の焦点検出用画素では、撮影レンズ５の射出瞳の一部領域を透過する光束を受光可能となっている。図４（ａ）に焦点検出用画素の撮影レンズ５の射出瞳上での透過領域を示す。１５３は撮影レンズの射出瞳、６０１は焦点検出用画素が受光する光束の透過領域である。図４（ａ）に示すように、焦点検出用画素が受光する光束は、撮影レンズの射出瞳１５３の一部領域６０１を透過していることが分かる。
【００２４】
本実施形態の撮像素子１０の一部に配設される焦点検出用の画素は、マイクロレンズ１５３の位置と電極１３１の開口中心の相対位置を異ならせることによって、撮影レンズ５の受光分布を異ならせるように構成している。また、電極１３１が入射光束の一部を遮光していることにより光電変換部１１１の出力が小さくなることを防ぐために、焦点検出用の画素のカラーフィルタ層１５４は光を吸収しない透過率の高い樹脂で形成されている。
【００２５】
図５は或る焦点検出用画素とその焦点検出用画素の周囲の撮像用画素を模式的に示した図である。図５において、１画素中に書かれた「Ｒ」、「Ｇ」、「Ｂ」の文字は各画素のカラーフィルタの色相を表している。「Ｒ」の文字の書かれた画素は赤の成分の光を透過し、「Ｇ」の文字の書かれた画素は緑の成分の光を透過し、「Ｂ」の文字の書かれた画素は青の成分の光を透過する。撮像用画素は、Ｒ画素、Ｂ画素、二つのＧ画素の合計４画素を一単位とするベイヤー配列で配置されている。
【００２６】
本実施形態の撮像装置では、本来「Ｒ」あるいは「Ｂ」であるべき画素の一部に、撮影レンズ５の射出瞳の一部領域を通過した光を受光する焦点検出用画素対Ｐ・Ｑが割り当てられている。焦点検出用画素対Ｐ・Ｑは横方向４画素おきに配置されており、焦点検出用画素Ｐからの出力を並べて一方の焦点検出用の像信号を生成し、焦点検出用画素Ｑからの出力を並べてもう一方の焦点検出用の像信号を生成する。これら一対の像信号の位相差を検出することで、撮影レンズの焦点状態を検出する。
【００２７】
５０１-１は焦点検出用画素Ｐであり、焦点検出用画素５０１-１の左斜め上の５０２-１はもう一方の焦点検出用画素Ｑである。５０３-１〜４は焦点検出用画素５０１-１の周囲４方向に隣接する撮像用画素Ｇである。また５０３-５〜８は焦点検出用画素５０１-２の周囲４方向に隣接する撮像用画素Ｇである。
【００２８】
焦点検出用画素５０１-１には、周囲の撮像用画素５０３-１〜４からの洩れ込み（クロストーク）が発生する。そのため、焦点検出用画素５０１-１から得られる出力値は、焦点検出用画素５０１-１に入射した光量を表しておらず、周囲の撮像用画素５０３-１〜４に入射した光量のいくらかが上乗せされた量となってしまっている。そこで、周囲の撮像用画素５０３-１〜４の出力値に応じて、焦点検出用画素５０１-１の出力を補正することで、周囲の撮像用画素５０３-１〜４から焦点検出用画素５０１-１への洩れ込み（クロストーク）の影響を軽減する。この補正をクロストーク補正という。
【００２９】
ここで、クロストーク補正の演算について説明する。図５の焦点検出用画素５０１-１から得られる出力値をＳｉｇ５０１-１、周囲の撮像用画素５０３-１、５０３-２、５０３-３、５０３-４から得られる出力値をＳｉｇ５０３-１、Ｓｉｇ５０３-２、Ｓｉｇ５０３-３、Ｓｉｇ５０３-４とする。すると、クロストーク補正後の焦点検出用画素５０１-１の出力値であるＳｉｇＣｒｓ５０１-１は下記式で表される。
【００３０】
ＳｉｇＣｒｓ５０１-１＝Ｓｉｇ５０１-１−（Ｋｃｒｓ-１×Ｓｉｇ５０３-１＋Ｋｃｒｓ-２×Ｓｉｇ５０３-２＋Ｋｃｒｓ-３×Ｓｉｇ５０３-３＋Ｋｃｒｓ-４×Ｓｉｇ５０３-４）                                                …（１）
Ｋｃｒｓ-１〜Ｋｃｒｓ-４はクロストーク補正係数であり、上下左右方向それぞれの方向に隣接する撮像用画素の出力に対してかけることで、それぞれの方向からのクロストーク量を算出する係数である。クロストーク補正係数Ｋｃｒｓ-１〜Ｋｃｒｓ-４は、定数でもよいし、周囲の撮像用画素５０３-１〜４の出力値に応じて変化する変数とすることで、非線形なクロストーク成分も含めて補正するように構成してもよい。また、撮影レンズのＦナンバーによってクロストークの量が変わるので、Ｆナンバー毎に持たせる。もしくはＦナンバーの関数として持たせてもよい。
【００３１】
また、周囲の撮像用画素がキズ画素などで正しい出力値が得られない場合は、周囲の撮像用画素の出力値から補間して求める。もしくは或る定数値を出力してもよい。
【００３２】
図６は、本実施形態の撮像装置の撮像領域と焦点検出領域の関係を示した図である。図６は、撮像素子１０上での様子が示されている。６００は撮像素子１０の撮像領域で、６０１は選択された焦点検出領域である。撮像素子１０には、２次元的に並んだ撮像用画素の間に、焦点検出用画素が離散的に散りばめられている。つまり、撮像領域６００の全域に渡って、焦点検出用画素が離散的に配置されている。そこで本実施形態の撮像装置では、所定の方法で決めた焦点検出位置を中心とする矩形領域を焦点検出領域として設定する。その焦点検出領域内に存在する焦点検出用画素の信号に基づいて、焦点検出を行う。焦点検出位置決定方法としては、撮影者からの操作によって選択された位置に設定する。もしくは撮像領域６００内の複数の焦点検出領域に対して焦点検出を行い、最も被写体距離の短い焦点検出領域の位置を選択する所謂至近優先による選択で設定しても良い。
【００３３】
図７は、本実施形態の焦点検出領域６０１が、複数の焦点検出ラインで構成されていることを示す図である。６０１は、図６における焦点検出領域６０１に対応している。焦点検出領域６０１内の一番上に位置する焦点検出用画素を並べたものがLine１である。図５で説明した焦点検出用画素対Ｐ・Ｑが横方向に４画素おきに並んでいる。Line２は、Line１に対して下方向に隣接する焦点検出ラインである。Line１の焦点検出用画素対Ｐ・Ｑに対して、下方向に４画素離れた位置に並んでいる。同様にLine３、Line４と順番に並び、Line２０が最下端ラインとなる。つまり、焦点検出領域６０１は、縦方向に４画素ずつ離れた焦点検出ラインが２０ライン並ぶような幅を有する矩形領域として設定する。
【００３４】
一つの焦点検出ラインには、一対の焦点検出用画素対Ｐ・Ｑが存在する。そのため、それぞれの焦点検出ラインから像ずれ量が算出され、２０個の像ずれ量が得られる。これら２０個の像ずれ量の平均値をとり、焦点検出領域６０１における像ずれ量として算出する。この際、像ずれ量算出時の信頼性が低いと判定された焦点検出ラインについては、平均の対象から除外する。
【００３５】
低輝度被写体や低コントラスト被写体の場合には、像信号の鮮鋭度を上げるために、Line１〜Lene２０の焦点検出用画素対Ｐ・Ｑから得られる出力値をそれぞれ加算し、一つの像ずれ量を算出する。この際、信頼性が低いと判定された焦点検出ラインについては、加算の対象から除外する。
【００３６】
図８〜図１１は、本実施形態の撮像装置の動作・焦点検出・撮影・クロストーク補正工程を説明するためのフローチャートである。
【００３７】
図８は本実施形態の撮像装置のメインフローである。メインフロー動作はカメラＣＰＵ２０が行う処理である。撮影者がカメラの電源スイッチをオン操作すると（ステップＳ１０１）、カメラＣＰＵ２０はカメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うと共に、撮影準備動作を実行する（ステップＳ１０２）。
【００３８】
ステップＳ１０３では、電気接点２６を介してレンズＣＰＵ５０とレンズ通信を行う。レンズ通信によりレンズの動作確認を行い、レンズ内のメモリ内容や実行プログラムの初期化を行うと共に、準備動作を実行させる。また、焦点検出や撮像に必要なレンズの諸特性データを取得し、メモリ回路２２に保存する。
【００３９】
ステップＳ１０４では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０５では読み出した画像を液晶表示素子９に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行う。
【００４０】
ステップＳ１０６では、撮影準備スイッチがオン操作されたか否かを判定する。撮影準備スイッチがオン操作された場合には、ステップＳ２００に移行し、焦点検出サブルーチンを実行する。
【００４１】
ステップＳ１０７では、ステップＳ２００で計算した焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値より大きい場合は、非合焦と判断し、ステップＳ１０８でフォーカスレンズを駆動し、その後ステップＳ２００ないしステップＳ１０７を繰り返し実行する。そしてステップＳ１０７にて合焦状態に達したと判定されると、ステップＳ１０９にて合焦表示を行う。
【００４２】
ステップＳ１１０では、撮影開始スイッチがオン操作されたか否かを判定する。撮影開始スイッチがオン操作されていなければ、ステップＳ１０６に戻り、撮影準備スイッチがオン操作されたか否かの判定を行う。ステップＳ１１０で撮影開始スイッチがオン操作されるとステップＳ３００に移行し、撮影サブルーチンを実行する。
【００４３】
ステップＳ３００の撮影サブルーチンが終了したら、ステップＳ１１１に進み、メインスイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合には、ステップＳ１０３に戻る。メインスイッチがオフされた場合には、一連の動作を終了する。
【００４４】
図９は焦点検出サブルーチンの動作を説明するためのフローチャートである。焦点検出サブルーチンの動作は、カメラＣＰＵ２０が行う処理である。
【００４５】
ステップＳ２０１では、焦点検出領域６０１（図６）内の全画素の信号を撮像素子１０から読み出す。ここで読み出される画素には、焦点検出用画素対Ｐ・Ｑ、撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂが全て含まれる。
【００４６】
ステップＳ２０２では、ステップＳ２０１で読み出した信号の中から、焦点検出用画素対Ｐ・Ｑの出力値を抽出する。ステップＳ２０３では、ステップＳ２０１で読み出した信号の中から、焦点検出用画素対Ｐ・Ｑの周囲に位置する撮像用画素Ｇの出力値を抽出する。
【００４７】
ステップＳ４００では、クロストーク補正サブルーチンを実行し、周囲の撮像用画素Ｇから焦点検出用画素対Ｐ・Ｑに洩れ込んだクロストークを補正する。
【００４８】
ステップＳ２０４では、焦点検出用画素対Ｐ・Ｑの間で発生する光量差を補正する。焦点検出用画素対Ｐ・Ｑに入射する光束は、撮影レンズの枠などの影響により、ケラレが発生する。しかもそのケラレ度合いが焦点検出用画素対Ｐ・Ｑの間で異なる。すると焦点検出用画素対Ｐ・Ｑの間で光量差が発生してしまう。そこでステップＳ２０４では、このケラレを撮影レンズ情報から予想し、焦点検出用画素対Ｐ・Ｑそれぞれから得られる一対の像信号のレベルが揃うようにレベル差補正（シェーディング補正）を行う。
【００４９】
ステップＳ２０５では、焦点検出用画素対Ｐ・Ｑそれぞれから得られる一対の像信号に対して、相関演算処理を行い、像ずれ量を算出する。この際、一対の像信号の相関度に基づいて、検出結果の信頼性も算出する。相関演算処理については、特開昭６３−２６４７１５号公報等で開示されている公知の技術のため、説明は省略する。
【００５０】
ステップＳ２０６では、ステップＳ２０５で算出した像ずれ量に基づいて、焦点ずれ量を算出する。像ずれ量から焦点ずれ量を算出する変換係数は、メモリ回路２２に予め記憶しておく。変換係数は、像高、Ｆナンバー、ズームステート、フォーカスステートによって変わるため、それぞれの条件に対して持たせておく。もしくは、焦点検出用画素対Ｐ・Ｑの撮影レンズの射出瞳上での受光分布をメモリ回路２２に予め保持しておき、撮影レンズ情報に基づいて焦点検出用画素対Ｐ・Ｑに入射する光束の基線長を予想し、基線長に基づいて変換係数を算出してもよい。
【００５１】
ステップＳ２０７では、ステップＳ２０６にて複数の焦点検出ラインから得られた焦点ずれ量に基づいて、平均値を算出する。この際、ステップＳ２０５の相関演算で得られる信頼性結果や、後述するステップＳ４００のクロストーク補正サブルーチンで得られる飽和の判定結果に基づいて、各焦点検出ラインの焦点ずれ量に重み付けをし、平均値を算出する。ステップＳ２０７が終わると、ステップＳ２００の焦点検出サブルーチンを終了し、メインフローに戻る。
【００５２】
図１０は、撮影サブルーチンの動作を説明するためのフローチャートである。撮影サブルーチンの動作は、カメラＣＰＵ２０が行う処理である。
【００５３】
ステップＳ３０１では、光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行う。ステップＳ３０２では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。
【００５４】
ステップＳ３０３では読み出した画像信号の欠損画素補間を行う。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。ステップＳ３０４では、画像処理回路２４にて、画像のγ補正、エッジ強調等の画像処理を行う。
【００５５】
ステップＳ３０５では、メモリ回路２２に撮影画像を記録する。ステップＳ３０６では、液晶表示素子９に撮影済み画像を表示し、メインフローに戻る。
図１１は、クロストーク補正サブルーチンの動作を説明するためのフローチャートである。クロストーク補正サブルーチンの動作は、カメラＣＰＵ２０が行う。
【００５６】
ステップＳ４０１では、焦点検出用画素対Ｐ・Ｑの出力が飽和しているか否かの判定を行う。飽和していると判定された場合には、何も処理を行わず、そのままステップＳ４００のクロストーク補正サブルーチンを終了し、ステップＳ２００の焦点検出サブルーチンに戻る。
【００５７】
焦点検出用画素対Ｐ・Ｑ自身が飽和している場合には、焦点検出用画素対Ｐ・Ｑの出力が上限値に張り付いている。そこへさらにクロストーク補正を行ってしまうと、実際の光量より低い出力値となってしまう可能性が高い。そこでステップＳ４０１にて焦点検出用画素対Ｐ・Ｑが飽和していると判定されたときには、クロストーク補正は行わない。
【００５８】
ステップＳ４０１で飽和していないと判定された場合には、ステップＳ４０２に進む。ステップＳ４０２では、焦点検出用画素対Ｐ・Ｑの周囲の撮像用画素Ｇの出力に基づいて、クロストーク補正を行う。ここで行うクロストーク補正の演算内容は、図５にて説明しているため、ここでは説明を省略する。
【００５９】
ステップＳ４０３では、周囲の撮像用画素Ｇが飽和しているか否かの判定を行う（飽和領域検出）。飽和していないと判定された場合には、ステップＳ４００のクロストーク補正サブルーチンを終了し、ステップＳ２００の焦点検出サブルーチンに戻る。飽和していると判定された場合には、ステップＳ４０４に進む。
【００６０】
ステップＳ４０１、ステップＳ４０３、ステップＳ４０４における飽和の判定はカメラＣＰＵ２０が行う。つまり飽和領域判定手段はＣＰＵ２０に対応する。
【００６１】
ステップＳ４０４では、周囲の撮像用画素Ｇが飽和していた焦点検出ラインに対して、近傍の焦点検出ラインにおいても、周囲の撮像用画素Ｇが飽和しているか否かを判定する。焦点検出領域６０１は、図７に説明したように、複数の焦点検出ラインが並んで構成されている。そこで、近傍の焦点検出ラインの周囲の撮像用画素Ｇが飽和しているか否かを判定し、飽和していない場合には、ステップＳ４０５以降の処理に進み、近傍の焦点検出ラインの情報に基づいて正しく行われなかったクロストーク補正の影響を軽減する処理を行う。ステップＳ４０４にて、近傍の焦点検出ラインも周囲の撮像用画素Ｇが飽和していると判定された場合には、ステップＳ４００のクロストーク補正サブルーチンを終了し、ステップＳ２００の焦点検出サブルーチンに戻る。
【００６２】
ステップＳ４０５では、近傍の焦点検出ライン同士の像信号の比較を行う。図１２〜図１４を用いて、ステップＳ４０５の演算内容の説明を行う。
【００６３】
図１２は、本実施形態の演算処理内容を説明するための被写体の例を示す図である。図１２は、撮像素子１０上に投影された被写体を示したものである。６０１は、図６、及び図７における焦点検出領域６０１に対応している。Line１とLin２2は、図７における焦点検出ラインLine１、焦点検出ラインLine２に対応している。６０２は被写体の輝度パターンを示したものである。被写体６０２は、黒地に縦線が１本描かれたものである。縦線部は下から上にかけて、白からグレーに徐々に変化するグラデーションを有している。そのため、縦線部は下方向にいくほど明度が増し、撮像素子１０から得られる像信号の出力も高くなる。
【００６４】
図１３は、図１２で示したような被写体を焦点検出した際に、隣接するLine１とLine２から得られる像信号を示している。横軸が画素位置、縦軸は出力値である。図１２で説明したように、被写体６０２に対して焦点検出を行うと、縦線部は下方向に行くほど撮像素子１０から得られる像信号の出力も大きくなる。今、Line１では撮像用画素は飽和しておらず、隣接するLine２から撮像用画素が飽和し始めた状況を想定する。また、図１３に示す像信号は、図５で説明したようなクロストーク補正が行われた後のものである。
【００６５】
図１３（ａ）は、Line１の焦点検出用画素対Ｐ・Ｑと、その周囲の撮像用画素Ｇとから得られる像信号を示している。Ｉ１−Ｐは焦点検出用画素Ｐから得られる像信号、Ｉ１−Ｑは焦点検出用画素Ｑから得られる像信号、Ｉ１−Ｇは周囲の撮像用画素Ｇから得られる像信号である。図１３（ａ）では、デフォーカスした状態での像信号を示している。焦点検出用画素対Ｐ・Ｑは、図４（ａ）に示したように、撮影レンズ５の射出瞳の一部領域を透過する光束を受光可能となっている。そのため、デフォーカス時にはＩ１−Ｐ、Ｉ１−Ｑに示すように、それぞれ反対方向にずれた像信号となる。一方、周囲の撮像用画素Ｇは撮影レンズ５の射出瞳の全域を透過する光束を受光可能となっている。そのため、デフォーカス時にはＩ１−Ｇに示すように横ずれせず、大きくボケた像信号となる。
【００６６】
図１３（ｂ）は、Line２の焦点検出用画素対Ｐ・Ｑと、その周囲の撮像用画素Ｇとから得られる像信号を示している。Ｉ２−Ｐは焦点検出用画素Ｐから得られる像信号、Ｉ２−Ｑは焦点検出用画素Ｑから得られる像信号、Ｉ２−Ｇは周囲の撮像用画素Ｇから得られる像信号である。図１３（ｂ）でも、デフォーカスした状態での像信号を示している。周囲の撮像用画素Ｇは撮影レンズ５の全域を透過する光束を受光可能となっており、デフォーカス時にはＩ２−Ｇに示すように横ずれせず、大きくボケた像信号となる。さらにLine２では撮像用画素Ｇは飽和しているため、一部が上限値で張り付いたような像信号となってしまう。上限値で張り付いてしまった領域では、図５で説明したクロストーク補正が正しく行われず、補正量が不足してしまう。そのため、焦点検出用画素対Ｐ・Ｑから得られる像信号は、クロストーク補正した後でも、クロストーク成分が重畳したようなものとなってしまう。Ｉ２−Ｐは焦点検出用画素Ｐから得られる像信号、Ｉ２−Ｑは焦点検出用画素Ｑから得られる像信号である。一方、Ｉ２’−Ｐは周囲の撮像用画素Ｇからのクロストークが正しく除去された場合に焦点検出用画素Ｐから得られるはずの像信号である。Ｉ２’−Ｑは周囲の撮像用画素Ｇからのクロストークが正しく除去された場合に焦点検出用画素Ｑから得られるはずの像信号である。つまりＩ２’−Ｐ及びＩ２’−Ｑが本来得られるべき像信号である。Ｉ２−ＣＲＳは、Ｉ２−ＰとＩ２’−Ｐの差、もしくはＩ２−ＱとＩ２‘−Ｑの差である。つまりＩ２−ＣＲＳが、周囲の撮像用画素Ｇが飽和していたために補正しきれなかったクロストーク補正残りである。
【００６７】
図１４は、ステップＳ４０５近傍ライン比較の演算内容を説明するための図である。近傍の焦点検出ライン同士での像信号の比較を行っている。横軸が画素位置、縦軸は出力値である。焦点検出用画素対Ｐ・Ｑから得られる像信号は、撮影レンズによるケラレ度合いが異なるため、デフォーカス時に得られる像信号は、図１３に示したように異なる形状となる。そこで近傍ライン同士の比較を行う際には、撮影レンズによるケラレ度合いが略同等の焦点検出用画素Ｐから得られる像信号同士、焦点検出用画素Ｑから得られる像信号同士を比較する。
【００６８】
図１４（ａ）は、焦点検出ラインLine１と焦点検出ラインLine２の間で、焦点検出用画素Ｐから得られる像信号同士の比較を行う様子を示したものである。Ｉ１−Ｐは焦点検出ラインLine１の焦点検出用画素Ｐから得られる像信号、Ｉ２−Ｐは焦点検出ラインLine２の焦点検出用画素Ｐから得られる像信号である。二つの像信号の比較により、二つの像信号のレベル差を算出する。像信号Ｉ１−Ｐを基準としたときに、像信号Ｉ２−Ｐが何倍に相当するのか算出し、レベル差とする。レベル差を算出する方法としては、二つの像信号のピーク値を比較する。画素出力の積算値を比較してもよい。ここで、算出されたレベル差をａ倍とする。
【００６９】
図１４（ｂ）は、焦点検出ラインLine１と焦点検出ラインLine２の間で、焦点検出用画素Ｑから得られる像信号同士の比較を行う様子を示したものである。Ｉ１−Ｑは焦点検出ラインLine１の焦点検出用画素Ｑから得られる像信号、Ｉ２−Ｑは焦点検出ラインLine２の焦点検出用画素Ｑから得られる像信号である。二つの像信号の比較により、二つの像信号のレベル差を算出する。像信号Ｉ１−Ｑを基準としたときに、像信号Ｉ２−Ｑが何倍に相当するのか算出し、レベル差とする。ここで、算出されたレベル差をｂ倍とする。近傍ラインとは、近傍の焦点検出ラインつまり焦点検出ラインLine１と焦点検出ラインLine２に相当する。
【００７０】
図１１のステップＳ４０６では、ステップＳ４０５での近傍ライン同士の比較結果に基づいて、飽和している撮像用画素Ｇの出力を推定する。
【００７１】
図１５は、ステップＳ４０６の撮像用画素出力推定及びステップＳ４０７のクロストーク補正残り算出の演算処理内容を説明するための図である。横軸が画素位置、縦軸は出力値である。Ｉ１−Ｇは図１３にて説明したLine１の周囲の撮像用画素Ｇから得られる像信号に、Ｉ２−Ｇは図１３にて説明したLine２の周囲の撮像用画素Ｇから得られる像信号に対応している。Ｉ２’−Ｇは、ステップＳ４０５での近傍ライン同士の比較結果に基づいて推定したLine２の周囲の撮像用画素Ｇからの像信号である。ステップＳ４０５での近傍ライン比較において、焦点検出用画素Ｐ同士の比較結果から得られたレベル差ａ倍、焦点検出用画素Ｑ同士の比較結果から得られたレベル差ｂ倍の平均をとり、焦点検出ラインLine１に対して、焦点検出ラインLine２は（ａ＋ｂ）／２倍のレベル差があるとする。そこでＩ１−Ｇを（ａ＋ｂ）／２倍することで、Ｉ２’−Ｇを算出する。
【００７２】
像信号Ｉ２‘−Ｇは、Ｉ２−Ｇの出力が上限値で張り付かず、光量に応じた出力が得られたときの像信号である。そこで、推定した像信号Ｉ２’−Ｇから、飽和した像信号Ｉ２−Ｇを引いた部分であるＩＥ２−Ｇが、飽和によって生じた撮像用画素Ｇの誤差成分と推定できる。
【００７３】
図１１のステップＳ４０７では、ステップＳ４０６の撮像用画素出力推定で推定した撮像用画素Ｇの出力に基づいて、飽和によりクロストーク補正しきれなかった成分を算出する。図１５の飽和によって生じた撮像用画素Ｇの誤差成分ＩＥ２−Ｇに、図５で説明したクロストーク補正係数をかけることで、クロストーク補正しきれなった成分を算出する。
【００７４】
図１１のステップＳ４０８では、ステップＳ４０７で算出したクロストーク補正残りに基づいて、正しくクロストーク補正されずに残ってしまった成分を除去する補正を行う。この動作もカメラＣＰＵ２０が行う。像信号を補正する工程は、ステップＳ４０８に相当する。つまり補正手段はカメラＣＰＵ２０に対応する。
【００７５】
図１６は、ステップＳ４０７のクロストーク補正残り補正の演算処理内容を説明するための図である。横軸が画素位置、縦軸は出力値である。図１６（ａ）〜図１６（ｃ）は、クロストーク補正残り補正前の像信号から、飽和によるクロストーク補正残り成分を減算して、クロストーク補正残り補正を行う様子を示している。図１６（ａ）がクロストーク補正残り補正前の像信号、図１６（ｂ）が飽和よるクロストーク補正残り成分、図１６（ｃ）がクロストーク補正残り補正後の像信号である。
【００７６】
図１６（ａ）は、Line２の焦点検出用画素対Ｐ・Ｑから得られる像信号を示している。クロストーク補正残りの補正が行われる前の像信号である。Ｉ２−Ｐは図１３（ｂ）の焦点検出用画素Ｐから得られる像信号Ｉ２−Ｐに、Ｉ２−Ｑは図１３（ｂ）の焦点検出用画素Ｑから得られる像信号Ｉ２−Ｑに対応する。また、Ｉ２’−Ｐは図１３（ｂ）の飽和によるクロストーク補正残りが生じなかった場合に焦点検出用画素Ｐから得られるはずの像信号Ｉ２’−Ｐに対応する。また、Ｉ２’−Ｑは図１３（ｂ）の飽和によるクロストーク補正残りが生じなかった場合に焦点検出用画素Ｑから得られるはずの像信号Ｉ２’−Ｑに対応する。さらに、Ｉ２−ＣＲＳは図１３（ｂ）の飽和によって補正しきれなかったクロストーク成分Ｉ２−ＣＲＳに対応する。図１６（ａ）に示すように、クロストーク補正残りの補正が行われる前の像信号は、飽和によって補正しきれなかったクロストーク成分Ｉ２−ＣＲＳが重畳してしまっている。
【００７７】
図１６（ｂ）は、ステップＳ４０７で算出したクロストーク補正残りを示したものである。Ｉ２−ＣＲＳはステップＳ４０７で算出したクロストーク補正しきれなかった成分を示している。
【００７８】
図１６（ｃ）は、クロストーク補正残りの補正を行った後の像信号である。図１６（ａ）のクロストーク補正残り補正前の像信号から、図１６（ｂ）の飽和によって補正しきれなかったクロストーク成分を減算し、クロストーク補正残り補正後の像信号を算出する。そして、周囲の撮像用画素から焦点検出用画素に洩れこんできた成分を除去した像信号を得ることができる。これにより周囲の撮像用画素が飽和したことにより発生する焦点検出誤差を軽減することができる。
【００７９】
本実施形態の撮像素子のように、撮像を行うための撮像素子から得られる像信号に基づいて撮影レンズの焦点状態を検出する場合、焦点検出専用の撮像素子から得られる像信号に基づいて焦点検出する方法に比べて、像信号のノイズ成分が多い。そのため、ノイズによる焦点検出バラツキが大きい。そこでバラツキ軽減するために、少しでも多くの焦点検出結果を取得してそれらを平均することが望ましい。焦点検出用画素自身、もしくは周囲の撮像用画素に飽和が生じてしまった場合、その焦点検出ラインの検出結果を平均する対象から外してしまうという方法も考えられる。しかし、撮像を行なうための撮像素子から得られる像信号に基づいて焦点検出を行なう際には、例え飽和が生じていても、補正によって飽和の影響を軽減できるのであれば、補正して少しでも多くの焦点検出ラインの結果を取得することが望まれる。そこで本実施形態のような補正演算を行うことで、飽和が生じた焦点検出ラインの飽和による悪影響を軽減することができる。そして飽和が生じた焦点検出ラインの焦点検出結果を除外することなく有効利用することができる。さらに、より多くの焦点検出結果を取得することで、焦点検出結果のバラツキ軽減を実現することができる。
【００８０】
以上のように、本実施形態の撮像装置によれば、近傍の焦点検出ライン同士の像信号を比較することで飽和している撮像用画素の出力値を推定し、周囲の撮像用画素から焦点検出用画素への洩れ込みを正しく補正できる。これにより、飽和による焦点検出結果に対する悪影響を軽減可能な撮像装置を実現することができた。
【００８１】
本発明の好ましい実施形態について、撮影レンズが交換可能なカメラで説明したが、撮影レンズがカメラに備わっている所謂レンズくくり付けタイプのカメラに適用してもよい。レンズくくり付けタイプのカメラにおいても、従来の課題は存在する。そして本実施形態で説明したような構成を取ることで、同様の効果を得ることができる。
【００８２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2011257565.tif 000003
【図２】
2011257565.tif 000004
【図３】
2011257565.tif 000005
【図４】
2011257565.tif 000006
【図５】
2011257565.tif 000007
【図６】
2011257565.tif 000008
【図７】
2011257565.tif 000009
【図８】
2011257565.tif 000010
【図９】
2011257565.tif 000011
【図１０】
2011257565.tif 000012
【図１１】
2011257565.tif 000013
【図１３】
2011257565.tif 000014
【図１４】
2011257565.tif 000015
【図１５】
2011257565.tif 000016
【図１６】
2011257565.tif 000017
【図１２】
2011257565.tif 000018