(57)【要約】【課題】誤補正等の発生を防止可能にすることを課題とする。【解決手段】瞳分割された光束を受光する複数の分割画素を有する単位画素が二次元状に複数配置された撮像素子（１０３）の、欠陥画素の位置を記録する記録手段（１０６）と、撮像素子（１０３）から読み出された信号を基に欠陥画素を検出し、記録手段（１０６）に記録されている欠陥画素の位置に基づいて、その検出した欠陥画素に対する欠陥補正を行う補正手段（１０５）と、を有する。補正手段（１０５）は、撮像素子（１０３）から分割画素の信号が読み出された際の読み出しライン間隔に基づいて、記録手段（１０６）に記録されている欠陥画素の位置を参照する際の参照範囲を変更する。【選択図】図１
2020150484.tif 000002
【特許請求の範囲】
【請求項１】
瞳分割された光束を受光する複数の分割画素を有する単位画素が二次元状に複数配置された撮像素子の、欠陥画素の位置を記録する記録手段と、
前記撮像素子から読み出された信号を基に欠陥画素を検出する検出手段と、
前記記録手段に記録されている欠陥画素の位置に基づいて、前記検出手段で検出された欠陥画素に対する欠陥補正を行う補正手段と、を有し、
前記補正手段は、前記撮像素子から前記分割画素の信号が読み出された際の読み出しライン間隔に基づいて、前記記録手段に記録されている欠陥画素の位置を参照する際の参照範囲を変更することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記欠陥補正を行った欠陥画素の位置を前記記録手段に記録させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記瞳分割された光束を受光する前記複数の分割画素のうち前記瞳分割された一部の光束のみを受光する各分割画素から読み出された信号を基に、前記分割画素ごとに前記欠陥画素の検出を行い、
前記補正手段は、前記撮像素子から、前記瞳分割された一部の光束のみを受光する分割画素の信号が読み出された際の前記読み出しライン間隔に基づいて、前記記録手段から前記分割画素の欠陥画素の位置を参照する際の参照範囲を変更することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記撮像素子からは、前記瞳分割された光束を受光する前記複数の分割画素の信号を混合した信号が画像信号として読み出され、
前記補正手段は、前記画像信号に対する欠陥補正を行う際には、前記記録手段から前記欠陥画素の位置を参照する際の参照範囲を、前記撮像素子からすべての信号を読み出す際の読み出しライン間隔に応じた参照範囲にすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記分割画素の欠陥画素の位置を参照する際の前記変更された後の参照範囲は、前記画像信号に対する前記欠陥画素を行う際の参照範囲よりも広いことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮像素子から前記分割画素の信号が読み出される際の前記読み出しライン間隔は、信号が読み出される読み出しラインの数と、信号の読み出しが行われない非読み出しラインの数とで表される間隔であることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記補正手段は、
着目画素の画素値と前記着目画素の周辺の画素の画素値とを用いた演算で得た画素値により前記着目画素の画素値を置き換えるフィルタ処理により前記欠陥補正を行い、
前記撮像素子からすべての信号を読み出す読み出しライン間隔に応じた読み出しラインの数と前記撮像素子から前記分割画素の信号が読み出される際の読み出しライン間隔に応じた読み出しラインの数との比率と、前記フィルタ処理で用いるタップ数とに基づいて、前記分割画素の欠陥画素の位置を参照する際の前記参照範囲を表す画素数を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記フィルタ処理は水平方向のメディアンフィルタ処理であり、
前記読み出しラインは前記撮像素子の水平方向のラインであり、
前記参照範囲は前記撮像素子の水平方向の画素数で表されることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像処理装置が実行する画像処理方法であって、
瞳分割された光束を受光する複数の分割画素を有する単位画素が二次元状に複数配置された撮像素子の、欠陥画素の位置を記録する記録工程と、
前記撮像素子から読み出された信号を基に欠陥画素を検出する検出工程と、
前記記録工程で記録されている欠陥画素の位置に基づいて、前記検出工程で検出された欠陥画素に対する欠陥補正を行う補正工程と、
前記補正工程では、前記撮像素子から前記分割画素の信号が読み出された際の読み出しライン間隔に基づいて、前記記録工程で記録されている欠陥画素の位置を参照する際の参照範囲を変更することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から読み出された信号に基づく欠陥画素の検出および補正技術に関する。
【背景技術】
【０００２】
撮像装置のオートフォーカス（ＡＦ）方式として、一つのマイクロレンズに対して複数の光電変換素子を配置した複数の画素からなる撮像素子によって瞳分割像を取得し、それら瞳分割像の位相差を求めて焦点検出を行う撮像面位相差方式が知られている。
例えば特許文献１には、二つの瞳分割像の位相差を求めて焦点検出を行うと共に、同一のマイクロレンズに対応するすべての光電変換素子の信号を加算した信号を、一つの画素の信号とし扱うことで、観賞用の撮影画像を生成する技術が開示されている。
【０００３】
また例えば特許文献２には、瞳分割された光束を受光する二つの光電変換素子を備えた複数の画素で構成された撮像素子に対する信号読み出し技術が開示されている。特許文献２の技術では、第１の動作として、二つの光電変換素子のうち一方から第１画素信号を読み出して保持し、続いて第２の動作ではリセット動作を行わずに、もう一方の光電変換素子から第２画素信号を読み出して加算することで撮像画素の信号を得る。また、第１画素信号は、ＡＦに必要な焦点検出用画素の信号として扱われ、前述の加算で得られた撮像画素の信号から第２画素信号を減算することで求められる。さらに特許文献２では、設定された焦点検出領域でのみ第１，第２画素信号の両方を読み出し、それ以外の領域では第２画素信号のみを読み出すことで必要最小限のデータ伝送を可能にし、高解像度、高速連写、動画フレームレート等の性能向上を可能としている。
【０００４】
また特許文献３には、ＣＭＯＳの暗電流によって発生する固定パターンノイズや時系列に関係なく発生するランダムノイズを除去する為に、ｎ×ｎ画素でメディアンフィルタ処理を行う技術が開示されている。
さらに特許文献４には、ｎ×ｎ画素でメディアンフィルタ処理を行うと、複数の走査線（ライン）のデータを記憶する記憶回路が必要になり、回路規模が大きくなってしまうという課題が記述されている。このため、特許文献４には、水平ラインのｎ画素のみでメディアンフィルタ処理を行い、また欠陥画素の検出結果を履歴として保持し、その検出履歴を参照してメディアンフィルタ処理を行う技術が開示されている。さらに特許文献４の技術では、エッジ部分を誤検出・誤補正しないように上ラインの欠陥画素の検出結果を履歴として保持し、着目画素の真上と当該真上の左右の１画素の欠陥画素検出履歴を参照し、着目画素が欠陥画素なのかエッジ部なのかを検出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１３４３８９号公報
【特許文献２】特開２０１３−１０６１９４号公報
【特許文献３】特開平４−２３５４７２号公報
【特許文献４】特開２００５−２８６８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された技術の場合、以下のような問題が発生する。
撮像装置の要求事項として、所定時間内に多くの撮像画素信号を読み出すことが求められている。ただし撮像面位相差方式の場合、撮像素子からは、撮像画素の信号の読み出しに加えて、ＡＦに必要な焦点検出用画素の信号を読み出す必要がある。そのため、撮像画素の信号取得、及び焦点検出用画素の信号取得のための読み出し負荷の増大、及び読み出した信号に対する処理負荷の増大が懸念される。
【０００７】
なお、特許文献２の技術のように、例えば焦点検出用画素の信号を数ラインに１ライン読み出すように間隔を空けるような制御を行えば、システムの負荷は軽減できると考えられる。しかしながら、間隔を空けて読み出した焦点検出用画素の信号に対し、特許文献４のように、欠陥画素検出及び補正を行う場合、上ラインの欠陥画素検出履歴が１ライン上ではなく、撮像面上の数ライン上の欠陥画素検出履歴を参照することになる。その結果、着目画素の真上と着目画素の真上の左右１画素の欠陥画素検出履歴を参照しただけでは、参照範囲が狭く、斜め線などのエッジ部を正しく検出できずに誤補正を行ってしまう虞がある。
【０００８】
そこで、本発明は、誤補正等の発生を防止可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、瞳分割された光束を受光する複数の分割画素を有する単位画素が二次元状に複数配置された撮像素子の、欠陥画素の位置を記録する記録手段と、前記撮像素子から読み出された信号を基に欠陥画素を検出する検出手段と、前記記録手段に記録されている欠陥画素の位置に基づいて、前記検出手段で検出された欠陥画素に対する欠陥補正を行う補正手段と、を有し、前記補正手段は、前記撮像素子から前記分割画素の信号が読み出された際の読み出しライン間隔に基づいて、前記記録手段に記録されている欠陥画素の位置を参照する際の参照範囲を変更することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、誤補正等の発生を防止可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】欠陥画素補正部と欠陥画素記録部の構成例を示すブロック図である。
【図３】撮像素子の構成を説明する図である。
【図４】撮影レンズの射出瞳から出た光束が分割画素に入射する概念説明図である。
【図５】Ａ＋Ｂ像とＡ像の信号読み出し例の説明図である。
【図６】Ａ像の信号読み出しライン数の変更例を示した図である
【図７】Ａ像に対する欠陥画素検出履歴の参照範囲の例を示した図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る実施の形態を、添付の図面に基づいて詳細に説明する。なお。以下に説明する実施形態は単なる例示であり、本発明は実施形態に記載された構成に限定されるものではない。
図１は、本実施形態における画像処理装置が適用された撮像装置の全体構成例を示すブロック図である。
図１において、光学系１０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ等の少なくとも一つ以上のレンズ系と、絞りとを有する。
【００１３】
光学系駆動部１０２は、光学系１０１のズームレンズ、フォーカスレンズ、ブレ補正レンズ等を駆動する駆動機構と、その駆動機構を制御する駆動回路とを有する。光学系駆動部１０２の駆動回路は、ＡＦ制御部１１０から出力されてシステム制御部１１１を介して供給されるフォーカス情報と、システム制御部１１１の光学系駆動情報とに応じて、駆動機構を駆動制御する。
【００１４】
撮像素子駆動部１０４は、システム制御部１１１からの撮像素子駆動指示情報に応じて、撮像素子１０３の駆動及び制御を行う。
撮像素子１０３は、光学系１０１により撮像面上に形成された被写体像等を光電変換により電気信号に変換する。撮像素子１０３は、例えばＣＭＯＳセンサからなり、いわゆるベイヤー配列となされたＲ（赤），Ｇ１（緑），Ｇ２（緑），Ｂ（青）のカラーフィルタを備えている。撮像素子１０３は、撮像素子駆動部１０４から供給される焦点検出用の瞳分割像の読み出し開始位置及び読み出し間隔の制御信号に基づいて、撮像画像信号と焦点検出用の瞳分割像の信号との二つの信号を出力する。撮像素子１０３の詳細な構成と、撮像画像信号と焦点検出用の瞳分割像の信号の詳細は後述する。
【００１５】
欠陥画素補正部１０５は、撮像素子１０３から出力された撮像画像信号と焦点検出用の瞳分割像の信号とについて欠陥画素を検出するための画像処理を行い、その欠陥画素検出結果を欠陥画素記録部１０６に送って記録させる。また、欠陥画素補正部１０５は、欠陥画素検出結果と欠陥画素記録部１０６に記録された欠陥画素検出履歴とから、欠陥画素を補正するための画像処理を行う。欠陥画素補正部１０５と欠陥画素記録部１０６の詳細は後述する。
【００１６】
信号分離部１０７には、欠陥画素補正部１０５で欠陥画素補正された撮像画像信号と瞳分割像の信号とが入力される。ここで、信号分離部１０７は撮像画像信号から瞳分割像の信号を減算して、もう一方の瞳分割像の信号を生成する。そして、それら二つの瞳分割像の信号は位相差検出部１０９に送られ、撮像画像信号は信号処理部１０８に送られる。
【００１７】
信号処理部１０８は、信号分離部１０７から得られた撮像画像信号に対し、例えば、色変換及びホワイトバランス等の既知の画像処理を行う。そして、信号処理部１０８で各種画像処理が行われた後の画像信号は、不図示の圧縮部にて圧縮符号化され、不図示の記録媒体に記録されたり、通信部を介して送信等されたりする。ここで、記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてもよい。
【００１８】
位相差検出部１０９は、信号分離部１０７から得られた二つの瞳分割像を基に位相差測距を行うための位相差評価値を算出する。二つの瞳分割像に基づく位相差測距の詳細は後述する。
ＡＦ制御部１１０は、位相差検出部１０９にて算出された位相差評価値を基に、光学系１０１のフォーカスレンズにおけるフォーカス位置を制御するためのフォーカス情報を算出する。フォーカス情報は、システム制御部１１１を介して光学系駆動部１０２に送られる。
【００１９】
システム制御部１１１は、撮像装置全体を制御する。システム制御部１１１は、ズームレンズや絞りなどの光学系駆動情報を光学系駆動部１０２へ送る。また、システム制御部１１１は、撮影シーンや撮影モードなどから得られる撮影情報に基づいて、露光時間や瞳分割像の信号の読み出し開始位置や読出し間隔などの撮像素子駆動指示情報を生成して撮像素子駆動部１０４へ渡す。
【００２０】
図２は、欠陥画素補正部１０５と欠陥画素記録部１０６の構成例を示した図である。
欠陥画素補正部１０５は、フィルタ検出部２０１及びフィルタ補正部２０２の組と、フィルタ検出部２０３及びフィルタ補正部２０４の組とを有して構成されている。
【００２１】
一方の組のフィルタ検出部２０１及びフィルタ補正部２０２は、撮像画像信号について欠陥画素の検出と欠陥画素の補正を行うための構成である。フィルタ検出部２０１は、水平方向のメディアンフィルタで５タップの構成を有し、撮像画像の着目画素の画素値とメディアン値を検出し、それらをフィルタ補正部２０２に出力する。
フィルタ補正部２０２は、入力された着目画素の画素値とメディアン値との差分値が所定の閾値を超えていたならば、その着目画素が欠陥画素であると判別する。所定の閾値は、例えば撮影時のＩＳＯ感度や露光量、露出時間によって切り替える。そして、フィルタ補正部２０２は、着目画素が欠陥画素であるか否かの判別結果の情報を欠陥画素記録部１０６に出力する。
【００２２】
もう一方の組のフィルタ検出部２０３及びフィルタ補正部２０４は、瞳分割像の信号について欠陥画素の検出と欠陥画素の補正を行うための構成である。フィルタ検出部２０３は、水平方向のメディアンフィルタで５タップの構成を有し、瞳分割像の着目画素の画素値とメディアン値をフィルタ補正部２０４に出力する。
フィルタ補正部２０４は、入力された着目画素の画素値とメディアン値との差分値が所定の閾値を超えていたならば、その着目画素が欠陥画素であると判別し、そして、着目画素が欠陥画素であるか否かの判別結果の情報を欠陥画素記録部１０６に出力する。
【００２３】
欠陥画素記録部１０６は、例えば４ライン分のラインメモリを有している。ラインメモリは、１アドレスあたり１ビットの信号が書き込まれ、撮像画像又は瞳分割像において、着目画素が欠陥画素であると判別された場合は"１"が書き込まれ、欠陥画素でないと判別された場合は"０"が書き込まれる。なお、欠陥画素記録部１０６が４ライン分のラインメモリを有しているのは、撮像画像信号用と瞳分割像の信号用とで、それぞれ撮像素子１０３のベイヤー配列を考慮しているためである。つまり、欠陥画素の検出及び補正の対象となっている着目画素が例えばＲ画素である場合、欠陥画素記録部１０６で参照する画素もＲ画素にするためである。
【００２４】
そして、フィルタ補正部２０２は、着目画素とメディアン値との差分演算の結果と、欠陥画素記録部１０６に記録された前ラインの検出履歴とから、着目画素が最終的に補正対象であると判断した場合にのみ、その着目画素の画素値をメディアン値に置き換える。これにより、その着目画素の欠陥補正が実現される。
【００２５】
図３は、撮像素子１０３を構成している各画素の構成及び配列を説明する図である。
本実施形態において、撮像素子１０３は単位画素３０２が二次元状に複数配置されて構成されており、個々の単位画素３０２はそれぞれが複数の光電変換素子を有して構成されている。マイクロレンズ３０１は、撮像素子１０３に二次元配置された個々の単位画素３０２に各々対応するように配列されており、それら二次元状に配置されたマイクロレンズ３０１によってマイクロレンズアレイが形成されている。図２中の（０，０）、（１，０）、及び（０，１）等で示される各領域は、撮像素子１０３に二次元状に複数配置された個々の単位画素３０２に対応している。図３の例では、一つの単位画素３０２につき、一つのマイクロレンズ３０１と二つの光電変換素子３０１Ａ及び３０１Ｂが配されており、これら二つの光電変換素子３０１Ａ及び３０１Ｂは、単位画素３０２を２分割した分割画素に相当する。なお、図３の例では、単位画素３０２は光電変換素子３０１Ａと３０１Ｂが横方向（Ｘ軸方向）に並べられた構成となされているが、光電変換素子３０１Ａと３０１Ｂが縦方向（ｙ軸方向）に並べられてもよい。その他、一つのマイクロレンズ３０１に対する光電変換素子（つまり分割画素）は二つに限らず、三つ以上であってもよい。
【００２６】
図４は、光学系１０１から射出された光が一つのマイクロレンズ３０１を通過して、二つの光電変換素子３０１Ａ及び３０１Ｂで受光される様子を、光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。
図４に示すように、光学系１０１の射出瞳を通過した光は、光軸Ｚを中心として、単位画素３０２に入射する。この時、瞳領域４０１を通過する光束はマイクロレンズ３０１を通して光電変換素子３０１Ａで受光され、瞳領域４０２を通過する光束はマイクロレンズ３０１を通して光電変換素子３０１Ｂで受光される。すなわち、光電変換素子３０１Ａと光電変換素子３０１Ｂは、それぞれ光学系１０１の射出瞳の異なる領域を通過した光を受光する。本実施形態では、Ｘ軸方向に並ぶ複数の単位画素３０２において、それぞれ瞳分割された光電変換素子３０１Ａから出力される信号群で構成される画像をＡ像とし、同様に瞳分割された光電変換素子３０１Ｂから出力される信号群で構成される画像をＢ像とする。
【００２７】
ここで、Ａ像の信号とＢ像の信号とを足し合わせて混合したＡ＋Ｂ像の信号は、観賞用の撮像画像の信号として用いることができる。また、Ａ像とＢ像を用いた相関演算を行い、それらＡ像とＢ像のずれ量（位相差）を検出し、そのずれ量に対して焦点位置と光学系１０１の特性に応じて決まる変換係数を乗じれば、画面内の任意の被写体位置に対応した焦点位置が算出可能となる。さらにその算出した焦点位置情報を基に、光学系１０１に含まれるフォーカスレンズの移動量を制御することで、撮像面位相差ＡＦが可能となる。
【００２８】
このため、撮像素子１０３から、常にＡ＋Ｂ像の撮像画像の信号と、Ａ像とＢ像のうちの一部（例えばＡ像）の信号とを読み出すようにすれば、観賞用の撮像画像の取得と同時に、画面内の任意の位置でのＡＦが可能になる。なお、Ａ＋Ｂ像の信号とＡ像の信号とを用いて撮像面位相差ＡＦを行う場合、Ａ＋Ｂ像の信号からＡ像の信号を減算してＢ像の信号を求め、それらＢ像とＡ像の両信号を用いて相関演算を行うことでずれ量（位相差）の算出が可能となる。そして前述したように、そのずれ量に対して変換係数を乗じて算出した焦点位置を用いることで、撮像面位相差ＡＦが可能となる。つまり一般には、例えば図５（Ａ）に示すように、撮像画面５００内に予め設定された３×３枠等のＡＦ枠５０１で焦点位置合わせを行うが、ＡＦ枠５０１以外の領域でもＡ＋Ｂ像５１０及びＡ像５１１の信号を読み出すことで任意の位置でのＡＦが可能となる。しかしながらこの場合、実際には使用しないＡ像及びＢ像の情報を多く読み出していることになり、それらの読み出しに係る処理負荷の増加や発熱量の増大などの問題の発生が懸念される。
【００２９】
この場合、瞳分割像（Ａ像又はＢ像）における信号の読み出しを最低限必要な範囲に設定し、それ以外の範囲では撮像画像（Ａ＋Ｂ像）の信号のみを読み出すようにすれば、処理負荷や発熱を軽減できる。例えば図５（ｂ）に示すように、瞳分割像のＡ像については、例えばＡＦ枠５０１の配列に応じた範囲５１２の信号のみを読み出すようにすれば、情報量を大幅に削減でき、それに伴い処理負荷や発熱も軽減可能となる。
【００３０】
本実施形態の場合、システム制御部１１１は、撮像素子駆動部１０４へ渡す撮像素子駆動指示情報により読み出し開始位置及び読み出し間隔等を設定することで、撮像素子１０３から瞳分割像の信号を読み出す際に最低限必要な範囲だけ読み出すように制御する。
【００３１】
図６（ａ）〜図６（ｃ）は、焦点検出に用いられる瞳分割像の例えばＡ像について、例えば読み出しライン間隔を制御して読み出しライン数を変更することで、Ａ像の信号の読み出し量を削減する場合の例を示した図である。図６（ａ）〜図６（ｃ）において、ドットパターンで示されているラインは信号が読み出される読み出しラインを表しており、空白となされているラインは読み出しがなされない非読み出しラインを表している。また、図６（ａ）〜図６（ｃ）は読み出し開始位置についてはＡ像の左端の画素位置から行われるが、読み出しライン間隔がそれぞれ異なっている例を示している。
【００３２】
図６（ａ）は、Ａ像について、読み出しライン数がＡ＋Ｂ像と同様の読み出しライン数である場合の例を示した図である。すなわち、図６（ａ）は、Ａ像についてＡ＋Ｂ像と同様に全てのライン（１６ライン）が読み出しライン６００となされた例を示している。この場合、Ａ像の信号の読み出し量は、Ａ＋Ｂ像の信号読み出し量と同じとなる。
【００３３】
図６（ｂ）は、Ａ像の読み出しライン数が、図６（ａ）に示した読み出しライン数である１６ラインの半分（１／２）の８ラインになされた例を示している。図６（ｂ）の例では、２ライン分の読み出しライン６１０と、２ライン分の非読み出しラインとが交互に繰り返されることで、Ａ像の読み出しライン数が図６（ａ）の読み出しライン数の１／２になされた例を示している。なお、このような２ライン分の読み出しライン６１０と２ライン分の非読み出しラインとを交互に繰り返すのは、撮像素子１０３のベイヤー配列を考慮しているためである。また、図６（ａ）のようにＡ像の読み出しライン数がＡ＋Ｂ像の読み出しライン数と同等の場合には、処理負荷と発熱量の増大が懸念される。これに対し、図６（ｂ）のようにＡ像の読み出しライン数がＡ＋Ｂ像の読み出しライン数の半分になる場合には、処理負荷と発熱量の増大が軽減されることになる。
【００３４】
図６（ｃ）は、Ａ像の読み出しライン数が、図６（ａ）の読み出しライン数である１６ラインの１／４となる４ラインになされた例を示している。図６（ｃ）の例では、２ラインの読み出しライン６１１と、６ライン分の非読み出しラインとが交互に繰り返される例を示している。この図６（ｃ）のようにＡ像の読み出しライン数がＡ＋Ｂ像の読み出しライン数の１／４になる場合には、図６（ｂ）の例よりもさらに処理負荷と発熱量を少なくできることになる。
【００３５】
図７（ａ）〜図７（ｃ）は、図６（ａ）〜図６（ｃ）の例と同様に、Ａ像の読み出しライン間隔を制御した場合の例を示した図である。図７（ａ）〜図７（ｃ）は、画像内に写った斜め細線のようなエッジ部について、欠陥画素検出及び欠陥画素補正が行われる場合において、欠陥画素補正部１０５が欠陥画素記録部１０６から欠陥画素検出履歴を参照する際の参照範囲の例を示した図である。図７（ａ）〜図７（ｃ）において、図中の白丸及び黒丸はそれぞれＡ像における個々の画素を表している。なお、Ａ像は瞳分割像であるため、白丸及び黒丸で表された画素は実際には図３に示した分割画素であるがここでは単に画素と表記する。また、白丸で表された画素と黒丸で表された画素とではその画素値が大きく異なっており、黒丸の画素の並びで表される斜め細線の部分は画像のエッジ部に相当しているとする。なお、図７（ａ）〜図７（ｃ）も図６（ａ）〜図６（ｃ）の例と同様に、読み出し開始位置はＡ像の左端の画素位置となされ、読み出しライン間隔が異なっている例を示している。
【００３６】
図７（ａ）は、図６（ａ）と同様に、Ａ像について全てのライン（１６ライン）が読み出しライン７００となされた例を示している。
図７（ａ）の例において、例えば左上端から右に３番目で且つ下に３ライン目の画素が、欠陥画素の検出及び補正の対象となっている着目画素７２０であるとする。ここで、図２で説明した瞳分割像用のフィルタ検出部２０３及びフィルタ補正部２０４の組において、フィルタ検出部２０３は、水平５タップによるメディアンフィルタ処理を行い、着目画素７２０の画素値とメディアン値を出力する。この時、黒丸で表された着目画素７２０の画素値と、メディアン値の算出に用いられた白丸で表された各周辺画素の画素値との差が大きいため、フィルタ検出部２０３では、該着目画素７２０が欠陥画素として検出されることになる。
【００３７】
一方、この時のフィルタ補正部２０４は、欠陥画素記録部１０６に記録されている欠陥画素の検出履歴を参照する。この時、フィルタ補正部２０４は、着目画素７２０の２ライン真上の画素とその水平方向の左右２画素ずつの計５画素分を、参照範囲７２１として検出履歴を参照する。欠陥画素記録部１０６に記録された検出履歴は、前述したように１ビットで表された値であり、欠陥画素と検出された画素に対しては"１"が記録されている。そして、フィルタ補正部２０４は、それえら検出履歴の計５画素の中で１画素でも欠陥画素として検出された画素が含まれている場合には、欠陥補正を行わないようになされている。
【００３８】
ここで、図７（ａ）の例の場合、左上端の画素は黒丸で表され、該画素が着目画素の時にメディアン値を求めた水平方向の周辺画素は白丸で表されているため、当該左上端の着目画素は欠陥画素として検出履歴に記録されていることになる。したがって、フィルタ補正部２０４は、図７（ａ）の着目画素７２０について欠陥画素補正を行わない。つまり図７（ａ）のようにＡ像の全てのラインが読み出しライン７００となされている場合、欠陥画素の検出履歴を基に欠陥画素補正を行うか否かを判断することで、図７（ａ）の黒丸が並んだ斜め細線部分は、欠陥画素補正で誤って消されてしまうことはない。
【００３９】
図７（ｂ）は図６（ｂ）と同様に、Ａ像について２ライン分の読み出しライン７１０と２ライン分の非読み出しラインとが交互に繰り返される例を示している。なお、図７（ｂ）の例の場合、読み出しライン７１０における３ライン目は、図７（ａ）の５ライン目に相当する。そして、図７（ｂ）の例において、読み出しライン７１０における３ライン目で且つ左端から５番目の画素が、欠陥画素の検出及び補正の対象となっている着目画素７２０であるとする。図７（ｂ）の例においても図７（ａ）で説明したのと同様に、黒丸の着目画素７２０の画素値と、メディアン値の算出に用いた白丸の各周辺画素の画素値との差が大きいため、フィルタ検出部２０３では、該着目画素７２０が欠陥画素として検出されることになる。
【００４０】
またフィルタ補正部２０４は、欠陥画素記録部１０６に記録されている欠陥画素の検出履歴を参照する。ここで、フィルタ補正部２０４において、Ａ像の各読み出しライン７１０のうち、前述の図７（ａ）と同様に、例えば着目画素７２０の２ライン真上の画素とその水平方向の左右２画素ずつの計５画素分の検出履歴を参照したとする。この場合、それら５画素分の検出履歴には欠陥画素として検出された画素が記録されていないため、黒丸の着目画素７２０は、欠陥画素補正されて、白丸の画素に置き換えられてしまう。したがってこの場合、図７（ｂ）の黒丸が並んだ斜め細線は、全て欠陥画素補正されてしまい、黒丸の細線は消えてしまうことになる。このため、撮像装置は、焦点検出を行う際に、黒丸の細線にフォーカスを合わせるようなことが不可能になる。
【００４１】
したがって、図７（ｂ）のように、Ａ像について２ライン分の読み出しライン７１０と２ライン分の非読み出しラインとが交互に繰り返される場合、欠陥画素補正部１０５のフィルタ補正部２０４は、欠陥画素の検出履歴の参照範囲を広くするように変更する。この時のフィルタ補正部２０４は、図７（ｂ）に示すように、Ａ像の各読み出しライン７１０のうち、着目画素７２０の２ライン真上の画素とその画素を挟んだ水平方向の左右４画素ずつの計９画素分の参照範囲７２２の検出履歴を参照する。
【００４２】
これにより、図７（ｂ）の例の場合、参照範囲７２１の左端が欠陥画素として検出履歴に記録されているため、フィルタ補正部２０４は、図７（ｂ）の着目画素７２０について欠陥画素補正を行わないことになる。つまり、図７（ｂ）のようにＡ像について２ライン分の読み出しライン７１０と２ライン分の非読み出しラインとが交互に繰り返される場合、検出履歴の参照範囲を広くすることで、黒丸の斜め細線部分が欠陥画素補正により誤って消されてしまうことはない。したがって、撮像装置は、焦点検出を行う際に、黒丸の細線にフォーカスを合わせることが可能となる。
【００４３】
ここで、本実施形態の場合、前述したように、システム制御部１１１が撮像素子駆動部１０４へ渡す撮像素子駆動指示情報によって、瞳分割像のＡ像における信号の読み出しライン数の制御が行われている。このため、フィルタ補正部２０４は、システム制御部１１１が出力する撮像素子駆動指示情報に基づいて、Ａ像の信号読み出しライン数がどのような設定になっているかを検知でき、その検知結果を基に、欠陥画素の検出履歴の参照範囲を変更することができる。なお、参照範囲となされる画素数つまり参照画素数を決定する処理の詳細については後述する。
【００４４】
図７（ｃ）は、図６（ｃ）の例と同様に、Ａ像について、２ライン分の読み出しライン７１１と、６ライン分の非読み出しラインとが交互に繰り返される例を示している。なお、図７（ｃ）の例の場合、読み出しライン７１１における３ライン目は、図７（ａ）の９ライン目に相当する。そして、図７（ｃ）の例において、読み出しライン７１１における３ライン目で且つ左端から９番目の画素が、欠陥画素の検出及び補正の対象となっている着目画素７２０であるとする。図７（ｃ）の例においても前述の例と同様に、黒丸の着目画素７２０の画素値と、メディアン値の算出に用いた白丸の各周辺画素の画素値との差が大きいため、フィルタ検出部２０３では、該着目画素７２０が欠陥画素として検出されることになる。
【００４５】
ここで、フィルタ補正部２０４において、Ａ像の各読み出しライン７１１のうち、例えば前述の図７（ｂ）と同様に、例えば着目画素７２０の２ライン真上の画素とその水平方向の左右４画素ずつの計９画素分の検出履歴を参照したとする。この場合、それら９画素分の検出履歴には欠陥画素として検出された画素が記録されていないため、黒丸の着目画素７２０は、欠陥画素補正されて白丸の画素に置き換えられてしまう。そしてこの場合、図７（ｃ）の黒丸が並んだ斜め細線は全て欠陥画素補正されてしまい、黒丸の細線は消えてしまう。
【００４６】
このため、図７（ｃ）のようにＡ像で２ライン分の読み出しライン７１１と６ライン分の非読み出しラインとを、交互に繰り返す場合、フィルタ補正部２０４は、欠陥画素検出履歴の参照範囲を図７（ｂ）よりも広くするように変更する。この時のフィルタ補正部２０４は、図７（ｃ）に示すように、Ａ像の各読み出しライン７１０のうち、着目画素７２０の２ライン真上の画素とその水平方向の左右８画素ずつの計１７画素分の参照範囲７２３の検出履歴を参照する。
【００４７】
これにより、図７（ｃ）の例の場合、参照範囲７２２の左端が欠陥画素として検出履歴に記録されているため、フィルタ補正部２０４は、図７（ｃ）の着目画素７２０について欠陥画素補正を行わないことになる。つまり、図７（ｃ）のようにＡ像について２ライン分の読み出しライン７１０と６ライン分の非読み出しラインとが交互に繰り返される場合、検出履歴の参照範囲を広くすることで、黒丸の斜め細線部分が欠陥画素補正により誤って消されてしまうことはない。したがって、撮像装置は、焦点検出を行う際に、黒丸の細線にフォーカスを合わせることが可能となる。
【００４８】
次に、欠陥画素補正部１０５が欠陥画素検出履歴を参照する際の参照範囲における参照画素数を決定する処理について説明する。
前述したような信号の読み出しライン数は、信号の読み出し量と言い換えることができる。また前述のようにＡ像について読み出しライン間隔を制御して読み出しライン数を変更した場合のＡ像の読み出し量は、Ａ＋Ｂ像の読み出し量に対する比率である、読み出し率として表すことも可能である。このため、Ａ＋Ｂ像の読み出し量をＶａｂ、Ａ像の読み出し量をＶａ、及び、メディアンフィルタのタップ数をＴとした場合、欠陥画素検出履歴の参照範囲における参照画素数Ｎは、式（１）により求めることができる。
【００４９】
Ｎ＝（Ｖａｂ／Ｖａ）×（Ｔ−１）＋１      式（１）
【００５０】
このように欠陥画素補正部１０５は、瞳分割像のＡ像の欠陥画素補正処理のために欠陥画素検出履歴を参照する際、Ａ＋Ｂ像の読み出し量と、Ａ像の読み出し量と、メディアンフィルタのタップ数とを基に、検出履歴の参照範囲となる参照画素数を設定できる。なお式（１）の演算に代えて、例えば撮像素子駆動指示情報又は信号読み出しライン数と参照画素数との対応テーブルを用意しておき、欠陥画素補正部１０５は、撮像素子駆動指示情報又は信号読み出しライン数に応じた参照画素数を対応テーブルから取得してもよい。
【００５１】
以上のように、本実施形態の撮像装置は、瞳分割像の信号の読み出しライン数に応じて欠陥画素検出履歴の参照画素数を適切に変更することで、瞳分割像の画素に対する欠陥画素補正の際の誤補正の発生を低減でき、精度の良い欠陥画素検出及び補正が可能となる。
なお、Ａ＋Ｂ像の撮像画像については、前述した図７（ａ）で説明した読み出しライン間隔と同様にすべてのラインの読み出しが行われるため、参照範囲は図７（ａ）の例と同様であり変更されることはない。
【００５２】
前述した本実施形態では、欠陥画素補正に水平方向のメディアンフィルタを用いる例を挙げたため、撮像素子１０３の二次元画素配置における水平方向の読み出しライン数を制御する例を挙げた、垂直方向の読み出しライン数が制御されてもよい。
また実施形態では撮像装置としてデジタルカメラを想定しているが、本実施形態の撮像装置は、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、監視カメラ、工業用カメラ、医療用カメラ、車載用カメラ等の様々なカメラであってもよい。
【００５３】
本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５４】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５５】
１０３：撮像素子、１０４：撮像素子部、１０５：欠陥画素補正部、１０６：欠陥画素記録部、１０７：信号分離部、１０９：位相差検出部、１１１：システム制御部
【図１】
2020150484.tif 000003
【図２】
2020150484.tif 000004
【図３】
2020150484.tif 000005
【図４】
2020150484.tif 000006
【図５】
2020150484.tif 000007
【図６】
2020150484.tif 000008
【図７】
2020150484.tif 000009