(57)【要約】      （修正有）【課題】有効画素部の周辺部を遮光したオプティカルブラック部を必要とせずに、適切な黒レベルの推定を行う撮像装置を提供する。【解決手段】撮像素子２００は通常画素と、同量の入射光に対して低い感度を持つ特殊画素とを有する。撮像素子から出力される信号値を処理する信号処理部１３０は、通常画素と特殊画素とから出力される信号値の統計値を画素の種類ごとに算出する。通常画素と特殊画素とから取得した統計値とを結ぶ直線の縦軸切片からオフセット値を算出する。画素から出力される信号値からオフセット値を減算することで信号値を補正する。【選択図】図１
2016213594.tif 000002
【特許請求の範囲】
【請求項１】
感度の異なる複数種類の画素を複数有する撮像素子と、
前記撮像素子から出力される信号値を処理する処理手段と、を有し、
前記処理手段は、前記画素から出力される前記信号値の統計値を前記画素の種類ごとに算出し、
複数の前記統計値からオフセット値を算出し、
前記画素から出力される前記信号値に対し前記オフセット値を減算することで前記信号値を補正することを特徴とする撮像装置。
【請求項２】
前記画素は、通常画素と、前記通常画素に対し異なる構造を取る又はフィルタを有することで、異なる感度を持つ特殊画素と、を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特殊画素は完全に遮蔽されていないことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記オフセット値は、全ての前記特殊画素から算出された、前記撮像素子全体のオフセット値であることを特徴とする請求項１乃至請求項３に記載の撮像装置。
【請求項５】
前記オフセット値は、撮像素子を分割したエリアごとに存在する前記特殊画素から算出された、前記エリアごとのオフセット値であることを特徴とする請求項１乃至請求項３に記載の撮像装置。
【請求項６】
前記処理手段は、前記信号値の出力線形性を補正する線形性補正部と、
前記信号値から固定パターンノイズを減算するノイズ減算部と、
前記画素から出力される前記信号値の統計値を前記画素の種類ごとに算出し、複数の前記統計値から前記オフセット値を算出し、前記画素から出力される前記信号値に対し前記オフセット値を減算する黒レベル推定部とを有することを特徴とする請求項１乃至請求項５に記載の撮像装置。
【請求項７】
前記撮像素子は前記特殊画素が離散的に配置されることを特徴とする請求項２乃至請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＯＢ部を搭載しない撮像素子を備えた撮像装置に関する。
【背景技術】
【０００２】
一般的に、デジタルスチルカメラで用いられる撮像素子は、光の入射していない遮光状態でもノイズが発生する。これは画素内に流れる暗電流によって微小な信号が発生し、暗電流ノイズとして検出されるためである。このようなノイズは、生成される画像データに悪影響を与える。
【０００３】
従って、ノイズを抑え色の再現性を向上させるために、暗電流ノイズによるオフセット値を取り除くことで黒レベルを適切に設定することが必要とされている。例えばＣＭＯＳセンサのような撮像素子において、有効画素部の周辺部を遮光したオプティカルブラック（ＯＢ）部を備えることで黒レベルを推定する方法が知られている。
【０００４】
図１１はＯＢ部を備えた撮像素子を示す概略図である。斜線部はＯＢ部であり、光が入射できないようにアルミニウム等の物質によって被膜されている。ＯＢ画素から出力される信号を基準レベルとしてクランプ処理を行うことで、有効画素部とＯＢ部に共通するオフセット値が取り除かれ、適切な黒レベルが推定される。
【０００５】
ところが製造上の問題や撮像素子の劣化により、適切なＯＢ部が存在せず、選択することができない場合がある。この場合、従来の撮像装置では適切なＯＢ部が選択できないので、オフセット値を取り除くことができず、適切に黒レベルを推定することができない。つまり従来の技術には、ＯＢ部が使用できない場合、適切な黒レベルを推定できないという問題が存在した。
【０００６】
このような問題に対する解決法として、特許文献１が挙げられる。特許文献１に記載の技術によれば、複数のオプティカル・ブラック領域を備えた固体撮像素子を用いた撮像装置において、撮影条件および被写体に応じて黒レベルを算出する際に参照するオプティカル・ブラック領域を切り替えることを特徴とする撮像装置、としている
【０００７】
上記構成を取ることで、撮像素子のオプティカル・ブラック信号の一部が正確な黒レベル信号とならなくても、有効画素部の黒レベルを正確に再生できる、としている。
【０００８】
また、特許文献２に記載の技術によれば、複数の画素が行方向及び列方向に配列され、前記複数の画素のうち遮光された画素が配された遮光領域と、前記複数の画素のうち遮光されていない画素が配された有効領域を有する画素部と、前記画素部の画素ごとに入射する光量を調節する光量調節部と、前記画素部から出力される画像信号から行あるいは列方向のオフセット補正値を算出する演算部と、前記演算部が求めた行あるいは列方向のオフセット補正値を用いて前記画素部から出力される画像信号の補正を行う補正部と、を有することを特徴とする撮像装置、としている。
【０００９】
上記構成を取ることで、温度に依存した撮像センサのダークシェーディング変化に起因する画像の色ムラや縦縞ノイズや、各行の画素信号のサンプリング周期とノイズ周期の位相関係のずれに起因する画像の横縞ノイズの低減が可能となる、としている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−１７６１１５号公報
【特許文献２】特開２０１４−２３６２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし特許文献１に記載の技術は、適切なＯＢ部が少なくともいずれかに存在するという前提がある。つまり、適切なＯＢ部が存在しない場合、黒レベルの算出が行えないという問題があった。
【００１２】
また特許文献２に記載の技術は、撮像素子上に光量調節部を設ける必要があるため構造が複雑なものとなり、ハイコスト化、製造の難化を引き起こしていた。また、静止画撮影の場合、画像データから黒レベルを推定できないため、別途黒レベルを推定するためのデータを取得する必要があった。これは、画像処理手順の複雑化を招き、処理速度に悪影響を生じさせる。また、黒レベルの取得と撮影とが同時に行われないため、データの信頼性に問題があった。また、動画撮影の場合、一部の画素を遮光しながら撮影を行うため、画質の低下を避けられなかった。
【００１３】
上記課題から本発明は、ＯＢ部を必要とせずに、適切な黒レベルの推定を行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
請求項１に示す発明は、感度の異なる複数種類の画素を複数有する撮像素子と、前記撮像素子から出力される信号値を処理する処理手段と、を有し、前記処理手段は、前記画素から出力される前記信号値の統計値を前記画素の種類ごとに算出し、複数の前記統計値からオフセット値を算出し、前記画素から出力される前記信号値に対し前記オフセット値を減算することで前記信号値を補正することを特徴とする撮像装置である。
【００１５】
請求項２に示す発明は、前記画素は、通常画素と、前記通常画素に対し異なる構造を取る又はフィルタを有することで、異なる感度を持つ特殊画素と、を有することを特徴とする請求項１に記載の撮像装置である。
【００１６】
請求項３に示す発明は、前記特殊画素は完全に遮蔽されていないことを特徴とする請求項２に記載の撮像装置である。
【００１７】
請求項４に示す発明は、前記オフセット値は、全ての前記特殊画素から算出された、前記撮像素子全体のオフセット値であることを特徴とする請求項１乃至請求項３に記載の撮像装置である。
【００１８】
請求項５に示す発明は、前記オフセット値は、撮像素子を分割したエリアごとに存在する前記特殊画素から算出された、前記エリアごとのオフセット値であることを特徴とする請求項１乃至請求項３に記載の撮像装置である。
【００１９】
請求項６に示す発明は、前記処理手段は、前記信号値の出力線形性を補正する線形性補正部と、前記信号値から固定パターンノイズを減算するノイズ減算部と、前記画素から出力される前記信号値の統計値を前記画素の種類ごとに算出し、複数の前記統計値から前記オフセット値を算出し、前記画素から出力される前記信号値に対し前記オフセット値を減算する黒レベル推定部とを有することを特徴とする請求項１乃至請求項５に記載の撮像装置。
【００２０】
請求項７に示す発明は、前記撮像素子は前記特殊画素が離散的に配置されることを特徴とする請求項２乃至請求項６に記載の撮像装置である。
【発明の効果】
【００２１】
本発明によれば、ＯＢ部を必要とせずに、適切な黒レベルの推定を行うことができる撮像装置を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態である撮像装置の主要な構成を示すブロック図である。
【図２】撮像素子の単一画素を単純化した断面図である。
【図３】特殊画素の一例を示す概略図である。
【図４】撮像素子の画素配置を示す概略図である。
【図５】信号処理部の構成を示すブロック図である。
【図６】出力直線性の補正を示す概略図である。
【図７】黒レベルの推定方法を示す概略図である。
【図８】撮像素子のエリア分割を示す概略図である。
【図９】１エリアごとの画素配置を示す概略図である。
【図１０】ベイヤー型フィルタに対応した特殊画素を示す概略図である。
【図１１】ＯＢ部を備えた撮像素子を示す概略図である。
【発明を実施するための形態】
【００２３】
以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。
【００２４】
図１に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図に示す撮像装置１００は、撮影光学系１１０と、撮像素子２００と、読み出し制御部１２０と、信号処理部１３０と、画像処理部１４０と、メモリ部１５０と、カメラＣＰＵ１６０と、ユーザインターフェース（Ｉ／Ｆ）１７０と、記録媒体インターフェース（Ｉ／Ｆ）１７１と、画像表示部１８０と、を備えている。
【００２５】
撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。
【００２６】
撮像素子２００は、撮影光学系１１０により集光された光線を受光して光電変換し、分光波長情報を生成する。本実施形態の撮像素子２００には、ＯＢ部の存在しない、垂直色分離型のＣＭＯＳイメージセンサが用いられている。
【００２７】
撮像素子２００の受光面は多数の画素から構成されている。本実施例において、画素は通常画素と特殊画素の２種類が存在する。２種類の画素について、詳しくは後述する。
【００２８】
読み出し制御部１２０は、撮像素子２００の駆動タイミングを決定するための信号を出力する。これにより画素ごとの水平駆動並びに垂直駆動が制御され、各画素から信号が読み出される。
【００２９】
本実施例の撮像素子２００には、画素から読み出された信号を増幅するゲイン可変アンプやリセットノイズを除去するＣＤＳ（相関二重サンプリング）回路、アナログ信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。
【００３０】
撮像素子２００から出力されたデジタル画像信号は、信号処理部１３０へと送られる。デジタル画像信号は信号処理部１３０において信号処理を施され、メモリ部１５０にＲａｗデータとして記録される。信号処理について、詳しくは後述する。
【００３１】
メモリ部１５０から読み出されたＲａｗデータは、画像処理部１４０に読み出され、色補正やホワイトバランス制御といった各種の画像処理を受ける。
【００３２】
画像処理の行われた画像データはメモリ部１５０に保存されるが、撮像装置１００の設定によっては画像処理部１４０において画像処理が施された後、記録媒体インターフェース（Ｉ／Ｆ）１７１を介して不図示の記録媒体に保存される。
【００３３】
本実施例でのＲａｗデータは、信号処理部１３０からメモリ部１５０へと保存され画像処理部１４０で読み出されるような手順で処理が行われたが、本発明はそれに限定されるものではない。例えば動画撮影時の様に迅速な処理が求められる状態においては、信号処理部１３０からメモリ部１５０へ保存せず、直接画像処理部１４０へと出力してもよい。
【００３４】
カメラＣＰＵ１６０は、撮像装置１００全体の包括的な制御を行う。また、カメラＣＰＵ１６０は、読み出し制御部１２０の制御を行う。
【００３５】
ユーザインターフェース（Ｉ／Ｆ）１７０は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１６０は所定の動作を行う指示を出す。
【００３６】
記録媒体インターフェース（Ｉ／Ｆ）１７１は、不図示の記録媒体との間で画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。
【００３７】
画像表示部１８０は、画像処理部１４０で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。
【００３８】
本発明は、感度の異なる画素ごとの信号の相関により、黒レベルの推定を行うことを特徴とする。以下撮像素子２００について説明を行い、次いで信号処理について説明を行う。
【００３９】
撮影者によりユーザインターフェース（Ｉ／Ｆ）１７０を介して不図示のレリ−ズボタンが押されると、撮像素子２００へと光が入射する。図２は、撮像装置１００に実装される撮像素子２００の単一画素を単純化して示す断面図である。上述したように、本実施形態の撮像素子２００はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に３つのフォトダイオードが積層して形成されている。
【００４０】
ある画素に光が入射すると、最上層に位置するフォトダイオード２１０では入射光中の青色（Ｂ）を中心とした成分が光電変換される。同様に、中間深さに位置するフォトダイオード２３０では入射光中の緑色（Ｇ）を中心とした成分が光電変換され、最下層に位置するフォトダイオード２５０では入射光中の赤色（Ｒ）を中心とした成分が光電変換される。これらの、垂直方向の色分離は撮像素子２００の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。
【００４１】
これら３つのフォトダイオードは、Ｓｉ基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、最上層に位置するフォトダイオード２１０は、約０．２〜０．５μｍの間の深さに形成され、中間深さに位置するフォトダイオード２３０は、約０．５〜１．５μｍの間の深さに形成され、最下層に位置するフォトダイオード２５０は、約１．５〜３．０μｍの間の深さに形成される
【００４２】
最上面に位置するフォトダイオード２１０には通常画素と、通常画素とは感度が異なる画素である特殊画素が配置されている。図３は特殊画素の一例を示す概略図である。（ａ）（ｂ）（ｃ）は一部が金属によって遮蔽された画素を示している。斜線が付された部分は遮光部を、その他の部分は開口部を表している。また、（ｄ）は全体が入射光を減衰するフィルタで覆われた画素を示している。斜線が付された部分はフィルタで覆われた部分を表している。
【００４３】
特殊画素は通常画素と比較し、（ａ）（ｂ）（ｃ）においては画素の一部が遮蔽されることで、（ｄ）においてはフィルタの性能によって入射光が減衰されることで、同量の入射光に対して低い感度を持つ。特殊画素は図３の例のいずれかのように、どのような方法であれ、通常画素と比較して異なる感度を持つ構造であればよい。ただし、特殊画素は入射光を検出する必要があるため、全体を完全に遮蔽する構造は適さない。
【００４４】
図４は通常画素と特殊画素を有する撮像素子２００の画素配置を示す概略図である。斜線で示された画素が特殊画素を、その他の画素が通常画素を示している。本実施例において特殊画素は最上面に位置するフォトダイオード２１０に対し、離散的に配置される。また、撮像素子２００は全ての画素が有効画素であり、ＯＢ部は存在しない。
【００４５】
図５は信号処理部の構成を示すブロック図である。信号処理部１３０は、線形性補正部１３１、ノイズ減算部１３２、黒レベル推定部１３３、特殊画素信号増幅部１３４を備えている。以下、図５に従って本実施例の信号処理方法について説明を行う。
【００４６】
撮像素子２００に入射した光は光電変換され、アナログ信号として通常画素、特殊画素を問わずに順次読み出される。画素から読み出されたアナログ信号は、ＣＤＳ回路によってリセットノイズが除去され、ゲイン可変アンプによって信号が増幅され、Ａ／Ｄコンバータによってデジタル画像信号へと変換され、信号処理部１３０へと送られる。
【００４７】
信号処理部１３０へと送られたデジタル画像信号は、線形性補正部１３１において出力の線形性が補正される。図６は出力線形性の補正を示す概略図である。実線で示されているのは補正前、点線で示されているのは補正後のデジタル画像信号の応答特性である。
【００４８】
一般的にＣＭＯＳ型撮像素子は、入射光量に対する画素出力信号が、ｌｏｇ特性を示すよう形成されている。これはｌｏｇ特性を持たせることでフォトダイオードの飽和が遅れ、撮像素子２００のダイナミックレンジが拡大するためである。線形性補正部１３１は後段処理のために、回路構造上の特性であるｌｏｇ特性を線形特性へと補正を行う。補正を行うために必要な線形性補正情報は、メモリ部１５０に保存されており、メモリ部１５０から読み出されることで補正が行われる。
【００４９】
線形性補正情報は画素の種類ごとに固有のデータであり、製品製造時における調整工程にて計測され、メモリ部１５０に保存されている。
【００５０】
次に信号処理部１３０内のノイズ減算部１３２において、固定パターンノイズの補正が行われる。ＣＭＯＳ型撮像素子には、読み出し線に起因した固定パターンノイズが発生する。するとこのような固定パターンノイズにより、画素ごとのノイズ量に差が生まれる。詳しくは後述するが、本実施例においては全ての画素におけるオフセット値が同一であるとみなすことで、好適な作用が実現する。従ってノイズ量の差を取り除き、全ての画素のオフセット量をフラットとするため、補正を行う必要がある。
【００５１】
固定パターンノイズの量は、同様の条件に対して常に略一致する値である。従って、メモリ部１５０に予め一般的な撮影条件における固定パターンノイズの情報を保存しておき、ノイズ減算部１３２にて減算を行うことで、画素ごとのオフセット差を取り除くことができる。
【００５２】
固定パターンノイズの情報は撮像素子２００ごとに固有のデータであり、製品製造時における調整工程にて計測され、メモリ部１５０に保存されている。
【００５３】
本実施例においては固定パターンノイズの量を単一の数値とした。しかし、固定パターンノイズの量は温度、露光時間等の条件によって変化をする。従って、各種条件による固定パターンノイズの量をメモリ部１５０に保存しておき、条件に合わせて適宜それらを適用することでより的確な補正を行うことが可能である。
【００５４】
次に信号処理部１３０内の黒レベル推定部１３３において、デジタル画像信号の暗電流由来のオフセット値が除去されることで、黒レベルの推定が行われる。図７は、オフセット値の算出方法を示す概略図である。図７において、横軸は受光部の受光量を、縦軸は画素出力信号を表す。本実施例におけるオフセット値は、２種類の画素から出力された、２つの信号値の相関から算出される。
【００５５】
特殊画素は図３に示されるような構造を取ることで、感度が通常画素と比べて低く設定されている。よって両者に同一光量が入射すると、それぞれの受光部が受光する光量は異なり、画素出力信号も異なる値となる。ここで、通常画素、特殊画素から取得された２つの信号値をプロットし直線で結ぶと、線形性補正部１３１における補正によって撮像素子２００の応答特性は線形性を示していることから、得られる直線は特定光量に対する撮像素子２００の応答特性となる。この直線の縦軸切片は受光量が０の際に現れる画素出力信号であるので、すなわち画素のオフセット値となる。
【００５６】
また、撮像素子２００に配置される全ての画素は、ノイズ減算部１３２における補正によって、同一のオフセット値を有している。つまり２つの信号値から得られたオフセット値は、撮像素子２００全体のオフセット値へ一般化することができる。
【００５７】
以上が撮像素子２００のオフセット値を求める手法である。上記手法では通常画素と特殊画素を選択し、２つの信号値を取得する必要がある。感度が異なる２つの画素を選択する方法については多数存在するが、本実施例ではメディアンフィルタを適用することで２つの信号値を取得する。
【００５８】
次に、上記手法からオフセット値の算出について定式化を行う。ある特殊画素を特殊画素Ａとしたとき、特殊画素Ａから出力された信号をＡ１とし、デジタル画像信号にメディアンフィルタを適用した際にＡ１と置換された信号をＡ２とする。特殊画素は離散して配置されているので、Ａ２は通常画素から出力された信号となる。また、Ａ２はＡ１の周囲いずれかの画素から出力された信号なので、略同一の光が入射したとみなすことができる。上記の様に取得されたＡ１とＡ２を図示し、２点を結ぶことで、特定の光に対する応答特性を示した直線が描写される。
【００５９】
図７において、Ａ１の入射光量を基底とすると、特殊画素と通常画素の感度の比率は製造段階で設定される値であるので、Ａ２の入射光量は定数ｋとして表される。また、Ａ１の画素出力信号をｓ、Ａ２の画素出力信号をｔ、オフセット値をｂとする。するとオフセット値ｂは式１のように算出される。
【数１】
2016213594.tif 000003
【００６０】
ここで、ｓ、ｔは画素から出力された出力値である。また、ｋは撮像素子２００ごとに固有のデータであり、製品製造時における調整工程にて計測され、メモリ部１５０に書き込まれている。
【００６１】
オフセット値は、以上のようにして定式化される。
【００６２】
ここで、２つの信号値から得られた直線の方程式から切片を算出することで、撮像素子２００全体のオフセット値を取得することができると前述した。しかし多数の特殊画素と通常画素の組み合わせから得られる多数のオフセット値から、統計値を算出することで、オフセット値の精度向上を図ることができる。
（実施例１）
【００６３】
実施例１において記述される技術は、全ての画素から撮像素子２００全体のオフセット値を算出し、それを適用する方法である。
【００６４】
実施例１における黒レベル推定の第１の手順として、画素の種類ごとに出力値の統計値を算出する。特殊画素については全ての特殊画素の統計値であり、通常画素については特殊画素とメディアンフィルタによって対応する、全ての通常画素の統計値が算出される。第２の手順として、上記２つの統計値を式１に適用することで、撮像素子２００全体のオフセット値を算出する。第３の手順として、全てのデジタル画像信号から撮像素子２００全体のオフセット値を減算し、取り除く。以上の手順によって、黒レベルの推定は行われる。
【００６５】
本実施例における統計値は、ガウシアンフィッティングを行った後の平均値を使用している。正規分布を用いることで精度を向上させるためであるが、処理を簡易化させるため、単純な平均値を用いても構わない。
【００６６】
黒レベル推定が行われたデジタル画像信号は、特殊画素信号増幅部１３４において、特殊画素から出力された信号の増幅が行われる。特殊画素は通常画素と比較して感度が低いことから、得られる信号量が少なく、画像データに使用するためには増幅を行う必要がある。増幅を行う際には、特殊画素の通常画素に対する感度の比率によって決定される定数であるｋを用いる。特殊画素より出力された信号からオフセット値を減算し、定数ｋを乗算すればよい。
【００６７】
以上のように信号処理が行われたデジタル画像信号は、Ｒａｗデータとしてメモリ部１５０へと保存される。保存されたＲａｗデータは、後工程として画像処理など適宜処理が行われる。
【００６８】
上記実施例によれば、ＯＢ部を必要とせずに好適な黒レベルの推定が可能となるため、撮像素子２００の全ての画素を有効画素として使用することができる。
【００６９】
また、黒レベルを取得するために別途信号の取得を行うのではなく、撮影時に取得した信号によって黒レベルの推定を行う。従って、信頼性が高く、高速で黒レベル推定を行うことが可能である。
【００７０】
また、本実施例は有効画素について黒レベルを取得するための遮光を行わないため、全ての画素から取得する信号を画像データに使用することが可能である。従って、解像感が良く、偽色を抑えた画像データを取得することができる。
（実施例２）
【００７１】
実施例１において、全ての特殊画素から得られた信号値の統計値を平均することで、オフセット値の算出を行った。しかし撮影条件によっては、暗電流のばらつきに起因するダークシェーディングが発生することがある。このようなノイズは条件によって変化するノイズなので、ノイズ減算部１３２で除去することができない。
【００７２】
そこで実施例２では、ダークシェーディングが発生をしても、適切な黒レベル推定が可能な信号処理方法について記述する。
【００７３】
実施例２では撮像素子２００をエリアごとに分割し、画素から出力される信号値からエリアごとのオフセット値を減算することで黒レベルの推定を行う。図８は撮像素子２００のエリア分割を示す概略図である。撮像素子２００上には特殊画素が離散的に配置されていることから、特殊画素を均一に含むようにエリア分けをすることができる。
【００７４】
図９は１エリアごとの画素配置を示す概略図である。斜線で示された画素が特殊画素を、その他の画素が通常画素を示している。本実施例において、１エリアには特殊画素が４つ配置されている。これら４つの特殊画素から実施例１と同様にオフセット値を求めることで、各々のエリアのオフセット値を求めることができる。なお、１エリアにおける特殊画素の個数や、１エリアの合計画素数は、撮像素子２００、信号処理部１３０によって適宜選択されるべきものであり、本実施例に限られるものではない。
【００７５】
黒レベルの推定は、エリアごとに導出されたオフセット値を、該当エリアの画素から出力されるデジタル画像信号から取り除くことにより行われる。以上の処理によって、ダークシェーディングを取り除いた黒レベルの推定が行われる。以降の処理は実施例１と同様に行えばよい。
【００７６】
実施例２は実施例１と比較し、処理工程が増加するため、信号処理が長時間になる可能性がある。ダークシェーディングは撮影条件によって多寡が存在する量であるので、それら撮影条件によって実施例１、実施例２の信号処理方法を使い分ける等、適宜適用すればよい。
【００７７】
上記実施例によれば、ダークシェーディングが発生しても、ＯＢ部を必要とせずに黒レベルを推定することができる。
（実施例３）
【００７８】
実施例１及び実施例２では通常画素が１種類、特殊画素が１種類の合計２種類の画素によって黒レベルの推定を行った。しかし、画素の種類数を増加させることで、より精度よくオフセット値を求めることが可能である。
【００７９】
本実施例の撮像素子３００は通常画素１種類、特殊画素２種類とし、それら３種類の異なる感度を持つ画素が離散的に配列されている。このような撮像素子３００についても本発明は適用可能である。以下、具体的な方法を記述する。
【００８０】
まず１つ目の特殊画素と通常画素から１つ目のオフセット値を算出する。この際の算出方法は、実施例１及び実施例２のどちらの方法を使用してもよい。同様にして２つ目の特殊画素と通常画素から２つ目のオフセット値を算出する。その後、１つ目及び２つ目のオフセット値の平均を取ることで、撮像素子３００のオフセット値を算出することができる。
【００８１】
上記実施例によれば、実施例１及び実施例２と比較し、より精度よくオフセット値を求めることが可能である。
【００８２】
上記実施例においては、特殊画素が２種類の場合を記述したが、これは２種類に限られることはなく、更に種類数を増加させることも可能である。しかし、画素の種類数が増加すれば、処理工程が増加し、信号処理が長時間となる可能性がある。また、撮像素子３００全体に占める特殊画素の割合が増加すれば、解像度が低下する可能性がある。従って画素の種類数は、実施者が必要とする条件に従って、適宜選択をすればよい。
（実施例４）
【００８３】
実施例１乃至実施例３では、垂直色分離型の撮像素子によって黒レベルの推定を行ったが、本発明はその他の撮像素子にも適用可能である。
【００８４】
本実施例はベイヤー型フィルタの搭載された、単層構造の撮像素子４００に本発明を適用する。
【００８５】
一般的なベイヤー型フィルタは、Ｒフィルタ、Ｇフィルタ、Ｂフィルタから構成されている。これらのフィルタはそれぞれ異なる透過率を有しているので、フィルタの種類によって対応する画素の感度は異なる。このような構造は感度の異なる画素を得ることができるため、本発明に適用することが考えられる。
【００８６】
本実施例では簡単のため、同じ種類のフィルタに対応した特殊画素と通常画素からオフセット値を算出する。ベイヤー型フィルタはＧフィルタを割合として最も多く含むため、Ｇフィルタを使用することで、好適にオフセット値を算出することが可能である。
【００８７】
図１０はベイヤー型フィルタに対応した特殊画素を示す概略図である。図１０において、斜線で示されているのは特殊画素と対応するＧフィルタである。本実施例では特殊画素は、全てＧフィルタと対応している。
【００８８】
特殊画素と対応するＧフィルタは、その周囲に通常画素と対応するＧフィルタを４つ有している。従って、周囲のＧフィルタを有する４画素を用いてメディアンフィルタを適用することで、オフセット値を求めるために使用される特殊画素と通常画素の組み合わせが選択される。
【００８９】
その後の処理は実施例１又は実施例２と同様にして、オフセット値を算出する。
【００９０】
上記実施例のように、ベイヤー型フィルタを搭載した撮像素子４００においても、本発明は適用可能である。
【００９１】
なお、特殊画素の構造は上記に限られるものではない。通常画素と異なる感度を取得することができる構造であればよい。
【００９２】
また、撮像素子２００における画素の配置は上記に限られるものではない。ただし、処理の簡略化やメディアンフィルタの信頼性のため、離散的であることが好ましい。
【００９３】
また、オフセット値の算出は、特殊画素ごとのオフセット値を算出し、それらを平均することで算出することも可能である。しかしそのような方法は処理が複雑化し、撮像装置１００の処理時間が増大してしまうため、不適格である。
【００９４】
以上で説明したように、本発明に記載の撮像装置によれば、ＯＢ部を搭載することなく、適切な黒レベルの推定を行うことができる撮像装置を提供することが可能となる。
【符号の説明】
【００９５】
１００      撮像装置
１１０      撮影光学系
１２０      読み出し制御部
１３０      信号処理部
１３１      線形性補正部
１３２      ノイズ減算部
１３３      黒レベル推定部
１３４      特殊画素信号増幅部
１４０      画像処理部
１５０      メモリ部
１６０      カメラＣＰＵ
１７０      ユーザインターフェース（Ｉ／Ｆ）
１７１      記録媒体インターフェース（Ｉ／Ｆ）
１８０      画像表示部
２００      撮像素子
２１０      最上層に位置するフォトダイオード
２３０      中間深さに位置するフォトダイオード
２５０      最下層に位置するフォトダイオード
３００      撮像素子
４００      撮像素子
【図１】
2016213594.tif 000004
【図２】
2016213594.tif 000005
【図３】
2016213594.tif 000006
【図４】
2016213594.tif 000007
【図５】
2016213594.tif 000008
【図６】
2016213594.tif 000009
【図７】
2016213594.tif 000010
【図８】
2016213594.tif 000011
【図９】
2016213594.tif 000012
【図１０】
2016213594.tif 000013
【図１１】
2016213594.tif 000014