(57)【要約】【課題】  撮影に要する時間を長くすることなく、暗電流ムラを適切に除去することができる。【解決手段】  複数の画素を有する撮像素子と、撮像素子からの出力信号に対して信号処理を行う信号処理部とを備え、画素は、第１画像信号を生成する第１受光素子と、同一条件下で第１画像信号よりも高感度の第２画像信号を生成する第２受光素子とをそれぞれ含み、信号処理部は、複数の画素のそれぞれについて、第２画像信号の値から第１画像信号の値を減算した後に、その差分信号に対して、第１受光素子と第２受光素子との感度比に基づくゲインを乗じる。【選択図】    図３
2012094983.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有する撮像素子と、
前記撮像素子からの出力信号に対して信号処理を行う信号処理部とを備え、
前記画素は、
第１画像信号を生成する第１受光素子と、
同一条件下で前記第１画像信号よりも高感度の第２画像信号を生成する第２受光素子とをそれぞれ含み、
前記信号処理部は、前記複数の画素のそれぞれについて、前記第２画像信号の値から前記第１画像信号の値を減算した後に、その差分信号に対して、前記第１受光素子と前記第２受光素子との感度比に基づくゲインを乗じる
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１受光素子および前記第２受光素子は、それぞれの飽和受光量が異なり、
前記信号処理部は、前記差分信号を求める際に、前記第１画像信号の値を前記感度比に応じてクリップする
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置と、
前記ゲインが乗じられた前記差分信号から画像データを生成する画像処理部と
を備えたことを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および、撮像装置を備えた電子カメラに関する。
【背景技術】
【０００２】
撮像素子に長秒時の電荷蓄積を行うと、暗電流が発生することが知られている。この暗電流は、温度依存性を有し、画面内で均一に発生せずに局所的なムラとなって発生する。そこで、このような暗電流ムラを除去する技術が考えられている。
【０００３】
特許文献１の発明では、撮像素子を所定の露光時間だけ露光させて得られた第１の画像信号から、撮像素子を遮光した状態で上述した露光時間と同じ蓄積時間だけ撮像素子に電荷の蓄積を行わせ得られた第２の画像信号を差し引くことにより、暗電流成分を除去する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１８９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の発明では、１回目の露光を行って第１の画像信号を取得してから、撮像素子を遮光状態にし、さらに、１回目の露光と同じ時間だけ２回目の露光（電荷の蓄積）を行って第２の画像信号を取得し、第１の画像信号から第２の画像信号を減算する必要がある。すなわち、長秒時の露光（電荷の蓄積）を２回行わなくてはならなかった。そのため、次の撮影までの待機時間が長くなったり、電子カメラのレスポンスが低下するという問題があった。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、撮影に要する時間を長くすることなく、暗電流ムラを適切に除去することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、複数の画素を有する撮像素子と、前記撮像素子からの出力信号に対して信号処理を行う信号処理部とを備え、前記画素は、第１画像信号を生成する第１受光素子と、同一条件下で前記第１画像信号よりも高感度の第２画像信号を生成する第２受光素子とをそれぞれ含み、前記信号処理部は、前記複数の画素のそれぞれについて、前記第２画像信号の値から前記第１画像信号の値を減算した後に、その差分信号に対して、前記第１受光素子と前記第２受光素子との感度比に基づくゲインを乗じる。
【０００８】
なお、前記第１受光素子および前記第２受光素子は、それぞれの飽和受光量が異なり、前記信号処理部は、前記差分信号を求める際に、前記第１画像信号の値を前記感度比に応じてクリップしても良い。
【０００９】
本発明の電子カメラは、上述した何れかの撮像装置と、前記ゲインが乗じられた前記差分信号から画像データを生成する画像処理部とを備える。
【発明の効果】
【００１０】
本発明によれば、撮影に要する時間を長くすることなく、暗電流ムラを適切に除去することができる。
【図面の簡単な説明】
【００１１】
【図１】一の実施形態における電子カメラの構成例を示すブロック図
【図２】一の実施形態の第１受光素子および第２受光素子の例を示す図
【図３】一の実施形態での撮像素子の回路構成例を示す図
【図４】一の実施形態における電子カメラの動作を示す流れ図
【図５】第１電気信号ＳＬと第２電気信号ＳＨとの関係を示す図
【図６】第１電気信号ＳＬおよび第２電気信号ＳＨの飽和レベルについて説明する図
【図７】第１電気信号ＳＬおよび第２電気信号ＳＨの飽和レベルについて説明する別の図
【発明を実施するための形態】
【００１２】
＜一の実施形態の説明＞
図１は、一の実施形態における電子カメラ１１の構成例を示すブロック図である。電子カメラ１１は、撮像レンズ１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、第２メモリ１７と、記録Ｉ／Ｆ１８と、ＣＰＵ１９と、操作部２０と、バス２１とを備えている。ここで、画像処理部１５、第１メモリ１６、第２メモリ１７、記録Ｉ／Ｆ１８、ＣＰＵ１９は、バス２１を介してそれぞれ接続されている。また、撮像素子１３、ＡＦＥ１４、操作部２０は、それぞれＣＰＵ１９と接続されている。
【００１３】
撮像素子１３は、撮像レンズ１２による結像を撮像する撮像デバイスである。一の実施形態の撮像素子１３は、任意の受光素子の画像信号をランダムアクセスで読み出し可能なＣＭＯＳ型の固体撮像素子で構成される。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。
【００１４】
この撮像素子１３の受光面上には、複数の画素がマトリクス状に配列されている。また、撮像素子１３の各画素には、例えば、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列等で配置されている。
【００１５】
また、撮像素子１３の各画素は、第１受光素子ＰＤ１と第２受光素子ＰＤ２との２つの受光素子をそれぞれ有している。なお、同一条件下において、第１受光素子ＰＤ１は相対的に低感度の画像信号（第１画像信号）を生成し、第２受光素子ＰＤ２は相対的に高感度の画像信号（第２画像信号）を生成する。一例として、一の実施形態での第２受光素子ＰＤ２の感度は、第１受光素子ＰＤ１の約４倍に設定されるものとする。
【００１６】
図２は、一の実施形態の第１受光素子ＰＤ１および第２受光素子ＰＤ２の例を示す図である。図２では、２×２個分の画素（ＰＸ）を部分的に示すが、実際の撮像素子１３の受光面にはさらに多数の画素が配列されることはいうまでもない。
【００１７】
一の実施形態の各画素において、第１受光素子ＰＤ１および第２受光素子ＰＤ２の受光面積は略等しく設定されている。そして、各画素において、第１受光素子ＰＤ１と第２受光素子ＰＤ２の上には、それぞれ集光率の異なるマイクロレンズ（不図示）が配置される。マイクロレンズは、同一条件下では第２受光素子ＰＤ２の方が第１受光素子ＰＤ１よりも単位時間当たりの受光量が多くなるように構成され、第２画像信号は相対的に第１画像信号よりも高感度となる
また、図３は、一の実施形態での撮像素子１３の回路構成例を示す図である。撮像素子１３は、複数の画素ＰＸと、垂直走査部１３ａと、水平走査部１３ｂと、信号蓄積部１３ｃと、横方向に延長する複数の走査線１３ｄと、画素ＰＸの列ごとにそれぞれ設けられた信号読み出し線１３ｅとを有している。
【００１８】
垂直走査部１３ａには、各走査線１３ｄの一端がそれぞれ接続されている。垂直走査部１３ａは、読み出し対象の行を指定するパルス（選択パルス、リセットパルス、転送パルスなど）を走査線１３ｄから各画素に与える。水平走査部１３ｂは、信号蓄積部１３ｃに対して、読み出し対象の列を指定するパルスを出力する。信号蓄積部１３ｃには、信号読み出し線１３ｅの下端が接続されている。この信号蓄積部１３ｃは、信号読み出し線１３ｅを介して各画素から画像信号を読み出すとともに、読み出した画像信号を後段のＡＦＥ１４に順次出力する。
【００１９】
また、図３に示す画素ＰＸは、第１受光素子ＰＤ１と、第１受光素子ＰＤ１に接続された転送トランジスタＴＸ１と、第２受光素子ＰＤ２と、第２受光素子ＰＤ２に接続された転送トランジスタＴＸ２と、フローティングディフュージョンＦＤと、リセットトランジスタＲＥＳと、増幅トランジスタＡＭＰと、選択トランジスタＳＥＬとを有している。なお、図３の例では、２組分の受光素子および転送トランジスタについて、フローティングディフュージョンＦＤ、リセットトランジスタＲＥＳ、増幅トランジスタＡＭＰ、選択トランジスタＳＥＬがそれぞれ共有化されている。
【００２０】
第１受光素子ＰＤ１および第２受光素子ＰＤ２は、それぞれ入射光の光量に応じて信号電荷を生成する。転送トランジスタＴＸ１、ＴＸ２は、それぞれ接続されている受光素子に蓄積された信号電荷をフローティングディフュージョンＦＤに転送する。
【００２１】
リセットトランジスタＲＥＳは、フローティングディフュージョンＦＤを電源電圧にリセットする。増幅トランジスタＡＭＰは、フローティングディフュージョンＦＤの電圧値に応じて、選択トランジスタＳＥＬを介して出力端子に読み出し電流を出力する。選択トランジスタＳＥＬは、増幅トランジスタＡＭＰのソースを出力端子に接続する。
【００２２】
ここで、一の実施形態の撮像素子１３は、転送トランジスタＴＸ１、ＴＸ２のいずれか一方を動作させることで、画素の出力信号として第１画像信号または第２画像信号を読み出すことができる。
【００２３】
図１に戻って、ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４の出力は画像処理部１５に接続されている。なお、ＣＰＵ１９は、ＡＦＥ１４により画像信号のゲインを調整することで、ＩＳＯ感度に相当する撮像感度の調整を行う。
【００２４】
画像処理部１５は、ＡＦＥ１４から出力されたデジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。
【００２５】
第１メモリ１６は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。また、第２メモリ１７は、ＣＰＵ１９によって実行されるプログラムや、各画像信号でのＳＮ比と撮像感度の値との対応関係を示すデータテーブルなどを記憶する不揮発性のメモリである。
【００２６】
記録Ｉ／Ｆ１８は、不揮発性の記憶媒体２２を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体２２に対して後述の本画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。
【００２７】
ＣＰＵ１９は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１９は、被写体の撮影を行うための撮影モードでの動作時において、ユーザの撮像指示入力に応じて撮像素子１３を駆動させて、不揮発性の記憶媒体２２への記録を伴う本画像の撮像処理を実行する。
【００２８】
また、撮影モードでのＣＰＵ１９は、本画像の撮像に先立って公知の自動露出演算を実行し、撮像条件の１パラメータである撮像感度を設定する。また、ＣＰＵ１９は、ユーザの入力に基づいて上記の撮像感度を設定してもよい。
【００２９】
操作部２０は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部２０は、例えば、本画像の撮像指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などで構成される。
【００３０】
次に、一の実施形態での電子カメラ１１の動作例を、図４の流れ図および図５の模式図を用いて説明する。なお、図４および図５におけるステップ番号（Ｓ１〜Ｓ５）は、それぞれ対応する。また、以下に説明する処理は、撮像素子１３に含まれる各画素ごとに行われる。
【００３１】
ステップＳ１において、撮像素子１３への露光を行う。ＣＰＵ１９は、撮影レンズ１２および撮像素子１３を制御して露光を行う。このとき、従来のように２回の露光（電荷の蓄積）を行う必要はなく、１回の露光のみを行う。
【００３２】
ステップＳ２において、撮像素子１３の第２受光素子ＰＤ２から、第２画像信号ＳＨを取得する。ＣＰＵ１９は、撮像素子１３およびＡＦＥ１４を制御して、撮像素子１３の第２受光素子ＰＤ２から、第２画像信号ＳＨを読み出し、Ａ／Ｄ変換をした後に不図示のフレームメモリに一時記録する。このとき読み出される第２画像信号ＳＨは、図５に示すように、暗電流成分ＤＨを含んでいる。
【００３３】
ステップＳ３において、撮像素子１３の第１受光素子ＰＤ１から、第１画像信号ＳＬを取得する。ＣＰＵ１９は、撮像素子１３およびＡＦＥ１４を制御して、撮像素子１３の第１受光素子ＰＤ１から、第１画像信号ＳＬを読み出し、Ａ／Ｄ変換をした後に不図示のフレームメモリに一時記録する。このとき読み出される第１画像信号ＳＬは、図５に示すように、暗電流成分ＤＬを含んでいる。
【００３４】
ステップＳ４において、差分信号（ＳＨ−ＳＬ）を算出する。ＣＰＵ１９は、画像処理部１５を制御して、フレームメモリから第１画像信号ＳＬおよび第２画像信号ＳＨを読み出し、差分信号（ＳＨ−ＳＬ）を算出し、不図示のフレームメモリに一時記録する。
【００３５】
上述した暗電流成分ＤＨおよび暗電流成分ＤＬは、略同じ量となる。これは、暗電流成分は、受光素子の感度に依存しないためである。したがって、差分信号（ＳＨ−ＳＬ）は、図５に示すように、暗電流成分が除去されたものになる。また、差分信号（ＳＨ−ＳＬ）は、図５に示すように、高感度画素の出力信号である第２画像信号ＳＨから、低感度画素の出力信号である第１画像信号ＳＬが差し引かれた値となる。
【００３６】
ここで、第１受光素子ＰＤ１および第２受光素子ＰＤ２の飽和レベルについて説明する。図６は、第１受光素子ＰＤ１からの第１画像信号ＳＬ、第２受光素子ＰＤ２からの第２画像信号ＳＨ、差分信号（ＳＨ−ＳＬ）の電荷蓄積時間と信号レベルとの関係を示す図である。図６に示すように、第１受光素子ＰＤ１および第２受光素子ＰＤ２は、それぞれ所定の飽和レベルで飽和する。その結果、差分信号（ＳＨ−ＳＬ）は、ある信号レベルを境に減少する。これは、高感度画素である第２受光素子ＰＤ２の飽和レベルよりも実際の信号レベルが高い（明るい）ときには、第２受光素子ＰＤ２からの第２画像信号ＳＨが飽和レベルに達した後も、第１受光素子ＰＤ１からの第１画像信号ＳＬの信号レベルは増大するためである。
【００３７】
このような問題を回避するために、ステップＳ３で説明した第１画像信号ＳＬの信号レベルを所定の閾値Ｔｈでクリップする。閾値Ｔｈは、高感度画素である第２受光素子ＰＤ２の飽和レベルと、第１受光素子ＰＤ１および第２受光素子ＰＤ２の感度比とに応じて定めると良い。一の実施形態では、上述した感度比は１：４であるため、第２受光素子ＰＤ２の飽和レベルを１／４倍した値を閾値Ｔｈとすれば良い。
【００３８】
このような構成とすることにより、図７に示すように、高感度画素である第２受光素子ＰＤ２の飽和レベルよりも実際の信号レベルが高い（明るい）ときであっても、差分信号（ＳＨ−ＳＬ）が上述したように減少してしまうことはない。
【００３９】
ステップＳ５において、差分信号（ＳＨ−ＳＬ）にゲインＧを乗じる。ＣＰＵ１９は、画像処理部１５を制御して、フレームメモリから差分信号（ＳＨ−ＳＬ）を読み出し、ゲインＧを乗じる。ゲインＧは、第１受光素子ＰＤ１および第２受光素子ＰＤ２の感度比に応じて求めることができる。一の実施形態では、上述した感度比は１：４である。そのため、第１受光素子ＰＤ１からの第１画像信号ＳＬの信号レベルを[ｓ]とすると、第２受光素子ＰＤ２からの第２画像信号ＳＨの信号レベルは[４ｓ]となる。さらに、差分信号（ＳＨ−ＳＬ）の信号レベルは[３ｓ]となる。そこで、ゲインＧ＝４／３とすると、差分信号（ＳＨ−ＳＬ）にゲインＧを乗じることにより、第２受光素子ＰＤ２からの第２画像信号ＳＨの信号成分を再現することができる。なお、上述した感度比がｍ：ｎである場合には、ゲインＧ＝ｎ／（ｎ−ｍ）となる。
【００４０】
上記の一の実施形態の電子カメラ１１によれば、複数の画素のそれぞれについて、相対的に高感度の第２画像信号の値から相対的に低感度の第１画像信号の値を減算した後に、その差分信号に対して、低感度の第１受光素子と高感度の第２受光素子との感度比に基づくゲインを乗じる。そのため、撮像素子において長秒時の電荷蓄積を行う際にも、１回の露光で暗電流成分を除去することができる。したがって、撮影に要する時間を長くすることなく、暗電流ムラを適切に除去することができる。
【００４１】
＜一の実施形態の変形例＞
上記の一の実施形態では、暗電流成分ＤＨおよび暗電流成分ＤＬは、略同じ量となるものとして説明を行った。しかし、設計の時点等で暗電流成分ＤＨおよび暗電流成分ＤＬに差異が発生することがわかっている場合には、この差異を抑えるように調整を行えば良い。例えば、図４のステップＳ４で説明した差分信号（ＳＨ−ＳＬ）を算出する際に、差異を抑えるように第１画像信号ＳＬと第２画像信号ＳＨとの少なくとも一方にゲインＧｃを乗じ、ステップＳ５でゲインＧを乗じる際に、上述したゲインＧｃによって増減した第２画像信号ＳＨの信号成分を復元するように、ゲインＧを調整すれば良い。
【００４２】
また、上記の一の実施形態では、画像処理部１５において図４で説明した一連の処理を行う例を示したがこの例に限定されない。例えば、ＡＦＥ１４における処理に図４で説明した一連の処理の一部または全部を組み込んで行っても良いし、撮像素子１３内において図４で説明した一連の処理の一部または全部を実行する構成としても良い。また、上記の一の実施形態では、Ａ／Ｄ変換をした後の信号を処理対象としたが、Ａ／Ｄ変換前のアナログ信号を処理対象として同様の処理を行っても良い。
【００４３】
また、上記の一の実施形態では、第１受光素子と第２受光素子の上にそれぞれ集光率の異なるマイクロレンズを配置して、２つの受光素子間で感度差を生じさせる構成とした。この場合には、一の実施形態と同様の効果を奏するとともに、第１受光素子と第２受光素子とを同じ半導体プロセスで製造することが可能となる。ただし、本発明の第１受光素子および第２受光素子は上記構成に限定されるものではない。
【００４４】
例えば、第１受光素子と第２受光素子の上にそれぞれ光の透過率の異なる同色のカラーフィルタを配置して、２つの受光素子間で感度差を生じさせるようにしてもよい。この場合も、一の実施形態と同様の効果を奏するとともに、第１受光素子と第２受光素子とを同じ半導体プロセスで製造することも可能となる。
【００４５】
さらに、１画素に光電変換の効率が異なる２つの受光素子を配置することで、第１受光素子および第２受光素子を構成してもよい。この場合も、一の実施形態と同様の効果を奏することができる。
【００４６】
また、第１受光素子と第２受光素子の受光面積を異なる大きさとすることにより単位時間当たりの受光量を変化させても良い。なお、第１受光素子と第２受光素子の受光面積を異なる大きさが異なる場合には、図４のステップＳ４で説明した第１画像信号ＳＬの信号レベルのクリップは不要となる。
【００４７】
なお、本発明の第１受光素子および第２受光素子の構成は、上記の一の実施形態および一の実施形態の変形例で開示した技術の２以上の組み合わせによって実現されるものであっても勿論かまわない。
【００４８】
さらに、上記の一の実施形態では、感度の異なる第１受光素子と第２受光素子とを備える例を示したが、３種類以上の感度の異なる受光素子を備えても良い。
【００４９】
また、上記の一の実施形態で説明した処理を実行可能な撮像素子も本発明の具体的態様として有効である。
【００５０】
また、上記の一の実施形態で説明した構成において、撮像レンズ１２は、電子カメラ１１と一体に構成されるものであっても良いし、電子カメラ１１の本体に着脱可能に構成されるものであっても良い。
【００５１】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００５２】
１１…電子カメラ、１３…撮像素子、１４…ＡＦＥ、１７…第２メモリ、１９…ＣＰＵ、ＰＤ１…第１受光素子、ＰＤ２…第２受光素子
【図１】
2012094983.tif 000003
【図２】
2012094983.tif 000004
【図３】
2012094983.tif 000005
【図４】
2012094983.tif 000006
【図５】
2012094983.tif 000007
【図６】
2012094983.tif 000008
【図７】
2012094983.tif 000009