(57)【要約】【課題】  画像信号の過補正を抑え、画像上に黒い縦筋が発生してしまうことを防止して、高画質な画像を得る。【解決手段】  光学的に遮光された画素と、光学的に遮光されていない画素を有する撮像素子と、撮像条件にそれぞれ対応する補正量上限値を設定する設定手段と、前記光学的に遮光された画素からの信号を基に、補正量を演算する演算手段と、前記補正上限値と、前記補正量とを比較する比較手段と、前記比較手段によって、前記補正上限値よりも前記補正量のほうが小さいと判断された場合には、前記補正量を用いて前記光学的に遮光されていない画素からの信号を補正し、前記比較手段によって、前記補正上限値よりも前記補正量のほうが大きいと判断された場合には、前記補正上限値を用いて前記光学的に遮光されていない画素からの信号を補正する補正手段と、を有することを特徴とする画像処理装置を提供する。【選択図】  図１
2006060476.tif 000002
【特許請求の範囲】
【請求項１】
光学的に遮光された画素と、光学的に遮光されていない画素を有する撮像素子と、
撮像条件にそれぞれ対応する補正量上限値を設定する設定手段と、
前記光学的に遮光された画素からの信号を基に、補正量を演算する演算手段と、
前記補正上限値と、前記補正量とを比較する比較手段と、
前記比較手段によって、前記補正上限値よりも前記補正量のほうが小さいと判断された場合には、前記補正量を用いて前記光学的に遮光されていない画素からの信号を補正し、前記比較手段によって、前記補正上限値よりも前記補正量のほうが大きいと判断された場合には、前記補正上限値を用いて前記光学的に遮光されていない画素からの信号を補正する補正手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記撮像条件とは、少なくとも温度条件もしくは感度条件のいずれか一方を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像像子の温度、もしくは撮像素子の周辺温度のいずれかを測定する温度検出手段を更に有し、
前記設定手段は、前記温度検出手段によって得られた撮像素子、もしくは撮像素子の周辺の温度に応じて、補正量上限値を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記撮像素子に像を結像するレンズと、
前記撮像素子からの信号をＡ／Ｄ変換するＡ／Ｄ変換器と、
前記補正手段からの信号を記憶手段に記憶するように制御する記憶制御手段とを有することを特徴とする画像処理装置。
【請求項５】
光学的に遮光された画素と、光学的に遮光されていない画素を有する撮像素子を有する画像処理装置の画像処理方法であって、
撮像条件にそれぞれ対応する補正量上限値を設定する設定工程と、
前記光学的に遮光された画素からの信号を基に、補正量を演算する演算工程と、
前記補正上限値と、前記補正量とを比較する比較工程と、
前記比較工程によって、前記補正上限値よりも前記補正量のほうが小さいと判断された場合には、前記補正量を用いて前記光学的に遮光されていない画素からの信号を補正し、前記比較工程によって、前記補正上限値よりも前記補正量のほうが大きいと判断された場合には、前記補正上限値を用いて前記光学的に遮光されていない画素からの信号を補正する補正工程と、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルカメラ等の画像処理装置に関するものであり、特に撮像素子の欠陥補正方法に関するものである。
【背景技術】
【０００２】
従来の欠陥画素および垂直転送路の欠陥の補正方法としては、撮像素子の欠陥アドレスを検出手段により検出し、検出したアドレスをＲＯＭ，ＲＡＭなどの記憶手段に記憶し、撮影時に欠陥部の周辺画素情報により補間を行う方法がある。（例えば文献１）
また、垂直方向の連続的な画素の補正方法としては、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列から減算する手法がある。この手法は、垂直転送路の欠陥による垂直方向の欠陥画素列、すなわち縦線キズの補正方法にも用いられている。
【特許文献１】特開平５−６８２０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、文献１に開示されている手法では、検出したアドレスをＲＯＭ，ＲＡＭなどの記憶手段に記憶させるため、縦線キズのような連続したキズが多数存在する撮像素子においては、ＲＯＭ，ＲＡＭ容量を圧迫するという問題がある。また、縦線キズに隣接キズがあった場合、垂直方向、水平方向どちらからも補間できないという問題がある。さらに縦線キズは通常の点キズよりもレベルが低いケースが多いため、キズ検出時に検出されにくいという問題もある。
【０００４】
これに対し、垂直方向の連続的な画素の補正方法として、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列から減算することにより補正を行う手法があり、縦線キズが補正可能となっている。しかし、垂直転送路に光が入り込むことにより生じるスミア現象は、現れる現象としては縦線キズと同じであるため、上記の方法ではスミアも一色単に補正してしまっていた。このため、高輝度被写体撮影時等のスミア発生時に、補正処理に遅れが発生して、本来補正したい列を正確に補正できず、画質がより悪くなってしまうことがあった。特に、スミア発生時に、高輝度被写体が動いたり、画像処理装置が動いたりした場合には、本来のスミア補正したい列とは別の列を大きな補正量で補正してしまう過補正（画像上に現れる現象としては黒い縦筋）が発生して、画質劣化が著しくなってしまうという問題が生じていた。
【課題を解決するための手段】
【０００５】
上記課題を達成するために、本発明の画像処理装置は、光学的に遮光された画素と、光学的に遮光されていない画素を有する撮像素子と、撮像条件にそれぞれ対応する補正量上限値を設定する設定手段と、前記光学的に遮光された画素からの信号を基に、補正量を演算する演算手段と、前記補正上限値と、前記補正量とを比較する比較手段と、前記比較手段によって、前記補正上限値よりも前記補正量のほうが小さいと判断された場合には、前記補正量を用いて前記光学的に遮光されていない画素からの信号を補正し、前記比較手段によって、前記補正上限値よりも前記補正量のほうが大きいと判断された場合には、前記補正上限値を用いて前記光学的に遮光されていない画素からの信号を補正する補正手段と、を有する。
【０００６】
また、本発明の画像処理方法は、光学的に遮光された画素と、光学的に遮光されていない画素を有する撮像素子を有する画像処理装置の画像処理方法であって、撮像条件にそれぞれ対応する補正量上限値を設定する設定工程と、前記光学的に遮光された画素からの信号を基に、補正量を演算する演算工程と、前記補正上限値と、前記補正量とを比較する比較工程と、前記比較工程によって、前記補正上限値よりも前記補正量のほうが小さいと判断された場合には、前記補正量を用いて前記光学的に遮光されていない画素からの信号を補正し、前記比較工程によって、前記補正上限値よりも前記補正量のほうが大きいと判断された場合には、前記補正上限値を用いて前記光学的に遮光されていない画素からの信号を補正する補正工程と、を有する。
【発明の効果】
【０００７】
撮像素子に欠陥が存在する場合でも適切な補正処理を施すことができ、高画質の画像を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【０００９】
（実施の形態）
図１は、本発明の一実施の形態による画像処理装置、ここではデジタルカメラの構成を示すブロック図である。
【００１０】
まず、図１の各部の機能を説明する。１０は画像処理装置（本実施の形態ではデジタルカメラ）で、内部の機能を詳述すると、１２は光を電気信号へ変換する撮像素子（本実施の形態ではＣＣＤ）、１１は被写体からの光をＣＣＤ１２へ集光するレンズ、１３はＣＣＤ１２から出力されるアナログ映像信号を画像信号へ変換する画像処理回路（この画像処理回路の中にアナログ信号をデジタル信号に変換するＡ／Ｄ変換器も含まれる）、１４はＣＣＤ１２を駆動させるパルスを発生するタイミングジェネレーター、１５は撮影データ、画像データ、を記憶する記憶手段（ここではＲＡＭ）、１６はデジタルカメラ１０から取り外し可能な撮影画像記録媒体（ここではコンパクトフラッシュ（登録商標）カード）でＲＡＭ１５に一時的に記録された画像データが最終的に記録される。また、１７はデジタルカメラ全機能を制御する制御手段（ここではＣＰＵ）、１８はＣＣＤ１２の周辺温度を測定するサーミスタである。また、撮像素子１２の中には光学的に遮光された画素部であるＯＢ部と、光学的に遮光されていない画素部である有効画素部とがある。
【００１１】
次に、本発明の実施形態の流れを図２のフローチャートを使って説明する。本実施形態では動画撮影の例で説明する。なお、ライブビューモードにおいても、同様な構成で同様な効果が得られる。
【００１２】
まず、動画撮影を開始（Ｓ１０１）する。撮影開始時にＲＡＭ１５の撮影データに動画撮影条件を記録し、ＲＡＭ１５の撮影データから、撮影感度情報を取得する（Ｓ１０２）。さらにサーミスタ１８から、ＣＰＵ１７の制御により、ＣＣＤ周辺温度を取得する（Ｓ１０３）。サーミスタの位置は、ＣＣＤの画素部により近い方が好ましい。
【００１３】
次に、動画画像１フレーム毎に、ＯＢ部またはダミー画素部（撮像素子１２に蓄積信号がない状態で読みだしをした時に発生する信号をダミー信号といい、この読み出しの対象となる画素部をダミー画素部という）の信号を測定することにより、縦線キズレベル、およびスミアレベルの測定を行う（Ｓ１０４）。高輝度被写体によるスミア現象が発生していない場合には、このレベルの測定により、加算平均値Ｌを算出することによって、縦線キズの補正値を求めることができる。図３はＯＢ部またはダミー画素部を測定する手法を表した図で、縦線キズのみ発生した場合の図である。縦線キズは、垂直転送部の欠陥により発生する現象で、図３の様に同列に同レベルの浮きが発生する。この浮き量は同様にＯＢ部［２］、ダミー画素部［３］にも発生する。本実施の形態では、動画画像１フレーム毎に、ＯＢ部のそれぞれの列の加算平均値Ｌを求め、有効画素部の列から加算平均値Ｌを減算することで縦線キズ補正を行う。
【００１４】
これに対し、高輝度被写体を動画撮影する際には、スミアが発生するケースがある。スミア発生原理は垂直転送路に光が入り込むことにより生じる現象のため、現れる現象としては縦線キズと同じである。よって上述のような有効画素部の列から加算平均値Ｌを減算することで縦線キズ補正を行う方法では、縦線キズとスミアの棲み分けができず、縦線キズ補正を行う場合に、縦線キズ補正と同時にスミア補正も行うことになってしまう。この場合、縦線キズのレベルは非常に小さく、スミアのレベルは非常に大きくなる可能性があるため、スミア発生時にＯＢ列あるいはダミー画素列のそれぞれの列の加算平均Ｌを求め、有効画素部の列から加算平均値を減算すると、補正すべき列に時間差によるずれが生じて画像に過減算による黒い縦スジが発生する可能性がある。特に、高輝度被写体が移動した場合またはデジタルカメラが手ぶれ、移動した場合には、この黒い縦スジが顕著に現れる。
【００１５】
そこで、本実施の形態では、この黒い縦スジのレベルを軽減するために、縦線キズレベル上限値を算出し、縦線キズ補正量に上限を設ける。つまり、スミアが発生するような高輝度被写体が存在する場合には、上限値の補正量で補正を施すことにより黒い縦スジのレベルを軽減することができる。
【００１６】
縦線キズは、垂直転送路の欠陥、例えば垂直転送路キズによって発生する現象のため、温度上昇により縦線キズレベルも上昇する。また、図４のように撮影感度に比例して縦線キズレベルも上昇する。よって、ＣＣＤ１２の周辺温度（℃）をｘ、撮影感度をＩＳＯ  ｙとし、ＩＳＯ１００、０℃時の縦線キズレベルをｚ  ＬＳＢとすると、縦線キズレベルＫは以下の式で近似的に算出できる（Ｓ１０５）。
Ｋ≒ｚ×（ｙ／１００）×２（１＋ｘ／８）
ただし、ｘ≧０℃とする。
【００１７】
上記式をグラフにした図が図５で、撮影感度、撮像素子温度に応じた補正上限値を表している。本実施の形態では上記式で算出されたＫを縦線キズ補正上限値とし、Ｓ１０４で算出した加算平均値Ｌとの比較を行う（Ｓ１０６）。
【００１８】
比較結果が、Ｋ＜Ｌの場合、有効画素全領域のそれぞれの列から、補正上限値Ｋを減算する（Ｓ１０７）。
【００１９】
比較結果がＫ≧Ｌの場合、有効画素全領域のそれぞれの列から、その列に対応した加算平均値Ｌを減算し縦線キズ補正を行う（Ｓ１０８）。
【００２０】
以上の動作を本実施の形態では動画撮影中の毎フレームで行うが、Ｓ１０２，Ｓ１０３，Ｓ１０５に関しては毎フレームではなく、一定周期で行っても構わない。また、本実施の形態では、ＣＣＤ周辺温度と撮影感度の２種類により線キズ補正上限値を算出したが、どちらか片方のみで上限値を算出しても構わない。
【００２１】
以上説明した通り、本実施の形態によれば、ライブビュー時または動画撮影時等に、撮像素子の温度と撮影感度情報から線キズ補正の補正量上限値を算出することにより、高輝度被写体撮影等によりスミアが発生した場合においても、補正上限値が制限されるため、良好なライブビュー画像、動画が撮影可能となる。特に、高輝度被写体が移動した場合、またはデジタルカメラが手ぶれ、移動した場合に発生する黒い縦スジが軽減可能となり、高画質の画像を得ることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係るデジタルカメラの機能ブロック図である。
【図２】本発明の実施の形態の動作を示すフローチャートである。
【図３】本発明の実施の形態の縦線キズ発生例を表す撮像素子構成図である。
【図４】本発明の実施の形態の撮影感度に応じた補正上限値を表すグラフである。
【図５】本発明の実施の形態の撮影感度、撮像素子温度に応じた補正上限値を表すグラフである。
【符号の説明】
【００２３】
１０  撮像装置であるデジタルカメラ
１１  レンズ
１２  撮像素子であるＣＣＤ
１３  画像処理回路
１４  タイミングジェネレーター
１５  記憶手段であるＲＡＭ
１６  記録媒体であるコンパクトフラッシュ（登録商標）カード
１７  制御手段であるＣＰＵ
１８  温度検出手段であるサーミスタ
【図１】
2006060476.tif 000003
【図２】
2006060476.tif 000004
【図３】
2006060476.tif 000005
【図４】
2006060476.tif 000006
【図５】
2006060476.tif 000007