(57)【要約】【課題】  撮像装置による補正処理を全て自動的に判定して行うことは、操作性の向上としてはすぐれているものの、画像の後処理工程で元画像がどのような状態であったかを予測する必要がある場合に元画像の予測が困難となっていた。【解決手段】  撮像素子により撮影された画像の累積ヒストグラムの一部または全部のデータを撮影された画像データの一部のデータと置き換えることで、撮影時の状態を把握出来るようにして、より最適な補正処理を実現可能にすると共に、画像を表示した際に、どのような条件下で撮影された画像であるかをイメージとして視認することを可能にしている。【選択図】  図１２
2009094794.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により撮影された画像の所定領域のデータを比較し計数する計数手段を有し、前記計数手段による計数結果を撮影された画像データの一部のデータと置き換えるデータ置き換え手段を有することを特徴とする撮像装置。
【請求項２】
前記所定領域は、撮像素子のOB領域の第1の領域であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記計数手段により計数された結果を基に、前期撮像素子の暗電流に相当する量を演算するようにしたことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記計数手段により計数された結果は、撮影された画像の累積ヒストグラムの一部または全部のデータであることを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記データ置き換え手段により置き換えられるデータは、撮像素子のOB領域の第２の領域の画像データと置き換えるようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項６】
前記撮像素子のOB領域の第２の領域の画像データは、垂直OB部と水平OB部の交わる領域であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記演算された前期撮像素子の暗電流に相当する量に応じて、撮像素子の駆動条件を変更するようにしたことを特徴とする請求項３に記載の撮像装置。
【請求項８】
前記演算された前期撮像素子の暗電流に相当する量に応じて、画像に対して補正処理を行うようにしたことを特徴とする請求項３に記載の撮像装置。
【請求項９】
撮影された画像の累積ヒストグラムの一部または全部のデータを撮影された画像データの一部のデータと置き換えられた画像を入力し、前記累積ヒストグラムの結果に応じて、画像に対して補正処理を行うようにしたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像素子を用いて生成される画像データの補正を行う画像処理装置に関するものである。
【背景技術】
【０００２】
撮像素子を用いて長時間露光を行う場合や、高ISO感度での撮影を行う場合、あるいは高温度下で撮影を行う場合などには撮像素子が暗電流を生じることが良く知られている。
【０００３】
これは固体撮像素子が光エネルギーを電気信号に変換するだけでなく、熱エネルギーも電気信号に変換する性質を有することによるものである。
【０００４】
この暗電流は温度依存性が高く、温度が８〜１０℃上昇すると、その出力はおよそ２倍になることが知られている。
【０００５】
固体撮像素子ではこの暗電流は画質に良くない影響を与えるためその成分を小さくするよう、製造上数々の工夫がなされている。
【０００６】
撮像素子全体が置かれた環境による撮像素子全体の温度上昇だけではなく、撮像素子の一部の消費電流が大きい場合、たとえば出力段アンプなどの消費電流が多い場合には、撮像素子の部分的な温度上昇が発生し、その部分のみ暗電流が上昇し出力が大きくなることが見受けられる。
【０００７】
たとえば高ISO長秒時で夜景などを撮影した場合に、本来まったく明かりの無い領域にマゼンタに近い色の明かりが見受けられたりする。
【０００８】
このように撮像素子の暗電流が大きくなると、
・暗電流に面内の分布ばらつきがある場合、面内の輝度、色バランスがおかしくなる。
【０００９】
・暗電流が全面で大きくなると、ダークレベルが上昇し、相対的に光信号のダイナミックレンジが減少してしまう。
といった画質に大きな影響を与える問題があった。
【００１０】
このような問題を解消するために、本画像の撮影後に、本画像撮影時とまったく同じ条件で撮像素子を遮光した条件で画像を撮影し（ダーク画像）本画像からこのダーク画像を減算することで暗電流の影響をキャンセルする長秒時のノイズリダクション処理（いわゆるダーク画像減算処理）が知られている。
【００１１】
しかしながらダーク画像減算処理には一般に次のような問題がある。
【００１２】
・正確に本画像撮影時の暗電流の影響をキャンセルするには、本画像撮影時と同条件でダーク画像を取得することが望ましい。そのため長秒時の露光を行った場合には、さらにそれと同じ時間のダーク画像取得時間を要するため操作性が極めて良くなくなる。
【００１３】
・本画像からダーク画像の減算処理を行うことで、本画像およびダーク画像の持つランダムノイズが本画像の√２倍となってしまい本質的に画質の低下が避けられない。
といった問題がわかっている。
【００１４】
そのため不要な撮影条件であれば、可能な限りノイズリダクション処理を行わないように、本撮影時の暗電流成分を検出し、その値が所定以上のときだけノイズリダクション処理を行うような方法が提案されている。（特許文献１）
一方で撮像素子の画素欠陥の一種に白キズと呼ばれる種類のものが存在する。
【００１５】
白キズはその暗電流が他の画素に比較して異常に多く、温度あるいは露光時間といった要因によりその出力が非常に大きなものとなり画像となったときに白点として見えてしまう画素である。
【００１６】
この白キズの暗電流は主に撮像素子の画素を構成するフォトダイオード部の結晶欠陥に起因する現象で露光時間、撮像素子の温度によって変化することが知られている。
【００１７】
したがって高温度環境化、長秒露光時にその影響が多く見られ、撮像素子出力により多くのゲインを乗じられる高ISO感度条件下でもそのゲイン分だけ実際の画像としては影響が大きくなってしまう。
【００１８】
このような温度、露光時間に依存するタイプの白キズの特徴として、例えば同一温度下で露光時間とその出力のグラフを作成すると、分布上いくつかの異なる傾きをとることが知られている。
【特許文献１】特開２００５−１４２８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
これらの処理を全て自動的に判定して行うことは、操作性の向上としてはすぐれているものの、画像の後処理工程で元画像がどのような状態であったかを予測する必要がある場合には、補正後の画像しか残っていないために元画像の予測が困難となっていた。
【００２０】
具体的には、外部アプリケーションなどで更に細かい自動ノイズ低減処理（例えば画像のローパスフィルタ処理など）を行う場合、画像全体をスキャンして画像のノイズの状態を調べると、膨大な画像を処理するには時間がかかりすぎていた。
【００２１】
また、スキャン時間を短縮するため、画像に付属するタグ（Ｅｘｉｆ情報）により露光時間を判断することは出来るが、その時の撮像素子の暗電流がどれくらいなので、画像のランダムノイズがどれくらいであったかという予測をするには情報として不足であった。
【課題を解決するための手段】
【００２２】
本発明の画像処理装置は撮像素子により撮影された画像の所定領域のデータを比較し計数する計数手段を有し、前記計数手段による計数結果を撮影された画像データの一部のデータと置き換えるデータ置き換え手段を有する。
【００２３】
また、前記所定領域を、撮像素子のOB領域の第1の領域とする。
【００２４】
また、前記計数手段により計数された結果を基に、前期撮像素子の暗電流に相当する量を演算する。
【００２５】
また、前記計数手段により計数された結果は、撮影された画像の累積ヒストグラムの一部または全部のデータとする。
【００２６】
また、前記データ置き換え手段により置き換えられるデータは、撮像素子のOB領域の第２の領域の画像データと置き換えるようにする。
【００２７】
また、前記撮像素子のOB領域の第２の領域の画像データは、垂直OB部と水平OB部の交わる領域とする。
【００２８】
また、前記演算された前期撮像素子の暗電流に相当する量に応じて、撮像素子の駆動条件を変更するようにする。
【００２９】
また、前記演算された前期撮像素子の暗電流に相当する量に応じて、画像に対して補正処理を行うようにする。
【００３０】
更に、本発明の画像処理方法は、撮影された画像の累積ヒストグラムの一部または全部のデータを撮影された画像データの一部のデータと置き換えられた画像を入力し、前記累積ヒストグラムの結果に応じて、画像に対して補正処理を行うようにした画像処理方法である。
【発明の効果】
【００３１】
本発明は、撮影時の状態を把握出来るようにすることで、より最適な補正処理を実現可能にすると共に、画像を表示した際に、どのような条件下で撮影された画像であるかをイメージとして視認することを可能にしている。
【００３２】
また、撮影時の状態に応じて画像に対して最適な補正処理を行うことを可能にしている。
【発明を実施するための最良の形態】
【００３３】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００３４】
本実施例では、暗電流による画質の低下を防止するためのノイズリダクション動作を実行する必要があるか否かを、累積ヒストグラム算出手段を用いて判定する方法を示すものである。
【００３５】
本発明における第一の実施例としての撮像装置のカメラ動作を、図１、図２を用いて簡単に説明する。
【００３６】
図１は、デジタルカメラやデジタルビデオカメラの構成を示す図で、１０１は撮像素子でありここではＣＭＯＳセンサが使用され、CMOS内部にISO感度に応じてゲインを切り替えるアンプ回路を内蔵している。１０２は撮像素子からの信号をアナログ−デジタル変換するＡ／Ｄ変換器を内蔵し、ダークオフセットレベルをクランプする機能を有するAFE（アナログフロントエンド）である。１０３はＤＳＰ（Digital Signal Processor）であり、ＡFE１０２からのデータに対して各種補正処理及び現像処理を行なう。またＤＳＰ１０３では、ＲＯＭ１０６、ＲＡＭ１０７等各種メモリの制御、記録媒体１０８への画像データの書き込み処理が行なわれる。
【００３７】
１０４は、撮像素子１０１、ＡＦＥ１０２、ＤＳＰ１０３にクロック信号や制御信号を供給するタイミング発生回路であり、ＣＰＵ１０５により制御される。
【００３８】
１０５はＤＳＰ１０３、タイミング発生回路１０４の制御、及び測光・測距など不図示の各部を使ったカメラ機能の制御を行なうＣＰＵである。１０９〜１１１の各スイッチ、モードダイアル１１２が接続され、それぞれの状態に応じた処理を実行する。
【００３９】
１０６はカメラの制御プログラムや各種補正データを記憶するＲＯＭ、１０７はＤＳＰ１０３で処理される画像データや補正データを一時的に記憶するＲＡＭである。工程で取得される各種補正データはＲＯＭ１０６に記憶されており、撮影時にＲＡＭ１０７に展開されて補正に使用されることになる。また、ＲＡＭ１０７はＲＯＭ１０６より高速のアクセスが可能である。
【００４０】
１０８は撮影された画像を保存するコンパクトフラッシュ（登録商標）カード等の記録媒体であり、不図示のコネクタを介してカメラと接続される。
【００４１】
１０９はカメラを起動させるための電源スイッチ、１１０は測光処理、測距処理等の動作開始を指示するシャッタースイッチＳＷ１、１１１は不図示のミラー及びシャッターを駆動し、撮像素子１０１から読み出した信号をＡＦＥ１０２、ＤＳＰ１０３を介して記録媒体１０８に書き込む一連の撮像動作の開始を指示するシャッタースイッチＳＷ２である。
【００４２】
１１２はカメラの動作モードを選択するためのモードダイアルであり、
１１３はカメラの撮影ISO感度を設定するためのISO感度設定スイッチである。
【００４３】
１１４は撮影された画像を表示させるための外部表示装置である。
【００４４】
図２は、図１に示すカメラの制御を示したフローチャート図である。まず、ステップＳ２０１でカメラを起動する電源ＳＷ１０９がＯＮされているか否か判定し、ＯＦＦならＳ２０１を繰り返す。ここで電源ＳＷ１０９がＯＮされていれば、ステップＳ２０３へ進む。ステップＳ２０３でモードダイアル１１２が撮影モードに設定されているか否かを判別する。撮影モードに設定されていれば続いてステップＳ２０５へ進み、その他のモードに設定されていればステップＳ２０４で選択されているモードに応じた処理を行ないＳ２０１へ戻る。
【００４５】
ステップＳ２０５では、シャッタースイッチ（ＳＷ１）１１０がＯＮしているか否か判定する。ＳＷ１がＯＦＦしている場合、Ｓ２０５の処理を繰り返す。ＳＷ１がＯＮしている場合には、ステップＳ２０６に進む。
【００４６】
ステップＳ２０６では、不図示の測光制御部及び測距制御部を用いて、絞り値およびシャッター速度を決定する測光処理、撮影レンズ焦点を被写体に合わせる測距処理が行なわれる。
【００４７】
測光・測距処理が終了すると、続くステップＳ２０７でシャッタースイッチ（ＳＷ２）１１１の状態が判定される。ＳＷ２がＯＦＦしている場合にはＳ２０７を繰り返し、ＯＮしている場合にはステップＳ２０８の撮影処理が実行される。この撮影処理の詳細については後述する。
【００４８】
ステップＳ２０８の撮影処理が終了すると、ステップＳ２１０へ進む。
【００４９】
ステップＳ２１０では、撮影した画像データに対しＤＳＰ１０３で現像処理が行なわれる。続いてステップＳ２１１で、現像処理の終了した画像データに対し圧縮処理が行なわれＲＡＭ１０７の空き領域に格納される。
【００５０】
ステップＳ２１２では、ＲＡＭ１０７に格納されている画像データが読み出され、記録媒体１０８への記録処理が実行される。記録処理終了後、ステップＳ２０１へ戻り次の撮影に備える。
【００５１】
次に、ステップＳ２０８の撮影処理の詳細について図３を用いて説明する。
【００５２】
まずステップＳ３０１でミラーをミラーアップ位置に移動させる。ステップＳ３０２では、前述の測光処理（ステップＳ２０５）で得られた測光データに基づいて、所定の絞り値まで絞りを駆動する。
【００５３】
ステップＳ３０３で撮像素子１０１の電荷クリア動作を行い、ステップＳ３０４の電荷蓄積を開始する。電荷蓄積開始後、ステップＳ３０５でシャッターを開き、ステップS306にて撮像素子１０１の露光を開始する。
【００５４】
その後、ステップＳ３０７で測光データに従って露光終了まで待ち、ステップＳ３０８でシャッターを閉じる。
【００５５】
ステップＳ３０９で開放の絞り値まで絞りを駆動し、ステップＳ３１０ではミラーダウン位置までミラーを駆動する。
【００５６】
ステップＳ３１１では設定した電荷蓄積時間が経過するまで待ち、ステップS312にて撮像素子１０１の電荷蓄積を終了する。
【００５７】
次にステップＳ３１３で撮像素子１０１の信号が読み出される。このとき撮像子１０１はアンプゲインをISO感度設定スイッチ１１３にて設定されているISO感度に応じたゲイン値に切り替えている。
【００５８】
またこのときＡＦＥ１０２はダークオフセットレベルをクランプする機能を有しているので、後述する撮像素子のオプティカルブラック部出力を用いて、クランプ動作を行う。
【００５９】
読み出し開始と同時にステップS314にて暗電流検出を行う。暗電流検出の詳細については後述する。
【００６０】
ステップS315ではステップS314で検出した暗電流量を事前に設定されROM１０６あるいはRAM１０７に記憶されている判定値と比較する。暗電流値が判定値以下であればそのまま終了し、判定値以上であった場合にはステップS316にてノイズリダクション処理を行う。
【００６１】
ノイズリダクション処理の詳細については後述する。
【００６２】
以上の処理が完了したところで、一連の処理を終了してメインの処理へ復帰する。
【００６３】
引き続きノイズリダクション処理について図４のフローチャートに従って説明する。
【００６４】
ここでいうところのノイズリダクション処理とは、本画像から同時間蓄積したダーク画像を減算処理する方法である。
【００６５】
ノイズリダクション処理を開始する以前では、先に撮影した本画像はいまだ現像処理に進んでいないので、一時的にRAM１０７に保存されている。
【００６６】
ノイズリダクション処理が始まると、まずステップS401にて再度撮像素子の電荷をクリアし、ステップＳ４０２にて電荷蓄積を開始する。このシーケンスではダーク画像の取得を目標としているため、電荷蓄積開始後はシャッターを開くことはない。
【００６７】
ステップS４０３にて設定された本画像の露光時間と同じ時間が経過したかどうかを判定する。ステップS４０３にて設定時間が経過すると、ステップS404にて、撮像素子１０１の電荷蓄積を終了する。
【００６８】
こうして得られたダーク画像をステップＳ４０５で撮像素子１０１の信号が読み出される。このとき撮像素子１０１はアンプゲインを本画像撮影時と同様に、ISO感度設定スイッチ１１３にて設定されているISO感度に応じたゲイン値に切り替えている。
【００６９】
読み出した画像データは一時的にRAM１０７に保存される。次にステップS407にて本画像からダーク画像の減算処理を行う。これはRAM１０７上に保存されている本画像データから、ダーク画像データを各画素毎に減算処理と、ダークオフセットの加算を行う。
【００７０】
このような処理を行ったデータは一時的にRAM１０７に保存しても良いし、そのままステップS210の現像処理に進めても良い。
【００７１】
またこのような減算処理が終了した時点でRAM１０７上の本画像データおよびダーク画像データは不要となるので消去することが可能である。
【００７２】
次にステップS314の暗電流検出について説明する。
【００７３】
まず図５に示す撮像素子の構成について説明する。
【００７４】
同図は撮像素子のイメージを示す図であり、グレー部分は光学的に遮光された画素領域であるOB部（オプティカルブラック部）である。この領域には画像上部のVOB部（垂直オプティカルブラック部）および画像左右のHOB部（水平オプティカルブラック部）に大きく分けられる。他の領域は光信号を出力する開口領域である。
【００７５】
本実施例ではVOB部領域の一部を演算領域と設定し、この領域の暗電流値を予測することを目的とする。
【００７６】
通常平均暗電流は，このように遮光されているＯＢ部の出力の平均値を求めることで算出可能であるが、本実施例のようにクランプ機能を有するＡＦＥを用いて、ＶＯＢ部でクランプ動作を有効に設定すると平均暗電流成分も含めてクランプされるため、クランプ動作が終了するとそれ以降の領域では暗電流成分は見えなくなってしまう。
【００７７】
しかしながら、このように暗電流成分が大きな領域での撮影時には、ＡＦＥのクランプ機能は信号のダイナミックレンジを確保するためには非常に有用である。
【００７８】
図６にDSP１０３に内蔵されるヒストグラム作成回路ブロックを示す。
【００７９】
同図では比較のためのコンパレータが４つの場合を示している。
【００８０】
同図において201は画像データが入力される入力端子である。
【００８１】
累積ヒストグラムを作成するための演算領域内であるか否かをコントローラ２０２が設定されたV方向演算開始位置、V方向演算終了位置、H方向演算開始位置、H方向演算終了位置のレジスタに設定された値を参照し必要なタイミングで画素出力を複数のコンパレータ２０７〜２１０に出力する。各コンパレータの比較対照には各々レジスタ２０３〜２０６が用意されており、レジスタに設定された判定レベルと対象画素出力を比較する。
【００８２】
またそれぞれのコンパレータ出力はそれぞれ異なる計数カウンタ２１１〜２１４に接続され、演算領域内で各判定レベルを超える出力を示した画素数を計数し、記憶する。
【００８３】
この計数カウンタ出力は読み出し可能となっており、この計数カウンタ出力を用いて判定を行う。
【００８４】
また上記各レジスタに設定される判定値はROM１０６、あるいはRAM107に記憶されており、撮影前にそれぞれのレジスタ２０３〜２０６に設定される。
【００８５】
演算領域として図５に示す領域にて上記回路ブロックが動作するように演算領域を指定するレジスタが設定されていると、撮像素子の読み出し動作を開始し、VOB領域の読み出しが終わった時点で各計数カウンタには、それぞれの判定値を越える画素の個数が記憶されていることとなり、これは累積ヒストグラムを示していることとなる。
【００８６】
次にこの累積ヒストグラムから暗電流量を概算する方法について説明する。
【００８７】
図７にダーク画像のヒストグラムおよび累積ヒストグラムの概略を示し、これが露光時間にて変化する様子を示す。
【００８８】
同図の最上段左のグラフは露光時間が非常に短い場合のダーク画像から取得したヒストグラムである。ヒストグラムは設定されたダークレベルを中心に分布しており、そのばらつきはほぼランダムノイズに相当する。この条件では白キズはほとんど存在しないものとする。このときの累積ヒストグラムを同段右に示す。
【００８９】
累積ヒストグラムの左端でグラフは検出した全画素数を示す。
【００９０】
ダークレベル付近から下降をはじめダークレベル＋ランダムノイズ振幅あたりで累積個数がほぼ０となる。
【００９１】
このときに例えば４つのコンパレータにてそれぞれの判定値をTh1,Th2,Th3,Th4とすると（Th1<Th2<Th3<Th4）Th1を超える個数がわずかに存在し、Th2〜Th4を超える画素はほとんど存在しない。
【００９２】
このような条件に対し、さらに露光時間が長くなった場合のダーク画像から取得したヒストグラム、累積ヒストグラムを上から２段目に示す。
【００９３】
このときヒストグラムにはダークレベルを中心とする分布に加えて、ダークレベルよりも出力が大きいところに小さな分布が発生する。これを第一の微小キズグループと呼ぶ。
【００９４】
これは撮像素子の全画素中、ある割合で同程度の出力を示す結晶欠陥が発生していることを示すものである。ある撮影条件下で発生するキズグループの分布のレベルは、撮影条件を変えてもほぼ同じような出力となることが知られている。
【００９５】
このときに４つのコンパレータに接続された計数カウンタ値はTh1,Th2,Th3を超えるものが第一の微小キズグループの個数に相当する数となるが、Th４は第一の微小キズ出力よりも大きな判定値となっているためこのレベルを超える画素はほとんど存在しない。
【００９６】
さらに露光時間が長くなった場合のダーク画像から取得したヒストグラム、累積ヒストグラムを上から３段目に示す。
【００９７】
このときヒストグラムにはダークレベルを中心とする分布に加えて、ダークレベルよりも出力が大きいところに小さな分布が２つ発生する。出力が大きいほうの分布は先の第一の微小キズグループの出力がさらに増加したものであり、出力が小さいほうの分布は新しく発生した第二の微小キズグループと呼ぶ。
【００９８】
これは第一の微小キズグループとは異なるが、同じ振る舞いを示す欠陥画素のグループである。
【００９９】
このときダークレベル付近の分布も全体が広がる様子を見せている。
【０１００】
これは露光時間の延長により、さらにランダムノイズが増加していることによる。
【０１０１】
このときに４つのコンパレータに接続された計数カウンタ値はTh1を超える個数が第一の微小キズグループと、第二の微小キズグループの累積数となり,Th2,Th3、Th4を超えるものが第一の微小キズグループの個数に相当する数となることがわかる。
【０１０２】
さらに露光時間が長くなった場合のダーク画像から取得したヒストグラム、累積ヒストグラムを最下段に示す。
【０１０３】
このときヒストグラムにはダークレベルを中心とする分布に加えて、ダークレベルよりも出力が大きいところに小さな分布が２つ発生する。第一の微小キズグループの出力はさらに大きくなり、このグラフから省略している。表示しているものは先の第二の微小キズグループの出力がさらに増加したものである。
【０１０４】
このとき累積ヒストグラムは、その左に示す図のとおりであり、計数カウンタ値はTh1〜４を超える個数が、第一の微小キズグループと、第二の微小キズグループの累積数となることがわかる。
【０１０５】
したがって複数のコンパレータと計数カウンタからなる離散累積ヒストの出力値から、各計数カウンタ出力のおおよそのレベルと、連続する判定レベルの計数カウンタ間の出力差を判定することでおおよそのキズのレベルが確認できる。
【０１０６】
簡単な判定の一例と、その結果を図９に示す。
【０１０７】
同図では４つの異なる判定値Th1〜Th4と、それぞれの計数カウンタのカウント値が
L：０〜０＋N1
M１：第一の微小キズ個数の概略数−N2〜第一の微小キズ個数の概略数＋N2
M２：第一＋二の微小キズ個数の概略数−N３〜第一＋第二の微小キズ個数の概略数＋N３
M3：第一＋第二の微小キズ個数の概略数＋N４以上
という比較レベルと比較し、それぞれがどの領域に入るかによって、判定している。
【０１０８】
N1〜N4は数値のばらつきを許容するためのマージン設定である。
【０１０９】
この判定値の関係を図８に示す。
【０１１０】
図９に示すような判定テーブルから、特定の微小キズグループの分布が、どの判定値付近に、あるいはどの判定値とどの判定値の間に存在しているかが判別することができるため、高精度に検出することが可能である。
【０１１１】
それぞれの微小キズレベルはレベル差があるので、判定マージンN1〜N4を十分な大きさにとっても検出可能である。
【０１１２】
また判定値の設定は本実施例ではコンパレータを４つ用意しているが、この設定をより細かくし、コンパレータおよび計数カウンタのセット数を大きく用意することにより、さらに高精度に特定のレベルのキズグループの分布を判定することが可能となる。このようにより多くの判定手段を用いた場合には、判定手法もより高精度に行う必要があるが、基本的な考え方としては、先に述べたようにある特定のキズレベルを持つキズ画素のグループがどの判定値付近にいるかを検出することを目的とし、これを実現する手法としては、連続点の線形近似などの多くの方法が考えられる。
【０１１３】
次に、このように現在得られた画像からある特定のキズレベルを持つキズ画素のグループがどの判定値付近にいるかを検出すると、事前に該当するキズ画素のグループが所定の条件下での出力値を事前に確認しておくことで、基準となる出力値と、現在得られた概略出力値を比較することが可能となる。これらの条件下での出力値の換算を行うことにより、現在の出力値を想定することが可能となる。
【０１１４】
よく知られているように、温度が８〜１０℃上昇すると出力が２倍になり、露光時間、ISO感度に比例するといった単純な計算のみを用いることで演算可能である。
【０１１５】
例えば基準条件としてISO800、２５℃、露光時間１秒で撮影したとき、第一の微小なキズグループの分布中心が10mV、第二の微小なキズグループの分布中心が５mVであったとする。
【０１１６】
本画像としてISO400、露光時間８秒で撮影した画像のVOB部の出力を判定したときに、第一の微小なキズグループが先の判定方法により、判定値60mV〜100mV付近に存在すると判定されたとする。
【０１１７】
この場合、撮影条件から換算すると、基準条件に比較し、露光時間が８倍で、ISO感度が1/2であるので、撮像素子が２５℃と仮定すると、第一の微小キズの分布中心は40mV付近に存在するはずである。これがおよそ２倍の６０ｍV〜100mV付近に存在することから約２倍の出力であると予測でき、撮像素子温度は25℃よりもおよそ８℃〜１０℃程度高いことが予想できる。
【０１１８】
さらに事前に測定した温度と平均暗電流の対応から、撮像素子の暗電流量を予測することが可能となる。
【０１１９】
たとえば事前に測定した撮像素子において、第一の微小なキズグループの分布中心と平均暗電流との間の比例係数C1, 第二の微小なキズグループの分布中心と平均暗電流との間の比例係数C２をROM１０６、あるいはRAM１０７に事前に記憶しておくことで、平均暗電流は概略値×比例係数を演算することで予測することができる。たとえば先の例であれば第一の微小傷の分布中心が60mV〜100mVのとき予想される平均暗電流は６０ｍV×C1〜100mV×C1と予測できる。
【０１２０】
この予測値をノイズリダクション動作を行うか否かを判定する判定値と比較することにより、ノイズに埋もれた平均暗電流を直接測定するよりも高精度に平均暗電流の予測が可能となる。
【０１２１】
次に図１０を用いて、これまで説明したVOB領域の累積ヒストグラム情報を、生成される画像情報に記録した例について説明する。
【０１２２】
図１０は、実際に撮影された画像のOB部を含んだ生画像であり、カメラ等の撮像装置においては一般的にいわれるRAW画像である。一般的にRAW画像はPC（パーソナルコンピュータ）等に取り込まれ画像補正処理、現像処理などを行う時の基準として用いるため、撮像素子におけるOB部（遮光画素部）の情報を含むことが多く、同図においてもOB部を含んだ画像をRAW画像としている。
【０１２３】
同図において１００１はVOB領域の累積ヒストグラム演算領域、１００２は演算により求められた累積ヒストグラム情報を記録する領域を示している。１００２の領域は、VOBとHOBを延長して重なる領域であり、且つ、１００１のVOB領域の累積ヒストグラム算出領域よりも垂直方向にずれた領域である。
【０１２４】
１００１のVOB領域の累積ヒストグラム算出領域よりも垂直方向にずれた領域とするのは、画素信号を図１０の左上から右方向に１行づつ読み出す事を仮定したもので、画素信号を読み出しながら累積ヒストグラムを算出して、後から読み出されるOB部の信号データに上書きする形で累積ヒストグラム情報を記録するようにしている為である。
【０１２５】
また、VOBとHOBを延長して重なる領域としているのは、有効部領域（同図白い部分）を上方向に延長したOB領域をVOB領域とし、有効部領域（同図白い部分）を左方向に延長したOB領域をHOB領域領域としたとき、一般的にVOB領域やHOB領域に比べて画像の各種演算に使用される頻度が低く、OBとしての情報を残す必要の無い領域のためである。
【０１２６】
ＲＡＷ画像は撮像素子からの信号をＡＤ変換した信号であり、画素毎の値を輝度値として撮像素子の画素配列順にモニタ等に表示すると、明るい部分は白っぽく、暗い部分は黒っぽく見えるのが通例である。このＲＡＷ画像に累積ヒストグラムを上書き記録したときの表示画像が図１１である。
【０１２７】
同図は図１０における、累積ヒストグラム情報を記録された領域を拡大したもので、図１１（ａ）~図１１（ｃ）は、撮影条件の違いによる累積ヒストグラム情報の変化を示したものである。
【０１２８】
図７の最上段の状態（露光時間が非常に短い場合）に相当するのが図１１（ａ）、図７の３段目の状態（露光時間が長くなった場合）に相当するのが図１１（ｂ）、図７の最下段の状態（更に露光時間が長くなった場合）に相当するのが図１１（ｃ）である。
【０１２９】
このように、累積ヒストグラム情報を、生成される画像情報に記録すると、画像を表示した際に、どのような条件下で撮影された画像であるかをイメージとして視認することが可能である。
【０１３０】
図１０、図１１のような画像情報を生成する具体的な方法について、図１２を用いて説明する。
【０１３１】
図１２は図１の撮像装置の一部である１０３ＤＳＰ部を更に詳細に示しており、１０３１及び１０３２は図６で説明した累積ヒストグラム作成回路及び判定回路であり、１０２ＡＦＥより順次送られてきた画像データのＶＯＢの所定領域の累積ヒストグラムを算出するとともに累積ヒストグラムを判定する。１０３２累積ヒストグラム判定回路は、判定結果に応じて１０４タイミング発生器に対して、例えば駆動周波数を遅くして発熱を防止させるなどの信号を送るとともに、累積ヒストグラム情報を１０３３累積ヒストグラム合成回路へ転送する。また、１０３２累積ヒストグラム判定回路は、判定結果を１０３４キズ補正、現像回路に対しても信号を送る。
【０１３２】
１０３３累積ヒストグラム合成回路は１０２ＡＦＥより順次送られてくる画像データの所定の領域に対して、累積ヒストグラム情報を上書き合成する。
【０１３３】
つまり、撮影された画像の所定領域のデータを比較し計数する計数手段することで累積ヒストグラムを作成し、その累積ヒストグラムの値を撮影された画像データの一部のデータと置き換える動作を行う。
【０１３４】
１０３４キズ補正、現像回路は、あらかじめ記憶している欠陥画素のアドレス・欠陥レベル情報と１０３２累積ヒストグラム判定回路からの信号を基に画像信号に対して前値置換等の公知のキズ補正を行い、外部記録媒体に記録する画質がｊｐｇであれば現像処理を施して、１０８記録媒体や表示装置へ出力する。
【０１３５】
ここで、１０３４キズ補正、現像回路は、１０３２累積ヒストグラム判定回路から、露光時間が非常に短い事を示す情報を得た場合は、欠陥レベルの大きい画素のみ補正し、露光時間が長い事を示す情報を得た場合は、欠陥レベルの大きい画素から小さい画素まで補正するようにしている。
【０１３６】
次に図１３を用いて、累積ヒストグラム情報を記録されたＲＡＷ画像のＰＣアプリケーションによる処理について説明する。
【０１３７】
６０１はＰＣアプリケーション本体を示しており、１０８外部記録媒体からＲＡＷ画像を読み出し、６０１１累積ヒストグラム処理部においてＲＡＷ画像の所定領域に記録されている累積ヒストグラム情報を判定する。
【０１３８】
その結果、露光時間が長い事を示す情報を得た場合は、たとえカメラなどの撮像装置で欠陥画素補正を行っていても、暗電流起因のランダムノイズが多いものとして、６０１２ランダムノイズ低減処理部で画像のランダムノイズ低減処理を行い、露光時間が短い事を示す情報を得た場合は、画像データは６０１２現像処理部へ送られる。ここで、６０１２で行われるランダムノイズ低減処理の方法は、各画素毎のデータを周辺画素データの平均値で置き換えるなどの公知のローパスフィルタ処理を行うものとする。その後６０１２現像処理部で現像されて６０２プリンタなどへ出力される。
【０１３９】
ここで、ＲＡＷ画像をアプリケーションに与えるなら、アプリケーション側で累積ヒストグラムを生成することも考えられるが、図１２の説明でＲＡＷ画像にはすでに欠陥画素補正がされているため、アプリケーション側で累積ヒストグラムを生成することは出来ないため、ＲＡＷ画像に記録された累積ヒストグラム情報を用いる必要がある。
【０１４０】
更に、欠陥画素補正をアプリケーション側で行うことも考えられるが、欠陥画素補正を行うための膨大な欠陥画素情報は、撮像素子固有であるため、欠陥画素情報をタグとして画像データに加えると画像データの肥大化となる。また、アプリケーションに全ての撮像素子の欠陥画素データを記憶させるのも現実的ではない。
【図面の簡単な説明】
【０１４１】
【図１】撮像装置のブロック図
【図２】撮像装置の動作シーケンス
【図３】撮影処理の詳細を示す動作シーケンス
【図４】ノイズリダクション処理の動作シーケンス
【図５】撮像素子の構成
【図６】ヒストグラム作成回路ブロック図
【図７】累積ヒストグラムの概略図
【図８】累積ヒストグラムと判定値の関係図
【図９】判定テーブル図
【図１０】累積ヒストグラムを上書き記録した画像
【図１１】累積ヒストグラムを上書き記録した画像
【図１２】本発明撮像装置のＤＳＰ部詳細図
【図１３】ＰＣアプリケーションによる処理を説明する図
【符号の説明】
【０１４２】
１０１  撮像素子
１０２  AFE（アナログフロントエンド）
１０３  ＤＳＰ（Digital Signal Processor）
１０４  タイミング発生回路
１０５  ＣＰＵ
１０６  ＲＯＭ
１０７  ＲＡＭ
１０８  記録媒体
１０９  電源スイッチ
１１０  シャッタースイッチＳＷ１
１１１  シャッタースイッチＳＷ２
１１２  モードダイアル
１１３  ISO感度設定スイッチ
【図１】
2009094794.tif 000003
【図２】
2009094794.tif 000004
【図３】
2009094794.tif 000005
【図４】
2009094794.tif 000006
【図５】
2009094794.tif 000007
【図６】
2009094794.tif 000008
【図７】
2009094794.tif 000009
【図８】
2009094794.tif 000010
【図９】
2009094794.tif 000011
【図１０】
2009094794.tif 000012
【図１１】
2009094794.tif 000013
【図１２】
2009094794.tif 000014
【図１３】
2009094794.tif 000015