(57)【要約】【課題】撮像素子によって生じた暗電流ノイズを、白とびが発生した画素部分とその周辺の画素部分とが滑らかに繋がるように処理する。【解決手段】撮像装置１０は、被写体を撮像して画像データを生成する撮像部１２と、画像データに含まれる暗電流ノイズを処理するノイズ処理部２０と、ノイズ処理された画像データを基に画像を生成する画像処理部３０とを備える。ノイズ処理部２０は、白とび判定部２２、メモリ２４、低周波成分抽出部２６、減算部２８を備える。メモリ２４は、暗電流ノイズのデータ値を記録し、低周波成分抽出部２６は、暗電流ノイズのデータ値から低周波成分を抽出する。白とび判定部２２は、画素が白とびしているか否か判定し、減算部２８は、白とびが発生した画素のデータ値に対しては低周波成分を減算し、その他の画素のデータ値に対しては暗電流ノイズのデータ値を減算する処理を行う。【選択図】図２
2006246442.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で生成された画像データの画素について、データ値が予め定められた所定レベル以上か否か、又は所定レベルより大きいか否かを判定する判定部と、
前記判定部によって、データ値が所定レベル以上であること、又は所定レベルより大きいことが判定された画素について、そのデータ値から前記撮像部の暗電流ノイズの低周波成分を減算する減算部と、
を備えることを特徴とするノイズ処理装置。
【請求項２】
暗電流ノイズのデータ値から暗電流ノイズの低周波成分を抽出する低周波成分抽出部をさらに備えることを特徴とする請求項１に記載のノイズ処理装置。
【請求項３】
前記減算部は、前記判定部によって画素のデータ値が所定レベルより小さいこと、又は所定レベル以下であることが判定された画素については暗電流ノイズのデータ値を減算することを特徴とする請求項１または２に記載のノイズ処理装置。
【請求項４】
前記暗電流ノイズのデータ値は、前記撮像部を遮光することによって取得することを特徴とする請求項１から３のいずれかに記載のノイズ処理装置。
【請求項５】
前記暗電流ノイズのデータ値は、前記撮像部で画像データを生成する前に取得することを特徴とする請求項４に記載のノイズ処理装置。
【請求項６】
前記暗電流ノイズのデータ値は、前記撮像部で画像データを生成した後に取得することを特徴とする請求項４に記載のノイズ処理装置。
【請求項７】
被写体を撮像して画像データを生成する撮像部と、
前記撮像部で生成された画像データの画素について、データ値が予め定められた所定レベル以上か否か、又は所定レベルより大きいか否かを判定する判定部と、
前記判定部によって、データ値が所定レベル以上であること、又は所定レベルより大きいことが判定された画素について、そのデータ値から前記撮像部の暗電流ノイズの低周波成分を減算する減算部と、
前記減算部によって減算処理された画素のデータ値を基に画像を生成する画像処理部と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ処理技術に関し、特に撮像素子からの出力信号に含まれる暗電流ノイズを処理するノイズ処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子が使われるが、これらの撮像素子は受光面に全く光が入らない状態、すなわち遮光した状態で暗電流ノイズが発生することが知られている。この暗電流ノイズを除去するために、予め素子ごとの暗電流ノイズのデータ値を記録しておき、被写体を撮像した画素のデータ値からこの暗電流ノイズのデータ値を減算する方法が知られている。
【０００３】
ところで、ＣＣＤ等の撮像素子を用いた撮像装置では、撮像素子のダイナミックレンジが写真フィルムに比べると一般的に狭く、被写体の輝度の高い部分では、受光量がダイナミックレンジを超え、撮像素子の出力信号が飽和しやすい。その場合、飽和した部分の微細な画像情報が欠落して、一様に白くなるという、所謂白とびという現象が発生しやすい。
【０００４】
このような白とびが発生した部分では、画素のデータ値に含まれる暗電流ノイズのデータ値も欠落してしまうため、暗電流ノイズのデータ値を減算する処理により新たなノイズが発生することになる。
【０００５】
特許文献１では、画像データの画素について白とびが発生した画素部分を判定して、その白とびが発生した画素部分に対しては暗電流ノイズの減算処理を中止する又は減算の程度を軽減するという方法が提案されている。
【特許文献１】特開２００２−３２０１４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以下、特許文献１の方法により、白とびが発生した画素部分に対して、暗電流ノイズの減算処理を中止した場合に生成される画像データについて説明する。図１（ａ）−（ｃ）は、白とびが発生した部分について減算処理を中止した場合のノイズ処理を示す図である。
【０００７】
図１（ａ）は、減算処理前の画像データを模式的に示す。縦軸は、画素のデータ値の信号レベルを表し、横軸は、ＣＣＤ上の画素位置を表す。所定レベルは、例えば最大の信号レベルに設定される。図１（ａ）に示すように、所定レベル以上のデータ値がカットされることで白とびが発生した状態が表現されている。
【０００８】
図１（ｂ）は、暗電流ノイズのデータを示す。図１（ｃ）は、特許文献１の手法によりノイズ処理した結果であり、白とびが発生した画素部分については暗電流ノイズの減算処理を行わず、その他の画素部分については暗電流ノイズの減算処理を行った後の画像データを示す。白とびが発生した画素部分については、減算処理を中止するため、減算処理により生じる新たなノイズは発生しない。
【０００９】
しかしながら、白とびが発生した画素部分の減算処理を中止すると、図１（ｃ）に示すように、白とびが発生した画素部分とその周辺部分との間で画素のデータ値の差が大きくなり、境界面に大きな輝度変化が生じることになる。
【００１０】
そこで、本発明は、白とびが発生した画素部分のノイズ処理を中止した場合よりも、白とびが発生した画素部分とその周辺の画素部分とが滑らかに繋がるように暗電流ノイズを処理することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するための、本発明のある態様は、ノイズ処理装置である。このノイズ処理装置は、撮像部で生成された画像データの画素について、データ値が予め定められた所定レベル以上か否か、又は所定レベルより大きいか否かを判定する判定部と、前記判定部によって、データ値が所定レベル以上であること、又は所定レベルより大きいことが判定された画素について、そのデータ値から撮像部の暗電流ノイズの低周波成分を減算する減算部と、を備えることを特徴とする。
【００１２】
このノイズ処理装置によれば、撮像部で生成された画素のデータ値が予め定められた所定レベル以上である、又は所定レベルより大きいと判定された場合に、その画素のデータ値から暗電流ノイズの低周波成分を減算することで、画素のデータ値が所定レベル以上である、又は所定レベルより大きいと判定された部分とその周辺部分とのデータ値の差を小さくすることができ、比較的滑らかに画素を繋ぐことができる。
【００１３】
本発明のさらに別の態様は、撮像装置である。この撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記撮像部で生成された画像データの画素について、データ値が予め定められた所定レベル以上か否か、又は所定レベルより大きいか否かを判定する判定部と、前記判定部によって、データ値が所定レベル以上であること、又は所定レベルより大きいことが判定された画素について、そのデータ値から撮像部の暗電流ノイズの低周波成分を減算する減算部と、前記減算部によって減算処理された画素のデータ値を基に画像を生成する画像処理部と、を備えることを特徴とする。
【００１４】
この撮像装置によれば、撮像部で生成された画素のデータ値が予め定められた所定レベル以上である、又は所定レベルより大きいと判定された場合に、その画素のデータ値から暗電流ノイズの低周波成分を減算することで、画素のデータ値が所定レベル以上である、又は所定レベルより大きいと判定された部分とその周辺部分とのデータ値の差を小さくすることができ、比較的滑らかに画素を繋ぐことができる。
【００１５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、白とびが発生した画素部分とその周辺の画素部分とが滑らかに繋がるように暗電流ノイズを処理することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しつつ、本発明の実施形態について詳細に説明する。
【００１８】
図２は、本発明の実施形態にかかる撮像装置の構成を示すブロック図である。撮像装置１０は、被写体を撮像して画像データを生成する撮像部１２と、画像データに含まれる暗電流ノイズを処理するノイズ処理部２０と、ノイズ処理された画像データを基に画像を生成する画像処理部３０とを備える。
【００１９】
撮像部１２は、レンズ１４と、撮像素子１６と、Ａ／Ｄ変換部１８を備える。光は、レンズ１４を介して撮像素子１６によって電気信号に変換される。この電気信号はアナログ値であり、Ａ／Ｄ変換部１８に入力される前に何らかのアナログ信号処理が行われてもよい。撮像素子１６としては、ＣＣＤやＣＭＯＳであってよい。電気信号に変換された画像データは、Ａ／Ｄ変換部１８によってデジタル値に変換され、ノイズ処理部２０の白とび判定部２２に送られる。
【００２０】
ノイズ処理部２０は、画像データから暗電流ノイズを除去する機能を有する。ノイズ処理部２０は、白とび判定部２２、メモリ２４、低周波成分抽出部２６、減算部２８を備える。
【００２１】
本実施形態におけるノイズ処理部２０は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、撮像装置１０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。
【００２２】
メモリ２４は、暗電流ノイズのデータ値を記録する機能を有する。暗電流ノイズは、周辺の温度環境に影響されやすいため、撮影直前に行うと最も精度のよい暗電流ノイズのデータ値が得られる。暗電流ノイズのデータ値は、撮像装置１０の電源投入時に取得してもよい。また、撮像装置１０の製造時に取得しておいてもよい。
【００２３】
暗電流ノイズのデータ値の取得は、撮像素子１６を遮光した状態で画像データを取得することによって行う。撮像素子１６の暗電流ノイズのデータ値は、Ａ／Ｄ変換部１８によってデジタル値に変換された後に、メモリ２４に記録される。
【００２４】
以上のように、暗電流ノイズのデータ値を予め取得した状態で、撮像部１２が被写体を撮像し、画像データを生成する。
【００２５】
白とび判定部２２は、撮像部１２によって生成された画像データについて白とびが発生しているか否かを判定（以下、「白とび判定」とよぶ）する。白とび判定は、ある画素のデータ値が所定レベル以上か否か、又は所定レベルより大きいか否か判定することによって行う。白とび判定は、所定レベル以上の、又は所定レベルより大きい画素が複数個連続して存在しているか否か判定することによって行ってもよい。
【００２６】
白とび判定部２２が、画素のデータ値が所定レベル以上であるか否かで白とび判定をする場合、所定レベルはＡ／Ｄ変換部１８の飽和レベルに設定される。例えば、画像データが８ビットの場合は、データ値２５５が所定レベルとなる。
【００２７】
また、白とび判定部２２が画素のデータ値が所定レベルより大きいか否かで白とび判定をする場合、所定レベルはＡ／Ｄ変換部１８の飽和レベルよりもデータ値が１だけ小さいレベルに設定される。例えば、画像データが８ビットの場合は、データ値２５４が所定レベルとなる。なお、この所定レベルは、暗電流ノイズのレベルに応じて任意の値に設定されてもよい。
【００２８】
低周波成分抽出部２６は、メモリ２４に記録された暗電流ノイズのデータ値から低周波成分を抽出する。例えば、白とび判定部２２により白とびが発生していると判定された時に、低周波成分抽出部２６は暗電流ノイズのデータ値から低周波成分を抽出する。
【００２９】
図３は、暗電流ノイズのデータ値ａｎから低周波成分ｌｎを抽出する方法の１例を示す。低周波成分ｌｎは、データ値ａｎと複数の隣接する画素のデータ値（図３ではａｎ＋１〜ａｎ＋１５）の中から２番目に小さいデータ値を選択することによって決定する（（１）式）。ここで、ｍｉｎ２（）は括弧内で２番目に小さい値を意味する。２番目に小さい値とするのは、１番小さいデータ値は欠陥画素等の可能性があり、正常なデータ値としての信頼性が低いためである。抽出された低周波成分のデータ値は、減算部２８に送られる。この低周波成分の抽出処理は、白とび判定部２２によって白とびが発生していると判定された画素に対して行われる。
【００３０】
減算部２８は、白とび判定部２２によって白とびが発生していないと判定された画素に対しては、画素のデータ値からメモリ２４に記録された暗電流ノイズのデータ値を減算する。白とび判定部２２によって白とびが発生していると判定された画素に対しては、画素のデータ値から低周波成分抽出部２６によって抽出された暗電流ノイズの低周波成分を減算する。
【００３１】
図４、図５は、本発明の実施形態によるノイズ処理のフローチャートを示す。図４は、本発明の実施形態による暗電流ノイズのデータ値取得のフローチャートである。まず、撮像素子１６を遮光した状態で画像データの取得を行い、暗電流ノイズのデータ値を取得する（Ｓ１０）。Ａ／Ｄ変換部１８によってデジタル値に変換された暗電流ノイズのデータ値は、メモリ２４に記録される（Ｓ１２）。
【００３２】
図５は、本発明の実施形態によるノイズ処理のフローチャートである。まず、撮像部１２によって画像データを取得する（Ｓ１４）。画像データの画素のデータ値は白とび判定部２２において、例えば画素ごとに所定レベル以上であるか否かにより判定される（Ｓ１６）。所定レベル以上の画素のデータ値は、白とびが発生していると判定され（Ｓ１６のＹ）、その画素のデータ値に対して低周波成分が抽出される（Ｓ１８）。その後、減算部２８において、画素のデータ値から暗電流ノイズの低周波成分が減算される（Ｓ２２）。
【００３３】
一方、白とび判定部２２において、所定レベルより小さいと判定された画素のデータ値は、白とびしていないと判定され（Ｓ１６のＮ）、暗電流ノイズのデータ値が減算される（Ｓ２０）。
【００３４】
全ての画素についての減算処理が行われるまで（Ｓ２４のＮ）、この処理は実行される。全ての画素についての減算処理が終了すると（Ｓ２４のＹ）、ノイズ処理が終了する。
【００３５】
なお、Ｓ１６において、白とび判定部２２は画素ごとにデータ値が所定レベルより大きいか否かにより白とび判定を行ってもよい。この場合、白とび判定部２２において所定レベル以下と判定された画素のデータ値は、白とびしていないと判定され（Ｓ１６のＮ）、暗電流ノイズのデータ値が減算される（Ｓ２０）。
【００３６】
ノイズ処理部２０によって暗電流ノイズが処理された画像データは、画像処理部３０に送られ、ホワイトバランス、色分解、ガンマ変換、圧縮等の画像処理を行い、記録部３２、表示部３４に画像を出力する。
【００３７】
図６（ａ）−（ｂ）は、本実施形態によるノイズ処理を説明するための説明図である。図６（ａ）は、暗電流ノイズのデータと、暗電流ノイズから抽出した低周波成分とを示す。白とび判定部２２によって白とびが発生していると判定された画素部分については、図６（ａ）に示す暗電流ノイズの低周波成分のみを減算処理し、白とびが発生していないと判断された画素部分については、図６（ａ）に示す暗電流ノイズのデータ値を減算処理する。
【００３８】
図６（ｂ）は、ノイズ処理した画像データを示す。ノイズ処理の対象となる画像データは、図１（ａ）に示した画像データである。本実施形態のノイズ処理によると、図１（ｃ）に示したノイズ処理と比較して、白とびが発生している画素部分とその周辺部分との間に段差は発生せず、周辺の画素と滑らかに繋ぐことができる。
【００３９】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形例が可能である。また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４０】
実施の形態では、暗電流ノイズのデータ値を取得した後に、被写体を撮像して画像データを取得するという順番でノイズ処理を行ったが、被写体を撮像して画像データを取得した後に、暗電流ノイズのデータ値を取得するという順番でノイズ処理を行ってもよい。図７は、本発明の実施形態にかかる撮像装置の変形例の構成を示す図である。図７に示す撮像装置１００は、ノイズ処理部３８の構成が図１に示す撮像装置１０とは異なっている。その他の構成要素については図１に示す撮像装置１０と同様である。メモリ４０は、撮像部１２によって生成された画像データを記憶する機能を有する。白とび判定部４４は、メモリ４０に記憶された画像データについて白とび判定を行う。低周波成分抽出部４２は、撮像素子１６を遮光した状態で取得された画像データ、すなわち暗電流ノイズのデータ値から、低周波成分を抽出する。減算部４６は、白とび判定部４４によって白とびが発生していないと判定された画素に対しては、画素のデータ値から暗電流ノイズのデータ値を減算する。白とび判定部４４によって白とびが発生していると判定された画素に対しては、画素のデータ値から低周波成分抽出部４２によって抽出された暗電流ノイズの低周波成分を減算する。
【００４１】
図８、図９は、本発明の実施形態の変形例によるノイズ処理のフローチャートを示す。図８は、本発明の実施形態の変形例による画像データ取得のフローチャートである。まず、撮像部１２によって画像データを取得する（Ｓ３０）。Ａ／Ｄ変換部１８によってデジタル値に変換された画像データは、メモリ４０に記憶される（Ｓ３２）。以上で画像データの取得処理は終了する。
【００４２】
図９は、本発明の実施形態の変形例によるノイズ処理のフローチャートである。画像データを取得処理が終了した後、撮像素子１６を遮光した状態で画像データの取得を行い、暗電流ノイズのデータ値を取得する（Ｓ３４）。取得された暗電流ノイズのデータ値は、低周波成分抽出部４２および減算部４６において保持されてもよい。また、一時的に撮像部１２において保持しておき、後続の処理に応じて順次撮像部１２から取得するようにしてもよい。この場合、ノイズ処理部３８において全ての暗電流ノイズのデータ値について保持しておく必要がなくなり、メモリ使用量を低減することができる。
【００４３】
次に、白とび判定部４４は、メモリ４０から画像データを読み出し（Ｓ３６）、例えば１つの画素について白とび判定を行う（Ｓ３８）。画像データの画素が白とびしている場合には（Ｓ３８のＹ）、その画素に対応する暗電流ノイズのデータ値について低周波成分が抽出される（Ｓ４０）。その後、減算部４６において、画素のデータ値から暗電流ノイズの低周波成分が減算される（Ｓ４２）。
【００４４】
一方、白とび判定部４４において、画像データの画素のデータ値が白とびしていないと判定された場合には（Ｓ３８のＮ）、暗電流ノイズのデータ値が減算される（Ｓ４４）。全ての画素について減算処理が行われるまで、この処理は実行される（Ｓ４６のＮ）。全ての画素について減算処理が終了すると、ノイズ処理が終了する（Ｓ４６のＹ）。
【００４５】
画像データの取得と暗電流ノイズのデータ値の取得は、連続して行われることが好ましい。暗電流ノイズは周辺の温度環境に影響されやすいので、画像データの取得と暗電流ノイズのデータ値の取得を連続して行うことで、暗電流ノイズの除去を精度よく行うことができる。
【００４６】
また、上述の実施の形態では、暗電流ノイズの低周波成分抽出処理を、白とびが発生していることが判定された画素に対して実行することとしたが、暗電流ノイズを取得した段階で全画素について低周波成分を予め抽出しておいてもよい。この低周波成分は、メモリに記録しておいてもよく、また減算部に保持させておいてもよい。
【図面の簡単な説明】
【００４７】
【図１】図１（ａ）−（ｃ）は、白とびが発生した部分について減算処理を中止した場合のノイズ処理を示す図である。
【図２】本発明の実施形態にかかる撮像装置の構成を示す図である。
【図３】画素のデータ値から低周波成分を抽出する方法を示す図である。
【図４】本発明の実施形態による暗電流ノイズのデータ値取得のフローチャートである。
【図５】本発明の実施形態によるノイズ処理のフローチャートである。
【図６】図６（ａ）−（ｂ）は、本発明の実施形態によるノイズ処理を示す図である。
【図７】本発明の実施形態にかかる撮像装置の変形例の構成を示す図である。
【図８】本発明の実施形態の変形例による画像データ取得のフローチャートである。
【図９】本発明の実施形態の変形例によるノイズ処理のフローチャートである。
【符号の説明】
【００４８】
１０、１００  撮像装置、  １２  撮像部、  １４  レンズ、  １６  撮像素子、  １８  Ａ／Ｄ変換部、  ２０、３８  ノイズ処理部、  ２２、４４  白とび判定部、  ２４、４０  メモリ、  ２６、４２  低周波成分抽出部、  ２８、４６  減算部、  ３０  画像処理部、  ３２  記録部、  ３４  表示部。
【図１】
2006246442.tif 000003
【図２】
2006246442.tif 000004
【図３】
2006246442.tif 000005
【図４】
2006246442.tif 000006
【図５】
2006246442.tif 000007
【図６】
2006246442.tif 000008
【図７】
2006246442.tif 000009
【図８】
2006246442.tif 000010
【図９】
2006246442.tif 000011