(57)【要約】【課題】画像信号のノイズをより低減してＳ／Ｎを改善できる画像処理装置、ノイズ低減方法及びプログラムを提供する。【解決手段】ｍを０．５以上１未満としたとき、画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、該積分結果をフレーム積分数のｍ乗で除算する。または、画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、該積分結果を積分画素数のｍ乗で除算する。【選択図】図１
2010050607.tif 000002
【特許請求の範囲】
【請求項１】
画像信号のノイズを低減するための画像処理装置であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、該積分結果をフレーム積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
前記画像信号を記憶するメモリと、
を有する画像処理装置。
【請求項２】
前記処理装置は、
ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｉをフレーム番号、ｎはフレーム積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分後の輝度値、ｘi（ｋ、ｌ）を第ｉ番目のフレームの水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分前の輝度値としたとき、
【数１】
2010050607.tif 000007
で算出されるｙ（ｋ、ｌ）を出力する請求項１記載の画像処理装置。
【請求項３】
画像信号のノイズを低減するための画像処理装置であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、該積分結果を画素積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
前記画像信号を記憶するメモリと、
を有する画像処理装置。
【請求項４】
前記処理装置は、
ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｈを前記所定範囲内の水平方向の画素番号、ｉを前記所定範囲内の垂直方向の画素番号、ｊを前記所定範囲の垂直方向及び水平方向の画素数、ｎを画素積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素の画素積分後の輝度値、ｘ（ｋ、ｌ）を水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値としたとき、
【数２】
2010050607.tif 000008
で算出されるｙ（ｋ、ｌ）を出力する請求項３記載の画像処理装置。
【請求項５】
ｍは０．５である請求項１から４のいずれか１項記載の画像処理装置。
【請求項６】
画像信号のノイズを低減するためのノイズ低減方法であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
該積分結果をフレーム積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力するノイズ低減方法。
【請求項７】
ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｉをフレーム番号、ｎはフレーム積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分後の輝度値、ｘi（ｋ、ｌ）を第ｉ番目のフレームの水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分前の輝度値としたとき、
【数３】
2010050607.tif 000009
で算出されるｙ（ｋ、ｌ）を出力する請求項６記載のノイズ低減方法。
【請求項８】
画像信号のノイズを低減するためのノイズ低減方法であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
該積分結果を画素積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力するノイズ低減方法。
【請求項９】
ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｈを前記所定範囲内の水平方向の画素番号、ｉを前記所定範囲内の垂直方向の画素番号、ｊを前記所定範囲の垂直方向及び水平方向の画素数、ｎを画素積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素の画素積分後の輝度値、ｘ（ｋ、ｌ）を水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値としたとき、
【数４】
2010050607.tif 000010
で算出されるｙ（ｋ、ｌ）を出力する請求項８記載のノイズ低減方法。
【請求項１０】
ｍは０．５である請求項６から９のいずれか１項記載のノイズ低減方法。
【請求項１１】
コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
該積分結果をフレーム積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力させるためのプログラム。
【請求項１２】
ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｉをフレーム番号、ｎはフレーム積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分後の輝度値、ｘi（ｋ、ｌ）を第ｉ番目のフレームの水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素のフレーム積分前の輝度値としたとき、
【数５】
2010050607.tif 000011
で算出されるｙ（ｋ、ｌ）を出力させるための請求項１１記載のプログラム。
【請求項１３】
コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
該積分結果を画素積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力させるためのプログラム。
【請求項１４】
ｋを水平方向の画素番号、ｌを垂直方向の画素番号、ｈを前記所定範囲内の水平方向の画素番号、ｉを前記所定範囲内の垂直方向の画素番号、ｊを前記所定範囲の垂直方向及び水平方向の画素数、ｎを画素積分数、ｙ（ｋ、ｌ）を水平方向の第ｋ番目の画素及び垂直方向の第ｌ番目の画素の画素積分後の輝度値、ｘ（ｋ、ｌ）を水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値としたとき、
【数６】
2010050607.tif 000012
で算出されるｙ（ｋ、ｌ）を出力させるための請求項１３記載のプログラム。
【請求項１５】
ｍは０．５である請求項１１から１４のいずれか１項記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号のノイズを低減するための画像処理装置、ノイズ低減方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ、携帯電話機、ビデオカメラ等の撮像装置、あるいはディスプレイやプロジェクター等の画像表示装置は、小型化、高画素化、高機能化が進み、高速に動作するＣＰＵや所要の処理を専用に実行するＬＳＩ等の様々な回路が搭載されている。そのため、撮像装置や画像表示装置等では、ノイズの発生源が増大し、発生したノイズが撮像した画像信号や表示すべき画像信号に重畳して再生画像の品位が劣化する問題がある。
【０００３】
画像信号に重畳するノイズを低減するための手法は従来から種々検討され、例えば画素毎の輝度値を複数フレームに亘って積分し、その積分結果（フレーム積分値）をフレーム積分数で除算するフレーム積分、あるいは画素毎の輝度値を該画素位置から所定範囲（平均値フィルタ）の各画素の輝度値と積分し、その積分結果（画素積分値）を画素積分数で除算する画素積分等が知られている。
【０００４】
フレーム積分を用いて画像信号のＳ／Ｎを改善する手法は、例えば特許文献１に記載されている。また、画素積分を用いて画像信号のＳ／Ｎを改善する手法は、例えば特許文献２に記載されている。
【０００５】
以下、背景技術の画像処理装置がフレーム積分で用いる式を下記（１）式で示す。
【０００６】
【数１】
2010050607.tif 000003
【０００７】
ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｉはフレーム番号（ｉ＝１，２，３，…，ｎ）、ｎはフレーム積分数を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分後の輝度値を示し、ｘi（ｋ、ｌ）は、第ｉ番目のフレームの水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。
【０００８】
また、背景技術の画像処理装置が画素積分で用いる式を下記（２）式で示す。
【０００９】
【数２】
2010050607.tif 000004
【００１０】
ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｈは平均値フィルタ内の水平方向の画素番号、ｉは平均値フィルタ内の垂直方向の画素番号、ｊは平均値フィルタの垂直方向及び水平方向の画素数（ｊ×ｊ画素）、ｎは画素積分数（ｊ2）を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分後の輝度値を示し、ｘ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。
【特許文献１】特開２００８−２１４６６２号公報
【特許文献２】特開２００６−０７４１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述した背景技術のフレーム積分について、本出願人が実験結果で得たフレーム積分数に対するフレーム積分後の画像信号のＳ／Ｎの関係を図６に示す。
【００１２】
なお、図６は、フレーム積分数ｎが１のときのＳ／Ｎの値を１に正規化した場合の、フレーム積分数に対するフレーム積分後の撮像素子（ＣＭＯＳ撮像素子）ａ〜ｅの画像信号のＳ／Ｎの測定値をそれぞれ示している。
【００１３】
画像信号に重畳されるノイズをホワイトノイズと仮定した場合、フレーム積分後の画像信号のＳ／Ｎは、理論的には√ｎ（ｎはフレーム積分回数）に比例して改善される。図６に示す「ＷＮ」はこの理論特性を示している。
【００１４】
図６の実験結果で示すように、フレーム積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎは、固体差による特性ばらつきに関係なく、フレーム積分数を１６以上に増やしてもほとんど改善されない。これは、画像信号処理に起因して発生する量子化誤差によるノイズがＳ／Ｎを改善できない一因と考えられる。また、撮像素子が半導体素子であることに起因して発生する１／ｆノイズ等の半固定パターンのノイズが画像信号に含まれているからと考えられる。このような積分数を増やしてもＳ／Ｎが改善されない現象は上述した画素積分でも同様に発生する。
【００１５】
本発明は上記したような従来の技術が有する問題点を解決するためになされたものであり、画像信号のノイズをより低減してＳ／Ｎを改善できる画像処理装置、ノイズ低減方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するため本発明の画像処理装置は、画像信号のノイズを低減するための画像処理装置であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、該積分結果をフレーム積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
前記画像信号を記憶するメモリと、
を有する。
【００１７】
または、画像信号のノイズを低減するための画像処理装置であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、該積分結果を画素積分数のｍ乗で除算し、該除算後の画素毎の輝度値を出力する処理装置と、
前記画像信号を記憶するメモリと、
を有する。
【００１８】
本発明のノイズ低減方法は、画像信号のノイズを低減するためのノイズ低減方法であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
該積分結果をフレーム積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力する方法である。
【００１９】
または、画像信号のノイズを低減するためのノイズ低減方法であって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
該積分結果を画素積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力する方法である。
【００２０】
本発明のプログラムは、コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を複数フレームに亘って積分し、
該積分結果をフレーム積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力させるためのものである。
【００２１】
または、コンピュータに画像信号のノイズを低減するための処理を実行させるプログラムであって、
ｍを０．５以上１未満としたとき、
前記画像信号に含まれる画素毎の輝度値を該画素位置から所定範囲内の各画素の輝度値と積分し、
該積分結果を画素積分数のｍ乗で除算し、
該除算後の画素毎の輝度値を出力させるためのものである。
【発明の効果】
【００２２】
本発明によれば、背景技術の画像処理装置よりもノイズを低減して画像信号のＳ／Ｎを改善できる。
【発明を実施するための最良の形態】
【００２３】
次に本発明について図面を用いて説明する。
（第１の実施の形態）
図１は第１の実施の形態の画像処理装置の構成を示すブロック図である。
【００２４】
図１に示すように、第１の実施の形態の画像処理装置は、プログラムにしたがって処理を実行するＣＰＵ１１を含む処理装置（コンピュータ）１０で実現可能であり、ＣＰＵ１１と、ＣＰＵ１１の処理で必要な情報を一時的に記憶する主記憶装置１２と、ＣＰＵ１１に所要の処理を実行させるためのプログラムが記録された記録媒体１３と、画像信号をフレーム単位で蓄積するデータ蓄積装置（メモリ）１４と、主記憶装置１２、記録媒体１３及びデータ蓄積装置１４とのデータ転送を制御するメモリ制御インタフェース部１５と、図１に示す画像処理装置が組み込まれた機器が備える各種の装置とデータを送受信するための複数のインタフェース部１６（図１では２つ）とを備えている。ＣＰＵ１１と、メモリ制御インタフェース部１５及びインタフェース部１６とはバス１８を介して接続されている。なお、図１では処理装置１０に画像信号をフレーム単位で蓄積するデータ蓄積装置１４を内部に備える構成例を示しているが、データ蓄積装置１４は処理装置１０の外部に独立して備えていてもよい。
【００２５】
画像処理装置は、記録媒体１３に格納されたプログラムにしたがってＣＰＵ１１により処理を実行することで以下に記載する画像信号のノイズを低減するための処理を実行する。記録媒体１３は、磁気ディスク、半導体メモリ、光ディスクあるいはその他の記録媒体であってもよい。
【００２６】
なお、画像信号がアナログ信号である場合、図１に示す画像処理装置には、該画像信号をデジタル信号に変換するためのＡ／Ｄ（Analog to Digital）変換器、及び処理後のデータをアナログ信号に変換するためのＤ／Ａ（Digital to
Analog）変換器を備えていてもよい。
【００２７】
また、画像処理装置は、下記に示すノイズ低減処理を実行できれば、演算処理を行うＬＳＩ等を含む論理回路でも実現可能である。
【００２８】
次に、第１の実施の形態の画像処理装置の動作について図面を用いて説明する。
【００２９】
第１の実施の形態の画像処理装置は、ノイズを低減するための処理として上述したフレーム積分を実施する例である。
【００３０】
但し、本実施形態では、上記（１）式で示したフレーム積分値をフレーム積分数ｎで除算する変わりに√ｎで除算する。このようにフレーム積分値を√ｎで除算すると、信号成分Ｓが√ｎ倍されるため、フレーム積分後の画像信号のＳ／Ｎが図６で示した理論特性ＷＮにより近づく。フレーム積分値を√ｎで除算するとノイズが最も低減するために望ましいが、フレーム積分値は√ｎに限らずｎm（０．５≦ｍ＜１）で除算してもよい。すなわち、本実施形態では下記（３）式を用いてフレーム積分を実行する。
【００３１】
【数３】
2010050607.tif 000005
【００３２】
ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｉはフレーム番号（ｉ＝１，２，３，…，ｎ）、ｎはフレーム積分数を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分後の輝度値を示し、ｘi（ｋ、ｌ）は、第ｉ番目のフレームの水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素のフレーム積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。
【００３３】
図２はフレーム積分値を√ｎで除算する場合のフレーム積分数に対するフレーム積分後の撮像素子（ＣＭＯＳ撮像素子）ａ〜ｅの画像信号のＳ／Ｎの測定値をそれぞれ示している。なお、図２では、図６と同様に、フレーム積分数ｎが１のときのＳ／Ｎの値を１に正規化した場合の、フレーム積分数に対する撮像素子ａ〜ｅのＳ／Ｎの測定値をそれぞれ示している。また、図２に示す「ＷＮ」はノイズをホワイトノイズとした場合のフレーム積分数に対するＳ／Ｎの理論特性を示している。
【００３４】
図２に示すように、フレーム積分値を√ｎで除算することで、フレーム積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎは、理論特性ＷＮには及ばないものの図６に示した背景技術よりも向上していることが分かる。また、フレーム積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎはフレーム積分数の増大に伴って徐々に向上する。
【００３５】
例えば、フレーム積分数を２５６とした場合、フレーム積分値をｎで除算する背景技術と比べて本実施形態の画像処理装置では画像信号のＳ／Ｎが約１．７倍改善される。
【００３６】
図３はフレーム積分値をｎで除算する背景技術の画像処理装置から出力されるノイズデータを示し、図４はフレーム積分値を√ｎで除算する第１の実施の形態の画像処理装置から出力されるノイズデータの一例を示している。なお、図３及び図４に示すノイズデータは、同一の撮像素子をそれぞれ同一の温度下で測定したものである。また、フレーム積分数はどちらも２５６である。
【００３７】
図３及び図４のグラフを比べれば分かるように、本実施形態の画像処理装置から出力されるノイズデータの方が背景技術の画像処理装置から出力されるノイズデータよりも振幅値が小さく、ＲＭＳ（Root Mean Square）ノイズが小さくなることが分かる。
【００３８】
本実施形態の画像処理装置によれば、画素毎の輝度値のフレーム積分値をフレーム積分数ｎのｍ乗（０．５≦ｍ＜１）で除算することで、背景技術の画像処理装置よりもノイズを低減して画像信号のＳ／Ｎを改善できる。
（第２の実施の形態）
第２の実施の形態の画像処理装置は、ノイズを低減するための処理として上述した画素積分を実施する例である。画像処理装置の構成は第１の実施の形態と同様であるため、その説明は省略する。
【００３９】
本実施形態では、上記（２）式で示した画素積分値を画素積分数ｎで除算する変わりに√ｎで除算する。このように画素積分値を√ｎで除算すると、第１の実施の形態と同様に、信号成分Ｓが√ｎ倍されるため、画素積分後の画像信号のＳ／Ｎが理論特性により近づく。なお、画素積分値を√ｎで除算するとノイズが最も低減するために望ましいが、画素積分値は√ｎに限らずｎm（０．５≦ｍ＜１）で除算してもよい。すなわち、本実施形態では下記（４）式を用いて画素積分を実行する。
【００４０】
【数４】
2010050607.tif 000006
【００４１】
ここで、ｋは水平方向の画素番号（１，２，３，…，ｋｍａｘ）、ｌは垂直方向の画素番号（１，２，３，…，ｌｍａｘ）、ｈは平均値フィルタ内の水平方向の画素番号、ｉは平均値フィルタ内の垂直方向の画素番号、ｊは平均値フィルタの垂直方向及び水平方向の画素数（ｊ×ｊ画素）、ｎは画素積分数（ｊ2）を示している。また、ｙ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分後の輝度値を示し、ｘ（ｋ、ｌ）は、水平方向の第ｋ番目の画素、垂直方向の第ｌ番目の画素の画素積分前の輝度値を示している。なお、ｋｍａｘは水平方向の画素数であり、ｌｍａｘは垂直方向の画素数である。
【００４２】
図５は画素積分値を√ｎで除算する場合の画素積分数に対する画素積分後の撮像素子（ＣＭＯＳ撮像素子）Ａ〜Ｅの画像信号のＳ／Ｎの測定値をそれぞれ示している。なお、図５では、図６と同様に、画素積分数ｎが１のときのＳ／Ｎの値を１に正規化した場合の、画素積分数に対する画素積分後の撮像素子Ａ〜ＥのＳ／Ｎの測定値をそれぞれ示している。
【００４３】
図５に示すように、本実施形態の画像処理装置では、画素積分後の各撮像素子ａ〜ｅの画像信号のＳ／Ｎが画素積分数の増大に伴って向上することが分かる。
【００４４】
本実施形態の画像処理装置によれば、画素積分値を画素積分数ｎのｍ乗（０．５≦ｍ＜１）で除算することで、第１の実施の形態と同様に、背景技術の画像処理装置よりもノイズを低減して画像信号のＳ／Ｎを改善できる。
【図面の簡単な説明】
【００４５】
【図１】第１の実施の形態の画像処理装置の構成を示すブロック図である。
【図２】第１の実施の形態の画像処理装置のフレーム積分数に対する画像信号のＳ／Ｎの測定値を示すグラフである。
【図３】背景技術の画像処理装置から出力されるノイズデータを示すグラフである。
【図４】第１の実施の形態の画像処理装置から出力されるノイズデータの一例を示すグラフである。
【図５】第２の実施の形態の画像処理装置の画素積分数に対する画像信号のＳ／Ｎの測定値を示すグラフである。
【図６】背景技術の画像処理装置のフレーム積分数に対する画像信号のＳ／Ｎの測定値を示すグラフである。
【符号の説明】
【００４６】
１０    処理装置
１１    ＣＰＵ
１２    主記憶装置
１３    記録媒体
１４    データ蓄積装置
１５    メモリ制御インタフェース部
１６    インタフェース部
１８    バス
【図１】
2010050607.tif 000013
【図２】
2010050607.tif 000014
【図３】
2010050607.tif 000015
【図４】
2010050607.tif 000016
【図５】
2010050607.tif 000017
【図６】
2010050607.tif 000018