(57)【要約】【課題】信号成分を維持しつつノイズ成分を低減する。【解決手段】実施形態によれば、画像処理装置は、分解部１２１と、算出部１３０と、乗算部１４０と、加算部１５０とを備える。分解部１２１は、差分画像１２を低周波画像１３及び高周波画像１４に分解する。算出部１３０は、差分画像１２内の各画素に対して、当該画素を中心として差分画像１２及び差分画像２２に亘って形成される時空間ブロック内の自己相関関数を算出し、自己相関関数の原点の値に対する原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、抽出係数３０を得る。乗算部１４０は、高周波画像１４の各画素値に対して抽出係数３０を乗算し、抽出高周波画像４０を得る。加算部２５０は、ノイズ低減画像１１に少なくとも抽出高周波画像４０を加算し、出力画像５０を得る。【選択図】図１
2013157808.tif 000002
【特許請求の範囲】
【請求項１】
注目フレームをノイズ低減し、第１のノイズ低減画像を得る第１のノイズ低減部と、
参照フレームをノイズ低減し、第２のノイズ低減画像を得る第２のノイズ低減部と、
前記注目フレームから前記第１のノイズ低減画像を減算し、レベル０の第１の低周波画像を得る第１の減算部と、
前記参照フレームから前記第２のノイズ低減画像を減算し、レベル０の第２の低周波画像を得る第２の減算部と、
前記レベル０の第１の低周波画像をレベル１の第１の低周波画像及びレベル１の高周波画像に分解する第１の分解部と、
前記レベル０の第１の低周波画像内の各画素に対して、当該画素を中心として前記レベル０の第１の低周波画像及び前記レベル０の第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル０の抽出係数を得る算出部と、
前記レベル１の高周波画像の各画素値に対して前記レベル０の抽出係数を乗算し、レベル１の抽出高周波画像を得る乗算部と、
前記第１のノイズ低減画像に少なくとも前記レベル１の抽出高周波画像を加算し、出力画像を得る加算部と
を具備する、画像処理装置。
【請求項２】
前記レベル０の第２の低周波画像からレベル１の第２の低周波画像を分解する第２の分解部を更に具備し、
前記第１の分解部は、前記レベル１の第１の低周波画像をレベル２の第１の低周波画像及びレベル２の高周波画像に分解し、
前記算出部は、前記レベル１の第１の低周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の低周波画像及び前記レベル１の第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル１の抽出係数を得て、
前記乗算部は、前記レベル２の高周波画像の各画素値に対して前記レベル１の抽出係数を乗算し、レベル２の抽出高周波画像を得て、
前記加算部は、前記第１のノイズ低減画像に少なくとも前記レベル１の抽出高周波画像及び前記レベル２の抽出高周波画像を加算し、前記出力画像を得る、
請求項１の画像処理装置。
【請求項３】
前記第２の分解部は、レベルｋ−１（ｋ＝２，・・・，ｋｍａｘ−１、ｋｍａｘは３以上の整数）の第２の低周波画像からレベルｋの第２の低周波画像を分解し、
前記第１の分解部は、レベルｋの第１の低周波画像をレベルｋ＋１の第１の低周波画像及びレベルｋ＋１の高周波画像に分解し、
前記算出部は、前記レベルｋの第１の低周波画像内の各画素に対して、当該画素を中心として前記レベルｋの第１の低周波画像及び前記レベルｋの第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベルｋの抽出係数を得て、
前記乗算部は、前記レベルｋ＋１の高周波画像の各画素値に対して前記レベルｋの抽出係数を乗算し、レベルｋ＋１の抽出高周波画像を得て、
前記加算部は、前記第１のノイズ低減画像にレベル１，・・・，ｋｍａｘの抽出高周波画像及びレベルｋｍａｘの第１の低周波画像を加算し、前記出力画像を得る、
請求項２の画像処理装置。
【請求項４】
前記出力画像が前記注目フレームに置き換わって繰り返し入力される、請求項１の画像処理装置。
【請求項５】
前記注目フレーム及び前記参照フレームは、共通の被写体を撮影することによって生成される、請求項１の画像処理装置。
【請求項６】
前記注目フレーム及び前記参照フレームは、共通の被写体をＸ線撮影することによって生成される、請求項１の画像処理装置。
【請求項７】
注目フレームをレベル１の第１の低周波画像及びレベル１の高周波画像に分解する第１の分解部と、
前記注目フレーム内の各画素に対して、当該画素を中心として前記注目フレーム及び１枚以上の参照フレームに亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル０の抽出係数を得る算出部と、
前記レベル１の高周波画像の各画素値に対して前記レベル０の抽出係数を乗算し、レベル１の抽出高周波画像を得る乗算部と、
少なくとも前記レベル１の抽出高周波画像を用いた加算を行い、出力画像を得る加算部と
を具備する、画像処理装置。
【請求項８】
前記参照フレームからレベル１の第２の低周波画像を分解する第２の分解部を更に具備し、
前記第１の分解部は、前記レベル１の第１の低周波画像をレベル２の第１の低周波画像及びレベル２の高周波画像に分解し、
前記算出部は、前記レベル１の第１の低周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の低周波画像及び前記レベル１の第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル１の抽出係数を得て、
前記乗算部は、前記レベル２の高周波画像の各画素値に対して前記レベル１の抽出係数を乗算し、レベル２の抽出高周波画像を得て、
前記加算部は、少なくとも前記レベル１の抽出高周波画像及び前記レベル２の抽出高周波画像を用いた加算を行い、前記出力画像を得る、
請求項７の画像処理装置。
【請求項９】
前記第２の分解部は、レベルｋ−１（ｋ＝２，・・・，ｋｍａｘ−１、ｋｍａｘは３以上の整数）の第２の低周波画像からレベルｋの第２の低周波画像を分解し、
前記第１の分解部は、レベルｋの第１の低周波画像をレベルｋ＋１の第１の低周波画像及びレベルｋ＋１の高周波画像に分解し、
前記算出部は、前記レベルｋの第１の低周波画像内の各画素に対して、当該画素を中心として前記レベルｋの第１の低周波画像及び前記レベルｋの第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベルｋの抽出係数を得て、
前記乗算部は、前記レベルｋ＋１の高周波画像の各画素値に対して前記レベルｋの抽出係数を乗算し、レベルｋ＋１の抽出高周波画像を得て、
前記加算部は、前記レベル１，・・・，ｋｍａｘの抽出高周波画像及びレベルｋｍａｘの第１の低周波画像を加算し、前記出力画像を得る、
請求項８の画像処理装置。
【請求項１０】
前記出力画像が前記注目フレームに置き換わって繰り返し入力される、請求項７の画像処理装置。
【請求項１１】
注目フレームをノイズ低減し、第１のノイズ低減画像を得ることと、
参照フレームをノイズ低減し、第２のノイズ低減画像を得ることと、
前記注目フレームから前記第１のノイズ低減画像を減算し、レベル０の第１の低周波画像を得ることと、
前記参照フレームから前記第２のノイズ低減画像を減算し、レベル０の第２の低周波画像を得ることと、
前記レベル０の第１の低周波画像をレベル１の第１の低周波画像及びレベル１の高周波画像に分解することと、
前記レベル０の第１の低周波画像内の各画素に対して、当該画素を中心として前記レベル０の第１の低周波画像及び前記レベル０の第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル０の抽出係数を得ることと、
前記レベル１の高周波画像の各画素値に対して前記レベル０の抽出係数を乗算し、レベル１の抽出高周波画像を得ることと、
前記第１のノイズ低減画像に少なくとも前記レベル１の抽出高周波画像を加算し、出力画像を得ることと、
を具備する、画像処理方法。
【請求項１２】
注目フレームをレベル１の第１の低周波画像及びレベル１の高周波画像に分解することと、
前記注目フレーム内の各画素に対して、当該画素を中心として前記注目フレーム及び１枚以上の参照フレームに亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル０の抽出係数を得ることと、
前記レベル１の高周波画像の各画素値に対して前記レベル０の抽出係数を乗算し、レベル１の抽出高周波画像を得ることと、
少なくとも前記レベル１の抽出高周波画像を用いた加算を行い、出力画像を得ることと
を具備する、画像処理方法。
【請求項１３】
注目フレームをノイズ低減し、第１のノイズ低減画像を得る第１のノイズ低減部と、
参照フレームをノイズ低減し、第２のノイズ低減画像を得る第２のノイズ低減部と、
前記注目フレームから前記第１のノイズ低減画像を減算し、レベル０の第１の低周波画像を得る第１の減算部と、
前記参照フレームから前記第２のノイズ低減画像を減算し、レベル０の第２の低周波画像を得る第２の減算部と、
前記レベル０の第１の低周波画像をレベル１の第１の低周波画像及びレベル１の高周波画像に分解する第１の分解部と、
前記レベル０の第２の低周波画像からレベル１の第２の低周波画像を分解する第２の分解部と、
前記レベル１の第１の低周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の低周波画像及び前記レベル１の第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、前記自己相関関数の原点の値に対する前記原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル１の抽出係数を得る算出部と、
前記レベル１の高周波画像の各画素値に対して前記レベル１の抽出係数を乗算し、レベル１の抽出高周波画像を得る乗算部と、
前記第１のノイズ低減画像に少なくとも前記レベル１の抽出高周波画像を加算し、出力画像を得る加算部と
を具備する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、画像のノイズ低減技術に関する。
【背景技術】
【０００２】
電子部品などに対する検査を自動的に行う外観検査システムは、検査画像に含まれるノイズ成分を適切に低減することによって、高精度な検査が可能となる。同様に、Ｘ線検査システムもまた、検査画像に含まれるノイズ成分を適切に低減することによって、高精度な検査が可能となる。他にも、例えば画像の撮影、符号化、復号化、再生などを行うにあたって、画像に含まれるノイズ成分を適切に低減することによって、様々な有利な効果（例えば、符号化効率の向上、再生画像品質の向上など）を得ることができる。
【０００３】
通常、画像に含まれるノイズ成分は、様々なノイズ低減技法によって低減される。しかしながら、係るノイズ低減技法によって、画像に含まれるノイズ成分だけでなく信号成分（特に、エッジなどの高周波成分）までも低減されたり、信号成分が不適切な値に変化したりすることがある。信号成分が低減されたり不適切な値に変化したりすると、ノイズ低減による有利な効果が阻害されるおそれがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０２０６０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
実施形態は、信号成分を維持しつつノイズ成分を低減することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像処理装置は、第１のノイズ低減部と、第２のノイズ低減部と、第１の減算部と、第２の減算部と、第１の分解部と、算出部と、乗算部と、加算部とを備える。第１のノイズ低減部は、注目フレームをノイズ低減し、第１のノイズ低減画像を得る。第２のノイズ低減部は、参照フレームをノイズ低減し、第２のノイズ低減画像を得る。第１の減算部は、注目フレームから第１のノイズ低減画像を減算し、レベル０の第１の低周波画像を得る。第２の減算部は、参照フレームから第２のノイズ低減画像を減算し、レベル０の第２の低周波画像を得る。第１の分解部は、レベル０の第１の低周波画像をレベル１の第１の低周波画像及びレベル１の高周波画像に分解する。算出部は、レベル０の第１の低周波画像内の各画素に対して、当該画素を中心としてレベル０の第１の低周波画像及びレベル０の第２の低周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、自己相関関数の原点の値に対する原点以外において最大の絶対値を持つ代表値の比の絶対値を算出することによって、レベル０の抽出係数を得る。乗算部は、レベル１の高周波画像の各画素値に対してレベル０の抽出係数を乗算し、レベル１の抽出高周波画像を得る。加算部は、第１のノイズ低減画像に少なくともレベル１の抽出高周波画像を加算し、出力画像を得る。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像処理装置を例示するブロック図。
【図２】第２の実施形態に係る画像処理装置を例示するブロック図。
【図３】第３の実施形態に係る画像処理装置を例示するブロック図。
【図４】第２の実施形態に係る画像処理装置によって行われる画像処理の説明図。
【図５】時空間ブロックを例示する図。
【図６】時空間ブロックを例示する図。
【図７Ａ】図５の第ｎ−１、第ｎ及び第ｎ＋１フレームに亘って形成される時空間ブロック内の自己相関関数を示す図。
【図７Ｂ】図５の第ｎフレームに閉じて形成される空間ブロック内の自己相関関数を示す図。
【図８Ａ】図６の第ｎ−１、第ｎ及び第ｎ＋１フレームに亘って形成される時空間ブロック内の自己相関関数を示す図。
【図８Ｂ】図６の第ｎフレームに閉じて形成される空間ブロック内の自己相関関数を示す図。
【図９】図１の画像処理装置によって行われる画像処理を例示するフローチャート。
【図１０】図２の画像処理装置によって行われる画像処理を例示するフローチャート。
【図１１】図３の画像処理装置によって行われる画像処理を例示するフローチャート。
【図１２】第５の実施形態に係る外観検査システムを例示するブロック図。
【図１３】第６の実施形態に係るＸ線検査システムを例示するブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。また、以降の説明において、一次元の画素値変化が示されることがあるが、これらは二次元の画素値変化として適宜読み替えることができる。
【０００９】
（第１の実施形態）  
第１の実施形態に係る画像処理装置は、図１に例示されるように、ノイズ低減部１０１と、減算部１０２と、ノイズ低減部１１１と、減算部１１２と、サブバンド分解部１２１と、抽出係数算出部１３０と、乗算部１４０と、加算部１５０とを備える。
【００１０】
図１の画像処理装置は、注目フレーム１０及び参照フレーム２０を外部から取得する。図１の画像処理装置は、後述されるように、時空間ブロック内の自己相関関数に基づく抽出係数を利用することによって注目フレーム１０の信号成分を維持しつつノイズ成分を低減する画像処理を行い、出力画像５０を生成する。
【００１１】
以降の説明において、注目フレーム１０はＩＦ（０）と表現され、注目フレーム１０の座標（ｉ，ｊ）の画素値（濃度値）はＩＦ（０，ｉ，ｊ）と表現されることもある。また、参照フレーム２０はＩＦ（ｍ）と表現され、参照フレーム２０の座標（ｉ，ｊ）の画素値はＩＦ（ｍ，ｉ，ｊ）と表現されることもある。ｍは、注目フレーム１０を基準とする参照フレーム２０の相対位置を表す。例えば、注目フレーム１０が第ｎフレームに相当し、かつ、参照フレーム２０が第ｎ−１フレームに相当するならば、ｍ＝−１である。
【００１２】
注目フレーム１０及び参照フレーム２０は、例えば、同一被写体を撮影した動画像の第ｎフレーム及び第ｎ−１（或いは第ｎ＋１）フレームであってよい。或いは、注目フレーム１０及び参照フレーム２０は、同一被写体を連続撮影した２枚の静止画像であってもよいし、同一被写体からＸ線ＣＴによって撮影された２枚の断面画像であってもよい。更に、参照フレーム２０に加えて１枚以上の参照フレームが利用されてもよい。図１の画像処理装置が利用する参照フレームの総数は、後述される時空間ブロックの時間方向のサイズに基づいて定められる。時間方向のサイズがＺ（Ｚは２以上の整数）であるならば、Ｚ−１枚の参照フレームが利用される。ここで、時間方向とは、フレーム順序の方向と同一の意味で用いられてよい。
【００１３】
ノイズ低減部１０１は、注目フレーム１０を外部から入力する。ノイズ低減部１０１は、注目フレーム１０に対してノイズ低減処理（例えば、公知の平滑化オペレータを用いた平滑化処理、メディアンフィルタ処理など）を行い、注目ノイズ低減画像１１を得る。一般に、平滑化処理は、注目画素値及びその近傍の画素値の重み付き平均値をフィルタ処理後の画素値とするものであり、ガウスノイズの低減に効果的である。他方、メディアンフィルタ処理は、注目画素値及びその近傍の画素値における中央値をフィルタ処理後の画素値とするものであり、インパルスノイズの低減に効果的である。注目ノイズ低減画像１１において、注目フレーム１０の高周波成分及びノイズ成分は低減され、注目フレーム１０の低周波成分は維持されている。ノイズ低減部１０１は、注目ノイズ低減画像１１を減算部１０２及び加算部１５０へと出力する。以降の説明において、注目ノイズ低減画像１１はＮＲＩ（０）と表現され、注目ノイズ低減画像１１の座標（ｉ，ｊ）の画素値はＮＲＩ（０，ｉ，ｊ）と表現されることもある。
【００１４】
減算部１０２は、注目フレーム１０を外部から入力し、注目ノイズ低減画像１１をノイズ低減部１０１から入力する。減算部１０２は、注目フレーム１０から注目ノイズ低減画像１１を減算し、注目差分画像１２を得る。減算部１０２は、注目差分画像１２をサブバンド分解部１２１及び抽出係数算出部１３０へと出力する。以降の説明において、注目差分画像１２はＤＩ（０）と表現され、注目差分画像１２の座標（ｉ，ｊ）の画素値はＤＩ（０，ｉ，ｊ）と表現されることもある。注目差分画像１２の各画素の画素値は、ノイズ成分と、ノイズ低減によって損なわれた注目フレーム１０の信号成分とを含む。ノイズ低減によって損なわれた注目フレーム１０の信号成分を抽出し、抽出された信号成分を注目ノイズ低減画像１１に加算することによって、注目フレーム１０の信号成分を維持しつつノイズ成分を低減できる。
【００１５】
ノイズ低減部１１１は、参照フレーム２０を外部から入力する。ノイズ低減部１１１は、参照フレーム２０に対してノイズ低減処理（例えば、公知の平滑化オペレータを用いた平滑化処理、メディアンフィルタ処理など）を行い、参照ノイズ低減画像２１を得る。参照ノイズ低減画像２１において、参照フレーム２０の高周波成分及びノイズ成分は低減され、参照フレーム２０の低周波成分は維持されている。ノイズ低減部１１１は、参照ノイズ低減画像２１を減算部１１２へと出力する。以降の説明において、参照ノイズ低減画像２１はＮＲＩ（ｍ）と表現され、参照ノイズ低減画像２１の座標（ｉ，ｊ）の画素値はＮＲＩ（ｍ，ｉ，ｊ）と表現されることもある。
【００１６】
減算部１１２は、参照フレーム２０を外部から入力し、参照ノイズ低減画像２１をノイズ低減部１１１から入力する。減算部１１２は、参照フレーム２０から参照ノイズ低減画像２１を減算し、参照差分画像２２を得る。減算部１１２は、参照差分画像２２を抽出係数算出部１３０へと出力する。以降の説明において、参照差分画像２２はＤＩ（ｍ）と表現され、参照差分画像２２の座標（ｉ，ｊ）の画素値はＤＩ（ｍ，ｉ，ｊ）と表現されることもある。
【００１７】
サブバンド分解部１２１は、注目差分画像１２を減算部１０２から入力する。サブバンド分解部１２１は、注目差分画像１２を２つのサブバンド成分に分解する。具体的には、サブバンド分解部１２１は、注目差分画像１２を注目低周波画像１３及び注目高周波画像１４に分解する。サブバンド分解部１２１は、注目低周波画像１３を加算部１５０へと出力し、注目高周波画像１４を乗算部１４０へと出力する。以降の説明において、注目低周波画像１３はＬＦ（０）と表現され、注目低周波画像１３の座標（ｉ，ｊ）の画素値はＬＦ（０，ｉ，ｊ）と表現されることもある。また、注目高周波画像１４はＨＦ（０）と表現され、注目高周波画像１４の座標（ｉ，ｊ）の画素値はＨＦ（０，ｉ，ｊ）と表現されることもある。
【００１８】
サブバンド分解部１２１は、典型的には、注目差分画像１２にウェーブレット変換を適用し、注目低周波画像１３及び注目高周波画像１４を得る。或いは、サブバンド分解部１２１は、フィルタリング処理によって注目差分画像１２から注目低周波画像１３を抽出してもよい。例えば、サブバンド分解部１２１は、注目差分画像１２内の隣接４画素毎に画素値を平均化することによって、注目低周波画像１３を抽出してもよい。更に、サブバンド分解部１２１は、当該注目低周波画像１３を注目差分画像１２から減算して注目高周波画像１４を抽出してもよい。
【００１９】
抽出係数算出部１３０は、減算部１０２から注目差分画像１２を入力し、減算部１１２から参照差分画像２２を入力する。抽出係数算出部１３０は、注目差分画像１２内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する。時空間ブロックは、注目差分画像１２内の注目画素を中心とする複数の画素の集合であり、注目差分画像１２及び参照差分画像２２に亘って形成される。３×３×３のサイズを持つボックス状の時空間ブロックが図５及び図６に例示されている。具体的には、図５は、注目画素の画素値に対する、画像の信号成分の寄与度が大きい場合の時空間ブロックを例示する。ここで、画像の信号成分とは、ノイズ低減によって損なわれた注目フレーム１０の信号成分に相当する。他方、図６は、注目画素の画素値に対するノイズ成分の寄与度が大きい場合の時空間ブロックを例示する。更に、抽出係数算出部１３０は、自己相関関数の原点の値に対する原点の周囲における代表値の比の絶対値を算出することによって、抽出係数３０を得る。抽出係数算出部１３０は、抽出係数３０を乗算部１４０へと出力する。
【００２０】
自己相関関数の原点の周囲における代表値は、例えば原点以外において最大の絶対値を持つ値である。但し、絶対値の平均値、絶対値の中央値、絶対値の最頻値、最小の絶対値などが代表値であってもよい。以降の説明において、座標（ｉ，ｊ）の注目画素に対応する抽出係数３０の値はＡＣＦｐｋｒ（ｉ，ｊ）と表現されることもある。
【００２１】
具体的には、抽出係数算出部１３０は、任意の注目画素を中心とする時空間ブロック内の自己相関関数を下記数式（１）に従って算出できる。図５の時空間ブロック内の自己相関関数が図７Ａに示される。図６の時空間ブロック内の自己相関関数が図８Ａに示される。
【数１】
2013157808.tif 000003
【００２２】
尚、自己相関関数は注目画素毎に算出されるので、以降の説明において座標（ｉ，ｊ）の注目画素に対応する自己相関関数をＲｉｊ（ｓ，ｔ，ｕ）と表すものとする。自己相関関数の原点の値はＲｉｊ（０，０，０）で表され、これはＲｉｊ（ｓ，ｔ，ｕ）の最大値を示す。原点の周囲の代表値は、Ｒｉｊ（ｓｒ，ｔｒ，ｕｒ）で表すことができる。即ち、抽出係数算出部１３０は、座標（ｉ，ｊ）の注目画素に対応する抽出係数３０を下記数式（２）に従って算出できる。
【数２】
2013157808.tif 000004
【００２３】
一般に、注目画素の画素値に対するノイズ成分の寄与度が大きい場合には、自己相関関数の原点の値と周囲の値との乖離が大きくなりやすい。他方、注目画素の画素値に対する信号成分の寄与度が大きい場合には、自己相関関数の原点の値と周囲の値との乖離が小さくなりやすい。即ち、注目画素の画素値に対するノイズ成分の寄与度が大きいほど抽出係数３０は小さくなりやすい。他方、注目画素の画素値に対する信号成分（即ち、ノイズ低減によって損なわれた注目フレーム１０の信号成分）の寄与度が大きいほど抽出係数３０は大きくなりやすい。
【００２４】
例えば、図７Ａの自己相関関数の原点の値は２７．８であり、図８Ａの自己相関関数の原点の値は２９．８である。また、図７Ａの自己相関関数の代表値は−９．９であり、図８Ａの自己相関関数の代表値は−６．０である。即ち、図７Ａの自己相関関数に基づく抽出係数３０の値は０．３６となり、図８Ａの自己相関関数に基づく抽出係数３０の値は０．２０となる。
【００２５】
少なくとも図７Ａ及び図８Ａの例によれば、注目画素の画素値に対する信号成分の寄与度及びノイズ成分の寄与度に応じて、抽出係数３０が増減する。従って、係る抽出係数３０を用いることによって、信号成分を維持しつつノイズ成分を低減する画像処理が可能となる。
【００２６】
尚、同一フレームのブロックのみを考慮して抽出係数を算出する技法も想定される。この比較例は、参照フレームを全く利用せず、注目画素を中心とする空間ブロック内の自己相関関数に基づいて抽出係数を算出する。比較例において、自己相関関数は上記数式（１）に代えて下記数式（３）に従って算出される。空間ブロックは、１フレームで閉じて形成される。図５の第ｎフレームで閉じて形成される空間ブロック内の自己相関関数が図７Ｂに示される。図６の第ｎフレームで閉じて形成される空間ブロック内の自己相関関数が図８Ｂに示される。
【数３】
2013157808.tif 000005
【００２７】
尚、空間ブロック内の自己相関関数もまた注目画素毎に算出されるので、以降の説明において座標（ｉ，ｊ）の注目画素に対応する空間ブロック内の自己相関関数をＲｉｊ（ｓ，ｔ）と表すものとする。自己相関関数の原点の値はＲｉｊ（０，０）で表され、これはＲｉｊ（ｓ，ｔ）の最大値を示す。原点の周囲において最大の絶対値を持つ代表値は、Ｒｉｊ（ｓｒ，ｔｒ）で表すことができる。即ち、比較例において、座標（ｉ，ｊ）の注目画素に対応する抽出係数は、上記数式（２）に代えて下記数式（４）に従って算出される。
【数４】
2013157808.tif 000006
【００２８】
ここで、図７Ｂの自己相関関数の原点の値は６．０であり、図８Ｂの自己相関関数の原点の値は６．９である。また、図７Ｂの自己相関関数の代表値は−２．０であり、図８Ｂの自己相関関数の代表値は−２．４である。即ち、図７Ｂの自己相関関数に基づく抽出係数は０．３３となり、図８Ｂの自己相関関数に基づく抽出係数は０．３４となる。
【００２９】
少なくとも図７Ｂ及び図８Ｂの例によれば、注目画素の画素値に対する信号成分の寄与度及びノイズ成分の寄与度に関わらず、抽出係数は同程度である。従って、係る抽出係数を用いたとしても、信号成分及びノイズ成分の弁別が困難であるから、ノイズ低減によって損なわれた信号成分を効果的に回復することができない。故に、本実施形態は、少なくとも１枚の参照フレームを利用して時空間ブロックを形成し、当該時空間ブロック内の自己相関関数から抽出係数３０を算出することとする。
【００３０】
乗算部１４０は、サブバンド分解部１２１から注目高周波画像１４を入力し、抽出係数算出部１３０から抽出係数３０を入力する。乗算部１４０は、注目高周波画像１４の各画素値に対して抽出係数３０を乗算し、抽出高周波画像４０を得る。乗算部１４０は、抽出高周波画像４０を加算部１５０へと出力する。具体的には、乗算部１４０は、下記数式（５）に示される演算を行う。数式（５）の演算によれば、抽出係数３０の大きさ（即ち、注目画素の画素値に対する信号成分の寄与度）に応じて、注目高周波画像１４の画素値が抽出される。尚、以降の説明において、抽出高周波画像４０はＥＨＦと表現され、抽出高周波画像４０の座標（ｉ，ｊ）の画素値はＥＨＦ（ｉ，ｊ）と表現されることもある。
【数５】
2013157808.tif 000007
【００３１】
加算部１５０は、注目ノイズ低減画像１１をノイズ低減部１０１から入力し、注目低周波画像１３をサブバンド分解部１２１から入力し、抽出高周波画像４０を乗算部１４０から入力する。加算部１５０は、注目ノイズ低減画像１１と、注目低周波画像１３と、抽出高周波画像４０とを加算し、出力画像５０を得る。加算部１５０は、出力画像５０を外部へと出力する。具体的には、加算部１５０は、下記数式（６）に示される演算を行う。尚、以降の説明において、出力画像５０はＯＩと表現され、出力画像５０の座標（ｉ，ｊ）の画素値はＯＩ（ｉ，ｊ）と表現されることもある。
【数６】
2013157808.tif 000008
【００３２】
以下、図９を用いて図１の画像処理装置によって行われる画像処理が説明される。尚、図９に示される処理ステップの順序は一例であり、各処理ステップは依存関係がない限り任意の順序で実行されてよい。
【００３３】
図９の画像処理はステップＳ４０１から開始する。ステップＳ４０１において、図１の画像処理装置が、注目フレーム１０及び参照フレーム２０を外部から取り込む。ノイズ低減部１０１はステップＳ４０１において取り込まれた注目フレーム１０をノイズ低減し、ノイズ低減部１１１はステップＳ４０１において取り込まれた参照フレーム２０をノイズ低減する（ステップＳ４０２）。
【００３４】
減算部１０２はステップＳ４０２において得られた注目ノイズ低減画像１１を注目フレーム１０から減算し、減算部１１２はステップＳ４０２において得られた参照ノイズ低減画像２１を参照フレーム２０から減算する（ステップＳ４０３）。サブバンド分解部１２１は、ステップＳ４０３において得られた注目差分画像１２をサブバンド分解する（ステップＳ４０４）。
【００３５】
抽出係数算出部１３０は、ステップＳ４０３において得られた注目差分画像１２内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する（ステップＳ４０５）。尚、前述の通り、時空間ブロックは注目差分画像１２及び参照差分画像２２に亘って形成される。抽出係数算出部１３０は、ステップＳ４０５において算出された自己相関関数の原点の値に対する周囲の代表値の比の絶対値を算出することによって、抽出係数３０を得る（ステップＳ４０６）。尚、前述の通り、周囲の代表値とは、例えば、原点以外で最大の絶対値を持つ値である。
【００３６】
乗算部１４０は、ステップＳ４０４において得られた注目高周波画像１４の各画素値に対してステップＳ４０６において得られた抽出係数３０を乗算し、抽出高周波画像４０を得る（ステップＳ４０７）。加算部１５０は、注目ノイズ低減画像１１と、ステップＳ４０４において得られた注目低周波画像１３と、ステップＳ４０７において得られた抽出高周波画像４０とを加算し、出力画像５０を得る（ステップＳ４０８）。ステップＳ４０８の完了によって、図９の画像処理は終了する。
【００３７】
以上説明したように、第１の実施形態に係る画像処理装置は、ノイズ低減前後の差分画像内の各画素に対して時空間ブロック内の自己相関関数に基づいて抽出係数を算出し、ノイズ低減によって損なわれた注目フレームの信号成分を当該抽出係数に基づいて効果的に回復する。従って、この画像処理装置によれば、注目フレームの信号成分を維持しつつノイズ成分を低減することができる。
【００３８】
尚、本実施形態に対して、様々な変形例が想定できる。例えば、時空間ブロックを形成する前に動き補償が行われてもよい。即ち、注目差分画像と、動き補償された1枚以上の参照差分画像とに亘って時空間ブロックが形成されてよい。ここで、動き補償は、公知のものであってよく、例えば、ブロックマッチングを利用した動き検出を行い、動き検出によって得られた動きベクトルを用いて参照フレームの画素を移動させるものである。また、時空間ブロックのサイズ及び形状は任意である。例えば、注目画素毎に時空間ブロックのサイズまたは形状が変更されてもよいし、注目画素毎にサイズまたは形状が相異なる複数の時空間ブロックに基づいて抽出係数が算出されてもよい。
【００３９】
（第２の実施形態）  
第２の実施形態に係る画像処理装置は、ノイズ低減前後の差分画像と、当該差分画像に対してサブバンド分解を行って得られる低周波画像とに対して第１の実施形態に類似の画像処理を行う。本実施形態に係る画像処理装置は、図２に例示されるように、ノイズ低減部１０１と、減算部１０２と、ノイズ低減部１１１と、減算部１１２と、サブバンド分解部２２１と、サブバンド分解部２２２と、抽出係数算出部２３０と、乗算部２４０と、加算部２５０とを備える。
【００４０】
サブバンド分解部２２１は、注目差分画像１２を減算部１０２から入力する。サブバンド分解部２２１は、例えばウェーブレット変換を用いて注目差分画像１２を２つのサブバンド成分に分解する。具体的には、サブバンド分解部２２１は、注目差分画像１２をレベル１の注目低周波画像１３−１及びレベル１の注目高周波画像１４−１に分解する。ここで、レベルとはサブバンド分解のレベルを意味するものとする。サブバンド分解部２２１は、注目低周波画像１３−１を抽出係数算出部２３０へと出力し、注目高周波画像１４−１を乗算部２４０へと出力する。また、サブバンド分解部２２１は、第２回目のサブバンド分解のために、注目低周波画像１３−１を自己にフィードバック出力する。
【００４１】
更に、サブバンド分解部２２１は、第２，・・・，ｋｍａｘ回目のサブバンド分解のために、レベル１，・・・，ｋｍａｘ−１の注目低周波画像１３−１，・・・，１３−（ｋｍａｘ−１）をフィードバック入力する。ここで、ｋｍａｘは、２以上の任意の整数である。サブバンド分解部２２１は、レベル１，・・・，ｋｍａｘ−１の注目低周波画像１３−１，・・・，１３−（ｋｍａｘ−１）の各々を２つのサブバンド成分に分解する。具体的には、サブバンド分解部２２１は、レベル１，・・・，ｋｍａｘ−１の注目低周波画像１３−１，・・・，１３−（ｋｍａｘ−１）の各々をレベル２，・・・，ｋｍａｘの注目低周波画像１３−２，・・・，１３−ｋｍａｘ及び注目高周波画像１４−２，・・・，１４−ｋｍａｘに分解する。サブバンド分解部２２１は、注目低周波画像１３−２，・・・，１３−（ｋｍａｘ−１）を抽出係数算出部２３０へと出力する。サブバンド分解部２２１は、注目高周波画像１４−２，・・・，１４−ｋｍａｘを乗算部２４０へと出力する。また、サブバンド分解部２２１は、第３，・・・，ｋｍａｘ回目のサブバンド分解のために、注目低周波画像１３−２，・・・，１３−（ｋｍａｘ−１）を自己にフィードバック出力する。サブバンド分解部２２１は、注目低周波画像１３−ｋｍａｘを加算部２５０へと出力する。
【００４２】
以降の説明において、レベルｋの注目低周波画像１３−ｋはＬＦ（０，ｋ）と表現され、レベルｋの注目低周波画像１３−ｋの座標（ｉ，ｊ）の画素値はＬＦ（０，ｋ，ｉ，ｊ）と表現されることもある。ここで、ｋは０以上ｋｍａｘ以下の値を取り得る変数である。尚、注目差分画像１２は、レベル０の注目低周波画像１３−０とも表現される。即ち、ＤＩ（０）＝ＬＦ（０，０）であり、ＤＩ（０，ｉ，ｊ）＝ＬＦ（０，０，ｉ，ｊ）である。また、レベルｋの注目高周波画像１４−ｋはＨＦ（０，ｋ）と表現され、注目高周波画像１４−ｋの座標（ｉ，ｊ）の画素値はＨＦ（０，ｋ，ｉ，ｊ）と表現されることもある。
【００４３】
サブバンド分解部２２２は、参照差分画像２２を減算部１１２から入力する。サブバンド分解部２２２は、例えばウェーブレット変換を用いて参照差分画像２２から少なくとも低周波成分を分解する。具体的には、サブバンド分解部２２２は、参照差分画像２２からレベル１の参照低周波画像２３−１を分解する。サブバンド分解部２２２は、参照低周波画像２３−１を抽出係数算出部２３０へと出力する。また、サブバンド分解部２２２は、第２回目のサブバンド分解のために、参照低周波画像２３−１を自己にフィードバック出力する。
【００４４】
更に、サブバンド分解部２２２は、第２，・・・，ｋｍａｘ−１回目のサブバンド分解のために、レベル１，・・・，ｋｍａｘ−２の参照低周波画像２３−１，・・・，２３−（ｋｍａｘ−２）をフィードバック入力する。サブバンド分解部２２２は、レベル１，・・・，ｋｍａｘ−２の参照低周波画像２３−１，・・・，２３−（ｋｍａｘ−２）の各々から少なくとも低周波成分を分解する。具体的には、サブバンド分解部２２２は、レベル１，・・・，ｋｍａｘ−１の参照低周波画像２３−１，・・・，２３−（ｋｍａｘ−２）の各々からレベル２，・・・，ｋｍａｘ−１の参照低周波画像２３−２，・・・，２３−（ｋｍａｘ−１）を分解する。サブバンド分解部２２２は、参照低周波画像２３−２，・・・，２３−（ｋｍａｘ−１）を抽出係数算出部２３０へと出力する。また、サブバンド分解部２２２は、第３，・・・，ｋｍａｘ−１回目のサブバンド分解のために、参照低周波画像２３−２，・・・，２３−（ｋｍａｘ−２）を自己にフィードバック出力する。
【００４５】
以降の説明において、レベルｋの参照低周波画像２３−ｋはＬＦ（ｍ，ｋ）と表現され、レベルｋの参照低周波画像２３−ｋの座標（ｉ，ｊ）の画素値はＬＦ（ｍ，ｋ，ｉ，ｊ）と表現されることもある。尚、参照差分画像２２は、レベル０の参照低周波画像２３−０とも表現される。即ち、ＤＩ（ｍ）＝ＬＦ（ｍ，０）であり、ＤＩ（ｍ，ｉ，ｊ）＝ＬＦ（ｍ，０，ｉ，ｊ）である。
【００４６】
抽出係数算出部２３０は、注目差分画像１２（即ち、レベル０の注目低周波画像１３−０）を減算部１０２から入力し、参照差分画像２２（即ち、レベル０の参照低周波画像２３−０）を減算部１１２から入力する。更に、抽出係数算出部２３０は、レベル１，・・・，ｋｍａｘ−１の注目低周波画像１３−１，・・・，１３−（ｋｍａｘ−１）をサブバンド分解部２２１から入力し、レベル１，・・・，ｋｍａｘ−１の参照低周波画像２３−１，・・・，２３−（ｋｍａｘ−１）をサブバンド分解部２２２から入力する。抽出係数算出部２３０は、レベルｋ（ｋ＝０，・・・，ｋｍａｘ−１）の注目低周波画像１３−ｋ内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する。更に、抽出係数算出部２３０は、自己相関関数の原点の値に対する原点の周囲における代表値の比の絶対値を算出することによって、レベルｋの抽出係数３０−ｋを得る。抽出係数算出部２３０は、レベルｋの抽出係数３０−ｋを乗算部２４０へと出力する。
【００４７】
時空間ブロックは、レベルｋの注目低周波画像１３−ｋ内の注目画素を中心とする複数の画素の集合であり、レベルｋの注目低周波画像１３−ｋ及び参照低周波画像２３−ｋに亘って形成される。自己相関関数の原点の周囲における代表値は、例えば原点以外において最大の絶対値を持つ値である。以降の説明において、レベルｋの注目係数３０−ｋはＡＣＦｐｋｒ（ｋ）と表現され、座標（ｉ，ｊ）の注目画素に対応するレベルｋの抽出係数３０−ｋはＡＣＦｐｋｒ（ｋ，ｉ，ｊ）と表現されることもある。具体的には、抽出係数算出部２３０は、任意の注目画素を中心とする時空間ブロック内の自己相関関数を下記数式（７）に従って算出できる。
【数７】
2013157808.tif 000009
【００４８】
尚、自己相関関数は注目画素毎に算出されるので、以降の説明において座標（ｉ，ｊ）の注目画素に対応する自己相関関数をＲｋｉｊ（ｓ，ｔ，ｕ）と表すものとする。自己相関関数の原点の値はＲｋｉｊ（０，０，０）で表され、これはＲｋｉｊ（ｓ，ｔ，ｕ）の最大値を示す。原点の周囲において最大の絶対値を持つ代表値は、Ｒｋｉｊ（ｓｒ，ｔｒ，ｕｒ）で表すことができる。即ち、抽出係数算出部２３０は、座標（ｉ，ｊ）の注目画素に対応するレベルｋの抽出係数３０−ｋを下記数式（８）に従って算出できる。
【数８】
2013157808.tif 000010
【００４９】
注目画素の画素値に対するノイズ成分の寄与度が大きいほどレベルｋの抽出係数３０−ｋは小さくなりやすい。他方、注目画素の画素値に対する信号成分（即ち、ノイズ低減によって損なわれた注目フレーム１０の信号成分）の寄与度が大きいほどレベルｋの抽出係数３０−ｋは大きくなりやすい。従って、係るレベルｋの抽出係数３０−ｋを用いることによって、サブバンド毎の信号成分を維持しつつノイズ成分を低減することが可能となる。
【００５０】
乗算部２４０は、レベル１，・・・，ｋｍａｘの注目高周波画像１４−１，・・・，１４−ｋｍａｘをサブバンド分解部２２１から入力し、抽出係数３０−０，・・・，３０−（ｋｍａｘ−１）を抽出係数算出部２３０から入力する。乗算部２４０は、レベルｋ＋１（ｋ＝０，・・・，ｋｍａｘ−１）の注目高周波画像１４−（ｋ＋１）の各画素値に対してレベルｋの抽出係数３０−ｋを乗算し、レベルｋ＋１の抽出高周波画像４０−（ｋ＋１）を得る。乗算部２４０は、レベルｋ＋１の抽出高周波画像４０−（ｋ＋１）を加算部２５０へと出力する。具体的には、乗算部２４０は、下記数式（９）に示される演算を行う。数式（９）の演算によれば、レベルｋの抽出係数３０−ｋの大きさ（即ち、注目画素の画素値に対する信号成分の寄与度）に応じて、レベルｋ＋１の注目高周波画像１４−（ｋ＋１）の画素値が抽出される。尚、以降の説明において、レベルｋ＋１の抽出高周波画像４０−（ｋ＋１）はＥＨＦ（ｋ＋１）と表現され、レベルｋ＋１の抽出高周波画像４０−（ｋ＋１）の座標（ｉ，ｊ）の画素値はＥＨＦ（ｋ＋１，ｉ，ｊ）と表現されることもある。
【数９】
2013157808.tif 000011
【００５１】
加算部２５０は、ノイズ低減部１０１から注目ノイズ低減画像１１を入力し、サブバンド分解部２２１からレベルｋｍａｘの注目低周波画像１３−ｋｍａｘを入力し、乗算部２４０からレベル１，・・・，ｋｍａｘの抽出高周波画像４０−１，・・・，４０−ｋｍａｘを入力する。加算部２５０は、注目ノイズ低減画像１１と、レベルｋｍａｘの注目低周波画像１３−ｋｍａｘと、レベル１，・・・，ｋｍａｘの抽出高周波画像４０−１，・・・，４０−ｋｍａｘとを加算し、出力画像５０を得る。加算部２５０は、出力画像５０を外部へと出力する。具体的には、加算部２５０は、下記数式（１０）に示される演算を行う。
【数１０】
2013157808.tif 000012
【００５２】
図４には、図２の画像処理装置によって行われる画像処理の一例が描かれている。図４の例において、ｋｍａｘ＝２であり、ｍ＝−１である。以下、図１０を用いて図２の画像処理装置によって行われる画像処理が説明される。尚、図１０に示される処理ステップの順序は一例であり、各処理ステップは依存関係がない限り任意の順序で実行されてよい。
【００５３】
図１０の画像処理はステップＳ４０１から開始する。図１０の画像処理において、ステップＳ４０１に加えてステップＳ４０２及びステップＳ４０３が実行される。図１０の画像処理は、ステップＳ５１２，・・・，ステップＳ５１７のループ処理を含む。ループ処理の実行前に、変数ｋに０が代入される（ステップＳ５１１）。
【００５４】
ステップＳ５１２において、サブバンド分解部２２１は、ステップＳ４０３または前回ループ処理内のステップＳ５１２において得られたレベルｋの注目低周波画像１３−ｋをサブバンド分解する。更に、ステップＳ５１２において、サブバンド分解部２２２は、ステップＳ４０３または前回ループ処理内のステップＳ５１２において得られたレベルｋの参照低周波画像２３−ｋをサブバンド分解する。
【００５５】
抽出係数算出部２３０は、ステップＳ４０３または前回ループ処理内のステップＳ５１２において得られたレベルｋの注目低周波画像１３−ｋ内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する（ステップＳ５１３）。尚、前述の通り、時空間ブロックはレベルｋの注目低周波画像１３−ｋ及び参照低周波画像２３−ｋに亘って形成される。抽出係数算出部２３０は、ステップＳ５１３において算出された自己相関関数の原点の値に対する周囲の代表値の比の絶対値を算出することによって、レベルｋの抽出係数３０−ｋを得る（ステップＳ５１４）。尚、前述の通り、周囲の代表値とは、例えば、原点以外で最大の絶対値を持つ値である。
【００５６】
乗算部２４０は、現行ループ処理内のステップＳ５１２において得られたレベルｋ＋１の注目高周波画像１４−（ｋ＋１）の各画素値に対して現行ループ処理内のステップＳ５１４において得られたレベルｋの抽出係数３０−ｋを乗算し、レベルｋ＋１の抽出高周波画像４０−（ｋ＋１）を得る（ステップＳ５１５）。現行ループ処理内のステップＳ５１２，・・・，ステップＳ５１５が完了すると、ループ処理の終了判定が行われる。具体的には、ｋ＋１がｋｍａｘ未満であればループ処理が継続し、処理はステップＳ５１７に進む。他方、ｋ＋１がｋｍａｘに等しければ、ループ処理が終了し、処理はステップＳ５１８へと進む。
【００５７】
ステップＳ５１７において、ｋが１だけインクリメントされ、処理はステップＳ５１２へと戻る。ステップＳ５１８において、加算部２５０は、ステップＳ４０２において得られた注目ノイズ低減画像１１と、最終ループ処理内のステップＳ５１２において得られたレベルｋｍａｘの注目低周波画像１３−ｋｍａｘと、全ループ処理内のステップＳ５１５において得られたレベル１，・・・，ｋｍａｘの抽出高周波画像４０−１，・・・，４０−ｋｍａｘとを加算し、出力画像５０を得る（ステップＳ５１８）。ステップＳ５１８の完了によって、図１０の画像処理は終了する。
【００５８】
以上説明したように、第２の実施形態に係る画像処理装置は、ノイズ低減前後の差分画像及び当該差分画像を１回以上サブバンド分解することによって得られる低周波画像内の各画素に対して時空間ブロック内の自己相関関数に基づいて抽出係数を算出する。この画像処理装置は、ノイズ低減によって損なわれた注目フレームの信号成分を当該抽出係数に基づいてサブバンド毎に効果的に回復する。従って、この画像処理装置によれば、注目フレームの信号成分を維持しつつノイズ成分を低減することができる。
【００５９】
尚、本実施形態に対して、様々な変形例が想定できる。例えば、時空間ブロックを形成する前に動き補償が行われてもよい。即ち、レベルｋ（ｋ＝０，・・・，ｋｍａｘ−１）の注目低周波画像と、動き補償された１枚以上のレベルｋの参照低周波画像とに亘って時空間ブロックが形成されてよい。また、時空間ブロックのサイズ及び形状は任意である。例えば、注目画素毎に時空間ブロックのサイズまたは形状が変更されてもよいし、注目画素毎にサイズまたは形状が相異なる複数の時空間ブロックに基づいて抽出係数が算出されてもよい。
【００６０】
更に、本実施形態において、レベルｋ＋１の抽出高周波画像を得るために、レベルｋ＋１の注目高周波画像１４−（ｋ＋１）の各画素値に対してレベルｋの抽出係数３０−ｋを乗算されている。しかしながら、レベルｋの抽出係数３０−ｋの代わりに、レベルＬ（ｋ）の抽出係数３０−Ｌ（ｋ）が用いられてよい。Ｌ（ｋ）は、０以上ｋ＋１以下の任意の整数である。
【００６１】
（第３の実施形態）  
第３の実施形態に係る画像処理装置は、ノイズ低減前後の差分画像ではなく注目フレームに対して第１の実施形態と類似の画像処理を行う。本実施形態に係る画像処理装置は、図３に例示されるように、サブバンド分解部３２１と、抽出係数算出部３３０と、乗算部３４０と、加算部３５０とを備える。
【００６２】
サブバンド分解部３２１は、注目フレーム１０を外部から入力する。サブバンド分解部３２１は、注目フレーム１０を２つのサブバンド成分に分解する。具体的には、サブバンド分解部３２１は、注目フレーム１０を注目低周波画像１５及び注目高周波画像１６に分解する。サブバンド分解部３２１は、注目低周波画像１５を加算部３５０へと出力し、注目高周波画像１６を乗算部３４０へと出力する。以降の説明において、注目低周波画像１５はＬＦ（０）と表現され、注目低周波画像１５の座標（ｉ，ｊ）の画素値はＬＦ（０，ｉ，ｊ）と表現されることもある。また、注目高周波画像１６はＨＦ（０）と表現され、注目高周波画像１６の座標（ｉ，ｊ）の画素値はＨＦ（０，ｉ，ｊ）と表現されることもある。
【００６３】
抽出係数算出部３３０は、注目フレーム１０を外部から入力し、参照フレーム２０を外部から入力する。抽出係数算出部３３０は、注目フレーム１０内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する。更に、抽出係数算出部３３０は、自己相関関数の原点の値に対する原点の周囲における代表値の比の絶対値を算出することによって、抽出係数３１を得る。抽出係数算出部３３０は、抽出係数３１を乗算部３４０へと出力する。
【００６４】
時空間ブロックは、注目フレーム１０内の注目画素を中心とする複数の画素の集合であり、注目フレーム１０及び参照フレーム２０に亘って形成される。自己相関関数の原点の周囲における代表値は、例えば原点以外において最大の絶対値を持つ値である。以降の説明において、座標（ｉ，ｊ）の注目画素に対応する抽出係数３１の値はＡＣＦｐｋｒ（ｉ，ｊ）と表現されることもある。具体的には、抽出係数算出部３３０は、任意の注目画素を中心とする時空間ブロック内の自己相関関数を下記数式（１１）に従って算出できる。
【数１１】
2013157808.tif 000013
【００６５】
抽出係数算出部３３０は、数式（１１）に従って算出した自己相関関数に基づいて上記数式（２）の演算を行うことによって、抽出係数３１を算出できる。注目画素の画素値に対するノイズ成分の寄与度が大きいほど抽出係数３１は小さくなりやすい。他方、注目画素の画素値に対する信号成分（即ち、注目フレーム１０の本来の信号成分）の寄与度が大きいほど抽出係数３１は大きくなりやすい。従って、係る抽出係数３１を用いることによって、注目フレーム１０から信号成分を効果的に抽出することが可能となる。
【００６６】
乗算部３４０は、注目高周波画像１６をサブバンド分解部３２１から入力し、抽出係数３１を抽出係数算出部３３０から入力する。乗算部３４０は、注目高周波画像１６の各画素値に対して抽出係数３１を乗算し、抽出高周波画像４１を得る。乗算部３４０は、抽出高周波画像４１を加算部３５０へと出力する。具体的には、乗算部３４０は、下記数式（１２）に示される演算を行う。数式（１２）の演算によれば、抽出係数３１の大きさ（即ち、注目画素の画素値に対する信号成分の寄与度）に応じて、注目高周波画像１６の画素値が抽出される。尚、以降の説明において、抽出高周波画像４１はＥＨＦと表現され、抽出高周波画像４１の座標（ｉ，ｊ）の画素値はＥＨＦ（ｉ，ｊ）と表現されることもある。
【数１２】
2013157808.tif 000014
【００６７】
加算部３５０は、サブバンド分解部３２１から注目低周波画像１５を入力し、乗算部３４０から抽出高周波画像４１を入力する。加算部３５０は、注目低周波画像１５及び抽出高周波画像４１を加算し、出力画像５１を得る。加算部３５０は、出力画像５１を外部へと出力する。具体的には、加算部３５０は、下記数式（１３）に示される演算を行う。尚、以降の説明において、出力画像５１はＯＩと表現され、出力画像５１の座標（ｉ，ｊ）の画素値はＯＩ（ｉ，ｊ）と表現されることもある。
【数１３】
2013157808.tif 000015
【００６８】
以下、図１１を用いて図３の画像処理装置によって行われる画像処理が説明される。尚、図１１に示される処理ステップの順序は一例であり、各処理ステップは依存関係がない限り任意の順序で実行されてよい。
【００６９】
図１１の画像処理はステップＳ４０１から開始する。サブバンド分解部３２１は、ステップＳ４０１において取り込まれた注目フレーム１０をサブバンド分解する（ステップＳ６２１）。
【００７０】
抽出係数算出部３３０は、ステップＳ４０１において取り込まれた注目フレーム１０内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する（ステップＳ６２２）。尚、前述の通り、時空間ブロックは注目フレーム１０及び参照フレーム２０に亘って形成される。抽出係数算出部３３０は、ステップＳ６２２において算出された自己相関関数の原点の値に対する周囲の代表値の比の絶対値を算出することによって、抽出係数３１を得る（ステップＳ６２３）。尚、前述の通り、周囲の代表値とは、例えば、原点以外で最大の絶対値を持つ値である。
【００７１】
乗算部３４０は、ステップＳ６２１において得られた注目高周波画像１６の各画素値に対してステップＳ６２３において得られた抽出係数３１を乗算し、抽出高周波画像４１を得る（ステップＳ６２４）。加算部３５０は、ステップＳ６２１において得られた注目低周波画像１５及びステップＳ６２４において得られた抽出高周波画像４１を加算し、出力画像５１を得る（ステップＳ６２５）。ステップＳ６２５の完了によって、図１１の画像処理は終了する。
【００７２】
以上説明したように、第３の実施形態に係る画像処理装置は、注目フレーム内の各画素に対して時空間ブロック内の自己相関関数に基づいて抽出係数を算出し、当該抽出係数に基づいて注目フレームから信号成分を効果的に抽出する。従って、この画像処理装置によれば、注目フレームの信号成分を維持しつつノイズ成分を低減することができる。
【００７３】
尚、本実施形態に対して、様々な変形例が想定できる。例えば、時空間ブロックを形成する前に動き補償が行われてもよい。即ち、注目フレームと、動き補償された1枚以上の参照フレームとに亘って時空間ブロックが形成されてよい。また、時空間ブロックのサイズ及び形状は任意である。例えば、注目画素毎に時空間ブロックのサイズまたは形状が変更されてもよいし、注目画素毎にサイズまたは形状が相異なる複数の時空間ブロックに基づいて抽出係数が算出されてもよい。また、本実施形態において前述の第２の実施形態が組み合わせられてもよい。
【００７４】
（第４の実施形態）  
第４の実施形態に係る画像処理装置は、前述の第１、第２または第３の実施形態に係る画像処理装置と同一または類似の画像処理を複数回に亘って繰り返し試行する。画像処理を複数回に亘って繰り返し試行することによって、注目フレーム１０のノイズ成分の低減及び信号成分の回復を段階的に実行できる。具体的には、第２回目以降の画像処理は、前回の画像処理によって得られた出力画像５０（または５１）が注目フレーム１０に置き換わって処理される。
【００７５】
画像処理の試行回数は予め決定されていてもよいし、ある基準に従って繰り返しに対する終了判定が行われてもよい。例えば、試行回数の上限が予め決定されている場合には、画像処理の試行回数が係る上限に達した場合に画像処理の繰り返しの終了が判定されてよい。或いは、抽出係数３０（３０−ｋまたは３１）に基づいて、ノイズ成分の低減及び信号成分の回復が十分に達成されたかを評価し、この評価結果を基準に画像処理の繰り返しに対する終了判定を行うこともできる。例えば、フレーム内の抽出係数３０（３０−ｋまたは３１）の代表値（例えば最大値、平均値、中央値、最頻値、最小値など）が閾値以下となった場合に画像処理の繰り返しが終了される。更に、画像処理を繰り返す場合に、種々のパラメータが更新されてもよい。具体的には、時空間ブロックの形状、サイズなどが更新可能である。
【００７６】
以上説明したように、第４の実施形態に係る画像処理装置は、第１、第２または第３の実施形態と同一または類似の画像処理が複数回に亘って試行されることを許容する。従って、この画像処理装置によれば、第１回目の画像処理によってノイズ成分の低減または信号成分の回復が十分に達成されなかったとしても、第２回目以降の画像処理によってノイズ成分の低減及び信号成分の回復を段階的に実行できる。
【００７７】
（第５の実施形態）  
第５の実施形態に係る外観検査システムは、図１２に示されるように、画像処理装置１００、画像検査装置７００、カメラ７１０及びステージ７２０を含む。  
カメラ７１０は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子を用いたデジタルカメラである。カメラ７１０は、後述するステージ７２０の上方から、ステージ７２０の上面を電子撮影する。カメラ７１０は、撮像素子によって得られた画素情報をマトリックス状（格子状）に配列して映像化した画像データを生成し、後段の画像処理装置１００に出力する。
【００７８】
ステージ７２０は、外観検査の対象となる被測定物ＯＪ（例えば、液晶パネル、集積回路などの電子部品）を載置するためのテーブル状の平面を有するステージである。被測定物ＯＪは、ステージ７２０においてカメラ７１０によって撮影される範囲に載置される。被測定物ＯＪがステージ７２０上で静止した状態で、カメラ７１０による撮影が行われる。
【００７９】
画像処理装置１００は、カメラ７１０によって得られた画像データに対して、第１、第２、第３または第４の実施形態と同一または類似の画像処理を施す。例えば、画像処理装置１００は、図１、図２または図３の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置１００は、カメラ７１０によって撮影された２枚分（或いは３枚以上）の画像データを注目フレーム１０、参照フレーム２０などとしてそれぞれ取り込み、画像処理を行って出力画像５０（または５１）を得る。画像処理装置１００は、出力画像５０（または５１）を画像検査装置７００に供給する。
【００８０】
画像検査装置７００は、画像処理装置１００によってノイズ低減された画像を検査画像として入力する。画像検査装置７００は、検査画像の画像解析を行う。画像検査装置７００は、係る画像解析の結果、被測定物ＯＪの異常（例えば、被測定物ＯＪの欠陥、被測定物ＯＪに付着した異物など）を検出する。
【００８１】
以上説明したように、第５の実施形態に係る外観検査システムは、第１、第２、第３または第４の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を得る。従って、本実施形態に係る外観検査システムによれば、注目フレームの信号成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となる。
【００８２】
（第６の実施形態）  
第６の実施形態に係るＸ線検査システムは、図１３に示されるように、画像処理装置１００、画像検査装置８００、Ｘ線源８１０、カーボンステージ８２０及びＸ線イメージセンサ８３０を含む。
【００８３】
カーボンステージ８２０は、Ｘ線検査の対象となる被測定物ＯＪを載置するためのテーブル状の平面を有するステージである。被測定物ＯＪは、カーボンステージ８２０においてＸ線源８１０によってＸ線が照射される範囲に載置される。被測定物ＯＪがカーボンステージ８２０上で静止した状態で、Ｘ線源８１０及びＸ線イメージセンサ８３０によるＸ線撮影が行われる。
【００８４】
Ｘ線源８１０は、カーボンステージ８２０に載置された被測定物ＯＪに対してＸ線を照射する。Ｘ線イメージセンサ８３０は、Ｘ線源８１０によって照射されて被測定物ＯＪを透過したＸ線を検出し、画像データを生成する。Ｘ線イメージセンサ８３０は、画像データを後段の画像処理装置１００に出力する。
【００８５】
画像処理装置１００は、Ｘ線イメージセンサ８３０によって得られた画像データに対して、第１、第２、第３または第４の実施形態と同一または類似の画像処理を施す。例えば、画像処理装置１００は図１、図２または図３の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置１００は、Ｘ線イメージセンサ８３０によって撮影された２枚（或いは、３枚以上）の画像データを注目フレーム１０、参照フレーム２０などとしてそれぞれ取り込み、画像処理を行って出力画像５０（または５１）を得る。画像処理装置１００は、出力画像５０（または５１）を画像検査装置８００に供給する。
【００８６】
画像検査装置８００は、画像処理装置１００によってノイズ低減された画像を検査画像として入力する。画像検査装置８００は、検査画像の画像解析を行う。画像検査装置８００は、係る画像解析の結果、被測定物ＯＪの異常を検出する。
【００８７】
以上説明したように、第６の実施形態に係るＸ線検査システムは、第１、第２、第３または第４の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を得る。従って、本実施形態に係るＸ線検査システムによれば、注目フレームの信号成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となる。
【００８８】
尚、本実施形態に係るＸ線検査システムを医療診断などのために適用し、人間（例えば医師）が検査画像の解析を行う場合も考えられる。係る場合には、画像検査装置８００は不要である。人間が検査画像の解析を行う場合にも、信号成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となることは明らかである。
【００８９】
（第７の実施形態）  
前述の第１、第２、第３または第４の実施形態に係る画像処理装置は、Ｘ線ＣＴシステム、監視カメラシステム、超音波検査システムなどの種々のシステムにおいて撮影画像に対して前述の画像処理を適用してもよい。尚、Ｘ線ＣＴシステムに各実施形態に係る画像処理装置を適用する場合には、撮影された複数の断面画像の各々をフレームとみなせばよい。また、フレームを識別するためのインデックスは、例えば各断面画像の撮影位置に基づいて定めればよい。
【００９０】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【００９１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９２】
１０・・・注目フレーム、１１・・・注目ノイズ低減画像、１２・・・注目差分画像、１３，１５・・・注目低周波画像、１４，１６・・・注目高周波画像、２０・・・参照フレーム、２１・・・参照ノイズ低減画像、２２・・・参照差分画像、２３・・・参照低周波画像、３０，３１・・・抽出係数、４０，４１・・・抽出高周波画像、５０，５１・・・出力画像、１０１，１１１・・・ノイズ低減部、１０２，１１２・・・減算部、１２１，２２１，２２２，３２１・・・サブバンド分解部、１３０，２３０，３３０・・・抽出係数算出部、１４０，２４０，３４０・・・乗算部、１５０，２５０，３５０・・・加算部、７００，８００・・・画像検査装置、７１０・・・カメラ、７２０，ステージ、８１０・・・Ｘ線源、８２０・・・カーボンステージ、８３０・・・Ｘ線イメージセンサ
【図１】
2013157808.tif 000016
【図２】
2013157808.tif 000017
【図３】
2013157808.tif 000018
【図４】
2013157808.tif 000019
【図５】
2013157808.tif 000020
【図６】
2013157808.tif 000021
【図７Ａ】
2013157808.tif 000022
【図７Ｂ】
2013157808.tif 000023
【図８Ａ】
2013157808.tif 000024
【図８Ｂ】
2013157808.tif 000025
【図９】
2013157808.tif 000026
【図１０】
2013157808.tif 000027
【図１１】
2013157808.tif 000028
【図１２】
2013157808.tif 000029
【図１３】
2013157808.tif 000030