(57)【要約】【課題】ノイズ特性の異なる画像領域間ではブロックマッチングにより適切な相関を求められない。【解決手段】画像処理装置は、着目画素を含む着目ブロックと前記着目画素近傍の参照画素を含む参照ブロックとの相関を導出するための補正量を決定する。そして、決定された補正量に従って着目ブロックと参照ブロックとの相関を導出する。この相関に基づいて着目ブロックを構成する着目画素の画素値を出力する。【選択図】図８
2014153918.tif 000002
【特許請求の範囲】
【請求項１】
着目画素を含む着目ブロックと前記着目画素近傍の参照画素を含む参照ブロックとの相関を導出するための補正量を決定する決定手段と、
前記決定された補正量に従って前記着目ブロックと前記参照ブロックとの相関を導出する導出手段と、
前記導出された相関に基づいて前記着目画素の画素値を出力する出力手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記着目ブロックのノイズ量と前記参照ブロックのノイズ量とに基づいて前記補正量を決定すること特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、複数の参照ブロックについて導出された複数の相関から各参照ブロックを構成する各参照画素の重みを決定し、決定された各参照画素に対する重みを各参照画素に加算することにより、前記着目画素の画素値を出力することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記参照ブロックを含む探索範囲を選択する選択手段をさらに有し、
前記導出手段は、前記選択手段で選択された探索範囲から前記参照ブロックを用いることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記選択手段は、前記着目ブロックとノイズ量が異なる領域を含む領域を前記探索範囲として選択することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記選択手段は、ノイズ量が少ない領域を含む領域を前記探索範囲として選択することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記選択手段は、前記着目ブロックとは異なるフレームの画像データから前記探索範囲を選択することを特徴とする請求項４から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記選択手段は、Ｘ線で撮像されたシーケンスの中で前記着目ブロックを含むフレームとは異なるフレームの画像データから前記探索範囲を選択することを特徴とする請求項４から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記決定手段は、前記着目ブロックのノイズ量と前記参照ブロックのノイズ量とを一致させる値を前記補正量として決定することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記着目ブロックのノイズ分散と前記参照ブロックのノイズ分散との差分値が、第１の領域でσ12 +σ22であり、第２の領域で2σ22である場合、第２の領域に対する前記補正量を、
【数１】
2014153918.tif 000005
として決定することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記導出手段は、前記相関として差分値の絶対値の和を用いることを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１２】
着目画素を含む着目ブロックと前記着目画素近傍の参照画素を含む参照ブロックとの相関を導出するための補正量を決定する決定ステップと、
前記決定された補正量に従って前記着目ブロックと前記参照ブロックとの相関を導出する導出ステップと、
前記導出された相関に基づいて前記着目画素の画素値を出力する出力ステップと
を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１から１１のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データのノイズを低減するための画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
ブロックマッチングを用いてノイズ低減処理を実行する技術として、Ｎｏｎ−Ｌｏｃａｌ  Ｍｅａｎｓ  Ｄｅｎｏｉｓｉｎｇ技術が知られている（例えば、特許文献１）。Ｎｏｎ−Ｌｏｃａｌ  Ｍｅａｎｓ  Ｄｅｎｏｉｓｉｎｇ技術は、エッジやテクスチャを保存しつつ、ノイズを低減することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００７−５３６６６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のＮｏｎ−Ｌｏｃａｌ  Ｍｅａｎｓ  Ｄｅｎｏｉｓｉｎｇ技術ではブロックマッチング時のブロック内のノイズ特性は一定であることを前提とした処理が行われている。つまり、ブロック内に２つ以上のノイズ特性が混在する場合、本来一致してよいブロックに一致しなかったり、誤ったブロックに一致する場合が発生し、適切なブロックマッチングをすることができない。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、着目画素着目ブロックと着目画素近傍の参照画素を含む参照ブロックとの相関を導出するための補正量を決定する決定手段と、前記決定された補正量に従って前記着目ブロックと前記参照ブロックとの相関を導出する導出手段と、前記導出された相関に基づいて前記着目画素の画素値を出力する出力手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ブロック内に２つ以上のノイズ特性が混在する場合であっても高いノイズ低減の効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】ノイズ低減処理前の原画像を示す画像データを表す図である。
【図２】原画像にノイズが混入したノイズ画像を示す画像データを表す図である。
【図３】参照画素に掛け合わせる重みの分布を示す図である。
【図４】参照画素を含む参照ブロックの例を表す図である。
【図５】着目画素を含む着目ブロックを表す図である。
【図６】重みを決定する関数の例を表す図である。
【図７】画像処理装置の構成の一例を示す図である。
【図８】実施例１のノイズ低減処理に関するブロック図を表す図である。
【図９】着目画素と参照画素の分布とを表す図である。
【図１０】実施例１の着目画素と参照画素の分布とを表す図である。
【図１１】実施例１の画像処理装置のフローチャートを表す図である。
【図１２】フレーム内でノイズ特性の異なる領域が存在する動画シーケンスを表す図である。
【図１３】着目ブロックの配置の例を示す図である。
【図１４】実施例１における、着目画素と参照画素との位置の例を表す図である。
【図１５】参照ブロックの走査方向を表す図である。
【図１６】補正値を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施する形態について説明する。
【実施例１】
【０００９】
<Ｎｏｎ−Ｌｏｃａｌ  Ｍｅａｎｓ  Ｄｅｎｏｉｓｉｎｇの概要>
まず、最初にＮｏｎ−Ｌｏｃａｌ  Ｍｅａｎｓ（以下、ＮＬＭと称する）  Ｄｅｎｏｉｓｉｎｇの概要について説明する。ＮＬＭは、ノイズ低減対象となる着目画素の画素値に対して、その着目画素の周辺に存在する参照画素の画素値に適応的な重みを掛け、その結果を全て加算する事でノイズを低減する技術である。以下では、図１から図６を利用してＮＬＭ  Ｄｅｎｏｉｓｉｎｇの処理の流れを説明する。なお、ここでは説明を簡単にする為に、処理のいくつかを省略している。
【００１０】
図１はノイズ低減処理前の原画像を示す画像データを表している。原画像の画像データは水平画素数、垂直画素数が共に５つで構成されている例を示している。画像データ中の小矩形内の数値は画素値を表している。すなわち、原画像の画像データは、中央に画素値４の垂直線が存在し、この垂直線以外の画素値は５０である５ｘ５の画像データである。以下、図２から図５で示す各図は、図１に対応する５ｘ５の画像データを示している。
【００１１】
図２は図１の原画像の画像データにノイズが混入したノイズ画像を示す画像データを表している。図２の画像データの画素値は、ノイズの影響で図１に示す原画像の画像データとは異なる値を持つ。
【００１２】
以下では、このノイズ画像の中央に存在する画素をノイズ低減対象の画素（すなわち、着目画素）として、このノイズ画像の中央に存在する画素の値８からノイズを低減する流れを説明する。図３に示すように、前述の通り、ＮＬＭ    Ｄｅｎｏｉｓｉｎｇは、着目画素近傍の参照画素の各画素値に対応した適応的な重みＡ１〜Ａ９を各参照画素の画素値に掛け、その結果を全て加算する事でノイズを低減する。なお、図３に示すように、一般に着目画素自身も参照画素として用いられる。
【００１３】
次に、図４から図６を参照して、ＮＭＬ手法の要となっている適応的な重みの決定方法（導出方法）を説明する。
【００１４】
ここでは、図３の上から２行目の中央列の画素（以下、参照画素Ｒと称する）に掛けられる重みＡ２を決定する場合を考える。まず重みＡ２を掛ける参照画素Ｒを中心に３ｘ３の画素ブロックを設定する。参照画素を中心とした所定範囲のブロックを参照ブロックと称する。図４では、ハッチングされている画素が参照画素Ｒであり、太線で囲まれたブロックが参照ブロックとなる。なお、重みＡ１〜Ａ９を掛け合わせる画素はそれぞれ参照画素となる。図４では、参照画素Ｒについてのみ、参照ブロックを示しているが、各参照画素についてそれぞれ参照ブロックが設定される。次に、ノイズ低減対象の画素である着目画素（本例では、図３の画像データ中の中央の画素）を中心に３ｘ３の画素ブロックを設定する。この着目画素を中心とした所定範囲のブロックを着目ブロックと称する。図５では、着目ブロックは太線で囲まれたブロックとなる。本例では、参照ブロックと着目ブロックのサイズを３ｘ３としているが、これに限定されるものではない。参照ブロックと着目ブロックのサイズが同一であれば、いずれのサイズであってもよい。
【００１５】
次に、着目ブロックと各参照ブロックとの間で空間的に対応している２つの画素値の差をそれぞれ算出し、その差分値の統計量、例えば絶対和ＳＡＤ（Sum of Absolute Difference）である値Ｃを求める。図４で示した参照画素Ｒを例に挙げる。参照画素Ｒの参照ブロックと図５の着目ブロックとの差分絶対値の和Ｃは、図１と図２を参照すると、Ｃ＝１３が求まる。この差分絶対値の和Ｃは、ノイズ低減対象である着目画素の画素値8が持つ空間的な特徴と、注目している重みＡ２に対応する参照画素の画素値４が持つ空間的な特徴とがどの程度似ているのかを表している。つまり、差分絶対値の和Ｃが小さいと着目画素と参照画素は似ていると判定することができる。逆にＣが大きいと、画素値８と画素値４は似ていないと判定することができる。
【００１６】
最後に、この差分絶対値の和Ｃと曲線Ｆとから参照画素Ｒに対する重みＡ２の値を決定する。図６は差分絶対値の和Ｃと重みとを関係付ける曲線Ｆを表している。
【００１７】
【数１】
2014153918.tif 000003
【００１８】
ｈはノイズ低減パラメータであり、たとえば、ここではｈ＝50とする。Xは差分の絶対値の和Ｃに対応する。図６に示すように、差分絶対値の和Ｃ＝１３に対応する重みの値Ａ２は大きな値になる。つまり、参照画素Ｒが持つ空間的な特徴は、着目画素が持つ空間的な特徴と似ているので、重みを大きくするという事になる。このような方法で、各参照画素の重みＡ１〜Ａ９を決定する。なお、図６に示すように、たとえば、空間的な特徴が対応していない重みＡ７に対応する参照画素については、その重みＡ７の値は非常に小さいものとなる。
【００１９】
そして、各参照画素に対して決定された重みを、各参照画素に掛けて加算した値を、着目画素の値として設定することにより、着目画素のノイズが低減される。
【００２０】
以上が、ＮＬＭ    Ｄｅｎｏｉｓｉｎｇの処理の流れである。
【００２１】
本実施例では、撮像装置で撮像した水平画素数100、垂直画素数100で構成されている10000画素の８ビットグレースケール動画に対するノイズ低減処理について説明する。また、本実施例では、着目している１画素のノイズ低減方法について説明する。よって、画像全体の画素に対してノイズ低減を施す場合は、本実施例で示した処理を全画素に対して施すことになる。
【００２２】
＜本実施例で用いる画像の説明＞
なお、本実施例で説明する画像（すなわち、上記のグレースケール動画のうちの一部の静止画像）は、高画質エリアと低画質エリアとが混在する画像の画像データである。また、本実施例で説明する各静止画間では、上記の高画質エリアと低画質エリアとが一致していなくてもよい。たとえば、画像中のある領域については、タイムライン上で高画質エリアと低画質エリアとが交互に現れるような画像であってもよい。
【００２３】
あるいは、本実施例で説明する画像は、フレーム間において高画質画像と低画質画像とがたとえば交互に表れるような画像であってもよい。
【００２４】
このような高画質エリアと低画質エリア、あるいは高画質画像と低画質画像とが混在している画像の例として、Ｘ線動画撮像された画像が想定される。Ｘ線動画撮像においては、被ばく量を抑えるために、たとえば臓器中の空気などのようにノイズが含まれていてもさほど影響がない領域については線量を抑えたり短時間照射したりして、低画質エリア、あるいは低画質画像として画像を取得してもよい。一方で、ノイズが含まれると影響が大きい領域については、高画質エリアあるいは高画質画像として画像を取得する。
【００２５】
このように、たとえばＸ線動画撮像の場合には、同一の対象に対して高画質である領域と低画質である領域とが混在することになる。換言すれば、ノイズ成分が多い領域とノイズ成分が少ない領域とが混在していることになる。本実施例では、このようなノイズ成分が多い領域とノイズ成分が少ない領域とが混在しているような画像についてノイズ低減処理を行う例について説明する。
【００２６】
＜画像処理装置の構成＞
本実施形態における画像処理装置の構成について、図７を参照して説明する。
【００２７】
図７において、画像処理装置はＣＰＵ７０１、ＲＡＭ７０２、ＨＤＤ７０３、汎用インターフェース（Ｉ／Ｆ）７０４、モニタ７０８、メインバス７０９を備える。汎用Ｉ／Ｆはカメラなどの撮像装置７０５や、マウス、キーボードなどの入力装置７０６、メモリーカードなどの外部メモリ７０７をメインバス７０９に接続する。
【００２８】
以下では、ＣＰＵ７０１がＨＤＤ７０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。
【００２９】
まず、ＣＰＵ７０１はＨＤＤ７０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ７０２に展開するとともに、モニタ７０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ７０３や外部メモリ７０７に格納されている各種データ、撮像装置７０５で撮像された画像データ、入力装置７０６からの指示データなどがＲＡＭ７０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ７０２に格納されているデータに対してＣＰＵ７０１からの指令に基づく各種演算が行れる。演算結果はモニタ７０８に表示されたり、ＨＤＤ７０３、外部メモリ７０７に格納されたりする。
【００３０】
図８は、実施例１の画像処理装置のノイズ低減処理に関する概略構成を示すブロック図である。画像処理装置は、撮像部８００、画像バッファ８０１、探索範囲選択部８０２、探索範囲画像バッファ８０３、参照ブロック選択部８０４、相関算出部８０５を有する。また、画像処理装置は、重み決定部８０６、重み累積加算部８０７、画素値重み乗算部８０８、累積加算部８０９、除算部８１０を有する。また、画像処理装置は、探索範囲補正部８５０と、補正量算出部８５１とを有する。
【００３１】
撮像部８００は、被写体を撮像して画像データを取得する。本例では、画像データは撮像部８００で撮像されたデータとして説明するが、画像データは撮像部８００から得られなくてもよい。たとえば画像処理装置は、外部の撮像装置で得られた画像データを取得して用いてもよい。
【００３２】
画像バッファ８０１は、撮像部８００で撮像した画像データを保存する。探索範囲選択部８０２は、後述する探索範囲補正部８５０の補正に基づいて、着目画素をノイズ低減するに際に必要な探索範囲を選択する。探索範囲画像バッファ８０３は、後述の探索範囲補正部８５０の補正を受けた探索範囲選択部８０２が選択した探索範囲における画像データを保存する。参照ブロック選択部８０４は、着目ブロックとブロックマッチングを行う参照ブロックを、探索範囲画像バッファ８０３に保存した画像データから選択する。相関算出部８０５は、着目ブロックと参照ブロック選択部８０４が選択した参照ブロックとのブロック間相関を、後述の補正量算出部８５１の補正を考慮して算出する。重み決定部８０６は、相関算出部８０５が算出した相関から重みを計算する。重みは、たとえば図３で説明した重みＡ１〜Ａ９に対応する。
【００３３】
重み累積加算部８０７は、重み決定部８０６が算出する画素毎の重みの累積加算値を計算する。画素値重み乗算部８０８は、重み決定部８０６で決定した重みと、その重みに対応する参照画素の画素値との積を求める。画素値重み乗算部８０８は、参照画素の画素値を探索範囲画像バッファ８０３から取得する。累積加算部８０９は、画素値重み乗算部８０８が出力する重みと画素値との積の累積和を算出する。除算部８１０は、累積加算部８０９が出力する累積和を重み累積加算部８０７が出力する重みの累積和で除算する。除算部８１０は、出力端子８１１を通じてノイズ低減後の画素値を出力する。
【００３４】
探索範囲補正部８５０は、撮像部８００から送信される撮像情報と、着目画素を含む着目ブロックを示す情報とに基づき、探索範囲選択部８０２へ探索範囲補正情報を送る。撮像情報とは、撮像部で画像データを撮像したときの各種の情報のことである。本実施例では、撮像情報は、特に画像データの画像内の高画質エリアと低画質エリアとを判定するための情報を含む。たとえば、画像データ内の領域ＡはＩＳＯ感度が低い低ノイズ領域であり、画像データ内の領域ＢはＩＳＯ感度が高い高ノイズ領域である、といったことを示す情報である。より具体的には、画像データ内の各領域についてのノイズ分散を示す値とすることができる。探索範囲補正部は、撮像情報に基づいて探索範囲選択部８０２に対して、たとえば低ノイズ領域（すなわち、高画質エリア）を示す情報を探索範囲補正情報として送信する。なお、本実施例では、たとえば動画シーケンスを想定しているので、撮像情報や探索範囲補正情報は、１つの画像データ内ではなく、フレームを跨る画像データについての情報も含まれる。すなわち、探索範囲補正情報として、１つ前のフレームの画像データの所定の領域を低ノイズ領域として示す情報が含まれてもよい。そして、探索範囲補正部８５０は、着目ブロックに関する情報と、撮像情報とに基づいて探索補正情報を探索範囲選択部８０２に送信する。また、探索範囲補正部８５０は、着目ブロックに関する情報と、探索範囲補正情報とを補正量算出部８５１へ送信する。
【００３５】
補正量算出部８５１は、撮像部８００から送信される撮像情報と探索範囲補正部８５０から送信される着目ブロックに関する情報と探索範囲補正情報とに基づいて、相関算出部８０５に補正量を送信する。すなわち、補正量算出部８５１は、参照ブロックに対応する領域のノイズ分散と着目ブロックに対応する領域のノイズ分散とから、補正量を算出する。そして、補正量算出部８５１は、算出した補正量を相関算出部８０５に送信する。補正量算出部８５１の詳細については後述する。
【００３６】
上記の処理部における処理をすべての画像データ中の各画素に対して行うことにより、ノイズが低減された画像データを得ることができる。
【００３７】
＜本実施例の原理＞
本実施例は、ＮＬＭ  Ｄｅｎｏｉｓｉｎｇにおける参照画素の選択方法を改良する事で、ノイズ低減効果を向上させている。通常のＮＬＭ  Ｄｅｎｏｉｓｉｎｇでは、画像処理装置は、同一の撮像パラメータで撮像した画像データの画像領域から、ノイズ低減対象である着目画素に対する参照画素を選択している。しかし、本実施例では、画像処理装置はノイズ量が異なる画像領域間を探索し、ノイズ量が異なる画像領域からも参照画素を選択する。つまり、通常のＮＭＬでは、図９のように、着目画素（黒の塗りつぶし画素）に対して、同一の画像領域内の参照画素は太線で囲まれた各画素になる。ここで、同一の画像領域内とは、同一の撮像パラメータの領域内であることを意味する。一方、本実施例では、図１０に示した様に、各参照画素は、着目画素とは撮像パラメータの異なる画像領域から選択することができる。撮像パラメータの異なる画像領域とは、同一画像中の撮像パラメータが異なる領域であってもよいし、同一の対象を撮像した異なるフレームにおいて異なる撮像パラメータで撮像された画像データの画像内の領域であってもよい。また、各参照画素のすべてが撮像パラメータの異なる領域に位置していなくてもよく、一部の参照画素については同一の撮像パラメータの領域内にあってもよい。
【００３８】
＜実施例１における画像処理装置の動作＞
図１１のフローチャートを利用して実施例１における画像処理方法をコンピュータ上で実行する流れを説明する。
【００３９】
処理を開始すると、ステップＳ１１０１において、撮像部８００は被写体を撮像し、画像データを画像バッファ８０１に転送する。また、撮像部８００は、画像データを撮像した際の撮像情報を探索範囲補正部８５０と補正量算出部８５１とに送信する。本実施例では、画像データとは複数の画像に関するデータである。たとえば、動画シーケンスにおける複数の画像（静止画像）である。図１２を利用してこの画像データの詳細を説明する。図１２は撮像部８００が撮像した二枚の画像を時系列に並べた図である。黒の領域は高画質モードで撮像した画像領域（高画質エリア）、白の領域は低画質モードで撮像した画像領域（低画質エリア）をそれぞれ表している。よって、黒の領域は低ノイズが混入している領域、白の領域は高ノイズが混入している領域といえる。図１２からわかるように一枚の画像において、高画質な領域と低画質な撮影された領域が混在している。図１２の（ａ）と（ｂ）とに示すように、本実施例では、高画質モードと低画質モードとがフレーム間の画像データ間において交互に表れる画像データを用いる例を説明する。
【００４０】
図１１に戻り、ステップＳ１１０２において、探索範囲選択部８０２は、予め用意した値を探索範囲数Ｓ，ブロックサイズＢｓｉｚｅ、着目ブロックＴａｒ＿Ｂに設定する。本実施例においてはＳ＝２，Ｂｓｉｚｅ＝１とする。
【００４１】
ここで図１３を参照して、着目ブロックＴａｒ＿Ｂの具体的な配置を説明する。図１３は入力画像を示し、画素１０×１０からなる。図１３が示す入力画像において、着目画素は黒く塗りつぶされた画素である。着目ブロックＴａｒ＿Ｂは、ブロックサイズＢｓｉｚｅが１であることから、着目画素のプラスマイナス１画素分を含む画素ブロック、つまり図中の太線で囲まれた３×３の領域となる。探索範囲数とは、着目画素のノイズ低減に用いる画像の数を示す値である。たとえば、Ｓ＝２の場合、着目画素の画像とは異なる撮像パラメータの画像領域を２つ用いることを示している。
【００４２】
次に、ステップＳ１１０３において、探索範囲補正部８５０は、探索範囲補正情報を生成する。まず、探索範囲補正部８５０は、着目ブロックに関する情報を取得する。そして、着目ブロックに関する情報と、ステップＳ１１０１で送信された撮像情報とに基づいて探索範囲補正情報を探索範囲選択部８０２に送信する。
【００４３】
次に、ステップＳ１１０４において、探索範囲選択部８０２は、後述の重みを累積加算するバッファSum_Aと、重みと画素値との積を累積加算するバッファSum_AL、画素ブロックのインデックスiとを０に初期化する。ステップＳ１１０５では、探索範囲選択部８０２は、ステップＳ１１０３で生成された探索範囲補正情報に基づいて、探索範囲における画像データl_sを選択する。そして探索範囲選択部８０２は選択した画像データl_sを画像バッファ８０１から探索範囲画像バッファ８０３へコピーする。画像データl_sは、探索範囲Ｓに依存する。
【００４４】
ここで、図１４を参照して探索範囲補正部８５０と探索範囲選択部８０２との動作を説明する。図１４は時刻t0,t1に撮像された２枚の入力画像を示す。また、着目画素はt1に撮像された入力画像における画素であり、太線で囲まれた画素である。探索範囲補正部８５０は撮像部８００から取得した撮像情報から、各画像の画素毎の撮像パラメータを解析し、画像バッファ８０１に保存している、時刻t0,t1に撮像された画像の中でノイズが少ない低ノイズ領域（高画質エリア）を特定する。この低ノイズ領域を示す探索範囲補正情報に基づいて、探索範囲選択部８０２が探索範囲を選択する。図１４において、低ノイズ領域は、黒で示す領域で表されている。その後、探索範囲選択部８０２は、探索範囲数Ｓ＝２であることから、２つの探索範囲を選択する。本実施例では、時間的に近い低ノイズ領域と空間的に近い低ノイズ領域とを探索範囲として選択する。なお、探索範囲Ｓ＝１の場合には、時間的に近い領域と空間的に近い領域とのいずれかを探索範囲として選択する。探索範囲選択部８０２は、時刻t0の低ノイズ領域と時刻t1の低ノイズ領域との２つの低ノイズ領域を探索範囲として選択する。具体的には、探索範囲選択部８０２は、時刻t0画像領域の中で、着目画素（時刻t1に撮像された画像における太線で囲われた画素）に空間的に近い低ノイズ領域を探索範囲として選択する。また、探索範囲選択部８０２は時刻t1画像領域の中で、着目画素に空間的に近い低ノイズ領域を探索範囲として選択する。後述するように、この探索範囲内において、着目画素に対応する参照画素を設定することになる。図１４の例においては、時刻t0における画像の上部にある高画質エリア（黒い領域）と、時刻t1における画像の中間部にある高画質エリア（黒い領域）とを探索範囲として設定する。そして、探索範囲選択部８０２は、設定した探索範囲の画像データを画像バッファ８０１から取得し探索範囲画像バッファ８０３へ転送する。なお探索範囲は、使用する参照画素の数と着目ブロックの数に応じて決定することができる。たとえば、本実施例では３ｘ３の参照ブロックを用いるので、端点の参照画素が参照ブロックを構成できるように、５ｘ５のサイズを探索範囲画像バッファ８０３にそれぞれの画像から送信すればよい。
【００４５】
ステップＳ１１０６において、参照ブロック選択部８０４は、参照ブロックを選択する。ここで、図１５を参照して、具体的な参照ブロックの選択方法について説明する。図１５の細線で構成された矩形は探索範囲画像バッファに蓄積された画像データを表している。なお、ここでは１つの画像領域について例示している。たとえば、探索範囲画像バッファ内の時刻t0に対応する画像領域について示している。太線は参照ブロックを表している。参照ブロックはカウントアップする変数iに応じて一画素ずつ右へ移動する。参照ブロックが右端部に到達した場合は、一画素下に下がり、左端から再度同じように移動する。以上が具体的な参照ブロックの選択方法である。
【００４６】
ステップＳ１１０７において、補正量算出部８５１は、相関を算出する際に用いられる補正量を算出する。補正量の算出の詳細を説明する。図１６（ａ）は時刻ｔ１における画像の着目ブロックＴａｒ＿Ｂの位置と、時刻ｔ０における画像の参照ブロックＲｅｆ_Ｂの位置を示している。図１６（ｂ）は、図１６（ａ）のような状況において、着目ブロックＴａｒ＿Ｂと参照ブロックＲｅｆ＿Ｂとの間の画素毎の差分の算出過程を模式的に示した図である。このように、時刻t0における参照ブロックと時刻t1における着目ブロックと差をとった結果であるブロック差分では、上部の信号値の分散と下部の信号値の分散が異なる。なぜなら、上部に対応する第１の領域の差分信号は高画質エリアと低画質エリア両方の信号特性が入っているのに対して、下部に対応する第２の領域は低画質エリアの信号特性しか入っていないからである。具体的には、高画質エリアの黒い領域の信号値分散をσ1として、低画質エリアの白い領域の信号値分散をσ2とすると、上部の差分信号の分散はσ12 +σ22となる。一方、下部の差分信号の分散は2σ22となる。このように、異なる画質エリアにおいてはノイズの特性が異なる。そこで、異なる画質エリア間におけるノイズの特性を調整する処理を行う。本実施例では、下部の特性を上部の特性に変換する為に、下部で求めた分散値2σ22に
【００４７】
【数２】
2014153918.tif 000004
【００４８】
を掛け合わせる。そして、その結果と上部の信号値の分散値との平均値を、この参照ブロックＲｅｆ＿Ｂの相関値Ｃ（ｉ）として、相関算出部８０５が出力する。補正量算出部８５１はこの掛け合わせる値を算出する。なお、上記例では、下部の特性を上部の特性に変換する例を挙げたが、たとえば図１６（ｃ）に示すように、上部の特性を下部の特性に変換する処理を行ってもよい。上記の例は、着目ブロックとは異なる時刻における参照ブロックを用いる例で説明したが、同じ時刻における参照ブロックの場合でも同様の処理を行うことができる。
【００４９】
ステップＳ１１０８において、補正量算出部８５１の補正値を利用して相関算出部８０５が、着目ブロックＴａｒ＿Ｂと参照ブロックＲｅｆ＿Ｂとの間の相関値を算出する。具体的にはブロック間で空間的に対応する画素値同士の差の絶対和Ｃ（ｉ）を算出する。フローチャート中のステップＳ１１０８の関数Ｆ１は、画素値同士の差の絶対和を算出する関数を表している。
【００５０】
ただし、参照ブロックＲｅｆ＿Ｂが撮像パラメータの異なる画像領域をまたいでいる場合、相関算出部８０５は相関値を補正する。すなわち、撮像パラメータの異なる画像領域をまたいでいる場合には、補正量算出部８５１から補正値が送られるので、相関算出部８０５は補正値を用いて相関値を算出する。なお、本例では、探索範囲数Ｓが２であることから、相関値についても２つ算出される。ステップＳ１１０８では、算出された相関値のうち、相関が高い値を用いて処理することができる。
【００５１】
ステップＳ１１０９において、重み決定部８０６は、関数Ｆ２を利用して重みＡ（ｉ)を算出する。関数Ｆ２の具体例は図６に示したものとすることができる。ｈはノイズ低減パラメータであり、ｈ＝２０として、ｘ＝Ｃ（ｉ）とする。その結果、重みＡ（ｉ)は図６の横軸の値から決定される。
【００５２】
ステップＳ１１１０において、重み累積加算部８０７は、相関値Ｃ（ｉ)を重み累積加算値Ｓｕｍ＿Ａに加算する。
【００５３】
ステップＳ１１１１において、画素値重み乗算部８０８は、重み決定部８０６で決定した重みと、参照ブロックの中心の画素（すなわち参照画素）の画素値I_s(center)の積ＡＬ（i）を算出する。
【００５４】
ステップＳ１１１２において、累積加算部８０９は、積ＡＬ（i）を累積加算値Ｓｕｍ＿ＡＬに加算する。
【００５５】
ステップＳ１１１３において、除算部８１０は、全ての参照ブロックに関する処理を終えているかチェックし、Ｎｏの場合、処理がステップＳ１１１４に移る。ステップＳ１１１４ではiに１を加算する。Ｙｅｓの場合、処理がステップＳ１１１５に移る。
【００５６】
ステップＳ１１１５において、除算部８１０は、累積加算値Ｓｕｍ＿ＡＬ／重み累積加算値Ｓｕｍ＿Ａを計算し、ノイズ低減後画素値Ｄｅｎｏｉｓｅｄを出力し、処理が終了する。以上の処理を各画素について行うことにより画像データのノイズを低減することができる。
【００５７】
以上説明した処理制御を行うことで、画質が異なる領域間においてもＮＬＭを適用することが可能となり、ノイズ低減を効果的に施すことが可能となる。
【００５８】
また、高ノイズの画像データからも効果的なノイズ低減がされた画像データを得られることができるので、本技術をＸ線撮像の画像データに適用することにより、結果として被ばく量を抑えることも可能となる。
【００５９】
なお、本実施例では、グレー画像を用いて説明したが、複数のコンポーネント信号を用いて実現しても同様の効果を得ることができる。
【００６０】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014153918.tif 000006
【図２】
2014153918.tif 000007
【図３】
2014153918.tif 000008
【図４】
2014153918.tif 000009
【図５】
2014153918.tif 000010
【図６】
2014153918.tif 000011
【図７】
2014153918.tif 000012
【図８】
2014153918.tif 000013
【図９】
2014153918.tif 000014
【図１０】
2014153918.tif 000015
【図１１】
2014153918.tif 000016
【図１２】
2014153918.tif 000017
【図１３】
2014153918.tif 000018
【図１４】
2014153918.tif 000019
【図１５】
2014153918.tif 000020
【図１６】
2014153918.tif 000021