(57)【要約】【課題】ノイズ削減効果を改善する。【解決手段】第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出する第１の抽出部と、前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出する第２の抽出部と、前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出する第３の抽出部と、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する加算部とを有する。【選択図】図６
2018050259.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出する第１の抽出部と、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出する第２の抽出部と、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出する第３の抽出部と、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する加算部と
を有するノイズ削減装置。
【請求項２】
前記加算部は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど、前記グローバル画素領域の画素値の比率を上げて加算し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど、前記ローカル画素領域の画素値の比率を上げて加算する請求項１に記載のノイズ削減装置。
【請求項３】
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記ローカル画素領域の画素値の重み係数を、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に基づいて算出する算出部を更に有し、
前記算出部により算出される前記ローカル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど小さくなるように規定され、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど大きくなるように規定されている請求項２に記載のノイズ削減装置。
【請求項４】
前記加算部は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど、かつ、前記ターゲット画素領域の画素値のばらつきが小さいほど、前記グローバル画素領域の画素値の比率を上げて加算し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど、かつ、前記ターゲット画素領域の画素値のばらつきが大きいほど、前記ローカル画素領域の画素値の比率を上げて加算する請求項１に記載のノイズ削減装置。
【請求項５】
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記ローカル画素領域の画素値の重み係数を、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分と、前記ターゲット画素領域の画素値のばらつきとに基づいて算出する算出部を更に有し、
前記算出部により算出される前記ローカル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど、かつ、前記グローバル画素領域の画素値のばらつきが小さいほど小さくなるように規定され、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど、かつ、前記グローバル画素領域の画素値のばらつきが大きいほど大きくなるように規定されている請求項４に記載のノイズ削減装置。
【請求項６】
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記グローバル画素領域の画素値の重み係数を、前記ターゲット画素領域の画素値と前記グローバル画素領域の画素値との差分に基づいて算出する第１の算出部と、
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記ローカル画素領域の画素値の重み係数を、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に基づいて算出する第２の算出部と、を更に有し、
前記加算部は、前記グローバル画素領域の画素値の重み係数の方が、前記ローカル画素領域の画素値の重み係数よりも大きい場合には、前記ローカル画素領域の画素値の重み係数をゼロにして重み付け加算し、
前記ローカル画素領域の画素値の重み係数の方が、前記グローバル画素領域の画素値の重み係数よりも大きい場合には、前記グローバル画素領域の画素値の重み係数をゼロにして重み付け加算する請求項１に記載のノイズ削減装置。
【請求項７】
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出する第１の抽出部と、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出する第２の抽出部と、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出する第３の抽出部と、
前記ターゲット画素領域の画素値のばらつきに応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する加算部と
を有するノイズ削減装置。
【請求項８】
前記加算部は、
前記ターゲット画素領域の画素値のばらつきが小さいほど、前記グローバル画素領域の画素値の比率を上げて加算し、
前記ターゲット画素領域の画素値のばらつきが大きいほど、前記ローカル画素領域の画素値の比率を上げて加算する請求項７に記載のノイズ削減装置。
【請求項９】
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記グローバル画素領域の画素値の重み係数及び前記ローカル画素領域の画素値の重み係数を、前記ターゲット画素領域の画素値のばらつきに基づいて算出する算出部を更に有し、
前記算出部により算出される前記グローバル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値のばらつきが小さいほど大きくなり、前記グローバル画素領域の画素値のばらつきが大きいほど小さくなるように規定されており、
前記算出部により算出される前記ローカル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値のばらつきが小さいほど小さくなり、前記グローバル画素領域の画素値のばらつきが大きいほど大きくなるように規定されている請求項８に記載のノイズ削減装置。
【請求項１０】
コンピュータが、
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出し、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出し、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する、
処理を実行するノイズ削減方法。
【請求項１１】
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出し、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出し、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する、
処理を、コンピュータに実行させるノイズ削減プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ削減装置、ノイズ削減方法及びノイズ削減プログラムに関する。
【背景技術】
【０００２】
撮像装置により連続して撮影された複数の画像（例えば、動画像）において、時間軸方向に異なる画像の画素値を加算することで、各画像のノイズを削減するノイズ削減技術が知られている。
【０００３】
一例として、画像に含まれる静止領域と動体領域とを判別し、静止領域における画素値の加算率を上げることで、静止領域のノイズ削減効果を上げるノイズ削減技術が挙げられる。ここで、静止領域とは、時間軸方向に異なる画像間において、撮像装置の動きに伴う位置ずれ（グローバル動きベクトルに相当する位置ずれ）が生じている領域であり、背景領域と呼ばれる領域をいう。また、動体領域とは、時間軸方向に異なる画像間において、動体（例えば、被写体となる人物）の動きに伴う位置ずれ（ローカル動きベクトルに相当する位置ずれ）が生じている領域をいう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２９０８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記ノイズ削減技術の場合、静止領域においてはノイズ削減効果が得られる一方で、動体領域では、アーチファクト（画素値の加算に伴うノイズ）の発生を抑えるべく画素値の加算率を下げて対応するため、ノイズ削減効果が減少してしまう。
【０００６】
一つの側面では、ノイズ削減効果を改善することを目的とする。
【課題を解決するための手段】
【０００７】
一態様によれば、ノイズ削減装置は、
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出する第１の抽出部と、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出する第２の抽出部と、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出する第３の抽出部と、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する加算部とを有する。
【発明の効果】
【０００８】
ノイズ削減効果を改善することができる。
【図面の簡単な説明】
【０００９】
【図１】ノイズ削減装置の一例である撮像装置のハードウェア構成を示す図である。
【図２】画像処理プロセッサにより処理される画像を示す図である。
【図３】画像処理プロセッサにより実行されるノイズ削減方法を示す第１の図である。
【図４】画像処理プロセッサにより実行されるノイズ削減方法を示す第２の図である。
【図５】画像処理プロセッサにより実行されるノイズ削減方法を示す第３の図である。
【図６】画像処理プロセッサの機能構成を示す第１の図である。
【図７】グローバル動きベクトル算出処理のフローチャートである。
【図８】ローカルパッチ抽出処理のフローチャートである。
【図９】ローカルパッチの抽出方法の一例を示す図である。
【図１０】グローバルパッチ重み係数算出部の機能構成を示す第１の図である。
【図１１】近似度算出部の機能構成を示す図である。
【図１２】ローカルパッチ重み係数算出部の機能構成を示す第１の図である。
【図１３】合成部の機能構成を示す図である。
【図１４】合成処理の第１のフローチャートである。
【図１５】画像処理プロセッサの機能構成を示す第２の図である。
【図１６】ローカルパッチ重み係数算出部の機能構成を示す第２の図である。
【図１７】画像処理プロセッサの機能構成を示す第３の図である。
【図１８】合成処理の第２のフローチャートである。
【図１９】画像処理プロセッサの機能構成を示す第４の図である。
【図２０】合成処理の第３のフローチャートである。
【図２１】画像処理プロセッサの機能構成を示す第５の図である。
【図２２】合成処理の第４のフローチャートである。
【図２３】ノイズ削減装置の一例である情報処理装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１１】
［第１の実施形態］
＜ノイズ削減装置のハードウェア構成＞
図１は、ノイズ削減装置の一例である撮像装置のハードウェア構成を示す図である。図１に示すように、撮像装置１００は、撮像素子１０１、主記憶装置１０２、補助記憶装置１０３、信号読み取り装置１０４、画像処理プロセッサ１０５、表示装置１０６を有する。撮像装置１００が有する各ハードウェアは、バス１０７を介して接続されている。
【００１２】
撮像素子１０１は、受光した光信号を電気信号に変換し、撮影画像を生成する。撮像素子１０１は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）センサを含む。
【００１３】
主記憶装置１０２は、撮像素子１０１により撮影された撮影画像を、画像処理プロセッサ１０５が処理する際のワークエリアを提供する。
【００１４】
補助記憶装置１０３は、撮像素子１０１により撮影され、画像処理プロセッサ１０５により処理された撮影画像を格納する。
【００１５】
信号読み取り装置１０４は、撮像素子１０１により撮影された撮影画像を、所定のフレーム周期で読み出し、画像処理プロセッサ１０５に入力する。
【００１６】
画像処理プロセッサ１０５は、信号読み取り装置１０４により読み出された撮影画像を処理する半導体部品である。
【００１７】
表示装置１０６は、撮像素子１０１により撮影され、画像処理プロセッサ１０５により処理された撮影画像を表示する。
【００１８】
＜画像処理プロセッサにより処理される画像＞
図２は、画像処理プロセッサにより処理される画像を示す図である。図２（ａ）に示すように、画像処理プロセッサ１０５は、例えば、所定のフレーム周期Ｔで信号読み取り装置１０４により読み出された、時間軸方向に連続する複数の撮影画像２００を処理する。
【００１９】
矢印２０１で示すタイミングで信号読み取り装置１０４により読み出された撮影画像は、画像処理プロセッサ１０５が現時点で処理する処理対象の第１の画像である。第１の実施形態では、画像処理プロセッサ１０５が現時点で処理する処理対象の第１の画像を、ターゲット画像２２０と称する（図２（ｂ）参照）。
【００２０】
一方、矢印２０１で示すタイミングよりも所定のフレーム周期Ｔ遡ったタイミングで読み出された撮影画像は、ターゲット画像２２０と時間軸方向に異なる第２の画像であって、ターゲット画像２２０に加算される画像である。第１の実施形態では、ターゲット画像２２０に加算される第２の画像を、参照画像２１０と称する（図２（ｂ）参照）。
【００２１】
なお、第１の実施形態では、参照画像２１０として、矢印２０１で示すタイミングで読み出されたターゲット画像２２０よりも所定のフレーム周期Ｔ遡ったタイミングで読み出された撮影画像を用いるものとした。しかしながら、矢印２０１で示すタイミングに対してフレーム周期Ｔ以上遡ったタイミングで読み出された撮影画像を参照画像２１０として用いてもよい。あるいは、矢印２０１で示すタイミングに対してフレーム周期Ｔ以上遡ったタイミングで読み出された複数の撮影画像を参照画像２１０として用いてもよい。
【００２２】
なお、撮影画像２００は、動体である人物２３０を被写体として撮影した動画像であり、図２（ｂ）の例は、右から左へと走っている人物２３０を捉えた動画像を示している。しかしながら、撮影画像２００は、連続的に撮影された静止画像であってもよく、また、被写体は人物に限られず、他の動体であってもよい。
【００２３】
＜画像処理プロセッサによるノイズ削減方法＞
次に、画像処理プロセッサ１０５によるノイズ削減方法について説明する。図３乃至図５は、画像処理プロセッサにより実行されるノイズ削減方法を示す第１乃至第３の図である。図３〜図５では、参照画像２１０とターゲット画像２２０とを便宜的に重ね合わせた重ね合わせ画像３００を用いて、画像処理プロセッサにより実行されるノイズ削減方法について説明する。
【００２４】
図３乃至図５の重ね合わせ画像３００において、点線は参照画像２１０を示しており、実線はターゲット画像２２０を示している。人物２３０が右から左へと走っているため、参照画像２１０とターゲット画像２２０との間で、人物２３０の後の静止領域（背景領域）は、左から右へと動いている。
【００２５】
重ね合わせ画像３００内の網掛け矢印は、グローバル動きベクトル３１０を示しており、参照画像２１０とターゲット画像２２０とに基づいて算出される。グローバル動きベクトル３１０は、参照画像２１０及びターゲット画像２２０に含まれる複数の領域において共通の動きを示したベクトルである。
【００２６】
重ね合わせ画像３００内に含まれる、ターゲット画像２２０内の処理対象の画素領域（ターゲット画素領域）を、ターゲットパッチ３１１とする。
【００２７】
また、ターゲットパッチ３１１のターゲット画像２２０内の位置に対応する参照画像２１０内の位置と、グローバル動きベクトル３１０とに基づいて算出される画素領域（グローバル画素領域）を、グローバルパッチ３１２とする。
【００２８】
更に、ターゲットパッチ３１１の画素値との差分が最小となる画素値を有する参照画像２１０内の画素領域（ターゲットパッチ３１１との近似度が最大となる画素領域（ローカル画素領域））を、ローカルパッチ３１３とする。ここでいう近似度とは、画素領域が似ている度合いを定量化したものであり、例えば、画素値の差分二乗誤差（ＳＡＤ：Sum  of  Absolute  Difference）を正規化することで算出される。
【００２９】
画像処理プロセッサ１０５により実行されるノイズ削減方法では、グローバルパッチ３１２の画素値とローカルパッチ３１３の画素値とを、ターゲットパッチ３１１の画素値に対して重み付け加算する。このとき、グローバルパッチ３１２とローカルパッチ３１３の信頼度に応じた重み係数を算出し、ターゲットパッチ３１１に対して両者を重み付け加算する際の両者の比率を変更する。なお、信頼度とは、ターゲットパッチ３１１に加算するのに適したパッチであることを示す度合いを指す。
【００３０】
具体的には、画像処理プロセッサ１０５により実行されるノイズ削減方法では、まず、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、グローバルパッチ３１２の画素値Ｐ（ｇ）との間の関係（近似度）を算出する。ターゲットパッチ３１１の画素値Ｐ（ｔ）とグローバルパッチ３１２の画素値Ｐ（ｇ）との間の近似度は、グローバルパッチ３１２の信頼度を表している。
【００３１】
つまり、グローバルパッチ３１２の画素値Ｐ（ｇ）がターゲットパッチ３１１の画素値Ｐ（ｔ）に近似しているということは、グローバルパッチ３１２の信頼度が高い状態にあるといえる。また、グローバルパッチ３１２の画素値Ｐ（ｇ）がターゲットパッチ３１１の画素値Ｐ（ｔ）に近似していないということは、グローバルパッチ３１２の信頼度が低い状態にあるといえる。
【００３２】
そこで、画像処理プロセッサ１０５により実行されるノイズ削減方法では、ターゲットパッチ３１１の画素値Ｐ（ｔ）に対して、グローバルパッチ３１２の画素値Ｐ（ｇ）を加算する際の重み係数を、算出した近似度に基づいて決定する。
【００３３】
続いて、画像処理プロセッサ１０５により実行されるノイズ削減方法では、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の近似度を算出する。更に、グローバルパッチ３１２の画素値Ｐ（ｇ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の非近似度を算出する。なお、非近似度とは、画素領域が似ていない度合いを定量化したものであり、近似度が０〜１の間の値で表現される場合において、非近似度＝（１−近似度）で算出される値をいう。ターゲットパッチ３１１の画素値Ｐ（ｔ）とローカルパッチ３１３の画素値Ｐ（ｌ）との間の近似度及びグローバルパッチ３１２の画素値Ｐ（ｇ）とローカルパッチ３１３の画素値Ｐ（ｌ）との間の非近似度は、ローカルパッチ３１３の信頼度を表している。
【００３４】
つまり、ローカルパッチ３１３の画素値Ｐ（ｌ）が、ターゲットパッチ３１１の画素値Ｐ（ｔ）に近似し、グローバルパッチ３１２の画素値Ｐ（ｇ）に近似していないということは、ローカルパッチ３１３の信頼度が高い状態にあるといえる。換言すると、グローバルパッチ３１２の信頼度が低い状態にあるといえる。一方、ローカルパッチ３１３の画素値Ｐ（ｌ）がターゲットパッチ３１１の画素値Ｐ（ｔ）に近似し、グローバルパッチ３１２の画素値Ｐ（ｇ）にも近似しているということは、ローカルパッチ３１３の信頼度が低い状態にあるといえる。換言すると、グローバルパッチ３１２の信頼度が高い状態にあるといえる。
【００３５】
そこで、画像処理プロセッサ１０５により実行されるノイズ削減方法では、ターゲットパッチ３１１の画素値Ｐ（ｔ）に対して、ローカルパッチ３１３の画素値Ｐ（ｌ）を加算する際の重み係数を、算出した近似度及び非近似度に基づいて決定する。
【００３６】
図３の場合、重ね合わせ画像３００内の部分範囲３０１において、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、グローバルパッチ３１２の画素値Ｐ（ｇ）との間の近似度が高い。また、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の近似度が高い。更に、グローバルパッチ３１２の画素値Ｐ（ｇ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の非近似度は低い。
【００３７】
このため、図３の場合、グローバルパッチ３１２の信頼度は高く、ローカルパッチ３１３の信頼度は低いといえる。
【００３８】
この結果、画像処理プロセッサ１０５は、グローバルパッチ３１２の画素値Ｐ（ｇ）を加算する際の重み係数を大きくする一方、ローカルパッチ３１３の画素値Ｐ（ｌ）を加算する際の重み係数を小さくする。
【００３９】
つまり、図３の場合、画像処理プロセッサ１０５により実行されるノイズ削減方法によれば、ターゲットパッチ３１１の画素値Ｐ（ｔ）に加算する画素値のうち、グローバルパッチ３１２の画素値Ｐ（ｇ）の比率が上がる。
【００４０】
一方、図４の場合、重ね合わせ画像３００内の部分範囲４０１において、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、グローバルパッチ３１２の画素値Ｐ（ｇ）との間の近似度は低い。一方、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の近似度は高い。更に、グローバルパッチ３１２の画素値Ｐ（ｇ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の非近似度は高い。
【００４１】
このため、図４の場合、グローバルパッチ３１２の信頼度は低く、ローカルパッチ３１３の信頼度は高いといえる。
【００４２】
この結果、画像処理プロセッサ１０５は、グローバルパッチ３１２の画素値Ｐ（ｇ）を加算する際の重み係数を小さくする一方、ローカルパッチ３１３の画素値Ｐ（ｌ）を加算する際の重み係数を大きくする。
【００４３】
つまり、図４の場合、画像処理プロセッサ１０５により実行されるノイズ削減方法によれば、ターゲットパッチ３１１の画素値Ｐ（ｔ）に加算する画素値のうち、ローカルパッチ３１３の画素値Ｐ（ｌ）の比率が上がる。
【００４４】
図５の場合、重ね合わせ画像３００内の部分範囲５０１において、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、グローバルパッチ３１２の画素値Ｐ（ｇ）との間の近似度は高い。また、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の近似度は高い。更に、グローバルパッチ３１２の画素値Ｐ（ｇ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との間の非近似度は低い。
【００４５】
このため、図５の場合、グローバルパッチ３１２の信頼度は高く、ローカルパッチ３１３の信頼度は低いといえる。
【００４６】
この結果、画像処理プロセッサ１０５は、ターゲットパッチ３１１の画素値Ｐ（ｔ）に対して、グローバルパッチ３１２の画素値Ｐ（ｇ）を加算する際の重み係数を大きくする一方、ローカルパッチ３１３の画素値Ｐ（ｌ）を加算する際の重み係数を小さくする。
【００４７】
つまり、図５の場合、画像処理プロセッサ１０５により実行されるノイズ削減方法によれば、ターゲットパッチ３１１の画素値Ｐ（ｔ）に加算する画素値のうち、グローバルパッチ３１２の画素値Ｐ（ｇ）の比率が上がる。
【００４８】
＜画像処理プロセッサの機能構成＞
図６は、画像処理プロセッサの機能構成を示す第１の図である。図６に示すように、画像処理プロセッサ１０５は、ターゲット画像受付部６０１、ターゲットパッチ抽出部６０２、グローバル動きベクトル算出部６０３、グローバルパッチ抽出部６０４、グローバルパッチ重み係数算出部６０５を有する。また、画像処理プロセッサ１０５は、参照画像受付部６１１、ローカルパッチ抽出部６１２、近似度算出部６１３、ローカルパッチ重み係数算出部６１４、合成部６２０を有する。
【００４９】
ターゲット画像受付部６０１は、信号読み取り装置１０４により読み出された撮影画像２００のうち、ターゲット画像２２０の入力を受け付ける。ターゲット画像受付部６０１は、受け付けたターゲット画像２２０をグローバル動きベクトル算出部６０３に通知する。
【００５０】
参照画像受付部６１１は、信号読み取り装置１０４により読み出された撮影画像２００のうち、参照画像２１０の入力を受け付ける。参照画像受付部６１１は、受け付けた参照画像２１０をローカルパッチ抽出部６１２及びグローバル動きベクトル算出部６０３に通知する。
【００５１】
ターゲットパッチ抽出部６０２は、ターゲット画像受付部６０１が受け付けたターゲット画像２２０から、ターゲットパッチを順次抽出する。ターゲットパッチ抽出部６０２は、ターゲットパッチを抽出するごとに、グローバルパッチ抽出部６０４及びローカルパッチ抽出部６１２に、抽出したターゲットパッチを通知する。
【００５２】
グローバル動きベクトル算出部６０３は、ターゲット画像２２０と参照画像２１０とに基づいてグローバル動きベクトル３１０を算出する。また、グローバル動きベクトル算出部６０３は、算出したグローバル動きベクトル３１０をグローバルパッチ抽出部６０４に通知する。
【００５３】
グローバルパッチ抽出部６０４は、ターゲットパッチ抽出部６０２から通知されたターゲットパッチのターゲット画像２２０内の位置に対応する参照画像２１０内の位置を特定する。また、グローバルパッチ抽出部６０４は、特定した参照画像２１０内の位置と、グローバル動きベクトル算出部６０３から通知されたグローバル動きベクトル３１０とに基づいて、参照画像２１０よりグローバルパッチを抽出する。
【００５４】
また、グローバルパッチ抽出部６０４は、抽出したグローバルパッチと、ターゲットパッチ抽出部６０２から通知されたターゲットパッチとを、合成部６２０及びグローバルパッチ重み係数算出部６０５に通知する。更に、グローバルパッチ抽出部６０４は、抽出したグローバルパッチを、近似度算出部６１３に通知する。
【００５５】
ローカルパッチ抽出部６１２は、ターゲットパッチ抽出部６０２から通知されたターゲットパッチとの近似度が最大となるローカルパッチを、参照画像２１０より抽出する。ローカルパッチ抽出部６１２は、抽出したローカルパッチを近似度算出部６１３及び合成部６２０に通知する。
【００５６】
また、ローカルパッチ抽出部６１２は、ローカルパッチを抽出した際に算出したターゲットパッチとの近似度を、ローカルパッチ重み係数算出部６１４に通知する。
【００５７】
グローバルパッチ重み係数算出部６０５は、グローバルパッチ抽出部６０４よりターゲットパッチ及びグローバルパッチを受け取り、近似度を算出することで、ターゲットパッチに対してグローバルパッチを加算する際に用いる重み係数αを算出する。また、グローバルパッチ重み係数算出部６０５は、算出した重み係数αを合成部６２０に通知する。
【００５８】
近似度算出部６１３は、グローバルパッチ抽出部６０４より通知されたグローバルパッチと、ローカルパッチ抽出部６１２より通知されたローカルパッチとの非近似度を算出し、ローカルパッチ重み係数算出部６１４に通知する。
【００５９】
ローカルパッチ重み係数算出部６１４は、ローカルパッチとグローバルパッチとの非近似度、及び、ターゲットパッチとローカルパッチとの近似度に基づいて、ターゲットパッチに対してローカルパッチを加算する際に用いる重み係数βを算出する。また、ローカルパッチ重み係数算出部６１４は、算出した重み係数βを合成部６２０に通知する。
【００６０】
合成部６２０は、ターゲットパッチの画素値Ｐ（ｔ）に対して、重み係数αと重み係数βとを用いて、グローバルパッチ及びローカルパッチの中心画素の画素値をそれぞれ重み付け加算する。
【００６１】
合成部６２０は、ターゲット画像２２０内の全てのターゲットパッチに対して重み付け加算を行うことで合成画像を生成し、生成した合成画像を出力する。
【００６２】
＜画像処理プロセッサの各部の処理＞
続いて、画像処理プロセッサ１０５の各部の処理の詳細について説明する。
【００６３】
（１）グローバル動きベクトル算出部の処理
図７は、グローバル動きベクトル算出処理のフローチャートである。ステップＳ７０１において、グローバル動きベクトル算出部６０３は、ターゲット画像受付部６０１よりターゲット画像２２０を取得し、参照画像受付部６１１より参照画像２１０を取得する。
【００６４】
ステップＳ７０２において、グローバル動きベクトル算出部６０３は、ターゲット画像２２０及び参照画像２１０それぞれより、特徴点を抽出する。グローバル動きベクトル算出部６０３は、既存のアルゴリズムを用いて、特徴点を抽出する。ここでいう既存のアルゴリズムには、ＳＩＦＴ（Scale  Invariant  Feature  Transform）、ＳＵＲＦ（Speeded  Up  Robust  Feature）が含まれる。あるいは、既存のアルゴリズムには、ＦＡＳＴ（Features  from  Accelerated  Segment  Test）、Ｈａｒｒｉｓ法等が含まれる。
【００６５】
ステップＳ７０３において、グローバル動きベクトル算出部６０３は、ターゲット画像２２０より抽出した特徴点と、参照画像２１０より抽出した特徴点とを用いて距離計算を行い、特徴点マッチングを行う。グローバル動きベクトル算出部６０３は、特徴点の距離計算として、既存の計算法を用いて、特徴点マッチングを行う。ここでいう既存の計算法には、ユークリッド距離を用いた計算法、ハミング距離を用いた計算法等が含まれる。
【００６６】
ステップＳ７０４において、グローバル動きベクトル算出部６０３は、特徴点マッチングの結果に基づいて、画像間の幾何変化を示すアフィン行列を算出することで、グローバル動きベクトル３１０を算出し、グローバルパッチ抽出部６０４に通知する。なお、特徴点マッチングの結果には、外れ値が含まれるため、第１の実施形態においてグローバル動きベクトル算出部６０３は、ＲＡＮＳＡＣ（Random  Sample  Consensus）を使用することで、外れ値に頑強な幾何変換行列を算出する。
【００６７】
（２）ローカルパッチ抽出部の処理
図８は、ローカルパッチ抽出処理のフローチャートである。ステップＳ８０１において、ローカルパッチ抽出部６１２は、参照画像受付部６１１より参照画像２１０を取得する。
【００６８】
ステップＳ８０２において、ローカルパッチ抽出部６１２は、ターゲットパッチ抽出部６０２より通知されたターゲットパッチの位置及び画素値Ｐ（ｔ）を取得する。
【００６９】
ステップＳ８０３において、ローカルパッチ抽出部６１２は、ターゲット画像２２０内のターゲットパッチの位置に応じた参照画像２１０内の所定の検索範囲について、各画素領域の画素値と、ターゲットパッチの画素値Ｐ（ｔ）との近似度を算出する。
【００７０】
ステップＳ８０４において、ローカルパッチ抽出部６１２は、近似度の算出結果に基づいて、参照画像２１０より、ターゲットパッチに対応するローカルパッチ（近似度が最大となる画素領域）を抽出する。なお、ローカルパッチ抽出部６１２は、ローカルパッチを抽出した際に算出した近似度（ターゲットパッチの画素値Ｐ（ｔ）とローカルパッチの画素値Ｐ（ｌ）との近似度）を、ローカルパッチ重み係数算出部６１４に通知する。
【００７１】
図９は、ローカルパッチの抽出方法の一例を示す図である。図９（ｂ）は、ローカルパッチ抽出部６１２が、ターゲットパッチ抽出部６０２よりターゲット画像２２０内のターゲットパッチ３１１の位置を取得したことを示している。
【００７２】
図９（ａ−１）は、ローカルパッチ抽出部６１２が、取得したターゲットパッチ３１１のターゲット画像２２０内の位置に対応する、参照画像２１０内の位置９０１を特定した様子を示している。位置９０１を特定したことで、ローカルパッチ抽出部６１２は、ローカルパッチを検索する際の参照画像２１０内の検索範囲９１０を特定する。
【００７３】
図９（ａ−２）は、ローカルパッチ抽出部６１２が、参照画像２１０の検索範囲９１０内の各画素領域９１１の画素値と、取得したターゲットパッチ３１１の画素値Ｐ（ｔ）との近似度を算出することで、ローカルパッチを検索する様子を示している。
【００７４】
図９（ａ−３）は、ローカルパッチ抽出部６１２が、参照画像２１０を検索し、近似度が最大となる画素領域（画素値の差分が最小となる画素領域）を、ターゲットパッチ３１１に対応するローカルパッチ３１３として抽出した様子を示している。
【００７５】
図９（ａ−３）に示すように、ローカルパッチ抽出部６１２は、ローカルパッチ３１３を抽出するにあたり、下式（１）に基づいて近似度β１を算出する。
【００７６】
【数１】
2018050259.tif 000003
【００７７】
上式（１）において、Ｄ（Ｐ（ｔ），Ｐ（ｌ））は、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との差分二乗誤差（ＳＡＤ：Sum  of  Absolute  Difference）である。σは、ターゲット画像２２０のノイズ量に応じて設定されるパラメータである。上式（１）において算出される近似度β１は、０〜１の値となるように正規化されている。なお、近似度の算出においては、ＳＡＤの代わりに、他の方法（例えば、ＳＳＤ（Sum  of  Squared  Difference）等）を用いてもよい。
【００７８】
（３）グローバルパッチ重み係数算出部の処理
図１０は、グローバルパッチ重み係数算出部の機能構成を示す第１の図である。図１０に示すように、グローバルパッチ重み係数算出部６０５は、ターゲット画像２２０より抽出されたターゲットパッチ３１１の画素値Ｐ（ｔ）を取得する。
【００７９】
また、グローバルパッチ重み係数算出部６０５は、参照画像２１０より抽出されたグローバルパッチ３１２の画素値Ｐ（ｇ）を取得する。
【００８０】
更に、グローバルパッチ重み係数算出部６０５は、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、グローバルパッチ３１２の画素値Ｐ（ｇ）との近似度を算出する下式（２）に代入することで、重み係数αを算出する。
【００８１】
【数２】
2018050259.tif 000004
【００８２】
上式（２）において、Ｄ（Ｐ（ｔ），Ｐ（ｇ））は、ターゲットパッチ３１１の画素値Ｐ（ｔ）と、グローバルパッチ３１２の画素値Ｐ（ｇ）との差分二乗誤差である。σは、ターゲット画像２２０のノイズ量に応じて設定されるパラメータである。なお、上式により算出される重み係数αは、０〜１の値となるように正規化されているものとする。
【００８３】
上式（２）のように規定することで、ターゲットパッチ３１１の画素値Ｐ（ｔ）とグローバルパッチ３１２の画素値Ｐ（ｇ）とが近似しているほど（グローバルパッチ３１２の信頼度が高いほど）、グローバルパッチ３１２の画素値Ｐ（ｇ）の重み係数は大きくなる。
【００８４】
つまり、ターゲットパッチ３１１に対する重み付け加算において、グローバルパッチ３１２の信頼度が高いほど、グローバルパッチ３１２の画素値Ｐ（ｇ）を加算する比率が上がることになる。
【００８５】
（４）近似度算出部の処理
図１１は、近似度算出部の機能構成を示す図である。図１１に示すように、近似度算出部６１３は、参照画像２１０より抽出されたグローバルパッチ３１２の画素値Ｐ（ｇ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）とを取得する。
【００８６】
また、近似度算出部６１３は、グローバルパッチ３１２の画素値Ｐ（ｇ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）とを下式（３）に代入することで、近似度β２を算出する。
【００８７】
【数３】
2018050259.tif 000005
【００８８】
上式（３）において、Ｄ（Ｐ（ｇ），Ｐ（ｌ））は、グローバルパッチ３１２の画素値Ｐ（ｇ）と、ローカルパッチ３１３の画素値Ｐ（ｌ）との差分二乗誤差である。σは、ターゲット画像２２０のノイズ量に応じて設定されるパラメータである。なお、上式（３）において算出される近似度β２は、０〜１の値となるように正規化されているものとする。
【００８９】
（５）ローカルパッチ重み係数算出部の処理
図１２は、ローカルパッチ重み係数算出部の機能構成を示す第１の図である。図１２に示すように、ローカルパッチ重み係数算出部６１４は、ローカルパッチ抽出部６１２より近似度β１を取得し、近似度算出部６１３より近似度β２を取得する。
【００９０】
また、図１２に示すように、ローカルパッチ重み係数算出部６１４は、取得した近似度β１、β２を下式（４）に代入することで、重み係数βを算出する。
【００９１】
【数４】
2018050259.tif 000006
【００９２】
上式（４）のように規定することで、重み係数βは、ローカルパッチ３１３の信頼度が高い場合に（下記参照）、大きくなる。
・ターゲットパッチ３１１の画素値Ｐ（ｔ）とローカルパッチ３１３の画素値Ｐ（ｌ）との近似度が高い場合。
・グローバルパッチ３１２の画素値Ｐ（ｇ）とローカルパッチ３１３の画素値Ｐ（ｌ）との非近似度が高い場合（近似度が低い場合）。
【００９３】
つまり、ターゲットパッチ３１１に対する重み付け加算において、ローカルパッチ３１３の信頼度が高いほど、ローカルパッチ３１３の画素値Ｐ（ｌ）を加算する比率が上がることになる。換言すると、グローバルパッチ３１２の画素値Ｐ（ｇ）を加算する比率が下がることになる。
【００９４】
一方、上式（４）のように規定することで、重み係数βは、ローカルパッチ３１３の信頼度が低い場合に（下記参照）、小さくなる。
・ターゲットパッチ３１１の画素値Ｐ（ｔ）とローカルパッチ３１３の画素値Ｐ（ｌ）との近似度が低い場合。
・グローバルパッチ３１２の画素値Ｐ（ｇ）とローカルパッチ３１３の画素値Ｐ（ｌ）との非近似度が低い場合（近似度が高い場合）。
【００９５】
つまり、ターゲットパッチ３１１に対する重み付け加算において、ローカルパッチ３１３の信頼度が低いほど、ローカルパッチ３１３の画素値Ｐ（ｌ）を加算する比率が下がることになる。換言すると、グローバルパッチ３１２の画素値Ｐ（ｇ）を加算する比率が上がることになる。
【００９６】
（６）合成部の処理
図１３は、合成部の機能構成を示す図である。図１３に示すように、合成部６２０は、ターゲットパッチの画素値Ｐ（ｔ）、グローバルパッチの画素値Ｐ（ｇ）、ローカルパッチの画素値Ｐ（ｌ）、重み係数α、重み係数βを取得する。また、合成部６２０は、取得したターゲットパッチの中心画素の画素値Ｐ（ｔ）、グローバルパッチの中心画素の画素値Ｐ（ｇ）、ローカルパッチの中心画素の画素値Ｐ（ｌ）、重み係数α、重み係数βを下式（５）に代入することで、合成画像を算出する。なお、下式（５）において、Ｐ（ｔ）は、合成部６２０が取得したターゲットパッチの画素値Ｐ（ｔ）のうち、特に、中心画素の画素値を指すものとする。同様に、Ｐ（ｇ）、Ｐ（ｌ）は、合成部６２０が取得したグローバルパッチの画素値Ｐ（ｇ）及びローカルパッチの画素値Ｐ（ｌ）のそれぞれの中心画素の画素値を指すものとする。
【００９７】
【数５】
2018050259.tif 000007
【００９８】
このように、合成部６２０は、重み係数α、βを用いて、グローバルパッチの中心画素の画素値Ｐ（ｇ）、ローカルパッチの中心画素の画素値Ｐ（ｌ）を、ターゲットパッチの中心画素の画素値Ｐ（ｔ）に対して重み付け加算することで、合成画像を算出する。
【００９９】
＜画像処理プロセッサによる合成処理＞
続いて、画像処理プロセッサ１０５による合成処理全体の流れについて説明する。図１４は、合成処理の第１のフローチャートである。
【０１００】
ステップＳ１４０１において、ターゲット画像受付部６０１は、ターゲット画像２２０を受け付ける。また、参照画像受付部６１１は、参照画像２１０を受け付ける。
【０１０１】
ステップＳ１４０２において、グローバル動きベクトル算出部６０３は、グローバル動きベクトル算出処理を行う。なお、グローバル動きベクトル算出処理の詳細は、図７を用いて説明済みであるため、ここでは説明を省略する。
【０１０２】
ステップＳ１４０３において、ターゲットパッチ抽出部６０２は、ターゲットパッチのパッチ数をカウントするカウンタｎに１を代入する。
【０１０３】
ステップＳ１４０４において、ターゲットパッチ抽出部６０２は、ターゲット画像２２０から、ターゲットパッチ（ｎ）を抽出する。ターゲットパッチ抽出部６０２は、例えば、ターゲット画像２２０の左上端を最初の抽出位置として、ターゲット画像２２０からターゲットパッチ（ｎ）を抽出する。以降、ターゲットパッチ抽出部６０２は、カウンタｎをインクリメントするごとに、ターゲット画像２２０内において抽出位置を１画素ずつ右方向に移動させながら、順次、ターゲットパッチ（ｎ）を抽出していく。なお、抽出位置がターゲット画像２２０の右端に到達すると、ターゲットパッチ抽出部６０２は、抽出位置を１画素下方向に移動させて、同様の処理を繰り返す。ターゲットパッチ抽出部６０２は、抽出位置がターゲット画像２２０の右下端に到達するまで、ターゲットパッチを抽出する処理を繰り返す。
【０１０４】
ステップＳ１４０５において、グローバルパッチ抽出部６０４は、ターゲットパッチ（ｎ）に対するグローバルパッチを、参照画像２１０から抽出する。
【０１０５】
ステップＳ１４０６において、ローカルパッチ抽出部６１２は、ローカルパッチ抽出処理を行い、ローカルパッチを抽出するとともに、近似度β１を算出する。なお、ローカルパッチ抽出処理の詳細は、図８、図９を用いて説明済みであるため、ここでは説明を省略する。
【０１０６】
ステップＳ１４０７において、グローバルパッチ重み係数算出部６０５は、ターゲットパッチ（ｎ）の画素値Ｐ（ｔ）に対して、グローバルパッチの画素値Ｐ（ｇ）を加算する際の重み係数αを算出する。
【０１０７】
ステップＳ１４０８において、近似度算出部６１３は、グローバルパッチの画素値Ｐ（ｇ）とローカルパッチの画素値Ｐ（ｌ）との近似度β２を算出する。
【０１０８】
ステップＳ１４０９において、ローカルパッチ重み係数算出部６１４は、ローカルパッチ抽出部６１２により算出された近似度β１と近似度算出部６１３により算出された近似度β２とを取得する。また、ローカルパッチ重み係数算出部６１４は、取得した近似度β１、β２を用いて、ターゲットパッチ（ｎ）の画素値に対して、ローカルパッチの画素値Ｐ（ｌ）を加算する際の重み係数βを算出する。
【０１０９】
ステップＳ１４１０において、合成部６２０は、ターゲットパッチ（ｎ）の中心画素の画素値Ｐ（ｔ）に対して、グローバルパッチの中心画素の画素値Ｐ（ｇ）及びローカルパッチの中心画素の画素値Ｐ（ｌ）を、重み係数α、βを用いて重み付け加算する。
【０１１０】
ステップＳ１４１１において、ターゲットパッチ抽出部６０２は、ターゲット画像２２０に含まれる全てのターゲットパッチ（ｎ）について、合成処理を行ったか否かを判定する。
【０１１１】
ステップＳ１４１１において、未だ合成処理を行っていないターゲットパッチ（ｎ）があると判定した場合には（ステップＳ１４１１においてＮｏの場合には）、ステップＳ１４１４において、カウンタｎをインクリメントした後、ステップＳ１４０４に戻る。
【０１１２】
一方、ステップＳ１４１１において、全てのターゲットパッチ（ｎ）について、合成処理を行ったと判定した場合には（ステップＳ１４１１においてＹｅｓの場合には）、ステップＳ１４１２に進む。
【０１１３】
ステップＳ１４１２において、合成部６２０は、合成処理が行われたターゲット画像２２０を出力する。
【０１１４】
ステップＳ１４１３において、ターゲット画像受付部６０１は、撮影が終了したか否かを判定する。ステップＳ１４１３において、撮影が終了していないと判定した場合には（ステップＳ１４１３においてＮｏの場合には）、ステップＳ１４０１に戻る。
【０１１５】
一方、ステップＳ１４１３において、撮影が終了したと判定した場合には（ステップＳ１４１３においてＹｅｓの場合には）、合成処理を終了する。
【０１１６】
以上の説明から明らかなように、第１の実施形態における撮像装置１００は、ターゲットパッチの画素値とグローバルパッチの画素値との近似度を算出する。
【０１１７】
そして、第１の実施形態における撮像装置１００は、ターゲットパッチの画素値とグローバルパッチの画素値とが近似するほど、グローバルパッチの重み係数αを大きくする。つまり、グローバルパッチの信頼度が高いほど、グローバルパッチの重み係数αを大きくする。
【０１１８】
これにより、第１の実施形態における撮像装置１００によれば、グローバルパッチの信頼度が高いほど、重み付け加算におけるグローバルパッチの比率を上げ、ローカルパッチの比率を下げて加算することが可能になる。
【０１１９】
なお、グローバルパッチの信頼度が高い領域とは、例えば、図３の部分範囲３０１で示したように、静止領域と判別される領域である。かかる領域では、従来、加算率を上げることでノイズ削減効果を上げていた。上記のとおり、第１の実施形態における撮像装置１００においても、グローバルパッチの信頼度が高い領域では、グローバルパッチの比率を上げて加算するため、従来と同様のノイズ削減効果を得ることができる。
【０１２０】
また、第１の実施形態における撮像装置１００は、ターゲットパッチの画素値とローカルパッチの画素値との近似度と、ローカルパッチの画素値とグローバルパッチの画素値との非近似度とを算出する。
【０１２１】
そして、第１の実施形態における撮像装置１００は、ターゲットパッチの画素値とローカルパッチの画素値とが近似するほど、かつ、ローカルパッチの画素値とグローバルパッチの画素値とが近似していないほど、ローカルパッチの重み係数βを大きくする。つまり、ローカルパッチの信頼度が高いほど、ローカルパッチの重み係数βを大きくする。
【０１２２】
これにより、第１の実施形態における撮像装置１００によれば、ローカルパッチの信頼度が高いほど、重み付け加算におけるグローバルパッチの比率を下げ、ローカルパッチの比率を上げて加算することが可能になる。
【０１２３】
なお、ローカルパッチの信頼度が高い領域とは、例えば、図４の部分範囲４０１で示したように、動体領域と判別される領域である。かかる領域では、従来、加算率を下げていたため、ノイズ削減効果が減少していた。上記のとおり、第１の実施形態における撮像装置１００では、ローカルパッチの信頼度が高い領域では、ローカルパッチの比率を上げて加算するため、従来と比較して、ノイズ削減効果を改善することができる。
【０１２４】
更に、第１の実施形態における撮像装置１００は、ターゲットパッチの画素値とローカルパッチの画素値とが近似し、かつ、ローカルパッチの画素値とグローバルパッチの画素値とが近似するほど、ローカルパッチの重み係数βを小さくする。ターゲットパッチの画素値とローカルパッチの画素値とが近似する場合、ローカルパッチの画素値が正しくないか、または、ローカルパッチの画素値を選択するメリットが低い可能性がある。つまり、ローカルパッチの信頼度が低いまたは効率が低いと想定されるほど、ローカルパッチの重み係数βを小さくする。
【０１２５】
これにより、第１の実施形態における撮像装置１００によれば、ローカルパッチの信頼度が低いほど、重み付け加算におけるグローバルパッチの比率を上げ、ローカルパッチの比率を下げて加算することが可能になる。
【０１２６】
なお、ローカルパッチの信頼度が低い領域とは、例えば、図５の部分範囲５０１で示したように、静止領域が動体領域と誤判別される恐れがある領域である。かかる領域では、従来、加算率を下げていたため、ノイズ削減効果が減少していた。上記のとおり、第１の実施形態における撮像装置１００では、ローカルパッチの信頼度が低い領域では、グローバルパッチの比率を上げて加算するため、従来と比較して、ノイズ削減効果を改善することができる。
【０１２７】
［第２の実施形態］
上記第１の実施形態では、ターゲットパッチの画素値Ｐ（ｔ）にローカルパッチの画素値Ｐ（ｌ）を加算する際の重み係数βを、近似度及び非近似度に基づいて算出した。これに対して、第２の実施形態では、更に、ターゲットパッチの平坦度を加味して、重み係数βを算出する。これにより、ターゲットパッチの平坦度が大きい場合に（ローカルパッチの信頼度が低い場合に）、ローカルパッチの画素値Ｐ（ｌ）の重み係数を小さくすることができる。また、ターゲットパッチの平坦度が小さい場合に（ローカルパッチの信頼度が高い場合に）、ローカルパッチの画素値Ｐ（ｌ）の重み係数を大きくすることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１２８】
＜画像処理プロセッサの機能構成＞
図１５は、画像処理プロセッサの機能構成を示す第２の図である。図６に示した機能構成との相違点は、図１５に示す画像処理プロセッサ１５００の場合、平坦度算出部１５０１を含む点である。また、図６に示した機能構成との相違点は、図１５に示す画像処理プロセッサ１５００の場合、図６に示したローカルパッチ重み係数算出部６１４とは異なる機能を有するローカルパッチ重み係数算出部１５０２を含む点である。
【０１２９】
平坦度算出部１５０１は、ターゲット画像２２０より抽出されたターゲットパッチの画素値の分散値（ばらつき）を算出することで、ターゲットパッチの平坦度β３を算出する。なお、平坦度算出部１５０１は、平坦度β３が０〜１の値をとるように正規化されているものとする。また、平坦度算出部１５０１は、算出した平坦度β３をローカルパッチ重み係数算出部１５０２に通知する。
【０１３０】
ローカルパッチ重み係数算出部１５０２は、ターゲットパッチに対してローカルパッチを加算する際の重み係数βを、以下の値に基づいて算出する。
・ターゲットパッチの画素値の平坦度（β３）。
・ターゲットパッチの画素値Ｐ（ｔ）とローカルパッチの画素値Ｐ（ｇ）との近似度（β１）。
・ローカルパッチの画素値Ｐ（ｌ）とグローバルパッチの画素値Ｐ（ｇ）との非近似度（１−β２）。
【０１３１】
＜ローカルパッチ重み係数算出部の処理＞
図１６は、ローカルパッチ重み係数算出部の機能構成を示す第２の図である。図１６に示すように、ローカルパッチ重み係数算出部１５０２は、ターゲットパッチに対してローカルパッチを加算する際の重み係数βを、下式（６）に基づいて算出する。
【０１３２】
【数６】
2018050259.tif 000008
【０１３３】
このように、第２の実施形態における撮像装置１００は、ターゲットパッチの画素値Ｐ（ｔ）の分散値（ばらつき）Ｖ（Ｐ（ｔ））が小さく、平坦度が大きい（非平坦度が小さい）ほど、ローカルパッチの重み係数βを小さくする。ターゲットパッチの画素値Ｐ（ｔ）の分散値が小さく、平坦度が大きい場合、ローカルパッチを検索する際の検索精度が低下する（近似度が高い画素領域が多く抽出され、ローカルパッチが一意に定まらない可能性がある）からである。つまり、ターゲットパッチの画素値Ｐ（ｔ）の分散値が小さく、平坦度が大きい場合は、グローバルパッチの信頼度が高く、ローカルパッチの信頼度が低いと判断できるため、ローカルパッチの重み係数βを小さくする。
【０１３４】
これにより、ローカルパッチの信頼度が低いほど、重み付け加算におけるグローバルパッチの比率を上げ、ローカルパッチの比率を下げて加算することが可能になる。この結果、第２の実施形態における撮像装置１００によれば、平坦度が大きい領域（例えば、図５の部分範囲５０１）において、ノイズ削減効果をより改善することができる。
【０１３５】
また、第２の実施形態における撮像装置１００は、ターゲットパッチの画素値Ｐ（ｔ）の分散値（ばらつき）Ｖ（Ｐ（ｔ））が大きく、平坦度が小さい（非平坦度が大きい）ほど、ローカルパッチの重み係数βを大きくする。つまり、ローカルパッチの信頼度が高いほど、ローカルパッチの重み係数βを大きくする。
【０１３６】
これにより、ローカルパッチの信頼度が高いほど、重み付け加算におけるグローバルパッチの比率を下げ、ローカルパッチの比率を上げて加算することが可能になる。この結果、第２の実施形態における撮像装置１００によれば、平坦度が小さい領域（例えば、図３の部分範囲３０１、図４の部分範囲４０１）において、ノイズ削減効果をより改善することができる。
【０１３７】
［第３の実施形態］
上記第１及び第２の実施形態では、ターゲットパッチの画素値Ｐ（ｔ）に、グローバルパッチの画素値Ｐ（ｇ）と、ローカルパッチの画素値Ｐ（ｌ）の両方を加算する場合について説明した。これに対して、第３の実施形態では、ターゲットパッチの画素値Ｐ（ｔ）に、グローバルパッチの画素値Ｐ（ｇ）またはローカルパッチの画素値Ｐ（ｌ）のいずれか一方（信頼度の高い方）を加算する場合について説明する。以下、第３の実施形態について、上記第１または第２の実施形態との相違点を中心に説明する。
【０１３８】
＜画像処理プロセッサの機能構成＞
図１７は、画像処理プロセッサの機能構成を示す第３の図である。図６に示した機能構成との相違点は、図１７に示す画像処理プロセッサ１７００の場合、合成パッチ選択部１７０１を含む点である。なお、グローバルパッチ重み係数算出部６０５は、算出した重み係数αを、合成パッチ選択部１７０１に通知する。また、ローカルパッチ重み係数算出部６１４は、算出した重み係数βを、合成パッチ選択部１７０１に通知する。
【０１３９】
合成パッチ選択部１７０１は、グローバルパッチ重み係数算出部６０５から受け取った重み係数αと、ローカルパッチ重み係数算出部６１４から受け取った重み係数βとを比較する。ここで、グローバルパッチ重み係数算出部６０５から受け取った重み係数αの方が、ローカルパッチ重み係数算出部６１４から受け取った重み係数βより大きかったとする。この場合、合成パッチ選択部１７０１は、重み係数βを０に置き換えたうえで、重み係数αと重み係数βとを合成部６２０に通知する。
【０１４０】
一方、ローカルパッチ重み係数算出部６１４から受け取った重み係数βの方が、グローバルパッチ重み係数算出部６０５から受け取った重み係数αより大きかったとする。この場合、合成パッチ選択部１７０１は、重み係数αを０に置き換えたうえで、重み係数αと重み係数βとを合成部６２０に通知する。
【０１４１】
これにより、合成部６２０は、ターゲットパッチに対して、グローバルパッチまたはローカルパッチのいずれか一方（信頼度の高い方）を用いて、対応する重み係数に基づく重み付け加算を行うことができる。
【０１４２】
＜画像処理プロセッサによる合成処理＞
図１８は、合成処理の第２のフローチャートである。図１４に示したフローチャートとの相違点は、ステップＳ１８０１である。
【０１４３】
ステップＳ１８０１において、合成パッチ選択部１７０１は、グローバルパッチ重み係数算出部６０５から受け取った重み係数αと、ローカルパッチ重み係数算出部６１４から受け取った重み係数βとを比較する。合成パッチ選択部１７０１は、グローバルパッチ重み係数算出部６０５から受け取った重み係数αの方が大きいと判定した場合には、重み係数αと、重み係数β＝０とを合成部６２０に通知する。
【０１４４】
また、合成パッチ選択部１７０１は、ローカルパッチ重み係数算出部６１４から受け取った重み係数βの方が大きいと判定した場合には、重み係数α＝０と、重み係数βとを合成部６２０に通知する。更に、合成部６２０は、通知された重み係数を用いて合成画像を生成する。
【０１４５】
以上の説明から明らかなように、第３の実施形態における撮像装置１００は、グローバルパッチの重み係数の方がローカルパッチの重み係数よりも大きい場合（つまり、信頼度が高い場合）には、ターゲットパッチに対してグローバルパッチを重み付け加算する。
【０１４６】
また、第３の実施形態における撮像装置１００は、ローカルパッチの重み係数の方がグローバルパッチの重み係数よりも大きい場合（つまり、信頼度が高い場合）には、ターゲットパッチに対してローカルパッチを重み付け加算する。
【０１４７】
このように、信頼度の高い方のパッチを用いて、ターゲットパッチに対する重み付け加算を行うことで、信頼度の高いパッチの比率を上げて加算することが可能になる。この結果、第３の実施形態における撮像装置１００によれば、グローバルパッチまたはローカルパッチの信頼度が高い領域において、ノイズ削減効果をより改善することができる。
【０１４８】
［第４の実施形態］
上記第１の実施形態では、重み係数α、βを連続的に変化させる場合について説明した。これに対して、第４の実施形態では、予め定めた所定数の重み係数α、βの組み合わせを用いて離散的に変化させる場合について説明する。以下、第４の実施形態について、第１の実施形態との相違点を中心に説明する。
【０１４９】
＜画像処理プロセッサの機能構成＞
図１９は、画像処理プロセッサの機能構成を示す第４の図である。図６に示した機能構成との相違点は、図１９に示す画像処理プロセッサ１９００の場合、グローバルパッチ重み係数算出部６０５の代わりに、近似度算出部１９０１を含む点、及び、重み係数算出部１９０２を含む点である。
【０１５０】
近似度算出部１９０１は、グローバルパッチ抽出部６０４よりターゲットパッチ及びグローバルパッチを受け取り、近似度を算出する。また、近似度算出部１９０１は、算出した近似度を重み係数算出部１９０２に通知する。なお、第４の実施形態では、ターゲットパッチの画素値Ｐ（ｔ）とグローバルパッチの画素値Ｐ（ｇ）との近似度を、α１とおく。近似度α１は、第１の実施形態で説明した式（式（２））により算出される。
【０１５１】
重み係数算出部１９０２は、近似度算出部１９０１より、ターゲットパッチの画素値Ｐ（ｔ）とグローバルパッチの画素値Ｐ（ｇ）との近似度α１を取得する。また、重み係数算出部１９０２は、近似度算出部６１３より、グローバルパッチの画素値Ｐ（ｇ）とローカルパッチの画素値Ｐ（ｌ）との近似度β２を取得する。また、重み係数算出部１９０２は、ローカルパッチ抽出部６１２より、ターゲットパッチの画素値Ｐ（ｔ）とローカルパッチの画素値Ｐ（ｌ）との近似度β１を取得する。
【０１５２】
更に、重み係数算出部１９０２は、近似度α１、β１、非近似度（１−β２）と、重み係数α、βとの対応関係が規定されたテーブル１９１０を参照し、取得した近似度α１、β１、非近似度（１−β２）に応じた重み係数α、βを読み出す。
【０１５３】
なお、テーブル１９１０において、“ローカルパッチとターゲットパッチの近似度”と“ターゲットパッチとグローバルパッチの近似度”、“ローカルパッチとグローバルパッチの非近似度”は、それぞれ、所定の範囲を有しているものとする。このため、重み係数算出部１９０２は、近似度α１、β１、非近似度（１−β２）が属する範囲の組み合わせを判定し、対応する重み係数α、βを読み出す。
【０１５４】
更に、重み係数算出部１９０２は、読み出した重み係数α、βを合成部６２０に通知する。
【０１５５】
＜画像処理プロセッサによる合成処理＞
図２０は、合成処理の第３のフローチャートである。図１４に示したフローチャートとの相違点は、ステップＳ１４０７、Ｓ１４０９の処理の代わりに、ステップＳ２００１、Ｓ２００２の処理が含まれる点である。
【０１５６】
ステップＳ２００１において、近似度算出部１９０１は、グローバルパッチの画素値Ｐ（ｇ）とターゲットパッチの画素値Ｐ（ｔ）との近似度α１を算出する。
【０１５７】
ステップＳ２００２において、重み係数算出部１９０２は、ステップＳ２００１において近似度算出部１９０１により算出された近似度α１を取得する。また、重み係数算出部１９０２は、ステップＳ１４０６においてローカルパッチ抽出部６１２により算出された近似度β１を取得する。また、重み係数算出部１９０２は、ステップＳ１４０８において近似度算出部６１３により算出された近似度β２を取得する。また、重み係数算出部１９０２は、取得した近似度α１、β１、非近似度（１−β２）と重み係数α、βとの対応関係が規定されたテーブル１９１０を参照し、対応する重み係数α、βを読み出す。更に、重み係数算出部１９０２は、読み出した重み係数α、βを合成部６２０に通知する。
【０１５８】
以上の説明から明らかなように、第４の実施形態における撮像装置１００は、重み係数α、βの組み合わせを、グローバルパッチ及びローカルパッチそれぞれの信頼度を特定するための範囲の組み合わせと対応付けてテーブル１９１０に保持する。
【０１５９】
また、第４の実施形態における撮像装置１００は、取得した近似度α１、β１及び非近似度（１−β２）が、テーブル１９１０に規定された近似度または非近似度の範囲のいずれに属するかを判定する。更に、第４の実施形態における撮像装置１００は、判定結果に応じて、テーブル１９１０より重み係数α、βの組み合わせを読み出す。
【０１６０】
これにより、第４の実施形態における撮像装置１００によれば、グローバルパッチの信頼度とローカルパッチの信頼度の組み合わせに応じて予め定められた重み係数α、βにより、グローバルパッチとローカルパッチとを重み付け加算することができる。
【０１６１】
［第５の実施形態］
上記第２の実施形態では、ターゲットパッチの平坦度を、ローカルパッチの重み係数βに反映させる場合について説明した。これに対して、第５の実施形態では、ターゲットパッチの平坦度に基づいて、グローバルパッチの重み係数αとローカルパッチの重み係数βの両方を決定する。上記第２の実施形態で説明したように、ターゲットパッチの平坦度により、グローバルパッチの信頼度及びターゲットパッチの信頼度を特定できるからである。以下、第５の実施形態について、上記第２の実施形態との相違点を中心に説明する。
【０１６２】
＜画像処理プロセッサの機能構成＞
図２１は、画像処理プロセッサの機能構成を示す第５の図である。図１５に示した機能構成との相違点は、図２１に示す画像処理プロセッサ２１００の場合、グローバルパッチ重み係数算出部６０５、近似度算出部６１３、ローカルパッチ重み係数算出部１５０２を有していない点である。また、図２１に示す画像処理プロセッサ２１００の平坦度算出部２１０１の場合、図１５に示した平坦度算出部１５０１とは、異なる機能を有している点である。
【０１６３】
平坦度算出部２１０１は、ターゲット画像２２０より抽出されたターゲットパッチの分散値（ばらつき）を算出することで、ターゲットパッチの平坦度を算出する。また、平坦度算出部２１０１は、算出した平坦度に応じて重み係数α、βを決定し、決定した重み係数α、βを合成部６２０に通知する。
【０１６４】
なお、平坦度算出部２１０１は、例えば、算出した平坦度が所定の閾値以上（分散値が所定の閾値以下）であった場合には、グローバルパッチの信頼度が高く、グローバルパッチの信頼度が低いと判定し、重み係数αを重み係数βよりも大きい値に決定する。一方、平坦度算出部２１０１は、算出した平坦度が所定の閾値未満であった場合（分散値が所定の閾値より大きい場合）には、グローバルパッチの信頼度が低く、グローバルパッチの信頼度が高いと判定し、重み係数βを重み係数α以上の値に決定する。
【０１６５】
＜画像処理プロセッサによる合成処理＞
図２２は、合成処理の第４のフローチャートである。図１４に示したフローチャートとの相違点は、ステップＳ２２０１、Ｓ２２０２である。
【０１６６】
ステップＳ２２０１において、平坦度算出部２１０１は、ターゲット画像２２０より抽出されたターゲットパッチ内の画素値の分散値を算出することで、ターゲットパッチの平坦度を算出する。
【０１６７】
ステップＳ２２０２において、平坦度算出部２１０１は、算出した平坦度に基づいて、重み係数α、βを決定し、合成部６２０に通知する。
【０１６８】
以上の説明から明らかなように、第５の実施形態における撮像装置１００は、算出した平坦度が所定の閾値以上であった場合（グローバルパッチの信頼度の方がローカルパッチの信頼度よりも高い場合）には、グローバルパッチの重み係数αを大きくする。
【０１６９】
これにより、グローバルパッチの信頼度が高く、ローカルパッチの信頼度が低い場合に、重み付け加算におけるグローバルパッチの比率を上げ、ローカルパッチの比率を下げて加算することが可能になる。この結果、第５の実施形態における撮像装置１００によれば、平坦度が高い領域において、ノイズ削減効果をより改善することができる。
【０１７０】
また、第５の実施形態におけるノイズ削減装置１００は、算出した平坦度が所定の閾値未満であった場合（ローカルパッチの信頼度の方がグローバルパッチの信頼度よりも高い場合）には、グローバルパッチの重み係数αを小さくする。
【０１７１】
これにより、グローバルパッチの信頼度が低く、ローカルパッチの信頼度が高い場合に、重み付け加算におけるグローバルパッチの比率を下げ、ローカルパッチの比率を上げて加算することが可能になる。この結果、第５の実施形態における撮像装置１００によれば、平坦度が低い領域において、ノイズ削減効果をより改善することができる。
【０１７２】
［その他の実施形態］
上記第１乃至第５の実施形態では、ノイズ削減装置として、撮像装置１００を例示し、半導体部品である画像処理プロセッサ１０５により合成処理を実現したが、ノイズ削減装置は、撮像装置１００に限定されない。例えば、ＰＣ（Personal  Computer）等の情報処理装置を用い、ソフトウェアにより合成処理を実現してもよい。
【０１７３】
図２３は、ノイズ削減装置の一例である情報処理装置のハードウェア構成を示す図である。図２３に示すように、情報処理装置２３００は、ＣＰＵ２３０１、主記憶装置２３０２、補助記憶装置２３０３、入力装置２３０４、表示装置２３０５、インタフェース装置２３０６を有し、各ハードウェアは、バス２３０７を介して接続されている。
【０１７４】
ＣＰＵ２３０１〜インタフェース装置２３０６はコンピュータを構築する。ただし、ＣＰＵ２３０１〜補助記憶装置２３０３及びバス２３０７で、コンピュータを構築してもよい。
【０１７５】
情報処理装置２３００の場合、図６、図１５、図１７、図１９、図２１それぞれにおいて示した機能構成を実現するためのノイズ削減プログラムが、インタフェース装置２３０６を介してインストールされ、補助記憶装置２３０３に格納されている。
【０１７６】
また、ＣＰＵ２３０１が、主記憶装置２３０２を作業領域として、補助記憶装置２３０３に格納されているノイズ削減プログラムを実行することで、図６、図１５、図１７、図１９、図２１それぞれにおいて示した機能構成を実現する。
【０１７７】
なお、当該ノイズ削減プログラムは、例えば、入力装置２３０４を介して入力された指示に基づいて実行が開始され、実行結果は、例えば、表示装置２３０５に表示される。
【０１７８】
また、上記第１乃至第５の実施形態では、ターゲットパッチ３１１の画素値との差分が最小となる画素値を有する参照画像２１０内の画素領域（ターゲットパッチ３１１との近似度が最大となる画素領域（ローカル画素領域））を、ローカルパッチ３１３とした。しかしながら、ローカルパッチ３１３は、ターゲットパッチ３１１の画素値との差分が最小である場合に限定されるものではなく、検索範囲９１０内の他の画素領域の画素値よりも、差分が小さい画素領域であればよい。
【０１７９】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出する第１の抽出部と、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出する第２の抽出部と、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出する第３の抽出部と、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する加算部と
を有するノイズ削減装置。
（付記２）
前記加算部は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど、前記グローバル画素領域の画素値の比率を上げて加算し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど、前記ローカル画素領域の画素値の比率を上げて加算する付記１に記載のノイズ削減装置。
（付記３）
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記ローカル画素領域の画素値の重み係数を、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に基づいて算出する算出部を更に有し、
前記算出部により算出される前記ローカル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど小さくなるように規定され、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど大きくなるように規定されている付記２に記載のノイズ削減装置。
（付記４）
前記加算部は、
前記ターゲット画素領域の画素値と前記グローバル画素領域の画素値との差分が小さいほど、前記グローバル画素領域の画素値の比率を上げて加算する付記１に記載のノイズ削減装置。
（付記５）
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記グローバル画素領域の画素値の重み係数を、前記ターゲット画素領域の画素値と前記グローバル画素領域の画素値との差分に基づいて算出する算出部を更に有し、
前記算出部により算出される前記グローバル画素領域の画素値の重み係数は、
前記ターゲット画素領域の画素値と前記グローバル画素領域の画素値との差分が小さいほど大きくなるように規定されている付記４に記載のノイズ削減装置。
（付記６）
前記加算部は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど、かつ、前記ターゲット画素領域の画素値のばらつきが小さいほど、前記グローバル画素領域の画素値の比率を上げて加算し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど、かつ、前記ターゲット画素領域の画素値のばらつきが大きいほど、前記ローカル画素領域の画素値の比率を上げて加算する付記１に記載のノイズ削減装置。
（付記７）
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記ローカル画素領域の画素値の重み係数を、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分と、前記ターゲット画素領域の画素値のばらつきとに基づいて算出する算出部を更に有し、
前記算出部により算出される前記ローカル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が小さいほど、かつ、前記グローバル画素領域の画素値のばらつきが小さいほど小さくなるように規定され、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分が大きいほど、かつ、前記グローバル画素領域の画素値のばらつきが大きいほど大きくなるように規定されている付記６に記載のノイズ削減装置。
（付記８）
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記グローバル画素領域の画素値の重み係数を、前記ターゲット画素領域の画素値と前記グローバル画素領域の画素値との差分に基づいて算出する第１の算出部と、
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記ローカル画素領域の画素値の重み係数を、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に基づいて算出する第２の算出部と、を更に有し、
前記加算部は、前記グローバル画素領域の画素値の重み係数の方が、前記ローカル画素領域の画素値の重み係数よりも大きい場合には、前記ローカル画素領域の画素値の重み係数をゼロにして重み付け加算し、
前記ローカル画素領域の画素値の重み係数の方が、前記グローバル画素領域の画素値の重み係数よりも大きい場合には、前記グローバル画素領域の画素値の重み係数をゼロにして重み付け加算する付記１に記載のノイズ削減装置。
（付記９）
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出する第１の抽出部と、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出する第２の抽出部と、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出する第３の抽出部と、
前記ターゲット画素領域の画素値のばらつきに応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する加算部と
を有するノイズ削減装置。
（付記１０）
前記加算部は、
前記ターゲット画素領域の画素値のばらつきが小さいほど、前記グローバル画素領域の画素値の比率を上げて加算し、
前記ターゲット画素領域の画素値のばらつきが大きいほど、前記ローカル画素領域の画素値の比率を上げて加算する付記９に記載のノイズ削減装置。
（付記１１）
前記ターゲット画素領域の画素値に対して、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを重み付け加算する場合の、前記グローバル画素領域の画素値の重み係数及び前記ローカル画素領域の画素値の重み係数を、前記ターゲット画素領域の画素値のばらつきに基づいて算出する算出部を更に有し、
前記算出部により算出される前記グローバル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値のばらつきが小さいほど大きくなり、前記グローバル画素領域の画素値のばらつきが大きいほど小さくなるように規定されており、
前記算出部により算出される前記ローカル画素領域の画素値の重み係数は、
前記グローバル画素領域の画素値のばらつきが小さいほど小さくなり、前記グローバル画素領域の画素値のばらつきが大きいほど大きくなるように規定されている付記１０に記載のノイズ削減装置。
（付記１２）
コンピュータが、
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出し、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出し、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する、
処理を実行するノイズ削減方法。
（付記１３）
第１の画像から、処理対象の画素領域であるターゲット画素領域を抽出し、
前記第１の画像と、前記第１の画像とは時間軸方向に異なる第２の画像とに基づいて算出されるグローバル動きベクトルを用いて、該第２の画像から、前記ターゲット画素領域の位置に対応するグローバル画素領域を抽出し、
前記第２の画像内の画素領域のうち、前記第１の画像内のターゲット画素領域の画素値との差分が、他の画素領域よりも小さいローカル画素領域を、前記第２の画像から抽出し、
前記グローバル画素領域の画素値と前記ローカル画素領域の画素値との差分に応じた比率で、前記グローバル画素領域の画素値と前記ローカル画素領域の画素値とを、前記ターゲット画素領域の画素値に対して加算する、
処理を、コンピュータに実行させるノイズ削減プログラム。
【０１８０】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１８１】
１００                  ：撮像装置
１０５                  ：画像処理プロセッサ
２１０                  ：参照画像
２２０                  ：ターゲット画像
３１０                  ：グローバル動きベクトル
３１１                  ：ターゲットパッチ
３１２                  ：グローバルパッチ
３１３                  ：ローカルパッチ
６０１                  ：ターゲット画像受付部
６０２                  ：ターゲットパッチ抽出部
６０３                  ：グローバル動きベクトル算出部
６０４                  ：グローバルパッチ抽出部
６０５                  ：グローバルパッチ重み係数算出部
６１１                  ：参照画像受付部
６１２                  ：ローカルパッチ抽出部
６１３                  ：近似度算出部
６１４                  ：ローカルパッチ重み係数算出部
６２０                  ：合成部
１５０１                ：平坦度算出部
１５０２                ：ローカルパッチ重み係数算出部
１７０１                ：合成パッチ選択部
１９０１                ：近似度算出部
１９０２                ：重み係数算出部
２１０１                ：平坦度算出部
２３００                ：情報処理装置
【図１】
2018050259.tif 000009
【図２】
2018050259.tif 000010
【図３】
2018050259.tif 000011
【図４】
2018050259.tif 000012
【図５】
2018050259.tif 000013
【図６】
2018050259.tif 000014
【図７】
2018050259.tif 000015
【図８】
2018050259.tif 000016
【図９】
2018050259.tif 000017
【図１０】
2018050259.tif 000018
【図１１】
2018050259.tif 000019
【図１２】
2018050259.tif 000020
【図１３】
2018050259.tif 000021
【図１４】
2018050259.tif 000022
【図１５】
2018050259.tif 000023
【図１６】
2018050259.tif 000024
【図１７】
2018050259.tif 000025
【図１８】
2018050259.tif 000026
【図１９】
2018050259.tif 000027
【図２０】
2018050259.tif 000028
【図２１】
2018050259.tif 000029
【図２２】
2018050259.tif 000030
【図２３】
2018050259.tif 000031