(57)【要約】【課題】暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトルを正確に算出する。【解決手段】多重解像度ブロックマッチング処理部１０５は、目標画像と処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、解像度毎に、目標画像の解像度画像と処理対象画像の解像度画像との間でブロックマッチングを行うことにより、目標画像の画素毎に、それぞれが各解像度に対応する複数の移動ベクトル候補を算出する。信頼性評価ベクトル算出部１０６は、目標画像の画素毎に、複数の移動ベクトル候補について、移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する。【選択図】図１
2019067169.tif 000002
【特許請求の範囲】
【請求項１】
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出方法であって、
移動ベクトル算出装置が
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に、前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出し、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する、
ことを特徴とする移動ベクトル算出方法。
【請求項２】
前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち所定の閾値以上の数がほぼ同じ場所を示しているか否か示す一致度を判定する処理を含む、ことを特徴とする請求項１に記載の移動ベクトル算出方法。
【請求項３】
前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち、前記移動ベクトル候補の移動元をターゲットとする前記目標画像から前記処理対象画像への移動を示す逆方向移動ベクトル候補を算出し、前記移動ベクトル候補と前記逆方向移動ベクトル候補との一致度を判定する処理を含む、ことを特徴とする請求項１又は２に記載の移動ベクトル算出方法。
【請求項４】
前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチと、前記移動ベクトル候補に対応するブロックのパッチとからそれぞれ、バイラテラルフィルタ処理により構造画像及び詳細画像を算出し、前記目標画像のターゲットブロックのパッチ及び前記移動ベクトル候補に対応するブロックのパッチに対応する前記構造画像同士及び前記詳細画像同士を合成することにより合成構造画像及び合成詳細画像を算出し、前記合成詳細画像が示すノイズの標準偏差又は分散に基づいて前記移動ベクトル候補の信頼性を評価する処理を含む、ことを特徴とする請求項１乃至３のいずれかに記載の移動ベクトル算出方法。
【請求項５】
前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチに対応する構造画像の画素値の平均値と前記合成構造画像の画素値の平均値との差の絶対値に基づいて前記移動ベクトル候補の信頼性を評価する処理を更に含む、ことを特徴とする請求項４に記載の移動ベクトル算出方法。
【請求項６】
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出装置であって、
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出する多重解像度ブロックマッチング処理部と、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出する信頼性評価ベクトル算出部と、
を具備することを特徴とする移動ベクトル算出装置。
【請求項７】
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出するコンピュータに、
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出するステップと、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出するステップと、
を実行させるためのプログラム。
【請求項８】
請求項１乃至４の何れかに記載の移動ベクトル算出方法により算出される画像フレーム間の画素の移動ベクトルを用いて、経時変化に起因する位置ずれを補正しながら、画像フレーム間で対応する画素の加算平均を演算することにより、前記画像フレーム間でノイズを除去するノイズ除去処理を用いた移動ベクトル算出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理における移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法に関する。
【背景技術】
【０００２】
スマートフォンなどの小型なカメラ機器が広く普及しているが、小型センサは受光面積が小さく、特に、低照度環境においてノイズが多い。高いノイズ除去効果を実現するために、時間軸方向に画素の画素値を加算平均する技術がある。しかしながら、経時変化に起因する位置ずれを正確に補正しないと、多重写し又はぼけなどが発生する。経時変化に起因する位置ずれを正確に補正するためには、特に暗所などのノイズ過多のシーンにおいても、時間的に隣接して撮影されたフレーム画像間で移動ベクトルを正確に算出して加算平均を演算することが望ましい。
【０００３】
移動ベクトルは、ノイズ除去のために経時変化に起因する位置ずれを正確に補正する目的のほか、ＡＦ（オートフォーカス）やＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像処理等、様々な目的で使用される。このため、移動ベクトルを正確に算出することは、様々な使用目的で要請されている。
【０００４】
移動ベクトルを算出するための従来技術として、次のような技術が知られている（例えば特許文献１）。この技術では、所定のブロックサイズによるブロックマッチングによるローカル移動ベクトルを算出している。このブロックマッチングでは、最小のＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：差分絶対値和）を有するブロックが探索される。次に、信頼性の高い（ＳＡＤが突出して小さい）いくつかのローカル移動ベクトルが平均されることにより、グローバル移動ベクトルが算出される。そして、ローカルベクトルとグローバルベクトルの信頼性が評価され、いずれかのベクトルが採用される。ローカル移動ベクトルとグローバル移動ベクトルの信頼性の評価手法としては、基本的には、ターゲットブロックとのＳＡＤが用いられるが、グローバル移動ベクトルの評価値にオフセットが与えられ、評価値の差がノイズに起因するような小さな差であれば、グローバル移動ベクトルが使われやすくなるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２７８５７８号公報
【特許文献２】特開平８−１９５９５６号公報
【特許文献３】特開２００９−５５４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記従来技術は、原画サイズに対し固定のブロックサイズかつ、ＳＡＤのみの評価関数でブロックマッチングを行っているため、平坦部などの特徴的な構成物体が無い場所でノイズの影響を強く受ける結果、算出される移動ベクトルが不正確である。
【０００７】
また、前述した従来技術は、固定のブロックサイズでブロックマッチングを行っているため、様々なスケールの物体に対応できず、算出される移動ベクトルが不正確である。
【０００８】
そこで、本発明の１つの側面では、暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトルを正確に算出することを目的とする。
【課題を解決するための手段】
【０００９】
態様の一例では、動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出方法であって、移動ベクトル算出装置が、前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に、前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出し、前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する。
【発明の効果】
【００１０】
暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトルを正確に算出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】移動ベクトル算出・ノイズ除去装置の実施形態のブロック図である。
【図２】移動ベクトル算出ブロックの動作概要の説明図である。
【図３】多重解像度ブロックマッチング処理の動作説明図である。
【図４】最近傍拡大処理の説明図である。
【図５】信頼性評価処理の第１ステップの説明図である。
【図６】信頼性評価処理の第２ステップにおける双方向移動ベクトル候補の一致度の判定による移動ベクトル候補の取捨選択処理の説明図である。
【図７】信頼性評価処理の第２ステップにおけるノイズの特性を加味した評価指標による最終移動ベクトルの選択処理の説明図である。
【図８】移動ベクトル算出・ノイズ除去処理の例を示すフローチャートである。
【図９】信頼性評価処理の第２ステップにおけるノイズの特性を加味したノイズ分散評価値Ｅの算出処理の詳細例を示すフローチャートである。
【図１０】実施形態の装置を実現可能なコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。本実施形態は、複数の解像度画像（もしくはブロックサイズ）にて、ブロック参照サイズの異なる複数の移動ベクトル候補をあらかじめ算出する。そして、それぞれの移動ベクトル候補の信頼性を、複数ベクトルの一致度、双方向一致度および移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標を用いることとで、最終移動ベクトルを算出するものである。これにより、特に暗所などのノイズ過多のシーンにおいても、経時変化に起因する移動ベクトル（カメラ全体の動き、被写体の動き）を正確に算出可能とする。そして、このようにして算出される移動ベクトルを用いて、経時変化に起因する位置ずれを補正しながら、画像フレーム間で対応する画素の加算平均を演算することにより、画像フレーム間でノイズを除去することを可能にするものである。
【００１３】
図１は、移動ベクトル算出・ノイズ除去装置の実施形態のブロック図である。移動ベクトル算出・ノイズ除去装置１００は、移動ベクトル算出ブロック１０１と、画像位置合せ処理ブロック１１０と、重ね合せ平均処理ブロック１１１とを具備する。
【００１４】
移動ベクトル算出ブロック１０１は、動画又は連続撮影された静止画に関する現在のフレーム処理タイミングの撮影画像である現フレーム画像１２０と、過去（例えば１フレーム前）のフレーム処理タイミングの撮影画像である過去フレーム画像１２１とを入力する。これにより、移動ベクトル算出ブロック１０１は、画像フレーム間の画素の最終移動ベクトル１３１を算出する。
【００１５】
画像位置合せ処理ブロック１１０は、過去フレーム画像１２１のフレーム内の画素毎に、移動ベクトル算出ブロック１０１が算出した最終移動ベクトル１３１を適用することにより、位置合せされた処理対象画像１２４を算出する。
【００１６】
重ね合せ平均処理ブロック１１１は、上記位置合せされた過去フレーム画像１２１と現フレーム画像１２０とで、画素毎に画素値の加算平均処理（重ね合せ平均処理）を実行することにより、ノイズ除去された目標画像１２５を算出して出力する。
【００１７】
移動ベクトル算出ブロック１０１は更に、入力部１０２と、多重解像度ブロックマッチング処理部１０５及び信頼性評価ベクトル算出部１０６を含む移動ベクトル算出部１０３と、記憶部１０４とを具備する。入力部１０２は、現フレーム画像１２０及び過去フレーム画像１２１をそれぞれ、目標画像１２２及び処理対象画像１２３として入力する。目標画像１２２及び処理対象画像１２３は、入力画像フレームを構成する。
【００１８】
移動ベクトル算出部１０３において、多重解像度ブロックマッチング処理部１０５は、入力部１０２が入力した目標画像１２２と処理対象画像１２３とからそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成する。そして、多重解像度ブロックマッチング処理部１０５は、解像度毎に目標画像１２２の解像度画像と処理対象画像１２３の解像度画像との間でブロックマッチング処理を実行する。これにより、多重解像度ブロックマッチング処理部１０５は、目標画像１２２の画素毎に、それぞれが各解像度に対応する複数の移動ベクトル候補１３０を算出し、記憶部１０４に記憶させる。ここで、移動ベクトル候補１３０は、次のようにして定義される。目標画像１２２から生成された解像度画像内の各画素について、その画素（以下「画素Ａ」と記載）が、処理対象画像１２３から生成された解像度画像内の或る画素（以下「画素Ｂ」と記載）から移動した画素であると判定されるとする。この場合に、目標画像１２２の解像度画像において、上記画素Ｂに対応する画素位置を始点とし、画素Ａを終点とするベクトルを、画素Ａに対応する移動ベクトル候補１３０と定義する。
【００１９】
移動ベクトル算出部１０３において、信頼性評価ベクトル算出部１０６は、上記記憶部１０４から複数の移動ベクトル候補１３０を入力し、それらについて、移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価する。これにより、信頼性評価ベクトル算出部１０６は、目標画像１２２の画素毎に、複数の移動ベクトル候補１３０の中から選択された移動ベクトルである最終移動ベクトル１３１を算出し、それを記憶部１０４に記憶させる。
【００２０】
図１のブロック図における移動ベクトル算出ブロック１０１の動作について、以下に説明する。図２は、移動ベクトル算出ブロック１０１の動作概要の説明図である。まず、移動ベクトル算出部１０３内の多重解像度ブロックマッチング処理部１０５は、入力部１０２が入力した目標画像１２２と処理対象画像１２３とから、複数の解像度画像を生成する。具体的には、高解像度（低階層）画像の連続している行と列を削除することにより、低解像度（高階層）画像が作成される。次に、低解像度画像中の各画素にその画素の例えば周囲５画素の画素値にガウシアンで重み付けした値を設定する。すなわち、各画素に、ガウシアン平滑化フィルタが適用される。これにより、解像度がＸ×Ｙである画像が解像度がＸ／２×Ｙ／２である画像に変換される。この変換によって、解像度Ｘ×Ｙが解像度Ｘ／２×Ｙ／２＝Ｘ×Ｙ×１／４となって、画像の解像度が１／４に削減される。高階層（頂上）方向に向かって、すなわち低解像度方向に向かって、上記と同様の処理が繰り返し実行される。低階層から高階層までの複数の階層の解像度画像を積み上げるとピラミッド状になることから、これら複数階層の解像度画像の集合はガウシアンピラミッド（図中「Ｇａｕｓｓｉａｎ  Ｐｙｒａｍｉｄ」と記載）と呼ばれる。目標画像１２２から目標画像のガウシアンピラミッド２０２が、処理対象画像１２３から処理対象画像のガウシアンピラミッド２０３が、それぞれ生成される。
【００２１】
多重解像度ブロックマッチング処理部１０５は、目標画像のガウシアンピラミッド２０３と処理対象画像のガウシアンピラミッド２０４のそれぞれの解像度の解像度画像間で、ブロックマッチング処理（以下「多重解像度ブロックマッチング処理」と記載）を実行する（図２のＳ２０１）。これにより、多重解像度ブロックマッチング処理部１０５は、フレーム内の画素毎に、複数の移動ベクトル候補１３０を算出する。例えば、図２において、目標画像１２２上のターゲットブロック２０１に対して、処理対象画像１２３上の破線で囲まれた領域の複数の四角で示される各パッチに対応する目標画像１２２上の画素を始点とする複数の移動ベクトル候補１３０が算出される。多重解像度ブロックマッチング処理部１０５は、算出した複数の移動ベクトル候補１３０を、図１の記憶部１０４に記憶させる。
【００２２】
次に、移動ベクトル算出部１０３内の信頼性評価ベクトル算出部１０６が、上記記憶部１０４から複数の移動ベクトル候補１３０を入力し、それらについて、移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価する、信頼性評価処理を実行する（図２のＳ２０２）。この信頼性評価処理は、第１ステップ及び第２ステップとからなる。第１ステップでは、算出された移動ベクトル候補１３０の一致度により信頼性が評価される。第２ステップでは、第１ステップで判定できなかった場合に、双方向移動ベクトル候補の一致度及び移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味した評価指標により、画像フレーム内の画素毎に複数の移動1の信頼性が評価される。信頼性評価ベクトル算出部１０６は、これらの第１ステップ及び第２ステップからなる信頼性評価処理により、画像フレーム内の画素毎に、最も信頼性が高いと評価された最終移動ベクトル１３１を算出し、記憶部１０４に記憶させる。
【００２３】
図３は、図１の多重解像度ブロックマッチング処理部１０５による図２のＳ２０１で示される多重解像度ブロックマッチング処理の動作説明図である。目標画像のガウシアンピラミッド２０２は、目標画像１２２を、原画サイズの第１階層、縦横１／２の第２階層、縦横１／４の第３階層、縦横１／８及び１／１６の第４、第５階層、というように、原画像に対して解像度を１／４ずつ削減した画像の集合である。処理対象画像のガウシアンピラミッド２０３も同様に、第１階層、第２階層、第３階層、及び第４、第５階層、というように、処理対象画像１２３の解像度を１／４ずつ削減した画像の集合である。
【００２４】
多重解像度ブロックマッチング処理部１０５は、目標画像のガウシアンピラミッド２０２と処理対象画像のガウシアンピラミッド２０３のそれぞれ対応する階層の解像度画像毎に、画像フレーム内の各画素について、ブロックマッチング処理を実行する（図３のＳ３０１）。ここで、目標画像１２２で移動ベクトル候補１３０を算出しようとする画素を中心とするターゲットブロック２０１（図２参照）について、そのサイズであるパッチサイズは例えば７×７画素である。また、そのターゲットブロック２０１への移動ベクトル候補１３０を算出するための処理対象画像１２３上の探索範囲３００（図３）は、目標画像１２２上のターゲットブロック２０１に対応する位置の処理対象画像１２３の各解像度画像上のブロックを含む、例えば４１×４１画素の領域である。このとき、例えば処理対象画像１２３の第２階層の解像度画像中での探索範囲３００は、第１階層の解像度画像（処理対象画像１２３の原画像）の探索範囲３００に対して、同じスケールにした場合、４倍の面積となる。同様にして、階層が上がるに従って、処理対象画像１２３の各階層の解像度画像中の探索範囲３００は、同じスケールにした場合に４倍ずつ広い探索範囲で移動ベクトル候補１３０を探索できるようになる。このようにして、様々なスケールの物体に対してもいずれかの階層でのブロックマッチング処理により、正確な最終移動ベクトル１３１の算出が可能となる。一方、目標画像のガウシアンピラミッド２０２や処理対象画像のガウシアンピラミッド２０３の生成では、前述したように、各画素にガウシアン平滑化フィルタが適用される。これにより、各画素のボケを抑えつつ、周辺画素を用いた平滑化により、移動ベクトル候補１３０の算出時にノイズの影響が軽減される。上述のブロックマッチング処理の結果、図３のＳ３０２として示されるように、上記階層の解像度画像フレームの画素毎に、それぞれ対応する画像サイズの移動ベクトル候補１３０が算出される（図３のＳ３０２）。
【００２５】
次に、多重解像度ブロックマッチング処理部１０５は、第１階層以外の各階層の移動ベクトル候補１３０に対して、最近傍拡大処理を実行する（図３のＳ３０３）。この最近傍拡大処理では、図３（ａ）として示される第１階層以外の各階層の移動ベクトル候補１３０のスケールが、図３（ｂ）として示されるように第１階層のサイズ（原画サイズ）に拡大される。この結果、原画サイズの移動ベクトル候補１３０が、画像フレーム内の画素毎に、階層数（５種類）ずつ生成される。これらの移動ベクトル候補１３０は、図１の記憶部１０４に記憶される。
【００２６】
図４は、最近傍拡大処理の説明図である。ここでは、説明の簡単のために、図４（ａ）に示される２×２画素からなる画像フレーム内の矢印で示される移動ベクトル候補１３０が、図４（ｂ）に示される４×４画素からなる画像フレームに拡大される例が示されている。このように、２×２画素からなる画像フレームから４×４画素からなる画像フレームへの最近傍拡大処理では、２×２画素からなる画像フレーム中の各画素に対応する各移動ベクトル候補１３０の縦横スケールが２倍にされる。例えば、２×２画素値が４×４画素値へ拡大される場合、右２画素の移動ベクトル候補１３０は右４画素の移動ベクトル候補１３０となる。その上で、図４（ａ）の２×２画素からなる画像フレーム中の各画素（以下「拡大前画素」と記載）の右横、下、及び斜め右下に画素が追加されることにより、画素数が４倍にされた拡大後画素が生成される。そして、拡大前画素における縦横スケールが２倍にされた移動ベクトル候補１３０が、画素数が４倍にされた各拡大後画素にコピーされる。この結果、図４（ｂ）に示される４×４画素からなる拡大画像が生成される。
【００２７】
図３のＳ３０３で示される最近傍拡大処理では、例えば第２階層の解像度画像については、その第２階層の解像度画像の各画素に対して図４の場合と同様の処理が実行される。すなわち、第２階層の解像度画像フレーム中の各画素の右横、下、及び斜め右下に画素が追加されることにより、画素数が４倍にされた原画サイズの画素が生成される。そして、第２階層の画素における縦横スケールが２倍にされた移動ベクトル候補１３０が、画素数が４倍にされた原画サイズの画素にコピーされる。
【００２８】
また、第３階層の解像度画像については、第３階層の解像度画像の各画素に対して図４の場合と同様の処理が実行されることにより、第２階層のサイズの画像がまず生成される。そして、その第２階層のサイズの画像の各画素に対して、更に図４の場合と同様の処理が実行されることにより、原画サイズの画像が生成される。
【００２９】
続いて、信頼性評価ベクトル算出部１０６が、多重解像度ブロックマッチング処理部１０５による上述の処理（図３のＳ３０１、Ｓ３０２、Ｓ３０３）で生成された、画像フレーム内の１画素につき例えば５種類の移動ベクトル候補１３０から１つを選択する。このとき、信頼性評価ベクトル算出部１０６は、図１の記憶部１０４から移動ベクトル候補１３０を読み出し、この移動ベクトル候補１３０に対して、第１ステップ及び第２ステップとからなる信頼性評価処理（図２のＳ２０２）を実行する。
【００３０】
図５は、信頼性評価処理の第１ステップの説明図である。この第１ステップでは、画像フレーム内の画素毎に、記憶部１０４から読み出された例えば５種類の移動ベクトル候補１３０の一致度により信頼性が評価される。図５（ａ）のように、目標画像１２２上のターゲットブロック２０１に対して、算出された処理対象画像１２３上の例えば５種類の移動ベクトル候補１３０のうち所定の閾値以上の数がほぼ同じ場所を示していた場合、信頼性が高いと判定される（図５のＳ５０１）。この場合には、信頼性評価ベクトル算出部１０６は、上記閾値以上の数の移動ベクトル候補１３０のうちの代表ベクトル又はそれらの平均ベクトルを、ターゲットブロック２０１に対する最終移動ベクトル１３１として選択又は算出する（図５のＳ５０２）。この最終移動ベクトル１３１は、図１の記憶部１０４に記憶される。
【００３１】
一方、図５（ｂ）のように、目標画像１２２上のターゲットブロック２０１に対して、算出された処理対象画像１２３上の例えば５種類の移動ベクトル候補１３０のうち、ほぼ同じ場所を示しているものが上記閾値未満であった場合、信頼性が低いと判定される（図５のＳ５０３）。この場合には、信頼性評価ベクトル算出部１０６は、以下の信頼性評価処理Ｓ２０２の第２ステップを実行する（図５のＳ５０４）。
【００３２】
第２ステップでは、双方向移動ベクトル候補の一致度及び移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味した評価指標により、画像フレーム内の画素毎に複数の移動ベクトル候補１３０の信頼性が評価される。そして、最も信頼性が高いと評価された最終移動ベクトル１３１が１つ選択され、記憶部１０４に記憶される。
【００３３】
図６は、信頼性評価処理の第２ステップにおける双方向移動ベクトル候補の一致度の判定による移動ベクトル候補１３０の取捨選択処理の説明図である。移動ベクトル候補１３０は、前述の定義の通り、目標画像１２２上でその移動ベクトル候補１３０の始点の画素と終点の画素（ターゲットブロック２０１に対応する画素）が定義されるが、始点の画素は処理対象画像１２３上の移動元の画素に対応している。そこで図６では、理解を容易にするために、移動ベクトル候補１３０を、処理対象画像１２３の解像度画像上の画素から目標画像１２２の解像度画像上のターゲットブロック２０１へ向かうベクトルとして示している。図６においてまず、図３で説明した階層毎に、記憶部１０４から読み込まれたその階層の移動ベクトル候補１３０に加えて、その移動ベクトル候補１３０に対応する逆方向移動ベクトル候補６０１が更に算出される。具体的には、逆方向移動ベクトル候補６０１の算出においては、階層毎に、目標画像１２２の解像度画像上のターゲットブロック２０１に向かう移動ベクトル候補１３０の始点画素に対応する処理対象画像１２３の解像度画像上の位置が新たなターゲットブロック６０２とされる。次に逆に、目標画像１２２の解像度画像から処理対象画像１２３の解像度画像上のターゲットブロック６０２への移動が仮定される。そして、その処理対象画像１２３の解像度画像上のターゲットブロック６０２に対応する上記仮定された移動に基づく移動ベクトル候補が算出され、それが逆方向移動ベクトル候補６０１とされる。逆方向移動ベクトル候補６０１の算出処理は、移動ベクトル候補１３０の算出処理と同様に、図１の多重解像度ブロックマッチング処理部１０５を起動して実行される。
【００３４】
次に、移動ベクトル候補１３０と逆方向移動ベクトル候補６０１とからなる双方向移動ベクトル候補の一致度が判定される。今、移動ベクトル候補１３０をＶij、逆方向移動ベクトル候補６０１をＶjiとおく。下記（１）式で表されるように、Ｖijと、Ｖjiの向きを逆にしたベクトル−Ｖjiとの距離（ノルム）６０３が所定の閾値δよりも小さいか否かを判定することにより、双方向移動ベクトル候補の一致度が判定される。この判定式は、逆方向移動ベクトル候補６０１の向きを逆にしたときに、元の移動ベクトル候補１３０にどの程度重なるかということを意味している。
【００３５】
【数１】
2019067169.tif 000003
【００３６】
信頼性評価ベクトル算出部１０６は、上記（１）式の判定が成立するとき、すなわち双方向移動ベクトル候補の一致度が高いとき、更に言い換えれば、図６の距離６０３が短いときには、その階層の移動ベクトル候補１３０は、信頼性が高いとして採用する。一方、信頼性評価ベクトル算出部１０６は、上記（１）式の判定が成立しないときには、その移動ベクトル候補１３０は、信頼性が高くないとして採用しない。
【００３７】
図７は、信頼性評価処理の第２ステップにおける移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味した評価指標による最終移動ベクトル１３１（図１参照）の選択処理の説明図である。信頼性評価ベクトル算出部１０６は、画像フレームの画素毎に、記憶部１０４から読み込んだ階層毎の移動ベクトル候補１３０のうち、（１）式の判定処理により採用された階層の移動ベクトル候補１３０を用いて、以下の処理を実行する。目標画像１２２のターゲットブロック２０１のパッチと、上記判定処理で採用された各階層の最近傍拡大処理（図３のＳ３０３）後の移動ベクトル候補１３０のブロックのパッチのそれぞれにつき、バイラテラルフィルタを用いた画像成分分離処理（Ｓ７０１、Ｓ７０２）が実行される。この結果、ターゲットブロック２０１のパッチから、信号成分を含む構造画像７０１が生成され、ターゲットブロック２０１のパッチと構造画像７０１の差分からノイズ成分を含む詳細画像７０２が生成される。同様に、１つの階層の移動ベクトル候補１３０のブロックのパッチから信号成分を含む構造画像７０３が生成され、移動ベクトル候補１３０のブロックのパッチと構造画像７０３の差分からノイズ成分を含む詳細画像７０４が生成される。
【００３８】
次に、ターゲットブロック２０１のパッチの構造画像７０１と、１つの階層の移動ベクトル候補１３０のブロックのパッチの構造画像７０３とに対して、対応する画素毎に平均を算出する合成処理が実行されることにより、合成構造画像７０５が算出される。また、ターゲットブロック２０１のパッチの詳細画像７０２と、１つの階層の移動ベクトル候補１３０のブロックのパッチの詳細画像７０４とに対して、画素毎に平均を算出する合成処理が実行されることにより、合成詳細画像７０６が算出される。合成構造画像７０５及び合成詳細画像７０６はそれぞれ、信号成分（ｓｉｇｎａｌ）及びノイズ成分（ｎｏｉｓｅ）に対応する。
【００３９】
その後、信頼性評価ベクトル算出部１０６は、下記（２）式により、１つの階層におけるノイズ分散評価値Ｅを算出する。
Ｅ＝α｜μt −μbi｜＋βσdi      ・・・（２）
【００４０】
ここで、μt は、ターゲットブロック２０１のパッチの構造画像７０１の各画素の画素値の平均値、μbiは、合成構造画像７０５の各画素の画素値の平均値、σdiは、合成詳細画像７０６の画素の画素値の標準偏差（又は分散）である。また、α及びβは、係数パラメータである。いま、１つの階層の移動ベクトル候補１３０が正しい移動ベクトルである場合は、ノイズが空間的にランダムノイズであると仮定すると、ノイズ同士を加算して平均化して得られる合成詳細画像７０６のノイズの標準偏差（又は分散）は減少する。また、１つの階層の移動ベクトル候補１３０が正しい移動ベクトルである場合、ターゲットブロック２０１のパッチの構造画像７０１と合成構造画像７０５が似てくるため、μt とμbiの差の絶対値は小さくなる。従って、１つの階層の移動ベクトル候補１３０が正しい移動ベクトルである場合は、上述した（２）式で算出されるノイズ分散評価値Ｅは小さな値になる。なお、上記（２）式の右辺第２項のみ、すなわち合成詳細画像７０６のノイズの標準偏差（又は分散）のみからノイズ分散評価値Ｅが算出されてもよい。
【００４１】
そこで、信頼性評価ベクトル算出部１０６は、画像フレームの画素毎に、前述の（１）式の判定処理で採用された各階層の移動ベクトル候補１３０について、上述した（２）式で示される演算を実行して各ノイズ分散評価値Ｅを算出する。そして、信頼性評価ベクトル算出部１０６は、算出したノイズ分散評価値Ｅが最小となる階層の移動ベクトル候補１３０を、最終移動ベクトル１３１として選択する。
【００４２】
以上のようにして、ガウシアンピラミッドを用いた多重解像度ブロックマッチング処理により、複数の移動ベクトル候補１３０から最終移動ベクトル１３１が算出される。これにより、様々なスケールの物体に対しても、正確な最終移動ベクトル１３１の算出が可能となる。また、平坦部に対応する最終移動ベクトル１３１は、探索範囲３００（図３）が広くなる低解像度（高階層）の解像度画像の移動ベクトル候補１３０に基づいて、比較的正確に算出することが可能となる。
【００４３】
また、信頼性評価処理の第１ステップ及び第２ステップで、複数の移動ベクトル候補１３０を最終移動ベクトル１３１として選択するときの信頼性を評価することにより、特に暗所などのノイズ過多のシーンにおいても、カメラや被写体の動きに起因する経時変化をする移動ベクトルを正確に算出することが可能となる。
【００４４】
そして、このようにして正確に算出された移動ベクトルに基づいてノイズ除去処理が実行されることにより、画像上の物体のスケールが異なったり、低解像度スケールでのノイズの影響を低減することが可能となる。
【００４５】
図８は、図１の移動ベクトル算出・ノイズ除去装置１００が実行する移動ベクトル算出・ノイズ除去処理の例を示すフローチャートである。以下の説明においては、随時図１の各ブロックも参照する。
【００４６】
まず、入力部１０２は、現フレーム画像１２０及び過去フレーム画像１２１（例えば１フレーム前の画像）をそれぞれ、目標画像１２２及び処理対象画像１２３として入力する（ステップＳ８０１）。
【００４７】
次に、多重解像度ブロックマッチング処理部１０５は、多重解像度画像として、図２及び図３で説明した例えば５階層の目標画像のガウシアンピラミッド２０２及び処理対象画像のガウシアンピラミッド２０３を生成する（ステップＳ８０２）。
【００４８】
多重解像度ブロックマッチング処理部１０５は、目標画像のガウシアンピラミッド２０２と処理対象画像のガウシアンピラミッド２０３の対応する階層の解像度画像毎に、画像フレーム内の各画素につき、ブロックマッチング処理を実行する。多重解像度ブロックマッチング処理部１０５は、画像フレーム内の画素毎に生成した例えば５種類毎の移動ベクトル候補１３０（図３（ｂ）に対応）を、記憶部１０４に記憶させる（以上、ステップＳ８０３）。これらの処理は、図３のＳ３０１、Ｓ３０２、及びＳ３０３で説明した処理に対応する。
【００４９】
なお、多重解像度ブロックマッチング処理部１０５は、ステップＳ８０３で、画像フレーム内の画素毎に、図６で説明した逆方向移動ベクトル候補６０１を算出する処理も実行し、これにより生成された逆方向移動ベクトル候補６０１を、記憶部１０４に記憶させる。
【００５０】
次に、多重解像度ブロックマッチング処理部１０５及び信頼性評価ベクトル算出部１０６は、目標画像１２２から１画素ずつ選択しながら、ステップＳ８８１０で全画素の処理が終了したと判定するまで、ステップＳ８０４からＳ８０９の一連の処理を実行する。以下、順次選択される画素を、「目標画素」と記載する。
【００５１】
ステップＳ８０４からＳ８０９の処理で、まず信頼性評価ベクトル算出部１０６は、目標画素に対し、図５で説明した信頼性評価処理の第１ステップを実行する。信頼性評価ベクトル算出部１０６は、記憶部１０４から読み込んだ目標画素に対する例えば５種類の移動ベクトル候補１３０の一致度を判定する（ステップＳ８０４）。
【００５２】
次に、信頼性評価ベクトル算出部１０６は、ステップＳ８０４の処理の結果、目標画素に対して算出されている例えば５種類の移動ベクトル候補１３０の信頼性が、高いか否かを判定する（ステップＳ８０５）。ここでは、図５（ａ）で説明したように、目標画像１２２上の目標画素に対応するターゲットブロック２０１に対し、処理対象画像１２３上の例えば５種類の移動ベクトル候補１３０のうち所定の閾値以上の数がほぼ同じ場所を示しているか否かが判定される。
【００５３】
信頼性評価ベクトル算出部１０６は、ステップＳ８０５の判定がＹＥＳの場合、目標画素に対し、上記閾値以上の数の移動ベクトル候補１３０のうちの代表ベクトル又はそれらの平均ベクトルを、選択又は算出する。そして、信頼性評価ベクトル算出部１０６は、その選択又は算出したベクトルを、目標画素に対応する最終移動ベクトル１３１として、記憶部１０４に記憶させる（ステップＳ８０６）。その後、ステップＳ８０４の処理に戻って、目標画像１２２中の次の画素に対する処理が実行される。
【００５４】
信頼性評価ベクトル算出部１０６は、ステップＳ８０５の判定がＮＯの場合、図６で説明した、信頼性評価処理の第２ステップにおける双方向移動ベクトル候補の一致度の判定による移動ベクトル候補１３０の取捨選択処理を実行する（ステップＳ８０７）。ここでは、例えば５種類の階層毎に、ステップＳ８０３で算出されている移動ベクトル候補１３０及びそれに対応する逆方向移動ベクトル候補６０１が記憶部１０４から読み込まれる。そして、前述した（１）式により、上記移動ベクトル候補１３０及び逆方向移動ベクトル候補６０１からなる双方向移動ベクトル候補の一致度が判定される。これにより、この一致度を満たす階層の移動ベクトル候補１３０のみが選択される。
【００５５】
次に、信頼性評価ベクトル算出部１０６は、図７で説明した、信頼性評価処理の第２ステップにおける移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味したノイズ分散評価値Ｅの算出処理を実行する（ステップＳ８０８）。この処理の詳細については、図８のフローチャートを用いて後述する。
【００５６】
最後の、信頼性評価ベクトル算出部１０６は、ステップＳ８０８で算出したノイズ分散評価値Ｅが最小となる階層の移動ベクトル候補１３０を、最終移動ベクトル１３１として選択し、記憶部１０４に格納する（ステップＳ８０９）。
【００５７】
その後、目標画像１２２中の全画素についての処理が終了したか否かが判定される（ステップＳ８１０）。この判定がＮＯならば、ステップＳ８０４の処理に戻って、目標画像１２２中の次の画素に対する処理が実行される。
【００５８】
目標画像１２２中の全ての画素について最終移動ベクトル１３１が算出されてステップＳ８１０の判定がＹＥＳになると、画像位置合せ処理ブロック１１０が、次の処理を実行する。画像位置合せ処理ブロック１１０は、処理対象画像１２３（過去フレーム画像１２１）のフレーム内の画素毎に、上述の一連の処理で算出された最終移動ベクトル１３１を記憶部１０４から読み出し、その最終移動ベクトル１３１を逆変換して適用する。処理対象画像１２３の１つの画素を、その画素に対して算出された最終移動ベクトル１３１分だけ移動させると、目標画像１２２の画素になる。従って、目標画像１２２の現在の画素に対応する処理対象画像１２３上の画素を算出するためには、目標画像１２２の現在の画素を、上記最終移動ベクトル１３１の方向を逆方向にして移動させると、処理対象画像１２３の移動元の画素を算出することができる。この処理が、上述の「最終移動ベクトル１３１を逆変換して適用する」処理である。また、このように、目標画像１２２上の画素に対応する処理対象画像１２３上の画素を算出する処理を、「位置合せ」の処理と呼ぶ。画像位置合せ処理ブロック１１０は、以上の位置合せの処理を実行することにより、目標画像１２２に対して位置合せされた処理対象画像１２４を算出する（以上、ステップＳ８１１）。
【００５９】
その後、重ね合せ平均処理ブロック１１１が、上記位置合せされた処理対象画像１２４と目標画像１２２（現フレーム画像１２０）とで、上記位置合せされた画素毎に、加算平均処理（重ね合せ平均処理）を実行する（ステップＳ８１２）。フレーム内の画素毎に最終移動ベクトル１３１が正しく算出されており、目標画像１２２及び処理対象画像１２３間にランダムノイズが乗っていると仮定すれば、上述のように位置合せされた画素間で加算平均処理を実行することにより、ノイズ除去が可能となる。
【００６０】
重ね合せ平均処理ブロック１１１は、ステップＳ８１２の処理結果の各画素を、ノイズ除去された目標画像１２５として出力する（ステップＳ８１３）。以上の処理により、図８のフローチャートで例示される、入力された現フレーム画像１２０に対する移動ベクトル算出・ノイズ除去処理が終了する。
【００６１】
図９は、図８のステップＳ８０８の信頼性評価処理の第２ステップにおける移動ベクトル候補１３０の始点及び終点の画素領域に関するノイズの特性を加味したノイズ分散評価値Ｅの算出処理の詳細例を示すフローチャートである。
【００６２】
まず、信頼性評価ベクトル算出部１０６は、目標画像１２２上の目標画素の位置と、処理対象画像１２３上の図８のステップＳ８０７の判定処理により採用された各階層の移動ベクトル候補１３０の位置を取得する（ステップＳ９０１）。
【００６３】
次に、信頼性評価ベクトル算出部１０６は、ステップＳ９０１で取得した目標画像の位置と、各階層の移動ベクトル候補１３０の位置に、それぞれパッチ領域を設定する（ステップＳ９０２）。
【００６４】
次に、信頼性評価ベクトル算出部１０６は、ステップＳ９０２で設定した目標画像１２２のターゲットブロック２０１のパッチに対し、図７で説明したバイラテラルフィルタを適用し、構造画像７０１と詳細画像７０２に分離する。同様に、信頼性評価ベクトル算出部１０６は、ステップＳ９０２で設定した各階層の移動ベクトル候補１３０のパッチに対し、バイラテラルフィルタを適用し、構造画像７０３と詳細画像７０４に分離する（以上、ステップＳ９０３）。
【００６５】
その後、信頼性評価ベクトル算出部１０６は、図７に示されるように、構造画像７０１と、各階層の構造画像７０３とに対して、対応する画素毎に平均を算出する各合成処理を実行して各階層の合成構造画像７０５を算出する。同様に、信頼性評価ベクトル算出部１０６は、詳細画像７０２と、各階層の詳細画像７０４とに対して、対応する画素毎に平均を算出する各合成処理を実行して各階層の合成詳細画像７０６を算出する（以上、ステップＳ９０４）。
【００６６】
そして、信頼性評価ベクトル算出部１０６は、前述の（２）式の演算で各階層のノイズ分散評価値Ｅを算出し、ノイズ分散評価値Ｅが最小で最も信頼性の高い階層の移動ベクトル候補１３０を、最終移動ベクトル１３１として１つ選択する（ステップＳ９０５）。
【００６７】
図１０は、図１の移動ベクトル算出・ノイズ除去装置１００を実現可能なコンピュータのハードウェア構成の一例を示す図である。このコンピュータは、通常のパーソナルコンピュータのほか、スマートフォン、タブレット端末、デジタルカメラなどを含む。図１０に示されるコンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１、メモリ１００２、入力装置１００３、出力装置１００４、補助情報記憶装置１００５、可搬型記録媒体１００９が挿入される媒体駆動装置１００６、及びネットワーク接続装置１００７を有する。これらの構成要素は、バス１００８により相互に接続されている。同図に示される構成は上記移動ベクトル算出・ノイズ除去装置１００を実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
【００６８】
メモリ１００２は、例えば、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。
【００６９】
ＣＰＵ（プロセッサ）１００１は、例えば、メモリ１００２を利用して、図１の移動ベクトル算出・ノイズ除去装置１００に用いられる例えば図８及び図９のフローチャートの処理に対応するプログラムを実行することにより、図１に示される各処理ブロックとして動作する。
【００７０】
入力装置１００３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１００４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問合せ又は処理結果の出力に用いられる。
【００７１】
補助情報記憶装置１００５は、例えば、ハードディスク記憶装置、磁気ディスク記憶装置、光ディスク装置、光磁気ディスク装置、テープ装置、又は半導体記憶装置であり、例えば、図１０に示されるメモリ１００２として動作する。図１の移動ベクトル算出・ノイズ除去装置１００は、補助情報記憶装置１００５に図１の移動ベクトル算出・ノイズ除去装置１００に用いられる例えば図８及び図９のフローチャートの処理を実行するプログラム及びデータを格納しておき、それらをメモリ１００２にロードして使用することができる。
【００７２】
媒体駆動装置１００６は、可搬型記録媒体１００９を駆動し、その記録内容にアクセスする。可搬型記録媒体１００９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１００９は、Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１００９に上述のプログラム及びデータを格納しておき、メモリ１００２にロードして使用することができる。
【００７３】
このように、上述のプログラム及びデータを格納するコンピュータ読取り可能な記録媒体は、メモリ１００２、補助情報記憶装置１００５、又は可搬型記録媒体１００９のような、物理的な（非一時的な）記録媒体である。
【００７４】
ネットワーク接続装置１００７は、例えばＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。図１の移動ベクトル算出・ノイズ除去装置１００は、上述のプログラム又はデータを外部の装置からネットワーク接続装置１００７を介して受信し、それらをメモリ１００２にロードして使用することができる。
【００７５】
なお、図１の移動ベクトル算出・ノイズ除去装置１００が図１０の全ての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置１００３が省略されてもよい。可搬型記録媒体１００９又は通信ネットワークを利用しない場合は、媒体駆動装置１００６又はネットワーク接続装置１００７が省略されてもよい。
【００７６】
以上、開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができる。
【００７７】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出方法であって、
移動ベクトル算出装置が
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に、前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出し、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、最終移動ベクトルを算出する、
ことを特徴とする移動ベクトル算出方法。
（付記２）
前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち所定の閾値以上の数がほぼ同じ場所を示しているか否かを示す一致度を判定する処理を含む、ことを特徴とする付記１に記載の移動ベクトル算出方法。
（付記３）
前記信頼性を評価する処理は、前記複数の移動ベクトル候補のうち、前記移動ベクトル候補の移動元をターゲットとする前記目標画像から前記処理対象画像への移動を示す逆方向移動ベクトル候補を算出し、前記移動ベクトル候補と前記逆方向移動ベクトル候補との一致度を判定する処理を含む、ことを特徴とする付記１又は２に記載の移動ベクトル算出方法。
（付記４）    
前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチと、前記移動ベクトル候補に対応するブロックのパッチとからそれぞれ、バイラテラルフィルタ処理により構造画像及び詳細画像を算出し、前記目標画像のターゲットブロックのパッチ及び前記移動ベクトル候補に対応するブロックのパッチに対応する前記構造画像同士及び前記詳細画像同士を合成することにより合成構造画像及び合成詳細画像を算出し、前記合成詳細画像が示すノイズの標準偏差又は分散に基づいて前記移動ベクトル候補の信頼性を評価する処理を含む、ことを特徴とする付記１乃至３のいずれかに記載の移動ベクトル算出方法。
（付記５）
前記信頼性を評価する処理は、前記目標画像のターゲットブロックのパッチに対応する構造画像の画素値の平均値と前記合成構造画像の画素値の平均値との差の絶対値に基づいて前記移動ベクトル候補の信頼性を評価する処理を更に含む、ことを特徴とする付記４に記載の移動ベクトル算出方法。
（付記６）
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出する移動ベクトル算出装置であって、
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出する多重解像度ブロックマッチング処理部と、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出する信頼性評価ベクトル算出部と、
を具備することを特徴とする移動ベクトル算出装置。
（付記７）
動画又は連続撮影された静止画群に含まれる画像フレーム間の画素の移動ベクトルを算出するコンピュータに、
前記画像フレームのうち処理対象の画像フレームである目標画像と前記目標画像よりも過去に撮影された画像フレームである処理対象画像からそれぞれ、複数の解像度のそれぞれに対応する複数の解像度画像を生成し、前記解像度毎に前記目標画像の解像度画像と前記処理対象画像の解像度画像との間でブロックマッチングを行うことにより、前記目標画像の画素毎に、それぞれが前記各解像度に対応する複数の移動ベクトル候補を算出するステップと、
前記目標画像の画素毎に、前記複数の移動ベクトル候補について、前記移動ベクトル候補の始点及び終点の画素領域に関するノイズの特性を用いた評価指標をもとに信頼性を評価し、前記複数の移動ベクトル候補の信頼性に基づいて移動ベクトルを算出するステップと、
を実行させるためのプログラム。
（付記８）
付記１乃至４の何れかに記載の移動ベクトル算出方法により算出される画像フレーム間の画素の移動ベクトルを用いて、経時変化に起因する位置ずれを補正しながら、画像フレーム間で対応する画素の加算平均を演算することにより、前記画像フレーム間でノイズを除去するノイズ除去処理を用いた移動ベクトル算出方法。
【符号の説明】
【００７８】
１００  移動ベクトル算出・ノイズ除去装置
１０１  移動ベクトル算出ブロック
１０２  入力部
１０３  移動ベクトル算出部
１０４  記憶部
１０５  多重解像度ブロックマッチング処理部
１０６  信頼性評価ベクトル算出部
１１０  画像位置合せ処理ブロック
１１１  重ね合せ平均処理ブロック
１２０  現フレーム画像
１２１  過去フレーム画像
１２２  目標画像
１２３  処理対象画像
１２４  位置合せされた処理対象画像
１２５  ノイズ除去された目標画像
１３０  移動ベクトル候補
１３１  最終移動ベクトル
【図１】
2019067169.tif 000004
【図２】
2019067169.tif 000005
【図３】
2019067169.tif 000006
【図４】
2019067169.tif 000007
【図５】
2019067169.tif 000008
【図６】
2019067169.tif 000009
【図７】
2019067169.tif 000010
【図８】
2019067169.tif 000011
【図９】
2019067169.tif 000012
【図１０】
2019067169.tif 000013