(57)【要約】【課題】改良された動き補償画像の生成、画像のノイズ低減処理を実行する装置および方法を提供する。【解決手段】ローカル動きベクトルを適用して生成したローカル動き補償画像と、グローバル動きベクトルを適用して生成したグローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じてローカル動き補償画像の画素値とグローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成する。さらに、このブレンド動き補償画像と基準画像との加算処理によってノイズ低減画像を生成する。本構成により、ローカル動き補償画像、およびグローバル動き補償画像の信頼度に応じた最適な画素値からなるブレンド動き補償画像が生成される。さらに、品質の高いノイズ低減画像の生成が可能となる。【選択図】図５
2010147985.tif 000002
【特許請求の範囲】
【請求項１】
基準画像と参照画像とから、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出するローカル動き予測処理部と、
前記ローカル動きベクトルを適用して、前記参照画像の動き補償処理を実行してローカル動き補償画像を生成する動き補償処理部と、
前記ローカル動きベクトルを適用して、前記基準画像と参照画像間の全画像単位の１つの動きベクトルであるグローバル動きベクトルを算出し、算出した動きベクトルを適用して前記参照画像の動き補償処理を実行してグローバル動き補償画像を生成するグローバル動き補償処理部と、
前記ローカル動き補償画像、および前記グローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じて前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成するブレンド処理部と、
を有する画像処理装置。
【請求項２】
前記ブレンド処理部は、
前記ローカル動き補償画像の信頼度を算出するローカル動き補償画像信頼度判別処理部を有し、
前記ローカル動き補償画像信頼度判別処理部は、
（ａ）前記ローカル動きベクトルと、前記グローバル動きベクトルの差分値、または、
（ｂ）前記ローカル動きベクトルの分散値、または、
（ｃ）前記ローカル動き補償画像のブロック内画素値の分散値、
の少なくともいずれかの値を算出してブロック単位で前記ローカル動き補償画像の信頼度を算出する構成である請求項１に記載の画像処理装置。
【請求項３】
前記ブレンド処理部は、
前記グローバル動き補償画像の信頼度を算出するグローバル動き補償画像信頼度判別処理部を有し、
前記グローバル動き補償画像信頼度判別処理部は、
（ａ）前記ローカル動き補償画像と前記グローバル動き補償画像の構成画素の絶対差分値、または、
（ｂ）前記基準画像と前記ローカル動き補償画像の構成画素の正規化相関と、前記基準画像と前記グローバル動き補償画像の構成画素の正規化相関との差分値、または、
（ｃ）前記基準画像と前記ローカル動き補償画像の構成画素の所定領域単位の絶対差分値総和（ＳＡＤ）と、前記基準画像と前記グローバル動き補償画像の構成画素の所定領域単位の絶対差分値総和（ＳＡＤ）との差分値、
の少なくともいずれかの値を算出して、画素単位または所定領域単位で前記グローバル動き補償画像の信頼度を算出する構成である請求項１に記載の画像処理装置。
【請求項４】
前記ブレンド処理部は、
前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理に適用するブレンド比率を決定するブレンド比率決定部を有し、
前記ブレンド比率決定部は、
前記グローバル動き補償画像の信頼度が低いと判定した画素については、グローバル動き補償画像のブレンド比率を０として設定し、
前記グローバル動き補償画像の信頼度が高く、かつ前記ローカル動き補償画像の信頼度が低いと判定した画素については、前記グローバル動き補償画像のブレンド比率を相対的に高く設定し、
前記グローバル動き補償画像の信頼度が高く、かつ前記ローカル動き補償画像の信頼度も高いと判定した画素については、前記グローバル動き補償画像のブレンド比率を相対的に低く設定する構成である請求項１〜３いずれかに記載の画像処理装置。
【請求項５】
前記ブレンド処理部は、
前記ブレンド比率決定部の決定したブレンド比率の調整処理を行う境界処理部を有し、
前記境界処理部は、
前記ブレンド比率決定部の決定したブレンド比率に応じて算出される画素値に対してローパスフィルタを適用した画素値平滑化処理によって算出される画素値に対応するブレンド比率を算出する構成である請求項４に記載の画像処理装置。
【請求項６】
前記ブレンド処理部は、
前記境界処理部の算出したブレンド比率に応じて、前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成するブレンド動き補償画像生成部を有する構成である請求項５に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
前記基準画像と前記ブレンド動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部を有する請求項１〜６いずれかに記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記加算処理部において実行する加算処理における前記ブレンド動き補償画像の重みを設定する加算判定部を有する請求項７に記載の画像処理装置。
【請求項９】
画像処理装置において画像処理を実行する画像処理方法であり、
ローカル動き予測処理部が、基準画像と参照画像とから、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出するローカル動き予測処理ステップと、
動き補償処理部が、前記ローカル動きベクトルを適用して、前記参照画像の動き補償処理を実行してローカル動き補償画像を生成する動き補償処理ステップと、
グローバル動き補償処理部が、前記ローカル動きベクトルを適用して、前記基準画像と参照画像間の全画像単位の１つの動きベクトルであるグローバル動きベクトルを算出し、算出した動きベクトルを適用して前記参照画像の動き補償処理を実行してグローバル動き補償画像を生成するグローバル動き補償処理ステップと、
ブレンド処理部が、前記ローカル動き補償画像、および前記グローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じて前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成するブレンド処理ステップと、
を有する画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
ローカル動き予測処理部において、基準画像と参照画像とから画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出させるローカル動き予測処理ステップと、
動き補償処理部において、前記ローカル動きベクトルを適用して、前記参照画像の動き補償処理を実行してローカル動き補償画像を生成させる動き補償処理ステップと、
グローバル動き補償処理部において、前記ローカル動きベクトルを適用して、前記基準画像と参照画像間の全画像単位の１つの動きベクトルであるグローバル動きベクトルを算出し、算出した動きベクトルを適用して前記参照画像の動き補償処理を実行してグローバル動き補償画像を生成させるグローバル動き補償処理ステップと、
ブレンド処理部において、前記ローカル動き補償画像、および前記グローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じて前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成させるブレンド処理ステップと、
を有するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、動き補償画像の生成処理や画像のノイズ低減を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えばカメラやビデオなどの撮像装置によって撮影された画像には少なからずノイズが含まれる。特に低照度下での撮影や、短い露光時間での撮影画像には多くのノイズが含まれる場合が多い。これは低照度下での撮影や短い露光時間での撮影が行われた場合、入射光量が少なく撮像素子の電荷蓄積量が減少することが１つの原因である。このような撮像データに基づいて明るい像を得るためには信号の増幅が必要となる。この増幅処理の際に撮像素子やアナログ回路において生じるノイズが増幅され、結果として得られる画像がノイズの多い画像になる。
【０００３】
ノイズを減少させるためには、長時間露光が有効であるが、長時間露光を行うと露光中の手ぶれによる画像のにじみが発生する可能性がある。他の方法として、露光にじみが殆ど生じない高速のシャッター速度で撮影を繰り返す連写を行い、連写により得られた複数の画像を加算平均することによって、時間方向に無相関なノイズを低減する方法がある。しかし、この手法でも手ブレなどによるカメラの移動や動被写体により画像のボケや動被写体の多重露光状のひきずりといった劣化が生じる問題がある。
【０００４】
画像のノイズ低減手法を開示した従来技術として例えば以下のような文献がある。
特許文献１（特開平９−２６１５２６号公報）は、連写により得られた複数の画像の手振れを補正して重ね合わせる構成を開示している。
特許文献２（特開平１１−７５１０５号公報）は、全露光時間を複数の露光期間に分割し、各露光期間で得られた画像を手ぶれ補正して加算することで画質の向上を実現する構成を記載している。
【０００５】
特許文献１や特許文献２に記載された構成は、いずれも複数の画像から動きベクトルを検出して複数の画像間の動き情報を得て、これらの動き情報を利用して画像の合成を行う構成である。しかし、例えば処理対象とする画像に様々な動きを示す被写体が混在して存在する場合や、ローコントラスト画像が含まれる場合などの場合には、動きベクトルの検出が困難となり、各被写体の動きと画像から検出する動きベクトルとを正確に対応付けることが困難となる。その結果、低精度の動きベクトルを適用した画像合成処理が行われることになり、ノイズ低減効果が損なわれとしまう。
【０００６】
【特許文献１】特開平９−２６１５２６号公報
【特許文献２】特開平１１−７５１０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、複数画像の合成によってノイズ低減画像を生成する構成において、最適な動きベクトルを適用して高品質なノイズ低減画像の生成を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の側面は、
基準画像と参照画像とから、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出するローカル動き予測処理部と、
前記ローカル動きベクトルを適用して、前記参照画像の動き補償処理を実行してローカル動き補償画像を生成する動き補償処理部と、
前記ローカル動きベクトルを適用して、前記基準画像と参照画像間の全画像単位の１つの動きベクトルであるグローバル動きベクトルを算出し、算出した動きベクトルを適用して前記参照画像の動き補償処理を実行してグローバル動き補償画像を生成するグローバル動き補償処理部と、
前記ローカル動き補償画像、および前記グローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じて前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成するブレンド処理部と、
を有する画像処理装置にある。
【０００９】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、前記ローカル動き補償画像の信頼度を算出するローカル動き補償画像信頼度判別処理部を有し、前記ローカル動き補償画像信頼度判別処理部は、
（ａ）前記ローカル動きベクトルと、前記グローバル動きベクトルの差分値、または、
（ｂ）前記ローカル動きベクトルの分散値、または、
（ｃ）前記ローカル動き補償画像のブロック内画素値の分散値、
の少なくともいずれかの値を算出してブロック単位で前記ローカル動き補償画像の信頼度を算出する構成である。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、前記グローバル動き補償画像の信頼度を算出するグローバル動き補償画像信頼度判別処理部を有し、前記グローバル動き補償画像信頼度判別処理部は、
（ａ）前記ローカル動き補償画像と前記グローバル動き補償画像の構成画素の絶対差分値、または、
（ｂ）前記基準画像と前記ローカル動き補償画像の構成画素の正規化相関と、前記基準画像と前記グローバル動き補償画像の構成画素の正規化相関との差分値、または、
（ｃ）前記基準画像と前記ローカル動き補償画像の構成画素の所定領域単位の絶対差分値総和（ＳＡＤ）と、前記基準画像と前記グローバル動き補償画像の構成画素の所定領域単位の絶対差分値総和（ＳＡＤ）との差分値、
の少なくともいずれかの値を算出して、画素単位または所定領域単位で前記グローバル動き補償画像の信頼度を算出する構成である。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理に適用するブレンド比率を決定するブレンド比率決定部を有し、前記ブレンド比率決定部は、前記グローバル動き補償画像の信頼度が低いと判定した画素については、グローバル動き補償画像のブレンド比率を０として設定し、前記グローバル動き補償画像の信頼度が高く、かつ前記ローカル動き補償画像の信頼度が低いと判定した画素については、前記グローバル動き補償画像のブレンド比率を相対的に高く設定し、前記グローバル動き補償画像の信頼度が高く、かつ前記ローカル動き補償画像の信頼度も高いと判定した画素については、前記グローバル動き補償画像のブレンド比率を相対的に低く設定する構成である。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、前記ブレンド比率決定部の決定したブレンド比率の調整処理を行う境界処理部を有し、前記境界処理部は、前記ブレンド比率決定部の決定したブレンド比率に応じて算出される画素値に対してローパスフィルタを適用した画素値平滑化処理によって算出される画素値に対応するブレンド比率を算出する構成である。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、前記境界処理部の算出したブレンド比率に応じて、前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成するブレンド動き補償画像生成部を有する構成である。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記基準画像と前記ブレンド動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部を有する。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記加算処理部において実行する加算処理における前記ブレンド動き補償画像の重みを設定する加算判定部を有する。
【００１６】
さらに、本発明の第２の側面は、
画像処理装置において画像処理を実行する画像処理方法であり、
ローカル動き予測処理部が、基準画像と参照画像とから、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出するローカル動き予測処理ステップと、
動き補償処理部が、前記ローカル動きベクトルを適用して、前記参照画像の動き補償処理を実行してローカル動き補償画像を生成する動き補償処理ステップと、
グローバル動き補償処理部が、前記ローカル動きベクトルを適用して、前記基準画像と参照画像間の全画像単位の１つの動きベクトルであるグローバル動きベクトルを算出し、算出した動きベクトルを適用して前記参照画像の動き補償処理を実行してグローバル動き補償画像を生成するグローバル動き補償処理ステップと、
ブレンド処理部が、前記ローカル動き補償画像、および前記グローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じて前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成するブレンド処理ステップと、
を有する画像処理方法にある。
【００１７】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
ローカル動き予測処理部において、基準画像と参照画像とから画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出させるローカル動き予測処理ステップと、
動き補償処理部において、前記ローカル動きベクトルを適用して、前記参照画像の動き補償処理を実行してローカル動き補償画像を生成させる動き補償処理ステップと、
グローバル動き補償処理部において、前記ローカル動きベクトルを適用して、前記基準画像と参照画像間の全画像単位の１つの動きベクトルであるグローバル動きベクトルを算出し、算出した動きベクトルを適用して前記参照画像の動き補償処理を実行してグローバル動き補償画像を生成させるグローバル動き補償処理ステップと、
ブレンド処理部において、前記ローカル動き補償画像、および前記グローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じて前記ローカル動き補償画像の画素値と前記グローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成させるブレンド処理ステップと、
を有するプログラムにある。
【００１８】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００１９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２０】
本発明の一実施例の構成によれば、基準画像と参照画像とのブロック単位の動きベクトルであるローカル動きベクトルを適用して生成したローカル動き補償画像と、基準画像と参照画像との画像全体のグローバル動きベクトルを適用して生成したグローバル動き補償画像を適用した処理を行う。ローカル動き補償画像、およびグローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じてローカル動き補償画像の画素値とグローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成する。さらに、このブレンド動き補償画像と基準画像との加算処理によってノイズ低減画像を生成する。本構成により、ローカル動き補償画像、およびグローバル動き補償画像の信頼度に応じた最適な画素値からなるブレンド動き補償画像が生成される。さらに、品質の高いノイズ低減画像の生成が可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下、下記の項目に従って、順次説明する。
（１）ノイズ低減画像生成処理の概要
（２）ローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と、グローバル動きベクトル（ＧＭＶ：Ｇｌｏｖａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）について
（３）ブレンド動き補償画像（ＢＭＣ画：Ｂｌｅｎｄ  Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ画像）を利用した画像処理例
（４）画像処理装置のハードウェア構成例
【００２２】
（１）ノイズ低減画像生成処理の概要
まず、本発明の画像処理装置の説明の前に、複数の画像を適用した画像合成処理によるノイズ低減画像生成処理の概要について説明する。なお、図１には、本出願人と同一出願人の先の特許出願（特願２００７−１３６１８４号）に記載された画像処理装置とほぼ同様の構成を示している。
【００２３】
この先願特許の記載構成に従って、複数の画像を適用した画像合成処理によるノイズ低減画像の生成処理の概要について説明する。図１に示す画像処理装置１０は、単独の画像処理装置として設定可能であるが、例えばカメラやＰＣや画像表示装置の内部の一構成要素としても設定可能である。
【００２４】
以下においては、図１に示す画像処理装置１０がカメラ内部に備えられ、連続撮影される画像がフレームメモリ１１に対する入力画像として順次格納されるものとして説明する。画像処理装置１０は、フレームメモリ１１、動き予測処理部１２、動き補償処理部１３、加算判定部１４、加算処理部１５を有する。フレームメモリ１１には、撮影画像が入力画像として順次格納される。
【００２５】
入力画像はノイズを含む画像であり、図１に示す画像処理装置１０は、この入力画像からのノイズ低減を行い、最終的に図１に示す加算処理部１５の出力としてノイズ低減画像（ＮＲ画像）を出力する。
【００２６】
動き予測処理部１２には、フレームメモリ１１から基準画像および参照画像が入力される。なお、基準画像はノイズ低減処理の対象とする画像であり、参照画像は、基準画像のノイズ低減処理に適用するための画像である。例えば基準画像と参照画像とから動きベクトルが求められる。なお、基準画像に対するノイズ低減処理は、複数の連続撮影された参照画像を適用して行われる。
【００２７】
例えば１つの基準画像と１つの参照画像を適用して生成されたノイズ低減画像がフレームメモリ１１に再格納され、このノイズ低減画像が新たな基準画像として、次の第２の参照画像を適用してさらなるノイズ低減処理がなされる。なお、具体的処理例については、図２を参照して後段で説明する。
【００２８】
動き予測処理部１２は、フレームメモリ１１から基準画像および参照画像を適用して動きベクトルを算出する。例えば１つの画像フレームを区分した小領域（ブロック）単位で、参照画像のブロックと基準画像の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルＭＶを出力する。動きベクトルＭＶは基準画像と参照画像間の画像の動きを示すベクトルである。なお動きベクトルは平行移動のみならず拡縮、回転等の情報を含むベクトルとして設定可能である。
【００２９】
動きベクトルＭＶの検出においては、例えばブロックマッチング法を適用することができる。ブロックマッチング法は、前記の小領域（ブロック）内をさらに微小ブロックに分割して、基準画像および参照画像の各微小ブロックの画素値の絶対差分値（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出して、絶対差分値（ＳＡＤ）の小さい微小ブロックの組を対応ブロックであると推定する処理である。２つの画像の対応ブロック間を結ぶベクトルを動きベクトルとして決定することができる。
【００３０】
動き補償処理部１３は、動き予測処理部１２の生成した動きベクトルＭＶを適用して基準画像または参照画像の動き補償を行い、動き補償画像（ＭＣ画）を生成する。すなわち、基準画像の被写体位置と参照画像の被写体位置を合わせるように基準画像または参照画像を移動させた動き補償画像（ＭＣ画）を生成する。動き補償処理部１３の生成した動き補償画像（ＭＣ画）は、加算判定部１４および加算処理部１５に供給される。
【００３１】
加算判定部１４は、動き補償処理部１３の生成した動き補償画像（ＭＣ画）と基準画像、およびノイズ量推定に用いる画像情報（撮影条件など）を入力する。画像情報は、例えばカメラ内部のマイコンから供給される。画像情報には、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。
【００３２】
加算判定部１４は、加算処理部１５で使用される加算重みを画素単位で生成する。加算重みは、加算の信頼度を表す。すなわち、基準画像と動き補償画像（ＭＣ画）の間で、動き補償の正しさを判定し、基準画像と動き補償画像（ＭＣ画）とを加算した際に劣化を生じさせずに、ノイズを低減させるような画素を信頼度が高いとする。
【００３３】
すなわち、加算判定部１４は基準画像と動き補償画像（ＭＣ画）の間で行われた動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定として動き補償画像（ＭＣ画）の加算比率を高めた加算重みを算出する。加算判定部１４は動き補償画像（ＭＣ画）の画素単位での加算重みを決定する。
【００３４】
例えば、異なる時間で撮影した２つの画像の同一物体の同一部分を撮影した画素同士の加算処理が行われれば、加算により時間に無相関なノイズを低減できる。このように２つの画像の同一物体の同一部分の対応の確信度が高いほど信頼度が高いと言える。信頼度は、言い換えると、同一の画像に対してノイズが重畳されているのか、または異なる画像に対してノイズが重畳されているのかを表しており、可能な限りノイズ量のみに対応して加算重みが形成されることが高精度のノイズ軽減処理にとって必要とされる。加算判定部１４の生成する加算重みは、例えば信頼度が低いと０、信頼度が高いと１の値を持つ設定とされる。
【００３５】
加算処理部１５は、基準画像と動き補償画像（ＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。加算処理部１５は、基準画像と動き補償画像（ＭＣ画）との加重平均を計算して加算処理を行う。加重平均の重みは、加算重みに帰還率を乗じた値である。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのＭＣ画に対する重みが０〜１／３で変化することになる。
【００３６】
加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果は、フレームメモリ１１に格納される。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行われる。例えば、予め規定された回数の処理が繰り返された後、加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果がノイズ低減画像（ＮＲ画像）として出力される。
【００３７】
図１に示す画像処理装置を適用した具体的処理例について図２を参照して説明する。図２の最上段に示す４つの画像、基準画像ａ、参照画像Ａ〜Ｃは、カメラの連続撮影画像である。時間的には、基準画像ａが先行し、その後に参照画像Ａ〜Ｃが続けて撮影されている。なお、図２に示す例は、基準画像が先行撮影画像であり、参照画像が後続撮影画像であるが、この逆の設定、すなわち、基準画像を時間的に後で撮影された画像とし、参照画像を先行して撮影された複数の画像とする設定としてもよい。
【００３８】
図２に示す例において、まず、基準画像ａ１１と次の撮影画像である参照画像Ａを適用して処理が行われる。
ステップＳ１１において、基準画像ａ１１と参照画像Ａ２１を適用して動きベクトルＭＶを算出し、算出した動きベクトルＭＶを適用して動き補償画像（ＭＣ画）を生成する。
【００３９】
例えば参照画像Ａ２１のブロックと基準画像ａ１１の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルＭＶを生成する。この処理は、図１に示す動き予測処理部１２の処理である。動き予測処理部１２はフレームメモリ１１から基準画像ａ１１および参照画像Ａ２１を取得して実行する。さらに、動き補償処理部１３が動きベクトルＭＶを適用して参照画像に対する動き補償を行い、動き補償画像（ＭＣ画）２２を生成する。
【００４０】
次に、ステップＳ１２において、基準画像ａ１１と、動き補償画像（ＭＣ画）２２とを比較して、画素単位の加算の信頼度を表す加算重みを算出する加算判定処理を行う。すなわち、基準画像と動き補償画像（ＭＣ画）の間で、動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定として動き補償画像（ＭＣ画）２２の加算比率を高めた加算重みを算出する。この重みの値を画素単位で示したマップが図２に示す加算判定マップ２３である。このステップＳ１２の処理は、図１に示す加算判定部１４の実行する処理である。
【００４１】
その後、ステップＳ１３において、基準画像ａ１１と動き補償画像（ＭＣ画）２２とを対応画素ごとに計算された加算重み（加算判定マップ２３）を適用して加算する処理を行う。この処理は、図１に示す加算処理部１５の処理として実行される。この加算処理によって生成される画像（基準画＋ＭＣ画）が図２の最下段に示す基準画像ｂ２４である。
【００４２】
この基準画像ｂ２４は、フレームメモリ１１に格納され、さらに、参照画像Ａ２１の次のタイミングで撮影された画像である参照画像Ｂ３１と組み合わせて、ステップＳ１４〜Ｓ１６の処理が行われる。ステップＳ１４〜Ｓ１６の処理はステップＳ１１〜Ｓ１３の処理と同様の処理である。
【００４３】
すなわち、ステップＳ１４において、基準画像ｂ２４と参照画像Ｂ３１を適用して動き補償画像（ＭＣ画）３２を生成する。
ステップ１５において、基準画像ｂ２４と、動き補償画像（ＭＣ画）３２を適用して加算判定マップ３３を生成する。
ステップＳ１６において、基準画像ｂ２４と動き補償画像（ＭＣ画）３２とを加算判定マップ３３を適用して加算して基準画＋ＭＣ画である基準画像ｃ３４を生成する。
【００４４】
この基準画像ｃ３４は、フレームメモリ１１に格納され、さらに、参照画像Ｂ３１の次のタイミングで撮影された画像である参照画像Ｃ４１と組み合わせて、ステップＳ１７〜Ｓ１９の処理が行われる。ステップＳ１７〜Ｓ１９の処理もステップＳ１１〜Ｓ１３の処理と同様の処理である。
【００４５】
すなわち、ステップＳ１７において、基準画像ｃ３４と参照画像Ｃ４１を適用して動き補償画像（ＭＣ画）４２を生成する。
ステップ１８において、基準画像ｃ３４と、動き補償画像（ＭＣ画）４２を適用して加算判定マップ４３を生成する。
ステップＳ１９において、基準画像ｃ３４と動き補償画像（ＭＣ画）４２とを加算判定マップ４３を適用して加算して基準画＋ＭＣ画であるノイズ低減画像（ＮＲ画像）４４を生成する。
【００４６】
図２に示す処理例は、３枚の参照画像Ａ〜Ｃを適用してノイズ低減画像（ＮＲ画像）４４を生成する構成であるが、これは一例であり、さらに多くの参照画像を繰り返し適用してステップＳ１１〜Ｓ１３と同じ処理を繰り返してもよい。
【００４７】
図１に示す画像処理装置の実行するノイズ低減画像（ＮＲ画）の生成シーケンスについて図３に示すフローチャートを参照して説明する。図３に示すフローのステップＳ５１〜Ｓ５３の処理の各々は、図２に示すステップＳ１１〜Ｓ１３に対応する処理である。
【００４８】
まず、ステップＳ５１において、基準画像と参照画像を適用して動きベクトルＭＶを算出し、算出した動きベクトルＭＶを適用して参照画像の動き補償処理により動き補償画像（ＭＣ画）を生成する。
【００４９】
次に、ステップＳ５２において、基準画像と、動き補償画像（ＭＣ画）とを比較して、画素単位の加算の信頼度を表す加算重みを算出する加算判定処理を行い、加算判定マップを生成する。
【００５０】
その後、ステップＳ５３において、加算判定マップに従って基準画像と動き補償画像（ＭＣ画）を対応画素ごとに加算する処理を行う。この加算処理によって、図２に示す基準画＋ＭＣ画に相当する基準画像またはノイズ低減画像（ＮＲ画像）が生成される。
【００５１】
ステップＳ５３の処理の後、ステップＳ５４に進む。ステップＳ５４では、さらに処理可能な参照画像が存在するか否かを判定する。処理可能な参照画像とは、例えば基準画像と同じ被写体を含み異なるタイミングで撮影した画像である。具体的には例えば連続撮影された画像である。処理可能な参照画像が存在する場合は、ステップＳ５１に戻り、その参照画像と、ステップＳ５３において生成した基準画＋ＭＣ画に相当する基準画像を適用してステップＳ５１〜Ｓ５３の処理を繰り返す。
【００５２】
ステップＳ５４において、処理可能な参照画像が存在しないと判定した場合は、最終的にステップＳ５３において生成した加算画像をノイズ低減画像（ＮＲ画像）として出力する。
【００５３】
（２）ローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と、グローバル動きベクトル（ＧＭＶ：Ｇｌｏｖａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）について
図１〜図３を参照して説明したノイズ低減画像の生成処理においては、図１に示す動き予測処理部１２において、基準画像と参照画像に基づいて動きベクトルを検出し、検出した動きベクトルを動き補償処理部１３に出力する。動き補償処理部１３では、この動きベクトルを適用して動き補償画像（ＭＣ画）を生成する。
【００５４】
動き予測処理部１２において実行する動きベクトルの算出処理の処理態様には複数の態様がある。上述した説明では、画像を小領域（ブロック）に区分し、ブロック単位の動きベクトルを算出するとして説明した。動きベクトルの算出手法としては、このようなブロック単位の動きベクトルを算出する手法と、画像全体の動きに基づいて画像に対して１つの動きベクトルを算出する手法が知られている。
【００５５】
図４を参照して具体的な処理例について説明する。図４は、動きベクトルの２つの算出処理例について示す図である。すなわち、
（１）ローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）の算出処理例
（２）グローバル動きベクトル（ＧＭＶ：Ｇｌｏｖａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）の算出処理例
これら２つの動きベクトルの算出処理例である。
【００５６】
（１）ローカル動きベクトル（ＬＭＶ）の算出処理は、画面を小領域（ブロック）に分割して領域毎に動きを求めて領域単位の動きベクトルによって領域単位で処理を実行するものである。図１〜図３を参照して説明した処理において適用した動きベクトルＭＶは、このローカル動きベクトル（ＬＭＶ）に相当する。
【００５７】
このローカル動きベクトル（ＬＭＶ）の算出処理の利点は、画面内のオブジェクトや、背景毎に個別の動きに対応した処理が可能となることである。
一方、欠点は、個々のブロックのローカル動きベクトル（ＬＭＶ）に対応する動き検出に用いる画像面積が小さいため、検出精度が悪くなることである。
さらに、動きベクトルＭＶの検出においては、先に説明したように、微小ブロックの画素値の絶対差分値（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出して、絶対差分値（ＳＡＤ）の小さい微小ブロックの組を対応ブロックであると推定する処理が行われるが、ほぼ同じＳＡＤの値を持つ組が複数存在する場合などには、１つの微小ブロックの組を選択することが困難になる。
【００５８】
ローカル動きベクトル（ＬＭＶ）を適用した動き補償画像（ＭＣ画）の生成を行うと、以下のような画質問題が発生する。
（１）ブロック間境界が視認できる動き補償画像（ＭＣ画）が生成される。
（２）平坦部、あるいは周期パターン部にブロック単位で空間的なばたつきが発生する。
（３）背景部分の細かなテクスチャが欠落する。
【００５９】
一方、（２）グローバル動きベクトル（ＧＭＶ）の算出処理は、１画像に対して画面全体の動きベクトルを１つのみ求める処理である。この動きベクトルは、例えばカメラの動きであるカメラモーションに相当する。
【００６０】
グローバル動きベクトル（ＧＭＶ）の算出処理の利点は、画像内全体を利用するため、精度の高い動きベクトルを算出できる点である。
一方、欠点は、画像内のオブジェクト固有の動きであるオブジェクトモーションを検出できないこと。また、局所的な動きをしているオブジェクトに関しては、オブジェクト対応の動きベクトルを適用した処理がなされないため動き補償を実施できないということがある。
【００６１】
このように、ローカル動きベクトル（ＬＭＶ）を適用した処理、グローバル動きベクトル（ＧＭＶ）を適用した処理のいずれにもそれぞれ欠点がある。
【００６２】
（３）ブレンド動き補償画像（ＢＭＣ）を利用した画像処理例
本発明の画像処理装置は、ローカル動きベクトル（ＬＭＶ）とグローバル動きベクトル（ＧＭＶ）の両者を適用する。これら２つの動きベクトルを利用して生成した２３つの動き補償画像を画像領域に応じて適宜使い分け、あるいは合成処理を行ってブレンド動き補償画像（ＢＭＣ）を生成する。
【００６３】
なお、以下の説明においては、用語の定義を以下のようにする。
ローカル動きベクトル（ＬＭＶ）を適用して生成した動き補償画像をローカル動き補償画像（ＬＭＣ）とする。
グローバル動きベクトル（ＧＭＶ）を適用して生成した動き補償画像をグローバル動き補償画像（ＧＭＣ）とする。
ローカル動き補償画像（ＬＭＣ）とグローバル動き補償画像（ＧＭＣ）の合成（ブレンド）画像をブレンド動き補償画像（ＢＭＣ）とする。
【００６４】
本発明の画像処理装置においては、まず、
ローカル動きベクトル（ＬＭＶ）を適用したローカル動き補償画像（ＬＭＣ）と、
グローバル動きベクトル（ＧＭＶ）を適用したグローバル動き補償画像（ＧＭＣ）、
これらを生成して、その後、これら２つの動き補償画像を画像領域単位で合成して、ブレンド動き補償画像（ＢＭＣ）を生成する処理を行う。
【００６５】
具体的には、ブレンド動き補償画像（ＢＭＣ）には画像領域に応じて以下の動き補償画像が含まれることになる。
（ａ）画像領域が、カメラの動き（＝画像全体の動き）による変化と異なる画像領域である場合
このような画像領域については、ローカル動きベクトル（ＬＭＶ）を適用したローカル動き補償画像（ＬＭＣ）が出力される。
【００６６】
（ｂ）画像領域が、カメラの動き（＝画像全体の動き）による変化と近似する画像領域である場合
このような画像領域については、さらに、この画像領域が、平坦部分、周期パターン、エッジまたはテクスチャ部分であるかに応じて以下のような処理が行われる。
【００６７】
（ｂ１）画像領域が平坦部分、または周期パターン
この場合は、基本処理として、グローバル動きベクトル（ＧＭＶ）を適用したグローバル動き補償画像（ＧＭＣ）が出力される。
ただし、場合に応じて、ローカル動き補償画像（ＬＭＣ）とグローバル動き補償画像（ＧＭＣ）の合成（ブレンド）された動き補償画像を出力する。ただし、この場合は、グローバル動き補償画像（ＧＭＣ）のブレンド比率をローカル動き補償画像（ＬＭＣ）より大きく設定する。
【００６８】
（ｂ２）画像領域がエッジまたはテクスチャ部分
この場合は、基本的にローカル動きベクトル（ＬＭＶ）を適用したローカル動き補償画像（ＬＭＣ）を出力する。
ただし、場合に応じて、ローカル動き補償画像（ＬＭＣ）とグローバル動き補償画像（ＧＭＣ）を合成（ブレンド）した動き補償画像を出力する。ただし、この場合は、ローカル動き補償画像（ＬＭＣ）のブレンド比率をグローバル動き補償画像（ＧＭＣ）より大きく設定する。
【００６９】
なお、上記のように本発明に従った画像処理では、画像領域によって、出力される動き補償画像がローカル動き補償画像（ＬＭＣ）、またはグローバル動き補償画像（ＧＭＣ）、または両者をブレンドした動き補償画像になる。従って、これらの異なる動き補償画像が画像領域単位で混在した画像が生成される。
【００７０】
このような処理を行うと、画像領域の境界のつながりが不自然になる。例えば画像領域の境界で画素値の変化が大きくなるような境界が発生することがある。本発明の画像処理装置では、この領域のつながりの不自然さを解消するために、ブレンド比率の調整などを行い最終的な動き補償画像を生成する。
【００７１】
本発明の一実施例に従った画像処理装置の構成例を図５に示す。図５に示す画像処理装置１００は、単独の画像処理装置として設定可能であるが、例えばカメラやＰＣや画像表示装置の内部の一構成要素としても設定可能である。
【００７２】
図５に示す画像処理装置１００が例えばカメラ内部に備えられた構成である場合、フレームメモリ１０１に対して連続撮影される画像が入力画像として順次、格納される。画像処理装置１００は、フレームメモリ１０１、ローカル動き予測処理部１０２、動き補償処理部１０３、グローバル動き予測処理部１０４、動き補償画像（ＭＣ画）ブレンド処理部１０５、加算判定部１０６、加算処理部１０７を有する。フレームメモリ１０１には、撮影画像が入力画像として順次格納される。
【００７３】
入力画像はノイズを含む画像であり、図５に示す画像処理装置１００は、この入力画像からのノイズ低減を行い、最終的に図５に示す加算処理部１０７の出力としてノイズ低減画像（ＮＲ画像）を出力する。
【００７４】
ローカル動き予測処理部１０２には、フレームメモリ１０１から基準画像および参照画像が入力される。なお、基準画像はノイズ低減処理の対象となる画像であり、参照画像は、基準画像のノイズ低減処理に適用するための画像である。参照画像には基準画像と同一の被写体像が含まれている。これらは例えば連続撮影した画像である。ローカル動き予測処理部１０２は、基準画像と参照画像とからローカル動きベクトル（ＬＭＶ）を求める。
【００７５】
なお、図５に示す画像処理装置１００も、先に図１を参照して説明した画像処理装置１０の処理と同様、基準画像に対するノイズ低減処理は、例えば、基準画像の前後において連続撮影された参照画像を適用して行われる。まず、１つの基準画像と１つの参照画像を適用してノイズ低減画像が生成され、これがフレームメモリ１０１に格納される。さらに、このノイズ低減画像を新たな基準画像として、次の第２の参照画像を適用してさらなるノイズ低減処理がなされる。この繰り返し処理によって、最終的なノイズ低減画像（ＮＲ画像）が生成され出力される。
【００７６】
なお、以下の例では、ノイズ低減画像の生成対象とする基準画像に対して、先行して撮影された複数の参照画像を適用した処理例について説明する。
【００７７】
ローカル動き予測処理部１０２は、フレームメモリ１０１から基準画像および１つの参照画像を入力し、これらの画像を適用してローカル動きベクトル（ＬＭＶ）を算出する。例えば１つの画像フレームを区分した小領域（ブロック）単位で、参照画像のブロックと基準画像の対応ブロックとの位置合わせを行い、ブロック単位のローカル動きベクトルＬＭＶを出力する。ローカル動きベクトルＬＭＶは、基準画像と参照画像間の被写体の動きの量や方向などを小領域（ブロック）単位で示すベクトルである。
【００７８】
動きベクトルＭＶの検出においては、例えばブロックマッチング法を適用することができる。ブロックマッチング法は、前記の小領域（ブロック）内をさらに微小ブロックに分割して、基準画像および参照画像の各微小ブロックの画素値の絶対差分値（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出して、絶対差分値（ＳＡＤ）の小さい微小ブロックの組を対応ブロックであると推定する処理である。２つの画像の対応ブロック間を結ぶベクトルを動きベクトルとして決定することができる。
【００７９】
動き補償処理部１０３は、ローカル動き予測処理部１０２の生成したローカル動きベクトル（ＬＭＶ）を適用して基準画像または参照画像の動き補償を行い、ローカル動き補償画像（ＬＭＣ画）を生成する。
【００８０】
すなわち、基準画像の被写体の位置と参照画像の被写体の位置を、ブロック単位のローカル動きベクトル（ＬＭＶ）を適用して移動させて位置合わせをしたローカル動き補償画像（ＬＭＣ画）を生成する。動き補償処理部１０３は、フレームメモリ１０１から取得した参照画像の被写体位置を、ローカル動きベクトル（ＬＭＶ）を適用して移動してローカル動き補償画像（ＬＭＣ画）を生成する。動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ画）は、動き補償画像（ＭＣ画）ブレンド処理部１０５に入力される。
【００８１】
グローバル動き予測処理部１０４は、フレームメモリ１０１から参照画像を入力し、さらに、ローカル動き予測処理部１０２から、ローカル動き予測処理部１０２の生成したブロック単位のローカル動きベクトル（ＬＭＶ）を入力する。
【００８２】
グローバル動き予測処理部１０４は、これらの入力データに基づいて基準画像と参照画像間の画像全体の動きに対応する１つのグローバル動きベクトル（ＧＭＶ）を算出して、算出したグローバル動きベクトル（ＧＭＶ）を適用して参照画像の被写体位置を移動させたグローバル動き補償画像（ＧＭＣ画）を生成する。
【００８３】
なお、グローバル動き予測処理部１０４では、ローカル動き予測処理部１０２から入力したブロック単位のローカル動きベクトル（ＬＭＶ）からグローバル動きベクトル（ＧＭＶ）を算出する処理を行う。この処理には、例えば、（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ，  Ｖｏｌ．  ５２，  Ｎｏ．  ２，  ＭＡＹ  ２００６）に記載された手法を適用することができる。
【００８４】
この手法は、ブロック単位のローカル動きベクトル（ＬＭＶ）から信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、選択された信頼度の高いローカル動きベクトル（ＬＭＶ）の平均化処理や最小二乗法などによって１つのグローバル動きベクトル（ＧＭＶ）を求める手法である。
【００８５】
例えば、図６（ａ）に示すように、ブロック総数がｐ個のブロックに対応するｐ個のローカル動きベクトル（ＬＭＶ）が求められた場合、ｐ個中からｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）を選択する。（ｐ−ｑ）個の信頼度の低いローカル動きベクトル（ＬＭＶ）は利用することなく、ｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）のみに基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める。
【００８６】
ローカル動きベクトル（ＬＭＶ）の信頼度情報としては、例えば基準画像と参照画像とのブロックマッチングで明確な特徴点一致情報が得られているか否かといった情報が利用される。また、信頼度の高いローカル動きベクトル（ＬＭＶ）に基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法としては、例えば平均化処理や最小二乗法が適用される。
【００８７】
あるいは、図６（ｂ）に示すようにブロック単位のローカル動きベクトル（ＬＭＶ）に信頼度に応じた重み（ｗｅｉｇｈｔ）を設定し、重みに応じたローカル動きベクトル（ＬＭＶ）の寄与率を設定し、寄与率に応じた加算処理によって１つのグローバル動きベクトル（ＧＭＶ）を求める構成としてもよい。
【００８８】
グローバル動き予測処理部１０４は、このように、ローカル動きベクトル（ＬＭＶ）適用してグローバル動きベクトル（ＧＭＶ）を算出し、算出したグローバル動きベクトル（ＧＭＶ）を適用してグローバル動き補償画像（ＧＭＣ画）を生成する。
【００８９】
グローバル動き予測処理部１０４の生成したグローバル動きベクトル（ＧＭＶ）と、グローバル動き補償画像（ＧＭＣ画）は、動き補償画像（ＭＣ画）ブレンド処理部１０５に入力される。
【００９０】
動き補償画像（ＭＣ画）ブレンド処理部１０５は、さらに、ローカル動き予測処理部１０２の生成したローカル動きベクトル（ＬＭＶ）と、動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ画）を入力する。さらにフレームメモリ１０１から基準画像を入力する。
【００９１】
動き補償画像（ＭＣ画）ブレンド処理部１０５は、これらの入力データを利用してブレンド動き補償画像（ＢＭＣ画）を生成する。動き補償画像（ＭＣ画）ブレンド処理部１０５の詳細構成および処理について図７以下を参照して説明する。
【００９２】
図７には、動き補償画像（ＭＣ画）ブレンド処理部１０５の詳細構成を示している。動き補償画像（ＭＣ画）ブレンド処理部１０５は、グローバル動き補償画像（ＧＭＣ）信頼度判別部２０１、ローカル動き補償画像（ＬＭＣ）信頼度判別部２０２、ブレンド比率決定部２０３、境界処理部２０４、ブレンド動き補償画像（ＢＭＣ）生成部２０５を有する。
【００９３】
グローバル動き補償画像（ＧＭＣ）信頼度判別部２０１は、図５に示すグローバル動き予測処理部１０４の生成したグローバル動き補償画像（ＧＭＣ）の信頼度を算出する。具体的には、例えば、カメラの動きによる変化と異なる変化を示す画面領域をグローバル動き補償画像（ＧＭＣ）の信頼度の低い領域であると判定する処理などを実行する。
【００９４】
またローカル動き補償画像（ＬＭＣ）信頼度判別部２０２は、図５に示す動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ）の信頼度を算出する。具体的には、例えばカメラの動きによる変化と近似する変化を示す画面領域が周期パターンであるか否か等を確認するための処理を行う。なお、グローバル動き補償画像（ＧＭＣ）信頼度判別部２０１、およびローカル動き補償画像（ＬＭＣ）信頼度判別部２０２では、各動き補償画像の信頼度を例えば画素単位またはブロック単位で算出する。この処理の詳細については後述する。
【００９５】
ブレンド比率決定部２０３は、これらグローバル動き補償画像（ＧＭＣ）信頼度判別部２０１とローカル動き補償画像（ＬＭＣ）信頼度判別部２０２から、それぞれの動き補償画像の信頼度情報を入力して、入力した信頼度情報に応じてグローバル動き補償画像（ＧＭＣ）とローカル動き補償画像（ＬＭＣ）とのブレンド比率を決定する。ブレンド比率は、グローバル動き補償画像（ＧＭＣ）信頼度判別部２０１、およびローカル動き補償画像（ＬＭＣ）信頼度判別部２０２における信頼度の算出単位、すなわち例えば画素単位、あるいはブロック単位で設定されることになる。
【００９６】
境界処理部２０４は、ブレンド比率決定部２０３から、グローバル動き補償画像（ＧＭＣ）とローカル動き補償画像（ＬＭＣ）とのブレンド比率情報を入力する。境界処理部２０４は、例えばブレンド比率の異なる境界、例えばブロック境界のつながりの不自然さを解消するためにブレンド比率の再調整を行う処理部である。具体的処理例については後述する。
【００９７】
ブレンド動き補償画像（ＢＭＣ）生成部２０５は、境界処理部２０４の再設定したブレンド比率情報を入力して、入力したブレンド比率情報に従って、グローバル動き補償画像（ＧＭＣ）とローカル動き補償画像（ＬＭＣ）とのブレンド処理を実行して、ブレンド動き補償画像（ＢＭＣ）を生成する。生成したブレンド動き補償画像（ＢＭＣ）は、図５に示す加算判定部１０６、加算処理部１０７に出力される。
【００９８】
図７に示す動き補償画像（ＭＣ画）ブレンド処理部１０５中のグローバル動き補償画像（ＧＭＣ）信頼度判別部２０１の構成例および処理について図８を参照して説明する。
【００９９】
図８に示すグローバル動き補償画像（ＧＭＣ）信頼度判別部２０１は、絶対差分値算出部２１１、正規化相関差分値算出部２１２、絶対差分値総和（ＳＡＤ）差分値算出部２１３、グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４を有する。
【０１００】
絶対差分値算出部２１１と、正規化相関差分値算出部２１２と、絶対差分値総和（ＳＡＤ）差分値算出部２１３は、いずれも単独でグローバル動き補償画像（ＧＭＣ）の信頼度情報を出力可能であり、これら３の構成要素の１つのみを利用する構成としてもよい。あるいはこれらの３つの信頼度情報を総合的に利用する構成としてもよい。図８に示す構成例は、３つの異なる信頼度算出手法を選択的に利用、または総合的に利用可能な構成例を示している。
【０１０１】
絶対差分値算出部２１１は、図５に示すグローバル動き予測処理部１０４の生成したグローバル動き補償画像（ＧＭＣ）と、図５に示す動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ）の２つの動き補償画像を入力し、ＧＭＣとＬＭＣの対応画素の画素値についての絶対差分値を算出する。この処理は画素単位で行われ、画素単位でグローバル動き補償画像（ＧＭＣ）の信頼度の算出が行われる。
【０１０２】
絶対差分値算出部２１１は、ＧＭＣとＬＭＣの対応画素の画素値、例えばＰｘ（ＧＭＣ）、Ｐｘ（ＬＭＣ）との絶対差分値｜Ｐｘ（ＬＭＣ）−Ｐｘ（ＧＭＣ）｜を算出して、算出結果をグローバル動き補償画像（ＧＭＣ）信頼度算出部２１４に出力する。
【０１０３】
グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４は、予め設定された閾値Ｔ１を有し、絶対差分値算出部２１１から入力するＰｘ（ＧＭＣ）、Ｐｘ（ＬＭＣ）との絶対差分値｜Ｐｘ（ＬＭＣ）−Ｐｘ（ＧＭＣ）｜と閾値を比較する。
｜Ｐｘ（ＬＭＣ）−Ｐｘ（ＧＭＣ）｜＞Ｔ１
上記式が成立する場合は、
グローバル動き補償画像（ＧＭＣ）の構成画素Ｐｘ（ＧＭＣ）の信頼度が低いと判定し、上記式が成立しない場合は、グローバル動き補償画像（ＧＭＣ）の構成画素Ｐｘ（ＧＭＣ）の信頼度が高いと判定する。
【０１０４】
なお、グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４は、各画素単位の信頼度として、例えば閾値Ｔ１を境界条件として、
信頼度あり＝（１）、
信頼度なし＝（０）、
信頼度をこれらの２値設定としてブレンド比率決定部２０３に出力する。
【０１０５】
正規化相関差分値算出部２１２は、図５に示すグローバル動き予測処理部１０４の生成したグローバル動き補償画像（ＧＭＣ）と、図５に示す動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ）の２つの動き補償画像を入力し、さらに、処理対象としている基準画像（Ｃｕｒ画）をフレームメモリ１０１から入力する。
【０１０６】
正規化相関差分値算出部２１２は、ローカル動き補償画像（ＬＭＣ）と、基準画像（Ｃｕｒ）との正規化相関［ＮＣ（ＬＭＣ，Ｃｕｒ）］を以下の式によって算出する。
ＮＣ（ＬＭＣ，Ｃｕｒ）＝Σｉ（ＬＭＣ（ｉ）×Ｃｕｒ（ｉ））／Ｓｑｒｔ（Σｉ（ＬＭＣ（ｉ）×ＬＭＣ（ｉ））×Σｉ（Ｃｕｒ（ｉ）×Ｃｕｒ（ｉ）））
なお、上記式において、
ＬＭＣ（ｉ）：ＬＭＣの処理ブロック内の画素値
Ｃｕｒ（ｉ）：Ｃｕｒの処理ブロック内の画素値
ｓｑｒｔ：平方根
である。
【０１０７】
さらに、正規化相関差分値算出部２１２は、グローバル動き補償画像（ＧＭＣ）と、基準画像（Ｃｕｒ）との正規化相関［ＮＣ（ＧＭＣ，Ｃｕｒ）を以下の式によって算出する。
ＮＣ（ＧＭＣ，Ｃｕｒ）＝Σｉ（ＧＭＣ（ｉ）×Ｃｕｒ（ｉ））／Ｓｑｒｔ（Σｉ（ＧＭＣ（ｉ）×ＧＭＣ（ｉ））×Σｉ（Ｃｕｒ（ｉ）×Ｃｕｒ（ｉ）））
なお、上記式において、
ＧＭＣ（ｉ）：ＧＭＣの処理ブロック内の画素値
Ｃｕｒ（ｉ）：Ｃｕｒの処理ブロック内の画素値
ｓｑｒｔ：平方根
である。
【０１０８】
さらに、正規化相関差分値算出部２１２は、上記式によって算出したＮＣ（ＬＭＣ，Ｃｕｒ）とＮＣ（ＧＭＣ，Ｃｕｒ）との差分値を正規化相関差分値として算出する。すなわち、
ＮＣ（ＬＭＣ，Ｃｕｒ）−ＮＣ（ＧＭＣ，Ｃｕｒ）
上記式に従って、正規化相関差分値を算出して、算出結果をグローバル動き補償画像（ＧＭＣ）信頼度算出部２１４に出力する。
【０１０９】
グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４は、予め設定された閾値Ｔ２を有し、正規化相関差分値算出部２１２から入力する正規化相関差分値［ＮＣ（ＬＭＣ，Ｃｕｒ）−ＮＣ（ＧＭＣ，Ｃｕｒ）］と閾値Ｔ２を比較する。
ＮＣ（ＬＭＣ，Ｃｕｒ）−ＮＣ（ＧＭＣ，Ｃｕｒ）＞Ｔ２
上記式が成立するブロックは、
グローバル動き補償画像（ＧＭＣ）の信頼度が低いと判定し、上記式が成立しないブロックは、グローバル動き補償画像（ＧＭＣ）の信頼度が高いと判定する。
【０１１０】
なお、グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４は、各ブロック単位の信頼度として、例えば閾値Ｔ２を境界条件として、
信頼度あり＝（１）、
信頼度なし＝（０）、
信頼度をこれらの２値設定としてブレンド比率決定部２０３に出力する。
【０１１１】
絶対差分値総和（ＳＡＤ）差分値算出部２１３は、図５に示すグローバル動き予測処理部１０４の生成したグローバル動き補償画像（ＧＭＣ）と、図５に示す動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ）の２つの動き補償画像を入力し、さらに、処理対象としている基準画像（Ｃｕｒ画）をフレームメモリ１０１から入力する。
【０１１２】
絶対差分値総和（ＳＡＤ）差分値算出部２１３は、ローカル動き補償画像（ＬＭＣ）と、基準画像（Ｃｕｒ）との絶対差分値総和（ＳＡＤ）［ＳＡＤ（ＬＭＣ，Ｃｕｒ）を以下の式によって算出する。
ＳＡＤ（ＬＭＣ，Ｃｕｒ）＝Σｉ（｜ＬＭＣ（ｉ）−Ｃｕｒ（ｉ）｜）
なお、上記式において、
ＬＭＣ（ｉ）：ＬＭＣの処理ブロック内の画素値
Ｃｕｒ（ｉ）：Ｃｕｒの処理ブロック内の画素値
である。
【０１１３】
さらに、絶対差分値総和（ＳＡＤ）差分値算出部２１３は、グローバル動き補償画像（ＧＭＣ）と、基準画像（Ｃｕｒ）との絶対差分値総和（ＳＡＤ）［ＳＡＤ（ＧＭＣ，Ｃｕｒ）を以下の式によって算出する。
ＳＡＤ（ＧＭＣ，Ｃｕｒ）＝Σｉ（｜ＧＭＣ（ｉ）−Ｃｕｒ（ｉ）｜）
なお、上記式において、
ＧＭＣ（ｉ）：ＧＭＣの処理ブロック内の画素値
Ｃｕｒ（ｉ）：Ｃｕｒの処理ブロック内の画素値
である。
【０１１４】
さらに、絶対差分値総和（ＳＡＤ）差分値算出部２１３は、上記式によって算出したＳＡＤ（ＬＭＣ，Ｃｕｒ）とＳＡＤ（ＧＭＣ，Ｃｕｒ）との差分値を絶対差分値総和（ＳＡＤ）差分値として算出する。すなわち、
ＳＡＤ（ＬＭＣ，Ｃｕｒ）−ＳＡＤ（ＧＭＣ，Ｃｕｒ）
上記式に従って、絶対差分値総和（ＳＡＤ）差分値を算出して、算出結果をグローバル動き補償画像（ＧＭＣ）信頼度算出部２１４に出力する。
【０１１５】
グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４は、予め設定された閾値Ｔ３を有し、絶対差分値総和（ＳＡＤ）差分値算出部２１３から入力する絶対差分値総和（ＳＡＤ）差分値［ＳＡＤ（ＬＭＣ，Ｃｕｒ）−ＳＡＤ（ＧＭＣ，Ｃｕｒ）］と閾値Ｔ３を比較する。
ＳＡＤ（ＬＭＣ，Ｃｕｒ）−ＳＡＤ（ＧＭＣ，Ｃｕｒ）＞Ｔ３
上記式が成立するブロックは、
グローバル動き補償画像（ＧＭＣ）の信頼度が低いと判定し、上記式が成立しないブロックは、グローバル動き補償画像（ＧＭＣ）の信頼度が高いと判定する。
【０１１６】
なお、グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４は、各ブロック単位の信頼度として、例えば閾値Ｔ３を境界条件として、
信頼度あり＝（１）、
信頼度なし＝（０）、
信頼度をこれらの２値設定としてブレンド比率決定部２０３に出力する。
【０１１７】
なお、先に説明したように、図８に示す絶対差分値算出部２１１と、正規化相関差分値算出部２１２と、絶対差分値総和（ＳＡＤ）差分値算出部２１３は、いずれも単独でグローバル動き補償画像（ＧＭＣ）の信頼度情報を出力可能であり、これら３の構成要素の１つのみを利用する構成としてもよい。あるいは複数の信頼度情報をグローバル動き補償画像（ＧＭＣ）信頼度算出部２１４に入力し、グローバル動き補償画像（ＧＭＣ）信頼度算出部２１４が複数の情報を総合的に判定して最終的な信頼度を算出して利用する構成としてもよい。
【０１１８】
次に、図７の動き補償画像（ＭＣ画）ブレンド処理部１０５中のローカル動き補償画像（ＬＭＣ）信頼度判別部２０２の構成例および処理について図９を参照して説明する。
【０１１９】
図９に示すローカル動き補償画像（ＬＭＣ）信頼度判別部２０２は、ＬＭＶ−ＧＭＶ間差分値算出部２２１、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２、ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３、およびローカル動き補償画像（ＧＭＣ）信頼度算出部２２４を有する。
【０１２０】
この構成においても、ＬＭＶ−ＧＭＶ間差分値算出部２２１と、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２と、ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３は、いずれも単独でローカル動き補償画像（ＬＭＣ）の信頼度情報を出力可能であり、これら３の構成要素の１つのみを利用する構成としてもよい。あるいはこれらの３つの信頼度情報を総合的に利用する構成としてもよい。図９に示す構成例は、３つの異なる信頼度算出手法を選択的に利用、または総合的に利用可能な構成例を示している。
【０１２１】
ＬＭＶ−ＧＭＶ間差分値算出部２２１は、図５に示すグローバル動き予測処理部１０４の生成したグローバル動きベクトル（ＧＭＶ）と、図５に示すローカル動き予測処理部１０２の生成したローカル動きベクトル（ＬＭＶ）を入力する。ＬＭＶ−ＧＭＶ間差分値算出部２２１は、これら２つのベクトルの差分を算出する。なお、差分算出は、ローカル動きベクトル（ＬＭＶ）の設定単位であるブロック単位で行われる。
【０１２２】
ＬＭＶ−ＧＭＶ間差分値算出部２２１は、以下の式、すなわち、
｜ＬＭＶ−ＧＭＶ｜
上記式に従って、ＬＭＶ−ＧＭＶ間の差分値を算出する。ベクトル間の差分は、例えばユークリッド距離として算出される。算出結果はローカル動き補償画像（ＬＭＣ）信頼度算出部２２４に出力する。
【０１２３】
ローカル動き補償画像（ＬＭＣ）信頼度算出部２２４は、予め設定された閾値Ｔ４を有し、ＬＭＶ−ＧＭＶ間差分値算出部２２１から入力するＬＭＶ−ＧＭＶ間差分値［｜ＬＭＶ−ＧＭＶ｜］と閾値を比較する。
｜ＬＭＶ−ＧＭＶ｜＞Ｔ４
上記式が成立するブロックは、ローカル動き補償画像（ＬＭＣ）の信頼度が低いと判定し、上記式が成立しないブロックは、ローカル動き補償画像（ＬＭＣ）の信頼度が高いと判定する。
【０１２４】
なお、各動きベクトルがベクトル成分（ｘ，ｙ）で示される場合、ＬＭＶのベクトル成分を（ＬＭＶ．ｘ，ＬＭＶ．ｙ）、ＧＭＶのベクトル成分を（ＧＭＶ．ｘ，ＧＭＶ．ｙ）として示すと、｜ＬＭＶ−ＧＭＶ｜は以下のように表現できる。
｜ＬＭＶ−ＧＭＶ｜＝｜ＬＭＶ．ｘ−ＧＭＶ．ｘ｜＋｜ＬＭＶ．ｙ−ＧＭＶ．ｙ｜
【０１２５】
さらに、図９に示すローカル動きベクトル（ＬＭＶ）分散値算出部２２２は、図５に示すローカル動き予測処理部１０２の生成したローカル動きベクトル（ＬＭＶ）を入力し、ローカル動きベクトル（ＬＭＶ）分散値［Ｖａｒ（近傍ＬＭＶ）］を算出する。
【０１２６】
ローカル動きベクトル（ＬＭＶ）はブロック単位で複数算出されている。ローカル動きベクトル（ＬＭＶ）分散値算出部２２２は、これらの複数のローカル動きベクトル（ＬＭＶ）の分散を解析する。すなわち、１ブロックに対応する１つのローカル動きベクトル（ＬＭＶ）とその周囲のブロックに対応する複数の近傍ローカル動きベクトル（ＬＭＶ）の分散度合いを算出する。この分散値を［Ｖａｒ（近傍ＬＭＶ）］とする。
【０１２７】
ローカル動きベクトル（ＬＭＶ）分散値［Ｖａｒ（近傍ＬＭＶ）］が低い場合は、複数ブロックに渡って同じようなＬＭＶが設定されていることを意味する。このような場合は、そのローカル動きベクトル（ＬＭＶ）に基づいて生成されたローカル動き補償画像（ＬＭＣ）の信頼度が低いと判定するものである。
【０１２８】
ローカル動きベクトル（ＬＭＶ）分散値算出部２２２において分散値［Ｖａｒ（近傍ＬＭＶ）］を算出する際に利用する参照近傍ブロックは、様々な設定が可能である例えば解析対象ブロックを中心とする水平（Ｈ）×垂直（Ｖ）＝３×３ブロック、あるいは３×１ブロックなどの設定が可能である。
【０１２９】
ローカル動きベクトル（ＬＭＶ）分散値算出部２２２は、まず、分散値算出エリアにおけるＬＭＶの平均値［Ａｖｅ（ＬＭＶｉｊ）］を以下に示す式に従って算出する。なお、ｉｊはベクトルの識別子であり、ｉ＝ｘ方向、ｊ＝ｙ方向のナンバリングに相当する。
Ａｖｅ（ＬＭＶｉｊ）＝（１／３Σｋ（ＬＭＶｋｊ．ｘ），１／３Σｋ（ＬＭＶｋｊ．ｙ））
ただし、ｋ＝［ｉ−１，ｉ，ｉ＋１］
【０１３０】
さらに、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２は、ローカル動きベクトル（ＬＭＶ）分散値［Ｖａｒ（近傍ＬＭＶ）］を以下の式に従って算出する。
Ｖａｒ（近傍ＬＭＶ）＝ｓｑｒｔ（１／３Σｋ（（｜ＬＭＶｋｊ．ｘ−Ａｖｅ（ＬＭＶｉｊ）．ｘ｜＋｜ＬＭＶｋｊ．ｙ−Ａｖｅ（ＬＭＶｉｊ）．ｙ｜）２））
ただし、ｋ＝［ｉ−１，ｉ，ｉ＋１］
ｓｑｒｔ：平方根
である。
【０１３１】
ローカル動きベクトル（ＬＭＶ）分散値算出部２２２の算出したローカル動きベクトル（ＬＭＶ）分散値［Ｖａｒ（近傍ＬＭＶ）］はローカル動き補償画像（ＬＭＣ）信頼度算出部２２４に出力される。
【０１３２】
ローカル動き補償画像（ＬＭＣ）信頼度算出部２２４は、予め設定された閾値Ｔ５を有し、ローカル動きベクトル（ＬＭＶ）分散値［Ｖａｒ（近傍ＬＭＶ）］と閾値Ｔ５を比較する。
Ｖａｒ（近傍ＬＭＶ）＞Ｔ５
上記式が成立するブロックは、ローカル動き補償画像（ＬＭＣ）の信頼度が低いと判定し、上記式が成立しないブロックは、ローカル動き補償画像（ＬＭＣ）の信頼度が高いと判定する。
【０１３３】
さらに、図９に示すローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３は、図５に示す動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ）を入力し、ローカル動き補償画像（ＬＭＣ）ブロック分散値［Ｖａｒ（ＬＭＣ）］を算出する。
【０１３４】
ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３は、ローカル動き補償画像（ＬＭＣ）内に設定された小領域（ブロック）内の画素値の分散を算出する。例えば平坦な画像の場合分散は小さくなる。このような画像では、ローカル動きベクトル（ＬＭＶ）自体の精度が低くなる傾向にあり、このようなブロックについては、ローカル動き補償画像（ＬＭＣ）の信頼度が低いと判定する。
【０１３５】
ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３は、以下の式に従って、ローカル動き補償画像（ＬＭＣ）ブロック分散値［Ｖａｒ（ＬＭＣ）］を算出する。算出対象のブロックを（Ａ）とし、Ａブロックのローカル動き補償画像（ＬＭＣ）ブロック分散値を［Ｖａｒ（ＬＭＣ（Ａ））］とする。
Ｖａｒ（ＬＭＣ（Ａ））＝ｓｑｒｔ（Ａｖｅ（（Ａ（ｉ）−（ＡｖｅＡ））２））
ただし、
ｓｑｒｔ：平方根
Ａ（ｉ）：ブロックＡの各画素の画素値（ｉは画素番号）
ＡｖｅＡ：ブロックＡの全画素の平均値
である。
【０１３６】
ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３の算出したローカル動き補償画像（ＬＭＣ）ブロック分散値［Ｖａｒ（ＬＭＣ）］はローカル動き補償画像（ＬＭＣ）信頼度算出部２２４に出力される。
【０１３７】
ローカル動き補償画像（ＬＭＣ）信頼度算出部２２４は、予め設定された閾値Ｔ６を有し、ローカル動き補償画像（ＬＭＣ）ブロック分散値［Ｖａｒ（ＬＭＣ）］と閾値Ｔ６を比較する。
Ｖａｒ（ＬＭＣ）＜Ｔ６
上記式が成立するブロックは、ローカル動き補償画像（ＬＭＣ）の信頼度が低いと判定し、上記式が成立しないブロックは、ローカル動き補償画像（ＬＭＣ）の信頼度が高いと判定する。
【０１３８】
なお、先に説明したように、図９に示すＬＭＶ−ＧＭＶ間差分値算出部２２１、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２、ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３は、いずれも単独でローカル動き補償画像（ＬＭＣ）の信頼度情報を出力可能であり、これら３の構成要素の１つのみを利用する構成としてもよい。あるいは複数の信頼度情報をローカル動き補償画像（ＬＭＣ）信頼度算出部２２４に入力し、ローカル動き補償画像（ＬＭＣ）信頼度算出部２２４がこれらの複数の情報を総合的に判定して最終的な信頼度を算出して利用する構成としてもよい。
【０１３９】
例えば、図１０に示す例は、ＬＭＶ−ＧＭＶ間差分値算出部２２１の結果と、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２の結果を利用して最終的なローカル動き補償画像（ＬＭＣ）の信頼度を算出した例である。
【０１４０】
ＬＭＶ−ＧＭＶ間差分値算出部２２１の結果は、
｜ＬＭＶ−ＧＭＶ｜＞Ｔ４
上記式が成立する場合（図１０の（１））と成立しない場合（図１０の（２））がある。
また、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２の結果は、
Ｖａｒ（近傍ＬＭＶ）＞Ｔ５
上記式が成立する場合（図１０の（ａ））と成立しない場合（図１０の（ｂ））がある。
従って、これらＬＭＶ−ＧＭＶ間差分値算出部２２１の結果と、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２の結果の組み合わせは４パターン存在する。
これらの４パターン中、
｜ＬＭＶ−ＧＭＶ｜＞Ｔ４
上記式が成立しない（図１０の（２））こと、かつ、
Ｖａｒ（近傍ＬＭＶ）＞Ｔ５
上記式も成立しない場合（図１０の（ｂ））の組み合わせが成立する場合にのみ、そのブロックをローカル動き補償画像（ＬＭＣ）の信頼度が高いブロックと判定するといった処理である。
【０１４１】
なお、図１０に示す例は、ＬＭＶ−ＧＭＶ間差分値算出部２２１の結果と、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２の結果を利用して最終的なローカル動き補償画像（ＬＭＣ）の信頼度を算出した例であるが、その他の組み合わせも可能である。ＬＭＶ−ＧＭＶ間差分値算出部２２１、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２、ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３の３つの情報をすべて利用する処理例も可能である。
【０１４２】
図７に戻り、動き補償画像（ＭＣ画）ブレンド処理部１０５の処理について説明を続ける。図８を参照して説明したように、グローバル動き補償画像（ＧＭＣ）信頼度判別処理部２０１は、グローバル動き補償画像（ＧＭＣ）信頼度情報を算出し、ＧＭＣ信頼度情報をブレンド比率決定部２０３に出力する。この信頼度情報は画素単位の信頼度情報となる。一方、ローカル動き補償画像（ＬＭＣ）信頼度判別処理部２０２は、ローカル動き補償画像（ＬＭＣ）信頼度情報を算出し、ＬＭＣ信頼度情報をブレンド比率決定部２０３に出力する。この信頼度情報はブロック単位の信頼度情報となる。
【０１４３】
ブレンド比率決定部は、この２つの信頼度、すなわち、
ＧＭＣ信頼度、
ＬＭＣ信頼度、
これらの２つの信頼度情報を適用してＧＭＣとＬＭＣのブレンド比率（合成比率）を決定する。すなわち、ブレンド動き補償画像（ＢＭＣ）の構成画素の画素値を決定するためのＧＭＣとＬＭＣのブレンド比率（合成比率）を算出する。
【０１４４】
具体的な処理としては、グローバル動き補償画像（ＧＭＣ）のブレンド比率０〜１を例えば、以下のように設定する。
（１）ＧＭＣ信頼度＝低：ＧＭＣブレンド比率＝０．０
（２）ＧＭＣ信頼度＝高、かつＬＭＣ信頼度＝低：ＧＭＣブレンド比率＝０．６〜１．０
（３）ＧＭＣ信頼度＝高、かつＬＭＣ信頼度＝高：ＧＭＣブレンド比率＝０．０〜０．４
例えば上記の設定とする。
【０１４５】
なお、ＧＭＣのブレンド比率＝０．０とは、その画素の画素値はローカル動き補償画像（ＬＭＣ）の画素値とする処理であり、ＧＭＣのブレンド比率＝１．０とは、その画素の画素値をグローバル動き補償画像（ＧＭＣ）の画素値とする処理である。ＧＭＣのブレンド比率＝０．５とは、その画素の画素値をローカル動き補償画像（ＬＭＣ）の画素値とグローバル動き補償画像（ＧＭＣ）の画素値の中間値とする処理である。
【０１４６】
このような設定で、ブレンド動き補償画像（ＢＭＣ）の構成画素の画素値を決定する。次に、このブレンド動き補償画像（ＢＭＣ）の構成画素の画素値情報が図７に示す境界処理部２０４に入力される。
【０１４７】
境界処理部２０４は、ブレンド比率の異なる画素の境界部分の不自然さを解消するためのブレンド比率調整処理を実行する。例えば、ブレンド比率決定部２０３の決定したブレンド比率に応じて算出される画素値に対してローパスフィルタ（ＬＰＦ）を適用した画素値平滑化処理を実行し、その画素値平滑化処理によって算出されるブレンド比率を算出をする。
【０１４８】
図１１に示すように、調整対象の画素２５１を中心とする３×３＝９画素を選択し、中央画素２５１の画素値を以下の算出式によって算出される値に設定する。
画素値＝１／９（ΣＰｖｉ）
ただし、Ｐｖｉは、調整対象の画素２５１を中心とする３×３＝９画素の各画素値である。
【０１４９】
この処理によって算出される画素値に対応するブレンド比率を最終的なブレンド比率とする。この処理によって、画素値変化がなめらかになり、ブレンド動き補償画像（ＢＭＣ）に含まれるＧＭＣとＬＭＣとのブレンド比率の異なる画像境界の不自然さが取り除かれる。
【０１５０】
図７に示す境界処理部２０４の処理結果は、ブレンド動き補償画像（ＢＭＣ）生成部２０５に出力される。ブレンド動き補償画像（ＢＭＣ）生成部２０５は、境界処理部２０４の処理結果を反映した画素値を持つブレンド動き補償画像（ＢＭＣ）を生成する。
【０１５１】
ブレンド動き補償画像（ＢＭＣ）生成部２０５の構成例および処理について図１２を参照して説明する。図１２は、ブレンド動き補償画像（ＢＭＣ）生成部２０５の１つの構成例を示している。ブレンド動き補償画像（ＢＭＣ）生成部２０５には、図５に示す動き補償処理部１０３の生成したローカル動き補償画像（ＬＭＣ画）、グローバル動き予測処理部１０４の生成したグローバル動き補償画像（ＧＭＣ画）、さらに、境界処理部２０４の処理結果であるブレンド比率情報が入力される。
【０１５２】
図１２に示すブレンド動き補償画像（ＢＭＣ）生成部２０５の処理について説明する。乗算器２８１によって境界処理部２０４の出力であるブレンド比率情報に対して帰還係数（ｗ）を乗じる。例えば帰還率を１／３に設定すれば、ブレンド比率が０〜１に変化する際に、加重平均でのグローバル動き補償画像（ＧＭＣ画）に対する重みが０〜１／３で変化することになる。なお、帰還係数（ｗ）は、例えばユーザによって入力可能である。あるいは処理対象画像の画像情報、例えば画素の輝度（明るさ）に応じて変化するように自動設定された値を入力する構成としてもよい。
【０１５３】
乗算器２８１から出力される係数（αで表す）が乗算器２８２に供給され、グローバル動き補償画像（ＧＭＣ画）に乗じられる。
さらに、係数αは、減算器２８３に供給され、（１−α）が生成され、（１−α）が乗算器２８４に供給され、ローカル動き補償画像（ＬＭＣ画）に乗じられる。
乗算器２８２および乗算器２８４の出力が加算器２８５によって加算され、加算器２８５からブレンド動き補償画像（ＢＭＣ）が生成される。
【０１５４】
ブレンド動き補償画像（ＢＭＣ）生成部２０５の生成したブレンド動き補償画像（ＢＭＣ）は、図５に示すように動き補償画像（ＭＣ画）ブレンド処理部１０５の出力として加算判定部１０６、加算処理部１０７に出力され、ノイズ低減画像（ＮＲ画像）の生成に利用されることになる。
【０１５５】
動き補償画像（ＭＣ画）ブレンド処理部１０５の処理シーケンスについて、図１３に示すフローチャートを参照して説明する。図１３に示すフローチャートは、図７に示す動き補償画像（ＭＣ画）ブレンド処理部１０５において行われる処理である。
【０１５６】
ステップＳ１０１は、グローバル動き補償画像（ＧＭＣ）信頼度判別処理であり、図７に示すグローバル動き補償画像（ＧＭＣ）信頼度判別部２０１の実行する処理である。グローバル動き補償画像（ＧＭＣ）信頼度判別部２０１は、図５に示すグローバル動き予測処理部１０４の生成したグローバル動き補償画像（ＧＭＣ）の信頼度を算出する。
【０１５７】
グローバル動き補償画像（ＧＭＣ）信頼度判別部２０１は、図８を参照して説明したように、例えば絶対差分値算出部２１１、正規化相関差分値算出部２１２、絶対差分値総和（ＳＡＤ）差分値算出部２１３、これらの算出値に基づいて、グローバル動き補償画像（ＧＭＣ）の信頼度を算出する。
【０１５８】
この処理は、具体的には、例えば、カメラの動きによる変化と異なる変化を示す画面領域をグローバル動き補償画像（ＧＭＣ）の信頼度の低い領域であると判定する処理であり、信頼度情報はグローバル動き補償画像（ＧＭＣ）の画素単位の情報として生成される。
【０１５９】
ステップＳ１０１において、グローバル動き補償画像（ＧＭＣ）の信頼度が低いと判定された画素は、ステップＳ１０４において、ＧＭＣのブレンド比率＝Ｂ＿ｅ＝０．０として設定される。すなわち、その画素の画素値は、ローカル動き補償画像（ＬＭＣ）の画素値に設定される。この処理は図７に示すブレンド比率決定部２０３の処理である。
【０１６０】
ステップＳ１０１において、グローバル動き補償画像（ＧＭＣ）の信頼度が高いと判定された画素については、さらに、ステップＳ１０２以下の処理によって画素値が決定される。
【０１６１】
ステップＳ１０２は、ローカル動き補償画像（ＬＭＣ）信頼度判別処理であり、ローカル動き補償画像（ＬＭＣ）信頼度判別部２０２の実行する処理である。ローカル動き補償画像（ＬＭＣ）信頼度判別部２０２は、図５に示すル動き予測処理部１０３の生成したローカル動き補償画像（ＬＭＣ）の信頼度を算出する。図９を参照して説明したように、例えばＬＭＶ−ＧＭＶ間差分値算出部２２１、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２、ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３、これらの算出値に基づいて、ローカル動き補償画像（ＬＭＣ）の信頼度を算出する。
【０１６２】
この処理は、具体的には、例えばカメラの動きによる変化と近似する変化を示す画面領域が周期パターンであるか否かを確認し、周期パターンである場合はローカル動き補償画像（ＬＭＣ）の信頼度の低い領域であると判定する処理である。信頼度情報はローカル動き補償画像（ＬＭＣ）のブロック単位の情報として生成される。
【０１６３】
ステップＳ１０２において、ローカル動き補償画像（ＬＭＣ）の信頼度が低いと判定されたブロック内の画素は、ステップＳ１０５において、ＧＭＣのブレンド比率＝Ｂ＿ｌ＝０．６〜１．０、またはＧＭＣのブレンド比率＝Ｂ＿ａ＝１．０として設定される。すなわち、その画素の画素値は、グローバル動き補償画像（ＧＭＣ）の画素値と、ローカル動き補償画像（ＬＭＣ）の画素値の間の画素値であるが、グローバル動き補償画像（ＧＭＣ）の画素値に近い値に設定される。
【０１６４】
ステップＳ１０２において、ローカル動き補償画像（ＬＭＣ）の信頼度が高いと判定されたブロック内の画素は、ステップＳ１０３において、ＧＭＣのブレンド比率＝Ｂ＿ｓ＝０．０〜０．４として設定される。すなわち、その画素の画素値は、グローバル動き補償画像（ＧＭＣ）の画素値と、ローカル動き補償画像（ＬＭＣ）の画素値の間の画素値であるが、ローカル動き補償画像（ＬＭＣ）の画素値に近い値に設定される。
【０１６５】
ステップＳ１０３〜１０５において画素値が設定された後、ステップＳ１０６に進む。ステップＳ１０６は、図７に示す境界処理部２０４の処理である。境界処理部は、図１１を参照して説明したように、例えば３×３のローパスフィルタ（ＬＰＦ）を用いて画素値の調整を行う。
【０１６６】
次に、ステップＳ１０７において、ブレンド動き補償画像（ＢＭＣ）を生成する。この処理は、図７に示すブレンド動き補償画像（ＢＭＣ）生成部２０５の処理である。
【０１６７】
ブレンド動き補償画像（ＢＭＣ）生成部２０５は、境界処理部２０４の再設定したブレンド比率情報を入力して、入力したブレンド比率情報に従って、グローバル動き補償画像（ＧＭＣ）とローカル動き補償画像（ＬＭＣ）とのブレンド処理を実行して、ブレンド動き補償画像（ＢＭＣ）を生成する。生成したブレンド動き補償画像（ＢＭＣ）は、図５に示すように、動き補償画像（ＭＣ画）ブレンド処理部１０５の出力として図５に示す加算判定部１０６、加算処理部１０７に入力される。
【０１６８】
加算判定部１０６は、動き補償画像（ＭＣ画）ブレンド処理部１０５の生成したブレンド動き補償画像（ＢＭＣ画）と基準画像、およびノイズ量推定に用いる画像情報（撮影条件など）を入力する。画像情報は、例えばカメラ内部のマイコンから供給される。画像情報には、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。
【０１６９】
加算判定部１０６は、加算処理部１０７で使用される加算重みを画素単位で生成する。例えばブレンド動き補償画像（ＢＭＣ画）の加算重み０〜１を画素単位で生成する。具体的には、例えば加算重み情報を画像の構成画素単位で設定したマップ（加算マップ）を生成する。加算重みは、ブレンド動き補償画像（ＢＭＣ画）の信頼度を表す。
【０１７０】
すなわち、基準画像とブレンド動き補償画像（ＢＭＣ画）の間で、動き補償の正しさを判定し、基準画像とブレンド動き補償画像（ＢＭＣ画）とを加算した際に劣化を生じさせずに、ノイズを低減させるような画素は信頼度が高いと判定し、ブレンド動き補償画像（ＢＭＣ画）の加算重みが高く設定される。基本的には、基準画像とブレンド動き補償画像（ＢＭＣ画）の対応画素の画素値の類似度が高いほど、ブレンド動き補償画像（ＢＭＣ画）の画素信頼度が高いと判定される。このような画素については、ブレンド動き補償画像（ＢＭＣ画）の加算重みが高く設定される。
【０１７１】
すなわち、加算判定部１０６は、基準画像とブレンド動き補償画像（ＢＭＣ画）の間で行われた動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定としてブレンド動き補償画像（ＢＭＣ画）の加算比率を高めた加算重みを算出する。
【０１７２】
例えば、異なる時間で撮影した２つの画像の同一物体の同一部分を撮影した画素同士の加算処理が行われれば、加算により時間に無相関なノイズを低減できる。このように２つの画像の同一物体の同一部分の対応の確信度が高いほど信頼度が高いと言える。信頼度は、言い換えると、同一の画像に対してノイズが重畳されているのか、または異なる画像に対してノイズが重畳されているのかを表しており、可能な限りノイズ量のみに対応して加算重みが形成されることが高精度のノイズ軽減処理にとって必要とされる。加算判定部１０６の生成する加算重みは、例えば信頼度が低いと０、信頼度が高いと１の値を持つ設定とされる。
【０１７３】
加算処理部１０７は、基準画像とブレンド動き補償画像（ＢＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。加算処理部１０７は、基準画像とブレンド動き補償画像（ＢＭＣ画）との加重平均を計算して加算処理を行う。
【０１７４】
加算処理部１０７の構成例および処理について図１４を参照して説明する。図１４は、加算処理部１０７の構成例を示している。図から理解されるように、この加算処理部１０７は、先に図１２を参照して説明したブレンド動き補償画像（ＢＭＣ）生成部２０５の構成とほぼ同様の構成として実現可能である。
【０１７５】
加算処理部１０７には、図５に示す動き補償画像（ＭＣ画）ブレンド処理部１０５の生成したブレンド動き補償画像（ＢＭＣ画）、基準画像、さらに、加算判定部１０６から加算重み情報が入力される。
【０１７６】
乗算器３０１によって加算処理部１０７の出力である加算重みに対して帰還係数（ｗ）を乗じる。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのブレンド動き補償画像（ＢＭＣ画）に対する重みが０〜１／３で変化することになる。
【０１７７】
乗算器３０１から出力される係数（αで表す）が乗算器３０２に供給され、ブレンド動き補償画像（ＢＭＣ画）に乗じられる。
さらに、係数αは、減算器３０３に供給され、（１−α）が生成され、（１−α）が乗算器３０４に供給され、基準画像（Ｃｕｒ画）に乗じられる。
乗算器３０２および乗算器３０４の出力が加算器３０５によって加算され、加算器３０５からノイズ低減画像（ＮＲ画）が出力される。
【０１７８】
加算処理部１０７において生成された基準画像とブレンド動き補償画像（ＢＭＣ画）との加算結果としてのノイズ低減画像（ＮＲ画）は、さらにフレームメモリ１０１に格納してもよい。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行うことが可能である。
【０１７９】
例えば、予め規定された回数の処理を繰り返した後、加算処理部１０７において生成された基準画像とブレンド動き補償画像（ＢＭＣ画）との加算結果を最終的なノイズ低減画像（ＮＲ画像）として出力することが可能である。
【０１８０】
図５に示す画像処理装置の実行するノイズ低減画像（ＮＲ画像）の生成シーケンスについて、図１５に示すフローチャートを参照して説明する。
【０１８１】
ステップＳ２０１において、入力画像を基準画像、１フレーム前のノイズ低減画像（ＮＲ画）を参照画像としてローカル動き予測を行い、ローカル動きベクトル（ＬＭＶ）を生成する。この処理は、図５に示すローカル動き予測処理部１０２の処理として実行される。例えば１つの画像フレームを区分した小領域（ブロック）単位で、参照画像のブロックと基準画像の対応ブロックとの位置合わせを行い、ブロック単位のローカル動きベクトルＬＭＶを生成する。ローカル動きベクトルＬＭＶは、基準画像と参照画像間の被写体の動きの量と方向をブロック単位で示すベクトルである。
【０１８２】
次に、ステップＳ２０２では、ローカル動きベクトル（ＬＭＶ）を用いて、参照画像に対するローカル動きベクトル（ＬＭＶ）を適用した動き補償処理により、ローカル動き補償画像（ＬＭＣ画）を生成する。
【０１８３】
この処理は、図５に示す動き補償処理部１０３の処理である。動き補償処理部１０３は、ローカル動き予測処理部１０２の生成したローカル動きベクトル（ＬＭＶ）を適用して基準画像または参照画像の動き補償を行い、ローカル動き補償画像（ＬＭＣ画）を生成する。
【０１８４】
ステップＳ２０３では、ローカル動きベクトル（ＬＭＶ）を用いて、グローバル動きベクトル（ＧＭＶ）を算出して、参照画像に対するＧＭＶを適用した動き補償処理により、グローバル動き補償画像（ＧＭＣ）を生成する。
【０１８５】
この処理は、図５に示すグローバル動き予測処理部１０４の処理である。グローバル動き予測処理部１０４は、これらの入力データに基づいて基準画像と参照画像間の画像全体の動きに対応する１つのグローバル動きベクトル（ＧＭＶ）を算出して、算出したグローバル動きベクトル（ＧＭＶ）を適用して参照画像の被写体位置を移動させたグローバル動き補償画像（ＧＭＣ画）を生成する。
【０１８６】
先に図６を参照して説明したように、グローバル動き予測処理部１０４は、例えば、ブロック単位のローカル動きベクトル（ＬＭＶ）から信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、選択された信頼度の高いローカル動きベクトル（ＬＭＶ）の平均化処理や最小二乗法などによって１つのグローバル動きベクトル（ＧＭＶ）を求める。あるいは、ブロック単位のローカル動きベクトル（ＬＭＶ）に信頼度に応じた重み（ｗｅｉｇｈｔ）を設定し、重みに応じたローカル動きベクトル（ＬＭＶ）の寄与率を設定し、寄与率に応じた加算処理によって１つのグローバル動きベクトル（ＧＭＶ）を求める。
【０１８７】
次に、ステップＳ２０４において、ローカル動き補償画像（ＬＭＣ画）と、グローバル動き補償画像（ＧＭＣ画）を用いて、ブレンド動き補償画像（ＢＭＣ）を生成する。この処理は、図５に示す動き補償画像（ＭＣ画）ブレンド処理部１０５の処理である。
【０１８８】
動き補償画像（ＭＣ画）ブレンド処理部１０５は先に説明したように、図７に示す構成を有する。すなわち、グローバル動き補償画像（ＧＭＣ）信頼度判別部２０１、ローカル動き補償画像（ＬＭＣ）信頼度判別部２０２、ブレンド比率決定部２０３、境界処理部２０４、ブレンド動き補償画像（ＢＭＣ）生成部２０５を有する。
【０１８９】
動き補償画像（ＭＣ画）ブレンド処理部１０５は、図７に示す構成を適用し、グローバル動き補償画像（ＧＭＣ）と、ローカル動き補償画像（ＬＭＣ）の信頼度を算出し、その信頼度に応じて画素値を決定する。さらに画素の境界部分をなめらかにする処理などを行ってブレンド動き補償画像（ＢＭＣ）を生成する。
【０１９０】
次に、ステップＳ２０５において、基準画像と、ブレンド動き補償画像（ＢＭＣ）の加算判定を実行して、加算重み（加算判定マップ）を生成する。この処理は、図５に示す加算判定部１０６の処理である。加算判定部１０６は、加算処理部１０７で使用される加算重みを画素単位で生成する。例えば、加算重み情報を画像の構成画素単位で設定したマップ（加算マップ）を生成する。加算重みは、ブレンド動き補償画像（ＢＭＣ画）の信頼度を表す。基本的には、基準画像とブレンド動き補償画像（ＢＭＣ画）の対応画素の画素値の類似度が高いほど、ブレンド動き補償画像（ＢＭＣ画）の画素信頼度が高いと判定される。このような画素については、ブレンド動き補償画像（ＢＭＣ画）の加算重みが高く設定される。
【０１９１】
最後に、ステップＳ２０６において、基準画像と、ブレンド動き補償画像（ＢＭＣ）を加算重み（加算判定マップ）に応じて加重平均してノイズ低減画像（ＮＲ画像）を生成する。この処理は、図５に示す加算処理部１０７の処理である。
【０１９２】
加算処理部１０７は、基準画像とブレンド動き補償画像（ＢＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。加算処理部１０７は、基準画像とブレンド動き補償画像（ＢＭＣ画）との加重平均を計算して加算処理を行う。
【０１９３】
なお、さらに利用可能な異なる参照画像がある場合は、ステップＳ２０６において生成した画像に対して、新たな参照画像を適用してステップＳ２０１以下の処理を繰り返し実行してもよい。
【０１９４】
（４）画像処理装置のハードウェア構成例
最後に、図１６を参照して、上述した処理を実行する装置の１つのハードウェア構成例としてパーソナルコンピュータのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明したノイズ低減画像（ＮＲ画像）の生成処理などの処理プログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【０１９５】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【０１９６】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１９７】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
【０１９８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１９９】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２００】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０１】
以上、説明したように、本発明の一実施例の構成によれば、基準画像と参照画像とのブロック単位の動きベクトルであるローカル動きベクトルを適用して生成したローカル動き補償画像と、基準画像と参照画像との画像全体のグローバル動きベクトルを適用して生成したグローバル動き補償画像を適用した処理を行う。ローカル動き補償画像、およびグローバル動き補償画像の信頼度を画像領域単位で算出し、算出した信頼度に応じてローカル動き補償画像の画素値とグローバル動き補償画像の画素値の合成処理を実行してブレンド動き補償画像を生成する。さらに、このブレンド動き補償画像と基準画像との加算処理によってノイズ低減画像を生成する。本構成により、ローカル動き補償画像、およびグローバル動き補償画像の信頼度に応じた最適な画素値からなるブレンド動き補償画像が生成される。さらに、品質の高いノイズ低減画像の生成が可能となる。
【図面の簡単な説明】
【０２０２】
【図１】ノイズ低減画像の生成処理を行う画像処理装置の構成例について説明する図である。
【図２】ノイズ低減画像の生成処理例について説明する図である。
【図３】ノイズ低減画像の生成処理のシーケンスについて説明するフローチャートを示す図である。
【図４】ローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と、グローバル動きベクトル（ＧＭＶ：Ｇｌｏｖａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）の算出処理例について説明する図である。
【図５】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図６】ローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）からグローバル動きベクトル（ＧＭＶ：Ｇｌｏｖａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出する処理例について説明する図である。
【図７】本発明の一実施例に係る画像処理装置の動き補償画像（ＭＣ画）ブレンド処理部の構成例について説明する図である。
【図８】本発明の一実施例に係る画像処理装置のグローバル動き補償画像（ＧＭＣ画）信頼度判別処理部の構成例について説明する図である。
【図９】本発明の一実施例に係る画像処理装置のローカル動き補償画像（ＬＭＣ画）信頼度判別処理部の構成例について説明する図である。
【図１０】ローカル動き補償画像（ＬＭＣ画）信頼度判別処理部の信頼度判別処理例について説明する図である。
【図１１】本発明の一実施例に係る画像処理装置の境界処理部の処理例について説明する図である。
【図１２】本発明の一実施例に係る画像処理装置のブレンド動き補償画像（ＢＭＣ画）生成部の構成例について説明する図である。
【図１３】本発明の一実施例に係る画像処理装置の動き補償画像（ＭＣ画）ブレンド処理部の処理シーケンスを説明するフローチャートを示す図である。
【図１４】本発明の一実施例に係る画像処理装置の加算処理部の一構成例について説明する図である。
【図１５】本発明の一実施例に係る画像処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１６】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０２０３】
１０  画像処理装置
１１  フレームメモリ
１２  動き予測処理部
１３  動き補償処理部
１４  加算判定部
１５  加算処理部
１００  画像処理装置
１０１  フレームメモリ
１０２  ローカル動き予測処理部
１０３  動き補償処理部
１０４  グローバル動き予測処理部
１０５  動き補償画像（ＭＣ画）ブレンド処理部
１０６  加算判定部
１０７  加算処理部
２０１  グローバル動き補償画像（ＧＭＣ）信頼度判別部
２０２  ローカル動き補償画像（ＬＭＣ）信頼度判別部
２０３  ブレンド比率決定部
２０４  境界処理部
２０５  ブレンド動き補償画像（ＢＭＣ）生成部
２１１  絶対差分値算出部
２１２  正規化相関差分値算出部
２１３  絶対差分値総和（ＳＡＤ）差分値算出部
２１４  グローバル動き補償画像（ＧＭＣ）信頼度算出部
２２１  ＬＭＶ−ＧＭＶ間差分値算出部
２２２  ローカル動きベクトル（ＬＭＶ）分散値算出部
２２３  ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部
２２４  ローカル動き補償画像（ＧＭＣ）信頼度算出部
７０１  ＣＰＵ
７０２  ＲＯＭ
７０３  ＲＡＭ
７０４  バス
７０５  入出力インタフェース
７０６  入力部
７０７  出力部
７０８  記憶部
７０９  通信部
７１０  ドライブ
７１１  リムーバブルメディア
【図１】
2010147985.tif 000003
【図３】
2010147985.tif 000004
【図５】
2010147985.tif 000005
【図７】
2010147985.tif 000006
【図８】
2010147985.tif 000007
【図９】
2010147985.tif 000008
【図１０】
2010147985.tif 000009
【図１２】
2010147985.tif 000010
【図１３】
2010147985.tif 000011
【図１４】
2010147985.tif 000012
【図１５】
2010147985.tif 000013
【図１６】
2010147985.tif 000014
【図２】
2010147985.tif 000015
【図４】
2010147985.tif 000016
【図６】
2010147985.tif 000017
【図１１】
2010147985.tif 000018
【手続補正書】
【提出日】平成22年2月4日(2010.2.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
（３）ブレンド動き補償画像（ＢＭＣ）を利用した画像処理例
本発明の画像処理装置は、ローカル動きベクトル（ＬＭＶ）とグローバル動きベクトル（ＧＭＶ）の両者を適用する。これら２つの動きベクトルを利用して生成した２つの動き補償画像を画像領域に応じて適宜使い分け、あるいは合成処理を行ってブレンド動き補償画像（ＢＭＣ）を生成する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
図９に示すローカル動き補償画像（ＬＭＣ）信頼度判別部２０２は、ＬＭＶ−ＧＭＶ間差分値算出部２２１、ローカル動きベクトル（ＬＭＶ）分散値算出部２２２、ローカル動き補償画像（ＬＭＣ）ブロック分散値算出部２２３、およびローカル動き補償画像（ＬＭＣ）信頼度算出部２２４を有する。