(57)【要約】【課題】  画像がぼやけることなく、ランダムノイズを低減できる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】  実施形態によれば、画像処理装置は、第１フレームと、少なくとも１つの第２フレームと、を含む映像信号を処理し、第１動きベクトル検出手段、シフト手段、第２動きベクトル検出手段と演算手段を具備する。第１動きベクトル検出手段は映像信号の中の２フレームの間の第１動きベクトルを求める。シフト手段は第１フレームに対する第２フレームの画素位置を第１動きベクトルに基づいてシフトする。第２動きベクトル検出手段は第１フレームとシフト後の第２フレームとの間の画素毎の第２動きベクトルを求める。演算手段はシフト後の第２フレームの画素であって第１フレームの第１画素に対応する第２画素を第２動きベクトルに基づいて求め、第１画素の値と第２画素の値を演算する。第１フレームの第１画素の値は演算手段の演算結果に変更される。【選択図】図４
2019125974.tif 000002
【特許請求の範囲】
【請求項１】
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第１動きベクトルに基づいてシフトするシフト手段と、
前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
シフト後の前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
【請求項２】
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間のフレーム毎の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフト手段と、
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
シフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
【請求項３】
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と、
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームに対する手ブレ補正後の前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフト手段と、
手ブレ補正後の前記第１フレームと手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
【請求項４】
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、第２ブロックマッチングの探索範囲は前記第１動きベクトルに応じて決定される第２動きベクトル検出手段と、
前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
【請求項５】
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、前記第２ブロックマッチングの探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出手段と、
前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
【請求項６】
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、前記第２ブロックマッチングにおける探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出手段と、
手ブレ補正後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
【請求項７】
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理方法であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出ステップと、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第１動きベクトルに基づいてシフトするシフトステップと、
前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出ステップと、
シフト後の前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算ステップと、
を具備し、
前記第１フレームの前記第１画素の値は前記演算ステップの演算結果に変更される画像処理方法。
【請求項８】
コンピュータにより実行されるプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第１動きベクトルに基づいてシフトするシフト手段と、
前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
シフト後の前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
映像に含まれるランダムノイズを低減するために複数フレームの画像を処理することがある。複数フレーム画像処理の例は平滑化処理を含み、平滑化回路の例は平均値フィルタ、中央値フィルタ等を含む。平均値フィルタは処理対象フレームと処理対象フレームの前後の１フレーム又は２以上の参照フレームとにおける対応する画素の値の平均値を求める。中央値フィルタは処理対象フレームと処理対象フレームの前後の１フレーム又は２以上の参照フレームとにおける対応する画素の値の中央値を求める。平滑化回路は処理対象フレームの各画素の値をこの平均値又は中央値に置き換える。これにより、処理対象フレームの画素の値は複数フレームに亘って平滑化され、処理対象フレームに存在するランダムノイズが低減される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2013-074571号公報
【特許文献２】特開2005-228303号公報
【特許文献３】特開2011-114493号公報
【特許文献４】特開2011-097572号公報
【特許文献５】特開2009-230537号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フレーム間で被写体の動きがある場合、複数フレームの画像を被写体の動きを考慮しないで単純に処理した複数フレーム処理画像はぼやけてしまうことがある。
【０００５】
本発明の目的は画像がぼやけることなく、ランダムノイズを低減できる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態によれば、第１フレームと、第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置は、第１動きベクトル検出手段と、シフト手段と、第２動きベクトル検出手段と、演算手段と、を具備する。第１動きベクトル検出手段は映像信号の中の２フレームの間の第１動きベクトルを求める。シフト手段は第１フレームに対する少なくとも１つの第２フレームの画素位置を第１動きベクトルに基づいてシフトする。第２動きベクトル検出手段は第１フレームとシフト後の少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める。演算手段はシフト後の少なくとも１つの第２フレームの画素であって第１フレームの第１画素に対応する第２画素を第２動きベクトルに基づいて求め、第１画素の値と第２画素の値を演算する。第１フレームの第１画素の値は演算手段の演算結果に変更される。
【図面の簡単な説明】
【０００７】
【図１】実施形態の複数フレーム画像処理の一例である３次元動き補償ノイズ低減処理の一例を示す。
【図２】実施形態の平滑化処理で用いられるブロックマッチングの一例を示す。
【図３】フレーム間で被写体の大きな動きがある映像の一例を示す。
【図４】第１実施形態の画像処理装置の一例を示すブロック図である。
【図５】第１実施形態の画像処理装置のフレーム間位置ずれ検出部１４の検出動作の一例を示す。
【図６】第１実施形態の画像処理装置のフレーム間位置ずれ検出部１４の検出動作の他の例を示す。
【図７】第１実施形態の画素位置調整部１６Ａの一例を示すブロック図である。
【図８】第１実施形態の画素位置調整部１６Ｂの他の例を示すブロック図である。
【図９】第２実施形態の画像処理装置の一例を示すブロック図である。
【図１０】第２実施形態における手ブレ補正の一例を示す。
【図１１】第２実施形態における手ブレ補正の際の画素シフト量を説明する。
【図１２】第３実施形態の画像処理装置の一例を示すブロック図である。
【図１３】第４実施形態の画像処理装置の一例を示すブロック図である。
【図１４】第５実施形態の画像処理装置の一例を示すブロック図である。
【図１５】第６実施形態の画像処理装置の一例を示すブロック図である。
【図１６】第６実施形態における手ブレ補正後のフレーム間の動きベクトルを説明する。
【図１７】実施形態の一応用例であるダビングシステムの一例を示すブロック図である。
【図１８】ダビングシステムにおける画像処理装置の入出力映像信号の一例を示す。
【図１９】実施形態の他の応用例である監視カメラシステムの一例を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。
【０００９】
［第１実施形態］  
第１実施形態の詳細な構成を説明する前に平滑化を説明する。
【００１０】
図１は複数フレームの画像処理の例としての３次元動き補償ノイズ低減処理を示す。図１（ａ）に示すように、時間方向の平滑化フィルタ２には処理対象フレームと少なくとも１枚の参照フレームが入力される。少なくとも1枚の参照フレームは処理対象フレームとは異なるタイミングで撮影されたものである。参照フレームは処理対象フレームの直前又は直後の１フレームでもよいし、処理対象フレームの前又は後の数フレームでもよいし、処理対象フレームの数フレーム前又は数フレーム後の１又は複数フレームでもよい。映像の全てのフレームのノイズを低減する場合は、映像の各フレームが逐次処理対象フレームとなる。
【００１１】
平滑化フィルタ２は平均値フィルタ又は中央値フィルタ等を含む。平均値フィルタからなる平滑化フィルタ２は処理対象フレームと処理対象フレームの前後の１フレーム又は２以上の参照フレームとにおける対応する画素の値の平均値を求める。中央値フィルタは処理対象フレームと処理対象フレームの前後の１フレーム又は２以上の参照フレームとにおける対応する画素の値の中央値を求める。平滑化回路は処理対象フレームの各画素の値をこの平均値又は中央値に置き換える。これにより、処理対象フレームの画素の値は複数フレームに亘って平滑化され、複数フレームに存在するランダムノイズが低減される。映像信号の各フレームが処理対象フレームとされ、上述した処理が繰り返される。
【００１２】
図１（ａ）に矢印で示すように、処理対象フレームと参照フレームの間で被写体の大きな動きがある、すなわち被写体の位置が大きく変化していると、処理対象フレームと参照フレームとにおける画素の対応関係が求められず、対応しない画素が平滑化され、平滑化フレームがぼやけることがある。
【００１３】
実施形態では、図１（ｂ）に示すように、平滑化フィルタ２の前段に動き補償回路４が接続される。動き補償回路４は処理対象フレームと参照フレームの間の被写体の大きな動きを補償する。このため、処理対象フレームと参照フレームの間で被写体に大きな動きがあっても、処理対象フレームと参照フレームとにおける対応する画素の位置を求めることができ、ぼやけていない平滑化フレームを出力することができる。
【００１４】
処理対象フレームと参照フレームの間で被写体の大きな動きがあると、処理対象フレームと参照フレームとにおける対応する画素の位置を求めることができない原因を説明する。平滑化フィルタ２は対象フレームと参照フレームにおいて対応する画素を求めるためにブロックマッチングを利用する。図２はブロックマッチングの一例を示す。処理対象フレームに参照ブロック６が設定され、参照フレームに探索ブロック８が設定される。参照ブロック６は、その中心が処理対象フレームの対象画素５と一致する。なお、処理対象フレームの各画素が順次対象画素５となる。探索ブロック８の位置は、処理対象フレーム内の参照ブロック６と同じ位置である。参照ブロック６と探索ブロック８は同じサイズである。例えば、１フレームの画素数が７２０×４８０の場合、参照ブロックと探索ブロックのサイズは7画素×7画素である。
【００１５】
平滑化フィルタ２は参照ブロック６と探索ブロック８との類似度を計算する。類似度の例は画素値の差分の二乗和（二乗誤差）ＳＳＤ(Sum of Squared Difference)、画素値の差分の絶対値の和ＳＡＤ(Sum of Absolute Difference)、正規化相互相関ＮＣＣ(Normalized Cross Correlation)、零平均正規化相互相関ＺＮＣＣ(Zero means Normalized Cross Correlation)等がある。平滑化フィルタ２は探索ブロック８の位置をずらしながら類似度を計算し、類似度が最も高い（例えば、ＳＳＤが最も小さい）探索ブロック８の位置を探索する。探索ブロック８の位置がずらされる範囲が探索範囲と称される。類似度がもっと高い探索ブロック８の中心画素が処理対象フレームの対象画素５に対応する対応画素９とされ、対象画素５から対応画素９へのベクトルが対象フレームと参照フレームとの間の動きベクトル（画素毎に異なる動きベクトルであり、ローカル動きベクトルとも称される）とされる。処理対象フレーム内で対象画素５の位置が順次変化され、上記の処理が繰り返され、処理対象フレーム内の全ての画素のローカル動きベクトルが求められる。
【００１６】
ブロックマッチングの計算コストは参照フレームにおける探索ブロック８の探索範囲のサイズに応じている。参照フレーム全域を探索範囲とすると被写体に動きがあってもローカル動きベクトルが求められるが、類似度の計算コストが膨大である。そのため、計算コストを抑えるために、参照フレーム内の探索ブロック８の探索範囲は初期位置（参照ブロック６と同位置）の近傍の狭い範囲にされる。例えば、探索ブロック８はその中心が対象画素５に対応する位置を中心として上下左右に３画素までシフトされる。しかし、検索範囲が狭いと、被写体の動きが大きい場合、ローカル動きベクトルの検出は困難である。ローカル動きベクトルが検出できないと、参照フレームの画素と処理対象フレームの画素との対応関係が分からず、平滑化フレームがぼやけてしまう。
【００１７】
図３は被写体の動きが大きい映像の例を示す。被写体の大きな動きはカメラの動きに起因することが多い。カメラの動きは、パン、チルト、ロール等の回転的な動きと、トラック、ブーム等の直線的な動きと、手ブレによる振動等がある。カメラの動きに起因する動きベクトルは大きいが、図３に示すように、フレーム内の全画素でほぼ同じである。このフレームの全画素でほぼ同じである動きベクトル（フレーム毎の動きベクトルであり、グローバル動きベクトルとも称される）はフレームで１つ計算すればよいので、探索ブロックの検索範囲が参照フレーム全域と広く設定されても計算コストが低い。グローバル動きベクトルが求められると、被写体の動きを補償することができる。なお、この例ではフレーム毎に１つの動きベクトルを取得して、それをグローバル動きベクトルとしているが、参照フレームをいくつかの領域に分割して、分割領域毎に動きベクトルを取得して、それらを演算（例えば、平均）してグローバル動きベクトルとしてもよい。
【００１８】
実施形態の画像処理装置はグローバルベクトルのこの性質を利用して被写体の動きを補償する動き補償回路４を平滑化フィルタ２の前段に備える。動き補償回路４はグローバル動きベクトルを求め、参照フレームの画素位置をこのグローバル動きベクトルに基づいてシフト（動き補償）する。動き補償後の参照フレームと処理対象フレームとの間のローカル動きベクトルは小さい。そのため、ローカル動きベクトルを求めるための計算コストを低減するために探索ブロックの探索範囲を狭くしても、ローカル動きベクトルを検出できる。
【００１９】
このように参照フレームをグローバルベクトルに基づいて動き補償し、その後、処理対象フレームと参照フレームをローカルベクトルに基づいて平滑化することにより、カメラの動きを補償することができる。このため、動き補償せずにローカル動きベクトルの探索範囲を狭くした場合に探索範囲外で使用できなかった対応画素９の情報も使用して探索処理が実行でき、複数フレーム画像処理の効果が高くなる。また、ローカル動きベクトルを検出するための検索ブロックの探索範囲が狭いので、探索のための計算コストも低くできる。
【００２０】
上述した原理に従った実施形態の画像処理装置の一例を図４に示す。記憶媒体、サーバ等の映像ソース又はカメラから供給される入力映像はフレームバッファ１２に蓄積され、フレームバッファ１２から処理対象フレームと参照フレームが出力される。映像信号にランダムノイズが生じる原因の一例は、映像信号の記録媒体、映像信号の伝送媒体又はカメラ等である。映像信号が磁気テープ等の記録媒体に記録されている場合、記録媒体や記録／再生ヘッドの特性等によって、映像信号にランダムノイズが発生する可能性がある。映像信号が伝送媒体を介して伝送される場合、伝送媒体の特性等によって映像信号にランダムノイズが発生する可能性もある。さらに、カメラ等で撮像する際にも撮影環境が暗い場合等にランダムノイズが発生することもある。このような原因により、フレームバッファ１２に供給される映像信号にランダムノイズが含まれていることがある。
【００２１】
入力映像信号の各フレームのランダムノイズを除去する場合は、入力映像信号の各フレームが順次処理対象フレームとされる。参照フレームの例は処理対象フレームの前後の１フレーム又は２以上のフレームのように種々あるが、ここでは、処理対象フレームの１フレーム前のフレームとする。フレームバッファ１２は連続して供給された入力映像を一定期間（一定フレーム）蓄積する。参照フレームが処理対象フレームの直前の１フレームである場合は、フレームバッファ１２は数フレームを蓄積できればよい。フレームバッファ１２から読み出された処理対象フレームと参照フレームは画素位置調整部１６に入力される。
【００２２】
フレームバッファ１２からは処理対象フレームと参照フレーム以外にも異なるタイミングの２フレーム、例えば連続する２フレームが出力され、これらの２フレームがフレーム間位置ずれ検出部１４に入力される。フレーム間位置ずれ検出部１４は図５に示したようなブロックマッチングにより２フレームの間のフレーム間位置ずれであるグローバル動きベクトルを検出する。
【００２３】
一例では、フレーム間位置ずれ検出部１４に入力される２フレームは、処理対象フレームより時間的に前であり、フレームバッファ１２から読み出された処理対象フレームとフレーム間位置ずれ検出部１４から出力されたグローバル動きベクトルが同時に画素位置調整部１６に入力されるように決められてもよい。しかし、処理対象フレームがフレーム間位置ずれ検出部１４と画素位置調整部１６に同時に供給されてもよく、フレーム間位置ずれ検出部１４に入力される２フレームは異なるタイミングであれば何でもよい。さらに、フレームバッファ１２からは順次異なるフレームが処理対象フレームとして出力される場合、フレーム間位置ずれ検出部１４は各処理対象フレームについてフレーム間位置ずれを検出しないで、１つの位置ずれを複数の処理対象フレームについて共通に用いてもよい。
【００２４】
図２に示した例と同様に、フレーム間位置ずれ検出部１４はｔ番目のフレームに対象画素２３を中心とした参照ブロック２１を設定し、（ｔ＋１）番目（あるいは（ｔ−１）番目）のフレームに探索ブロック２２を設定する。探索ブロック２２の初期位置は、対象画素２３に対応する位置である。フレーム間位置ずれ検出部１４は探索ブロック２２の位置を変えながら参照ブロック２１と探索ブロック２２の画素値の類似度を計算し、類似度がもっと高い探索ブロック２２の位置を探索する。類似度がもっと高い探索ブロック２２の中心の対応画素２５と対象画素２３との差がグローバル動きベクトルとされる。
【００２５】
ここでは、グローバル動きベクトルは画素毎の動きベクトルではなくフレーム毎の動きベクトルであり、フレームで１つ取得するため、参照ブロック２１と探索ブロック２２のサイズは図２の参照ブロック６と探索ブロック８のサイズより大きい１２０画素×１２０画素でもよい。探索ブロック８のサイズが大きく、また探索範囲は参照フレーム全域としても、フレームで１つしかグローバルベクトルを取得しないため計算コストは低い。
【００２６】
図６は計算コストをさらに低くするためのフレーム間位置ずれ検出部１４の変形例１４Ａを示す。フレームバッファ１２から出力されたｔ番目のフレームと（ｔ＋１）番目（あるいは（ｔ−１）番目）のフレームは縮小部２４、２６をそれぞれ介して対応点探索部２８に入力される。対応点探索部２８は図５に示したようなブロックマッチングによりフレーム毎のグローバル動きベクトルを求める。フレームが縮小されているので、参照ブロック、探索ブロックも同様に図２の例に対して縮小される。対応点探索部２８に入力されるフレームは縮小部２４、２６により縮小されているので、ブロックマッチングの計算コストを大幅に削減することが可能である。
【００２７】
図４に説明を戻すと、グローバル動きベクトルは画素位置調整部１６に供給される。画素位置調整部１６は参照フレームの画素位置をグローバル動きベクトルに基づいて調整する。これにより、被写体の画素位置が処理対象フレームでも参照フレームでも同じになる。画素位置が調整されることにより、図４に示すように、画素位置調整後の参照フレームは画像がない余白（斜線部）を含む。画素位置調整部１６は処理対象フレームと画素位置調整後の参照フレームを対応点探索部１８と複数フレーム画像処理部２０に供給する。画素位置調整部１６とフレーム間位置ずれ検出部１４は図１（ｂ）の動き補償回路４に対応し、対応点探索部１８と複数フレーム画像処理部２０は図１（ｂ）の平滑化フィルタ２に対応する。
【００２８】
画素位置調整部１６はフレームバッファ１２から読み出したフレームの画素を指定量分、すなわちグローバル動きベクトル量分ずらす処理を行う。処理対象フレームに対して参照フレームをグローバル動きベクトル量分ずらす画素位置調整部１６の２つの例１６Ａ、１６Ｂを図７、図８にそれぞれ示す。
【００２９】
図７に示す画素位置調整部１６Ａはアドレス制御部３６を備える。フレームバッファ１２は処理対象フレーム読み出し部３２と参照フレーム読み出し部３４を備える。処理対象フレームの画像データは処理対象フレーム読み出し部３２から読み出され、参照フレームの画像データは参照フレーム読み出し部３４から読み出される。アドレス制御部３６は処理対象フレーム読み出し部３２に与える処理対象フレーム読み出しアドレスに対して参照フレーム読み出し部３４に与える参照フレーム読み出しアドレスをグローバル動きアドレスに基づいてずらすことにより、読み出すフレームの画素位置をずらし、処理対象フレームと参照フレームの被写体の位置を揃える。この場合も、画素位置調整後の参照フレームは画像がない余白（斜線部）を含む。
【００３０】
図８に示す画素位置調整部１６Ｂは画素カウンタ４２、４４と待ち合わせ回路４６を備える。図７に示す調整部１６Ａと同様に、フレームバッファ１２は処理対象フレーム読み出し部３２と参照フレーム読み出し部３４を備える。図８では、処理対象フレーム読み出し部３２と参照フレーム読み出し部３４の読み出しアドレスは同じである。処理対象フレーム読み出し部３２から読み出された処理対象フレームの画像信号は画素カウンタ４２と待ち合わせ回路４６に入力される。参照フレーム読み出し部３４から読み出された参照フレームの画像信号は画素カウンタ４４と待ち合わせ回路４６に入力される。待ち合わせ回路４６は処理対象フレームの画像データと参照フレームの画像データの時間差がグローバル動きアドレスに基づいた時間差となるように参照フレームの画像データに対して時間遅延を与えて処理対象フレームと参照フレームの被写体の位置を揃える。遅延時間を計測するために画素カウンタ４２、４４が備えられている。
【００３１】
再び図４に説明を戻すと、対応点探索部１８は処理対象フレームと画素位置調整後の参照フレームとの間の画素毎のローカル動きベクトルを検出する。対応点探索部１８は図２に示すように処理対象フレームに対象画素５を中心とした参照ブロック６を設定し、画素位置調整後の参照フレームの対象画素５と同じ位置に参照ブロック６と同サイズの探索ブロック８を設定し、参照ブロック６と探索ブロック８の画素値の類似度を計算する。対応点探索部１８は探索ブロック８の位置を変えながら類似度を計算し、類似度がもっと高い探索ブロック８の位置を探索する。類似度がもっと高い探索ブロック８の中心の対応画素９と対象画素５との差がローカル動きベクトルとされる。処理対象フレームと画素位置調整後の参照フレームの画素位置は殆ど揃っているので、対応点探索部１８においてローカル動きベクトルの探索範囲を参照フレーム全域にする必要が無く、探索範囲は参照ブロックの初期位置の近傍の狭い範囲でよい。例えば、探索ブロック８はその中心が対象画素５に対応する位置を中心として上下左右に３画素までシフトされる。このため、ローカル動きベクトルの計算コストは低い。
【００３２】
対応点探索部１８により求められたローカル動きベクトルは複数フレーム画像処理部２０に供給される。複数フレーム画像処理部２０は平均値フィルタ又は中央値フィルタ等を含む。複数フレーム処理部２０は、ローカル動きベクトルに基づいて、画素位置調整後の参照フレームの画素の中で処理対象フレームの対象画素に対応する対応画素を求め、対応画素の値を用いて対象画素の値を更新する。すなわち、複数フレーム画像処理部２０は処理対象フレームと参照フレームとにおける対応する画素の値の平均値を求め、処理対象フレームの各画素の値をこの平均値に置き換える。これにより、処理対象フレームの画素の値は平滑化され、複数フレームに存在するランダムノイズが低減される。
【００３３】
この例では、処理対象フレームの１フレーム前のフレームを参照フレームとしているが、例えば前後のフレーム等、複数のフレームを参照フレームとしてもよい。
【００３４】
第１実施形態では、グローバル動きベクトルを利用して参照フレームの動き補償フレームが作成された後に、その動き補償フレームからローカル動きベクトルを利用して複数フレーム処理が実行される。このため、フレーム間の被写体の動きが大きくても、ローカル動きベクトルが小さくなるため、低規模な回路でもローカル動きベクトルが探索可能となり、画像処理の効果が高くなる。画素位置調整部１６によって被写体の位置がおおよそ揃うので、後段の対応点探索部１８でのローカル動きベクトルの対応点探索の範囲を狭くすることができる。ローカル動きベクトルが求められると、対応する画素どうしで平滑化が行われるので、絵柄がぼやけることなく、ランダムノイズのみを低減することができる。第１実施形態の動き補償ありフレーム間平滑化処理は主にハードウェアでの処理に適している。
【００３５】
他の実施形態を説明するが、他の実施形態の図面において上述の実施形態と同じ部分は同じ参照数字を付して詳細な説明は省略する。
【００３６】
［第２実施形態］
図９は第２実施形態の画像処理装置の一例を示す。第２実施形態は図４に示した第１実施形態と略同じであるが、画素位置調整部１６が設けられておらず、フレーム間位置ずれ検出部１４により検出されたグローバル動きベクトルが画素位置調整部１６ではなく対応点探索部１８に供給される点が第１実施形態と異なる。
【００３７】
第１実施形態ではグローバル動きベクトルに応じて参照フレームの画素位置が調整されることにより、ローカル動きベクトルが小さくなるので、探索ブロックの探索範囲が狭くてもローカル動きベクトルを検出することができる。これに対して、第２実施形態では、対応点探索部１８において、参照フレームにおける探索ブロックの初期位置が処理対象フレームの参照ブロックと同じ位置からグローバル動きベクトルに基づいてシフトされる。探索ブロックの初期位置のシフトは、参照フレームの画素位置がシフトされたことと等価である。これによっても、ローカル動きベクトルが小さくなる。第２実施形態では、フレーム間位置ずれ検出部１４と対応点探索部１８は図１（ｂ）の動き補償回路４に対応し、対応点探索部１８と複数フレーム画像処理部２０は図１（ｂ）の平滑化フィルタ２に対応する。第２実施形態の動き補償ありフレーム間平滑化処理は主にソフトウェアでの処理に適している。
【００３８】
［第３実施形態］
フレーム間での被写体の大きな動きは撮影時の手ブレによっても生じるが、各フレームの画像の画素位置を適切な量だけシフトすると、その被写体の動きを緩和させ、手ブレの補正をすることが可能である。
【００３９】
図１０に第３実施形態の手ブレ補正の原理を示す。図１０（ａ）に示すように、手ブレがある映像信号では被写体（星印）の位置がフレーム毎に大きく変化している。図１０（ｂ）に示すように、被写体の位置が連続して変化する（被写体の動きが平滑化される）ように映像信号の各フレームの画素位置をシフトさせると、手ブレが補正され、補正後の映像は見やすい画像となる。この手ブレ補正によれば、手の振動等の時間的に高域成分の動きのみを除去し、パン、チルト、ロール動作等のような低域成分の動きを残すことが可能である。このように、手ブレ補正では、複数フレームにおいて対応する被写体がスムーズに移動するように画素位置がシフトされる。一方、動き補償では、複数フレームにおいて対応する被写体が同じ位置となるように画素位置がシフトされる。
【００４０】
図１１はこの原理に従った第３実施形態の手ブレ補正処理における画素シフト量の算出例を示す。図１１（ａ）に示すように、手ブレ補正前の映像信号においては、被写体の動きベクトルはフレーム毎に大きく変化している。例えば、処理対象フレーム（ｔ番目のフレーム）では被写体が座標（Ｘ，Ｙ）にあり、（ｔ−２）番目のフレームから（ｔ−１）番目のフレームまでの被写体の動きベクトルが（ｘ１，ｙ１）であり、（ｔ−１）番目のフレームからｔ番目のフレームまでの被写体の動きベクトルが（ｘ２，ｙ２）であり、ｔ番目のフレームから（ｔ＋１）番目のフレームまでの被写体の動きベクトルが（ｘ３，ｙ３）であり、（ｔ＋１）番目のフレームから（ｔ＋２）番目のフレームまでの被写体の動きベクトルが（ｘ４，ｙ４）であるとする。ここで、動きベクトルが平滑化されるように手ブレ補正すると、手ブレ補正後の処理対象フレームでは被写体が（Ｘ＋（−ｘ１−２ｘ２＋２ｘ３＋ｘ４）／５，Ｙ＋（−ｙ１−２ｙ２＋２ｙ３＋ｙ４）／５）（ｔ番目のフレーム以外の４フレームの被写体位置の重心）に位置する。このため、対象フレームでの手ブレ補正量である画素シフト量（シフトベクトル）は（（−ｘ１−２ｘ２＋２ｘ３＋ｘ４）／５，（−ｙ１−２ｙ２＋２ｙ３＋ｙ４）／５）となる。
【００４１】
図１２は手ブレ補正処理と複数フレーム画像処理を同時に実施する第３実施形態の画像処理装置の一例を示す。第３実施形態の画像処理装置は、図４に示した第１実施形態の画像処理装置又は図９に示した第２実施形態の画像処理装置に対して、手ブレ補正量計算部５２、手ブレ補正部５４、第２フレーム間位置ずれ検出部５６が付加されている。図４、図５のフレーム間位置ずれ検出部１４は第３実施形態では第１フレーム間位置ずれ検出部１４と称される。参照フレームの定義は種々あるが、ここでも、参照フレームは処理対象フレームの１フレーム前のフレームであるとする。
【００４２】
第１フレーム間位置ずれ検出部１４により検出されグローバル動きベクトルは第２フレーム間位置ずれ検出部５６と手ブレ補正量計算部５２に供給される。手ブレ補正量計算部５２は図１１に示したように手ブレ補正量を計算する。手ブレ補正量計算部５２により計算された手ブレ補正量は手ブレ補正部５４と第２フレーム間位置ずれ検出部５６に供給される。第２フレーム間位置ずれ検出部５６はグローバル動きベクトルと手ブレ補正量に基づいて手ブレ補正後の処理対象フレームと参照フレームとのフレーム間位置ずれである手ブレ補正後のグローバル動きベクトルを検出する。
【００４３】
手ブレ補正後のグローバル動きベクトルは画素位置調整部１６に供給される。画素位置調整部１６は処理対象フレームに対する参照フレームの画素位置を手ブレ補正後のグローバルベクトルに基づいて調整する。これにより、被写体の画素位置が処理対象フレームと参照フレームで同じになる。
【００４４】
手ブレ補正部５４は処理対象フレームの画素位置を図１１に示すように手ブレ補正量に基づいてシフトする。画素位置がシフトされることにより、手ブレ補正後の処理対象フレームには画像がない余白（斜線部）が生じる。手ブレ補正部５４で手ブレ補正（画素シフト）された処理対象フレームと画素位置調整部１６で画素シフトされた参照フレームが対応点探索部１８と複数フレーム画像処理部２０に供給される。
【００４５】
対応点探索部１８は手ブレ補正された処理対象フレームと画素位置調整後の参照フレームとの間の画素毎のローカル動きベクトルを検出する。画素位置調整部１６の調整と手ブレ補正部５４の補正により、処理対象フレームと画素位置調整後の参照フレームの画素位置は殆ど揃っているので、対応点探索部１８においてローカル動きベクトルの探索範囲は参照ブロックと同位置及びその近傍の狭い範囲でよい。
【００４６】
複数フレーム画像処理部２０は、対応点探索部１８で求められたローカル動きベクトルに基づいて、手ブレ補正後の処理対象フレームの対象画素と対応する画素位置調整後の参照フレーム内の対応画素との画素値を平均することにより処理対象フレームの画素値を平滑化し、ノイズを低減する。
【００４７】
第３実施形態によれば、ノイズ低減処理と同時に手ブレ補正を施すことが可能である。手の振動に基づく画像のぼやけが防止されるが、パン、チルト、ロール等の撮影効果のための被写体の移動は残すことができる。第３実施形態の手ブレ補正及びフレーム間平滑化の処理は主にハードウェアでの処理に適している。
【００４８】
［第４実施形態］
図１３は第４実施形態の画像処理装置の一例を示す。第４実施形態は図１２に示した第３実施形態と略同じであるが、画素位置調整部１６が設けられておらず、第２フレーム間位置ずれ検出部５６により検出された手ブレ補正後のグローバル動きベクトルが画素位置調整部１６に供給されるのではなく、対応点探索部１８に供給される点のみが第３実施形態と異なる。
【００４９】
すなわち、第４実施形態と第３実施形態の関係は第１実施形態と第２実施形態の関係と同じである。第３実施形態では手ブレ補正後のグローバル動きベクトルに応じて処理対象フレームに対する参照フレームの画素位置が調整されることにより、ローカル動きベクトルが小さくなるので、探索範囲が狭くてもローカル動きベクトルを検出することができる。これに対して、第４実施形態では、対応点探索部１８において、参照フレームにおける探索ブロックの探索範囲が手ブレ補正後のグローバル動きベクトルに基づいてシフトされる。探索範囲のシフトは、探索範囲が同じ場合参照フレームの画素位置がシフトされたことと等価である。これによっても、探索範囲が狭くてもローカル動きベクトルを検出することが可能である。第４実施形態の手ブレ補正及びフレーム間平滑化処理は主にソフトウェアでの処理に適している。
【００５０】
［第５実施形態］
第３実施形態と第４実施形態は、手ブレ補正と複数フレーム画像処理を略同時に行うが、手ブレ補正した後に複数フレーム画像処理を行う第５実施形態を説明する。図１４は第５実施形態の画像処理装置の一例を示す。第５実施形態は図１２に示した第３実施形態に対して追加されたものは第２フレームバッファ６２のみである。しかし、構成要素の接続関係は異なる。図１２のフレームバッファ１２はここでは第１フレームバッファ１２と称される。
【００５１】
第１フレームバッファ１２は連続して供給された入力映像を一定期間（一定フレーム）蓄積する。フレームバッファ１２からは連続する２フレームが出力され、これらの２フレームがフレーム間位置ずれ検出部１４に入力される。
【００５２】
フレーム間位置ずれ検出部１４は図５に示したようなブロックマッチングにより連続する２フレームの間のフレーム間位置ずれであるグローバル動きベクトルを検出する。
【００５３】
第１フレームバッファ１２から読み出された各フレーム（処理対象フレームに対応する）は手ブレ補正部５４に入力される。
【００５４】
グローバル動きベクトルは第２フレーム間位置ずれ検出部５６と手ブレ補正量計算部５２に供給される。手ブレ補正量計算部５２は図１１に示したように手ブレ補正量を計算する。手ブレ補正量計算部５２により計算された手ブレ補正量は手ブレ補正部５４と第２フレーム間位置ずれ検出部５６に供給される。第２フレーム間位置ずれ検出部５６は手ブレ補正後の処理対象フレームと参照フレームとのフレーム間位置ずれである手ブレ補正後のグローバル動きベクトルをグローバル動きベクトルと手ブレ補正量に基づいて検出する。
【００５５】
手ブレ補正部５４は処理対象フレームを手ブレ補正し、手ブレ補正部５４から出力される手ブレ補正後の処理対象フレームは第２フレームバッファ６２に蓄積される。第２フレームバッファ６２は第１フレームバッファ１２と同様に連続して供給された手ブレ補正後の入力映像を一定期間（一定フレーム）蓄積する。参照フレームが処理対象フレームの直前の１フレームである場合は、フレームバッファ１２は数フレームを蓄積できればよい。フレームバッファ１２からは手ブレ補正後の処理対象フレームと手ブレ補正後の参照フレームが読み出され、これらは画素位置調整部１６に入力される。第２フレーム間位置ずれ検出部５６により検出された手ブレ補正後のグローバル動きベクトルも画素位置調整部１６に供給される。
【００５６】
画素位置調整部１６は手ブレ補正後の処理対象フレームに対する手ブレ補正後の参照フレームの相対的な画素位置を手ブレ補正後のグローバルベクトルに基づいて調整する。手ブレ補正後の処理対象フレームに対する手ブレ補正後の参照フレームの画素位置を調整することにより、被写体の画素位置が処理対象フレームと参照フレームで同じになる。画素位置調整部１６は手ブレ補正後の処理対象フレームと画素位置調整・手ブレ補正後の参照フレームを対応点探索部１８と複数フレーム画像処理部２０に供給する。
【００５７】
対応点探索部１８は手ブレ補正後の処理対象フレームと画素位置調整・手ブレ補正後の参照フレームとの間の画素毎のローカル動きベクトルを検出する。複数フレーム画像処理部２０は対応点探索部１８で求められたローカル動きベクトルに基づいて、手ブレ補正後の処理対象フレームの対象画素と対応する画素位置調整・手ブレ補正後の参照フレーム内の対応画素との画素値を平均することにより手ブレ補正後の処理対象フレームの画素値を平滑化し、ノイズを低減する。
【００５８】
第５実施形態によれば、第３実施形態と同様に手ブレによる画像のぼやけとランダムノイズが除去された画像が得られる。手の振動に基づく画像のぼやけが防止されるが、パン、チルト、ロール等の撮影効果のための被写体の移動は残すことができる。第５実施形態の手ブレ補正及びフレーム間平滑化処理は主にハードウェアでの処理に適している。
【００５９】
［第６実施形態］
図１５は第６実施形態の画像処理装置の一例を示す。第６実施形態は図１４に示した第５実施形態と略同じであるが、画素位置調整部１６が設けられておらず、第２フレーム間位置ずれ検出部５６により検出された手ブレ補正後のグローバル動きベクトルが画素位置調整部１６に供給されるのではなく、対応点探索部１８に供給される点のみが第５実施形態と異なる。
【００６０】
すなわち、第６実施形態と第５実施形態の関係は第１実施形態と第２実施形態の関係及び第３実施形態と第４実施形態の関係と同じである。第５実施形態では手ブレ補正後のグローバル動きベクトルに応じて手ブレ補正後の参照フレームの画素位置が調整されることにより、ローカル動きベクトルが小さくなるので、探索範囲が狭くてもローカル動きベクトルを検出することができる。これに対して、第６実施形態では、対応点探索部１８において、手ブレ補正後の参照フレームにおける探索ブロックの探索範囲が手ブレ補正後のグローバル動きベクトルに基づいてシフトされる。探索範囲のシフトは、探索範囲が同じ場合参照フレームの画素位置がシフトされたことと等価である。これによっても、探索範囲が狭くてもローカル動きベクトルを検出することが可能である。第６実施形態は手ブレ補正を施すときに検出したグローバル動きベクトルを後段の対応点探索時に再度活用する例である。第６実施形態の手ブレ補正及びフレーム間平滑化処理は主にソフトウェアでの処理に適している。
【００６１】
［手ブレ補正後のグローバル動きベクトル］
第３実施形態〜第６実施形態における第２フレーム間位置ずれ検出部５６が手ブレ補正後の処理対象フレームと参照フレームとのフレーム毎のグローバル動きベクトルを求める求め方を説明する。
【００６２】
図１６に示すように、処理対象フレーム（ｔ番目のフレーム）で被写体が座標（Ｘ，Ｙ）にあり、（ｔ−１）番目のフレームとｔ番目のフレーム間のグローバル動きベクトルが（ｘ、ｙ）であり、（ｔ−１）番目のフレームに対する手ブレ補正量が（ｐ，ｑ）であり、ｔ番目のフレームに対する手ブレ補正量が（ａ，ｂ）であるとする。このとき、手ブレ補正後の被写体の位置は、（ｔ−１）番目のフレームでは（Ｘ−ｘ＋ｐ，Ｙ−ｙ＋ｑ）となり、ｔ番目のフレームでは（Ｘ＋ａ，Ｙ＋ｂ）となる。従って、手ブレ補正後の処理対象フレームと参照フレームとのフレーム毎のグローバル動きベクトルは（Ｘ＋ａ−ｐ，Ｙ＋ｂ−ｑ）となり、グローバル動きベクトル（手ブレ補正前）と手ブレ補正量に基づいて算出される。
【００６３】
［実施形態の纏め］
上記した実施形態は、平滑化に関しては、複数フレーム処理のみを行う、複数フレーム処理と手ブレ補正を同時に行う、手ブレ補正後に複数フレーム処理を行う３種類を含み、動き補償ブロックマッチングに関しては、参照フレームをグローバル動きベクトルに応じて画素シフトしてからブロックマッチングする、探索ブロックの初期位置をグローバル動きベクトルに応じてシフトしてからブロックマッチングする２種類を含み、全部で３×２の６実施形態を含む。第１、第２実施形態は複数フレーム処理に関し、第３、第４実施形態は複数フレーム処理と手ブレ補正に関し、第５、第６実施形態は手ブレ補正後複数フレーム処理に関する。第１、第３、第５実施形態は参照フレームの画素シフトに関し、第２、第４、第６実施形態は探索ブロックの初期位置シフトに関する。
【００６４】
すなわち、第１実施形態は、複数フレーム処理のみを行い画素シフトしてからブロックマッチングするものであり、例えば図４に示される。
【００６５】
第１実施形態の画像処理装置は、
処理対象フレームに対して１つ以上の参照フレームの情報を利用して画像処理を施す装置であって、
処理前の映像を記録して、処理対象フレームと参照フレームを送出するフレームバッファ１２と、
フレームバッファ１２に記録されている連続する２フレームから第１動きベクトルを検出するフレーム間位置ずれ検出部１４と、
フレームバッファ１２から処理対象フレームと参照フレームを読み出し、処理対象フレームに対して参照フレームを第１動きベクトルに応じてずらす画素位置を調整する画素位置調整部１６と、
処理対象フレームと画素位置調整された参照フレームから第２動きベクトルを検出する対応点探索部１８と、
第２動きベクトルを利用して、処理対象フレームと画素位置調整された参照フレームで複数フレーム画像処理をする複数フレーム画像処理部２０と、
を具備する。
【００６６】
第２実施形態は、複数フレーム処理のみを行い探索ブロックの初期位置をシフトするものであり、例えば図９に示される。
【００６７】
第２実施形態の画像処理装置は、
処理対象フレームに対して１つ以上の参照フレームの情報を利用して画像処理を施す装置であって、
処理前の映像を記録して、処理対象フレームと参照フレームを送出するフレームバッファ１２と、
フレームバッファ１２に記録されている連続する２フレームから第１動きベクトルを検出するフレーム間位置ずれ検出部１４と、
第１動きベクトルを利用して、処理対象フレームと参照フレームから第２動きベクトルを検出する対応点探索部１８と、
第２動きベクトルを利用して、処理対象フレームと参照フレームで複数フレーム画像処理をする複数フレーム画像処理部２０と、
を具備する。
【００６８】
第３実施形態は、複数フレーム処理と手ブレ補正を同時に行い画素シフトしてからブロックマッチングするものであり、例えば図１２に示される。
【００６９】
第３実施形態の画像処理装置は、
処理対象フレームに対して１つ以上の参照フレームの情報を利用して画像処理を施す装置であって、
処理前の映像を記録して、処理対象フレームと参照フレームを送出するフレームバッファ１２と、
フレームバッファ１２に記録されている連続する２フレームから第１動きベクトルを検出する第１フレーム間位置ずれ検出部１４と、
第１動きベクトルから処理対象フレームの手ブレ補正量を計算する手ブレ補正量計算部５２と、
第１動きベクトルと手ブレ補正量から第２動きベクトルを計算する第２フレーム間位置ずれ検出部５６と、
手ブレ補正量と第２動きベクトルを利用して、フレームバッファ１２から読み出す際に、処理対象フレームに対して手ブレ補正量分画素位置をずらして手ブレ補正された処理対象フレームを送出すると共に、手ブレ補正された処理対象フレームに対し第２動きベクトル分画素位置をずらして画素位置調整された参照フレームを送出する画素位置調整部１６及び手ブレ補正部５４と、
手ブレ補正された処理対象フレームと画素位置調整された参照フレームから第３動きベクトルを検出する対応点探索部１８と、
第３動きベクトルを利用して、手ブレ補正された処理対象フレームと画素位置調整された参照フレームで複数フレーム画像処理をする複数フレーム画像処理部２０と、
を具備する。
【００７０】
第４実施形態は、複数フレーム処理と手ブレ補正を同時に行い探索ブロックの初期位置をシフトしてからブロックマッチングするものであり、例えば図１３に示される。
【００７１】
第４実施形態の画像処理装置は、
処理対象フレームに対して１つ以上の参照フレームの情報を利用して画像処理を施す装置であって、
処理前の映像を記録して、処理対象フレームと参照フレームを送出するフレームバッファ１２と、
フレームバッファ１２に記録されている連続する２フレームから第１動きベクトルを検出する第１フレーム間位置ずれ検出部１４と、
第１動きベクトルから処理対象フレームの手ブレ補正量を計算する手ブレ補正量計算部５２と、
第１動きベクトルと手ブレ補正量から第２動きベクトルを計算する第２フレーム間位置ずれ検出部５６と、
手ブレ補正量を利用して、処理対象フレームに手ブレ補正を施す手ブレ補正部５４と、
第２動きベクトルを利用して、手ブレ補正された処理対象フレームと参照フレームから第３動きベクトルを検出する対応点探索部１８と、
第３動きベクトルを利用して、手ブレ補正された処理対象フレームと参照フレームで複数フレーム画像処理をする複数フレーム画像処理部２０と、
を具備する。
【００７２】
第５実施形態は、手ブレ補正後に複数フレーム処理を行い画素シフトしてからブロックマッチングするものであり、例えば図１４に示される。
【００７３】
第５実施形態の画像処理装置は、
処理対象フレームに対して１つ以上の参照フレームの情報を利用して画像処理を施す装置であって、
処理前の映像を記録する第１フレームバッファ１２と、
第１フレームバッファにある連続する２フレームから第１動きベクトルを検出する第１フレーム間位置ずれ検出部１４と、
第１動きベクトルから第１処理対象フレームの手ブレ補正量を計算する手ブレ補正量計算部５２と、
第１動きベクトルと手ブレ補正量から第２動きベクトルを計算する第２フレーム間位置ずれ検出部５６と、
第１フレームバッファから読み出した各フレームに対して手ブレ補正量分画素位置をずらして手ブレ補正されたフレームを送出する手ブレ補正部５４と、
手ブレ補正されたフレームを記録する第２フレームバッファ１６と、
第２フレームバッファから処理対象フレームと参照フレームを読み出し、処理対象フレームに対し第２動きベクトル分画素位置をずらして画素位置調整された参照フレームを送出する画素位置調整部１６と、
処理対象フレームと画素位置調整された参照フレームから第３動きベクトルを検出する対応点探索部１８と、
第３動きベクトルを利用して、処理対象フレームと画素位置調整された参照フレームで複数フレーム画像処理をする複数フレーム画像処理部２０と、
を具備する。
【００７４】
第６実施形態は、手ブレ補正後に複数フレーム処理を行い探索ブロックの初期位置をシフトしてからブロックマッチングするものであり、例えば図１５に示される。
【００７５】
第６実施形態の画像処理装置は、
処理対象フレームに対して１つ以上の参照フレームの情報を利用して画像処理を施す装置であって、
処理前の映像を記録する第１フレームバッファ１２と、
第１フレームバッファにある連続する２フレームから第１動きベクトルを検出する第１フレーム間位置ずれ検出部１４と、
第１動きベクトルから処理対象フレームの手ブレ補正量を計算する手ブレ補正量計算部５２と、
第１動きベクトルと手ブレ補正量から第２動きベクトルを計算する第２フレーム間位置ずれ検出部５６と、
手ブレ補正量を利用して、各フレームに手ブレ補正を施す手ブレ補正部５４と、
手ブレ補正されたフレームを記録して手ブレ補正後の処理対象フレームと手ブレ補正後の参照フレームを送出する第２フレームバッファ６２と、
第２動きベクトルを利用して、手ブレ補正後の処理対象フレームと手ブレ補正後の参照フレームから第３動きベクトルを検出する対応点探索部１８と、
第３動きベクトルを利用して、手ブレ補正後の処理対象フレームと手ブレ補正後の参照フレームで複数フレーム画像処理をする複数フレーム画像処理部２０と、
を具備する。
【００７６】
第１実施形態から第６実施形態によれば、従来の処理に対して比較的小さな処理を追加するだけで、フレーム間で被写体の動きが大きい場合でも、低規模の回路で動き検出が可能であり、平滑化処理が可能であるという大きな画像処理効果を得ることが可能となる。第３実施形態から第６実施形態によれば、複数フレーム処理ともに手ブレ補正処理も施すことができる。第３実施形態から第６実施形態によれば、手ブレ補正処理時に手ブレ補正後のグローバル動きベクトルを求め、これを後段の複数フレーム処理で利用することにより、さらに大きな画像処理効果を得ることが可能となる。
【００７７】
［応用例］
上述した実施形態のランダムノイズ除去のための画像処理装置の応用例を説明する。映像を記録する記録媒体は磁気テープからＤＶＤ（登録商標）、ＢＤ（登録商標）等の光学ディスクに変化し、磁気テープを再生できる装置が減少している。過去にビデオカメラで撮影した映像を記録した磁気テーブから映像を再生し、光学ディスクに記録するダビングシステムがある。磁気テーブはアナログ記録方式であるので、経年変化等により磁気テープの磁気記録性能が劣化すると、再生画像に点状のノイズが現れる。あるフレームで現れたノイズが次のフレームで同じ箇所に現れることは少なく、次のフレームでは別の箇所に現れる傾向がある。
【００７８】
そのため、磁気テープから再生した映像を実施形態の画像処理装置を介してから光学ディスクに記録すると、ランダムノイズが除去された高画質の画像をダビングすることができる。図１７はダビングシステムの一例である。システムは、磁気テープ１０４から映像信号を再生する再生装置１０２と、再生装置１０２からの映像信号が入力される上述したいずれかの実施形態による画像処理装置１０６と、画像処理装置１０６から出力される映像信号を光学ディスク１１０に記録する記録装置１０８からなる。画像処理装置１０６はクラウド側に設け、ネットワークを介して再生装置１０２／記録装置１０８と接続されてもよい。
【００７９】
図１７のダビングシステムによれば、図１８に示すように、被写体の動きがあってもランダムノイズが除去される。さらに、画像処理装置として第３実施形態〜第６実施形態のいずれかを用いれば、手ブレが補正されるとともにランダムノイズも除去される。三脚を使用しないでビデオカメラにより撮影する際、手ブレが避けられない。図１８（ａ）は再生装置１０２から出力される処理対象フレームを示し、図１８（ｂ）は処理対象フレームに関連する参照フレームを示し、図１８（ｃ）は画像処理装置１０６から出力される処理済みフレームを示す。再生装置１０２から出力される各フレームが処理対象フレームとされる。再生装置１０２から出力される映像信号は、（ｔ−１）番目、ｔ番目、（ｔ＋１）番目のフレームにおいて被写体が左から右に連続的に動いており、ｔ番目のフレームにおいて手ブレによりカメラが右上方向にずれ、相対的に被写体が右上にシフトしていることを示す。手ブレを補正したことにより、処理対象フレームと参照フレームの画素位置は左下にシフトするので、画像処理装置１０６から出力される処理済みの映像信号のｔ番目のフレームでは右側と上側の端部の画像が欠落する。これを防止するために、欠落した余白部の画像を前後の複数フレームから補間してもよい。
【００８０】
図１９は第２の応用例である監視システムの一例を示す。システムは、監視カメラ１２２と、監視カメラ１２２から出力される映像信号を記憶するストレージ装置１２４と、監視カメラ１２２から出力される映像信号又はストレージ装置１２４から読み出される映像信号が入力される上述したいずれかの実施形態による画像処理装置１２６と、画像処理装置１０６から出力される映像信号又はストレージ装置１２４から読み出される映像信号を表示する表示装置１２８からなる。ストレージ装置１２４はハードディスク装置、ＳＳＤ装置等からなり、監視カメラ１２２からの映像信号を保存する大容量の記憶装置である。ストレージ装置１２４や画像処理装置１２６はクラウド側に設け、ネットワークを介して監視カメラ１２２／表示装置１２８と接続されてもよい。
【００８１】
監視システムにおいては、侵入者を検出する目的もあり、動きがある被写体のランダムノイズの除去は重要である。さらに、監視システムは暗い環境を監視することもあり、カメラで撮影した映像信号にランダムノイズが発生する可能性が高いので、実施形態の画像処理の効果が高い。なお、監視カメラは柱、壁、天井等に固定されることが多いが、その場合、手ブレ補正は無くてもよい。
【００８２】
本実施形態の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００８３】
［応用例も含めた実施形態の纏め］
実施形態によれば次の画像処理装置が提供される。
（１）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第１動きベクトルに基づいてシフトするシフト手段と、
前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
シフト後の前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
（２）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間のフレーム毎の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフト手段と、
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
シフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
（３）  前記シフト手段は、
前記映像信号を格納するメモリと、
前記メモリから前記第１フレームを読み出す第１アドレスと前記メモリから前記少なくとも１つの第２フレームを読み出す第２アドレスを発生するアドレス制御手段と、
を具備し、
前記第１アドレスと前記第２アドレスとの間には前記第１動きベクトルに応じた差がある（１）又は（２）記載の画像処理装置。
（４）  前記シフト手段は、
前記映像信号を格納するメモリと、
前記メモリから読み出した前記第１フレームの画像信号と前記メモリから読み出した前記少なくとも１つの第２フレームの画像信号を遅延させる待ち合わせ手段と、
を具備し、
前記第１フレームの画像信号の遅延時間と前記メモリから読み出した前記少なくとも１つの第２フレームの画像信号の遅延時間との間には前記第１動きベクトルに応じた差がある（１）又は（２）記載の画像処理装置。
（５）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と、
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームに対する手ブレ補正後の前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフト手段と、
手ブレ補正後の前記第１フレームと手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
（６）  前記少なくとも１つの第２フレームは複数のフレームを具備し、
前記手ブレ補正量演算手段は、前記複数のフレームの複数の前記第１動きベクトルが平滑化されるような手ブレ補正量を求める（２）又は（５）記載の画像処理装置。
（７）  前記シフト手段は、
前記手ブレ補正後の映像信号を格納するメモリと、
前記メモリから手ブレ補正後の前記第１フレームを読み出す第１アドレスと前記メモリから手ブレ補正後の前記少なくとも１つの第２フレームを読み出す第２アドレスを発生するアドレス制御手段と、
を具備し、
前記第１アドレスと前記第２アドレスとの間には前記第３動きベクトルに応じた差がある（６）記載の画像処理装置。
（８）  前記シフト手段は、
前記手ブレ補正後の映像信号を格納するメモリと、
前記メモリから読み出した前記第１フレームの画像信号と前記メモリから読み出した前記少なくとも１つの第２フレームの画像信号を遅延させる待ち合わせ手段と、
を具備し、
前記第１フレームの画像信号の遅延時間と前記メモリから読み出した前記少なくとも１つの第２フレームの画像信号の遅延時間との間には前記第３動きベクトルに応じた差がある（６）記載の画像処理装置。
（９）  前記少なくとも１つの第２フレームは複数のフレームを具備し、
前記手ブレ補正量演算手段は、前記複数のフレームの複数の前記第１動きベクトルが平滑化されるような手ブレ補正量を求める（６）記載の画像処理装置。
（１０）  前記第１動きベクトル検出手段は、前記２フレームの間の第１ブロックマッチングにより前記第１動きベクトルを求め、
前記第２動きベクトル検出手段は、前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより前記第２動きベクトルを求め、
前記第１ブロックマッチングにおけるブロックサイズは前記第２ブロックマッチングにおけるブロックサイズより大きい（１）乃至（９）のいずれか記載の画像処理装置。
（１１）  前記第１動きベクトル検出手段は、前記２フレームの間の第１ブロックマッチングにより前記第１動きベクトルを求め、
前記第２動きベクトル検出手段は、前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより前記第２動きベクトルを求め、
前記第２ブロックマッチングにおけるブロックの探索範囲は前記第１ブロックマッチングにおけるブロックの探索範囲より狭い（１）乃至（９）のいずれか記載の画像処理装置。
（１２）  前記第１動きベクトル検出手段は、前記２フレームの縮小画像のブロックマッチングにより前記第１動きベクトルを求める（１）乃至（９）のいずれか記載の画像処理装置。
（１３）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、第２ブロックマッチングの探索範囲は前記第１動きベクトルに応じて決定される第２動きベクトル検出手段と、
前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
（１４）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、前記第２ブロックマッチングの探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出手段と、
前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
（１５）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、前記第２ブロックマッチングにおける探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出手段と、
手ブレ補正後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置。
（１６）  前記第２動きベクトル検出手段は、前記第２ブロックマッチングにおける探索ブロックの初期位置を前記第３動きベクトルに応じて決定する（１４）又は（１５）記載の画像処理装置。
（１７）  前記第１ブロックマッチングにおけるブロックサイズは前記第２ブロックマッチングにおけるブロックサイズより大きい（１３）乃至（１５）のいずれか記載の画像処理装置。
（１８）  前記第２ブロックマッチングにおけるブロックの探索範囲は前記第１ブロックマッチングにおけるブロックの探索範囲より狭い（１３）乃至（１５）のいずれか記載の画像処理装置。
（１９）  前記第１動きベクトル検出手段は、前記２フレームの縮小画像のブロックマッチングにより前記第１動きベクトルを求める（１３）乃至（１５）のいずれか記載の画像処理装置。
（２０）  前記演算手段は、前記第１画素の値と前記第２画素の値の平均値を求める（１）乃至（１９）のいずれか記載の画像処理装置。
（２１）  前記少なくとも１つの第２フレームは複数のフレームを具備し、
前記演算手段は、前記第１画素の値と前記複数のフレームの複数の第２画素の値の中央値を求める（１）乃至（１９）のいずれか記載の画像処理装置。
（２２）  （１）乃至（２１）のいずれか記載の画像処理装置と、
磁気テープから映像信号を再生し、再生した映像信号を前記画像処理装置に供給する再生装置と、
前記画像処理装置から出力される映像信号を光学的記録媒体に記録する記録装置と、
を具備するシステム。
（２３）  （１）乃至（２１）のいずれか記載の画像処理装置と、
映像信号を出力するカメラと、
映像信号を記憶するストレージ装置と、
映像信号を表示する表示装置と、
を具備し、
前記画像処理装置は前記カメラから出力される映像信号又は前記ストレージ装置から出力される映像信号を処理して、処理後の映像信号を前記ストレージ装置又は前記表示装置に供給するシステム。
【００８４】
実施形態によれば次の画像処理方法が提供される。
（２４）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理方法であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出ステップと、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第１動きベクトルに基づいてシフトするシフトステップと、
前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出ステップと、
シフト後の前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算ステップと、
を具備し、
前記第１フレームの前記第１画素の値は前記演算ステップの演算結果に変更される画像処理方法。
（２５）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理方法であって、
前記映像信号の中の２フレームの間のフレーム毎の第１動きベクトルを求める第１動きベクトル検出ステップと、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算ステップと、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出ステップと、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフトステップと、
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正ステップと、
手ブレ補正後の前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出ステップと、
シフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算ステップと、
を具備し、
前記第１フレームの前記第１画素の値は前記演算ステップの演算結果に変更される画像処理方法。
（２６）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理方法であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出ステップと、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算ステップと、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出ステップと、
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正ステップと、
手ブレ補正後の前記第１フレームに対する手ブレ補正後の前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフトステップと、
手ブレ補正後の前記第１フレームと手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出ステップと、
手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算ステップと、
を具備し、
前記第１フレームの前記第１画素の値は前記演算ステップの演算結果に変更される画像処理方法。
（２７）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理方法であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出ステップと、
前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出ステップであって、第２ブロックマッチングの探索範囲は前記第１動きベクトルに応じて決定される第２動きベクトル検出ステップと、
前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算ステップと、
を具備し、
前記第１フレームの前記第１画素の値は前記演算ステップの演算結果に変更される画像処理方法。
（２８）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理方法であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出ステップと、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算ステップと、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出ステップと
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正ステップと、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出ステップであって、前記第２ブロックマッチングの探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出ステップと、
前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算ステップと、
を具備し、
前記第１フレームの前記第１画素の値は前記演算ステップの演算結果に変更される画像処理方法。
（２９）  第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理方法であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出ステップと、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算ステップと、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出ステップと
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正ステップと、
手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出ステップであって、前記第２ブロックマッチングにおける探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出ステップと、
手ブレ補正後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算ステップと、
を具備し、
前記第１フレームの前記第１画素の値は前記演算ステップの演算結果に変更される画像処理方法。
【００８５】
実施形態によれば次のプログラムが提供される。
（３０）  コンピュータにより実行されるプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第１動きベクトルに基づいてシフトするシフト手段と、
前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
シフト後の前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置として動作させるためのプログラム。
（３１）  コンピュータにより実行されるプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間のフレーム毎の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と、
前記第１フレームに対する前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフト手段と、
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームとシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
シフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置として動作させるためのプログラム。
（３２）  コンピュータにより実行されるプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと、前記第２フレームと、の間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と、
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームに対する手ブレ補正後の前記少なくとも１つの第２フレームの画素位置を前記第３動きベクトルに基づいてシフトするシフト手段と、
手ブレ補正後の前記第１フレームと手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段と、
手ブレ補正後及びシフト後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置として動作させるためのプログラム。
（３３）  コンピュータにより実行されるプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、第２ブロックマッチングの探索範囲は前記第１動きベクトルに応じて決定される第２動きベクトル検出手段と、
前記少なくとも１つの第２フレームの画素であって前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置として動作させるためのプログラム。
（３４）  コンピュータにより実行されるプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と
前記手ブレ補正量に基づいて前記第１フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、前記第２ブロックマッチングの探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出手段と、
前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置として動作させるためのプログラム。
（３５）  コンピュータにより実行されるプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記コンピュータを、
第１フレームと、前記第１フレームと異なる少なくとも１つの第２フレームと、を含む映像信号を処理する画像処理装置であって、
前記映像信号の中の２フレームの間の第１ブロックマッチングにより前記２フレームの間の第１動きベクトルを求める第１動きベクトル検出手段と、
前記第１動きベクトルに基づいて手ブレ補正量を求める手ブレ補正量演算手段と、
手ブレ補正後の前記第１フレームと前記少なくとも１つの第２フレームとの間のフレーム毎の第３動きベクトルを前記第１動きベクトルと前記手ブレ補正量に基づいて求める第３動きベクトル検出手段と
前記手ブレ補正量に基づいて前記映像信号の各フレームの画素位置をシフトする手ブレ補正手段と、
手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの第２ブロックマッチングにより手ブレ補正後の前記第１フレームと手ブレ補正後の前記少なくとも１つの第２フレームとの間の画素毎の第２動きベクトルを求める第２動きベクトル検出手段であって、前記第２ブロックマッチングにおける探索範囲は前記第３動きベクトルに応じて決定される第２動きベクトル検出手段と、
手ブレ補正後の前記少なくとも１つの第２フレームの画素であって手ブレ補正後の前記第１フレームの第１画素に対応する第２画素を前記第２動きベクトルに基づいて求め、前記第１画素の値と前記第２画素の値を演算する演算手段と、
を具備し、
前記第１フレームの前記第１画素の値は前記演算手段の演算結果に変更される画像処理装置として動作させるためのプログラム。
【００８６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００８７】
１２…フレームバッファ、１４…フレーム間位置ずれ検出部１４…画素位置調整部、１８…対応点探索部、２０…複数フレーム画像処理部。
【図１】
2019125974.tif 000003
【図２】
2019125974.tif 000004
【図３】
2019125974.tif 000005
【図４】
2019125974.tif 000006
【図５】
2019125974.tif 000007
【図６】
2019125974.tif 000008
【図７】
2019125974.tif 000009
【図８】
2019125974.tif 000010
【図９】
2019125974.tif 000011
【図１０】
2019125974.tif 000012
【図１１】
2019125974.tif 000013
【図１２】
2019125974.tif 000014
【図１３】
2019125974.tif 000015
【図１４】
2019125974.tif 000016
【図１５】
2019125974.tif 000017
【図１６】
2019125974.tif 000018
【図１７】
2019125974.tif 000019
【図１８】
2019125974.tif 000020
【図１９】
2019125974.tif 000021