(57)【特許請求の範囲】
【請求項１】
時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、
前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、
前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段と
を備える画像処理装置。
【請求項２】
前記動きベクトル評価手段は、前記複数の第２の画素の各々の動きベクトルの信頼度の微分値を求め、前記微分値に基づいて前記参照ブロックを選択する
請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出手段は、前記複数の第２の画素の各々の動きベクトルに対応する前記複数のフレームのブロックの差分絶対値を、予め設定された閾値で正規化することにより、前記複数の第２の画素の各々の動きベクトルの信頼度を求める
請求項１に記載の画像処理装置。
【請求項４】
前記動きベクトル修正手段は、水平方向および垂直方向に並ぶ画素から構成される前記参照ブロックについて、前記参照ブロックに含まれる各画素の動きベクトルの値ごとに、その動きベクトルの評価値を累積し、累積値が最大となる前記動きベクトルの値が、修正後の前記第１の画素の動きベクトルの値となるように、前記第１の画素の動きベクトルを修正する
請求項１に記載の画像処理装置。
【請求項５】
前記第１の画素の動きベクトルの信頼度と所定の閾値とを比較した結果に基づき、前記第１の画素の動きベクトルの信頼度を用いて、修正前の前記第１の画素の動きベクトルと修正後の前記第１の画素の動きベクトルを加算し、最終的な前記第１の画素の動きベクトルを決定する決定手段
をさらに備え、
前記動きベクトル検出手段は、前記第１の画素の動きベクトルの信頼度も求める
請求項１に記載の画像処理装置。
【請求項６】
前記動きベクトル評価手段は、前記複数の第２の画素の各々の動きベクトルの信頼度に対して、前記第１の画素と前記第２の画素との距離に応じた重みで重み付けすることにより、前記複数の第２の画素の各々の動きベクトルの評価値を求め、
前記第１の画素と、前記複数の第２の画素のうちの前記参照ブロック以外の画素との距離に応じた重みは０である
請求項１に記載の画像処理装置。
【請求項７】
入力画像を処理する画像処理装置による画像処理方法であって、
前記画像処理装置が、時間的に異なる複数のフレームの前記入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出ステップと、
前記画像処理装置が、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価ステップと、
前記画像処理装置が、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正ステップと
を含む画像処理方法。
【請求項８】
時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、
前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、
前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段と
を備える
画像処理装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像の動きベクトルを高精度で検出することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、動画像の時間的に異なる複数のフレームから動きベクトルを求め、その動きベクトルを用いて動き補償を行い、補間フレームを作成する画像処理装置がある（例えば、特許文献１参照）。このような画像処理装置では、新たな補間フレームを作成することにより、動画像をより滑らかにすることが可能となる。例えば、30Hzの画像から60Hzの画像を作成することができる。
【０００３】
動きベクトルの検出方法としては、例えば、ブロックマッチング法が知られている。ブロックマッチング法では、第ｆフレームのあるブロックを注目ブロックとし、第ｆ＋１フレームを動きベクトルの検出のために参照する参照フレームとし、第ｆ＋１フレームから第ｆフレームに向かう動きベクトルを、注目ブロックの動きベクトルとして検出する場合、第ｆ＋１フレームの注目ブロックに対応する位置を中心とする所定の範囲が、動きベクトルの探索を行う探査範囲として設定される。
【０００４】
そして、第ｆ＋１フレームの探査範囲から、注目ブロックと同一の大きさのブロックが、注目ブロックのマッチング結果の候補である候補ブロックとして順次選択され、注目ブロックと候補ブロックとがマッチングされて画素ごとの差分が求められる。次に、注目ブロックの全画素についての画素ごとの差分の絶対値の総和（以下、差分絶対値和という）が求められる。
【０００５】
そして、探査範囲で選択し得る全ての候補ブロックについて差分絶対値和が求められると、探査範囲で選択し得る候補ブロックの中で、差分絶対値和を最小にする候補ブロックが選択され、注目ブロックから、その候補ブロックに向かうベクトルが、注目ブロックの動きベクトルとして検出される。
【０００６】
【特許文献１】特開２００４−５１８３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように、ブロックマッチング法などを用いることで、動きベクトルを検出することは可能である。しかしながら、動きの異なるオブジェクトの境界付近では、境界を含まない部分と比較して、動きベクトルを正確に検出することができない場合がある。
【０００８】
これは、例えば、ブロックマッチング法を用いた場合、動きの異なるオブジェクトの境界を含む注目ブロック（以下、境界ブロックという）では、オブジェクトの出現や隠蔽または他のオブジェクトの異なる動きの影響から、差分絶対値和が最小となる候補ブロックが実際の動きベクトルに対応していないことがあるためである。
【０００９】
そして、動きベクトルが正確に検出されなかった場合、画像処理装置が、その動きベクトルを用いて動き補償を行い、補間フレームを作成すると、補間後の動画像の動きのあるオブジェクトの境界付近に、通常ハロと呼ばれるアーチファクトが発生することがある。このハロは補間後の動画像の画質を低下させる原因となるため、動画像の画質を向上させるためには、動きベクトルを正確に検出することが必要である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、動画像の動きベクトルを高精度で検出することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面は、時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段とを備える画像処理装置である。
【００１２】
本発明の一側面は、入力画像を処理する画像処理装置による画像処理方法であって、前記画像処理装置が、時間的に異なる複数のフレームの前記入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出ステップと、前記画像処理装置が、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価ステップと、前記画像処理装置が、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正ステップとを含む画像処理方法である。
【００１３】
本発明の一側面は、時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１４】
本発明の一側面においては、時間的に異なる複数のフレームの入力画像から、フレームを構成する第１の画素の動きベクトルと、第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとが検出され、複数の第２の画素の各々の動きベクトルの信頼度が求められ、複数の第２の画素の各々の動きベクトルの信頼度を用いて、第１の画素から信頼度が増加する方向に並ぶ画素が、複数の第２の画素より参照ブロックとして選択され、第１の画素と参照ブロックに含まれる各画素との距離および参照ブロックに含まれる各画素の信頼度に基づき、参照ブロックに含まれる各画素の動きベクトルの評価値が求められ、参照ブロックに含まれる各画素の動きベクトルの評価値と参照ブロックに含まれる各画素の動きベクトルに基づき、第１の画素の動きベクトルが修正される。
【発明の効果】
【００１５】
以上のように、本発明の一側面によれば、動画像の動きベクトルを高精度で検出することができる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００１７】
図１の画像処理装置１０は、動きベクトル検出部１１、動きベクトル修正部１２、および動き補償部１３により構成され、入力画像として入力されるフレーム単位の動画像に対して動き補償を行うことにより、高画質な出力画像を出力する。
【００１８】
動きベクトル検出部１１は、時間的に異なる複数のフレームの入力画像から、所定の時刻のフレームの所定の空間位置の動きベクトルを検出する。
【００１９】
具体的には、動きベクトル検出部１１は、外部から入力される入力画像をフレーム単位で保持する。また、動きベクトル検出部１１は、現在入力されている所定の時刻のフレーム（以下、現在フレームという）の入力画像と、そのフレームより１つ前のフレーム（以下、過去フレームという）の保持されている入力画像とを用いて、各画素についてブロックマッチングなどを行い、過去フレームの各画素の動きベクトルを検出する。なお、以下では、動きベクトル検出部１１により検出される空間位置(i,j)の画素の動きベクトルをV0(i,j)と表す。
【００２０】
また、動きベクトル検出部１１は、入力画像から各動きベクトルV0(i,j)の信頼度C(i,j)を求める。具体的には、動きベクトル検出部１１は、例えば、動きベクトルV0(i,j)に対応する注目ブロックと候補ブロックの差分絶対値和D(i,j)に基づいて、以下の式（１）により信頼度C(i,j)を求める。
【００２１】
C(i,j)=F(D(i,j))
・・・（１）
【００２２】
式（１）によれば、画素ごとに信頼度C(i,j)を求めることが可能となる。なお、式（１）においてFは所定の関数を表している。関数Fとしては、各種の関数を用いることができ、例えば、差分絶対値和D(i,j)をそのまま信頼度C(i,j)として求めたり、閾値を設定して差分絶対値和D(i,j)を正規化することにより信頼度C(i,j)を求めたりすることが可能である。
【００２３】
以下では、式（１）において、差分絶対値和D(i,j)が小さいほど、信頼度C(i,j)が大きくなるような関数Fを用いるものとする。この場合、信頼度C(i,j)が大きいほど信頼性は高くなり、信頼度C(i,j)が小さいほど信頼性は低くなる。
【００２４】
動きベクトル修正部１２は、動きベクトル検出部１１により検出された動きベクトルV0(i,j)と信頼度C(i,j)に基づいて、動きベクトルV0(i,j)を修正する。そして、動きベクトル修正部１２は、信頼度C(i,j)に基づいて、修正動きベクトルV1(i,j)または修正前の動きベクトルV0(i,j)を、動きベクトルV2(i,j)として動き補償部１３に供給する。
【００２５】
動き補償部１３は、外部から入力される入力画像をフレーム単位で保持する。また、動き補償部１３は、保持されている過去フレームの入力画像と、動きベクトル修正部１２から供給される動きベクトルV2(i,j)とを用いて動き補償を行い、過去フレームと現在フレームの間の時刻の補間画像を生成する。そして、動き補償部１３は、入力画像を補間画像で補間した画像を出力画像として出力する。
【００２６】
次に、図２は、図１の動きベクトル修正部１２の詳細構成例を示している。
【００２７】
図２に示すように、動きベクトル修正部１２は、メモリ部３１、周囲動きベクトル評価部３２、評価統計処理部３３、および修正部３４により構成される。
【００２８】
メモリ部３１は、動きベクトル検出部１１から供給された動きベクトルV0(i,j)と動きベクトルの信頼性C(i,j)を保持する。
【００２９】
周囲動きベクトル評価部３２は、入力画像の各画素を順次注目画素とする。そして、周囲動きベクトル評価部３２は、注目画素の空間位置（以下、注目空間位置という）(i,j）を含む所定の範囲の空間位置(i+m,j+n)（m=0,±1,±2,・・・,±M，n=0,±1,±2,・・・,±N,M,Nは自然数）の画素（以下、周囲画素という）の信頼度C(i+m,j+n)を、メモリ部３１から読み出す。なお、MとNは同一であってもよいし、異なっていてもよい。即ち、ｘ方向（水平方向）とｙ方向（垂直方向）で注目画素に対する周囲画素の範囲が異なっても良い。
【００３０】
周囲動きベクトル評価部３２は、メモリ部３１から読み出された周囲画素の信頼度C(i+m,j+n)と、その周囲画素の注目画素からの相対距離(m,n)とに基づいて、以下の式（２）により、周囲画素ごとに、動きベクトルV0(i+m,j+n)の評価値P(i+m,j+n)を求める。
【００３１】
P(i+m,j+n)=C(i+m,j+n)×W(m,n)
・・・（２）
【００３２】
なお、式（２）において、W(m,n)は相対距離(m,n)に応じた重みを表しており、式（２）によれば、評価値P(i+m,j+n)は、信頼度C(i+m,j+n)に対して相対距離(m,n)に応じた重み付けを行うことにより求められる。
【００３３】
重みW(m,n)は、相対距離(m,n)に対応する値であればどのような値であってもよいが、ここでは相対距離(m,n)の逆数とする。この場合、評価値P(i+m,j+n)は、より近傍かつ信頼度C(i+m,j+n)の高い動きベクトルV0(i+m,j+n)に対して大きくなる。
【００３４】
評価統計処理部３３（動きベクトル修正手段）は、メモリ部３１から周囲画素の動きベクトルV0(i+m,j+n)を読み出す。評価統計処理部３３は、その周囲画素の動きベクトルV0(i+m,j+n)と、周囲動きベクトル評価部３２により求められた周囲画素の評価値P(i+m,j+n)とに基づいて、注目画素の動きベクトルV0(i,j)を修正し、修正動きベクトルV1(i,j)を求める。
【００３５】
具体的には、評価統計処理部３３は、周囲画素の動きベクトルV0(i+m,j+n)と、周囲画素の評価値P(i+m,j+n)とを用いて、以下の式（３）により修正動きベクトルV1(i,j)を求める。
【００３６】
【数１】
0004600530.tif 000002
【００３７】
式（３）によれば、修正動きベクトルV1(i,j)は、周囲画素の動きベクトルV0(i+m,j+n)と評価値P(i+m,j+n)の積の総和を、評価値P(i+m,j+n)の総和で除算することにより求められる。
【００３８】
なお、周囲画素の動きベクトルV0(i+m,j+n)の値ごとに評価値P(i+m,j+n)を累積し、累積値が最大となる動きベクトルV0(i+m,j+n)の値を、修正動きベクトル値V1(i,j)としてもよい。この場合、累積は、水平方向と垂直方向ごとに独立して行ってもよいし、共通して行ってもよい。
【００３９】
また、式（２）の重みW(m,n)を用いて、一方向の動きベクトルV0(i+m,j+n)のみが動きベクトルV0(i,j)の修正に用いられるようにしてもよい。例えば、水平方向において、注目画素の右側および左側のいずれか一方に位置する周囲画素の信頼度C(i+m,j+n)に対する重みW(m,n)を相対距離(m,n)に応じた重みとし、他方に位置する周囲画素の信頼度C(i+m,j+n)に対する重みW(m,n)を０とする。これにより、他方に位置する周囲画素の評価値P(i+m,j+n)は全て０になるので、その周囲画素の動きベクトルV0(i+m,j+n)は、式（３）による動きベクトルV0(i,j)の修正に用いられない。
【００４０】
右側および左側の一方を選択する方法としては、例えば、周囲画素の水平方向の信頼度C(i+m,j+n)の微分値を求め、その微分値により、より信頼度C(i+m,j+n)が増加する方を選択する方法がある。この方法によれば、より信頼できる周囲画素の動きベクトルV0(i+m,j+n)のみを動きベクトルV0(i,j)の修正に用いることができる。なお、この方法では、微分値により、より信頼すべき方向が判断されるので、判断が容易である。
【００４１】
修正部３４（出力手段）は、注目画素の信頼度C(i,j)に基づいて、信頼度評価統計処理部３３で求められた修正動きベクトルV1(i,j)と修正前の動きベクトルV0(i,j)から、動き補償部１３による動き補償に用いられる動きベクトルV2(i,j)を決定し、動き補償部１３に出力する。
【００４２】
具体的には、修正部３４は、メモリ部３１から注目画素の信頼度C(i,j)を読み出し、その信頼度C(i,j)が所定の閾値以上であるかどうかを判定する。そして、修正部３４は、判定結果に基づいて、修正動きベクトルV1(i,j)または修正前の動きベクトルV0(i,j)を動きベクトルV2(i,j)として決定する。
【００４３】
なお、信頼度C(i,j)が所定の閾値より低い場合、修正部３４は、信頼度C(i,j)を用いて、以下の式（４）により、修正前の動きベクトルV0(i,j)と修正動きベクトルV1(i,j)をブレンド処理し、動きベクトルV2(i,j)を求めるようにしてもよい。
【００４４】
V2(i,j)=（C(i,j)×V0(i,j)＋(Cmax-C(i,j))×V1(i,j)）/Cmax
・・・（４）
【００４５】
但し、式（４）において、Cmaxは求め得る信頼度の最大値を表している。
【００４６】
また、修正部３４は、修正動きベクトルV1(i,j)を、そのまま動きベクトルV2(i,j)に決定してもよい。
【００４７】
以上のように、画像処理装置１０は、注目画素の動きベクトルV0(i,j)を周囲画素の動きベクトルV0(i+m,j+n)を用いて修正する。従って、画像処理装置１０では、例えば、ブロックマッチングで正確に動きベクトルを検出することが困難な境界ブロックに対応する注目画素の動きベクトルV0(i,j)が、その周囲の境界ブロック以外の注目ブロックを用いて求められた信頼性の高い動きベクトルを用いて修正される。これにより、境界ブロックに対応する注目画素においても高精度な動きベクトルを検出することができる。その結果、出力画像に発生するハロを削減し、出力画像の画質を向上させることができる。
【００４８】
次に、図３のフローチャートを参照して、図１の画像処理装置１０による画像処理について説明する。この画像処理は、例えば、各フレームの入力画像が入力されるごとに開始される。
【００４９】
ステップＳ１１において、動きベクトル検出部１１は、現在フレームの入力画像と過去フレームの入力画像とを用いて、各画素についてブロックマッチングを行い、過去フレームの各画素の動きベクトルV0(i,j)を検出する。この動きベクトルV0(i,j)は動きベクトル修正部１２に供給され、メモリ部３１（図２）に保持される。
【００５０】
ステップＳ１２において、動きベクトル検出部１１は、入力画像から各動きベクトルV0(i,j)の信頼度C(i,j)を求める。この信頼度C(i,j)は動きベクトル修正部１２に供給され、メモリ部３１に保持される。
【００５１】
ステップＳ１３において、動きベクトル修正部１２は、動きベクトル検出部１１から供給される動きベクトルV0(i,j)と信頼度C(i,j)に基づいて、動きベクトルV0(i,j)を修正する動きベクトル修正処理を行う。この動きベクトル修正処理の詳細については、後述する図４を参照して説明する。
【００５２】
ステップＳ１４において、動き補償部１３は、過去フレームの入力画像と、ステップＳ１３の動きベクトル修正処理により動きベクトル修正部１２から供給される動きベクトルV2(i,j)とを用いて動き補償を行い、過去フレームと現在フレームの間の時刻の補間画像を生成する。そして、動き補償部１３は、入力画像を補間画像で補間した画像を出力画像として出力する。
【００５３】
次に、図４のフローチャートを参照して、図３のステップＳ１３の動きベクトル修正処理について説明する。
【００５４】
ステップＳ３１において、周囲動きベクトル評価部３２は、入力画像の各画素を順次注目画素とし、周囲画素の信頼度C(i+m,j+n)を、メモリ部３１から読み出す。ステップＳ３２において、周囲動きベクトル評価部３２は、メモリ部３１から読み出された動きベクトルの信頼度C(i+m,j+n)と、その周囲画素の注目画素からの相対距離(m,n)とに基づいて、上述した式（２）により、周囲画素ごとに、動きベクトルV0(i+m,j+n)の評価値P(i+m,j+n)を求める。
【００５５】
ステップＳ３３において、評価統計処理部３３は、メモリ部３１から周囲画素の動きベクトルV0(i+m,j+n)を読み出す。ステップＳ３４において、評価統計処理部３３は、周囲動きベクトル評価部３２により求められた周囲画素の評価値P(i+m,j+n)と、読み出された周囲画素の動きベクトルV0(i+m,j+n)とに基づいて、上述した式（３）により動きベクトルV0(i,j)を修正し、修正動きベクトル値V1(i,j)を求める。
【００５６】
ステップＳ３５において、修正部３４は、メモリ部３１から注目画素の信頼度C(i,j)を読み出し、その信頼度C(i,j)が所定の閾値以上であるかどうかを判定する。ステップＳ３５で信頼度C(i,j)が所定の閾値以上であると判定された場合、ステップＳ３６において、修正部３４は、修正前の動きベクトルV0(i,j)を動きベクトルV2(i,j)として決定し、動き補償部１３に出力する。
【００５７】
一方、ステップＳ３５で信頼度C(i,j)が所定の閾値以上ではないと判定された場合、ステップＳ３７において、修正部３４は、修正動きベクトルV1(i,j)を動きベクトルV2(i,j)として決定し、動き補償部１３に出力する。そして、処理は図３のステップＳ１３に戻り、ステップＳ１４の処理が行われる。
【００５８】
なお、上述した説明では、画素ごとに動きベクトルが求められたが、複数の画素単位で動きベクトルが求められるようにしてもよい。
【００５９】
ところで、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００６０】
図５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ５０のハードウエアの構成例を示すブロック図である。
【００６１】
パーソナルコンピュータ５０において、CPU（Central Processing Unit）５１，ROM（Read Only Memory）５２，RAM（Random Access Memory）５３は、バス５４により相互に接続されている。
【００６２】
バス５４には、さらに、入出力インターフェース５５が接続されている。入出力インターフェース５５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア６１を駆動するドライブ６０が接続されている。
【００６３】
以上のように構成されるパーソナルコンピュータ５０では、CPU５１が、例えば、記憶部５８に記憶されているプログラムを、入出力インターフェース５５及びバス５４を介して、RAM５３にロードして実行することにより、上述した一連の処理が行われる。
【００６４】
CPU５１が実行するプログラムは、例えば、リムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００６５】
そして、プログラムは、リムーバブルメディア６１をドライブ６０に装着することにより、入出力インターフェース５５を介して、記憶部５８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５９で受信し、記憶部５８にインストールすることができる。その他、プログラムは、ROM５２や記憶部５８に、予めインストールしておくことができる。
【００６６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００６７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００６８】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の動きベクトル修正部の詳細構成例を示すブロック図である。
【図３】画像処理について説明するフローチャートである。
【図４】動きベクトル修正処理について説明するフローチャートである。
【図５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００６９】
１０  画像処理装置，  １１  動きベクトル検出部，  １２  動きベクトル修正部，  １３  動き補償部，  ３２  周囲動きベクトル評価部，  ３３  評価統計処理部，  ３４  修正部
【図１】
0004600530.tif 000003
【図２】
0004600530.tif 000004
【図３】
0004600530.tif 000005
【図４】
0004600530.tif 000006
【図５】
0004600530.tif 000007