(57)【要約】【課題】  画素単位の動きベクトル正確に求める。【解決手段】  注目画素が存在する注目ブロックがブロックＣであり、その注目ブロックであるブロックＣの垂直方向および水平方向に隣接する近傍ブロックがブロックＡ，Ｂ，Ｄ，Ｅである場合、それぞれのブロック単位動きベクトルａ乃至eを注目画素の画素単位動きベクトルの候補であるものとし、実際に注目画素に対してブロック単位動きベクトルａ乃至eを使用してフィールド間補間に使用される画素間の画素値の差分が最小となる動きベクトルを注目画素の画素単位動きベクトルとする。【選択図】  図８
2005284486.tif 000002
【特許請求の範囲】
【請求項１】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段と、
前記ブロック単位動きベクトル検出手段により検出されたブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算手段と、
前記差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、前記注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択手段と、
前記画素単位動きベクトル選択手段により選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いて、前記注目画素を生成する画素生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素とにおけるそれぞれの補助情報を生成する補助情報生成手段をさらに備え、
前記画素単位動きベクトル選択手段は、前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致して、かつ、前記差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、前記注目画素の画素単位動きベクトルとして選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補助情報は、画素毎のエッジの方向を示すコードである
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致しない場合、前記複数のブロックの基準位置と、前記注目画素との距離に応じて、前記複数のブロック毎の前記ブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段をさらに備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップと、
前記ブロック単位動きベクトル検出ステップの処理で検出されたブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算ステップと、
前記差分計算ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルを、前記注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択ステップと、
前記画素単位動きベクトル選択ステップの処理で選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いて、前記注目画素を生成する画素生成ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、
前記ブロック単位動きベクトル検出制御ステップの処理で検出されたブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、
前記差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルの、前記注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、
前記画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いた、前記注目画素の生成を制御する画素生成制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、
前記ブロック単位動きベクトル検出制御ステップの処理で検出されたブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、
前記差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルの、前記注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、
前記画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いた、前記注目画素の生成を制御する画素生成制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段と、
前記複数のブロックの基準位置と、前記注目画素との距離に応じて、前記複数のブロック毎の前記ブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段と、
前記画素単位動きベクトル計算手段により計算された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いて、前記注目画素を生成する画素生成手段と
を備えることを特徴とする画像処理装置。
【請求項９】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップと、
前記複数のブロックの基準位置と、前記注目画素との距離に応じて、前記複数のブロック毎の前記ブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算ステップと、
前記画素単位動きベクトル計算ステップの処理で計算された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いて、前記注目画素を生成する画素生成ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、
前記複数のブロックの基準位置と、前記注目画素との距離に応じて、前記複数のブロック毎の前記ブロック単位動きベクトルを平滑化した、注目画素の画素単位動きベクトルの計算を制御する画素単位動きベクトル計算制御ステップと、
前記画素単位動きベクトル計算制御ステップの処理で計算された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いた、前記注目画素の生成を制御する画素生成制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１１】
ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、
前記複数のブロックの基準位置と、前記注目画素との距離に応じて、前記複数のブロック毎の前記ブロック単位動きベクトルを平滑化した、注目画素の画素単位動きベクトルの計算を制御する画素単位動きベクトル計算制御ステップと、
前記画素単位動きベクトル計算制御ステップの処理で計算された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いた、前記注目画素の生成を制御する画素生成制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画素単位で動きベクトルを正確に求めると共に、求められた動きベクトルに基づいて生成される画素のエラー発生量に応じて、画素の生成方法を切替えるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
既存の画像の画素に基づいて、新たな画素を生成し、画像の解像度やフィールド周波数を変換させる技術が一般に普及しつつある。
【０００３】
動画像の画素生成には、動きベクトルを用いる方法が知られている。動きベクトルとは、動画像などにおいて、時間的に同一の画素値を持った画素が移動するような場合、その画素の動く方向と距離を示すものである。
【０００４】
図１は、従来の動きベクトルを用いた走査線数変換を行う画像処理装置１の構成を示している。
【０００５】
画像処理装置１は、画像メモリ１１−１，１１−２、ブロック単位動きベクトル検出部１２、および、画像合成部１３から構成され、図示せぬTV（Television）チューナやDVD（Digital Versatile Disc）プレーヤなどより供給される映像ソースを通して得られたインタレース画像信号であって、AD（Analog to Digital）変換器によりディジタル化された入力データの走査線数を変換して出力する。
【０００６】
画像メモリ１１−１，１１−２は、入力されたフィールドデータを１フィールド分格納し、１フィールド分遅延の後出力する。従って、画像メモリ１１−１は、現フィールドに対して１フィールド分遅延した遅延フィールドデータを画像合成部１３に供給する。また、画像メモリ１１−２は、さらに１フィールド分遅延された前遅延フィールドデータを供給する。結果として、画像メモリ１１−２は、合計２フィールド分遅延されたフィールドデータ（＝前遅延フィールドデータ）がブロック単位動きベクトル検出部１２、および、画像合成部１３に供給される。
【０００７】
ブロック単位動きベクトル検出部１２は、現フィールドデータと画像メモリ１１−２より供給される前遅延フィールドデータとを取得し、この２フィールド間のフィールドデータの相関から動きベクトルを検出する。より具体的には、ブロック単位動きベクトル検出部１２は、例えば、ブロックマッチング法により動きベクトルをブロック単位で検出する。ブロックマッチング法とは、例えば、現フィールド内の所定数の画素からなる基準ブロックを設定し、さらに、前遅延フィールド内で、基準ブロックと同一サイズの検索ブロックを設定し、この検索ブロックを順次前遅延フィールド内を移動させながら検索ブロック内の画素を順次抽出し、基準ブロックと検索ブロックのそれぞれの対応する画素位置の画素間の画素値の差分絶対値和を計算し、その差分絶対値和を最小とする検索ブロックと、基準ブロックとの相対的な位置関係に基づいて、動きベクトルを求める方法である。
【０００８】
画像合成部１３は、現フィールドデータ、画像メモリ１１−１，１１−２より供給される遅延フィールドデータおよび前遅延フィールドデータ、並びに、ブロック単位動きベクトル検出部１２より供給されるブロック単位動きベクトルを取得し、これらの情報から画像を合成し、走査線数変換を行い、出力データとして後段に出力する。
【０００９】
次に、図１の画像処理装置１の動作について説明する。
【００１０】
まず、画像メモリ１１−１が、先頭のフィールドデータを記憶する。次のタイミングで、画像メモリ１１−１は、記憶していたフィールドデータを遅延フィールドデータとして画像メモリ１１−２、および、画像合成部１３に供給する。さらに、次のタイミングで、画像メモリ１１−１は、記憶している遅延フィールドデータを、画像メモリ１１−２に供給すると共に、画像合成部１３に供給する。また、画像メモリ１１−２は、記憶していた前遅延フィールドデータをそれぞれブロック単位動きベクトル検出部１２、および、画像合成部１３に供給する。
【００１１】
このとき、ブロック単位動きベクトル検出部１２は、現フィールドデータと前遅延フィールドデータを用いて、ブロックマッチングによりブロック単位で動きベクトルを求め、画像合成部１３に供給する。
【００１２】
画像合成部１３は、供給された遅延フィールド上のプログレッシブ画像用に新たに生成する必要のある走査線上の各画素を通る動きベクトルと交わる、現フィールドデータと前遅延フィールドデータ上の画素を用いてフィールド間補間により画素を生成し、インタレース画像の遅延フィールド画像をプログレッシブ画像にして出力する。
【００１３】
また、輝度信号の動きのみならず色差信号などの動きも検出するようにようにして動きベクトルを検出するようにして、正確に動きベクトルを検出できるようにするものがある（例えば、特許文献１参照）。
【特許文献１】特開平０５−２１９５２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述した動きベクトルを検出するための演算方法であるブロックマッチング法では、ブロックサイズが大きいと動きベクトルの検出精度が低下してしまうが、ある程度のブロックサイズより小さくしても動きベクトルの検出精度が向上しないことが知られている。また、ブロックマッチングにおいては、ブロックサイズを小さくすると膨大な計算量となるため計算コストが掛かりすぎてしまうという課題があった。
【００１５】
また、動きベクトルの検出精度の向上とリアルタイム処理を実現させるため計算コストを抑制させるといった相反する要求の兼ね合いから、動きベクトルは所定の大きさのブロック単位で求められることとなる。そのため、動きベクトルが検出される検索ブロック内において、2つ以上の動きベクトルを持つ画素が存在している場合、補間により生成される画素からなる画像においては、ブロック単位で歪みが発生したり、補間により生成された画素と、周辺の画素とがミスマッチを起したり、さらには、ブロック単位で動きベクトルが同一となるため、補間により生成された画像の空間解像度が見かけ上劣化してしまうといった問題が発生していた。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、特に、動きベクトルを利用した動き補正型画像処理において、画素単位の動きベクトルを正確に求めると共に、補間により生成された画素のエラーの発生する程度を求めて、補間による画素の生成方法を切替えることにより、計算量の低コスト化を図りつつ、ブロック単位で発生する補間により生成される画像の歪みや、補間により生成された画素の周辺画素とのミスマッチを抑制して画質を向上させるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の画像処理装置は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段と、ブロック単位動きベクトル検出手段により検出されたブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算手段と、差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択手段と、画素単位動きベクトル選択手段により選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成手段とを備えることを特徴とする。
【００１８】
前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素とにおけるそれぞれの補助情報を生成する補助情報生成手段をさらに設けるようにさせることができ、画素単位動きベクトル選択手段には、注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致して、かつ、差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択させるようにすることができる。
【００１９】
前記補助情報は、画素毎のエッジの方向を示すコードとするようにすることができる。
【００２０】
前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致しない場合、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段をさらに設けるようにさせることができる。
【００２１】
本発明の第１の画像処理方法は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップと、ブロック単位動きベクトル検出ステップの処理で検出されたブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算ステップと、差分計算ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択ステップと、画素単位動きベクトル選択ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成ステップとを含むことを特徴とする。
【００２２】
本発明の第１の記録媒体のプログラムは、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、ブロック単位動きベクトル検出制御ステップの処理で検出されたブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルの、注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いた、注目画素の生成を制御する画素生成制御ステップとを含むことを特徴とする。
【００２３】
本発明の第１のプログラムは、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、ブロック単位動きベクトル検出制御ステップの処理で検出されたブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルの、注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いた、注目画素の生成を制御する画素生成制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２４】
本発明の第２の画像処理装置は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段と、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段と、画素単位動きベクトル計算手段により計算された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成手段とを備えることを特徴とする。
【００２５】
本発明の第２の画像処理方法は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップと、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算ステップと、画素単位動きベクトル計算ステップの処理で計算された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成ステップとを含むことを特徴とする。
【００２６】
本発明の第２の記録媒体のプログラムは、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化した、注目画素の画素単位動きベクトルの計算を制御する画素単位動きベクトル計算制御ステップと、画素単位動きベクトル計算制御ステップの処理で計算された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いた、注目画素の生成を制御する画素生成制御ステップとを含むことを特徴とする。
【００２７】
本発明の第２のプログラムは、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化した、注目画素の画素単位動きベクトルの計算を制御する画素単位動きベクトル計算制御ステップと、画素単位動きベクトル計算制御ステップの処理で計算された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いた、注目画素の生成を制御する画素生成制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２８】
本発明の第１の画像処理装置および方法、並びにプログラムにおいては、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルが検出され、検出されたブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分が計算され、計算された画素値の差分が最小となるブロック単位動きベクトルが、注目画素の画素単位動きベクトルとして選択され、選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とが用いられて、注目画素が生成される。
【００２９】
本発明の第２の画像処理装置および方法、並びにプログラムにおいては、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルが検出され、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルが平滑化されて、注目画素の画素単位動きベクトルが計算され、計算された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とが用いられて、注目画素が生成される。
【００３０】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００３１】
本発明によれば、計算量の低コスト化を図りつつ、ブロック単位で発生する補間により生成される画像の歪みや、補間により生成された画素の周辺画素とのミスマッチを抑制して画質を向上させるようにすることが可能となる。
【発明を実施するための最良の形態】
【００３２】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００３３】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００３４】
即ち、本発明の第１の画像処理装置は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段（例えば、図２のブロック単位動きベクトル検出部１２）と、ブロック単位動きベクトル検出手段により検出されたブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算手段（例えば、図３の動き補償部３６）と、差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択手段（例えば、図３の条件判定部３７）と、画素単位動きベクトル選択手段により選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成手段（例えば、図２の画像合成部２２）とを備えることを特徴とする。
【００３５】
前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素とにおけるそれぞれの補助情報を生成する補助情報生成手段（例えば、図１６の現フィールドデータ用付加情報検出部５１）をさらに設けるようにさせることができ、画素単位動きベクトル選択手段には、注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致して、かつ、差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択させるようにすることができる。
【００３６】
前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致しない場合、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段（例えば、図２７の動きベクトル平滑化部８２）をさらに設けるようにさせることができる。
【００３７】
本発明の第１の画像処理方法は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップ（例えば、図４のフローチャートのステップＳ１の処理）と、ブロック単位動きベクトル検出ステップの処理で検出されたブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算ステップ（例えば、図５のフローチャートのステップＳ１３乃至Ｓ１７の処理）と、差分計算ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択ステップ（例えば、図４のフローチャートのステップＳ４の処理）と、画素単位動きベクトル選択ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成ステップ（例えば、図４のフローチャートのステップＳ５の処理）とを含むことを特徴とする。
【００３８】
本発明の第２の画像処理装置は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段（例えば、図２のブロック単位動きベクトル検出部１２）と、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段（例えば、図２３の動きベクトル平滑化部７１）と、画素単位動きベクトル計算手段により計算された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成手段（例えば、図２の画像合成部）とを備えることを特徴とする。
【００３９】
本発明の第２の画像処理方法は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれのブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップ（例えば、図２５のフローチャートのステップＳ１５１の処理）と、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算ステップ（例えば、図２５のフローチャートのステップＳ１５２の処理）と、画素単位動きベクトル計算ステップの処理で計算された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、注目画素を生成する画素生成ステップ（例えば、図２５のフローチャートのステップＳ１５３の処理）とを含むことを特徴とする。
【００４０】
尚、記録媒体、および、プログラムについての対応関係は、画像処理方法と同様であるので、その説明は省略する。
【００４１】
図２は、本発明を適用した画像処理装置２０の一実施の形態の構成を示す図である。尚、図２の画像処理装置２０の構成において、図１の画像処理装置１と対応する構成については、同一の符号を付してあり、その説明は、適宜省略するものとする。
【００４２】
画素単位動きベクトル検出部２１は、入力データである現フィールドデータ、画像メモリ１１−２より供給される前遅延フィールドデータ、および、ブロック単位動きベクトル検出部１２より供給されるブロック単位動きベクトルに基づいて、画素単位で動きベクトルを生成し、画素単位動きベクトルとして画像合成部２２に供給する。
【００４３】
画像合成部２２は、入力データである現フィールドデータ、画像メモリ１１−１より供給される遅延フィールドデータ、画像メモリ１１−２より供給される前遅延フィールドデータ、および、画素単位動きベクトル検出部２１より供給される画素単位動きベクトルに基づいて、現フィールドと前遅延フィールドとを合成することにより新たなフィールドを生成して後段の装置に出力する。
【００４４】
画像合成部２２は、生成した新たなフィールドを含む出力データとして、例えば、走査線変換処理においては、入力されたインタレース画像をプログレッシブ画像に変換して出力したり、解像度変換またはフィールド周波数変換を実行する。ここで、後段の装置とは、例えば、その他の画像処理装置であったり、テレビジョン受像機のような画像表示装置であったり、VTR（Video Tape Recoder）のような画像記録装置であっても良い。
【００４５】
次に、図３を参照して、画素単位動きベクトル検出部２１の詳細な構成について説明する。
【００４６】
ブロック単位動きベクトル用メモリ３１は、ブロック単位動きベクトル検出部１２より供給されるブロック単位動きベクトルを格納し、注目ブロックの動きベクトルだけでなく、その近傍の動きベクトルも含めた複数の動きベクトルを同時に動き補償部３６に供給する。尚、注目画素とは、処理対象となる画素であり、注目ブロックとは、処理対象となる注目画素を含む複数の画素からなるブロックである。
【００４７】
現フィールドデータ用前処理部３２は、LPF(Low Pass Filter)などから構成され、入力される現フィールドデータのノイズの影響を除去する前処理を行い、処理結果となるノイズ除去された現フィールドデータを現フィールドデータ用バッファ３３に供給する。なお、現フィールドデータ用前処理部３２は、LPFに限らず、例えば、メディアンフィルタのようなものでもよく、さらには、現フィールドデータ用前処理部３２を設けず、前処理を行わないようにしてもよい。
【００４８】
現フィールドデータ用バッファ３３は、現フィールドデータ用前処理部３２より供給された前処理済の現フィールドデータを格納する。現フィールドデータ用バッファ３３は、例えば、メモリなどから構成されており、現フィールドデータのうち処理に必要なのデータが保持できる容量があれば良い。現フィールドデータ用バッファ３３は、動き補償部３６からの要求に応じて、メモリ上をランダムにアクセスすることにより読み出したデータを動き補償部３６に供給する。
【００４９】
前遅延フィールドデータ用前処理部３４は、現フィールドデータ用前処理部３２と同様にLPFなどから構成され、画像メモリ１１−２より供給される前遅延フィールドデータのノイズの影響を除去する前処理を行い、処理結果を前遅延フィールド前処理済データとして前遅延フィールドデータ用バッファ３５に供給する。
【００５０】
前遅延フィールドデータ用バッファ３５は、現フィールドデータ用バッファ３３と同様に、例えば、メモリなどで構成されており、前遅延フィールドデータ用前処理部３４より供給される前処理済前遅延フィールドデータを格納する。前遅延フィールドデータ用バッファ３５は、動き補償部３６からの要求に応じて、メモリ上をランダムにアクセスすることにより読み出した前遅延フィールドデータを動き補償部３６に供給する。
【００５１】
動き補償部３６は、動き補償処理を実行し、ブロック単位動きベクトル用メモリ３１より、注目ブロックとその近傍の複数のブロックのブロック単位の動きベクトルを読み出し、各動きベクトルが、注目画素を通るとき、注目画素の存在するフィールドから見て、時間的に前後のフレームとなる現フィールド上と前遅延フィールド上を、その動きベクトルが通る位置の画素間の画素値の差分を求め、差分データとして動きベクトル毎に条件判定部３７に出力する。このとき、動き補償部３６は、差分データに対応する動きベクトルも条件判定部３７に供給する。
【００５２】
条件判定部３７は、条件判定処理を実行し、動きベクトル毎に求められた差分データのうち、最小となる差分データを選択し、最小となった差分データに対応する動きベクトルを識別する選択信号と、比較した差分データに対応する動きベクトルを画素ベクトル選択部３８に供給する。
【００５３】
画素ベクトル選択部３８は、選択処理を実行し、条件判定部３７より供給された選択信号に基づいて、差分データが最小となるブロック単位動きベクトルを注目画素の画素単位動きベクトルとして選択し、画像合成部２２に出力する。
【００５４】
次に、図４のフローチャートを参照して、図２の画像処理装置２０による画像処理について説明する。
【００５５】
ステップＳ１において、ブロック単位動きベクトル検出部１２は、入力される原フィールドデータと画像メモリ１１−２より供給される前遅延フィールドデータに基づいて、ブロックマッチングによりブロック単位で動きベクトルを求め、画素単位動きベクトル検出部２１に出力する。尚、ブロック単位の動きベクトルの検出方法については、従来のブロックマッチング法を用いた検出方法と同様であるので、その説明は省略する。
【００５６】
ステップＳ２において、画素単位動きベクトル検出部２１の動き補償部３６は、動き補償処理を実行して、処理結果として処理に使用したブロック単位の動きベクトルと差分データを条件判定部３７に出力する。
【００５７】
ここで、図５のフローチャートを参照して、動き補償部３６による動き補償処理について説明する。
【００５８】
ステップＳ１１において、動き補償部３６は、処理回数をカウントするための図示せぬカウンタyを初期化して０にする。ステップＳ１２において、動き補償部３６は、処理回数をカウントするための図示せぬカウンタxを初期化して０にする。
【００５９】
ステップＳ１３において、動き補償部３６は、現フィールドデータ用バッファ３３より現フィールドデータ用前処理部３２により前処理された現フィールドデータと、前遅延フィールドデータ用バッファ３５より前遅延フィールドデータ用前処理部３４により前処理された前遅延フィールドデータとを読み出し、図５で示される生成しようとしている注目画素（ｘ，ｙ）の属するブロックである生成ブロックと、その近傍の複数のブロックＡ乃至Ｅのうち、ブロックＡのブロック単位動きベクトルである動きベクトルａに基づいて、注目画素（ｘ，ｙ）の生成に使用される現フィールド上の画素a_prと前遅延フィールド上の画素a_deの画素値を求め、さらに、その差分a_diffを求め、計算に用いたブロック単位動きベクトルａと対応付けて条件判定部３７に出力する。尚、以降の説明においては、注目画素が存在するブロックを注目ブロックと称し、その近傍のブロックを近傍ブロックと称し、さらに、注目画素のフィールドを生成フィールドと称するものとする。
【００６０】
すなわち、例えば、図６で示されるように、注目画素の存在する生成フィールドのサイズがxsize×ysizeであって、注目ブロックが図６中のブロックＣ（図中では、黒く表示されているブロックである）であった場合、その近傍ブロックは、ブロックＡ，Ｂ，Ｄ，Ｅ（図中では斜線で示されているブロックである）の４ブロックであるものとする。ここで、各ブロックのサイズは、いずれも同一であり、例えば、図７で示されるように、step_x×step_yである。さらに、注目ブロックと近傍ブロックであるブロックＡ乃至Ｅのブロック単位ベクトルは、例えば、図８で示されるように、それぞれ動きベクトルａ乃至ｅであるものとする。
【００６１】
さらに、生成フィールドは、時間的に前遅延フィールドと現フィールドの間に存在するものであり、前遅延フィールドと現フィールドの間隔を１とすれば、図９で示されるように、現フィールドまでの間隔をαとするとき、前遅延フィールドまでの距離は（１−α）で表されることになる。
【００６２】
また、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素a_prと前遅延フィールド上の画素a_deとは、例えば、ブロックＡのブロック単位動きベクトルａを（Ｘａ，Ｙａ）で表すものとすると、図１０で示されるように、画素a_prは、現フィールド上の座標（ｘ＋α×Ｘａ，ｙ＋α×Ｙａ）上の画素であり、画素a_deは、前遅延フィールド上の座標（ｘ−（１−α）×Ｘａ，ｙ−（１−α）×Ｙａ）上の画素となる。
【００６３】
従って、ブロック単位動きベクトルａが（Ｘａ，Ｙａ）で表される場合、動き補償部３６は、現フィールド上の座標（ｘ＋α×Ｘａ，ｙ＋α×Ｙａ）上の画素a_prの画素値と、前遅延フィールド上の座標（ｘ−（１−α）×Ｘａ，ｙ−（１−α）×Ｙａ）上の画素a_deの画素値の差分a_diffを求め、演算に用いたブロック単位動きベクトルａと対応付けて条件判定部３７に供給する。
【００６４】
すなわち、動き補償部３６は、ブロック単位動きベクトルａが、生成フィールド上の注目画素（ｘ，ｙ）を通るときに、現フィールドを通る位置の画素（図１０中のブロック単位動きベクトルａの終点となる位置の画素）の画素値と、前遅延フィールドを通る位置の画素（図１０中のブロック単位動きベクトルａの始点となる位置の画素）の画素値との差分を差分a_diffとして計算する。
【００６５】
ステップＳ１４において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＢのブロック単位動きベクトルｂに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素b_prと前遅延フィールド上の画素b_deの画素値を求め、さらに、その差分b_diffを求め、計算に用いた動きベクトルbを対応付けて条件判定部３７に出力する。
【００６６】
ステップＳ１５において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＣのブロック単位動きベクトルｃに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素c_prと前遅延フィールド上の画素c_deの画素値を求め、さらに、その差分c_diffを求め、計算に用いた動きベクトルcを対応付けて条件判定部３７に出力する。
【００６７】
ステップＳ１６において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＤのブロック単位動きベクトルｄに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素d_prと前遅延フィールド上の画素d_deの画素値を求め、さらに、その差分d_diffを求め、計算に用いた動きベクトルdを対応付けて条件判定部３７に出力する。
【００６８】
ステップＳ１７において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＥのブロック単位動きベクトルｅに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素e_prと前遅延フィールド上の画素e_deの画素値を求め、さらに、その差分e_diffを求め、計算に用いた動きベクトルeを対応付けて条件判定部３７に出力する。
【００６９】
ステップＳ１８において、動き補償部３６は、カウンタxが、フィールドの水平方向のサイズに相当するxsizeであるか否かを判定し、xsizeではないと判定した場合、ステップＳ１９において、カウンタxを１インクリメントして、その処理は、ステップＳ１３に戻る。
【００７０】
ステップＳ１８において、カウンタｘがxsizeではないと判定された場合、ステップＳ２０において、動き補償部３６は、カウンタｙがysizeであるか否かを判定し、例えば、ysizeではないと判定したとき、ステップＳ２１において、カウンタｙを１インクリメントして、その処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【００７１】
ステップＳ２０において、カウンタｙがysizeであると判定された場合、その処理は、終了する。
【００７２】
すなわち、ステップＳ１３乃至Ｓ１７の処理が、生成フィールド上の各画素について繰り返され、各画素について、自らの属するブロックと、その近傍のブロックのブロック単位動きベクトルの前遅延フィールド上の始点位置の画素値と、現フィールド上の終点位置の画素値との差分a_diff乃至e_diffが求められ、演算に使用されたブロック単位動きベクトルと対応付けて条件判定部３７に供給され、ステップS１８乃至Ｓ２１の処理により、生成フィールド上の全ての画素について、その処理がなされたと判定されるまで繰り返される。
【００７３】
ここで、図４のフローチャートの説明に戻る。
【００７４】
ステップＳ４において、動き補償処理が成されると、ステップＳ５において、条件判定部３７は、条件判定処理を実行し、各画素について画素単位動きベクトルの候補となるブロック単位動きベクトルａ乃至ｅのいずれかを選択する信号を画素ベクトル選択部３８に供給する。
【００７５】
ここで、図１１のフローチャートを参照して、条件判定部３７による条件判定処理について説明する。
【００７６】
ステップＳ３１において、条件判定部３７は、動き補償部３６より供給された差分b_diffと差分d_diffとを比較し、差分b_diffが差分d_diffよりも小さいか否かを判定する。すなわち、条件判定部３７は、注目ブロックからみて水平方向に隣接する近傍ブロックの差分b_diffと差分d_diffとの大小を比較する。
【００７７】
例えば、ステップＳ３１において、差分b_diffが差分d_diffよりも小さいと判定された場合、条件判定部３７は、ステップＳ３２において、水平方向の差分h_diffとしてb_diffを設定し（h_diff＝b_diffに設定し）、水平方向の近傍ブロックの代表となる動きベクトルhを動きベクトルｂに設定する（h＝bに設定する）。
【００７８】
一方、例えば、ステップＳ３１において、差分b_diffが差分d_diffよりも小さくないと判定された場合、条件判定部３７は、ステップＳ３３において、水平方向の差分h_diffとしてd_diffを設定し（h_diff＝d_diffに設定し）、水平方向の近傍ブロックの代表となる動きベクトルhを動きベクトルdに設定する（h＝dに設定する）。
【００７９】
ステップＳ３４において、条件判定部３７は、動き補償部３６より供給された差分a_diffと差分e_diffとを比較し、差分a_diffが差分e_diffよりも小さいか否かを判定する。すなわち、条件判定部３７は、注目ブロックからみて垂直方向に隣接する近傍ブロックの差分a_diffと差分e_diffとの大小を比較する。
【００８０】
例えば、ステップＳ３４において、差分a_diffが差分e_diffよりも小さいと判定された場合、条件判定部３７は、ステップＳ３５において、垂直方向の差分v_diffとしてa_diffを設定し（v_diff＝a_diffに設定し）、垂直方向の近傍ブロックの代表となる動きベクトルvを動きベクトルeに設定する（v＝eに設定する）。
【００８１】
一方、例えば、ステップＳ３４において、差分a_diffが差分e_diffよりも小さくないと判定された場合、条件判定部３７は、ステップＳ３６において、垂直方向の差分v_diffとしてa_diffを設定し（v_diff＝a_diffに設定し）、垂直方向の近傍ブロックの代表となる動きベクトルvを動きベクトルaに設定する（v＝aに設定する）。
【００８２】
ステップＳ３７において、条件判定部３７は、c_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ３８において、選択信号PSELとしてc_diffを採用したことを示すCと共に、ブロック単位動きベクトルｃを画素ベクトル選択部３８に供給する。
【００８３】
ステップＳ３７において、差分c_diffが閾値thよりも小さくないと判定された場合、ステップＳ３９において、条件判定部３７は、差分h_diffが差分v_diffよりも小さいか否かを判定し、例えば、差分h_diffが差分v_diffよりも小さいと判定した場合、ステップＳ４０に進む。
【００８４】
ステップＳ４０において、条件判定部３７は、h_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ４１において、選択信号PSELとしてh_diffを採用したことを示すHと共に、ブロック単位動きベクトルhを画素ベクトル選択部３８に供給する。また、ステップＳ４０において、h_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ３８に進む。
【００８５】
ステップＳ３９において、差分h_diffが差分v_diffよりも小さくないと判定された場合、ステップＳ４２において、条件判定部３７は、v_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ４３において、選択信号PSELとしてv_diffを採用したことを示すVと共に、ブロック単位動きベクトルvを画素ベクトル選択部３８に供給する。また、ステップＳ４２において、v_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ３８に進む。
【００８６】
すなわち、ステップＳ３１乃至Ｓ３３の処理により、注目ブロックに対して水平方向に隣接する近傍ブロック間の差分のうち小さい方が水平方向の差分として設定され、ステップＳ３４乃至Ｓ３６の処理により、注目ブロックに対して垂直方向に隣接する近傍ブロック間の差分のうち小さい方が垂直方向の差分として設定される。
【００８７】
そして、ステップＳ３７において、注目ブロックの差分が所定の閾値thよりも小さい場合、ステップＳ３８において、選択信号としてc_diffを選択したことを示すCが画素ベクトル選択部３８に供給される。また、ステップＳ３７において、注目ブロックの差分が所定の閾値thよりも小さくない場合、ステップＳ３９において、水平方向の差分h_diffと垂直方向の差分v_diffとの大小関係から差分が小さい方が選択され、ステップＳ４０，Ｓ４２において、それぞれ所定の閾値thよりも小さければ、ステップＳ４１，Ｓ４３の処理により、それぞれ選択信号として、それぞれh_diff，v_diffを選択したことを示すPSEL＝H，Vを画素ベクトル選択部３８に供給する。また、ステップＳ４０，Ｓ４２において、所定の閾値よりも小さくない場合、ステップＳ３８において、選択信号としてc_diffを選択したことを示すCが画素ベクトル選択部３８に供給される。
【００８８】
結果として、差分a_diff乃至e_diffのうち、c_diffが所定の閾値thよりも小さければ、選択信号PSEL＝Cが画素ベクトル選択部３８に供給され、c_diffが所定の閾値thよりも小さくなければ、差分a_diff，b_diff，d_diff，e_diffのうち、最も小さなものであって、かつ、所定の閾値thよりも小さな差分である選択信号PSEL＝HまたはVが画素ベクトル選択部３８に供給され、さらに、いずれの差分も所定の閾値thよりも小さくない場合、選択信号PSEL＝Cが画素ベクトル選択部３８に供給される。
【００８９】
次に、図１２のフローチャートを参照して、画素ベクトル選択部３８による選択処理について説明する。
【００９０】
ステップＳ６１において、画素ベクトル選択部３８は、選択信号PSELがCであるか否かを判定し、例えば、選択信号PSELがCであると判定した場合、ステップＳ６２において、ブロック単位動きベクトルcを、注目画素（ｘ，ｙ）の画素単位動きベクトルに設定し、画素の位置情報と共に画像合成部１３に出力する。
【００９１】
ステップＳ６１において、選択信号PSELがCではないと判定された場合、ステップＳ６３において、画素ベクトル選択部３８は、選択信号PSELがHであるか否かを判定し、例えば、選択信号PSELがHであると判定した場合、ステップＳ６４において、ブロック単位動きベクトルh（すなわち、ブロック単位動きベクトルｂまたはｄ）を、注目画素（ｘ，ｙ）の画素単位動きベクトルに設定し、画素の位置情報と共に画像合成部１３に出力する。
【００９２】
ステップＳ６３において、選択信号PSELがＨではないと判定された場合、すなわち、選択信号PSELがVであると判定された場合、ステップＳ６５において、画素ベクトル選択部３８は、ブロック単位動きベクトルv（すなわち、ブロック単位動きベクトルａまたはｅ）を、注目画素（ｘ，ｙ）の画素単位動きベクトルに設定し、画素の位置情報と共に画像合成部１３に出力する。
【００９３】
以上の処理により、選択信号に対応した画素単位動きベクトルが設定される。
【００９４】
ここで、図４のフローチャートの説明に戻る。
【００９５】
ステップＳ５において、画像合成部１３は、画素単位動きベクトルの情報に基づいて、現フィールドデータ、遅延フィールドデータ、前遅延フィールドデータを合成して、解像度を変換した画像データを出力する。すなわち、例えば、生成フィールド上の注目画素の画素単位動きベクトルが、ブロック単位動きベクトルａであるように設定されていた場合、画像合成部１３は、上述した図１０で示されるように、生成フィールド上の注目画素について、対応する画素単位動きベクトルａを用いて、画素単位動きベクトルａが注目画素を通るときの前遅延フィールド上の画素単位動きベクトルａの始点となる位置の画素の画素値と、現フィールド上の画素単位動きベクトルａの終点となる位置の画素の画素値とを用いて、例えば、その画素間の平均値を取ることによりフィールド間補間して画素を生成し、さらに、必要に応じて遅延フィールドデータと合成して、画像を生成し、出力する。
【００９６】
すなわち、以上の処理により、生成しようとする画素の属するブロックを含む、その近傍のブロックのブロック単位ベクトルを、生成しようとする画素位置における画素単位動きベクトルの候補とし、その候補となっているブロック単位動きベクトルを用いて、実際にフィールド間補間に使用される画素間の画素値の差分が最も小さい、すなわち、フィールド間補間により生成される新たな画素が、フィールド間補間に使用される画素と最も相関の高い画素となるブロック単位動きベクトルが、画素単位動きベクトルに設定される。結果として、画素単位動きベクトルを用いてフィールド間補間により生成された画素は、画素単位で周辺と相関の高いものとすることが可能となり、ブロック単位動きベクトルを用いた場合に比べて、より自然な画像となる。
【００９７】
また、この処理により、例えば、図１３で示されるような白枠で示される領域の画像の場合、従来の処理においては、ブロック単位で動きベクトルが設定されていたため、ブロックとして設定された領域内で異なる動きのある画素が存在しても（図１３においては、背景が静止しており、人物の肩の部分が移動している）、ブロック単位で同一の動きベクトルが使用されるため、図１４で示されるように、ブロック単位で階段状に同様の位置関係にある現フィールドと前遅延フィールド上の画素がフィールド間補間に使用されることにより、画素が生成された画像上に、例えば、階段状のシャギーが発生してしまうようなことがあった。尚，図１４，図１５は、各画素の動きベクトルの水平方向の大きさを濃度にして表したものである。図１４においては、白枠で括られた各ブロック内に数値が示されており、これらの数値は、各ブロックのブロック単位の画素の動きベクトルの水平方向の大きさを示している。今の場合、注目ブロックが＋１２であり、上に隣接した近傍ブロックが０であり、下に隣接した近傍ブロックが１３であり、左に隣接したブロックが−１であり、右に隣接したブロックが＋１２であり、注目ブロックでは、動きのある画素の存在する領域と、動きのない画素の存在する領域が混在しているにも関わらず、同一の動きベクトルが設定されていることが示されている。
【００９８】
一方、本発明を利用した処理においては、画素単位で動きベクトルが設定され、さらに、それらの動きベクトルは、フィールド間補間により生成される画素がフィールド間補間に使用される画素間の差分が周辺のブロック単位動きベクトルの中で最小のものであるので、周辺の画素との相関が高いものとなり、例えば、図１５の白枠部分で示される注目ブロック内に動きのある画素の存在する領域と動きのない画素の存在する領域との境界部分についても、それぞれ区別して動きベクトルが設定されることになるので、結果として、自然な画素生成を実現することが可能となる。
【００９９】
尚、フィールドには、位相の異なる２つのフィールドがあり、それぞれトップフィールドとボトムフィールドと称される。トップフィールドは、最上段の水平走査線上から1ラインおきに画素が配置され、それ以外のラインには、画素がなく、ボトムフィールドは、最上段の1ライン下の水平走査線から1ラインおきに画素が生成され、それ以外のラインに画素が存在しない。すなわち、トップフィールドとボトムフィールドでは、画素の存在するラインが1ラインずれた関係となっている。このため、この例においては、現フィールドと前遅延フィールドは、同位相のフィールドであるが、遅延フィールドは、現フィールドと前遅延フィールド上における画素配置が1ラインずれた異なる位相のフィールドである。
【０１００】
従って、図９で示されるαを１／２に設定した場合、生成フィールドは、遅延フィールドそのものとなり、遅延フィールド上の画素が存在しないライン上に、現フィールドと前遅延フィールド上に存在する画素の情報に基づいて、遅延フィールド上の画素が存在しないライン上に画素を生成し、さらに、遅延フィールドデータと合成することで、インタレース画像をプログレッシブ画像に変換することが可能となる。
【０１０１】
また、以上においては、画素単位動きベクトルの候補として、注目ブロックのブロック単位動きベクトルの他に近傍ブロックとして、注目ブロックに水平方向、および、垂直方向に隣接するブロックである近傍ブロックのブロック単位動きベクトルを使用する例について説明してきたが、近傍ブロックは、それ以外の位置のブロックでもよいし、また、数についても、上述した４ブロックのみならず、例えば、注目ブロックの左右の斜上、または、左右の斜下の位置のブロックを含めた８ブロックとするようにしても良い。また、同位相の異なるフィールド上のブロックを近傍ブロックとして使用してもよく、例えば、前後の同一位相のフィールド（生成フィールドに対して２フィールド前のフィールドと２フィールド後のフィールド）上の注目ブロックと同位置のブロックなどを使用してもよい。
【０１０２】
ところで、図３の画素単位動きベクトル検出部２１の場合、この方法では、画素単位の動きベクトルを導出する際に、複数のブロック単位動きベクトルの候補を用いて、フィールド間補間に使用する画素間の画素値の差分が小さい、すなわち、相関の高い画素間を始点と終点とする動きベクトルを画素単位動きベクトルとするため、例えば、同様の形状が繰り返される画像や複雑な形状を持つ画像では、画素単位の動きベクトルが誤検出される恐れがある。この誤検出された画素単位動きベクトルがフィールド間補間に使用されると、補間により生成された画素からなる画像に、空間的、または、時間的な不連続性が生じる恐れがあり、結果として、画質の劣化を招く恐れがある。
【０１０３】
そこで、注目ブロックと近傍ブロックの複数のブロック単位動きベクトルを画素単位の動きベクトルの候補として、いずれかを選択する際、動きベクトルに対応したフィールド間補間に使用される画素間の差分のみならず、その他の付加情報における選択条件を付加することにより正確に画素単位動きベクトルを選択できるようにしても良い。
【０１０４】
図１６は、注目ブロックと近傍ブロックの複数のブロック単位動きベクトルを画素単位の動きベクトルの候補として、いずれかを選択する際、動きベクトルに対応したフィールド間補間に使用される画素間の差分のみならず、その他の付加情報における選択条件を付加することにより、より正確に画素単位動きベクトルを選択できるようにした画素単位動きベクトル検出部２１の構成を示している。尚、図３の画素単位動きベクトル検出部２１と対応する構成については、同一の符号を付してあり、その説明は適宜省略するものとする。
【０１０５】
図１６の画素単位動きベクトル検出部２１において、図３の画素単位動きベクトル検出部２１と異なるのは、現フィールド付加情報検出部５１、現フィールド付加情報用バッファ５２、前遅延フィールド付加情報検出部５３、および、前遅延フィールド付加情報用バッファ５４が新たに加えられており、さらに、動き補償部３６および条件判定部３７に代えて動き補償部５５および条件判定部５６を設けている点である。
【０１０６】
現フィールド付加情報検出部５１は、現フィールドデータを取得し、所定の手順に従って付加情報として、画素単位の２次元のエッジの存在する方向を示すコードを計算する。なお、現フィールド付加情報検出部５１は、図１６で示されているように、現フィールドデータをそのまま使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよいが、現フィールドデータ用前処理部３２により前処理がなされた現フィールドデータを使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよい。
【０１０７】
現フィールド付加情報用バッファ５２は、現フィールド付加情報検出部５１より供給された付加情報を取得し、格納する。現フィールド付加情報用バッファ５２は、動き補償部５５からの要求に応じて、データをを動き補償部５５に供給する。
【０１０８】
前遅延フィールド付加情報検出部５３は、前遅延フィールドデータを取得し、所定の手順に従って付加情報として、画素単位の２次元のエッジの存在する方向を示すコードを計算する。なお、前遅延フィールド付加情報検出部５３は、図１６で示されているように、前遅延フィールドデータをそのまま使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよいが、前遅延フィールドデータ用前処理部３４により前処理がなされた前遅延フィールドデータを使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよい。
【０１０９】
前遅延フィールド付加情報用バッファ５４は、前遅延フィールド付加情報検出部５３より供給された付加情報を取得し、格納する。前遅延フィールド付加情報用バッファ５４は、動き補償部５５からの要求に応じて、データをを動き補償部５５に供給する。
【０１１０】
動き補償部５５は、基本的には動き補償部３６と同様に動き補償処理を実行するものであるが、差分データとブロック単位動きベクトルを条件判定部５６に供給するのみならず、現フィールド付加用バッファ５２、および、前遅延フィールド付加用バッファ５４より取得した付加情報に基づいて、複数の候補となるブロック単位動きベクトル毎にフィールド間補間に使用される画素間の付加情報を比較し、比較結果を条件判定部５６に出力する。
【０１１１】
条件判定部５６は、条件判定処理を実行し、上述した差分データに加えて比較結果を考慮して、差分データが小さく、かつ、比較結果が一致する動きベクトルを識別する選択信号と、比較した差分データに対応する動きベクトルを画素ベクトル選択部３８に供給する。
【０１１２】
次に、図１７のフローチャートを参照して、図２１の画素単位動きベクトル検出部２１を備えた画像処理装置２０による画像処理について説明する。尚、図１７のステップＳ７１，Ｓ７５，Ｓ７６の処理は、図４のフローチャートを参照して説明したステップＳ１，Ｓ４，Ｓ５の処理と同様であるので、その説明は省略する。
【０１１３】
ステップＳ７２において、現フィールド付加情報検出部５１、および、前遅延フィールド付加情報検出部５３は、それぞれ付加情報検出処理を実行し、現フィールドデータと前遅延フィールドデータのそれぞれについて、画素単位エッジの存在する方向を示すコードを計算し、現フィールド付加情報バッファ５２および前遅延フィールド付加情報バッファ５４に格納させる。
【０１１４】
ここで、図１８のフローチャートを参照して、現フィールド付加情報検出部５１による付加情報検出処理を説明する。
【０１１５】
ステップＳ８１において、現フィールド付加情報検出部５１は、現フィールド上の各画素について、水平エッジの有無を示すコードである水平エッジコードEHを計算する。すなわち、例えば、図１９で示されるように、注目画素が画素Ｄ（ｘ，ｙ）であった場合、現フィールド付加情報検出部５１は、図中の注目画素の左側に隣接する画素Ｄ（ｘ−１，ｙ）との画素値の差分（Ｄ（ｘ，ｙ）−Ｄ（ｘ−１，ｙ））を水平エッジコードEHとして演算する。
【０１１６】
ステップＳ８２において、現フィールド付加情報検出部５１は、現フィールドの各画素について、垂直エッジの有無を示すコードである垂直エッジコードEＶを計算する。すなわち、例えば、図１９で示されるように、注目画素が画素Ｄ（ｘ，ｙ）であった場合、現フィールド付加情報検出部５１は、図中の注目画素の上側に隣接する画素Ｄ（ｘ，ｙ−１）との画素値の差分（Ｄ（ｘ，ｙ）−Ｄ（ｘ，ｙ−１））を垂直エッジコードEＶとして計算する。尚、図１９においては、水平方向の座標は、右に向って上昇し、垂直方向の座標は、下に向った上昇するものとする。
【０１１７】
ステップＳ８３において、現フィールド付加情報検出部５１は、現フィールドの各画素について、所定のテーブルに基づいて、水平エッジコードEHと垂直エッジコードEVとのそれぞれの値が、正の値であるか、０であるか、または、負の値であるかに基づいて、エッジの方向を示すコードを決定し、決定したエッジの方向のコードを画素位置の情報に対応付けて現フィールド付加情報バッファ５２に格納させる。
【０１１８】
すなわち、エッジの方向のコードを決定するテーブルは、例えば、図２０で示されるようなテーブルであり、水平エッジコードEHと垂直エッジコードEVが正の値、負の値、または０のいずれであるかにより決定される。従って、図２０で示されるテーブルを使用する場合、現フィールド付加情報検出部５１は、水平エッジコードEHと垂直エッジコードEVとが、いずれも０である場合、エッジは存在しないものとみなし、コードを０とする。また、水平エッジコードEHと垂直エッジコードEVとが、いずれも負の値である場合、エッジは注目画素からみて左上方向の位置に存在するものとして、コードは１とされる。さらに、水平エッジコードEHが０であって、垂直エッジコードEVが負の値である場合、エッジは注目画素からみて上方向の位置に存在するものとして、コードは２とされる。また、水平エッジコードEHが正の値であって、垂直エッジコードEVが負の値である場合、エッジは注目画素からみて右上方向の位置に存在するものとして、コードは３とされる。さらに、水平エッジコードEHが正の値であって、垂直エッジコードEVが、０である場合、エッジは注目画素からみて右方向の位置に存在するものとして、コードは４とされる。また、水平エッジコードEHと垂直エッジコードEVとが、いずれも正の値である場合、エッジは注目画素からみて右下方向の位置に存在するものとして、コードは５とされる。さらに、水平エッジコードEHが０であって、垂直エッジコードEVが正の値である場合、エッジは注目画素からみて下方向の位置に存在するものとして、コードは６とされる。また、水平エッジコードEHが負の値であって、垂直エッジコードEVが、正の値である場合、エッジは注目画素からみて左下方向の位置に存在するものとして、コードは７とされる。さらに、水平エッジコードEHが負の値であって、垂直エッジコードEVが０である場合、エッジは注目画素からみて左方向の位置に存在するものとして、コードは８とされる。
【０１１９】
以上の処理により、現フィールドデータ上の各画素について隣接する画素間との大小関係からエッジの存在する可能性を示す情報を、エッジの方向を示すコードとして各画素に付加することができる。尚、以上においては、現フィールド付加情報検出部５１による付加情報検出処理について説明してきたが、前遅延フィールド付加情報検出部５３においても、前遅延フィールドから同様の処理により付加情報が検出されることになるので、その処理の説明は省略する。
【０１２０】
ここで、図１７のフローチャートの説明に戻る。
【０１２１】
ステップＳ７２において、付加情報検出処理が実行されれた後、ステップＳ７３において、動き補償部５５は、動き補償処理を実行し、差分データおよび比較結果を条件判定部５６に出力する。
【０１２２】
ここで、図２１のフローチャートを参照して、動き補償部５５による動き補償処理について説明する。尚、図２１のフローチャートにおいて、ステップＳ１０１乃至Ｓ１０３，Ｓ１０５，Ｓ１０７，Ｓ１０９，Ｓ１１１、および、ステップＳ１１３乃至Ｓ１１６の処理は、図５を参照して説明したステップＳ１１乃至Ｓ２１の処理と同様であるので、その説明は省略する。
【０１２３】
ステップＳ１０４において、動き補償部５５は、画素a_prと画素a_deのエッジ方向のコードを比較し、比較結果code_aを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素a_prと画素a_deのエッジ方向のコードを比較し、一致した場合、比較結果code_a＝１を、一致しない場合、比較結果code_a＝０を条件判定部５６に出力する。
【０１２４】
ステップＳ１０６において、動き補償部５５は、画素b_prと画素b_deのエッジ方向のコードを比較し、比較結果code_bを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素b_prと画素b_deのエッジ方向のコードを比較し、一致した場合、比較結果code_b＝１を、一致しない場合、比較結果code_b＝０を条件判定部５６に出力する。
【０１２５】
ステップＳ１０８において、動き補償部５５は、画素c_prと画素c_deのエッジ方向のコードを比較し、比較結果code_cを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素c_prと画素c_deのエッジ方向のコードを比較し、一致した場合、比較結果code_c＝１を、一致しない場合、比較結果code_c＝０を条件判定部５６に出力する。
【０１２６】
ステップＳ１１０において、動き補償部５５は、画素d_prと画素d_deのエッジ方向のコードを比較し、比較結果code_dを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素d_prと画素d_deのエッジ方向のコードを比較し、一致した場合、比較結果code_d＝１を、一致しない場合、比較結果code_d＝０を条件判定部５６に出力する。
【０１２７】
ステップＳ１１２において、動き補償部５５は、画素e_prと画素e_deのエッジ方向のコードを比較し、比較結果code_eを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素e_prと画素e_deのエッジ方向のコードを比較し、一致した場合、比較結果code_e＝１を、一致しない場合、比較結果code_e＝０を条件判定部５６に出力する。
【０１２８】
以上の処理により、動き補償部５５は、候補となる注目ブロックと近傍ブロックのブロック単位動きベクトル毎の差分データと共に、対応するブロック単位動きベクトル毎のフレーム間補間処理に使用する画素間のエッジの方向を示すコードの比較結果を条件判定部５６に出力する。
【０１２９】
ここで、図１７のフローチャートの説明に戻る。
【０１３０】
ステップＳ７４において、条件判定部５６は、条件判定処理を実行する。
【０１３１】
ここで、図２２のフローチャートを参照して、条件判定部５６による条件判定処理について説明する。
【０１３２】
ステップＳ１３１において、条件判定部５６は、差分a_diff，b_diff，d_diff，e_diffを比較して、小さい順に並び替える。以降の説明においては、差分は、小さい順に差分a_diff，b_diff，d_diff，e_diffに並べら得ているものとして説明していくが、順序は、これに限るものではないことは言うまでもないことである。
【０１３３】
ステップＳ１３２において、条件判定部５６は、ステップＳ１３１の処理で並べられた差分a_diff，b_diff，d_diff，e_diffのうち、最も小さな差分を選択する。従って、今の場合、差分a_diffが選択されることになる。
【０１３４】
ステップＳ１３３において、条件判定部５６は、選択された差分が、注目ブロックに対して垂直方向に隣接するブロックの差分であるa_diffまたはe_diffであるか否かを判定する。今の場合、a_diffが選択されているので、a_diffであると判定され、ステップＳ１３４に進む。
【０１３５】
ステップＳ１３４において、条件判定部５６は、垂直方向の差分v_diffとしてa_diffまたはe_diffのいずれか選択されている値を設定し（v_diff＝a_diffまたはe_diffに設定し）、垂直方向の近傍ブロックの代表となる動きベクトルvを、差分に対応して動きベクトルaまたはeに設定し（v＝aまたはeに設定し）、比較結果code_vを差分に対応して、比較結果code_a、または、code_eのいずれかに設定する（code_v＝code_aまたはcode_eに設定する）。今の場合、a_diffが選択されているので、垂直方向の差分v_diffは、a_diffとして選択され、垂直方向の近傍ブロックの代表となる動きベクトルvが動きベクトルaとされ、比較結果code_vは、code_eとされる。
【０１３６】
一方、例えば、ステップＳ１３３において、差分a_diffまたは差分e_diffが選択されていないと判定された場合、条件判定部５６は、ステップＳ１３５において、水平方向の差分h_diffとしてb_diffまたはd_diffのいずれか選択されている値を設定し（h_diff＝b_diffまたはd_diffに設定し）、水平方向の近傍ブロックの代表となる動きベクトルhを、差分に対応して動きベクトルbまたはdに設定し（v＝bまたはdに設定し）、比較結果code_hを差分に対応して、比較結果code_b、または、code_dのいずれかに設定する（code_h＝code_bまたはcode_dに設定する）。
【０１３７】
ステップＳ１３６において、条件判定部５６は、c_diffが所定の閾値thよりも小さくて、かつ、比較結果code_cが１であるか否かを判定し、例えば、所定の閾値thよりも小さく、さらに、比較結果code_cが１である場合、ステップＳ１３７において、選択信号PSELとしてc_diffを採用したことを示すCと共に、ブロック単位動きベクトルｃを画素ベクトル選択部３８に供給する。すなわち、注目ブロックの差分c_diffが所定の閾値thよりも小さく、さらに、比較結果code_cが１（ブロック単位動きベクトルcが注目画素を通るときの、ブロック単位動きベクトルcの現フィールド上の交点の位置の画素と前遅延フィールド上の交点の位置における画素とのエッジの存在する方向が一致している）場合、注目ブロックのブロック単位動きベクトルcが選択されることになる。
【０１３８】
ステップＳ１３７において、差分c_diffが閾値thよりも小さくないか、または、code_cが１ではないと判定された場合、ステップＳ１３８において、条件判定部５６は、選択された差分が、差分h_diffであるか否かを判定し、今の場合、差分v_diff＝a_diffであるので、差分h_diffではないと判定され、その処理は、ステップＳ１４２に進む。
【０１３９】
ステップＳ１４２において、条件判定部５６は、v_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ１４３において、code_vが１であるか否かを判定し、例えば、１であると判定されたとき、ステップＳ１４４において、選択信号PSELとしてv_diffを採用したことを示すVと共に、ブロック単位動きベクトルvを画素ベクトル選択部３８に供給する。また、ステップＳ１４２において、v_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ１３７に進む。
【０１４０】
また、ステップＳ１３８において、h_diffであると判定された場合、ステップＳ１３９において、条件判定部５６は、h_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ１４０において、code_hが１であるか否かを判定し、例えば、１であると判定したとき、ステップＳ１４１において、選択信号PSELとしてh_diffを採用したことを示すHと共に、ブロック単位動きベクトルhを画素ベクトル選択部３８に供給する。また、ステップＳ１３９において、h_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ１３７に進む。
【０１４１】
ステップＳ１４０、または、ステップＳ１４３において、それぞれcode_hが１ではない、または、code_vが１ではないと判定された場合、ステップＳ１４５において、条件判定部５６は、ブロック単位動きベクトルの候補が２以上残されているか否かを判定する。今の場合、差分a_diff，b_diff，d_diff，e_diffに対応するブロック単位動きベクトルａ，ｂ，ｄ，ｅの４個が残されているので、２以上残されていると判定され、その処理は、ステップＳ１４６に進む。
【０１４２】
ステップＳ１４６において、条件判定部５６は、今現在差分diffが最も小さい動きベクトルを候補から削除し、その処理は、ステップＳ１３２に戻る。すなわち、今の場合、差分a_diffが最も小さいので、対応する動きベクトルａが候補から削除されることになる。
【０１４３】
さらに、ステップＳ１３２においては、候補から動きベクトルａが削除されているので、差分a_diffの次に小さい差分b_diffを選択して、それ以降の処理を繰り返す。そして、ステップＳ１３２乃至Ｓ１３６，Ｓ１３８乃至Ｓ１４０、Ｓ１４２，Ｓ１４３，Ｓ１４５、Ｓ１４６の順に処理がなされると、候補となっている動きベクトルｂが削除され、ステップＳ１３２において、差分d_diffが選択されて、それ以降の処理が繰り返される。
【０１４４】
そして、さらに、ステップＳ１３２乃至Ｓ１３６，Ｓ１３８乃至Ｓ１４０、Ｓ１４２，Ｓ１４３，Ｓ１４５の順に処理がなされると、ステップＳ１４５において、候補が２以上ではなくなるので、その処理は、ステップＳ１３７に進む。
【０１４５】
すなわち、注目ブロックの差分c_diffが所定の閾値thよりも小さく、比較結果code_cが１である場合、条件判定部５６は、選択信号PSEL＝Cを出力する。また、注目ブロックの差分c_diffが所定の閾値thよりも小さく、比較結果code_cが１ではない場合、条件判定部５６は、差分a_diff，b_diff，d_diff，e_diffのうち、比較結果が１であるもので最も小さいものに対応する選択信号PSEL＝HまたはVを出力する。さらに、注目ブロックの差分c_diffが所定の閾値thよりも小さく、比較結果code_cが１ではない場合であって、その他の候補の比較結果が全て１ではないとき、条件判定部５６は、選択信号PSEL＝Cを出力する。
【０１４６】
結果として、画素単位動きベクトルの候補となるブロック単位動きベクトルが注目画素を通るときの現フィールド上の交点の位置の画素と前遅延フィールド上の交点の位置の画素との画素間差分のみならず、それぞれの画素のエッジの存在する方向が一致するか否かの要素も考慮して、注目ブロックとその近傍ブロックのブロック単位動きベクトルの候補から最適なブロック単位動きベクトルが画素単位動きベクトルとして選択されることになるので、細かい図形や繰り返しの形状などを含む画像であっても、正確に画素単位の動きベクトルを決定することが可能となる。
【０１４７】
ところで、以上においては、画素単位動きベクトルの候補となるブロック単位動きベクトルが注目画素を通るときの現フィールド上の交点の位置の画素と前遅延フィールド上の交点の位置の画素との画素間差分のみならず、それぞれの画素のエッジの存在する方向が一致するか否かを考慮して、注目ブロックおよび複数の近傍ブロックのブロック単位動きベクトルから最適な画素単位動きベクトルを選択する例について説明してきたが、以上の方法では、画素単位動きベクトルとして選択できる動きベクトルに限りがあり、解像度変換やインタレース画像からプログレッシブ画像への変換といった画像処理においては不自然な画素が生成される可能性を小さくすることができるが、例えば、フィールド周波数変換やコマ数変換といったもともと存在しないフィールドを生成するような画像生成の場合、動きベクトルの精度が生成される画像に直接反映されることになり、一部で動きベクトルが正確に検出できないといった事態が発生すると正確にフィールドを生成することができなくなる恐れがある。
【０１４８】
そこで、注目画素の周辺の候補となる動きベクトルを注目画素からの距離に応じて、平滑化して、周辺画像との相関を生かして、画素単位の動きベクトルを求めるようにしても良い。
【０１４９】
図２３は、注目画素の周辺の候補となる動きベクトルを注目画素からの距離に応じて、平滑化して、周辺画像との相関を生かした画素生成をすることにより、画素単位の動きベクトルを求めるようにした画素単位動きベクトル検出部２１の構成を示している。尚、図２３の画素単位動きベクトル検出部２１において、図３または図１６の画素単位動きベクトル検出部２１と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０１５０】
図２３の画素単位動きベクトル検出部２１は、ブロック単位動きベクトル用メモリ３１と動きベクトル平滑化部７１から構成されている。
【０１５１】
動きベクトル平滑化部７１は、注目ブロックと近傍ブロックの各ブロック単位動きベクトルを、各ブロックの中心位置（基準となる位置であればよく、必ずしも中心である必要はないが、ここでは、中心位置を基準位置とする）を起点とするベクトルとみなし、生成フィールド上の各画素について、近傍ブロックのブロック単位動きベクトルの起点位置からの距離に応じて係数を掛けた線形和をとることにより、注目画素近傍の動きブロックを平滑化し、画素単位動きベクトルを生成し、画像合成部２２に出力する。
【０１５２】
次に、図２４のフローチャートを参照して、図２３の画素単位動きベクトル検出部２１を備えた画像処理装置２０による画像処理について説明する。尚、図２４のフローチャートにおけるステップＳ１５１，Ｓ１５３の処理は、図４のフローチャートにおけるステップＳ１，Ｓ５の処理と同様であるので、その説明は省略する。また、説明の便宜上、注目ブロックと近傍ブロックは、図２５で示されるように設定するものとする。すなわち、注目ブロックをブロックＥとして、近傍ブロックをブロックＡ乃至Ｄ，Ｆ乃至Ｉとし、それぞれのブロック単位動きベクトルをａ乃至ｉで示すものとする。
【０１５３】
ステップＳ１５２において、動きベクトル平滑化部７１は、ブロック単位動きベクトル用メモリ３１に格納されている動きベクトルを読み出し、動きベクトル平滑化処理を実行する。
【０１５４】
ここで、図２６のフローチャートを参照して、動きベクトル平滑化部７１による動きベクトル平滑化処理について説明する。
【０１５５】
ステップＳ１６１において、動きベクトル平滑化部７１は、各画素の画素単位動きベクトルが求められていないブロックを注目ブロックとして、その近傍ブロックであるブロックＡ乃至Ｉに対応するブロック単位動きベクトルａ乃至ｉをブロック単位動きベクトル用メモリ３１より読み出す。たとえば、注目ブロックと近傍ブロックが、図２７で示されるように、３ブロック×３ブロックであるものとし、各ブロックのサイズがstep_x×step_yであるものとする。また、図中の注目ブロックであるブロックＥの左上の位置が原点となり、ｘ方向は、水平右側方向とし、ｙ方向は垂直下方向であるものとする。また、図２７において、各ブロックの中央部の黒丸は、各ブロックの中心位置を示している。また、この処理では、注目ブロック内の各画素の画素単位動きベクトルを求める処理を説明する。
【０１５６】
ステップＳ１６２において、動きベクトル平滑化部７１は、図示せぬカウンタｙを初期化する。ステップＳ１６３において、動きベクトル平滑化部７１は、図示せぬカウンタｘを初期化する。
【０１５７】
ステップＳ１６４において、動きベクトル平滑化部７１は、カウンタyがy＜step_y／２であるかであるか否かを判定し、例えば、カウンタyがy＜step_y／２であると判定した場合、すなわち、注目画素（ｘ，ｙ）が、注目ブロックの垂直方向の中央よりも上側に存在する場合、ステップＳ１６５において、以下の式（１）を演算する。
【０１５８】
vv0＝ｂ×（step_y／２−ｙ）＋ｅ×（step_y／２＋ｙ）
・・・（１）
【０１５９】
ここで、ｂ，ｅは、ブロック単位動きベクトルｂ，ｅである。すなわち、式（１）においては、注目画素とブロックＢ，Ｅの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｂ，ｅの線形和vv0を求めている。
【０１６０】
ステップＳ１６６において、動きベクトル平滑化部７１は、カウンタxがx＜step_x／２であるかであるか否かを判定し、例えば、カウンタxがx＜step_x／２であると判定した場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも左側に存在する場合、ステップＳ１６７において、以下の式（２）を演算する。
【０１６１】
vv1＝ａ×（step_y／２−ｙ）＋ｄ×（step_y／２＋ｙ）
・・・（２）
【０１６２】
ここで、ａ，ｄは、ブロック単位動きベクトルａ，ｄである。すなわち、式（２）においては、注目画素とブロックＡ，Ｄの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルａ，ｄの線形和vv1を求めている。
【０１６３】
ステップＳ１６８において、動きベクトル平滑化部７１は、以下の式（３）を演算する。
【０１６４】
pv（ｘ，ｙ）＝vv1×（step_x／２−x）＋vv0×（step_x／２＋x）
・・・（３）
【０１６５】
すなわち、式（３）においては、注目画素とブロックＥ，Ｄの中心位置までのそれぞれの水平方向の距離（＝ブロックＡ，Ｂの中心位置までのそれぞれの水平方向の距離）に応じた重み係数を用いてブロック単位動きベクトルvv0，vv1の線形和を注目画素の画素単位動きベクトルpv（ｘ，ｙ）として求めており、ここでは、水平方向の距離（＝ブロックＡ，Ｂの中心位置までのそれぞれの水平方向の距離）に応じた重み係数を用いて、ブロック単位動きベクトルｂ，ｅの線形和vv0とブロック単位動きベクトルａ，ｄの線形和vv1との線形和を求めている。
【０１６６】
従って、ステップＳ１６５，Ｓ１６７，Ｓ１６８により、注目画素が注目ブロックの左上の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＡ，Ｂ，Ｄ，Ｅのそれぞれの中心位置からの距離に応じた重み係数によるベクトルａ，ｂ，ｄ，ｅの線形和として求められる。
【０１６７】
ステップＳ１６４において、カウンタｙが、ｙ＜step_y/2ではないと判定された場合、すなわち、注目画素が、注目ブロックの垂直方向の中央よりも下側に存在する場合、ステップＳ１７１において、以下の式（４）を演算する。
【０１６８】
vv0＝ｅ×（step_y×3／２−ｙ）＋ｈ×（step_y／２＋ｙ）
・・・（４）
【０１６９】
ここで、ｅ，ｈは、ブロック単位動きベクトルｅ，ｈである。すなわち、式（４）においては、注目画素とブロックＥ，Ｈの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｅ，ｈの線形和vv0を求めている。
【０１７０】
ステップＳ１７２において、動きベクトル平滑化部７１は、カウンタxがx＜step_x／２であるかであるか否かを判定し、例えば、カウンタxがx＜step_x／２であると判定した場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも左側に存在する場合、ステップＳ１７３において、以下の式（５）を演算し、その処理は、ステップＳ１６８に進む。
【０１７１】
vv1＝ｄ×（step_y×3／２−ｙ）＋ｇ×（step_y／２＋ｙ）
・・・（５）
【０１７２】
ここで、ｄ，ｇは、ブロック単位動きベクトルｄ，ｇである。すなわち、式（５）においては、注目画素とブロックＤ，Ｇの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｄ，ｇの線形和vv1を求めている。
【０１７３】
従って、ステップＳ１７１，Ｓ１７３，Ｓ１６８により、注目画素が注目ブロックの左下の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＤ，Ｅ，Ｇ，Ｈのそれぞれの中心位置からの距離に応じた重み係数によるベクトルｄ，ｅ，ｇ，ｈの線形和として求められる。
【０１７４】
ステップＳ１６６において、例えば、カウンタxがx＜step_x／２ではないと判定された場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも右側に存在する場合、ステップＳ１７６において、以下の式（６）を演算する。
【０１７５】
vv1＝ｃ×（step_y／２−ｙ）＋ｆ×（step_y／２＋ｙ）
・・・（６）
【０１７６】
ここで、ｃ，ｆは、ブロック単位動きベクトルｃ，ｆである。すなわち、式（６）においては、注目画素とブロックＣ，Ｆの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｃ，ｆの線形和vv1を求めている。
【０１７７】
ステップＳ１７５において、動きベクトル平滑化部７１は、以下の式（７）を演算する。
【０１７８】
pv（ｘ，ｙ）＝vv0×（step_x×3／２−x）＋vv1×（step_x／２＋x）
・・・（７）
【０１７９】
すなわち、式（７）においては、注目画素とブロックＢ，Ｃの中心位置までのそれぞれの水平方向の距離（＝ブロックＥ，Ｆの中心位置までのそれぞれの水平方向の距離）に応じた重み係数を用いてブロック単位動きベクトルvv0，vv1の線形和を注目画素の画素単位動きベクトルpv（ｘ，ｙ）として求めている。
【０１８０】
従って、ステップＳ１６５，Ｓ１７６，Ｓ１７５により、注目画素が注目ブロックの右上の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＢ，Ｃ，Ｅ，Ｆのそれぞれの中心位置からの距離に応じた重み係数によるベクトルｂ，ｃ，ｅ，ｆの線形和として求められる。
【０１８１】
ステップＳ１７２において、例えば、カウンタxがx＜step_x／２ではないと判定した場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも右側に存在する場合、ステップＳ１７４において、以下の式（８）を演算し、その処理は、ステップＳ１７５に進む。
【０１８２】
vv1＝ｆ×（step_y×3／２−ｙ）＋ｉ×（step_y／２＋ｙ）
・・・（８）
【０１８３】
ここで、ｆ，ｉは、ブロック単位動きベクトルｆ，ｉである。すなわち、式（８）においては、注目画素とブロックＦ，Ｉの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｆ，ｉの線形和vv1を求めている。
【０１８４】
従って、ステップＳ１７１，Ｓ１７４，Ｓ１７５により、注目画素が注目ブロックの右下の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＥ，Ｆ，Ｈ，Ｉのそれぞれの中心位置からの距離に応じた重み係数によるベクトルｅ，ｆ，ｈ，ｉの線形和として求められる。
【０１８５】
ステップＳ１６９において、カウンタｘが、フィールド画像の水平方向の大きさであるxsizeであるか否かが判定され、カウンタｘがxsizeではないと判定された場合、その処理は、ステップＳ１７０に進み、動きベクトル平滑化部７１は、カウンタxを１インクリメントし、その処理は、ステップＳ１６４に戻る。
【０１８６】
ステップＳ１６９において、カウンタｘがxsizeであると判定された場合、すなわち、注目ブロックの水平方向の１ラインの各画素の画素単位動きベクトルが求められたと判定された場合、ステップＳ１７７において、動きベクトル平滑化部７１は、カウンタｙがフィールド画像の垂直方向の大きさであるysizeであるか否かを判定し、例えば、カウンタyがysizeではないと判定した場合、ステップＳ１７８において、カウンタｙを１インクリメントし、その処理は、ステップＳ１６３に戻る。
【０１８７】
ステップＳ１７７において、カウンタｙが、ysizeであると判定された場合、すなわち、そのブロックの全ての画素について画素単位動きベクトルが求められたと判定された場合、ステップＳ１７９において、動きベクトル平滑化部７１は、全てのブロックについて、画素単位動きベクトルが求められたか否かを判定し、全てのブロックについて処理が終わっていないと判定された場合、その処理は、ステップＳ１６１に戻り、それ以降の処理が繰り返され、ステップＳ１７７において、全てのブロックについて処理が終了していると判定された場合、その処理は、終了する。
【０１８８】
以上の処理によれば、各画素について注目ブロックの右上の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの上、右上、および右に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められ、各画素のついて注目ブロックの右下の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの下、右下、および右に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められ、各画素のついて注目ブロックの左上の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの上、左上、および左に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められ、各画素のついて注目ブロックの左下の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの下、左下、および左に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められる。
【０１８９】
結果として、空間的に分布するブロック単位動きベクトルをその距離に応じて合成することで、画素単位の動きベクトルが生成されるので、計算コストを抑制しつつ、動きベクトルの検出エラーの少ない動きベクトルを画素単位で生成することが可能となる。
【０１９０】
以上においては、１の画素単位の動きベクトルを生成するに当たり、４ブロック分のブロック単位動きベクトルを合成するようにしたが、それ以上の数のブロックのブロック単位動きベクトルを距離に応じて係数を乗じた線形和を求めるようにしても良い。
【０１９１】
また、以上においては、同一フィールド内のブロック単位動きベクトルを合成していたが、注目ブロックの存在するフィールド以外のフィールドのブロック単位動きベクトルを使用するようにしてもよく、例えば、注目ブロックの存在するフィールドと２フィールド分前と後のフィールド上の同位置のブロックのブロック単位動きベクトルをフィールドの間隔に応じた係数を乗じた線形和として求めるようにしても良い。
【０１９２】
さらに、図３や図１６の画素単位動きベクトル検出部２１の構成と、図２３の画素単位動きベクトル２１の構成を合成するようにして、例えば、図２２のフローチャートのステップＳ１４５の処理により候補となるブロック単位動きベクトルがなくなり、画素単位の動きベクトルを絞り込めないような状態になったとき、その画素の動きベクトルについては、平滑化により求めるようにしても良い。
【０１９３】
図２８は、図１６の画素単位動きベクトル検出部２１の構成と図２３の画素単位動きベクトル検出部２１の構成を組み合わせた画素単位動きベクトル検出部２１を示している。
【０１９４】
基本的な構成は、図１６の画素単位動きベクトル検出部２１と同様であるが、動きベクトル平滑化部８２が加えられており、それに対応して条件判定部５６、画素ベクトル選択部５７に代えて、条件判定部８１、画素ベクトル選択部８３が設けられている。条件選択部８１は、条件選択部５６と基本的に同様であるが、さらに、候補となるブロック単位動きベクトルがなくなり、画素単位の動きベクトルを絞り込めないような状態になったとき、その画素の動きベクトルについては、動きベクトル平滑化部８２を動作させる。動きベクトル平滑化部８２は、基本的に動きベクトル平滑化部７１と同様のものである。画素ベクトル選択部８３は、画素ベクトル選択部５７と基本的に同様のものであるが、画素単位動きベクトルの選択に際して、動きベクトル平滑化部８２により平滑化された動きベクトルを画素単位の動きベクトルとして選択することができる。
【０１９５】
尚、図２８の画素単位動きベクトル検出部２１を備えた画像処理装置２０の画像処理に付いては、基本的に図４のフローチャートの処理と同様であるが、条件判定処理、および、選択処理以外は、同様であるので、ここでは、図２９乃至図３１のフローチャートを参照して、図２８の画素単位動きベクトル検出部２１の条件判定処理および選択処理についてのみ説明する。また、図２９のフローチャートにおけるステップＳ１９１乃至２０６は、図２２のフローチャートにおけるステップＳ１３１乃至Ｓ１４６と同様であるので、その説明は省略する。
【０１９６】
ステップＳ２０７において、動きベクトル平滑化部８２は、条件判定部８１からの指令に基づいて、動きベクトル平滑化処理を実行する。
【０１９７】
ここで、図３０で示されるフローチャートについては、動きベクトル平滑化部８２による動きベクトル平滑化処理であるが、図３０のフローチャートにおけるステップＳ２２１乃至Ｓ２３１の処理については、図２６のフローチャートにおけるステップＳ１６１，Ｓ１６４乃至Ｓ１７５の処理と同様であるのでその説明は省略する。
【０１９８】
次に、図３１のフローチャートを参照して、図２８の画素単位動きベクトル検出部２１による選択処理について説明する。尚、図３１のフローチャートにおけるステップＳ２５１乃至Ｓ２５４，Ｓ２５６の処理については、図１２のフローチャートを参照して説明したステップＳ６１乃至Ｓ６５の処理と同様であるので、その説明は省略する。
【０１９９】
ステップＳ２５５において、画素ベクトル選択部８３は、選択信号PSELがＶであるか否かを判定し、例えば、選択信号PSELがＶであると判定した場合、その処理は、ステップＳ２５６に進む。また、ステップＳ２５５において、選択信号PSELがＶではないと判定された場合、ステップＳ２５７において、画素ベクトル選択部８３は、動きベクトル平滑化部８２より供給される動きベクトルを画素単位の動きベクトルとする。
【０２００】
以上の処理により、候補となるブロック単位動きベクトルがなくなり、画素単位の動きベクトルを絞り込めないような状態になったとき、その画素の動きベクトルについては、平滑化により求められるようになるので、より安定した画素単位動きベクトルを求めることが可能となる。
【０２０１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０２０２】
図３２は、図２の画像処理装置２０の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU５０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU５０１は、バス５０４および入出力インタフェース５０５を介してユーザからキーボードやマウスなどからなる入力部５０６から指令が入力されると、それに対応してROM(Read Only Memory)５０２に格納されているプログラムを実行する。あるいはまた、CPU５０１は、ドライブ５１０に接続された磁気ディスク５２１、光ディスク５２２、光磁気ディスク５２３、または半導体メモリ５２４から読み出され、記憶部５０８にインストールされたプログラムを、RAM(Random Access Memory)５０３にロードして実行する。これにより、上述した図２の画像処理装置２０の機能が、ソフトウェアにより実現されている。さらに、CPU５０１は、通信部５０９を制御して、外部と通信し、データの授受を実行する。
【０２０３】
プログラムが記録されている記録媒体は、図３２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク５２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク５２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ５２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成される。
【０２０４】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【図面の簡単な説明】
【０２０５】
【図１】従来の画像処理装置の構成を示すブロック図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図３】図１の画素単位動きベクトル検出部２１の構成を示すブロック図である。
【図４】図１の画像処理装置による画像処理を説明するフローチャートである。
【図５】図４のステップＳ２の処理の動き補償処理を説明するフローチャートである。
【図６】注目ブロックと近傍ブロックを説明する図である。
【図７】ブロックのサイズを説明する図である。
【図８】注目ブロックと近傍ブロックのブロック単位動きベクトルを説明する図である。
【図９】画素が生成される生成フィールドを説明する図である。
【図１０】差分を求める画素を説明する図である。
【図１１】図４のステップＳ３の処理の条件判定処理を説明するフローチャートである。
【図１２】図４のステップＳ４の処理の選択処理を説明するフローチャートである。
【図１３】処理前の画像の例を示す図である。
【図１４】図１３の画像を従来の手法により解像度変換した例を説明する図である。
【図１５】図１３の画像を本発明の手法により解像度変換した例を説明する図である。
【図１６】画素単位動きベクトル検出部のその他の構成を示す図である。
【図１７】図１６の画像処理装置による画像処理を説明するフローチャートである。
【図１８】図１７のステップＳ７２の処理の付加情報検出処理を説明するフローチャートである。
【図１９】付加情報であるエッジの方向を識別するコードを説明する図である。
【図２０】付加情報であるエッジの方向を識別するコードを説明する図である。
【図２１】図１７のステップＳ７３の処理の動き補償処理を説明するフローチャートである。
【図２２】図１７のステップＳ７４の処理の条件判定処理を説明するフローチャートである。
【図２３】画素単位動きベクトル検出部のさらにその他の構成を示す図である。
【図２４】図２３の画素単位動きベクトル検出部を備えた画像処理装置の画像処理を説明するフローチャートである。
【図２５】ブロック単位動きベクトルのその他の例を示す図である。
【図２６】図２４のステップＳ１５２の処理の動きベクトル平滑化処理を説明するフローチャートである。
【図２７】動きベクトル平滑化処理を説明する図である。
【図２８】画素単位動きベクトル検出部のさらにその他の構成を示す図である。
【図２９】図２８の画素単位動きベクトル検出部による条件判定処理を説明するフローチャートである。
【図３０】図２９のステップＳ２０７の処理の動きベクトル平滑化処理を説明するフローチャートである。
【図３１】図２８の画素単位動きベクトル検出部による選択処理を説明するフローチャートである。
【図３２】記録媒体を説明する図である。
【符号の説明】
【０２０６】
１２  ブロック単位動きベクトル検出部，  ２１  画素単位動きベクトル検出部，  ２２  画像合成部，  ３１  ブロック単位動きベクトル用メモリ，  ３２  現フィールドデータ用前処理部，  ３３  現フィールドデータ用バッファ，  ３４  前遅延フィールドデータ用前処理部，  ３５  前遅延フィールドデータ用バッファ，  ３６  動き補償部，  ３７  条件判定部，  ３８  画素ベクトル選択部，  ５１  現フィールド付加情報検出部，  ５２  現フィールド付加情報用バッファ，  ５３  前遅延フィールド付加情報検出部，  ５４  前遅延フィールド付加情報用バッファ，  ５５  動き補償部，  ５６  条件判定部，  ７１  動きベクトル平滑化部，  ８１  条件判定部，  ８２  動きベクトル平滑化部，  ３８  画素ベクトル選択部
【図１】
2005284486.tif 000003
【図２】
2005284486.tif 000004
【図３】
2005284486.tif 000005
【図４】
2005284486.tif 000006
【図５】
2005284486.tif 000007
【図６】
2005284486.tif 000008
【図７】
2005284486.tif 000009
【図８】
2005284486.tif 000010
【図９】
2005284486.tif 000011
【図１０】
2005284486.tif 000012
【図１１】
2005284486.tif 000013
【図１２】
2005284486.tif 000014
【図１３】
2005284486.tif 000015
【図１４】
2005284486.tif 000016
【図１５】
2005284486.tif 000017
【図１６】
2005284486.tif 000018
【図１７】
2005284486.tif 000019
【図１８】
2005284486.tif 000020
【図１９】
2005284486.tif 000021
【図２０】
2005284486.tif 000022
【図２１】
2005284486.tif 000023
【図２２】
2005284486.tif 000024
【図２３】
2005284486.tif 000025
【図２４】
2005284486.tif 000026
【図２５】
2005284486.tif 000027
【図２６】
2005284486.tif 000028
【図２７】
2005284486.tif 000029
【図２８】
2005284486.tif 000030
【図２９】
2005284486.tif 000031
【図３０】
2005284486.tif 000032
【図３１】
2005284486.tif 000033
【図３２】
2005284486.tif 000034