"フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームと任意の目的フレーム間の動きベクトルを求める際に、入来するカラー動画像に対して、基準フレームの既存色プレーンを基準画像とし、前記基準フレームと隔離した基準フレームと同一色プレーンを持つ参照フレームの色プレーンを参照画像として仮動きベクトルを求める動き推定工程と、前記基準フレームと異なる色プレーンを持つ目的フレームと、前記参照フレームと、前記基準フレームの距離関係に応じて前記仮動きベクトルをスケーリングし、修正動きベクトルを得る工程と、前記基準フレームの既存色プレーンを基準画像とし、前記目的フレームの色プレーンを参照画像として、前記修正動きベクトルを中心にその周辺部に対して動きベクトルの再探索を行い、目的フレームの動きベクトルを得る工程とを含む、カラー動画像動き推定方法。フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、入来するカラー動画像に対して、基準フレームの既存色プレーンの高周波数成分を基準画像とする工程と、前記基準フレームと異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像とする工程と、前記基準画像と空間的に移動させた参照画像の間でマッチングを求め、前記マッチング結果から動きベクトルを得る工程とを含む、カラー動画像動き推定方法。フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、入来するカラー動画像に対して、色プレーンを拡大して画素数の増加した拡大画像を得る工程と、前記拡大画像に対して、輪郭抽出を行い色プレーンの拡大輪郭画像を得る工程と、基準フレームの前記拡大輪郭画像を基準画像とし、基準フレームと異なる色プレーンを持つフレームの色プレーンの拡大輪郭画像を参照画像として、ブロックマッチングを行い動きベクトルを求める工程とを含む、カラー動画像動き推定方法。フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームと任意の目的フレーム間の動きベクトルを求めるカラー動画像動き推定装置であって、入来するカラー動画像に対して、基準フレームの既存色プレーンを基準画像とし、前記基準フレームと隔離した基準フレームと同一色プレーンを持つ参照フレームの色プレーンを参照画像として仮動きベクトルを求める動き推定手段と、前記基準フレームと異なる色プレーンを持つ目的フレームと、前記参照フレームと、前記基準フレームの距離関係に応じて前記仮動きベクトルをスケーリングし、修正動きベクトルを得る手段と前記基準フレームの既存色プレーンを基準画像とし、前記目的フレームの色プレーンを参照画像として、前記修正動きベクトルを中心にその周辺部に対して動きベクトルの再探索を行い、目的フレームの動きベクトルを得る手段とを含む、カラー動画像動き推定装置。フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のためのカラー同画像動き推定装置であって、入来するカラー動画像に対して、基準フレームの既存色プレーンの高周波数成分を基準画像とする手段と、前記基準フレームと異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像とする手段と、前記基準画像と空間的に移動させた参照画像の間でマッチングを求め、前記マッチング結果から動きベクトルを得る手段とを含む、カラー動画像動き推定装置。フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のためのカラー動画像動き推定装置であって、入来するカラー動画像に対して、色プレーンを拡大して画素数の増加した拡大画像を得る手段と、前記拡大画像に対して、輪郭抽出を行い色プレーンの拡大輪郭画像を得る手段と、基準フレームの前記拡大輪郭画像を基準画像とし、基準フレームと異なる色プレーンを持つフレームの色プレーンの拡大輪郭画像を参照画像として、ブロックマッチングを行い動きベクトルを求める手段とを含む、カラー動画像動き推定装置。フレーム毎に原色が入れ替わるシーケンンシャルカラー動画像を任意のフレーム間で動き推定しようとした場合、フレーム関係により異なった色プレーン間での処理となるので、画像に色が付いている部分ではフレーム間で画像が異なることになり、適切な動き推定ができない。また、同一色プレーン間のみで動き推定を行うと、対象フレームが参照されず動きベクトルの信頼性が低い。本発明は以上の点に着目してなされたもので、シーケンシャルカラー画像で適切な動き推定を行い、信頼性が高い動きベクトルを任意のフレーム間で得ることができるカラー動画像動き推定方法及びカラー動画像動き推定装置を提供することを目的とする。本発明はフレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームの既存色プレーンを基準画像とし、基準フレームと同一色プレーンを持つ主参照フレームを参照画像として動きベクトルを求め、基準フレームと異なる色プレーンを持つ副参照フレームとの距離関係に応じて動きベクトルをスケーリングし、修正動きベクトルを中心にその周辺部に対して再探索を行い、副参照フレームの動きベクトルを得るカラー動画像動き推定方法及びカラー動画像動き推定装置である。また、基準フレームの既存色プレーンの高周波数成分を基準画像とし、異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像として空間的に移動させてブロックマッチングを行い動きベクトルを求めるカラー動画像動き推定方法及びカラー動画像動き推定装置である。さらに、基準フレームの既存色プレーンから抽出された輪郭のみの画像を基準画像とし、異なる色プレーンを持つフレームの色プレーンから抽出された輪郭のみの画像参照画像として空間的に移動させてブロックマッチングを行い動きベクトルを求めるカラー動画像動き推定方法及びカラー動画像動き推定装置である。本発明はフレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームの既存色プレーンを基準画像とし、基準フレームと同一色プレーンを持つ主参照フレームを参照画像として動きベクトルを求め、基準フレームと異なる色プレーンを持つ副参照フレームとの距離関係に応じて動きベクトルをスケーリングし、修正動きベクトルを中心にその周辺部に対して再探索を行うことで、異なる色プレーン間の動き推定は狭い範囲に限定され、画像に色がありフレーム間差分が大きくなっても、マッチングの相対的優位度はあまり変わらないので、通常のブロックマッチングでも適切な動き推定が可能になる。また、基準フレームの既存色プレーンの高周波数成分を基準画像とし、異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像として空間的に移動させてブロックマッチングを行い動きベクトルを求めることで、主に低周波数成分で形成される色差成分は、ほとんどマッチング処理に影響せず、もっぱら輝度成分の高周波数成分でマッチング処理を行なうことになり、適切な動き推定が可能になる。さらに、基準フレームの既存色プレーンから抽出された輪郭のみの画像を基準画像とし、異なる色プレーンを持つフレームの色プレーンから抽出された輪郭のみの画像参照画像として空間的に移動させてブロックマッチングを行なうことで、輪郭は色プレーンが異なってもあまり変化しないので、動き推定が可能になる。また、輪郭抽出処理前に画像拡大を行なうことで、サンプリング位置と実際の動きの関係に影響され難い、動き推定に好適な輪郭抽出が可能になり、ブロックマッチングの演算ビット数も大幅に軽減できる。本発明の第1の実施形態のカラー動画像動き推定について説明する。本実施形態の動き推定のフレーム間色プレーン関係を図1に示す。図1は基準フレームと3フレーム前との間で動き推定を行い、基準画像と1フレーム前と、2フレーム前の間で再探索を行って動きベクトルを得る。は逆方向の例で、B9を基準フレームとして、とは逆向きに3フレーム後との間で動き推定を行い、1フレーム後と2フレーム後で再探索を行って動きベクトルを得る。図2は、図1のフレーム間色プレーン関係にしたがって動き推定を行う第1の実施形態のカラー動画像動き推定装置の機能ブロックを示したものである。なお、本明細書では、同一の機能要素は、同一の参照符号を付して参照する。同一付番を記してある。図2では、図8と比較して、動き推定器24,25の代わりに、処理動作の異なる動き推定器6が追加されている。また、参照画像メモリ5、動き再探索器7,9、動きベクトルスケーラ8,10が追加されている。本実施形態で、シーケンシャルカラーSC画像とは、同一の色属性を有するフレームが、色属性の数、例えばRGBであれば3フレーム周期で配置された構成を有する。シーケンシャルカラー画像入力1から入来するシーケンシャルカラー画像信号は、参照画像メモリ2に1フレーム分の1割程度が格納され、受け取り側の要求に応じたタイミングで出力される。参照画像メモリ2で遅延調整された信号は、次の参照画像メモリ3に与えられる。参照画像メモリ3にはおおよそ1フレーム分が格納されるが、SC画像なので1色のみである。1フレーム分遅延した信号は次の参照画像メモリ4に与えられる。参照画像メモリ4は、参照画像メモリ3と同様なもので、画像信号を1フレーム分時間遅延させ、参照画像メモリ5に与えれる。これにより、参照画像メモリ2には被補間フレームである現在フレームが、参照画像メモリ3には1フレーム前の画像が、参照画像メモリ4には2フレーム前の画像が、参照画像メモリ5には3フレーム前の画像が格納される。格納されているのはSC画像信号なので、それぞれのメモリの色プレーンはフレーム単位で更新される。動き推定器6は、参照画像メモリ2の現在フレームの画像と参照画像メモリ5の3フレーム前の画像を用いて動き補償を行う。シーケンシャルカラー画像がRGBの3種類の色プレーンで構成されていると、3フレームで1周期となり、両者の色プレーンは同一となる。動き推定処理はブロックマッチングで、基準画像はブロック位置が固定され、探索の空間移動は参照画像の画像のみに適用される。ブロックサイズは、4×4画素か8×8画素とするが、基本的なブロックマッチングでは誤ベクトルが生じやすいので、階層型探索など誤ベクトルを防ぐ処理を用いる。一方、探索精度は、後に動きベクトルがスケールダウンされ再探索が行われるので、1画素精度で十分である。探索範囲は画素数とフレームレートに合わせて設定される。動き推定器6で現フレームに対して3フレーム前で求められた動きベクトルは、動きベクトルスケーラ8,10で、水平垂直各成分の値がダウンスケールされる。具体的には、動きベクトルスケーラ8は、2フレーム前の画像に対応するので3分の2倍し、動きベクトルスケーラ10は、1フレーム前の画像に対応するので3分の1倍する。そして、3分の2倍された動きベクトルは、動き再探索器7に、3分の1倍された動きベクトルは動き再探索器9に与えられる。動き再探索器9は、参照画像メモリ2に格納されている現在の画像を基準画像とし、参照画像メモリ3に格納されている1フレーム前の画像を参照画像とし、3分の1動きベクトルの周辺について再探索を行う。動き再探索器7は、参照画像メモリ2に格納されている現在の画像を基準画像とし、参照画像メモリ4に格納されている2フレーム前の画像を参照画像とし、3分の2動きベクトルの周辺について再探索を行う。得られた1フレーム間の動きベクトルはベクトル出力11から、2フレーム間の動きベクトルはベクトル出力12から出力される。再探索においてブロックマッチングは、異なる色プレーン間であるが、動き推定器6と同じブロックマッチングが使われる。再探索の範囲は±1画素か±2画素程度で良いが、探索精度は動き補償の必要性に合わせて025画素程度とする。本実施形態において、同一色プレーン間で行なわれる動き推定では、ブロックマッチングは一般的な輝度信号におけるものと同等の処理で、同等の結果が得られる。一方、異なるプレーン間で行なわれる動き推定では、原則的には適切な動き推定ができない。しかし、探索範囲が狭い場合、空間変化の少ない色差成分の影響は大きくない。色がある部分では絶対値差分の値自体は大きくなるが、相対的関係は維持されるので、その最小値を与える動きベクトルを求めることができる。図3は、第2の実施形態のカラー動画像動き推定装置の機能ブロックを示す。図2の第1の実施形態と同一構成要素には同一付番を記してある。図3では、図2と比較して、空間HPF21,22,23が追加されており、また動きベクトルスケーラ8,10がなく、動き再探索器7,9が動き推定器24,25に替わっている。第2の実施形態では、対象画像の高周波数成分のみを使って動きベクトルの探索を行なうものである。従って、第1実施形態の3フレーム間の動き推定が不要になる。シーケンシャルカラー画像入力1から入来するシーケンシャルカラー画像信号は、参照画像メモリ2に1フレーム分の1割程度が格納され、次の参照画像メモリ3に与えられる。参照画像メモリ3にはおおよそ1フレーム分が格納され、次の参照画像メモリ4に与えられる。参照画像メモリ4は、参照画像メモリ3と同様なものである。これにより、参照画像メモリ2には被補間フレームである現在フレームが、参照画像メモリ3には1フレーム前の画像が、参照画像メモリ4には2フレーム前の画像が格納される。参照画像メモリ2に格納されている現在フレームの基準画像は、空間ハイパスフィルタHPF21で低い方の周波数が4分の1から8分の1程度が削除され高周波数成分のみとなり、動き推定器24と25に与えられる。同様に参照画像メモリ3に格納されている1フレーム前の参照画像も、空間HPF22で高周波数成分のみとなり動き推定器24に与えられ、参照画像メモリ4に格納されている2フレーム前の参照画像に対して空間HPF23で高周波数成分のみとなり動き推定器25に与えられる。帯域制限の具体的方法は、通常のFIR型フィルタを用いて画面全体を処理する方法と、ブロックマッチングのブロック単位に行なうものがある。後者は8×8画素ないし4×4画素のブロック平均値を低周波数成分とし、平均値と各画素の差分を高周波数成分とするものである。ブロック単位の処理は、1回の処理は簡単であるが、動きベクトル探索で参照ブロックが変わるたびに行う必要がある。動き推定器24は、現在フレームの画像の高周波数成分のみを基準画像とし、1フレーム前の画像の高周波数成分を参照画像として動き推定を行う。動き推定器25は、現在フレームの画像の高周波数成分を基準画像とし、2フレーム前の画像の高周波数成分を参照画像として動き推定を行う。得られた1フレーム間の動きベクトルはベクトル出力11から、2フレーム間の動きベクトルはベクトル出力12から出力される。動き推定においてブロックマッチングは、異なる色プレーン間であるが、図2の動き推定器6と同じブロックマッチングが使われる。探索の範囲はフレーム距離に応じて狭くするが、精度は動き補償の必要性に合わせて025画素精度程度とする。本実施形態において、異なるプレーン間で行なわれる動き推定は、画像の高周波数成分のみを使っている。各色プレーンの画像で、色差成分の高い周波数成分があまりないので、高周波数成分のみには色差成分はあまり含まれず、輝度成分の高周波数成分のみでマッチングを調べている形になる。図3に示した実施形態では、それぞれの参照画像に空間HPFを使っているが、参照画像メモリが動き推定専用であり、空間HPFがFIR型フィルタの場合は、先にフィルタリングしたものを参照画像メモリに格納してもよい。この場合、空間HPFはひとつで済む。逆に、動き推定器内にHPFを持ち、参照画像はそのまま受け取って、ブロックマッチング処理において差分をとった後に空間HPFを施しても得られる結果は同じになる。図4を使用して、本発明の第3の実施形態のカラー動画像動き推定装置について説明する。本実施形態は、画像そのものではなく抽出された画像輪郭に基づき動き推定を行うものである。これは、各色プレーンの画素値は、色差により大きく変化するが、画像輪郭はあまり変化しない点を利用するものである。図4は、第3の実施形態のカラー動画像動き推定装置の機能ブロックを示したものである。図4には、図2と比較して、画像拡大器31,画像輪郭抽出器32があり、動きベクトルスケーラ8,10がなく、動き再探索器7,9が動き推定器36,37に替わっている。また、参照画像メモリ2,3,4は画素数やビット精度が異なる参照画像メモリ33,34,35に替わっている。シーケンシャルカラー画像入力1から入来するシーケンシャルカラー画像信号は、画像拡大器31で水平と垂直の両方向に2倍ないし4倍に拡大された画像を得る。つまり、画素数では4倍ないし16倍となる。動き推定が05画素精度なら2倍、025画素精度なら4倍とするのが好適である。使用される拡大処理は、少なくともバイキュービックとする。得られた拡大画像に対して輪郭抽出処理を行なうが、色プレーンは色により画素値が異なるので、色プレーンによる違いが少なくなるように、検出後の輪郭のレベルを正規化する。また、抽出された輪郭画像は、ビット数を落とす。図5は、上述した画像輪郭抽出器32の機能ブロックを示す。画像入力41に入来する拡大画像は、空間1次微分を使用して輪郭を決定するソーベルオペレータを含むソーベルフィルタ42で演算され、水平方向と垂直方向に等価な輪郭画像が検出される。この結果は空間LPFローパスフィルタ46で平滑化され、局部平均成分が抽出される。具体的には周辺7×7画素ないし15×15画素の平均値である。正規化器43はソーベルフィルタ42の出力を空間LPF46の出力で除する。ただし、除算の分母は最低値を設定し、画像振幅が小さなところはそのままとする。振幅が正規化された輪郭画像は、16倍拡大の場合に2値化器44で1画素1ビットの2値画像とする。また、4倍拡大では1画素4ビットとする。拡大画像に対するビット削減された輪郭画像は、輪郭出力45から出力される。このようにして得られた輪郭画像は、参照画像メモリ33に1フレーム分の1割程度が格納され、次の参照画像メモリ34に与えられる。参照画像メモリ34にはおおよそ1フレーム分が格納され、次の参照画像メモリ35に与えられる。参照画像メモリ35は、参照画像メモリ34と同様なものである。これにより、参照画像メモリ33には現在フレームの輪郭画像が、参照画像メモリ34には1フレーム前の輪郭画像が、参照画像メモリ35には2フレーム前の輪郭画像が格納される。元画像が8ビットだったとすると、輪郭画像の情報量は、画素数4倍の4ビットまたは画素数16倍の1ビットで、元の2倍となる。動き推定器36は、参照画像メモリ33に格納されている現在フレームの輪郭画像を基準画像とし、参照画像メモリ34に格納されている1フレーム前の輪郭画像を参照画像として動き推定を行う。動き推定器37は、参照画像メモリ33に格納されている現在フレームの輪郭画像を基準画像とし、参照画像メモリ35に格納されている2フレーム前の輪郭画像を参照画像として動き推定を行う。動き推定処理はブロックマッチングであるが、ブロックサイズは目的とする動き補償のブロックを画像拡大比に合わせて拡大するので、動き補償ブロックが4×4画素で16倍拡大なら16×16画素となる。動き推定の探索精度は1画素で、演算精度は4ビットないし1ビット2値パターンマッチングと等価となる。得られた1フレーム間の動きベクトルはベクトル出力11から、2フレーム間の動きベクトルはベクトル出力12から出力される。本実施形態では、部分レベル正規化を行った輪郭画像間でブロックマッチングを行うが、この画像は色プレーンで色が付いている部分でも似た画像となり、異なる色プレーン間でもブロックマッチングにより動きベクトルを求めることができる。輪郭抽出の前に画像拡大を行なうのは、通常の画素精度のまま輪郭抽出を行うと、エッジ位置とサンプリング位置の関係で、1画素以下の動きでエッジ部分の画素値が大きく変化し、マッチングが行いにくいためである。輪郭抽出が単純な線形フィルタの場合は、事前の画像拡大は動き推定の高精度探索のためのリサンプリングと等価となるが、本実施形態のように輪郭抽出が線形でない場合には、あらかじめ画像拡大するのが有効となる。一方、メモリ容量の増加を許容すれば、通常の動き推定でも高精度探索対応として事前に画像拡大しておくことは有効であるが、本実施形態ではビット削減によりメモリ容量も通常の2倍程度で済むことになる。以上説明したように、本発明は、シーケンシャルカラー画像を高画質にRGB画像に変換可能にするもので、シーケンシャルカラー方式で撮像するカメラを実現できる。また、ディスプレイに適用することで、現在デジタル放送やDVDなどで使われている輝度色差4:2:0方式などの動画像フォーマットの代わりに、より合理的なシーケンシャルカラー方式を使用可能とするものである。これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。"