"フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償フレーム間予測符号化において、入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、前記被符号化フレームと一定間隔で隔離した前記既存色と同一色プレーンを持つ符号化済みフレームの色プレーンを参照画像として、動きベクトルを求める工程と、前記動きベクトルにより、前記符号化済みフレームの局部復号色プレーンを動き補償して予測画像を得る工程と、前記動き補償で得られた予測画像と被符号化フレームの既存色プレーンとの予測残差を得る工程と前記予測残差を符号化する工程とを含む、カラー動画像符号化方法。フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、入来するカラー動画像に対して、被符号化フレームと隔離した符号化済みフレームの前記被符号化フレームと同一色プレーンを参照画像として第1の予測画像を得る工程と、前記被符号化フレームに隣接する符号化済みフレームの前記被符号化フレームと異なる色プレーンを参照画像として第2の予測画像を得る工程と、前記第1の予測画像の高周波数成分と前記第2の予測画像の低周波数成分を混合した合成予測画像と被符号化フレームの色プレーンとの予測残差を得る工程と、前記予測残差を符号化する工程とを含む、カラー動画像符号化方法。フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、入来するカラー動画像に対して、一定周期で存在する特定色プレーンのフレームを、前記特定色の符号化済みフレームを参照画像としてフレーム間予測符号化する工程と、前記特定色符号化で符号化された特定色プレーンを復号化して、特定色プレーンの局部復号画像を得る工程と、前記特定色プレーンのフレーム以外のフレームに対して、前記特定色プレーンの局部復号画像を参照画像としてフレーム間予測して予測残差を得る工程と、前記予測残差を符号化する工程とを含む、カラー動画像符号化方法。フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償フレーム間予測符号化において、入来するカラー動画像に対して、被符号化フレームの既存色プレーンを基準画像とし、前記被符号化フレームと一定間隔で隔離した前記既存色と同一色プレーンを持つ符号化済みフレームの色プレーンを参照画像として、動きベクトルを求める動き推定手段と、前記動きベクトルにより、前記符号化済みフレームの局部復号色プレーンを動き補償して予測画像を得る動き推定手段と、前記動き補償で得られた予測画像と被符号化フレームの既存色プレーンとの予測残差を得る予測手段と、前記予測残差を符号化する手段をを含む、カラー動画像符号化装置。フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、入来するカラー動画像に対して、被符号化フレームと隔離した符号化済みフレームの前記被符号化フレームと同一色プレーンを参照画像として第1の予測画像を得る第1の予測手段と、前記被符号化フレームに隣接する符号化済みフレームの前記被符号化フレームと異なる色プレーンを参照画像として第2の予測画像を得る第2の予測手段と、前記第1の予測画像の高周波数成分と前記第2の予測画像の低周波数成分を混合した合成予測画像と被符号化フレームの色プレーンとの予測残差を得る予測手段と、前記予測残差を符号化する手段とを含む、カラー動画像符号化装置。フレーム毎に色プレーンが入れ替わるカラー動画像のフレーム間予測符号化において、入来するカラー動画像に対して、一定周期で存在する特定色プレーンのフレームを、前記特定色の符号化済みフレームを参照画像としてフレーム間予測符号化する特定色符号化手段と、前記特定色符号化で符号化された特定色プレーンを復号化して、特定色プレーンの局部復号画像を得る局部復号化手段と、前記特定色プレーンのフレーム以外のフレームに対して、前記特定色プレーンの局部復号画像を参照画像としてフレーム間予測して予測残差を得る予測手段と、前記予測残差を符号化する手段とを含む、カラー動画像符号化装置。フレーム毎に原色が入れ替わるシーケンンシャルカラー動画像を、フレーム間予測符号化しようとした場合、前フレームの色プレーンは異なった色となっているので、画像に色が付いている部分では、適切な動き推定ができず、色差成分がすべて予測残差となってしまい、発生符号量が非常に多くなるという問題が生じる。本発明は以上の点に着目してなされたもので、シーケンシャルカラー画像で適切な動き推定を行い、信頼性が高い動きベクトルを任意のフレーム間で得ることができるカラー動画像符号化方法及びカラー動画像符号化装置を提供することを目的とする。本発明は、被符号化フレームと同一色プレーンを持つ符号化済み隔離フレームを参照画像として動きベクトルを求め、前記参照画像を動き補償してフレーム間予測を行う。また、被符号化フレームと隔離した同一色プレーンによる予測画像の低周波数成分と、隣接する異なった色プレーンによる予測画像の高周波数成分を混合した画像によりフレーム間予測を行なう。さらに、所定周期で存在する特定色プレーンのフレームを、特定色の符号化済みフレームを参照画像としてフレーム間予測符号化復号化し、特定色以外のフレームに対しては、特定色の局部復号画像を参照画像としてフレーム間予測を行なう。本発明は同一色の隔離フレームを参照画像として動きベクトルを求め、動き補償してフレーム間予測を行うことで、動き推定でのブロックマッチングやフレーム間予測が常に同一色間で行なわれるので、色がある画像部分でも適切に動き推定が行え、予測残差もフレーム間で画像が変化した分のみとなる。また、同一色プレーン予測の低周波数成分と、隣接色プレーン予測の高周波数成分を混合した画像により、同一色で画像概況が予測され、相関の高い隣接する他の色で輝度情報の精細成分が予測される。さらに、所定周期の特定色プレーンのフレーム間で予測符号化復号化された画像を、他のフレームの参照画像とすることで、双方向の画像間予測が可能になり、予測残差を減らすことができる。また、被符号化フレームと隔離した同一色プレーンの符号化済みフレームを参照画像とした予測画像の低周波数成分と、被符号化フレームに隣接する他の色プレーンの符号化済みフレームを参照画像とした予測画像の高周波数成分を混合した画像によりフレーム間予測を行なうことで、同一色で画像概況が予測され、相関の高い隣接する他の色で輝度情報の精細成分が予測されるので、色差の精細成分以外の予測が適切にできる。さらに、一定周期で存在する特定色プレーンのフレームを、特定色の符号化済みフレームを参照画像としてフレーム間予測符号化復号化し、特定色プレーンのフレーム以外のフレームに対しては、特定色プレーンの局部復号画像を参照画像としてフレーム間予測を行なうことで、全体の3分の2を占める非特定色で双方向の画像間予測が可能になり、主たる情報である輝度情報の精細成分について予測残差を減らすことができる。これら予測性能の改善により総合的な符号化効率が改善される。<第1の実施形態>本発明の第1の実施形態におけるカラー動画像フレーム間予測符号化について説明する。図1は、第1の実施形態のカラー動画像符号化装置の機能ブロックを示す。なお、本明細書では、同一の機能を提供する機能ブロックには、従来例についても同一の参照符号を用いて参照する。図1の機能ブロックには、図11と比較して、動き推定器41の代わりに、処理動作の異なる動き推定器14がある。また、画像メモリ7,10,16,17が追加されている。図4は本実施形態のフレーム間色プレーン予測関係を示したもので、被符号化フレームと3フレーム前との間で動き推定を行い、R1を動き補償してフレーム間予測画像を得る。第1の実施形態において、従来構成と異なるのは、動き推定とフレーム間予測での参照フレームとその動作であり、その他予測減算器2、DCT3、量子化器4、可変長符号化器5、逆量子化器8、IDCT9、加算器12の処理動作は基本的に従来構成と同じである。本実施形態で、シーケンシャルカラーSC画像とは、同一の色属性を有するフレームが、色属性の数、例えばRGBであれば3フレーム周期で配置された構成を有する。シーケンシャルカラー画像入力1から入来するシーケンシャルカラー画像は、画像メモリ7に格納され、1フレーム遅延して次の画像メモリ10に与えられる。画像メモリ7にはおおよそ1フレーム分が格納されるが、SC画像なのでひとつの色プレーンのみである。画像メモリ10は、画像メモリ7と同様なもので、画像信号を1フレーム分時間遅延させ、参照画像メモリ13に与えれる。これにより、参照画像メモリ13には3フレーム前の画像が格納される。格納されているのはSC画像なので、それぞれのメモリの色プレーンはフレーム単位で更新される。動き推定器14は、現在フレームの画像と参照画像メモリ13の3フレーム前の画像を用いて動きベクトルを求める。SC画像がRGBの3種類の色プレーンで構成されていると、3フレームで1周期となり、両者の色プレーンは同一となる。動き推定処理はブロックマッチングにより行われる。被符号化フレームはブロック位置が固定され、探索の空間移動は3フレーム前の画像のみに適用される。ブロックサイズは、16×16画素から4×4画素とし、探索精度は05画素か025画素精度である。基本的なブロックマッチングでは処理量が多く誤ベクトルが生じやすいので、低解像度画像を使う階層型探索などが使われる。また、時間間隔が3フレームになるので、探索範囲はフレーム間隔に比例して広げる必要がある。動き補償器11は、参照画像メモリ13に格納されている3フレーム前の局部復号画像を、動きベクトルに従って動き補償し、予測信号として予測減算器2と加算器12に与える。予測減算器2の出力は予測残差であり、DCT3、量子化器4、可変長符号化器5で符号化され符号列となる。これらのフレーム内処理は、通常の輝度と色差に対する符号化と基本的に同じであるが、輝度と色差のうち輝度に対する処理のみと同じになるので、非常にシンプルとなる。DCT3は、予測残差を8×8DCTまたは4×4DCTで変換した係数を量子化器4に与える。量子化器4では視覚特性及びビットレート制御に基づき設定される量子化ステップ幅でDCT係数を量子化し、固定長符号を可変長符号化器5に与える。可変長符号化器5は固定長符号を1次元配列にし、ハフマン符号や算術符号でより短い符号に変換して符号列を形成する。逆量子化器8、IDCT9、加算器12は、それぞれ量子化器4、DCT3、予測減算器2の逆処理を行い、被符号化フレームの局部復号画像を得る。得られた局部復号画像は、画像メモリ17と画像メモリ16でそれぞれ1フレーム分遅延させられ、参照画像メモリ15に与えられる。参照画像メモリ15はさらに1フレーム分遅延させ、3フレーム前の局部復号画像として動き推定や動き補償のための空間移動出力に備えて格納される。本実施形態において、動き推定は同一色プレーン間で行なわれるので、ブロックマッチングは一般的な輝度信号におけるものと同等の処理で、同等の結果が得られる。一方、フレーム間予測も同一色プレーン間で行なわれるので、予測残差は輝度信号におけるものと同等となる。ただし、前フレームからの予測と比較するとフレーム距離は離れているので、画像間相関の低下により予測残差が少し多くなる。また、被符号化フレームと参照画像となるフレームの時間関係は常に一定なので、動き推定のための入力画像のフレーム遅延もフレーム間予測のための局部復号画像の遅延も常に一定であり、色プレーンが替わっても処理方法を変える必要は無く、合理的な処理となっている。<第2の実施形態>次に本発明の第2の実施形態のカラー動画像構造変換について説明する。図2は、第2の実施形態のカラー動画像符号化装置の機能ブロックを示したものである。図2では、図1の機能ブロックと比較して、動きベクトルスケーラ21、加算器22、空間HPF23、動き補償器24、空間LPF26が追加されており、また画像メモリ17が動き補償に対応した参照画像メモリ25に替わっている。第2の実施形態では、性質の異なる2種類の参照画像を混合して予測に利用するもので、そのフレーム間色プレーン予測関係を図5に示す。図において、被符号化フレームと3フレーム前との間で動き推定を行い、3フレーム前を動き補償した同一色予測画像と、直前フレームを動き補償した他色予測画像の両方を使ってフレーム間予測を行なう。第2の実施形態において、第1の実施形態と異なるのはフレーム間予測での参照フレームとその動作であり、画像メモリ7,10、動き推定器14、予測減算器2、DCT3、量子化器4、可変長符号化器5、逆量子化器8、IDCT9、加算器12の処理動作は基本的に第1の実施形態と同じである。シーケンシャルカラー画像入力1から入来するSC画像信号は、3フレーム遅延後に動き推定器14に与えられ、現在フレームとの間で動き推定される。得られた3フレーム前の画像に対する動きベクトルは、動きベクトルスケーラ21と動き補償器11に与えられる。動きベクトルスケーラ21は、動きベクトルの水平及び垂直の各成分の値を3分の1にし、動き補償器24に与える。動き補償器11は、参照画像メモリ15に格納されている3フレーム前の局部復号画像を、動きベクトルに従って動き補償して空間LPF26に与える。空間LPF26は、垂直及び水平の各方向で通過周波数帯域を4分の1から8分の1程度に帯域制限するものである。これにより得られた3フレーム前の予測画像の低周波数成分は、加算器22に与えられる。一方、動き補償器24は、参照画像メモリ25に格納されている直前フレームの局部復号画像を、スケーリングされた動きベクトルに従って動き補償し、空間HPF23に与える。空間HPF23は、空間LPF26の逆特性で、空間LPF26で削除される周波数帯域を通過させる。これにより得られた直前フレームの予測画像の高周波数成分は、加算器22に与えられる。帯域制限の具体的方法は、通常のFIR型フィルタを用い予測画面全体を処理しても良いが、より簡易で、ブロック境界の影響を受けにくい手法としてはブロック単位のものがある。これは8×8画素ないし4×4画素のブロック平均値を低周波数成分とし、平均値と各画素の差分を高周波数成分とするものである。ブロック単位の処理は、動き補償のブロックと適合させるのが好都合である。この場合、空間LPF26はブロック平均値を出力し、空間HPF23はブロック平均値を減じた画素値を出力すればよい。加算器22は、3フレーム前の予測画像の低周波数成分の信号と直前フレームの予測画像の高周波数成分の信号を加算する。ここで、LPFとHPFは逆特性なので、加算結果画像の周波数特性は平坦となる。加算により得られた予測画像は予測減算器2と加算器12に与えられる。一方、加算器12で得られた局部復号画像は、参照画像メモリ25に格納され、直前フレームの動き補償のために使われる。本実施形態のフレーム間予測信号は、被符号化フレームと隔離した3フレーム前の予測画像の低周波数成分と、隣接する直前フレームの予測画像の高周波数成分であるが、その特徴を説明する。3フレーム前の予測画像は同一色プレーンであるので、色の有無に関わらず予測に使用できるが、画像間相関が低く特に高い周波数成分で予測残差が出やすい。一方、直前フレームの予測画像は他色プレーンであるので、色があると色差成分が予測残差となってしまう。しかし色差成分は空間的な変化が少なく、高周波数成分は僅かなので、色プレーンの高周波成分の予測残差は通常符号化の輝度プレーンと大差ない。見方を変えると、色プレーンの符号化において全周波数成分を持つ輝度成分は、低周波数成分が3フレーム前で、高周波数成分が直前フレームで予測され、主に低周波数成分である色差成分は、低周波数成分が同一色である3フレーム前で予測される。色差の高周波数成分は予測残差となるが、その量は僅かである。<第3の実施形態>本発明の第3の実施形態カラー動画像フレーム間予測符号化について、図3を用いて説明する。図3のカラー動画像符号化装置は、図1と比較して、スイッチ31,32,35、乗算器33,37、可変動きベクトルスケーラ34,36、動き補償器24、参照画像メモリ25が追加されている。第3の実施形態では、符号化処理を2段階に行ない、双方向予測が使われるもので、そのフレーム間色プレーン予測関係を図6に示す。図6において、第1の符号化として特定色フレームと同一色プレーンである3フレーム前との間で符号化復号化を行い、その間のフレームを特定色フレームの局部復号画像を使ってフレーム間予測を行う。第3の実施形態において、第1の実施形態と異なるのは、フレーム間予測構造や参照フレームとその動作であり、画像メモリ7,10、参照画像メモリ13、動き推定器14、予測減算器2、DCT3、量子化器4、可変長符号化器5、逆量子化器8、IDCT9、加算器12の処理動作は基本的に第1の実施形態と同じである。シーケンシャルカラー画像入力1から入来するSC画像信号は、3フレーム遅延後に動き推定器14に与えられ、現在フレームとの間で動き推定される。得られた3フレーム前の画像に対する動きベクトルは、可変動きベクトルスケーラ34、36に与えられる。特定色に対する第1の符号化では、入来信号はスイッチ31を介して予測減算器に与えられ、フレーム間予測が行なわれる。同時にスイッチ32を介して固定長係数が逆量子化器8に与えられ、加算器12で局部復号画像を得る。局部復号画像はスイッチ35を介して参照画像メモリ25または参照画像メモリ15に与えられる。参照画像メモリ25、15は、特定色プレーンのフレームで交互に局部復号画像が蓄えられる。例えば、参照画像メモリ25にR1R7R13、参照画像メモリ15にR4R10R16となる。非特定色に対する第2の符号化では、参照画像メモリで3フレーム遅延した入来信号がスイッチ31を介して特定色プレーンのフレームで予測減算器2に与えられ、フレーム間予測が行なわれる。その際、スイッチ32は接続されず局部復号は行なわれない。また、参照画像メモリ25,15に格納されている画像は更新されない。一方、可変動きベクトルスケーラ34、36は、動き補償するフレームと動きベクトルを求めたフレームの関係で乗ずる値を変える。特定色に対する第1の符号化では、そのままとする。一方、非特定色に対する第2の符号化では、G2では34が3分の1、36がマイナス3分の2となり、B3では、34が3分の2、36がマイナス3分の1となる。動き補償器24は、参照画像メモリ25に格納されている特定フレームの局部復号画像を、動きベクトルに従って動き補償して乗算器33に与える。動き補償器11は、参照画像メモリ15に格納されている特定フレームの局部復号画像を、動きベクトルに従って動き補償して乗算器37に与える。乗算器33,37は、符号化の段階と画像距離に応じて乗ずる値を変える。特定色に対する第1の符号化では、3フレーム前の画像のみ使うように片方が10で他方が00となる。非特定色に対する第2の符号化では両方を2分の1とするか、1フレーム間となる方を3分の2、2フレーム間となる方を3分の1とする。加算器22は、乗算器33の出力と乗算器37の出力を加算するが、特定色に対する第1の符号化では実質的に片方の画像のみが通過し、非特定色に対する第2の符号化では混合により予測画像を形成することになる。得られた予測画像は予測減算器2と加算器12に与えられる。本実施形態は、特定色に対して3フレーム間の予測を行なうが、3フレーム前の予測画像は同一色プレーンであるので、色の有無に関わらず予測に使用できる。非特定色に対しては、双方向の予測が適用されるので画像変化にも対応した予測が可能になる。ただし、他色からの予測となるので、色差成分は予測残差となる。<第4の実施形態>第3の実施形態で非特定色フレームの予測残差を減らすため、非特定色フレームでも同色プレーン間の予測を併用するのが良い。第4の実施形態は同色プレーン間の予測を併用する実施形態である。第4の実施形態における処理のフレーム予測色プレーン関係を図7に示す。図7に示す予測処理のための機能ブロックは、図2および図3に示した機能ブロックを組み合わせたものとなる。図3をベースにすると、加算器22の出力に図2の空間HPF23が適用される形になり、図2の空間LPF26から参照画像メモリ25まではそのまま使われ、空間LPF26の出力と図3の加算器22の出力が加算されて、予測画像となる。なお、非特定色の動き補償のための動き推定は別途必要になる。また、局部復号画像は全フレームで必要となるので、図3のスイッチ32は常時通過となる。これにより非特定色フレームでは、他色プレーンによる双方向予測の高周波数成分と、同一色プレーンによる3フレーム間片側予測の低周波数成分でフレーム間予測が行なわれる。第2の実施形態と比較した場合、高周波数成分の予測が双方向になる。なお、特定色フレームは第3の実施形態と同じになる。本実施形態の場合、特定色の符号化は、IBPの各ピクチャタイプを持つMPEG型符号化でのPピクチャと等価であり、非特定色の符号化はBピクチャに近いものとなるので、総合的にMPEG型符号化に近いフレーム間予測性能が得られる。一方、各フレームにはひとつの色プレーンしかないので、発生符号量は、カラー動画像符号化でありながら輝度色差画像に対する符号化の輝度画像のみに近いものとなる。つまり、輝度成分と色差成分が一体化され符号化されていると見ることもできる。画像メモリ量はフレーム数で見ると増加するが、SC画像のサンプル数は4:2:2の半分、4:2:0の3分の2しかないので、実効的にはむしろ少なくなる。また、非特定色も参照画像となるが、予測に使われるのは低周波数成分のみなので、Bピクチャを参照しないMPEG型符号化と同様に非得定色フレームの予測残差符号化の量子化を粗くすることができる。この場合、最終的な画質も特定色に対して非特定色が若干劣ることになるので、輝度成分への影響を考慮すると、特定色を緑、非特定色を赤と青とするのが適当となる。<第5の実施形態>第3の実施形態または第4の実施形態において、SC画像が毎秒60フレームだったとすると、特定色フレームの符号化は20fpsの通常符号化と等価になる。そこで、この符号化をBピクチャを持つMPEG型符号化とすることができる。この処理を使用するのが第5の実施形態のカラー動画像符号化装置であり、第5の実施形態における符号化予測の実施形態を、フレーム間色プレーン予測関係として図8に示す。なお、符号化処理における各機能処理部は、第3および第4の実施形態において、MPEGエンコーディング処理に適合するフォーマットとされている。ただし、図8では、Pピクチャ間隔は、特定色フレームが20fpsなので、30fpsで一般的な3フレームでなく2フレームとされる。また、非特定色フレームの予測を行なうため、特定色フレーム局部復号画像の品質は一定であることが望ましく、Bピクチャの量子化を粗くすることは適当でない。以上の適合化を行うことにより、第5の実施形態では、MPEGエンコードにおける特定色の予測性能が改善され符号化効率が向上し、全体での発生符号量が低減できる。以上説明したように、本発明は、シーケンシャルカラー画像を高画質にRGB画像に変換可能にするもので、シーケンシャルカラー方式で撮像するカメラを実現できる。また、ディスプレイに適用することで、現在デジタル放送やDVDなどで使われている輝度色差4:2:0方式などの動画像フォーマットの代わりに、より合理的なシーケンシャルカラー方式を使用可能とするものである。これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。"