(57)【特許請求の範囲】
【請求項１】
飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換方法における動きベクトル変換方法において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換方法であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１のステップと、
上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２のステップと、
Ｐピクチャが破棄される場合に、上記第１のステップで上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３のステップと、
Ｉピクチャが破棄される場合には、上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１のステップで上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第４のステップと、
Ｉピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３のステップで上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第５のステップと、
上記第４及び第５のステップで選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する第６のステップとを有する
動きベクトル変換方法。
【請求項２】
飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換装置における動きベクトル変換装置において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換装置であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１の合成手段と、
上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２の合成手段と、
Ｐピクチャが破棄される場合に、上記第１の合成手段で上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３の合成手段と、
Ｉピクチャが破棄される場合には、上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１の合成手段で上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第１の選択手段と、
Ｉピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３の合成手段で上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第２の選択手段とを有し、
上記第１及び第２の選択手段で選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する
動きベクトル変換装置。
【請求項３】
請求項１に記載の動きベクトル変換方法において、
Ｐピクチャが破棄される場合には、ＧＯＶ内での最初のＰ−ＶＯＰ（Video Object Plane)、若しくはシーンチェンジの直後のＧＯＶに関しては、上記第１乃至第３のステップで上記伸張及び上記足し合わせの２通りの方法によりＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を合成し、上記第４及び第５のステップで予測効率の高い方を選択し出力すると同時に、上記伸張と上記足し合わせのどちらの方法が選択されたかに関する情報を、ＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれについて記憶手段に格納し、それ以降のＰ−ＶＯＰについては、上記第１乃至第３のステップでＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれを、上記記憶手段に格納された情報に基づいて合成し、上記第４及び第５のステップでは予測効率に基づく選択を行わない
動きベクトル変換方法。
【請求項４】
請求項２に記載の動きベクトル変換装置において、
Ｐピクチャが破棄される場合には、ＧＯＶ内での最初のＰ−ＶＯＰ（Video Object Plane)、若しくはシーンチェンジの直後のＧＯＶに関しては、上記第１乃至第３の合成手段で上記伸張及び上記足し合わせの２通りの方法によりＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を合成し、上記第１及び第２の選択手段で予測効率の高い方を選択し出力すると同時に、上記伸張と上記足し合わせのどちらの方法が選択されたかに関する情報を、ＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれについて記憶手段に格納し、それ以降のＰ−ＶＯＰについては、上記第１乃至第３の合成手段でＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれを、上記記憶手段に格納された情報に基づいて合成し、上記第１及び第２の選択手段では予測効率に基づく選択を行わない
動きベクトル変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧなどの様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報を示すビットストリームを、衛星放送、ケーブルＴＶ、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報変換方法（画像情報変換変換装置）における動きベクトル変換方法（動きベクトル変換装置）に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ  １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準方式で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化に適用されていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４の符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ  １４４９６−２として、その規格が国際標準に承認された。
【０００５】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）のＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換したいというニーズがある。
【０００６】
かかる目的を達成するための従来の画像情報変換装置を図１に示し、以下、これについて説明する。図１は、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換する画像情報変換装置である。すなわち、図１において、１はＭＰＥＧ２の画像情報復号化装置、２は解像度・フレームレート変換装置、３はＭＰＥＧ４の画像情報符号化装置である。入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、ＭＰＥＧ２の画像情報復号化装置１により復号化される。復号化された画像情報は解像度・フレームレート変換装置２へ伝送され、任意の異なる解像度、フレームレートをもつ画像情報へ変換される。変換された画像情報は、ＭＰＥＧ４の画像情報符号化装置３に入力されて、ＭＰＥＧ４の画像符号化方式によりＭＰＥＧ４の画像圧縮情報を示すビットストリームに符号化され出力される。
【０００７】
ＭＰＥＧ２の画像情報復号化装置１においては、水平及び垂直方向成分共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの８次のＤＣＴ係数全てを用いた復号処理を行うことが考えられるが、垂直方向には８次の係数全てを用いるものの、水平方向には８次の係数のうち低域４成分のみを用いた復号処理（以下これを４×８ダウンデコードと呼ぶ）、若しくは、水平、垂直方向共に水平方向には８次の係数のうち低域４成分のみを用いた復号処理（以下これを４×４ダウンデコードと呼ぶ）を行うことで、画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減し、更に後段のダウンサンプリング処理を簡略化する構成も考えられる。
【０００８】
このような従来方法では、ＭＰＥＧ４の画像符号化装置において、入力された画像信号を符号化する際、動きベクトル情報を検出する演算処理量は、全演算処理量の約６０〜７０パーセントを占める。そのため、画像のリアルタイムでの処理が困難となり、時間遅延が発生し、装置が大規模になってしまう等の問題点が生じる。
【０００９】
かかる問題を解決する手段として、発明者らは先に図２に示す画像情報変換装置の発明を行った。以下、これについて説明する。４はＭＰＥＧ２の画像情報復号化装置、５は解像度・フレームレート変換装置、６は動きベクトル変換装置、７はＭＰＥＧ４の画像情報符号化装置である。図２の画像情報変換装置において、動きベクトル変換装置６を除く部分の動作原理については、図１に示した画像情報変換装置と同様であるため、動きベクトル変換装置６の動作原理について詳述する。
【００１０】
図３は、ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル情報と、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトル情報の相関を示す図で、以下、これについて説明する。画像の解像度が変換される際、変換後の前フレームでの位置から現フレームでの位置への動きベクトル情報の水平成分は、解像度変換前の動きベクトル情報の水平成分と画像の横方向の解像度変換比によって求めることが可能であり、解像度変換後の垂直成分は、解像度変換前の動きベクトル情報の垂直成分と画像の垂直方向の解像度変換レートによって求めることが可能である。解像度変換前の動きベクトル情報と変換後の動きベクトル情報は大きな相関を持ち、その相関を利用して解像度変換前の動きベクトル情報から変換後の動きベクトル情報を求めることが可能である。
【００１１】
すなわち、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームより、ＭＰＥＧ２のマクロブロック動きベクトルやマクロブロックタイプ等の情報を利用し、ＭＰＥＧ４の動きベクトル情報へ変換する。ＭＰＥＧ４の符号化装置７内では、動きベクトル情報の検出を行わず、変換された動きベクトル情報を用いた画像符号化を行う。これにより、処理量の大幅な削減を可能とする。
【００１２】
ここで、解像度フレームレート変換装置５の動作原理について述べる。まず、ＭＰＥＧ２の画像情報復号化装置４より入力された画像の解像度変換を行う。ここでは、水平方向・垂直方向共に解像度を１／２にする場合を例にして挙げる。図４に示すように、垂直方向のダウンサンプリングは、入力された飛び越し走査画像の第一フィールド、若しくはを第二フィールドを抽出して、順次走査画像に変換する。水平方向に関しては、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレートを実現するために、解像度の変換による圧縮だけではなく、Ｂピクチャを破棄することでフレームレートの低減を実現する。例えば、図４に示したＭＰＥＧ２のＩＢＢＰの画像は解像度・フレーム変換後、ＩＰの第一フィールドの構成になる。解像度・フレーム変換を行った画像は、ＭＰＥＧ４の画像情報符号化装置７においてマクロブロック単位の処理を可能とするため、輝度信号の水平方向・垂直方向の画素数が共に１６の倍数となるようにする。そのため、外部から入力される画像サイズ調整フラグにより、画素の補填あるいは画素の除去を行う。
【００１３】
画像サイズ調整フラグは、解像度・フレームレート変換器の外部から入力され、画像の水平方向・垂直方向の画素数が１６の倍数でない場合に対し、画像への画素補填若しくは、除去を判定するためのフラグである。
【００１４】
次に、図５を用いて、画像サイズ調整フラグによる画像への処理を説明する。ＭＰＥＧ２の画像復号化装置４より出力された画像の解像度がｍ画素×ｎ画素であるとすると、ｍ、ｎは共に１６の倍数であるが、水平方向・垂直方向がそれぞれ１／２にダウンサンプリングされたｍ／２，ｎ／２は、１６の整数倍、若しくは、１６で割って８画素の余りがある。前者の場合、、画素数の調整を行う必要はない。後者の場合、マクロブロック単位の処理を可能とするためには、画像サイズ調整フラグによる画像への処理が必要となる。画像サイズ調整フラグには、画素の補填と除去の二つの選択肢をもつ。ｍ／２若しくはｎ／２を１６で割って、８画素が余った場合においては、画像の除去を選択すれば、余った８画素は除去される。すなわち、出力画像は（ｍ／２−８）若しくは（ｎ／２―８）となる。一方画素の補填を選択すれば、新たに作成した８画素若しくは元の画像から複製した８画素若しくは画像に適した８画素を行、あるいは列の先頭若しくは、後部から付け加える。すなわち、出力画像は（ｍ／２＋８）若しくは（ｎ／２＋８）となる。結果として、変換後の画像解像度の横と縦は１６の倍数となり、マクロブロック単位の処理に適したサイズを持つ画像が出力される。
【００１５】
例として、今、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの解像度が７２０×４８０画素である場合を考える。この時、ｍ／２＝３６０，ｎ／２＝２４０となるが、水平方向に関しては、１６の倍数でない。このため画素の除去を行い、ｍ／２−８＝３５２画素とするか、若しくは画素の補填を行ってｍ／２＋８＝３６８画素とする。
【００１６】
入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームと、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームにおけるマクロブロックの対応関係を、図６を用いて説明する。
【００１７】
図６Ａおよび図６Ｂの実線で区切られている各正方格子の一つ一つがマクロブロックを示している。図６ＡはＭＰＥＧ２の復号化装置４より出力された画像、なわち、解像度変換前の画像である。図６Ｂは図６Ａの画像を解像度・フレームレート変換装置５により、水平方向・垂直方向の解像度とも１／２に変換された画像である。たとえば、変換前の図６Ａの左上の網掛けされた１６×１６マクロブロックは、変換後の図６Ｂにおける左上の８×８ブロックになる。すなわち、図６Ａに示した４つの網掛けした１６×１６マクロブロックが、解像度変換された後、それぞれ図６Ｂに示した４つの網掛けした８×８ブロックになり、それらによって１つの１６×１６マクロブロックが構成される。解像度変換前と後の動きベクトル情報の相関が大きいため、変換後の８×８ブロックの動きベクトル情報は、変換前の１６×１６マクロブロックの動きベクトル情報より求めることができる。さらに、４つの８×８の動きベクトル情報から１つの１６×１６の動きベクトル情報を求め、ＭＰＥＧ４の画像情報符号化装置７における処理に用いる動きベクトル情報の４つの８×８の動きベクトルと１つ１６×１６の動きベクトル情報が生成される。
【００１８】
図７に、図２における動きベクトル変換装置６の詳細な回路構成を示し、以下、これについて説明する。すなわち、８はＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置、９は画像サイズ調整フラグによる動きベクトルへの調整器、１０はＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置、１１はＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器である。
【００１９】
入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル、画像サイズなどのパラメータは、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換器８により、補正前の８×８の動きベクトルが作成される。
【００２０】
図８に、図７におけるＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８の動作原理のフローチャートを示す。飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいては、一般的にフレーム構造が用いられるため、以下ではフレーム構造の場合への処理のみの変換方法を説明する。
【００２１】
ステップＳＴ−１では、マクロブロックが、イントラマクロブロック、スキップマクロブロック及びインターマクロブロックのいずれであらかの判定を行う。そのマクロブロックがイントラマクロブロックである場合には、ステップＳＴ−２で、解像度変換後の８×８ブロックが動きベクトル情報を持つことを想定する。その処理としては、まず８×８の動きベクトル情報を０に設定し、さらに、図７の補正器１１による処理を行うため、イントラモードフラグを設ける。すなわち、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてイントラマクロブロックである場合、イントラモードフラグが立つ。
【００２２】
そのマクロブロックがスキップマクロブロックである場合には、ステップＳＴ−３で、各ブロックの動きベクトル情報を０に設定する。
【００２３】
そのマクロブロックがインターマクロブロックである場合には、ステップＳＴ−４で、フレーム予測かフィールド予測かの判定を行う。画像がフレーム構造、フレーム予測である場合は、ステップＳＴ−５で、フレーム予測に適した動きベクトルへの変換を行う。その場合の動きベクトル変換の概念図を図９に示す。図３で説明したように、変換後の動きベクトル情報の水平成分は変換前の動きベクトル情報の水平成分と画像の水平方向の解像度変換比から求められる。垂直成分は変換前の動きベクトル情報の垂直成分と画像の垂直方向の解像度変換比から求められる。すなわち、横方向の解像度を１／２に変換した際、変換後の動きベクトル情報の水平成分も変換前の１／２になる。縦方向の解像度を１／２に変換した際、変換後の動きベクトル情報の垂直成分も変換前の１／２になる。例えば、図９に示した動きベクトル情報は、図９Ａの変換前の（８，１２）から図９Ｂの変換後の（４，６）になる。尚、この場合は、整数画素の中間値（半画素）の間隔を１としている。図９Ａの解像度変換前では、黒丸は整数画素の位置を示し、四角は半画素の位置を示している。解像度変換後の半画素は白丸で示す。図からわかるように、変換前の整数画素の位置に示している動きベクトル情報は、変換後の整数画素若しくは半画素の位置に示す。変換前の半画素の位置に示している動きベクトル情報は解像度変換後は参照する画素がなくなる。そこで、変換後の動きベクトル情報も予測画像の半画素の位置を示すようにする。それは本来、復号された画像信号には、量子化による歪みが含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。これを低減するために、低域通過フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度が選択されることもあり、これにより、画質劣化を避けることができる。したがって、ＭＰＥＧ４の画像情報符号化装置７における処理においても、予測効率を向上し、画質劣化を防ぐために、ＭＰＥＧ４で動きベクトル情報が半画素の位置に示している場合、ＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換した際も半画素の位置に示すように変換する。変換前と変換後の動きベクトル情報の対応関係を、図１０の表図に示す。
【００２４】
次に、ステップＳＴ−４の判定で、画像がフレーム構造でフィールド予測である場合は、ステップＳＴ−６に移行して、第一フィールド予測であるか、第二フィールド予測であるかの判定を行う。まず、第一フィールド予測であるときは、ステップＳＴ−７に移行して、フィールドの第一フィールド予測に適した動きベクトルへの変換を行う。図１１にその動きベクトル変換の概念図を示す。動きベクトル情報の水平成分は、図１０と同様な処理が行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトル情報は、そのまま変換後の動きベクトル情報になる。
【００２５】
ステップＳＴ−６の判定で、第二フィールド予測の場合は、ステップＳＴ−８に移行して、フィールド予測の第二フィールド予測に適した動きベクトルへの変換を行う。その第二フィールド予測である場合の動きベクトル変換の概念図を図１２及び図１３に示す。解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。そのため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールド予測に変換するように、動きベクトル情報の時空間補正を行う。図１２は、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的な補正を行う手法を示した図である。すなわち、動きベクトル情報の垂直成分に１を加える。図からわかるように、第二フィールド予測で求めた動きベクトル情報の垂直成分に１を加えると、１行が繰り上げられることによって、第二フィールドが第一フィールドと同様の位相に補正され、空間上で、第一フィールド予測で求めた動きベクトル情報のようになる。次に示す数１の式は空間補正により、第一フィールドと同様な空間位置にある第二フィールド、すなわち近似第一フィールドを予測とした時、動きベクトルＭＶtop の垂直成分を表している。
【００２６】
【数１】
垂直成分：近似ＭＶtop ＝ＭＶbottom＋１
【００２７】
また、飛び越し走査のＭＰＥＧ２の画像圧縮情報には第一フィールドと第二フィールドとで時間ずれがある。そのため、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補正を行う。図１３は各フィールドの時間的位置関係を示している。ここで、第一フィールドと第二フィールドの間隔を１とし、ａをＩピクチャの第二フィールドとＰピクチャの第一フィールドの間隔とすると、ａは１，３，５，７，……のような奇数になる。尚、ａが１の場合は、画像の構成がＩＰＰＰ…の場合である。時間補正した動きベクトルＭＶ′を、数２の式に示す。
【００２８】
【数２】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝・近似ＭＶtop 
【００２９】
数１の式を数２の式に代入すると、変換後の動きベクトル情報の垂直成分が数３の式のようになる。
【００３０】
【数３】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝・（ＭＶbottom＋１）
【００３１】
尚、変換後の動きベクトル情報の水平成分は、変換前の動きベクトル情報に、（ａ＋１）／ａを乗じ、時間的な補正を行った後、図１０に示した動作原理に基づいて求められる。
【００３２】
動きベクトル情報の垂直成分に対して、必要に応じて、時間的補正を行った後、空間的な補正を行ってもよい。その場合、動きベクトルＭＶ′の垂直成分を  ４の式に示す。尚、水平成分は空間・時間補正（空間補正を行ってから時間補正を行う）と時間・空間補正（時間補正が行ってから空間補正を行う）は同様な値となる。
【００３３】
【数４】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝・ＭＶbottom＋１
【００３４】
数３の式と数４の式との差、すなわち、空間・時間補正を行った場合と、時間・空間補正を行った場合の動きベクトル情報の垂直成分の差は１／ａになる。従って、ａの値によって、その差による影響が異なるので、ａが１の場合と、１より大きい、すなわち３，５，７，……の２つの場合における補正方法を説明する。
【００３５】
まず、ａ＝１の場合について、数３の式のａに１を代入すると、動きベクトル情報の垂直成分は数５の式になる。
【００３６】
【数５】
垂直成分：ＭＶ′＝２×（ＭＶbottom＋１）
【００３７】
数４の式のａに１を代入すると、動きベクトル情報の垂直成分は数６の式になる。
【００３８】
【数６】
垂直成分：ＭＶ′＝２×（ＭＶbottom＋１）−１
【００３９】
その結果、変換前の動きベクトルＭＶbottomに０，１，２，……を代入すると、数５の式による値は２，４，６，……のような偶数になる。すなわち、空間・時間補正を行うと、変換前の動きベクトル情報は、整数画素の位相を示す場合も、半画素の位相を示す場合も、変換後は全て整数画素の位相を示すことになる。また、数６の式による値は、１，３，５，……のような奇数になる。すなわち、時間・空間補正を行うと、変換前の動きベクトル情報は、整数画素の位相を示す場合も、半画素の位相に存在する場合も、変換後は全て半画素の位相を示すことになる。したがって、変換前整数画素の位相を示す動きベクトル情報は、変換後も整数画素の位相を示すように空間・時間補正を行う。また、変換前半画素の位置に示している動きベクトル情報は、変換後も半画素の位置に示すように時間・空間補正を行う。
【００４０】
以上の動きベクトル変換処理が終了した後、補正前のＭＰＥＧ４の８×８の動きベクトル情報が出力される。出力された８×８の動きベクトル情報は、画像サイズ調整フラグによる動きベクトルへの調整器９（図７）に伝送され、外部より入力された画像サイズ調整フラグにより、画像サイズに適した動きベクトル情報を出力する。
【００４１】
画像サイズ調整フラグによる動きベクトル調整器９におけるフローチャートを図１４に示し、以下これについて説明する。ステップＳＴ−１１で、入力画像サイズｍ画素× n画素に対して、ｍ／２，ｎ／２が共に１６の倍数であるか否かの判定を行い、ＹＥＳあれば、図２の動きベクトル変換装置６から出力されたＭＰＥＧ４の８×８の動きベクトル情報を、処理することなくそのまま出力する。ステップＳＴ−１１の判定でＮＯ、すなわち、ｍ／２，ｎ／２のいずれかが１６の倍数でない場合は、ステップＳＴ−１２に移行して、外部から入力された画像サイズ調整フラグが作動し、画素除去か否かの判定を行い、ＹＥＳ、すなわち、画素除去の場合は、除去された８画素の８×８の動きベクトル情報を出力しないで、他の８×８の動きベクトル情報を出力する。ステップＳＴ−１２の判定で、ＮＯのときは、ステップＳＴ−１３に移行して、画素補填か否かの判定を行い、ＹＥＳ、すなわち、画素補填の場合は、補填された８画素の８×８の動きベクトル情報を０に設定し、他の入力された８×８の動きベクトル情報と合わせて出力される。
【００４２】
再び図７に戻って説明するに、画像サイズ調整フラグによる動きベクトルへの調整器９より出力された画像サイズに適した８×８の動きベクトル情報は、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって変換される。以下に、８×８の動きベクトル情報が、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって変換される動作について述べる。
【００４３】
第一の方法として、マクロブロックを構成する４つのブロックの中、イントラでないマクロブロックから変換されたブロックの動きベクトルの和をインターマクロブロックから変換されたブロックの数で割った平均を１６×１６の動きベクトル情報として出力する。
【００４４】
第二の方法として、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０においては、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８において生成された、そのマクロブロックに対するＭＰＥＧ４の８×８の動きベクトル情報のうち、最も符号化効率が高いと考えられるマクロブロックより生成されたものを選択し、ＭＰＥＧ４の１６×１６の動きベクトル情報として出力する。
【００４５】
符号化効率の判定は、画像情報変換装置の入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を基に行う。第一の方法は、４つのマクロブロックのうち、最も非零のＤＣＴ係数の少ないマクロブロックを符号化効率が高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトル情報を含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率が高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを符号化効率が高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下のように計算される。
【００４６】
【数７】
Ｘ＝Ｑ・Ｂ
【００４７】
ここで、Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００４８】
図７で、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０における第三の方法として、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８において生成された、そのマクロブロックに対するＭＰＥＧ４の８×８の動きベクトル情報のうち最も重み付けが高いと考えられるマクロブロックより生成されたものを２回重複して数え、合計５つの８×８の動きベクトル情報のうち、中間値の長さを持つ動きベクトル情報の最も符号化効率が高いものを選択し、ＭＰＥＧ４の１６×１６の動きベクトル情報として出力する。ここで動きベクトルの長さの比較は水平方向、垂直方向に対して、それぞれの長さの、二乗根の和を用い、平方根をもとめる処理は省略する。
【００４９】
重み付けの判定は、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を基に行う。すなわち、第一の方法は、４つのマクロブロックのうち、最も非零ＤＣＴの係数の少ないマクロブロックを重み付けが高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトルを含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを重み付けが高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを重み付けが高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用い、数７の式に基づいて算出する。Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００５０】
一方、画像サイズ調整フラグによる動きベクトルへの調整器９より出力された、画像サイズに適した８×８の動きベクトル情報は、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器１１に入力される。そこでＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラであったマクロブロックから変換されたブロックの８×８の動きベクトル情報は、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められた１６×１６の動きベクトル情報に置き換えられ、補正される。補正後の８×８の動きベクトル情報と、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０で求めた１６×１６の動きベクトル情報を合わせて、ＭＰＥＧ４の動きベクトル情報として出力する。
【００５１】
図１５は、図７における、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器１１の動作説明ための図である。画像サイズに適した８×８の動きベクトル情報がＭＰＥＧ２のイントラマクロブロックに対する補正器１１に入力し、イントラモードフラグが立っている場合、すなわち、ＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラマクロブロックである場合、スイッチＳＷの可動接点ｍが固定接点ａ側に切換えられて、そのイントラマクロブロックから変換された８×８ブロックの動きベクトル情報を、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０より求められた１６×１６の動きベクトル情報に置き換えられる。若しくは、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトル情報から変換された動きベクトル情報に置き換えてもよい。更にまた、イントラマクロブロックに一番近いインターマクロブロックの動きベクトル情報から変換された動きベクトル情報にしてもよい。尚、４つのブロックともイントラマクロブロックから変換された場合は、４つとも動きベクトルが０となり、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められる１６×１６の動きベクトルも０となるため、ＭＰＥＧ４の画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラモードとなる。また、イントラモードフラグが立たない場合、すなわち、ＭＰＥＧ２ではイントラマクロブロックがない場合、スイッチＳＷの可動接点ｍが固定接点ｂ側に切換えられて、入力された８×８の動きベクトル情報がそのまま出力される。
【００５２】
次に生成された動きベクトル情報の再検索を行う場合について説明する。インターマクロブロックに対し、画像がフレーム構造、フレーム予測である場合の動きベクトル変換の概念図は図９に示したとおりである。図からわかるように、変換前整数画素の位相を示している動きベクトル情報は、変換後整数画素若しくは半画素の位相を示すが、変換前半画素の位相を示している動きベクトル情報は解像度変換後参照する画素がなくなる。このような場合、変換後の動きベクトル情報も予測画像の最も近い整数画素位置を示すようにする。これは、後に動きベクトル補整において動きベクトル周辺画素を再検索する際に、サーチウィンドウの中心画素値を整数画素にする為である。まず、サーチウィンドウ内で最も予測誤差が少ない整数画素の動きベクトル情報を求め、次にその整数画素周辺の９半画素値を検索することにより処理のステップを削減している。変換前と変換後の動きベクトル情報の対応関係は図１０に示した通りである。従来例の図９に示された半画素動きベクトル情報を先に生成し、これを中心としてサーチを行うことも考えられるが、処理量の増大を招く。
【００５３】
画像がフレーム構造でフィールド予測である場合であるが、まず、第一フィールド予測である時について、動きベクトル変換の概念図は図１１に示した通りである。すなわち、動きベクトル情報の水平成分は、フレーム構造、フレーム予測である場合と同様な処理が行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトル情報は、そのまま変換後の動きベクトル情報になる。
【００５４】
第二フィールド予測である場合の動きベクトル変換の概念図は図１２に示した通りである。すなわち、解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。フィールドのライン補整及び時間方向の動きベクトル補正は従来例の図１２に示したのと同様な方法により補整を行い、その後、水平方向の画素値は変換後に整数画素を示すように、フレーム構造、フレーム予測である場合と同様な処理が行われる。
【００５５】
図１６に動きベクトル変換装置の構成を示す。すなわち、１２はＭＰＥＧ２→ＭＰＥＧ４の８×８ＭＶ変換装置、１３は動きベクトル整数画素検索装置、１４は８×８ＭＶ→１６×１６ＭＶ合成装置、１５は動きベクトル整数画素検索装置、１６は動きベクトル半画素検索装置である。
【００５６】
まず、ＭＰＥＧ２→ＭＰＥＧ４の８×８ＭＶ変換装置１２においては、動きベクトル情報の空間・時間補整を行い８×８の動きベクトル情報を生成する。次に、動きベクトル整数画素検索装置１３において、８×８の動きベクトル情報の再検索処理を行う。例えば、生成された８×８の動きベクトル情報の参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトル情報の予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトル情報それぞれに対して、再検索された予測誤差及び、再検索処理を施した８×８の動きベクトル情報を８×８ＭＶ→１６×１６ＭＶ合成装置１４へ入力する。
【００５７】
８×８の動きベクトル情報を８×８ＭＶ→１６×１６ＭＶ合成装置１４では、４つの８×８の動きベクトル情報に対して、再検索時にもとめられた予測残差が最も小さい動きベクトル情報を抽出し、１６×１６の動きベクトル情報に割り当てる。次に生成された１６×１６の動きベクトル情報に対して、動きベクトル整数画素検索装置１５において再検索処理を行い、１６×１６の動きベクトル情報の予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル情報及び、１６×１６の動きベクトル情報を生成し、出力する。出力された８×８の動きベクトル情報及び１６×１６の動きベクトル情報は、それぞれ半画素検索装置１６に入力され、半画素精度で８×８の動きベクトル情報及び１６×１６の動きベクトル情報が出力される。
【００５８】
動きベクトル整数画素検索装置１３及び１５では指定されたサーチウィンドウ内で最も予測画素値が少ない整数画素動きベクトルを選択し、次に半画素検索装置１６において、整数画素値で選択された最小予測誤差の動きベクトルの周辺９半画素値を検索し、最も予測誤差が少ない最適な動きベクトル値を出力する。
【００５９】
ところで、図２に示した画像情報変換装置においては、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャのみを破棄するため、例えば入力となるＭＰＥＧ２の画像圧縮情報が３０Ｈｚである場合、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームは１０Ｈｚとなる。しかしながら、絵柄、及び出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームの符号量（ビットレート）によっては図２に示した画像情報変換装置を用いても良好な画質が得られない場合がある。このような場合、Ｂピクチャのみならず、Ｉ若しくはＰピクチャも一枚おきに破棄することで、５ＨｚのＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換することが考えられる。
【００６０】
図１７に、かかる変換を行う際の、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるピクチャ・コーディング・タイプ（ｐｉｃｔｕｒｅ−ｃｏｄｉｎｇ−ｔｙｐｅ）と、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームにおけるブイオーピー・コーディング・タイプ｛ｖｏｐ（Video Object Plane) −ｃｏｄｉｎｇ−ｔｙｐｅ｝の対応の一例を示す。ＧＯＰ（画像グルーブ）構造がｎ＝１５；ｍ＝３である３０ＨｚのＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＧＯＶ（Group of VOP,VOP:Video Object Plane)構造がｎ＝５；ｍ＝１である５ＨｚのＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換する場合、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の、Ｉピクチャ及びＰピクチャを一枚おきに抽出し、ＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換する。図１７の例では、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの２ＧＯＰが、ＭＰＥＧ４の画像圧縮情報を示すビットストリームの１ＧＯＶと対応するため、Ｐピクチャを破棄する場合とＩピクチャを破棄する場合が考えられる。ＭＰＥＧ２の動きベクトル情報からＭＰＥＧ４の動きベクトル情報を求める方法として、動きベクトル情報を伸張する方法及び動きベクトル情報を足し合わせる方法の２通りが考えられるが、これらのうち、符号化効率の高い動きベクトル情報を適応的に選択し、ＭＰＥＧ４の動きベクトル情報として出力し、ＭＰＥＧ４の画像符号化処理を行う。
【００６１】
このような適応的な選択を行う動きベクトル変換装置を図１８に示し、以下これについて説明する。すなわち、１７はＭＶ及びＭＢ情報バッファ、１８は足し合わせベクトル判定装置、１９は参照ＭＢアドレス算出装置、２０は動きベクトル空間・時間補正装置、２１はＭＶ再検索装置、２２は動きベクトル伸張  空間・時間補正装置、２３はＭＶ再検索装置、２４は８×８ＭＶ選択装置、２５は８×８ＭＶ→１６×１６ＭＶ合成装置、２６は１６×１６ＭＶ再検索装置である。
【００６２】
以下に、まず、動きベクトル情報を伸張により合成する方法及び足し合わせにより合成する方法について述べる。図１９に、動きベクトル情報を伸張により合成する方法を示す。入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームで、Ｉピクチャにおいては動きベクトル情報が存在しない為、Ｐピクチャ内でのそのマクロブロックの動きベクトル情報に、破棄されたＩピクチャの動きベクトル情報を足し合わせて動きベクトル情報を合成することは不可能である。したがって、上述の方式に基づき、そのマクロブロックの動きベクトル情報をスケーリングにより空間・時間補整を施し、次に破棄されたＩピクチャの直前のＩまたはＰピクチャより変換された動きベクトル情報の大きさを２倍に伸張する。これにより、そのＰ−ＶＯＰの動きベクトル情報が破棄されたフレームの直前のＩまたはＰピクチャより変換されたＶＯＰを参照する。このようにして、空間・時間補整によるスケーリングを行って後に時間方向に２倍に伸張された動きベクトル情報を生成し、８×８の動きベクトル情報として出力する。同様の方法を、Ｐピクチャを破棄する際に適用することも可能である。
【００６３】
動きベクトル情報を足し合わせる手法について図２０、図２１、図２２及び図２３を用いて説明する。まず、図２０に足し合わせにより動きベクトル情報を合成する方法の概念図を示す。破棄されるＰピクチャに含まれるマクロブロックは動きベクトル情報を有している為、そのマクロブロックの動きベクトル情報に破棄されるＰピクチャの動きベクトル情報を足し合わせ、破棄されるＰピクチャの前のフレームを参照する動きベクトル情報を生成する。図２０に示すように、そのマクロブロックの動きベクトル情報は破棄されるフレームを参照するが、このとき参照する画素は複数のマクロブロックに跨る。図２１に参照画素がどのように複数のマクロブロックに重なるかを示す。図からわかるように、参照画素は１つ、または２つ、または４つのマクロブロックに重なる場合がある。破棄されるＰピクチャの動きベクトル情報及び、マクロブロックモード並びに予測モードまたはビット数、または量子化スケールは後に動きベクトル情報の足し合わせの合成を行う為、ＭＢ及びＭＶ情報バッファ１７にフレーム単位で格納する。ＭＰＥＧ２からＭＰＥＧ４への動きベクトル変換を行うそのマクロブックにおいて、まず捨てられたＰフレーム上でその動きベクトルが参照する座標を計算する。複数のマクロブロックに重なる場合には予め定めたパラメータＸに基づいて、マクロブロックの優先順位を判定する。すなわち、第一の方法はＸをマクロブロックに重なっている画素数とし、第２の方法はＸをマクロブロックの重なっている画素数／マクロブロックビット数とし、第３の方法はＸをマクロブロックの重なっている画素数／量子化スケールとし、第４の方法はＸをマクロブロックの重なっている画素数／（マクロブロックビット数×量子化スケール）とし、第５の方法はＸを１／マクロブロックビット数とし、第６の方法はＸを１／量子化スケールとし、第７の方法はＸを１／（マクロブロックビット数×量子化スケール）とする。パラメータＸの最も大きいものを最大値とし、パラメータＸの最も小さいものを最小値とする。
【００６４】
図２２に破棄するフレームがＰピクチャで、足し合わせにより動きベクトル情報を合成する際のフローチャートを示す。まず、ステップＳＴ−２１で、そのマクロブロックのＭＰＥＧ２の動きベクトル情報が参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち、マクロブロックモードがＮｏｔＣｏｄｅｄであり、尚、且つ重複する画素値が閾値Ｔ以上であるマクロブロックを検索する。閾値Ｔは例えば１００画素とする。ステップＳＴ−２１の判定でＹＥＳ、すなわち、重複するマクロブロックのうち一つでもＮｏｔＣｏｄｅｄのマクロブロックが含まれていれば、ステップＳＴ−２２に移行して、そのマクロブロックアドレスが最も若いＮｏｔＣｏｄｅｄのマクロブロックの動きベクトル情報を選択する。ここで、「ＮｏｔＣｏｄｅｄ」は、ＭＰＥＧ２において、ＤＣＴ係数ビットが発生しないことを意味するマクロブロックモードを言う。
【００６５】
ステップＳＴ−２１の判定でＮＯのときは、ステップＳＴ−２３に移行して、そのマクロブロックのＭＰＥＧ２の動きベクトル情報が参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち、マクロブロックモードがＮｏＭＣであり、尚、且つ重複する画素値が閾値Ｔ以上であるマクロブロックを検索する。ステップＳＴ−２３の判定で、ＹＥＳ、すなわち、重複するマクロブロックのうち一つでもＮｏＭＣのマクロブロックが含まれていれば、ステップＳＴ−２４に移行して、そのマクロブロックアドレスが最も若いＮｏＭＣのマクロブロックの動きベクトル情報を選択する。そのマクロブロックのＭＰＥＧ２の動きベクトル情報が参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち重複するマクロブロックにＮｏｔＣｏｄｅｄ及びＮｏＭＣが存在しない場合には、ステップＳＴ−２５に移行して、マクロブロックモードがイントラマクロブロックか否かを判定し、ＮＯであれば、ステップＳＴ−２８に移行し、ＹＥＳであれば、ステップＳＴ−２６に移行して、全てのマクロブロックモードがイントラマクロブロックか否かを判定し、ステップＳＴ−２６の判定で、ＮＯのときは、ステップＳＴ−２５に戻り、ＹＥＳであれば、０の動きベクトル情報を選択する。すなわち、上述のパラメータＸが最も大きいマクロブロックより順番にマクロブロックモードがイントラマクロブロックであるか否かを判定する（ステップＳＴ−２６）。もし、参照マクロブロックがイントラマクロブロックであれば、次にパラメータＸが大きいマクロブロックがイントラマクロブロックであるかを判定する（ステップＳＴ−２６）。そのマクロブロックが参照する画素に重複するマクロブロック全てがイントラマクロブロックであれば（ステップＳＴ−２５）、０の動きベクトル情報を選択する（ステップＳＴ−２７）。インターマクロブロックを検索した場合には、次の判定ルーチンに移る。ここで、「ＮｏＭＣ」は、ＭＰＥＧ２において、動きベクトルが（０，０）であることを意味するマクロブロックモードを言う。
【００６６】
ステップＳＴ−２５の判定で、ＮＯのとき、マクロブロックモードがイントラマクロブロックではなく、インターマクロブロックであるときは、ステップＳＴ−２８に移行して、予測モードが、第２フィールドを参照するフィールド予測であるか否かを判定する。ステップＳＴ−２８の判定でＹＥＳ、すなわち、第２フィールドを参照するフィールド予測であるときは、ステップＳＴ−２８に移行して、パラメータＸが次に大きい参照マクロブロックにおいて同様の判定を行う。ステップＳＴ−２９で、Ｎ（イントラマクロブロックの個数）個の参照マクロブロックが第２フィールドを参照するフィールド予測であるか否かの判定を行い、ＹＥＳのときは、ステップＳＴ−３０に移行して、最も大きなパラメータＸをもった参照マクロブロックの動きベクトル情報を選択する。Ｎは予め定めた数であり、１〜４の値を持つ。
【００６７】
ステップＳＴ−２８の判定でＮＯのとき、すなわち、第２フィールドを参照するフィールド予測でないマクロブロックを検索した場合には、ステップＳＴ−３１に移行して、そのマクロブロックの動きベクトル情報を選択する。
【００６８】
このようにしてそのマクロブロックの動きベクトル情報に足し合わせる動きベクトル情報を選択する。
【００６９】
図２３を参照して、第２フィールドを参照する動きベクトル情報の時間補正を説明する。足し合わせた動きベクトル情報のスケーリング方法は従来の技術で述べた動きベクトル情報の空間・時間補正を施すスケーリング方法と同様の方法で行う。よって、足し合わせた動きベクトル情報が参照フレームの第２フィールドを参照する場合は、動きベクトル情報の垂直成分に対し、フィールド補正を行い、更に時間方向のベクトル補整として１フィールド間隔分動きベクトルを伸張する。図に示すようにそのフィールドと参照する第２フィールドのフィールド間隔がａであり、よって１フィールド分の時間補整を施すのに動きベクトルに（ａ＋１）／ａをかける。このようにして８×８の動きベクトル情報を求めて、出力する。
【００７０】
再び図１８を参照するに、破棄されるフレームが１ピクチャの場合には、入力となるＭＰＥＧ２の動きベクトル情報は動きベクトル伸張  空間・時間補正装置２２に伝送され、Ｐピクチャの場合には、ＭＶ及びＭＢ情報バッファ１７及び動きベクトル伸張  空間・時間補正装置２２の双方に伝送される。
【００７１】
ＭＶ及びＭＢ情報バッファ１７においては、破棄するＰピクチャの動きベクトル情報及びマクロブロック予測モード、マクロブロック毎のビット量及び量子化スケールをフレーム単位で格納する。参照ＭＢアドレス算出装置１９においては、破棄するＰピクチャの、次のＰピクチャの動きベクトル情報を入力とし、そのそのマクロブロックの参照位置を計算する。動きベクトルの参照位置は足し合わせ動きベクトル判定装置１８に入力され、参照位置を元に、参照画素に重なる、破棄するＰピクチャに含まれるマクロブロックのアドレスを算出する。足し合わせ動きベクトル判定装置１８においては、この情報を利用し、上段に述べた足し合わせる動きベクトル情報を選択する手法に基づき処理を行い、動きベクトル情報を出力する。出力された動きベクトル情報はそのマクロブロックの動きベクトル情報と足し合わせ（合成）が行われ、合成された動きベクトル情報が生成される。次に合成された動きベクトル情報は動きベクトル空間・時間補正装置２０に入力され、上述の空間・時間の補整スケーリングにより変換を行い、動きベクトル情報を生成する。動きベクトル伸張  空間時間補正装置２２においては、上述の方法により、ＭＰＥＧ４の８×８の動きベクトル情報が伸張方式により求められ、このＭＰＥＧ４の８×８の動きベクトル情報は、ＭＶ再検索装置２３によって高精度化される。ＭＶ再検索装置２１及び２３より出力された動きベクトル情報は８×８ＭＶ選択装置２４に入力され、より予測残差の少ない動きベクトル情報を８×８の動きベクトル情報として出力する。８×８ＭＶ→１６×１６ＭＶ合成装置２５においては、上述の方法により、８×８ＭＶ選択装置２４の出力となる８×８の動きベクトル情報を基に、１６×１６の動きベクトル情報の合成を行い、１６×１６ＭＶ再検索装置２５においては、８×８ＭＶ→１６×１６ＭＶ合成装置２５において生成された１６×１６の動きベクトル情報を、周辺数画素サーチすることで高精度化する。これによりＭＰＥＧ４の８×８の動きベクトル情報及び１６×１６の動きベクトル情報を生成し、出力する。
【００７２】
【発明が解決しようとする課題】
ところで、図１８に示した動きベクトル変換装置においては、まず、ＭＰＥＧ４の８×８の動きベクトル情報を伸張と足し合わせの２通りの方法で合成し、これらの予測効率の高い方を選択し、これを用いてＭＰＥＧ４の１６×１６の動きベクトル情報を合成している。しかしながら、ＭＰＥＧ４の８×８の動きベクトル情報は伸張を用いて合成した方が、予測効率が高いが、ＭＰＥＧ４の１６×１６の動きベクトル情報は足し合わせを用いて合成した方が、予測効率が高いということが有り得るが、このような場合、図１８に示した動きベクトル変換装置においては予測効率の低下を招く。
【００７３】
かかる点に鑑み、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換方法における、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換方法において、予測効率が低下しないものを提案しようとするものである。
【００７４】
又、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換装置における、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換装置において、予測効率が低下しないものを提案しようとするものである。
【００７５】
【課題を解決するための手段】
第１の発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換方法における動きベクトル変換方法において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換方法であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１のステップと、
上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２のステップと、
Ｐピクチャが破棄される場合に、上記第１のステップで上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３のステップと、
Ｉピクチャが破棄される場合には、上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１のステップで上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第４のステップと、
Ｉピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３のステップで上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第５のステップと、
上記第４及び第５のステップで選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する第７のステップとを有する動きベクトル変換方法である。
【００７６】
第１の発明によれば、第１のステップとして、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う。
次に第２のステップとして、第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する。また、Ｐピクチャが破棄される場合には、第３のステップとして、上記第１のステップで上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する。
次に第４のステップとして、Ｉピクチャが破棄される場合には、上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１のステップで上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する。また、第５のステップとして、Ｉピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３のステップで上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する。
そして第６のステップとして、上記第４及び第５のステップで選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する。
【００７７】
第２の発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換装置における動きベクトル変換装置において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換装置であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１の合成手段と、
上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２の合成手段と、
Ｐピクチャが破棄される場合に、上記第１の合成手段で上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３の合成手段と、
Ｉピクチャが破棄される場合には、上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１の合成手段で上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第１の選択手段と、
Ｉピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３の合成手段で上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第２の選択手段とを有し、
上記第１及び第２の選択手段で選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する動きベクトル変換装置である。
【００８２】
第３の発明は、第１の発明の動きベクトル変換方法において、Ｐピクチャが破棄される場合には、ＧＯＶ内での最初のＰ−ＶＯＰ（Video Object Plane)、若しくはシーンチェンジの直後のＧＯＶに関しては、上記第１乃至第３のステップで上記伸張及び上記足し合わせの２通りの方法によりＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を合成し、上記第４及び第５のステップで予測効率の高い方を選択し出力すると同時に、上記伸張と上記足し合わせのどちらの方法が選択されたかに関する情報を、ＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれについて記憶手段に格納し、それ以降のＰ−ＶＯＰについては、上記第１乃至第３のステップでＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれを、上記記憶手段に格納された情報に基づいて合成し、上記第４及び第５のステップでは予測効率に基づく選択を行わない動きベクトル変換方法である。
【００８７】
第４の発明は、第２の発明の動きベクトル変換装置において、Ｐピクチャが破棄される場合には、ＧＯＶ内での最初のＰ−ＶＯＰ（Video Object Plane)、若しくはシーンチェンジの直後のＧＯＶに関しては、上記第１乃至第３の合成手段で上記伸張及び上記足し合わせの２通りの方法によりＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を合成し、上記第１及び第２の選択手段で予測効率の高い方を選択し出力すると同時に、上記伸張と上記足し合わせのどちらの方法が選択されたかに関する情報を、ＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれについて記憶手段に格納し、それ以降のＰ−ＶＯＰについては、上記第１乃至第３の合成手段でＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれを、上記記憶手段に格納された情報に基づいて合成し、上記第１及び第２の選択手段では予測効率に基づく選択を行わない動きベクトル変換装置である。
【００８８】
【発明の実施の形態】
以下、図２４を参照し、本発明の実施の形態の動きベクトル変換方法及び変換装置の例を説明する。
【００８９】
図２４に、その動きベクトル変換装置の例を示し、以下、これについて説明する。図２４において、２７はＭＶ及びＭＢ情報バッファ、２８は足し合わせ動きベクトル判定装置、２９は参照ＭＢアドレス算出装置、３０は動きベクトル空間・時間補正装置、３１は８×８ＭＶ再検索装置（足し合わせ）、３２は８×８ＭＶ→１６×１６ＭＶ合成装置（足し合わせ）、３３は１６×１６ＭＶ再検索装置（足し合わせ）、３４は１６×１６ＭＶ選択装置、３５は動きベクトル伸張空間・時間補正装置、３６は８×８ＭＶ再検索装置、３７は８×８ＭＶ→１６×１６ＭＶ合成装置（伸張）、３８は１６×１６ＭＶ再検索装置（伸張）、３９は８×８ＭＶ選択装置である。
【００９０】
図２４において、ＭＰＥＧ２の動きベクトル情報を入力とし、足し合わせ及び伸張の２通りの方法でＭＰＥＧ４の８×８の動きベクトル情報を生成する方法に関しては、図１８に示した動きベクトル変換装置におけるそれと同様である。足し合わせにより生成されたＭＰＥＧ４の８×８の動きベクトル情報は、８×８ＭＶ再検索装置（足し合わせ）３１によって、伸張により生成されたＭＰＥＧ４の８×８の動きベクトル情報は８×８ＭＶ再検索装置（伸張）３６によって、それぞれ周辺数画素を再検索することで、ＭＰＥＧ４の８×８の動きベクトル情報の高精度化を行う。高精度化されたＭＰＥＧ４の８×８の動きベクトル情報は、それぞれ８×８の動きベクトル選択装置３９に伝送される。
【００９１】
また、８×８ＭＶ再検索装置（足し合わせ）３１の出力となる、足し合わせにより合成され、高精度化されたＭＰＥＧ４の８×８の動きベクトル情報は、８×８ＭＶ→１６×１６ＭＶ合成装置（足し合わせ）３２に伝送され、ここでＭＰＥＧ４の１６×１６の動きベクトル情報が合成される。同時に、また、８×８ＭＶ再検索装置（伸張）３６の出力となる、伸張により合成され、高精度化されたＭＰＥＧ４の８×８の動きベクトル情報は、８×８ＭＶ→１６×１６ＭＶ合成装置（伸張）３７に伝送され、ここでＭＰＥＧ４の１６×１６の動きベクトル情報が合成される。合成されたＭＰＥＧ４の１６×１６の動きベクトル情報は、それぞれ１６×１６ＭＶ選択装置３４に伝送される。
【００９２】
１６×１６ＭＶ選択装置３４及び８×８の動きベクトル選択装置３９においては、それぞれ、足し合わせ及び伸張により合成されたＭＰＥＧ４の１６×１６の動きベクトル情報及びＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択し、合わせてＭＰＥＧ４の動きベクトル情報として出力する。
【００９３】
尚、足し合わせ及び伸張の２通りの方法で動きベクトルの合成を行うのは、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいて、破棄されるフレームのピクチャ・コーディング・タイプ（ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）がＰピクチャの場合に限る。Ｉピクチャの場合には、足し合わせにより合成することが不可能であるため、伸張により合成されたＭＰＥＧ４の動きベクトル情報のみを出力する。
【００９４】
また、ＧＯＶ（Group of VOP,VOP:Video Object Plane)の最初のＰ−ＶＯＰ、若しくはシーンチェンジ直後のＰ−ＶＯＰにおいてのみ、上述の適応的な方法によりＭＰＥＧ４の動きベクトル情報を合成するとともに、足し合わせ若しくは伸張のどちらの方法を用いてＭＰＥＧ４の８×８の動きベクトル情報並びにＭＰＥＧ４の１６×１６の動きベクトル情報の合成を行ったかに関する情報をメモリ（記憶手段）に格納し、以後のＰ−ＶＯＰにおいては、破棄されるフレームが、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてＩピクチャである場合を除き、メモリに格納された方法を用いてＭＰＥＧ４の８×８の動きベクトル情報並びにＭＰＥＧ４の１６×１６の動きベクトル情報の合成を行い、予測効率に基づく選択を行わないことで演算量の削減を実現することも可能である。
【００９５】
以上、入力としてＭＰＥＧ２の画像圧縮情報を示すビットストリームを、出力としてＭＰＥＧ４の画像圧縮情報を示すビットストリームを対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報を示すビットストリームでも良い。
【００９６】
【発明の効果】
第１の発明によれば、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換方法における動きベクトル変換方法において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換方法であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１のステップと、
上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２のステップと、
Ｐピクチャが破棄される場合に、上記第１のステップで上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３のステップと、
Ｉピクチャが破棄される場合には、上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１のステップで上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第４のステップと、
Ｉピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３のステップで上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第５のステップと、
上記第４及び第５のステップで選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する第６のステップとを有するようにしたので、予測効率が低下しない動きベクトル変換方法を得ることができる。
【００９７】
第２の発明によれば、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換装置における動きベクトル変換装置において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換装置であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１の合成手段と、
上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２の合成手段と、
Ｐピクチャが破棄される場合に、上記第１の合成手段で上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３の合成手段と、
Ｉピクチャが破棄される場合には、上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１の合成手段で上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第１の選択手段と、
Ｉピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３の合成手段で上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第２の選択手段とを有し、
上記第１及び第２の選択手段で選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力するので、予測効率が低下しない動きベクトル変換装置を得ることができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２の画像圧縮情報を示すビットストリームからＭＰＥＧ４の画像圧縮情報を示すビットストリームへの変換を実現する従来例の画像情報変換装置を示すブロック図である。
【図２】本発明者らの発明によるＭＰＥＧ２の画像圧縮情報を示すビットストリームからＭＰＥＧ４の画像圧縮情報を示すビットストリームへの変換を実現する画像情報変換装置を示すブロック図である。
【図３】ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル情報と、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトル情報の相関を説明する説明図である。
【図４】図２の解像度・フレームレート変換装置５における動作原理を示す説明図である。
【図５】図２の画枠サイズ調整フラグに応じた解像度・フレームレート変換装置５における画素の補填或いは除去の動作原理を示す説明図である。
【図６】図２の動きベクトル変換装置６における動きベクトル変換方法を説明する説明図である。
【図７】図２の動きベクトル変換装置６の詳細な回路構成を示すブロック図である。
【図８】図２のＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８の動作を説明するフローチャートである。
【図９】図７のＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４のベクトル変換の概念を説明する説明図である。
【図１０】図９におけるＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の半画素精度の動きベクトル情報の、ＭＰＥＧ４の８×８の動きベクトル情報への変換後の取り扱いを示す表図である。
【図１１】図９における、画像がフレーム構造で、第一フィールド予測であるときについての動きベクトル変換の概念を説明する説明図である。
【図１２】図９における、画像がフレーム構造で、第二フィールド予測であるときについて動きベクトル変換の概念を説明する説明図である。
【図１３】図９における、画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換の概念を説明する説明図である。
【図１４】図７における画像サイズ調整フラグによる動きベクトル調整器９の動作を説明するフローチャートである。
【図１５】図７において、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器１１の動作を説明するブロック図である。
【図１６】図７においての、画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換装置の詳細回路を示すブロック図である。
【図１７】ｎ＝１５；ｍ＝３のＧＯＰ構造を持つ３０ＨｚのＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ｎ＝５；ｍ＝１のＧＯＶ構造を持つ５ＨｚのＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換する際の、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるピクチャ・コーディング・タイプ（ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）と、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームにおけるブイオーピー・コーディング・タイプ（ｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）の対応を示す説明図である。
【図１８】入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも１フレームおきに破棄することでフレームレートの変換を実現する装置で、動きベクトル情報の合成を、伸張、或いは足し合わせにより適応的に行う画像情報変換装置の構成を示すブロック図である。
【図１９】図１８における、動きベクトル情報を伸張により合成する方法を示す説明図である。
【図２０】図１８における、動きベクトル情報を足し合わせにより合成する方法の説明図である。
【図２１】図１８における、動きベクトル情報を足し合わせにより合成する際、破棄されるフレームを参照する動きベクトル情報が、どのようにマクロブロックに跨るかを示す説明図である。
【図２２】図１８における、破棄するフレームがＰピクチャで、足し合わせによりを動きベクトル情報を合成することを説明するフローチャートである。
【図２３】図２０における、足し合わせた動きベクトル情報が参照フレームの第２フィールドを参照する場合の時間補正の方法を説明する説明図である。
【図２４】本発明の実施の形態の動きベクトル変換装置の例を示すブロック図である。
【符号の説明】
２７  ＭＶ及びＭＢ情報バッファ、２８  足し合わせ動きベクトル判定装置、２９  参照ＭＢアドレス算出装置、３０  動きベクトル空間・時間補正装置、３１  ８×８ＭＶ再検索装置（足し合わせ）、３２  ８×８ＭＶ→１６×１６ＭＶ再検索装置（足し合わせ）、３３  １６×１６ＭＶ再検索装置（足し合わせ）、３４  １６×１６ＭＶ選択装置、３５  動きベクトル伸張  空間・時間補正装置、３６  ８×８ＭＶ再検索装置、３７  ８×８ＭＶ→１６×１６ＭＶ合成装置（伸張）、３８  １６×１６ＭＶ再検索装置（伸張）、３９  ８×８ＭＶ選択装置。
【図１】
0004529295.tif 000002
【図２】
0004529295.tif 000003
【図３】
0004529295.tif 000004
【図４】
0004529295.tif 000005
【図５】
0004529295.tif 000006
【図６】
0004529295.tif 000007
【図７】
0004529295.tif 000008
【図８】
0004529295.tif 000009
【図９】
0004529295.tif 000010
【図１０】
0004529295.tif 000011
【図１１】
0004529295.tif 000012
【図１２】
0004529295.tif 000013
【図１３】
0004529295.tif 000014
【図１４】
0004529295.tif 000015
【図１５】
0004529295.tif 000016
【図１６】
0004529295.tif 000017
【図１７】
0004529295.tif 000018
【図１８】
0004529295.tif 000019
【図１９】
0004529295.tif 000020
【図２０】
0004529295.tif 000021
【図２１】
0004529295.tif 000022
【図２２】
0004529295.tif 000023
【図２３】
0004529295.tif 000024
【図２４】
0004529295.tif 000025