(57)【特許請求の範囲】
【請求項１】
映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトル、動き予測モードおよび符号化モードを選択して符号化を行う第１の映像符号化方式に従う第１の映像符号化データを入力して、第１の映像符号化データを復号し、この復号された映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトルおよび符号化モードを選択して符号化を行う第２の映像符号化方式に従う第２の映像符号化データへの変換を行う映像データ変換装置において、
前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードとに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルの候補を生成する動きベクトルマッピング部と、
前記第１の映像符号化方式に従う映像符号化データから得られる符号化モードの分布に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードを一意に推定できるか否かを判断するとともに、一意に推定できる場合には符号化モードを推定する符号化モード推定部と、
前記動きベクトルマッピング部によって生成される動きベクトルの候補と、前記符号化モード推定部から得られる符号化モードの候補、および前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像とに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび符号化モードを決定する符号化パラメータ判定部と、
前記符号化パラメータ判定部によって決定される動きベクトルおよび符号化モードに基づいて、前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像を前記第２の映像符号化方式に従って第２の映像符号化データへ符号化し、この符号化の過程で生成される復号画像をフレームメモリに記憶するエンコーダと
を備え、
前記動きベクトルマッピング部は、前記第２の映像符号化方式における複数の符号化モードに対応して所定部分領域内で一つの動きベクトルが割り当てられるベクトル割当領域の大きさごとに、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードに基づく前記ベクトル割当領域への動きベクトルのマッピング方法を切替えて生成対象となる動きベクトルの候補を生成し、
前記符号化パラメータ判定部は、前記符号化モード推定部が符号化モードを一意に推定できると判断した場合には、該符号化モード推定部が推定した符号化モードを、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードとして決定し、前記符号化モード推定部が符号化モードを一意に推定できないと判断した場合には、動きベクトルをゼロとして前記フレームメモリに記憶された復号画像から第１の予測画像候補を得る符号化モードを使用して、得られた第１の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第１の予測誤差量として求め、前記動きベクトルマッピング部で生成される動きベクトルの候補を前記フレームメモリに記憶された復号画像に適用して第２の予測画像候補を得る前記複数の符号化モードを使用して、得られた複数の第２の予測画像候補のそれぞれと前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量をそれぞれ第２の予測誤差量として求め、前記第１の映像符号化データを復号した復号画像の前記所定部分領域内のフレーム内信号の平均値で与えられる第３の予測画像候補を得る符号化モードを使用して、得られた第３の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第３の予測誤差量として求め、これら第１から第３の予測誤差量に重み付けを行い、重み付けられたそれぞれの予測誤差量と動きベクトルの符号量から求められる評価値に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび上記第１ないし第３の予測画像候補を得るために使用した符号化モードのうち、いずれかの符号化モードを決定する
ことを特徴とする映像データ変換装置。
【請求項２】
映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトル、動き予測モードおよび符号化モードを選択して符号化を行う第１の映像符号化方式に従う第１の映像符号化データを入力して、第１の映像符号化データを復号し、この復号された映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトルおよび符号化モードを選択して符号化を行う第２の映像符号化方式に従う第２の映像符号化データへの変換を行う映像データ変換方法であって、
前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードとに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルの候補を生成する動きベクトルマッピング工程と、
前記第１の映像符号化方式に従う映像符号化データから得られる符号化モードの分布に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードを一意に推定できるか否かを判断するとともに、一意に推定できる場合には符号化モードを推定する符号化モード推定工程と、
前記動きベクトルマッピング工程によって生成される動きベクトルの候補と、前記符号化モード推定工程から得られる符号化モードの候補、および前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像とに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび符号化モードを決定する符号化パラメータ判定工程と、
前記符号化パラメータ判定工程によって決定される動きベクトルおよび符号化モードに基づいて、前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像を前記第２の映像符号化方式に従って第２の映像符号化データへ符号化し、この符号化の過程で生成される復号画像をフレームメモリに記憶するエンコード工程と
を備え、
前記動きベクトルマッピング工程は、前記第２の映像符号化方式における複数の符号化モードに対応して所定部分領域内で一つの動きベクトルが割り当てられるベクトル割当領域の大きさごとに、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードに基づく前記ベクトル割当領域への動きベクトルのマッピング方法を切替えて生成対象となる動きベクトルの候補を生成し、
前記符号化パラメータ判定工程は、前記符号化モード推定工程が符号化モードを一意に推定できると判断した場合には、該符号化モード推定工程が推定した符号化モードを、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードとして決定し、前記符号化モード推定工程が符号化モードを一意に推定できないと判断した場合には、動きベクトルをゼロとして前記フレームメモリに記憶された復号画像から第１の予測画像候補を得る符号化モードを使用して、得られた第１の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第１の予測誤差量として求め、前記動きベクトルマッピング工程で生成される動きベクトルの候補を前記フレームメモリに記憶された復号画像に適用して第２の予測画像候補を得る前記複数の符号化モードを使用して、得られた複数の第２の予測画像候補のそれぞれと前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量をそれぞれ第２の予測誤差量として求め、前記第１の映像符号化データを復号した復号画像の前記所定部分領域内のフレーム内信号の平均値で与えられる第３の予測画像候補を得る符号化モードを使用して、得られた第３の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第３の予測誤差量として求め、これら第１から第３の予測誤差量に重み付けを行い、重み付けられたそれぞれの予測誤差量と動きベクトルの符号量から求められる評価値に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび上記第１ないし第３の予測画像候補を得るために使用した符号化モードのうち、いずれかの符号化モードを決定する
ことを特徴とする映像データ変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各種国際標準の映像圧縮・伸長方式に準拠したビデオ圧縮データの各種変換を行なう映像データ変換装置および映像データ変換方法の技術に関する。
【０００２】
【従来の技術】
現在、デジタル放送(衛星、地上波、ケーブル)、DVD、ビデオCD、インターネット、モバイルなど、放送・通信・パッケージにまたがる多様なアプリケーションにおいて、MPEGやITU-T H.26xなどの国際標準映像符号化方式が活用されている。これらの符号化方式で圧縮された映像コンテンツを、サポートする符号化方式、伝送ビットレート、空間解像度(フレームサイズ)、時間解像度(フレームレート)などの条件が異なるプラットフォームで再利用する要求が高まっており、これを背景として映像トランスコーディング技術の研究開発が盛んに行われている。
【０００３】
特に、MPEGやITU-T H.26xなどの標準映像符号化方式は、一貫して、動き補償予測(Motion Compensation、以下MC)による時間方向の信号冗長度削減、離散コサイン変換(Discrete Cosine Transform、以下DCT)による空間方向の信号冗長度削減を基本としているため、符号化データの構文(シンタックス)がある程度共通化されており、このことを利用したビットストリームレベルでの変換を考えることにより、上記標準映像符号化方式を対象として演算負荷を低減したトランスコーディング技術が主に検討されてきている。
【０００４】
中でも、NTSC解像度(704×480画素フレーム、30frames/sec)のMPEG-2ビデオを、SIF(35２×２40画素)の低フレームレートMPEG-4もしくはH.263ビデオへ変換する問題は、既存MPEG-2コンテンツの有効活用の観点から実用化要求が高く、ホットトピックとなっている(例えば、Wang Xing Guo, Zheng Wei Guo, and Ishfaq Ahmad, "MPEG-2 To MPEG-4 Transcoding", Workshop and Exhibition on MPEG-4
(WEMP) 2001.など)。
【０００５】
このような映像トランスコーディング技術においては、トランスコーダ入力のMPEG-2ビデオストリームに含まれる動きベクトルを、MPEG-4符号化に利用可能な動きベクトルへ変換する処理が重要となる。縦横1/2の解像度変換が行われるため、入力MPEG-2ストリームの４つのマクロブロック領域が、ちょうどMPEG-4符号化時の１マクロブロックの領域に対応する。この問題は、もとの最大４本の動きベクトルから、解像度変換後の動きベクトルを推定する問題であり、これまで多くの検討報告がなされている。例えば、B.Shen他、"Adaptive Motion-Vector Resampling for Compressed Video Downsampling", IEEE Transactions on Circuits And Systems for Video Technology, vol.9, no.6, Sep.1999では、入力圧縮データにおいて予測残差が大きい動きベクトルに大きな重みをかけて４つの動きベクトルの重み付け平均をとる手法を報告している。これはいわば、入力圧縮データ中の予測残差信号を判断基準として、そのアクティビティ値に基づいて変換すべき動きベクトルの値を決定する手法であり、M.R.Hashemi他、"Compressed Domain Motion Vector Resampling for Downscaling of MPEG Video", IEEE International Conference on Image Processing, Kobe, Japan, Oct.1999においてもその変形が報告されている。
【０００６】
【発明が解決しようとする課題】
しかし、これらの技術はいずれも、変換すべき動きベクトルが１本のケースに適用が限定されるほか、変換後の動きベクトルの符号化性能の意味での最適性を保証するものではない、という課題があった。
【０００７】
そこで、本発明は、従来技術に述べた第１映像符号化方式から第２の映像符号化方式へのトランスコーディングの際に、従来技術では十分に検討されなかった第２の映像符号化方式へのインパクトを考慮した動きベクトル再利用や符号化モード判定を行なうことのできる映像データ変換装置および映像データ変換方法を提供することを目的とする。
【０００８】
また、インタレース信号からプログレッシブ信号への変換に際して、フィールド単位の動きベクトルからプログレッシブフレーム単位の動きベクトルに変換するための工夫も併せて提供する。
【０００９】
なお、本発明は、MC+DCT映像符号化方式を対象とするトランスコーディング全般について適用可能である。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトル、動き予測モードおよび符号化モードを選択して符号化を行う第１の映像符号化方式に従う第１の映像符号化データを入力して、第１の映像符号化データを復号し、この復号された映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトルおよび符号化モードを選択して符号化を行う第２の映像符号化方式に従う第２の映像符号化データへの変換を行う映像データ変換装置において、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードとに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルの候補を生成する動きベクトルマッピング部と、前記第１の映像符号化方式に従う映像符号化データから得られる符号化モードの分布に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードを一意に推定できるか否かを判断するとともに、一意に推定できる場合には符号化モードを推定する符号化モード推定部と、前記動きベクトルマッピング部によって生成される動きベクトルの候補と、前記符号化モード推定部から得られる符号化モードの候補、および前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像とに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび符号化モードを決定する符号化パラメータ判定部と、前記符号化パラメータ判定部によって決定される動きベクトルおよび符号化モードに基づいて、前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像を前記第２の映像符号化方式に従って第２の映像符号化データへ符号化し、この符号化の過程で生成される復号画像をフレームメモリに記憶するエンコーダとを備え、前記動きベクトルマッピング部は、前記第２の映像符号化方式における複数の符号化モードに対応して所定部分領域内で一つの動きベクトルが割り当てられるベクトル割当領域の大きさごとに、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードに基づく前記ベクトル割当領域への動きベクトルのマッピング方法を切替えて生成対象となる動きベクトルの候補を生成し、前記符号化パラメータ判定部は、前記符号化モード推定部が符号化モードを一意に推定できると判断した場合には、該符号化モード推定部が推定した符号化モードを、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードとして決定し、前記符号化モード推定部が符号化モードを一意に推定できないと判断した場合には、動きベクトルをゼロとして前記フレームメモリに記憶された復号画像から第１の予測画像候補を得る符号化モードを使用して、得られた第１の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第１の予測誤差量として求め、前記動きベクトルマッピング部で生成される動きベクトルの候補を前記フレームメモリに記憶された復号画像に適用して第２の予測画像候補を得る前記複数の符号化モードを使用して、得られた複数の第２の予測画像候補のそれぞれと前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量をそれぞれ第２の予測誤差量として求め、前記第１の映像符号化データを復号した復号画像の前記所定部分領域内のフレーム内信号の平均値で与えられる第３の予測画像候補を得る符号化モードを使用して、得られた第３の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第３の予測誤差量として求め、これら第１から第３の予測誤差量に重み付けを行い、重み付けられたそれぞれの予測誤差量と動きベクトルの符号量から求められる評価値に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび上記第１ないし第３の予測画像候補を得るために使用した符号化モードのうち、いずれかの符号化モードを決定することを特徴とする。
【００１８】
【発明の実施の形態】
実施の形態１．
本実施の形態１では、MPEG-2ビデオデータを入力とし、空間解像度が縦横1/2にダウンサンプリングされたMPEG-4ビデオデータを出力する映像トランスコーダについて説明する。以下の説明では、MPEG-4はMPEG-4シンプルプロファイルに準拠する符号化方式とする。
【００１９】
図１に、本実施の形態１におけるトランスコーダの内部構成を示す。本トランスコーダは、MPEG-2デコーダ部２、MPEG-4エンコーダ部１０が、空間解像度変換部としての解像度変換部６、動きベクトルマッピング部７、符号化モード推定部８を介してカスケード接続された構成であらわされる。
【００２０】
MPEG-2デコーダ部２において一旦復号画像を生成し、解像度変換部６において画素領域で縦横1/2のサイズへ解像度変換を行った後、MPEG-4エンコーダ部１０で符号化を行う。この際、MPEG-4エンコーダ部１０の動きベクトル検出処理を省略するため、動きベクトルマッピング部７において、MPEG-2ビデオストリームから取り出した動きベクトルを、MPEG-4符号化に利用可能な動きベクトルへ変換する。さらに、符号化モード推定部８において、MPEG-2ビデオストリームから取り出した符号化モード情報から、MPEG-4符号化で利用すべき符号化モード情報に関する方針を決定する。
【００２１】
以下、図１に基づいて本トランスコーダの動作を詳しく説明する。
▲１▼．入力MPEG-2ビデオストリームの復号処理
まず、MPEG-2準拠の符号化方式で圧縮された入力圧縮データ１がMPEG-2デコーダ部２に入力される。MPEG-2デコーダ部２では、可変長復号部２AにおいてMPEG-2規格に従い入力圧縮データ１のシンタックス解析が行われ、符号化モード情報３、および動きベクトル情報４、予測残差信号符号化データ２Bが生成される。予測残差信号符号化データ２Bは、逆量子化部２C、逆DCT部２Dを経て、予測残差信号復号値２Eに復号される。
【００２２】
動きベクトル情報４は、動きベクトル値そのものだけでなく、フレーム予測かフィールド予測かを示すフラグなど、MCに関わるすべての情報を含むものとする。これは動き補償部２Fへ入力され、フレームメモリ２G中に格納される参照画像データ２Hと動きベクトルとに従い、予測画像２Iが生成される。予測残差信号復号値２Eと予測画像２Iが加算されて、復号画像５が生成される。復号画像５は、MPEG-2デコーダ部２の出力として、解像度変換部６へ出力されるとともに、以後のフレームの動き補償に参照画像として用いるため、フレームメモリ２Gに格納される。
【００２３】
▲２▼．解像度変換処理
MPEG-2復号画像５は、空間解像度変換部としての解像度変換部６において、所定のダウンサンプルフィルタに基づいた画素間引きにより、例えば縦横1/2の空間解像度へ縮小される。この結果がMPEG-4エンコーダ部１０への入力画像９となる。なお、本実施の形態１では、時間方向の解像度変換は、例えば、S.J.Wee他, "Field-to-frame Transcoding with Spatial And Temporal Downsampling", IEEE International Conference on Image Processing, Kobe, Japan, Oct.1999で開示されるように、MPEG-2ストリーム中にBフレーム(両方向予測フレーム)が存在する場合に、Bフレームを間引くことでフレームレートを削減する処理のみを許容する。これは、Bフレームは、I(イントラ)またはP(片方向予測)フレームとは異なり、それ自身を別のフレームの予測に使用されないため、これを間引くことによって他のフレームの品質に影響が及ぶことがないからである。例えば、I(イントラ)またはP(片方向予測)フレームの間にBフレームを２フレーム挿入する符号化パターンがよく用いられているが、この場合、Bフレームをすべて間引くことによって、フレームレートを1/3に低減することが可能である。また、本実施の形態１では、MPEG-2のI(イントラ)フレームはMPEG-4でもI(イントラ)フレームのままとし、同じくMPEG-2のP(片方向予測)フレームはMPEG-4でもP(片方向予測)フレームとして変換を行うものとする。
【００２４】
▲３▼．動きベクトルマッピングおよび符号化モード選択処理
以下、本発明のポイントである、動きベクトルマッピング処理ならびに符号化モード選択処理について説明する。なお、本プロセスは、図１における動きベクトルマッピング部７、符号化モード推定部８、およびMPEG-4エンコーダ部１０の構成要素である符号化パラメータ判定部１０Bとの連携によって実行される。
【００２５】
図２に、本プロセスに関する動作フローチャートを示す。
MPEG-2復号画像５と、MPEG-4エンコーダ部入力信号９とは、空間解像度が縦横1/2であるので、以下説明する処理手順は、MPEG-2の２×２個のマクロブロック、すなわちMPEG-4の１マクロブロックを単位として実行されるものとする。
【００２６】
図３に、この様子を示す。
MPEG-4では、マクロブロックに対して１本もしくは４本の動きベクトルを割り当てられるため、動きベクトルのマッピングの方法としては、図３(A)のように、４本のMPEG-2動きベクトルから１本のMPEG-4動きベクトルへの変換する場合と、図３(B)のように、４本のMPEG-2動きベクトルから４本のMPEG-4動きベクトルへの変換の２通りがある。
【００２７】
1) 事前の強制符号化モード判定(ステップS0)
まず、符号化モード推定部８において、図３に示すMPEG-2の２×２マクロブロック内の符号化モード分布の様子を調べる。４つのマクロブロックすべてがINTRAモードである場合、および４つのマクロブロックすべてがSKIPモードである場合は、それぞれMPEG-4符号化で用いるべき変換後の符号化モードは強制的にINTRA、SKIPとする。この場合には、動きベクトルはすべてゼロとし、以降のステップをスキップする。
【００２８】
なお、INTRAモードとは、動き予測を用いずフレーム内で符号化するモード、SKIPモードとは、参照画像中の同一位置の画像データをそのままコピーするモードで、符号化情報を伝送しないモードのことである。
【００２９】
この結果、４つのマクロブロックのいずれかに動き予測モードを含んでいるケースについてのみ、INTERモード、すなわち動きベクトルを用いて動き予測を行うモードを採用することで符号化効率がよくなる可能性が含まれるケースとみなされる。ただし、この場合、以下の手順2)以降のプロセスに従い、とりうるMPEG-4符号化モードのうち符号化効率の意味で最適なモードを再度決定する。
【００３０】
したがって、符号化モード推定部８の出力１２には、強制的にINTRA、強制的にSKIP、もしくはINTERモードの可能性がある、という3ケースの選択肢が出力される。
【００３１】
2) 動きベクトル候補の選定
上記1)においてINTERモードの利用価値があると判断された場合は、MPEG-2デコーダ部２内の可変長復号部２Aから出力される２×２マクロブロック分のMPEG-2の動きベクトルから、MPEG-4エンコーダ部１０にて用いる動きベクトルの候補を定める。本プロセスは、動きベクトルマッピング部７において実施される。MPEG-2はインタレース信号の圧縮符号化をサポートし、フレームを符号化単位とするフレーム構造符号化、フィールドを符号化単位とするフィールド構造符号化の2つの符号化モードのいずれかを選択できる。フレーム構造符号化では、１６×１６画素からなるマクロブロックをフレーム画像領域で構成し、フィールド構造符号化ではフィールド画像領域でマクロブロックを構成する。フレームは、トップフィールド(上部ラインを構成するフィールド)と、ボトムフィールド(下部ラインを構成するフィールド)をくし状に組合せた画像データとして定義されるため、フィールド構造符号化におけるマクロブロックは、フレーム画像領域におけるマクロブロックに対して、垂直方向をカバーする領域が2倍になる。
【００３２】
図４は、MPEG-2のPフレームにおける動き予測モードと対応する動きベクトルの様子を示したものである。図４(A)はフレーム構造符号化時に利用可能な動き予測モードで、同図(B)はフィールド構造符号化時に利用可能な動き予測モードである。図４(A)において、フレーム予測は、フレーム画像からなるマクロブロックを1本の動きベクトルvfrで予測する。フィールド予測は、フレーム画像からなるマクロブロックの個々のフィールド領域に対して、個別の動きベクトルvtfおよびvbfで予測を行う。このとき、参照するフィールドがトップフィールドかボトムフィールドかを選択することが可能である。デュアルプライム予測は、1本のフィールドベクトルvで同一フィールド位置から第1の予測画像を生成する(トップフィールドの予測はトップフィールドを参照、ボトムフィールドの予測はボトムフィールドを参照)とともに、別フィールド位置からはベクトルvをフィールド間距離に基づいてスケーリングした結果に微小ベクトルdmvを加算した動きベクトルで第2の予測画像を生成して、第1および第2の予測画像の加算平均を個々のフィールドの予測画像として用いるものである。
【００３３】
図４（B）において、フィールド予測は、フィールド画像からなるマクロブロックを1本の動きベクトルvfiで予測する。１６×８予測は、フィールド画像からなるマクロブロックを上下１６×８の２つの領域に分割し、それぞれを個別の動きベクトルvfi,upperおよびvfi,lowerで予測する。デュアルプライム予測は、フレーム構造符号化の場合のルールをフィールドに適用した予測を行う。
【００３４】
動きベクトルマッピング部７では、以上のMPEG-2動き予測モードに対応して、MPEG-4符号化のための動きベクトルを生成する。本実施の形態１では、MPEG-4符号化に利用する動きベクトルは、以下の手順で選定する。
【００３５】
2-1) INTER4Vモード用動きベクトル候補の選定(ステップS1)
MPEG-2のマクロブロックの単位に定義される動きベクトルを、その予測の性質に応じて解像度変換後の動きベクトルのスケールにダウンスケールし、MPEG-2の２×２マクロブロックの領域に対応する４本の動きベクトルを一意に定め、それら動きベクトルを、MPEG-4のINTER4Vモードのための動きベクトル候補とする。INTER4Vモードとは、フレーム画像領域で定義される１６×１６画素からなるマクロブロック領域を４つの８×８画素ブロックに分割し、それぞれ個別の動きベクトルで予測するモードのことである。図３(B)のケースに該当する。本ステップについては、以下のルールに基づいてINTER4Vモードのための動きベクトル候補を選定する。
【００３６】
○フレーム構造符号化の場合
[フレーム予測の場合]
動きベクトルvfrを水平垂直各1/2した動きベクトルを候補とする。
【００３７】
[フィールド予測の場合]
トップフィールドの動きベクトルvtfを、水平方向1/2した動きベクトルを候補とする。
【００３８】
[デュアルプライム予測の場合]
トップフィールドのための動きベクトルvおよびαv+dmvの平均値を、水平方向1/2した動きベクトルを候補とする。
【００３９】
○フィールド構造符号化の場合
以下、トップフィールドの予測に用いるベクトルについてのみ抽出を行う。
[フィールド予測の場合]
動きベクトルvfiを水平方向に1/2、垂直方向に1/4した動きベクトルを候補とする。
【００４０】
[１６×８予測の場合]
動きベクトルvfi,upperとvfi,lowerを平均し、水平垂直各1/2した動きベクトルを候補とする。
【００４１】
[デュアルプライム予測の場合]
動きベクトルvおよびαv+dmvの平均値を、水平方向に1/2、垂直方向に1/4した動きベクトルを候補とする。
【００４２】
2-2) INTERモード対応動きベクトル候補の選定(ステップS2)
上記定められた４本の動きベクトルから、MPEG-4のINTERモードのための動きベクトルを定める。INTERモードとは、フレーム画像領域で定義される１６×１６画素からなるマクロブロック領域を１本の動きベクトルで予測するモードのことである。図３の(A)のケースに該当する。これは、例えば、B.Shen他、"Adaptive Motion-Vector Resampling for Compressed Video Downsampling", IEEE Transactions on Circuits And Systems for Video Technology, vol.9, no.6, Sep.1999に開示される方法で決定することが考えられる。
【００４３】
以上2-1), 2-2)で選定されるINTER用、INTER4V用動きベクトル候補は、動きベクトルマッピング情報１１として、MPEG-4エンコーダ部１０へ入力される。
【００４４】
3) 符号化モード判定
上記2)により、MPEG-4のINTERおよびINTER4Vで利用すべき動きベクトルの候補が選定されたため、残る符号化モードの可能性としてINTRA、SKIPのうち、最も符号化効率のよいモードを選択する。この結果として、最終的な符号化モードと動きベクトルが決定される。この処理は、符号化パラメータ判定部１０Bで実行される。
【００４５】
このモード判定処理に、判定基準として、下式に示すレート歪コストJmを用いる。
【００４６】
【数１】
0004193406.tif 000002
【００４７】
同式において、mは符号化モード種別、vmはモードmの場合の動きベクトル、Mはモード種別の集合(M=(INTRA,SKIP,INTER,INTER4V))、αmはモードmに応じて定まる定数、Emはモードm使用時の予測誤差評価値、Rvmは動きベクトルがvmの場合の動きベクトル符号量、λは正の定数、m*, vm*は本評価の結果選定される符号化モードと動きベクトルである。なお、この3)の符号化モード判定の際、予測誤差評価値と、動きベクトル符号量とのどちらか一方のみに基づくようにしても良い。
【００４８】
Emとしては、SKIP,INTER,INTER4Vモードに関しては、例えば、入力信号９と、動きベクトルvmを用いて動き補償部１０Aから得られる予測画像候補との間の差分絶対値和などで定義することができる。なお、SKIPの場合の動きベクトルvmはゼロであり、Rvmもゼロであるとする。同じ評価式でINTRAモードも評価を行うために、INTRAモードのEmとしては、入力信号９におけるマクロブロック内の輝度信号平均値を予測画像候補とみなし、それを入力信号９から差し引いた差分の絶対値和を用いることができる。なお、Emは輝度信号のみでなく、色差成分(Cb、Cr成分)を加味して定義するように構成してもよい。
【００４９】
MPEG-2およびMPEG-4の符号化対象映像の色成分サンプル比は多くの場合Y:Cb:Cr=4:2:0(輝度成分１６×１６画素領域に対して、８×８画素領域のCb、Cr成分が対応するケース)を用いることが多いので、例えば、Cb、Crのそれぞれの８×８領域の平均値(DC成分)を上記INTRAモードの輝度成分のケースと同様、予測画像候補とみなし、入力信号９のCb、Cr各成分から該平均値を差し引いた差分絶対値和を加味するように構成できる。これによって、輝度パターンの類似度だけでなく、色の類似度も考慮した動きベクトルを評価することが可能となり、視覚的に目立ちやすい色ずれによる劣化を抑制することができる。
【００５０】
また、INTRAモードでは動きベクトルの符号量Rvmがゼロである一方、符号化すべきDCT係数が多くなるため、重みαmによってあらかじめEmに対する評価の重みを変更しておく。これによって、擬似的にINTRAモードのDCT係数符号量の加算分を考慮したモード判定を行うことが可能となる。
【００５１】
尚、Emに対する評価の重み付けは重みαmの乗算でなく、オフセット値Omの加算で実現してもよい。また、λの値としては、例えば、Gary J. Sullivan and Thomas Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90, Nov. 1998.に開示される以下の値を用いることができる。ただし、Qpは、符号化対象マクロブロックの量子化ステップパラメータである。
【００５２】
【数２】
0004193406.tif 000003
【００５３】
図２のフローでは、便宜上、mをカウンタとして定義し、mのループ処理の形式で上記プロセスを記述している。符号化モード推定部８の出力１２から、INTERモードの評価価値があると判断される場合に、mおよびコスト評価値min_Jを初期化して(ステップS3)処理を開始する。
【００５４】
m =3(INTRA)か否かの判定(ステップS4)を経て、INTRAである場合は、当該マクロブロック内の輝度値の平均値を算出する(ステップS5)。さもなくば、動きベクトルマッピング情報１１から定まる動きベクトルvmを用いて動き補償部１０Bを利用して予測画像候補を得る(ステップS6)。ステップS5またはステップS6の結果は、入力信号９であらわされる符号化対象マクロブロックの輝度信号との間で差分絶対値和が計算され、それを上記EmとしてコストJmを算出する(ステップS7)。ステップS8、S9において、コスト最小となるモードmへの候補更新が行なわれ、ステップS10でmをインクリメントし、ステップS11でループが終了するまで上記処理を継続する。
【００５５】
以上の手順により、ステップS0でINTERモードの利用価値があると判断されるケースでは、MPEG-4符号化においてとりうるすべての符号化モードを対象として最適なモード選択ならびにそれに付随する動きベクトルを選定することが可能となる。従来技術では、上記1)に記載したような動きベクトル候補の選定は開示しているが、その結果得られる動きベクトル自身の符号量コスト、MPEG-4符号化へのインパクトまでは評価されない。特に低レートのMPEG-4符号化を行うような場合には、動きベクトルの符号量の大きさを無視しにくくなるが、上記判定規範を用いることで、INTER、INTER4Vの動きベクトル候補のうち符号量と予測精度の最適なトレードオフを与えるものを選択することができる。また、INTRA、SKIPも同様の評価尺度で判定を行うようにすることで、同一の判定規範でMPEG-4符号化に用いるべき動きベクトルと符号化モードを一括して決定することができる。
【００５６】
▲４▼．MPEG-4符号化処理
以上の結果、MPEG-4エンコーダ１０には、入力圧縮データ１から抽出された動きベクトル情報、符号化モード情報を再利用する形で、動きベクトルマッピング情報１１、符号化モード強制設定情報１２が入力され、解像度変換後のMPEG-2復号画像９の符号化に用いられる。これらの情報は上記▲３▼で述べた手順に基づいて、符号化パラメータ判定部１０Bにおける、MPEG-4の各マクロブロック単位に符号化に用いる符号化モードおよび動きベクトルの決定に利用される。
【００５７】
その結果、INTER、INTER4Vのいずれかのモードの場合は動き補償部１０Aで予測画像１０Cが生成され、入力信号９との差分をとって予測残差信号が生成され、それがDCT部１０D、量子化部１０Eを経て可変長符号化部１０JによってMPEG-4
ビデオストリームの形式に配列される。
【００５８】
INTRAモードの場合は、入力信号９そのものがDCT、量子化されたのち可変長符号化される。SKIPモードの場合は、当該マクロブロックがSKIPであることを示すフラグ(not_coded)のみをビットストリームに多重することで符号化を完了する。
【００５９】
量子化後の予測残差信号は、逆量子化部１０F、逆DCT部１０Gを経て予測残差信号復号値１０Hに戻され、予測画像１０Cと加算されたのち、以降のフレームのMCに用いるためにフレームメモリ１０Mに格納される。なお、可変長符号化部１０Jは、その内部にAC、DC成分の予測処理、DCT係数のランレングス符号化のためのスキャニング処理を含む。
【００６０】
また、可変長符号化部１０Jの出力は、バッファリングされた後、伝送もしくは記録されることから、一般にバッファ占有量１０Kに基づいた符号化制御を、符号化制御部１０Lが実施する。ここでは、主としてフレームた、マクロブロックをラスタスキャン順に複数個グルーピングした単位で、フレーム内での周辺画像領域との依存関係を断ち切ることで誤りからの早期復帰に用いられるビデオパケット、マクロブロックなどの単位で、量子化ステップパラメータ(Qp)１０Nを決定する処理を行う。決定された量子化ステップパラメータ１０Nは、量子化部１０E、逆量子化部１０Fへ入力されるとともに、上記λ算出のため符号化パラメータ判定部１０Bにも入力される。
【００６１】
以上のべたように、本実施の形態１によれば、MPEG-2映像データからMPEG-4映像データへの変換動作を行うトランスコーダにより、MPEG-2データ中の動きベクトルや符号化モードの情報を再利用しながらMPEG-4符号化における最適な符号化モードならびに動きベクトルの決定を行うので、その結果、少ない演算量でトランスコード映像の品質を向上させることが可能である。
【００６２】
特に、本実施の形態１では、演算負荷の大きい動きベクトル検出処理を簡略化したので、従来の単純動きベクトル再利用手法に比べてMPEG-2からMPEG-4への映像トランスコーティング品質を向上させることができる。
【００６３】
なお、詳しくは述べなかったが、本構成によれば、符号化制御部１０Lにおける量子化ステップパラメータ(Qp)１０Nの決定プロセス、もしくはフレームやビデオパケット、マクロブロック等の設定単位と、上記▲３▼に述べたMPEG-2の動きベクトル・符号化モード情報再利用の方針とを密に連携させることで、さらに符号化効率の改善を行うことができる。
【００６４】
また、上記では、MPEG-4シンプルプロファイルを前提として記載したが、本構成のトランスコーダは、MPEG-4アドバンスドシンプルプロファイルや、ITU-T H.263においてAnnex Fに記載される動き予測オプションをサポートするケースなど、MPEG-4シンプルプロファイルに準ずるあらゆる多モード符号化方式に適用可能である。
【００６５】
実施の形態．２
本実施の形態２では、解像度変換部６が、空間解像度変換部としてだけでなく、さらに時間解像度変換部として機能して、動き予測の影響が伝播するPフレームを間引くことによる時間解像度すなわちフレームレートの変換を行う実施の形態について説明する。なお、解像度変換部６は、空間解像度変換部および時間解像度変換部として機能しても良いし、空間解像度変換部としては機能せず時間解像度変換部としてのみ機能するようにしても勿論よい。
【００６６】
図５に、本実施の形態２のトランスコーダの内部構成を示す。なお、本実施の形態２のトランスコーダの構成は、図１に示す実施の形態１のトランスコーダの内部構成と同じであり、解像度変換部６および動きベクトルマッピング部７の動作が、実施の形態１と異なるため、実施の形態１と異なる動作については詳細に説明する。
【００６７】
次に動作を説明する。
▲１▼．入力MPEG-2ビデオストリームの復号処理
実施の形態１と同じ動作である。
【００６８】
▲２▼．解像度変換処理
MPEG-2復号画像５は、解像度変換部６において、所定のダウンサンプルフィルタに基づいた画素間引きにより、縦横1/2の空間解像度へ縮小される。さらに、MPEG-4エンコーダ部１０から通知される符号化フレーム指示情報１３に基づいて、MPEG-4エンコーダ部１０への入力信号９の入力フレームレートを制御する。本実施の形態２では、実施の形態１に述べたBフレームの間引き処理だけでなく、符号化フレーム指示情報１３の指示次第でPフレームの間引きも行う構成とする。符号化フレーム指示情報１３は、MPEG-4エンコーダ部１０が固定フレームレートで符号化を行う場合には、その符号化フレームレート値を示し、MPEG-4エンコーダ部１０が可変フレームレートで符号化を行う場合には、符号化対象となるフレームの表示時刻情報、あるいは直前のMPEG-4符号化フレームからのフレーム数オフセット情報などを示す。
【００６９】
▲３▼．動きベクトルマッピングおよび符号化モード選択処理
以下、本実施の形態２のポイントである、動きベクトルマッピング処理ならびに符号化モード選択処理について説明する。本プロセスは、図５における動きベクトルマッピング部７、符号化モード推定部８、およびMPEG-4エンコーダ部１０の構成要素である符号化パラメータ判定部１０Bとの連携によって実行される。
【００７０】
図６に、本プロセスに関する動作フローチャートを示す。
MPEG-2復号画像５とMPEG-4エンコーダ部入力信号９とは、空間解像度が縦横1/2であるので、以下説明する処理手順は、MPEG-2の２×２個のマクロブロック、すなわち、MPEG-4の１マクロブロックを単位として実行されるものとする(図３参照のこと)。
【００７１】
1) 事前の強制符号化モード判定
まず、符号化モード推定部８において、図３に示すMPEG-2の２×２マクロブロック内の符号化モード分布の様子を調べる。
【００７２】
図７に、図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける符号化モード推定部８のMPEG-2符号化モードの監視動作を示す。
図７に示すように、本実施の形態２では、符号化フレーム指示情報１３に基づき、直前にMPEG-4符号化の対象となったフレーム以降、現在符号化対象となるフレームに至るまでのフレーム間引きの間、MPEG-2符号化モードの監視を行う(ステップS12、S13)。MPEG-2の４つのマクロブロックすべてがINTRAモードになる場合が1回でもあれば、MPEG-4符号化で用いるべき変換後の符号化モードは強制的にINTRAモードとする。
【００７３】
一方、４つのマクロブロックすべてがSKIPモードになる場合については、直前にMPEG-4符号化の対象となったフレーム以降、現在符号化対象となるフレームに至るまでフレーム間引きの間、常にSKIPが継続する場合についてはMPEG-4符号化で用いるべき符号化モードは強制的にSKIPとし、一回でもSKIPでないケースがある場合はINTERモードの可能性を検討するものとする。ただし、フレーム間引きを行っている間のMPEG-2符号化モードの監視はPフレームについてのみ行うものとし、IフレームはそのままIフレームとして間引きを行わずにMPEG-4符号化を行い、MPEG-2符号化モードの監視をリセットする(ステップS14、S15)。強制的にINTRAまたはSKIPとなる場合については、動きベクトルはすべてゼロとし、以降のステップをスキップする。
【００７４】
したがって、符号化モード推定部８の出力１２には、強制的にINTRA、強制的にSKIP、もしくはINTERモードの可能性がある、という3ケースの選択肢が出力される(ステップS0)。
【００７５】
この結果、INTERモードの可能性を検討すると判断されたケースについてのみ、以下の手順2)以降のプロセスに従い、とりうるMPEG-4符号化モードのうち符号化効率の意味で最適なモードを再度決定する。
【００７６】
2) 動きベクトル候補の選定
上記1)においてINTERモードの利用価値があると判断された場合は、図８に示すように、符号化フレーム指示情報１３に基づき、直前にMPEG-4符号化の対象となったフレーム以降、現在符号化対象となるフレームに至るまでのフレーム間引きの間、MPEG-2動きベクトルの監視を行う(ステップS12、S13)。監視の結果得られるMPEG-2動きベクトルから、MPEG-4エンコーダ部１０にて用いる動きベクトルの候補を定める。本プロセスは、動きベクトルマッピング部７において実施される。上記1)の結果から、本プロセスでは、原則、フレーム間引きが行なわれる間のMPEG-2の符号化モードとしてSKIPモードもしくはINTERモードが発生するケースを考慮することになる。そこで、以下のルールを適用する。
【００７７】
ルール1：符号化対象マクロブロックの動きベクトル候補は、フレームレート変換の結果間引かれるフレームの同一空間位置に存在するマクロブロックの動きベクトルを下式による累積することで求める。
【００７８】
【数３】
0004193406.tif 000004
【００７９】
ここで、vMPEG4は、MPEG-4符号化対象マクロブロックの動きベクトル候補、kはフレームレート変換の結果間引かれるフレームのカウンタ、S(*)は解像度にあわせた動きベクトルのスケーリング、vkMPEG2はMPEG-4符号化対象マクロブロック領域に対応するMPEG-2の動きベクトルを表す。ただし、vMPEG4にはINTER、INTER4Vの2種類があり、実施の形態１の2-2)に述べたように、まずINTER4Vの動きベクトル候補を求めたのち、INTER動きベクトル候補を定める。(ステップS1、S2)
【００８０】
ルール２： S(vkMPEG2)は、インタレース符号化に伴うフレーム・フィールドベクトルの違いを考慮して、実施の形態１における2-1)のルールに従うスケーリング処理を行う。
【００８１】
ルール３： フレームカウンタkのいずれかの時点で、SKIPモードが発生する場合は、累積すべき動きベクトルvkMPEG2はゼロとする。
【００８２】
ルール４： IフレームではMPEG-2動きベクトルの監視ならびに上記動きベクトル累積をリセットする(ステップS14、S15)。
【００８３】
3) 符号化モード判定
上記2)により、MPEG-4のINTERおよびINTER4Vで利用すべき動きベクトルの候補が選定されたため、残る符号化モードの可能性としてINTRA、SKIPのうち、最も符号化効率のよいモードを選択する(ステップS3〜S11)。この結果として、最終的な符号化モードと動きベクトルが決定される。この処理は、符号化パラメータ判定部１０Bで実行される。以下、符号化パラメータ判定部１０Bにおける処理は実施の形態１の3)に準ずる。ただし、動き予測に用いる参照画像は、現在符号化対象となるフレームの直前にMPEG-4符号化されたフレームの局所復号画像を用いることになる。
【００８４】
以上の手順により、本実施の形態２によれば、Pフレームの間引きを伴う時間解像度すなわちフレームレート変換を実行するトランスコーディングに際しても、MPEG-4符号化においてとりうるすべての符号化モードを対象として最適なモード選択ならびにそれに付随する動きベクトルを選定することが可能となる。
【００８５】
特に、本実施の形態２では、Pフレームの間引きを行うトランスコーダにおいても、演算負荷の大きい動きベクトル検出処理を簡略化したので、従来の単純動きベクトル再利用手法に比べてMPEG-2からMPEG-4への映像トランスコーティング品質を向上させることができる。
【００８６】
なお、上記では、MPEG-4シンプルプロファイルを前提として記載したが、本構成のトランスコーダは、MPEG-4アドバンスドシンプルプロファイルや、ITU-T H.263においてAnnex Fに記載される動き予測オプションをサポートするケースなど、MPEG-4シンプルプロファイルに準ずるあらゆる多モード符号化方式に適用可能で、本発明は、MC+DCT映像符号化方式を対象とするトランスコーディング全般について適用可能である。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、第1の映像符号化方式における所定部分領域単位の符号化パラメータである動きベクトルから、第2の映像符号化方式における所定の部分領域の単位で用いる動きベクトルの候補を生成し、生成した第2の映像符号化方式における動きベクトルの候補のうち、該動きベクトル候補を用いた場合の予測効率を評価する予測誤差評価値と、該動きベクトル候補を用いることによる動きベクトル符号量を評価する値と等に基づいて、第2の映像符号化方式において使用する動きベクトル等を決定するようにしたので、第2の映像符号化方式における符号化性能のインパクトを考慮した動きベクトル等を変換することが可能となる。
【図面の簡単な説明】
【図１】  実施の形態1におけるMPEG-2/MPEG-4ビデオトランスコーディングシステムの内部構成を示す図面である。
【図２】  図１に示す実施の形態1のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける動きベクトルマッピングおよび符号化モード判定処理の動作フローを示す図面である。
【図３】  図１に示す実施の形態1のMPEG-2/MPEG-4ビデオトランスコーディングにおける、解像度変換を伴うトランスコーディング単位を示す図面である。
【図４】  MPEG-2ビデオ符号化における動き予測モードの種別を説明する図面である。
【図５】  実施の形態２におけるMPEG-2/MPEG-4ビデオトランスコーディングシステムの内部構成を示す図面である。
【図６】  図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける動きベクトルマッピングおよび符号化モード判定処理の動作フローを示す図面である。
【図７】  図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける符号化モード推定部８のMPEG-2符号化モードの監視動作を示す図面である。
【図８】  図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける動きベクトルマッピング部７のMPEG-2動きベクトルの監視動作を示す図面である。
【符号の説明】
２  MPEG-2デコーダ部、６  解像度変換部（空間解像度変換部、時間解像度変換部）、７  動きベクトルマッピング部、８  符号化モード推定部  １０Ｂ  符号化パラメータ判定部、１０  MPEG-4エンコーダ部。
【図１】
0004193406.tif 000005
【図２】
0004193406.tif 000006
【図３】
0004193406.tif 000007
【図４】
0004193406.tif 000008
【図５】
0004193406.tif 000009
【図６】
0004193406.tif 000010
【図７】
0004193406.tif 000011
【図８】
0004193406.tif 000012