(57)【要約】【課題】  動き補償予測フレーム間符号化を用いた動画像の復号化において、符号化効率が高く、また復号化側でより自由度の高い早送り再生を可能とする。【解決手段】  符号化データに含まれる符号化対象フレームが振り分けられた階層のグループ及び動き補償予測フレーム間符号化に使用された参照フレームを示す識別情報と符号化対象フレームのピクチャタイプを示す情報を含むサイド情報を復号化し（Ｓ２１）、復号化された識別情報に従って符号化対象フレームが振り分けられた階層以下の階層のグループに属する参照フレームを選択し（Ｓ２２）、選択した参照フレームを用いて符号化データに含まれる動き補償予測フレーム間符号化の結果を復号化する（Ｓ２３）。【選択図】  図４
2006311589.tif 000002
【特許請求の範囲】
【請求項１】
動画像の符号化対象フレームに対して動き補償予測フレーム間符号化を含む符号化処理を行って得られた符号化データを復号化して動画像を再生する動画像復号化方法であって、
前記符号化データに含まれる前記符号化対象フレームが振り分けられた階層のグループを示す第１の識別情報、前記動き補償予測フレーム間符号化に使用された参照フレームを示す第２の識別情報、及び前記符号化対象フレームのピクチャタイプを示す情報を復号化し、
復号化された前記第１の識別情報及び第２の識別情報に従って、前記符号化対象フレームが振り分けられた階層以下の階層のグループに属する少なくとも一つの参照フレームを選択し、
選択した参照フレームを用いて前記符号化データに含まれる前記動き補償予測フレーム間符号化の結果を復号化する動画像復号化方法。
【請求項２】
動画像の符号化対象フレームに対して動き補償予測フレーム間符号化を含む符号化処理を行って得られた符号化データを復号化して動画像を再生する動画像復号化装置であって、
前記符号化データに含まれる前記符号化対象フレームが振り分けられた階層のグループを示す第１の識別情報、前記動き補償予測フレーム間符号化に使用された参照フレームを示す第２の識別情報、及び前記符号化対象フレームのピクチャタイプを示す情報を復号化する手段と、
復号化された前記第１の識別情報及び第２の識別情報に従って、前記符号化対象フレームが振り分けられた階層以下の階層のグループに属する少なくとも一つの参照フレームを選択する手段と、
選択した参照フレームを用いて前記符号化データに含まれる前記動き補償予測フレーム間符号化の結果を復号化する手段とを具備する動画像復号化装置。
【請求項３】
動画像の符号化対象フレームに対して動き補償予測フレーム間符号化を含む符号化処理を行って得られた符号化データを復号化して動画像を再生する処理をコンピュータに行わせるためのプログラムであって、
前記符号化データに含まれる前記符号化対象フレームが振り分けられた階層のグループを示す第１の識別情報、前記動き補償予測フレーム間符号化に使用された参照フレームを示す第２の識別情報、及び前記符号化対象フレームのピクチャタイプを示す情報を復号化する処理と、
復号化された前記第１の識別情報及び第２の識別情報に従って、前記符号化対象フレームが振り分けられた階層のグループ又はそれより下位の階層のグループに属する少なくとも一つの参照フレームを選択する処理と、
選択した参照フレームを用いて前記符号化データに含まれる前記動き補償予測フレーム間符号化の結果を復号化する処理とを含む動画像復号化処理を前記コンピュータに行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測フレーム間符号化を用いた動画像復号化方法及び装置に関する。
【背景技術】
【０００２】
動画像の圧縮符号化技術として、ＭＰＥＧ１(ISO/IEC11172-2)，ＭＰＥＧ２(ISO/IEC13818-2)，ＭＰＥＧ４(ISO/IEC14496-2)などが広く実用化されている。これらの動画像符号化方式では、フレーム内符号化（イントラ符号化）、前方予測フレーム間符号化及び両方向予測フレーム間符号化の組み合わせによる符号化が行われ、これらの符号化モードで符号化されるフレームはそれぞれＩピクチャ、Ｐピクチャ及びＢピクチャと呼ばれる。Ｐピクチャは直前のＰまたはＩピクチャを参照フレームとして符号化され、Ｂピクチャは直前及び直後のＰまたはＩピクチャを参照フレームとして符号化される。前方予測フレーム間符号化及び両方向予測フレーム間符号化は、動き補償予測フレーム間符号化と呼ばれる。
【０００３】
ＭＰＥＧ方式による動画像の符号化データを早送り再生する場合は、参照フレームを必要としないＩピクチャのみを再生するか、あるいはＢピクチャが参照フレームとして用いられないという性質を利用し、Ｂピクチャを飛ばしてＩピクチャ及びＰピクチャのみを復号化する方法が一般的である。しかし、Ｉピクチャのみを再生する場合、Ｉピクチャの周期が長いと、高速な早送りは実現できるものの、滑らかな早送り再生が出来ない。Ｉピクチャ及びＰピクチャを用いた早送りでは、Ｐピクチャにフレーム間予測符号化が用いられているため、全てのＩピクチャ及びＰピクチャの復号化を行う必要があり、早送り速度を自由に変更することが困難となる。
【０００４】
また、従来のＭＰＥＧ方式の動画像符号化では、Ｂピクチャは参照フレームとして用いられないため、複数のＢピクチャが連続する予測構造の場合、Ｂピクチャの符号化において時間的に離れたＰピクチャを参照フレームとせざるを得ず、Ｂピクチャの符号化効率が低下するという問題がある。一方、復号化されたＢピクチャをＰピクチャにおける参照フレームとして用いる構成とすると、上述のＢピクチャを飛ばした早送り再生時にも、Ｂピクチャを含む全てのフレームを復号化することが必要となり、効率的に早送り再生を行うことが困難となる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、ＭＰＥＧのように動き補償予測フレーム間符号化を含む符号化によって得られた動画像符号化データについて早送り再生を行う場合、Ｉピクチャのみを再生すると滑らかな早送りを自由な再生速度で行うことが難しく、またＢピクチャを復号化せずにスキップした早送り再生を行う場合は、復号化されたＢピクチャを参照フレームとして用いることが困難であり、Ｂピクチャが連続した予測構造では、符号化効率が低下するという問題があった。
【０００６】
本発明の目的は、動き補償予測フレーム間符号化を用いた動画像の符号化及び復号化において、符号化効率が高く、また復号化側でより自由度の高い早送り再生を可能とすることにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明は動画像の符号化対象フレームに対して、少なくとも一つの復号化済みフレームを参照フレームとして用いる動き補償予測フレーム間符号化を含む符号化処理を行う動画像符号化において、フレーム間予測構造を複数の階層化された予測グループ構造とし、符号化対象フレームを複数の参照フレームがそれぞれ属する複数階層の予測グループのうちの何れかの階層の予測グループに振り分け、符号化対象フレームが振り分けられた階層以下の少なくとも一つの階層の予測グループに属する参照フレームを用いて動き補償予測フレーム間符号化を行う。
【０００８】
また、符号化対象フレームが振り分けられた階層の予測グループを示す第１の識別情報及び動き補償予測フレーム間符号化に使用された参照フレームを示す第２の識別情報を、該符号化対象フレームに対する動き補償予測フレーム間符号化の結果と共に符号化データとして出力する。
【０００９】
一方、動画像の符号化対象フレームに対して動き補償予測フレーム間符号化を含む符号化処理を行って得られた符号化データを復号化して動画像を再生する動画像復号化においては、符号化データに含まれる符号化対象フレームが振り分けられた階層の予測グループを示す第１の識別情報及び動き補償予測フレーム間符号化に使用された参照フレームを示す第２の識別情報を復号化し、復号化された第１の識別情報及び第２の識別情報に従って、符号化対象フレームが振り分けられた階層の予測グループ又はそれより下位の階層の予測グループに属する少なくとも一つの参照フレームを選択し、選択した参照フレームを用いて符号化データに含まれる動き補償予測フレーム間符号化の結果を復号化する。
【００１０】
このように各階層の予測グループに振り分けられた符号化対象フレームは、該階層以下の予測グループに属する参照フレームを用いて動き補償予測フレーム間符号化が行われることにより、復号化に際しては上位階層の予測グループに属する符号化対象フレームの符号化結果を復号化することなしに、正常に復号化することが可能となる。従って、復号化する予測グループの最上位階層を変化させることで、復号化されるフレーム数を変化させることが可能となり、階層に応じて再生されるフレームレートを可変としたり、あるいは復号化したフレームの表示フレームレートを変更することで、速度可変の早送り再生を行うことなどが容易に実現できる。また、特定の階層以下の符号化データのみを選択して送出することで、伝送帯域に応じたビットレート可変のストリーミングを行うことも可能となる。
【００１１】
この場合、複数階層の予測グループにそれぞれ属する前記参照フレームの最大フレーム数を予め前記予測グループ毎に個別に定めておき、この最大参照フレーム数に従って、各階層の予測グループの参照フレームのメモリ管理を行うようにしてもよい。
【００１２】
このようにすると、復号化に必要となる参照フレームの最大フレーム数を、復号化する最上位階層の予測グループ以下の予測グループにおける最大参照フレーム数の総和から一意に決定できる。従って、動画像復号化において限られたメモリ資源の中で、復号化可能な予測グループの最上位階層が一意に求められ、また上述したように復号化する予測グループの最上位階層を変化させて早送り再生や伝送ビットレートを変更する際に、復号化で用いる参照メモリの必要最小限の量を一意に決定することができ、復号化時の必要最小限のメモリ確保を容易に行うことか可能となる。
【００１３】
さらに、複数階層の予測グループにそれぞれ属する参照フレームの最大フレーム数の総和を一定とし、該最大フレーム数を示す情報を第１の識別情報と第２の識別情報及び動き補償予測フレーム間符号化の結果と共に符号化データとして出力し、各階層の予測グループの参照フレームのメモリ管理を行うようにしてもよい。
【００１４】
このようにすると、総容量が固定の参照メモリを各階層の予測グループに動的に配分させることが可能となるため、動画像信号の性質の変化に応じて各階層の予測グループの参照メモリ数の比が最適になるように動的にフレームメモリを配分することで、符号化効率を向上させることが可能となる。また、総参照フレーム数が一定であるため、符号化及び復号化に必要な参照フレーム数は常に固定量を確保すればよく、メモリ管理を容易にすることができる。さらに、各階層の予測グループに属する参照フレーム数を示す情報をヘッダ情報として符号化することで、符号化側と復号化側で各階層の予測グループの参照フレーム数を一致させることが可能となり、各階層の予測グループの動的な参照フレーム数の変化が発生しても、破綻無く復号化することが可能となる。
【００１５】
さらに、符号化処理として符号化対象フレームのフレーム毎にフレーム内符号化、前方予測フレーム間符号化及び両方向予測フレーム間符号化に切り替えて行い、フレーム内符号化及び前方予測フレーム間符号化を行う符号化対象フレーム及び該符号化対象フレームに対応する参照フレームを第１階層の予測グループに振り分け、両方向予測フレーム間符号化を行う符号化対象フレーム及び該符号化対象フレームに対応する参照フレームを該第１階層よりも上位の第２階層の予測グループに振り分けるようにしてもよい。
【００１６】
このようにすると、従来のＭＰＥＧ等の符号化と同様に、Ｉピクチャのみ、あるいはＩピクチャ及びＰピクチャのみを復号化する早送り再生を、Ｂピクチャを復号化すること無しに行うことが可能となる。さらに、Ｂピクチャにおいては復号化されたＩピクチャまたはＰピクチャに加えて、さらに１つまたは複数の復号化されたＢピクチャも参照フレームとして用いることが可能となり、Ｂピクチャの予測効率を従来よりも改善することが可能となる。
【００１７】
さらに、本発明によると上述した動画像符号化及び動画像復号化の処理をコンピュータに行わせるためのプログラムを提供することができる。
【発明の効果】
【００１８】
本発明によればフレーム間予測構造を複数の階層化されたグループ構造とし、上位階層の予測グループの参照フレームからのフレーム間予測を禁止し、また総参照フレーム数が一定の下で各階層の予測グループの参照フレーム数を動的に変化させることで、符号化効率を従来より向上させ、かつより自由度の高い早送り再生を可能とすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の一実施形態について説明する。  
（符号化側について）  
図１は、本実施形態に係る動画像符号化装置の構成を示すブロック図である。図２は、動き補償予測フレーム間符号化に関する概略的な手順を示すフローチャートである。図１に示す動画像符号化装置は、ハードウェアで実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。
【００２０】
本実施形態は、従来のＭＰＥＧ方式に代表されるような、動き補償予測と直交変換及び可変長符号化を組み合わせた動画像符号化をベースとしている。以下の説明では、予測グループが２階層の場合について説明する。
【００２１】
フレーム毎に入力される動画像信号１００（符号化対象フレーム）は、まず動き補償予測器１１１によって２階層の予測グループのうちの何れかの階層の予測グループに振り分けられる（ステップＳ１１）。次に、符号化対象フレームが振り分けられた階層以下の少なくとも一つの階層の予測グループに属する少なくとも一つの参照フレームとして動き補償予測フレーム間符号化が行われる（ステップＳ１２）。
【００２２】
各階層の予測グループに対する符号化対象フレームの振り分けは、例えば偶数フレームは第１階層の予測グループ、奇数フレームは第２階層の予測グループといったように、時間方向で変化するように行われる。各階層の予測グループに属する参照フレームも、参照フレームとなる符号化済みフレームの元となった符号化対象フレームが属する予測グループに応じて決定される。すなわち、ある符号化対象フレームがある階層の予測グループに振り分けられるとすると、その符号化対象フレームを符号化し局部復号化して得られた符号化済みフレームも、同じ階層の予測グループに属する。ステップＳ１１〜Ｓ１２の処理は、具体的には次のようにして行われる。
【００２３】
上述のように第１階層及び第２階層の予測グループには、予め複数の符号化済みフレームが参照フレームとして属している。符号化済みフレームを参照フレームとして一時保存するために、二組の参照メモリセット１１８，１１９が用意されている。第１の参照メモリセット１１８には、既に符号化され且つ復号化された複数の動画像フレーム（これらを符号化済みフレームという）のうち、第１階層の予測グループに属する複数の符号化済みフレームが参照フレームとして一時保存されている。第２の参照メモリセット１１９には、複数の符号化済みフレームのうち、第２階層の予測グループに属する複数の符号化済みフレームが参照フレームとして一時保存されている。
【００２４】
第１階層の予測グループに振り分けられた符号化対象フレームは、第１の参照メモリセット１１８に保存されている、第１階層の予測グループに属する参照フレームを用いて動き補償予測フレーム間符号化が行われる。一方、第２階層の予測グループに振り分けられた符号化対象フレームは、第１及び第２の参照メモリセット１１８，１１９に保存されている、第１及び第２階層の予測グループ両方に属する参照フレームを用いて動き補償予測フレーム間符号化が行われる。
【００２５】
動き補償予測フレーム符号化について具体的に説明すると、まず入力動画像信号１００である符号化対象フレームが第１階層の予測グループに属する場合、第１の参照メモリセット１１８に一時保存されている一つまたは複数の参照フレームが読み出され、動き補償予測器１１１に入力される。このときスイッチ１２０はオフ状態にあり、第１の参照メモリセット１１９からの参照フレームは動き補償予測器１１１に入力されない。動き補償予測器１１１では、第１の参照メモリセット１１８から読み出される一つまたは複数の参照フレームを用いて動き補償予測が行われることにより、予測画像信号１０４が生成される。予測画像信号１０４は減算器１１０に入力され、ここで入力動画像信号１００に対する予測画像信号１０４の誤差信号である予測誤差信号１０１が生成される。
【００２６】
入力動画像信号１００である符号化対象フレームが第２階層の予測グループに属する場合、スイッチ１２０はオン状態にあり、第１の参照メモリセット１１８及び第２の参照メモリセット１１９に一時保存されている一つまたは複数の参照フレームが読み出され、動き補償予測器１１１に入力されることにより、上記と同様に動き補償予測器１１１により予測画像信号１０４が生成され、さらに減算器１１０によって予測誤差信号１０１が生成される。
【００２７】
予測誤差信号１０１は、ＤＣＴ変換器１１２により離散コサイン変換され、これによって得られたＤＣＴ係数が量子化器１１３により量子化される。量子化されたＤＣＴ係数データ１０２は二分岐され、一方において可変長符号化器１１４により符号化される。量子化され二分岐されたＤＣＴ係数データ１０２は、他方において逆量子化器１１５及び逆ＤＣＴ変換器１１６を経て予測誤差信号として再生される。この再生された予測誤差信号が予測画像信号１０４と加算されることにより、局部復号化画像信号１０３が生成される。
【００２８】
局部復号化画像信号１０３である符号化済みフレームは、該符号化済みフレームの元となった入力動画像信号１００である符号化対象フレームに振り分けられた階層の予測グループに応じて第１及び第２の参照メモリセット１１８，１１９のいずれかに一時保存される（ステップＳ１３）。すなわち、符号化済みフレームは該符号化済みフレームの元となった符号化対象フレームが第１階層の予測グループに属する場合には、第１の参照メモリセット１１８に一時保存され、該符号化対象フレームが第２階層の予測グループに属する場合には、第２の参照メモリセット１１９に一時保存される。
【００２９】
動き補償予測器１１１からは、動き補償予測のために用いた動きベクトルと、符号化対象フレームが所属する予測グループを識別するインデックス（第１の識別情報）、及び動き補償予測フレーム間符号化に使用した参照フレームを特定するインデックス（第２の識別情報）を含むいわゆるサイド情報１０５が出力され、可変長符号化器１１４によって符号化される（ステップＳ１４）。この場合、予測グループを識別するインデックスは、例えば予測構造を表すピクチャタイプとして符号化され、参照フレームを特定するインデックスはマクロブロック毎に符号化される。
【００３０】
これらのサイド情報は、動き補償予測フレーム間符号化の結果である量子化されたＤＣＴ係数データと共に可変長符号の符号化データ１０６として出力される（ステップＳ１５）。例えば、サイド情報は符号化データ１０６にヘッダ情報として符号化される。さらに、各階層の予測グループに属する参照フレーム数の総和を予め規定して、各階層の予測グループに割り当てる参照フレームの最大フレーム数を設定する後述の第２の参照フレーム数設定方法を採用した場合には、該最大フレーム数を示す情報も符号化データ１０６のヘッダ情報として符号化される。符号化データ１０６は、図示しない蓄積媒体や伝送媒体に送出される。
【００３１】
参照メモリセット１１８，１１９では、新しい復号化済みフレームが参照フレームとして順次書き込まれ、また時間的に最も古い参照フレームから順次削除される、いわゆるＦＩＦＯ(First-In First-Out)型の制御がフレーム単位で行われる。ただし、参照フレームが読み出されるときには、各参照メモリセット１１８，１１９内の任意の参照フレームへのランダムアクセスが行われる。
【００３２】
参照メモリセット１１８，１１９にそれぞれ一時保存される参照フレームの数（言い換えれば、参照メモリセット１１８，１１９にそれぞれ含まれる参照メモリの数）は、次に示す２つの方法の何れかにより設定される。
【００３３】
第１の参照フレーム数設定方法では、符号化の方法あるいはプロファイルやレベルといった符号化仕様に応じて、予め各階層の予測グループに属する参照フレームの最大フレーム数を個別に定める。動画像符号化装置及び動画像復号化装置においては、こうして予め定められた最大フレーム数の参照フレームを予測グループ毎に確保して符号化及び復号化を行う。この場合、符号化仕様を動画像符号化装置及び動画像復号化装置で一致させることにより、必要な数の参照フレームを自動的に確保することが可能である。
【００３４】
第２の参照フレーム数設定方法では、符号化の方法あるいはプロファイルやレベルといった符号化仕様に応じて、各階層の予測グループに属する参照フレーム数の総和を予め規定し、各階層の予測グループにどれだけの参照フレーム数を割り当てるかという配分に関する情報、すなわち最大フレーム数を示す情報を符号化データ１０６のヘッダ情報として符号化する。
【００３５】
このように第２の参照フレーム数設定方法では、符号化側で各階層の予測グループにそれぞれ最適な参照フレームの最大フレーム数を動的に割り当て、その割り当てた最大フレーム数を示す情報を符号化することで、符号化側と復号化側で各階層の予測グループに属する参照フレームの最大フレーム数を動的に一致させることが可能となる。従って、各階層の予測グループに属する参照フレームの最大フレーム数の割合を入力動画像信号１００の画像の性質の変化に応じて最適に変更することにより、符号化効率を向上させることが可能となる。
【００３６】
（復号化側について）  
図３は、本実施形態に係る図１に示した動画像符号化装置に対応する動画像復号化装置の構成を示すブロック図である。図４は、動き補償予測フレーム間符号化に対応する復号化に関する概略的な手順を示すフローチャートである。図３に示す動画像復号化装置も、ハードウェアで実現してもよいし、ソフトウェアにより実行してもよく、また一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。
【００３７】
図３に示す動画像復号化装置には、図１に示した動画像符号化装置から出力された符号化データ１０６が、図示しない蓄積媒体または伝送媒体を介して入力される。入力された符号化データ２００は、可変長復号化器２１４により可変長符号の復号化が行われ、量子化ＤＣＴ係数データ２０１とサイド情報２０２が出力される。量子化ＤＣＴ係数データ２０１は、逆量子化器２１５及び逆ＤＣＴ変換器２１６を経て復号されることにより、予測誤差信号が再生される。
【００３８】
一方、サイド情報２０２としてマクロブロック毎に符号化された動きベクトルと、符号化対象フレーム毎に所属する予測グループを識別するインデックス（第１の識別情報）、及び参照フレームを特定するインデックス（第２の識別情報）が復号化される（ステップ２１）。これらのサイド情報に従って、符号化時と同様に参照フレームの選択及び動き補償が行われることにより予測画像信号２０３が生成される。
【００３９】
すなわち、符号化対象フレーム毎に所属する予測グループを識別するインデックス（第１の識別情報）と参照フレームを特定するインデックス（第２の識別情報）に従って参照フレームが選択され（ステップＳ２２）、この選択された参照フレームを用いて動き補償予測フレーム間符号化の結果が復号化される（ステップＳ２３）。さらに、予測画像信号２０３と逆ＤＣＴ変換器２１６からの予測誤差信号が加算されることにより、復号化画像信号２０４が生成される
復号化画像信号２０４である復号化済みフレームは、該復号化済みフレームの元となった符号化済みフレームが所属する予測グループに応じて、第１及び第２の参照メモリセット２１９の何れか一方に一時保存され、参照フレームとして用いられる（ステップＳ２４）。これらの参照メモリセット２１８，２１９は、動画像符号化装置と同様にＦＩＦＯ型の制御が行われる。ここで、各階層の予測グループに属する参照フレームの数については、先の動画像符号化装置において説明した第１または第２の参照フレーム数設定方法に従って設定される。
【００４０】
すなわち、第１の参照フレーム数設定方法に従って符号化仕様に応じて予め各階層の予測グループに属する参照フレームの最大フレーム数を個別に定めている場合には、各階層の予測グループに属する参照フレームの数は符号化仕様毎に固定の値とされる。また、第２の参照フレーム数設定方法に従って符号化仕様に応じて各階層の予測グループに属する参照フレーム数の総和を予め規定し、各階層の予測グループに参照フレームの最大フレーム数を割り当てている場合には、参照フレームの総和のみ固定で、符号化データのヘッダ情報から復号化される参照フレームの最大数を示す情報に基づいて動的に各階層の予測グループに属する参照フレームの数が制御される。
【００４１】
図５は、図１に示した動画像符号化装置における動き補償予測器１１１、及び図３に示した動画像復号化装置における動き補償予測器２１１として用いられる動き補償予測器の詳細な構成を示したものである。前述した通り、符号化あるいは復号化すべきフレームが属する階層の予測グループに応じて、使用可能な参照フレームが異なる。図５におけるフレームメモリ３０２から３０４は、１つの階層の予測グループに属する符号化フレームに対する参照フレームとして使用可能な参照フレームを保存しいるものとする。
【００４２】
この動き補償予測器では、マクロブロック毎に使用可能な参照フレームの中から１つを選択するか、あるいは線形予測器３０１により使用可能な参照フレームの線形和をとってその線形和による予測の何れかを選択し、動き補償を行って予測マクロブロックを生成する。
【００４３】
動画像符号化装置では、予測誤差が小さく符号化効率の最も高い予測マクロブロックが選択されるように、参照フレーム及び動きベクトルがマクロブロック毎に選択される。選択された参照フレームの情報及び動きベクトルの情報は、マクロブロック毎に符号化される。
【００４４】
動画像復号化装置では、受信した動きベクトル及び参照フレームの情報に応じて動き補償器で予測マクロブロックを生成し、復号化を行う。線形和による予測を行う場合は、線形予測係数に関する情報を符号化データのヘッダ情報として符号化を行い、符号化と復号化で線形予測係数を一致させる。
【００４５】
図６及び図７は、従来のＭＰＥＧ動画像符号化におけるフレーム間予測構造及び参照メモリ制御の例を示す図である。横軸は時間を示しており、Ｉ０，Ｐ１，Ｐ２等は表示順のフレームを示している。例えば、Ｉ０はＩピクチャでフレーム番号が０番、Ｐ１はＰピクチャでフレーム番号が１番、Ｂ２はＢピクチャでフレーム番号が２番ということをそれぞれ示している。図中の矢印はフレーム間の予測構造を示しており、参照フレームから符号化対象フレームへの向きを示している。例えば、図６において符号化対象フレームＰ1 に対して、Ｉ０が参照フレームであることを示している。以下、図６及び図７のそれぞれの例について詳しく説明する。  
まず、図６はＩピクチャ及びＰピクチャのみから構成される予測構造を示している。ＭＰＥＧ符号化では、Ｐピクチャは直前に符号化されたＩピクチャまたはＰピクチャのみを参照フレームとする。図中ＦＭ１及びＦＭ２は、復号化における参照メモリ（フレームメモリ）の使い回しを示している。ここで、各フレームは１フレーム期間かけて復号化するものとする。
【００４６】
Ｉ０の復号化は、図中Ｉ０フレームからＰ１フレームまでの間の期間に行われるものとし、復号化画像信号は参照メモリＦＭ１に順次書き込まれ、次にＰ１の復号化が終了するまで参照メモリＦＭ１に保存される。Ｐ１の復号化は、参照メモリＦＭ１に保存されたＩ０フレームを参照フレームとして行われ、復号化されたＰ１フレームは順次参照フレームＦＭ２に書き込まれ、次にＰ２の復号化が終了するまでＦＭ２に保存される。Ｐ２の復号化は、参照メモリＦＭ２に保存されたＰ１フレームを参照フレームとして行われ、復号化されたＰ２フレームは参照メモリＦＭ１に既に保存されたＩ０フレームを上書きしながら書き込まれる。以上のように、Ｉピクチャ及びＰピクチャから構成される符号化データの復号化は２フレーム分の参照メモリを用いて行われる。
【００４７】
図７は、従来のＭＰＥＧ動画像符号化でＢピクチャを含む場合の例である。Ｂピクチャは、後方フレームからの予測も用いられるため、表示順と異なる順序にフレームの並べ替えが行われ、符号化及び復号化が行われる。図７の上段は表示順のフレーム及びフレーム間予測構造を示し、下段は符号化及び復号化におけるフレーム順を示している。ＦＭ１及びＦＭ２は復号化における参照メモリの使い回しを示している。
【００４８】
図７に示すフレーム間予測構造を持つ符号化データの復号化時には、まずＩ０フレームが復号化され、参照メモリＦ１に書き込まれる。続いて、参照メモリＦＭ１に保存された復号化されたＩ０フレームを参照フレームとしてＰ３フレームの復号化が行われ、復号化されたＰ３フレームは参照メモリＦＭ２に書き込まれる。次に、参照メモリＦＭ１に保存された復号化されたＩ０フレームを前方予測の参照フレームとし、また参照メモリＦＭ２に保存された復号化されたＰ３フレームを後方予測の参照フレームとして、ＢピクチャＢ１及びＢ２の復号化が順次行われる。次に、Ｐ６フレームが参照メモリＦＭ２に保存されたＰ３フレームを参照フレームとして復号化され、復号化されたＰ６フレームは参照メモリＦＭ１に既に保存されたＩ０フレームを上書きしながら書き込まれる。Ｂピクチャは、参照フレームとしては用いられないため、Ｂピクチャの復号化画像は参照メモリには保存されず、順次出力して表示される。
【００４９】
Ｉピクチャ及びＰピクチャの復号化時は、参照メモリに保存されている１つ前のＩピクチャまたはＰピクチャが出力され表示される。例えば、Ｐ３のデコード時には参照メモリＦＭ１に保存されたＩ０が表示され、Ｐ６のデコード時には参照メモリＦＭ２に保存されたＰ３が表示される。このようにＩピクチャ及びＰピクチャの表示を１周期遅らせることで、復号化順が正しい表示順に並べ替えられる。以上のように、Ｂピクチャを含む場合においても、２フレームの参照フレームで復号化が行われる。
【００５０】
図８から図１３は、本実施形態におけるフレーム間予測構造及び参照メモリ制御の例を示す図である。以下、それぞれの例について説明する。図８は、図６と同様にＩピクチャ及びＰピクチャから構成されるが、各フレームを予測グループａと予測グループｂとの交互に切り替える例であり、予測グループｂは予測グループａの上位階層とする。また、予測グループａ及び予測グループｂの参照メモリ数はそれぞれ１フレームであるとする。
【００５１】
図中Ｉa0，Ｐa2，Ｐa4で示されるように、サフィックスａの付加されたピクチャは予測グループａであることを示し、また、Ｐb1，Ｐb3，Ｐb5のようにサフィックスｂの付加されたピクチャは予測グループｂであることを示している。これらの予測グループの属性は、ピクチャタイプの拡張、または独立したインデックスとして符号化対象フレームのヘッダ情報として符号化される。予測グループａに属する符号化対象フレームは、予測フレームａに属する既に復号化されたフレームのみを参照フレームとして用いることが可能であり、また、上位階層の予測フレームｂでは、既に復号化された予測グループａ及び予測グループｂの何れかに属する１フレームまたは両方の復号化フレームの線形和を用いて予測画像を生成することが可能である。
【００５２】
各階層の予測グループともに１フレームの参照メモリを持っているため、予測グループａの符号化対象フレームの参照フレーム数は最大１フレームとなり、予測グループｂの符号化対象フレームの参照フレーム数は最大２フレームが使用可能である。例えば、予測グループａに属するＰa2フレームは、復号化されたＩa0フレームのみを参照フレームとして用いるが、予測グループｂに属するＰb3は、予測グループａに属する復号化されたＰa2フレームと、予測グループｂに属する復号化されたＰb1フレームの２フレームを参照フレームとして用いる。
【００５３】
図８において、ＦＭ１，ＦＭ２及びＦＭ３は図６あるいは図７と同様の物理的な参照メモリの使い回しを示している。また、ＤＥＣ，ＲＥＦa及びＲＥＦbはそれぞれ論理的な参照メモリの使い回しを示している。換言すると、ＤＥＣ，ＲＥＦa及びＲＥＦbは仮想アドレスで表現したフレームメモリであり、ＦＭ１，ＦＭ２及びＦＭ３は同フレームメモリを物理アドレスで表現したものである。仮想アドレス表現では、ＤＥＣは現在復号化中のフレームを一時保存するためのフレームメモリであり、またＲＥＦa及びＲＥＦbはそれぞれ予測グループａ及び予測グループｂの参照メモリを示している。従って、ＲＥＦaには復号化された予測グループａに属するフレームが順次一時保存され、ＲＥＢbには復号化された予測グループｂに属するフレームが順次一時保存される。
【００５４】
図８の例では、例えば上位階層の予測グループｂに属する符号化対象フレームを破棄して、予測グループａに属するフレームのみを復号化することが可能である。この場合、必要な参照メモリ数は、現在復号化中のフレームを一時保存するためのフレームメモリＤＥＣと、予測グループａの参照メモリＲＥＦaの２フレーム分があれば復号化が可能である。
【００５５】
予測グループａに属するフレームのみを復号化することで、フレーム周期を半分にした復号化を予測構造に破綻をきたすことなく行うことができる。例えば、予測グループａに属する復号化フレームを２倍のフレームレートで再生することで、滑らかな早送り再生を行うことが可能である。また、映像ストリーミング等において伝送路の帯域幅が時間変動する場合に、通常は全ての符号化データを送出し、伝送路の有効帯域幅が低下した場合は、予測グループｂに属する符号化データを破棄して、下位階層の予測グループａ属する符号化データのみを送出しても、受信側では破綻無く再生することが可能である。
【００５６】
図９は、図８の例を変形した例であり、予測グループａに属するフレームの間に予測グループｂに属するフレームが２フレーム挿入された予測構造であり、また各階層の予測グループの参照メモリ数は何れも１フレームである。この場合も、図８と同様に３フレーム分のフレームメモリを使いまわすことで、図６と同様の復号化を行うことが可能である。図９の例では、例えば予測グループａのフレームのみを復号化し、符号化されたフレームを本来のフレームレートで再生することで、滑らかな３倍速再生を行うことも可能である。
【００５７】
図１０では、図６と同様にＩピクチャ及びＰピクチャから構成され、また、予測グループはａ，ｂ，ｃの３階層とし、入力フレーム４フレーム毎に予測グループａのフレームが割り当てられ、予測グループａのフレーム間に予測グループｂの１フレームと予測グループｃの２フレームが配置された予測構造としている。
【００５８】
各階層の予測グループａ，ｂ，ｃの参照フレーム数はぞれぞれ１フレームであり、ａ，ｂ，ｃの順で階層が上がるものとする。つまり、予測グループａに属するのフレームは、復号化された予測グループａの１フレームのみを参照フレームとし、予測グループｂに属するのフレームは、復号化された予測グループａ及び予測グループｂの２フレームを参照フレームとし、予測グループｃに属するのフレームは、復号化された予測グループａ，ｂ及びｃの３フレームを参照フレームとして用いることができる。
【００５９】
図１０において、ＤＥＣ，ＲＥＦa，ＲＥＦb及びＲＥＦcは復号化フレームの一時保存フレームメモリ、予測グループａの参照フレーム、予測グループｂの参照フレーム、及び予測グループｃの参照フレームを示す論理的なフレームメモリの使い回しを示すものであり、またＦＭ１，ＦＭ２，ＦＭ３及びＦＭ４は、上記４フレーム分のフレームメモリの物理的な使い回しを示している。各階層の予測グループ毎に、直前に復号化された１フレームが、参照メモリＲＥＦa，ＲＥＦb及びＲＥＦcに一時保存され、また、現在復号中のフレームは復号化フレームメモリＤＥＣに書き込まれる。
【００６０】
図１０の構成では、予測グループが３階層で構成されるため、予測グループｃ以下の全ての符号化フレームを復号化すると通常の再生が行われ、また予測グループｂ以下の符号化フレームを復号化すると、通常の１／２のフレームが復号化され、また予測グループａの符号化フレームのみを復号化すると、通常の１／４のフレームが復号化されることになる。また、上記何れの復号化においても、予測構造の破綻は発生せずに、正常に復号化画像を生成することが可能である。復号化する階層を動的に制御することで、滑らかな可変速の早送り再生を実現したり、あるいは送出する階層を動的に制御することで、送出ビットレートを動的に変更することが可能となる。
【００６１】
図１１では、図７と同様にＩピクチャ、Ｐピクチャ及びＢピクチャから構成され、Ｉピクチャ及びＰピクチャを予測グループａとし、Ｂピクチャを予測グループｂとしている。予測グループｂは予測グループａの上位階層とする。また、予測グループａの参照メモリ数は２フレーム、予測グループｂの参照メモリ数は１フレームである。図１１の例では、予測グループａのＩピクチャ及びＰピクチャの参照メモリ数を２フレームとしているので、Ｐピクチャにおいて、直前に符号化あるいは復号化されたＩピクチャまたはＰピクチャと、さらにその前に符号化された符号化あるいは復号化されたＩピクチャまたはＰピクチャの２フレームを参照フレームとして用いることが可能である。また、Ｂピクチャにおいては、予測グループｂが参照フレームを１フレーム持つため、直前に符号化あるいは復号化されたＢピクチャ１フレームを参照フレームとし、さらに下位階層の予測グループである過去２フレームのＩピクチャ及びＰピクチャと合わせて、３フレームの参照フレームを用いることが可能である。
【００６２】
図８から図１０と同様に、ＦＭ１，ＦＭ２，ＦＭ３及びＦＭ４が物理的なフレームメモリの使い回しを示しており、ＤＥＣ，ＲＥＦa1，ＲＥＦa2及びＲＥＦbが論理的なフレームメモリの使い回しを示している。ＤＥＣは復号化中のフレームの一時保存フレームメモリであり、ＲＥＦa1及びＲＥＦa2は予測グループａの２フレーム分の参照メモリであり、ＲＥＦbは予測グループｂの１フレーム分の参照メモリを示している。
【００６３】
図１１におけるＩdx0，Ｉdx1及びＩdx2は、復号化中のフレームの参照フレームを特定するためのインデックスを示している。例えば、Ｐa6フレームの復号化においては、予測グループａに属する直前の２フレームＰa3，Ｉa0が参照フレームの候補であり、参照フレームのインデックスは符号化対象フレームに時間的に近いものから順次番号を割り当てる。参照フレームを示すインデックスは、マクログロック毎に符号化するものとし、マクロブロック毎に参照フレームの選択を行われる。インデックス０のマクロブロックは、直前のＩピクチャまたはＰピクチャから予測画像が生成され、インデックス１のマクロブロックは、２つ前のＩピクチャまたはＰピクチャから予測画像を生成する。また、直前のＩピクチャまたはＰピクチャ、及び２つ前のＩピクチャまたはＰピクチャの線形和によって予測画像を生成する場合、インデックス０及びインデック１の組み合わせであることを識別するインデックスがマクロブックのヘッダ情報として符号化される。
【００６４】
さらに、図１１におけるＢＷrefはＢピクチャにおける後方予測の参照フレームを示している。図１１の例では、例えばＢb1及びＢb2の後方参照フレームはＰa3，Ｂb4及びＢb5の後方参照フレームはＰa6となる。後方予測の参照フレームは、フレーム並べ替えの制約から、直前に符号化あるいは復号化されたＩピクチャまたはＰピクチャに制限されるため、参照フレームは一意に決定される。従って、後方予測の参照フレームＢＷrefについては、ヘッダ情報として符号化する必要はない。
【００６５】
また、Ｂピクチャにおける前方予測については、図１１の例では最大２フレームの中から選択可能である。例えば、Ｂb4の符号化及び復号化においては、時間的に直前のフレームであり予測グループａに属するＰa3及び時間的にさらにその前のフレームであり予測グループｂに属するＢb2を参照フレームとして用いることが可能であり、マクロブロック毎に何れの参照フレームを選択されたか、あるいは両者の線形和に予測を行うかを示すインデックスが符号化される。Ｂb5についても同様に、Ｂb4及びＰa3の２種類が参照フレームとして用いられる。
【００６６】
参照フレームのインデックスは、符号化対象フレーム毎に前方予測の参照フレームとして使用可能な参照フレームに対して、時間的に近いものから順次番号を振る。図１１の例では、Ｐピクチャの符号化及び復号化においては参照メモリに保存されているＩまたはＰピクチャを時間順に並べて番号を振る。Ｂピクチャの符号化及び復号化においては、後方予測の参照フレームとして用いられる直前に符号化あるいは復号化されたＩピクチャまたはＰピクチャを除く、参照メモリに保存されている全ての参照フレームを時間順に並べて番号を振る。図１１におけるＩdx0及びＩdx1は、上述ルールに従って生成したインデックスである。
【００６７】
図１２は図１１の例の拡張であり、予測グループｂつまりＢピクチャについても参照フレーム数を２フレームに設定し、総フレームメモリ数を５フレームとした場合を示している。ＦＭ1〜ＦＭ５は、物理的な参照フレームの使い回しを示しており、ＤＥＣは復号化時の一時保存バッファ、ＲＥＦa1及びＲＥＦa2は予測グループａ、すなわちＩピクチャ及びＰピクチャの参照メモリ、ＲＥＦｂ１及びＲＥＦｂ２は予測グループｂ、すなわちＢピクチャの参照メモリの論理的な使い回しをそれぞれ示している。また、Ｉdx0，Ｉdx1及びＩdx2は前方予測における、参照フレームインデックスの割り付け、ＢＷrefはＢピクチャにおける後方予測の参照フレームをそれぞれ示している。図１１の例と同様に前方予測における参照フレームインデックスは、マクログロック毎にヘッダ情報として符号化される。
【００６８】
図８から図１２の例では、各階層の予測グループの参照メモリ数は固定としたが、参照フレーム数の総数が一定の下で、各階層の予測グループの参照メモリ数の配分を動的に変更する構成としてもよい。例えば、図８の構成であるタイミングで予測グループｂの参照メモリ数を０として、同時に予測グループａの参照メモリ数を２とする再配分を行い、その配分変更を符号化データのヘッダ情報で符号化側から復号化側へ通知する構成とすればよい。その際、符号化側では予測グループaのフレームについては、予測グループaの過去２フレームからの予測を使用可能とし、また、予測グループｂのフレームについては、予測グループｂの過去のフレームからの予測は禁止し、予測グループaの過去２フレームからの予測を行うように、動き補償予測の選択を制御する。
【００６９】
図１３は、図８の例に対して上記のように参照メモリ数の配分を変化させた場合の予測構造及びフレームメモリの使い回しを示している。このようにすることで、限られた参照フレーム数の中で入力動画像に適した最適な予測構造を動的に設定することが可能となり、予測効率を向上させて高能率の符号化を行うことが可能となる。
【図面の簡単な説明】
【００７０】
【図１】本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】動画像符号化における動き補償予測フレーム間符号化に関する主要な処理の流れを示す図
【図３】本発明の一実施形態に係る動画像復号化装置の構成を示すブロック図
【図４】動画像復号化における動き補償予測フレーム間符号化結果の復号化に関する主要な処理の流れを示す図
【図５】同実施形態に係る動画像符号化装置及び動画像復号化装置で用いられる動き補償予測器の構成例を示すブロック図
【図６】従来のＭＰＥＧ動画像符号化におけるフレーム間予測構造及び参照メモリ制御の例を示す図
【図７】従来のＭＰＥＧ動画像符号化におけるフレーム間予測構造及び参照メモリ制御の例を示す図
【図８】本発明の一実施形態に係るフレーム間予測構造及び参照メモリ制御の例を示す図
【図９】本発明の一実施形態に係るフレーム間予測構造及び参照メモリ制御の例を示す図
【図１０】本発明の一実施形態に係るフレーム間予測構造及び参照メモリ制御の例を示す図
【図１１】本発明の一実施形態に係るフレーム間予測構造及び参照メモリ制御の例を示す図
【図１２】本発明の一実施形態に係るフレーム間予測構造及び参照メモリ制御の例を示す図
【図１３】本発明の一実施形態に係るフレーム間予測構造及び参照メモリ制御の例を示す図
【符号の説明】
【００７１】
１００…入力動画像信号
１０１…予測誤差信号
１０２…量子化ＤＣＴ係数データ
１０３…局部復号化画像信号
１０４…予測画像信号
１０５…サイド情報
１０６…符号化データ
１１１…動き補償予測器
１１２…ＤＣＴ変換器
１１３…量子化器
１１４…可変長符号化器
１１５…逆量子化器
１１６…逆ＤＣＴ器
１１７…参照フレーム書き込み制御スイッチ
１１８，１１９…参照メモリセット
１２０…参照フレーム読み出し制御器
２００…符号化データ
２０１…量子化ＤＣＴ係数データ
２０２…サイド情報
２０３…予測画像信号
２０４…復号化画像信号
２１１…動き補償予測器
２１４…可変長復号化器
２１５…逆量子化器
２１６…逆ＤＣＴ変換器
２１７…参照フレーム書き込み制御スイッチ
２１８，２１９…参照メモリセット
２２０…参照フレーム読み出し制御スイッチ
３００…予測マクロブロック選択器
３０１…線形予測器
３０２，３０３，２０４…参照メモリ
【図１】
2006311589.tif 000003
【図２】
2006311589.tif 000004
【図３】
2006311589.tif 000005
【図４】
2006311589.tif 000006
【図５】
2006311589.tif 000007
【図６】
2006311589.tif 000008
【図７】
2006311589.tif 000009
【図８】
2006311589.tif 000010
【図９】
2006311589.tif 000011
【図１０】
2006311589.tif 000012
【図１１】
2006311589.tif 000013
【図１２】
2006311589.tif 000014
【図１３】
2006311589.tif 000015