(57)【要約】      （修正有）【課題】ＡＶＣ符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、ＧＯＰ構造における最適な参照関係を実現し、ＩＤＲピクチャでないＩピクチャからのランダムアクセスを可能にする。【解決手段】マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドを用いて、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドを用いて参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、ＩＤＲピクチャでないＩピクチャからのランダムアクセスを行う。【選択図】図１
2008219204.tif 000002
【特許請求の範囲】
【請求項１】
動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化装置であって、
復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドを発生するメモリ管理制御コマンド発生手段を備え、
マルチプルフレーム予測を行う際に、上記メモリ管理制御コマンド発生手段は、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、
瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする画像情報符号化装置。
【請求項２】
上記メモリ管理制御コマンド発生手段は、画像群構造がＢピクチャを参照する階層構造の場合に、メモリ管理制御コマンドを発行してＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、さらに、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定することを特徴とする請求項１記載の画像情報符号化装置。
【請求項３】
上記メモリ管理制御コマンド発生手段は、画像群構造がＢピクチャを参照する階層構造の場合に、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置することを特徴とする請求項１記載の画像情報符号化装置。
【請求項４】
上記メモリ管理制御コマンド発生手段は、画像群構造がＢ０  Ｂｒ１  Ｂ２  Ｉ３  Ｂ４  Ｂｒ５  Ｂ６  Ｐ７  Ｂ８  Ｂｒ９  Ｂ１０  Ｐ１１  Ｂ１２  Ｂｒ１３  Ｂ１４  Ｐ１５で、復号処理順序がＩ３  Ｂｒ１  Ｂ０  Ｂ２  Ｐ７  Ｂｒ５  Ｂ４  Ｂ６  Ｐ１１  Ｂｒ９  Ｂ８  Ｂ１０  Ｐ１５  Ｂｒ１３  Ｂ１２  Ｂ１４のような階層構造の場合に、Ｉ３で長期間フレームインデックスの最大値を［０］に設定し、Ｂｒ１でメモリ管理制御コマンドにより長期間フレームインデックスの最大値を［１］に設定し、Ｂｒ１を長期参照ピクチャに設定し、Ｂ０で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照し、Ｂ１で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照することで、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする請求項１記載の画像情報符号化装置。
【請求項５】
長期フレームインデックスの最大値を変更するコマンドを発行することで長期フレームインデックスを指定することなく復号画像バッファ内の長期間参照ピクチャを開放することを特徴とする請求項４記載の画像情報符号化装置。
【請求項６】
画像群構造が２つのフィールドを独立した２つのピクチャとして扱うフィールド構造であって、上記メモリ管理制御コマンド発生手段は、長期フレームインデックスの最大値を変更するコマンドを発行することで長期フレームインデックスを指定することなく復号画像バッファ内の長期間参照ピクチャを開放することを特徴とする請求項１記載の画像情報符号化装置。
【請求項７】
動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化方法であって、
マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、
ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、
メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、
瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする画像情報符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ、Ｈ.２６ｘ等のように、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報符号化装置及び符号化方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ.２６Ｌ  （ＩＴＵ−Ｔ  Ｑ６／１６  ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ  Ｍｏｄｅｌ  ｏｆ  Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇとして行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４及びＭＰＥＧ−４  Ｐａｒｔ１０（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）という名の元に国際標準となった。
【０００６】
ここで、このＡＶＣ規格に基づいた画像圧縮情報を出力とする画像情報符号化装置１００の概略構成を図１３のブロック図に示す。
【０００７】
この画像情報符号化装置１００は、Ａ／Ｄ変換部１０１、画面並べ替えバッファ１０２、加算器１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、蓄積バッファ１０７、逆量子化部１０８、逆直交変換部１０９、デブロックフィルタ１１０、フレームメモリ１１１、イントラ予測部１１２、動き予測・補償部１１３、レート制御部１１４などからなる。
【０００８】
この図１３に示す画像情報符号化装置１００において、Ａ／Ｄ変換部１０１は、入力された画像信号をデジタル信号に変換して画面並べ替えバッファ１０２に供給する。そして、画面並べ替えバッファ１０２は、当該画像情報符号化装置１００から出力する画像圧縮情報の画像群（GOP:Group of Pictures）構造に応じて、フレームの並べ替えを行う。
【０００９】
ここで、イントラ符号化、すなわち、単一のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、イントラ予測部１１２により生成される画素値の差分情報が直交変換部１０４に入力され、直交変換部１０４において、離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。直交変換部１０４は、直交変換により得られる変換係数を量子化部１０５に供給する。
【００１０】
量子化部１０５は、直交変換部１０４から供給される変換係数に対して量子化処理を施し、量子化した変換係数を可逆符号化部１０６に供給する。
【００１１】
可逆符号化部１０６は、量子化部１０５から供給される量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。この可逆符号化部１０６により可逆符号化された変換係数は、蓄積バッファ１０７に蓄積され、画像圧縮情報として出力される。
【００１２】
量子化部１０５の挙動は、レート制御部１１３によって制御される。また、量子化部１０５は、量子化した変換係数を逆量子化部１０８に供給する。さらに、逆直交変換部１０９において逆直交変換処理が施されて、復号化画像情報となり、デブロックフィルタ１１０においてブロック歪の除去が施された後、その情報はフレームメモリ１１１に蓄積される。イントラ予測部１１２において、当該ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化部１０６に伝送され、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【００１３】
一方、インター符号化、すなわち、複数のフレームを用いて符号化が行われる画像情報に関しては、画面並べ替えバッファ１０２からの画像情報は動き予測・補償部１１３に入力される。動き予測・補償部１１３は、同時に参照される画像情報をフレームメモリ１１１から読み出し、動き予測・補償処理を施して参照画像情報を生成し、この参照画像情報を加算器１０３に供給する。加算器１０３は、画面並べ替えバッファ１０２からの画像情報を参照画像情報との差分信号に変換する。動き補償・予測部１１３は、同時に動きベクトル情報を可逆符号化部１０６に供給する。可逆符号化部１０６は、その動きベクトル情報に対して可変長符号化、算術符号化といった可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。
【００１４】
次に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置２００の概略構成を図１４のブロック図に示す。
【００１５】
この画像情報復号化装置２００は、蓄積バッファ２０１、可逆符号化部２０２、逆量子化部２０３、逆直交変換部２０４、加算器２０５、画面並べ替えバッファ２０６、Ｄ／Ａ変換部２０７、フレームメモリ２０８、動き補償・補償部２０９、イントラ予測部２１０、デブロックフィルタ２１１などからなる。
【００１６】
この図１４に示す画像情報復号化装置２００において、蓄積バッファ２０１は、入力された画像圧縮情報を一時的に格納して、可逆復号化部２０２に転送する。可逆復号化部２０２は、蓄積バッファ２０１から転送されてくる画像圧縮情報に対して、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理を施す。また、可逆復号化部２０２は、当該フレームがイントラ符号化されたものである場合、画像圧縮情報のヘッダ部に格納されたイントラ予測モード情報についても復号し、その情報をイントラ予測部２１０に供給する。さらに、可逆復号化部２０２は、当該フレームがインター符号化されたものである場合、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部２０９に供給する。
【００１７】
逆量子化部２０３は、可逆復号化部２０２から供給される量子化された変換係数を逆量子化し、変換係数として逆直交変換部２０４に供給する。逆直交変換部２０４は、逆量子化部２０３から供給される変換係数に対して、定められた方式に基づき、４次の逆直交変換を施す。
【００１８】
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、加算器２０５に供給され、イントラ予測部２１０において生成された予測画像情報と合成され、更に、デブロックフィルタ２１１においてブロック歪の除去が施された後、画面並べ替えバッファ２０６に格納され、Ｄ／Ａ変換部２０７によりＤ／Ａ変換処理の後に出力される。
【００１９】
一方、当該フレームがインター符号化されたものである場合には、動き補償・補償部２０９は、可逆復号化部２０２により可逆復号化処理が施された動きベクトル情報、及び、フレームメモリ２０８に格納された画像情報を元に参照画像情報を生成し、加算器２０５に供給する。加算器２０５は、この参照画像情報と逆直交変換部２０４の出力とを合成する。その他の処理はイントラ符号化されたフレームと同様である。
【００２０】
【特許文献１】特開２００３−２８９５４４号公報
【特許文献２】特開２００４−２８９８０８号公報
【特許文献３】特開２００４−２７４７３２号公報
【特許文献４】特開２００４−１８７２６４号公報
【特許文献５】特開２００４−２７４６９４号公報
【特許文献６】特開２００６−１２９１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２１】
ところで、ＡＶＣ符号化方式においては、複数のピクチャを参照することが可能である。これらのピクチャは予測に用いる復号画像を格納するための画像バッファメモリである復号画像バッファ（DPB:Decoded picture buffer）に保存される。復号画像バッファ（DPB）内では短期間に参照されるピクチャを短期間参照ピクチャ（used for short-term reference）、長期間にわたって参照されるピクチャを長期間参照ピクチャ（used for long-term reference）、参照されないピクチャを非参照ピクチャ（unused for reference）としてマーキングされる。デコードされたピクチャは一度この復号画像バッファ（DPB）に保存され、出力順を並び替えて指定された出力タイミングで出力される。
【００２２】
復号画像バッファ（DPB）のサイズはプロファイル（profile）およびレベル（level）により定義されており、ピクチャの枚数ではなく、ビット量として定義されている。つまり、同じプロファイル、レベルであってもピクチャの画枠に応じて枚数が変化する、例えばメイン（Main）プロファイル、レベル４の場合、予測に用いる復号画像を格納するための画像バッファの最大サイズ（MaxDPB:Maximum Decoded Picture Buffer Size）は１２２８８．０×１０２４ｂｙｔｅｓなので１４４０×１０８８  ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは５枚、１９２０×１０８８  ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは４枚となる。このＤＰＢサイズの中で出力順、参照関係に矛盾がないようにエンコードを行う必要がある。
【００２３】
復号画像バッファ（DPB）の管理法には２種類あり、一つが移動窓メモリ管理法（Sliding window process）、もう一方が適応メモリ管理法（Adaptive memory control process）である。移動窓メモリ管理法は復号画像バッファ（DPB）を先入れ先出し（FIFO：First In First Out）方式で管理し、フレーム番号（frame_num）の小さいものから順に開放される方式である。適応メモリ管理法では、復号画像バッファ（DPB）内のピクチャを任意に管理することができる。この管理コマンドはメモリ管理制御（MMCO:Memory management control operation）コマンドと呼ばれ、短期間参照ピクチャを非参照ピクチャに設定したり、長期間参照ピクチャを非参照ピクチャに設定したり、短期間参照ピクチャに長期間フレームインデックス（long-term frame index）を割り当てることで長期間参照ピクチャに設定したり、長期間フレームインデックスの最大値を設定したり、すべての参照ピクチャを非参照ピクチャに設定したりすることができる。
【００２４】
参照ピクチャは参照画像リスト（reference picture list）により管理される。参照画像リストは参照画像リスト順序（Reference picture list reordering）を用いることで任意の順番に入れ替えることができる。参照画像リスト順序を用いない場合、短期間参照ピクチャ、長期間参照ピクチャの順で参照リストが生成される。
【００２５】
近年の研究により階層Ｂピクチャ構造と呼ばれるＧＯＰ構造が符号化効率および画質の面で注目されている。代表的な階層Ｂピクチャ構造（ＧＯＰ−１）を図１５の（Ａ），（Ｂ）に示す。図１５の（Ａ）はピクチャの種類及び 表示順情報（POC:Picture Order Count）を表示順（Display order）に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図１５の（Ｂ）は各ピクチャの復号順（Decode order）を示している。また、図１５の（Ａ），（Ｂ）において、Ｂｒは参照されるＢピクチャを表している。
【００２６】
しかし、この構造は多くの並び替えバッファが必要となることから、図１６に示すようなＧＯＰ構造（ＧＯＰ−２）を用いる場合がある。図１６の（Ａ）はピクチャの種類及び表示順情報（POC）を表示順（Display order）に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図１６の（Ｂ）は復号順（Decode order）に示している。また、図１６の（Ａ），（Ｂ）において、Ｂｒは参照されるＢピクチャを表している。上述の如く、メインプロファイル、レベル４で画枠が１９２０×１０８８  ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは４枚となる。
【００２７】
ＧＯＰ−２の構造において復号画像バッファ（DPB）が４枚（max_dec_frame_buffering=4）、参照に使えるピクチャ枚数が３枚（num_ref_frames=3）の場合、図１７の（Ａ）〜（Ｄ）に示すような参照関係になる。
【００２８】
図１７の（Ａ）はピクチャの種類及び表示順情報を表示順に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図１７の（Ｂ）は各ピクチャの復号順を示し、さらに、図１７の（Ｃ），（Ｄ）は各時刻Ｔ０，Ｔ１，・・・，Ｔ１５，・・・における復号画像バッファ（参照画像バッファ、非参照画像バッファ）及び表示バッファの内容を示している。この場合、図１７の（Ａ）に太線の矢印で示すように時間的に最も近い参照面が存在しない。また、Ｉピクチャを飛び越して参照しているため瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスが不可能である。
【００２９】
ここで、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャである。瞬時復号器更新ピクチャは、Ｉスライス又はスイッチングＩスライスからなり、参照画像バッファの状態やフレーム番号、表示順情報など、ビットストリームを復号するために必要なすべての状態がリセットされる。Ｈ．２６４／ＡＶＣでは、Ｉピクチャの後ろにある、ＰピクチャからＩピクチャより前のピクチャを参照するフレーム間予測が許容されているので、状態を完全にリセットするには通常のＩピクチャでは不十分で、瞬時復号器更新ピクチャを用いる必要がある。
【００３０】
このように、従来の手法では、最も時間的に近く画像の相関が高いと考えられるピクチャを参照できない、また瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスができないという問題を有する。
【００３１】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ＡＶＣ符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、階層Ｂピクチャで構成されるＧＯＰ構造における最適な参照関係および瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを実現することにある。
【００３２】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００３３】
本発明では、上述の課題を解決するために、メモリ管理制御コマンド及び参照画像リスト順序コマンドの処理により、最も効率的な参照関係、及び、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを可能にする。
【００３４】
すなわち、本発明は、動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化装置であって、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドを発生するメモリ管理制御コマンド発生手段を備え、マルチプルフレーム予測を行う際に、上記メモリ管理制御コマンド発生手段は、メモリ管理制御（MMCO）コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする。
【００３５】
また、本発明は、動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化方法であって、マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする。
【００３６】
ここで、本発明の特徴となるメモリ管理制御コマンド発生手段の動作原理について述べる。
【００３７】
メモリ管理制御コマンド発生手段は、ＧＯＰ構造に応じて効率の良い参照関係を実現し、かつ瞬時復号器更新（IDR）ピクチャでないＩピクチャからのランダムアクセスが可能になるようなメモリ管理制御コマンドおよび参照画像リスト順序コマンドの発行を行うものである。ここでは、図１６で示すようなＧＯＰ構造で最大復号フレームバッファ数（max_dec_frame_buffering）＝４、参照フレーム数（num_ref_frames）＝３の場合を例にとって説明する。
【００３８】
この構造は多くの並び替えバッファが必要となることから、上述の如く図１６に示すようなＧＯＰ構造（ＧＯＰ−２）を用いる場合がある。上述の如く、メインプロファイル、レベル４で画枠が１９２０×１０８８  ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは４枚となる。そして、ＧＯＰ−２の構造において復号画像バッファ（DPB）が４枚（max_dec_frame_buffering=4）、参照に使えるピクチャ枚数が３枚（num_ref_frames=3）の場合、図１７の（Ａ）〜（Ｄ）に示すような参照関係になる。
【００３９】
メモリ管理制御コマンドを使用しない場合は、図１７に示すように、復号順（Decode order）でＰおよびＩピクチャ後のＢピクチャが時間的に直前のＰおよびＩピクチャを飛び越し、参照Ｂピクチャを参照している。これを回避するためには、メモリ管理制御コマンドで参照Ｂピクチャを非参照ピクチャに設定すれば良い。
【００４０】
参照Ｂピクチャのタイミングでメモリ管理制御コマンド（MMCO=1）を使用して、短期間参照ピクチャである、以前の参照Ｂピクチャを非参照ピクチャに設定すれば良いが、その際にコマンドを出力する現在のピクチャ番号との差分を表すピクチャ番号差分値をストリームに出力する必要がある。ピクチャ番号はスライスヘッダ上にあるフレーム番号（frame_num）により決定する。フレーム番号はピクチャを一意に決定するための値である。
【００４１】
瞬時復号器更新ピクチャ以外のＩピクチャからのランダムアクセスでは、フレーム番号はＩピクチャ以降の値しか存在しない。従って、メモリ管理制御コマンド（MMCO=1）を使用して非参照ピクチャに設定するにも指し示すピクチャが復号画像バッファに存在しない。
【００４２】
そこで、本発明では、ＭＭＣＯ＝４の長期フレームインデックスの最大値を変更するメモリ管理制御コマンドを使用する。このとき、長期フレームインデックス最大値を［０］とすると、以前に存在した長期参照ピクチャを復号画像バッファから開放することができる。この仕組みを利用して、参照Ｂピクチャを長期参照ピクチャに設定し、その後参照に不要となったタイミングで長期フレームインデックスの最大値を変更するコマンドにより長期参照ピクチャを開放する。これにより瞬時復号器更新ピクチャ以外のＩピクチャからのランダムアクセス時にも矛盾のないコマンドを発行することができる。
【００４３】
参照画像リストは、参照画像リスト順序コマンドを用いない場合、短期参照ピクチャ、長期参照ピクチャの順で生成される。このため参照Ｂピクチャを長期参照ピクチャに設定した場合は、リストの最後の参照番号を振られる。これは符号化効率の面で不利になるために、参照画像リスト順序コマンドを用いて、最も小さい参照番号を振る。
【００４４】
以上の処理を継続的に行うことにより図６の（Ａ）〜（Ｄ）に示すような参照関係が実現できる。
【発明の効果】
【００４５】
本発明では、マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うので、長期間フレームインデックスの最大値を変更するメモリ管理制御コマンドを発行することで長期間フレームインデックスを指定することなく長期間参照ピクチャをメモリから開放することができ、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセス時にＤＰＢに存在しない参照ピクチャを指し示すことがないため、全く矛盾のないストリームを実現することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００４７】
本発明は、例えば図１に示すような構成の画像情報符号化装置１０に適用される。
【００４８】
この画像情報符号化装置１０は、Ａ／Ｄ変換部１１、画面並べ替えバッファ１２、メモリ管理制御（MMCO:Memory management control operation）コマンド発生部１３、加算器１４、直交変換部１５、量子化部１６、可逆符号化部１７、蓄積バッファ１８、逆量子化部１９、逆直交変換部２０、デブロックフィルタ２１、フレームメモリ２２、イントラ予測部２３、動き予測・補償部２４、レート制御部２５などからなる。
【００４９】
この図１に示す画像情報符号化装置１０において、Ａ／Ｄ変換部１１は、入力された動画像信号をデジタル信号に変換して画面並べ替えバッファ１２に供給する。
【００５０】
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１によりデジタル信号に変換された入力画像情報について、当該画像情報符号化装置１０から出力する画像圧縮情報の画像群（GOP:Group of Pictures）構造に応じて、フレームの並べ替えを行い、並べ替え済みの入力画像情報をメモリ管理制御コマンド発生部１３を介して加算器１４、直交変換部１５、イントラ予測部２３及び動き予測・補償部２４に供給する。
【００５１】
ＭＭＣＯコマンド発生部１３は、画面並べ替えバッファ１２から供給される入力画像情報について、例えば、画像群（GOP:Group of Pictures）構造に応じて効率の良い参照関係を実現し、かつ瞬時復号器更新（IDR：Instantaneous Decoding Refresh）ピクチャでないＩピクチャからのランダムアクセスが可能になるようなＭＭＣＯコマンドおよび参照画像リスト順序（Reference picture list reordering）コマンドを可逆符号化部１７及びフレームメモリ２２に対して発行する。
【００５２】
加算器１４は、ＭＭＣＯコマンド発生部１３を介して供給される入力画像情報とイントラ若しくはインター予測画像情報との差分値をマクロブロック毎に生成する。
【００５３】
ここで、イントラ符号化、すなわち、単一のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、イントラ予測部２３により生成されるイントラ予測画像情報の差分値が直交変換部１５に入力される。また、インター符号化、すなわち、複数のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、動き補償・予測部２４により生成される参照画像情報の差分値が直交変換部１５に入力される。
【００５４】
直交変換部１５は、加算器１４から供給されるマクロブロック毎の差分値について、可変の変換サイズ単位で離散コサイン変換、カルーネン・レーベ変換等の直交変換、ここでは、離散コサイン変換（DCT:Discrete Cosine Transform）を行い、得られる直交変換（DCT）係数を量子化部１６に供給する。
【００５５】
量子化部１６は、直交変換部１５から供給される変換係数に対して量子化処理を施し、量子化した変換係数を可逆変換部１７及び逆量子化部１９に供給する。
【００５６】
量子化部１６の挙動は、レート制御部２５によって制御されている。
【００５７】
可逆変換部１７は、量子化部１６から供給される量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化、例えば、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）符号化を施す。この可逆変換部１７により可逆符号化された変換係数は、蓄積バッファ１８に蓄積され、画像圧縮情報として出力される。
【００５８】
また、逆量子化部１９は、量子化部１６から供給される量子化された直交変換係数の逆量子化処理を行い、直交変換係数を逆直交変換部２０に供給する。
【００５９】
逆直交変換部２０は、逆量子化部１９から供給される直交変換係数の逆直交変換処理を行い、得られる復号画像情報をデブロックフィルタ２１を介してフレームメモリ２２に供給する。
【００６０】
デブロックフィルタ２１は、復号画像情報に含まれるブロック歪を除去する。
【００６１】
フレームメモリ２２は、復号画像情報を蓄積する。
【００６２】
イントラ予測部２３は、フレームメモリ２２から、隣接する、既に符号化済の画像情報を取り出して、これを元に、直交変換サイズに適したイントラ予測処理のみを行う。
【００６３】
動き予測・補償部２４は、参照画像情報に対して動きベクトルの探索及びインター予測画像情報の生成を行う。
【００６４】
レート制御部２５は、フィードバック制御により量子化部１６の動作の制御を行い、出力となる画像圧縮情報の符号量制御を行う。
【００６５】
そして、この画像情報符号化装置１０では、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを図２のフローチャートに従って行う。
【００６６】
すなわち、この画像情報符号化装置１０では、ランダムアクセスを開始すると、先ず、ステップＳ１において、復号画像バッファを状態にする。
【００６７】
次のステップＳ２では、Ｉピクチャの復号処理を行う。
【００６８】
次のステップＳ３では、メモリ管理制御コマンド（MMCO=4）により長期間フレームインデックス（long-term frame index）の最大値を［−１］に設定する。
【００６９】
次のステップＳ４では、Ｉピクチャを復号画像バッファに保存する。
【００７０】
次のステップＳ５では、Ｂｓピクチャの復号処理を行う。
【００７１】
次のステップＳ６では、メモリ管理制御コマンド（MMCO=4）により長期間フレームインデックス（long-term frame index）の最大値を［０］に設定する。
【００７２】
次のステップＳ７では、メモリ管理制御コマンド（MMCO=6）により長期間フレームインデックス（long-term frame index）の値を［０］に設定する。
【００７３】
次のステップＳ８では、Ｂｓピクチャを復号画像バッファに保存する。
【００７４】
次のステップＳ９では、Ｂピクチャの復号処理を行う。
【００７５】
次のステップＳ１０では、参照画像リスト順序コマンドによりＬ１のref_idx0にＢｓピクチャを指定する。
【００７６】
次のステップＳ１１では、Ｂピクチャを復号画像バッファに保存する。
【００７７】
次のステップＳ１２では、Ｂピクチャの復号処理を行う。
【００７８】
次のステップＳ１３では、参照画像リスト順序コマンドによりＬ０のref_idx0にＢｓピクチャを指定する。
【００７９】
次のステップＳ１４では、Ｂピクチャを復号画像バッファに保存する。
【００８０】
次のステップＳ１５では、ＧＯＰの終わりであるか否かを判定する。
【００８１】
このステップＳ１５における判定結果がＮＯ、すなわち、ＧＯＰの終わりでない場合には次のステップＳ１６に進み、また、上記ステップＳ１５における判定結果がＹＥＳ、すなわち、ＧＯＰの終わりである場合には、上記ステップＳ２に戻る。
【００８２】
次のステップＳ１６では、Ｐピクチャの復号処理を行う。
【００８３】
次のステップＳ１７では、メモリ管理制御コマンド（MMCO=4）により長期間フレームインデックス（long-term frame index）の最大値を［−１］に設定する。
【００８４】
次のステップＳ１８では、Ｐピクチャを復号画像バッファに保存して、上記ステップＳ５に戻る。
そして、上記ステップＳ５から上記ステップＳ１８の処理を繰り返し行い、上記ステップＳ１５における判定結果がＹＥＳ、すなわち、ＧＯＰの終わりまで復号処理を行ったならば、上記ステップＳ２に戻って次のＧＯＰのＩピクチャを復号する。
【００８５】
すなわち、この画像情報符号化装置１０において、上記メモリ管理制御コマンド発生部１３は、例えば、ＧＯＰ構造が図３に示すようなフレーム構造で、Ｂ０  Ｂｒ１  Ｂ２  Ｉ３  Ｂ４  Ｂｒ５  Ｂ６  Ｐ７  Ｂ８  Ｂｒ９  Ｂ１０  Ｐ１１  Ｂ１２  Ｂｒ１３  Ｂ１４  Ｐ１５で、復号順序がＩ３  Ｂｒ１  Ｂ０  Ｂ２  Ｐ７  Ｂｒ５  Ｂ４  Ｂ６  Ｐ１１  Ｂｒ９  Ｂ８  Ｂ１０  Ｐ１５  Ｂｒ１３  Ｂ１２  Ｂ１４のような階層構造の場合に、図４及び図５に示すように、表示順情報（POC）を１６で割ったときの余りを表すＰＯＣ％１６の値に対応させて定義したメモリ管理制御コマンド（#COMMAND=0〜#COMMAND=6）及び参照画像リスト順序コマンド（#COMMAND=0〜#COMMAND=3を発生するようにして、Ｉ３で長期間フレームインデックスの最大値を［０］に設定し、Ｂｒ１でメモリ管理制御コマンド（MMCO=4）により長期間フレームインデックスの最大値を［１］に設定し、Ｂｒ１を長期参照ピクチャに設定し、Ｂ０で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照し、Ｂ１で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照する処理を続けることで、図６の（Ａ）〜（Ｄ）に示すように、シンタックスが矛盾することなく、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことができる。
【００８６】
ここで、図６の（Ａ）はピクチャの種類及び 表示順情報を表示順序に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図６の（Ｂ）は各ピクチャの復号順序を示し、さらに、図６の（Ｃ），（Ｄ）は各時刻Ｔ０，Ｔ１，・・・，Ｔ１５，・・・における復号画像バッファ（参照画像バッファ、非参照画像バッファ）及び表示バッファの内容を示している。
【００８７】
また、例えば図７に示すように、表示順序（Display Order）がＢ０  Ｂｓ１  Ｂ２  Ｉ３  Ｂ４  Ｂｓ５  Ｂ６  Ｐ７  Ｂ８  Ｂｓ９  Ｂ１０  Ｐ１１  ・・・で、復号順序がＩ３  Ｂｓ１  Ｂ０  Ｂ２  Ｐ７  Ｂｓ５  Ｂ４  Ｂ６  Ｐ１１  Ｂｓ９  Ｂ８  Ｂ１０  ・・・のような階層構造を有し、矢印で示すような参照関係にある場合、この画像情報符号化装置１０では、各ステップでの復号画像バッファの状態は図８に示すようになる。図８の（ｓ１）〜（ｓ１８）は、ステップＳ１〜ステップＳ１８の各ステップにおける復号画像バッファ（DPB）（短期間参照画像バッファ、長期間参照画像バッファ、非参照画像バッファ）の状態を示し、また、図８の（ｓ１９）〜（ｓ３２）は、繰り返し行われる上記ステップＳ５〜ステップＳ１８の各ステップにおける復号画像バッファ（短期間参照画像バッファ、長期間参照画像バッファ、非参照画像バッファ）の状態を示している。
【００８８】
このように、上記メモリ管理制御コマンド発生部１３は、ＧＯＰ構造がＢピクチャを参照するような階層構造の場合に、ＭＭＣＯコマンドを発行することで、限られた復号画像バッファでフレーム間時間が最も短く効率の良い参照関係を可能にしている。
【００８９】
また、上記メモリ管理制御コマンド発生部１３は、ＧＯＰ構造がＢピクチャを参照するような階層構造の場合に、参照画像リスト順序コマンドを用いることで、限られた復号画像バッファでフレーム間時間が最も短く効率の良い参照関係を可能にしている。
【００９０】
さらに、上記メモリ管理制御コマンド発生部１３は、ＭＭＣＯコマンドを利用して参照されるＢピクチャを長期参照ピクチャに設定し、且つＰピクチャおよびＩピクチャにおいて長期フレームインデックスの最大値を［０］に設定することで、長期ピクチャを開放することにより瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスをシンタックスが矛盾することなく可能にしている。
【００９１】
なお、以上の説明した本発明の実施の形態では、最大復号フレームバッファ数（max_dec_frame_buffering）＝４、参照フレーム数（num_ref_frames）＝３の場合を例にとって、ＧＯＰ構造がフレーム構造の場合について、参照ピクチャＢｓは長期間参照ピクチャに設定するものとして、長期ピクチャを開放することにより瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスをシンタックスが矛盾することなく可能にしたが、これらの値が異なる場合でもそれに相当するＭＭＣＯコマンドおよび参照画像リスト順序コマンドを生成することにより、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセス時に復号画像バッファに存在しない参照ピクチャを指し示すことがないため、全く矛盾のないストリームを実現することができる。
【００９２】
また、本発明の実施の形態では、ＧＯＰ構造がフレーム構造の場合について説明したが、ＧＯＰ構造がフィールド構造であっても、最大復号フレームバッファ数（max_dec_frame_buffering）＝４、参照フレーム数（num_ref_frames）＝３の場合、Ｐピクチャの先頭で以前の長期間参照ピクチャを非参照ピクチャに設定し、参照ピクチャＢｓは長期間参照ピクチャに設定するものとして、長期ピクチャを開放することにより瞬時復号器更新（IDR）ピクチャでないＩピクチャからのランダムアクセスをシンタックスが矛盾することなくおこなうことができる。
【００９３】
すなわち、この画像情報符号化装置１０において、上記メモリ管理制御コマンド発生部１３は、例えば、ＧＯＰが図９に示すようなフィールド構造で、Ｂ−６  Ｂ−５  Ｂｒ−４  Ｂｒ−３  Ｂ−２  Ｂ−１  Ｉ０  Ｐ１  Ｂ２  Ｂ３  Ｂｒ４    Ｂｒ５  Ｂ６  Ｂ７  Ｐ８  Ｐ９  Ｂ１０  Ｂ１１  Ｂｒ９  Ｂ１２  Ｂｒ１３  Ｂ１４  Ｂ１５  Ｐ１６  Ｐ１７  Ｂ１８  Ｂ１９  Ｂｒ２０  Ｂｒ２１  Ｂ２２  Ｂ２３  Ｐ２４  Ｐ２５で、復号順序がＩ６  Ｐ７  Ｂ２  Ｂ３  Ｂ０  Ｂ１  Ｂ４  Ｂ５ Ｐ１４  Ｐ１５  Ｂ１０  Ｂ１１  Ｂ８  Ｂ９  Ｂ１２  Ｂ１３  Ｐ２２  Ｐ２３  Ｂ１８  Ｂ１９  Ｂ１６  Ｂ１７  Ｂ２０  Ｂ２１  Ｐ３０  Ｐ３１  Ｂ２  Ｂ２７  Ｂ２４  Ｂ２５  Ｂ２８  Ｂ２９  Ｐ３０  Ｐ３１  Ｂ３２・・・のような階層構造の場合に、図１０及び図１１に示すように、表示順情報（POC）を３２で割ったときの余りを表すＰＯＣ％３２の値に対応させて定義したメモリ管理制御コマンド（#COMMAND=0〜#COMMAND=6）及び参照画像リスト順序コマンド（#COMMAND=0〜#COMMAND=3を発生するようにして、Ｉ６で長期間フレームインデックス（long-term frame index）の最大値を［０］に設定し、Ｂｒ１でメモリ管理制御コマンド（MMCO=4）により長期間フレームインデックスの最大値を［１］に設定し、Ｂｒ１を長期参照ピクチャに設定し、Ｂ３で参照画像リスト順序コマンドによりＩ６およびＢｒ１を参照し、Ｂ３で参照画像リスト順序コマンドによりＩ６およびＢｒ１を参照する処理を続けることで、図１２に示すように、シンタックスが矛盾することなく、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことができる。
【図面の簡単な説明】
【００９４】
【図１】本発明を適用したＡＶＣ符号化方式の画像情報符号化装置の構成例を示すブロック図である。
【図２】上記画像情報符号化装置において瞬時復号器更新（IDR）ピクチャでないＩピクチャからのランダムアクセスを行うための処理手順を示すフローチャートである。
【図３】上記画像情報符号化装置において上記ランダムアクセスを行う画像群（GOP:Group of Pictures）構造を示す模式図である。
【図４】上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行うために用いるメモリ管理制御コマンドの詳細を示す図である。
【図５】上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行うために用いる参照画像リスト順序コマンドの詳細を示す図である。
【図６】上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行った場合の各情報の状態を模式的に示す図である。
【図７】上記画像情報符号化装置において上記ランダムアクセスが行われるフレーム構造のＧＯＰの構成例を模式的に示す図である。
【図８】上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行った場合の復号画像バッファ（短期間参照画像バッファ、長期間参照画像バッファ、非参照画像バッファ）の状態を模式的に示す図である。
【図９】上記画像情報符号化装置において上記ランダムアクセスを行うフィールド構造の画像群（GOP:Group oｆ Pictures）を示す模式図である。
【図１０】上記画像情報符号化装置においてフィールド構造のＧＯＰについて上記ランダムアクセスを行うために用いるメモリ管理制御コマンドの詳細を示す図である。
【図１１】上記画像情報符号化装置においてフィールド構造のＧＯＰについて上記ランダムアクセスを行うために用いる参照画像リスト順序コマンドの詳細を示す図である。
【図１２】上記画像情報符号化装置においてフィールド構造のＧＯＰについて上記ランダムアクセスを行った場合の各情報の状態を模式的に示す図である。
【図１３】従来のＡＶＣ符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置の構成例を示すブロック図である。
【図１４】従来のＡＶＣ符号化方式に基づく画像圧縮情報を入力とする画像情報復号装置の構成例を示すブロック図である。
【図１５】代表的な階層Ｂピクチャ構造を模式的に示す図である。
【図１６】簡略化した階層Ｂピクチャ構造を模式的に示す図である。
【図１７】階層Ｂピクチャ構造において、メモリ管理制御コマンドおよび参照画像リスト順序コマンドを使用しない場合の復号画像バッファおよび参照関係を模式的に示す図である。
【符号の説明】
【００９５】
１０  画像情報符号化装置、１１  Ａ／Ｄ変換部、１２  画面並べ替えバッファ、１３  メモリ管理制御コマンド発生部、１４  加算器、１５  直交変換部、１６  量子化部、１７  可逆符号化部、１８  蓄積バッファ、１９  逆量子化部、２０  逆直交変換部、２１  デブロックフィルタ、２２  フレームメモリ、２３  イントラ予測部、２４  動き予測・補償部、２５  レート制御部
【図１】
2008219204.tif 000003
【図２】
2008219204.tif 000004
【図３】
2008219204.tif 000005
【図４】
2008219204.tif 000006
【図５】
2008219204.tif 000007
【図６】
2008219204.tif 000008
【図７】
2008219204.tif 000009
【図８】
2008219204.tif 000010
【図９】
2008219204.tif 000011
【図１０】
2008219204.tif 000012
【図１１】
2008219204.tif 000013
【図１２】
2008219204.tif 000014
【図１３】
2008219204.tif 000015
【図１４】
2008219204.tif 000016
【図１５】
2008219204.tif 000017
【図１６】
2008219204.tif 000018
【図１７】
2008219204.tif 000019