(57)【要約】【課題】画像の符号化あるいは復号化において必要なメモリ量を考慮しながら、復号化して表示できないピクチャが生じない画像符号化装置を提供する。【解決手段】ピクチャメモリＰｉｃＭｅｍ２に保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であって、参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌは、復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるか否かを判定し、判定結果に基づいて参照用の画像および出力用の画像をピクチャメモリＰｉｃＭｅｍ２に格納する。【選択図】図３
2004274694.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であって、
復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるか否かを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させる
ことを特徴とする画像符号化方法。
【請求項２】
前記画像符号化方法は、
復号化された画像が参照用の画像であるか否かを判定する第１の判定ステップと、
復号化された画像が表示時刻まで保持が必要な出力用の画像であるか否かを判定する第２の判定ステップと、
第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理ステップと
を有することを特徴とする請求項１記載の画像符号化方法。
【請求項３】
前記ピクチャバッファは一定のサイズを有し、
前記画像符号化方法は、さらに、
ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第３の判定ステップと、
ピクチャバッファに保持されている画像が出力済となったか否かを判定する第４の判定ステップとを有し、
前記管理ステップにおいて、第３及び第４の判定ステップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する
ことを特徴とする請求項２記載の画像符号化方法。
【請求項４】
前記画像符号化方法は、さらに、
複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化ステップを有する
ことを特徴とする請求項３記載の画像符号化方法。
【請求項５】
前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第４の判定ステップにおいて出力済になったと判定された参照用でない画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像の何れかを格納する
ことを特徴とする請求項３記載の画像符号化方法。
【請求項６】
前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像の何れかを保持させる
ことを特徴とする請求項３記載の画像符号化方法。
【請求項７】
前記画像符号化方法は、さらに、
複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放ステップを有する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項８】
ピクチャバッファに保持されている画像を参照しながら予測符号化された入力画像を復号化する画像復号化方法であって、
復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させる
ことを特徴とする画像復号化方法。
【請求項９】
前記画像復号化方法は、
復号化された画像が参照用の画像であるか否かを判定する第１の判定ステップと、
復号化された画像が表示時刻まで保持が必要な出力用の画像であるか否かを判定する第２の判定ステップと、
第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理ステップと
を有することを特徴とする請求項８記載の画像復号化方法。
【請求項１０】
前記ピクチャバッファは一定のサイズを有し、
前記画像復号化方法は、さらに、
ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第３の判定手段と、
ピクチャバッファに保持されている画像が出力済となったか否かを判定する第４の判定ステップとを有し、
前記管理ステップにおいて、第３及び第４の判定ステップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する
ことを特徴とする請求項９記載の画像復号化方法。
【請求項１１】
前記画像復号化方法は、さらに、
複数の符号化画像からなるシーケンス毎に、当該シーケンス単位の一定となる前記サイズを取得する復号化ステップを有する
ことを特徴とする請求項１０記載の画像復号化方法。
【請求項１２】
前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第４の判定ステップにおいて出力済と判定された参照用で無い画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像の何れかを格納する
ことを特徴とする請求項１０記載の画像復号化方法。
【請求項１３】
前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像の何れかを保持させる
ことを特徴とする請求項１０記載の画像復号化方法。
【請求項１４】
前記画像復号化方法は、さらに、
複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、ピクチャバッファに保持されている参照用でない画像のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を出力する出力ステップを有する
ことを特徴とする請求項８記載の画像復号化方法。
【請求項１５】
ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化装置であって、
復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させる
ことを特徴とする画像符号化装置。
【請求項１６】
前記画像符号化装置は、
復号化された画像が参照用の画像であるか否かを判定する第１の判定手段と、
復号化された画像が表示時刻まで保持が必要な出力用の画像であるか否かを判定する第２の判定手段と、
第１の判定手段により参照用の画像と判定された画像または第２の判定手段により出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理手段と
を有することを特徴とする請求項１５記載の画像符号化装置。
【請求項１７】
前記ピクチャバッファは一定のサイズを有し、
前記画像符号化装置は、さらに、
ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第３の判定手段と、
ピクチャバッファに保持されている画像が出力済となったか否かを判定する第４の判定手段とを有し、
前記管理手段は、第３及び第４の判定手段における各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する
ことを特徴とする請求項１６記載の画像符号化装置。
【請求項１８】
前記画像符号化装置は、さらに、
複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化手段を有する
ことを特徴とする請求項１７記載の画像符号化装置。
【請求項１９】
前記管理手段は、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第４の判定手段により出力済になったと判定された参照用でない画像を保持している領域に、第１の判定手段により参照用の画像と判定された画像および第２の判定手段により出力用の画像と判定された画像の何れかを格納する
ことを特徴とする請求項１７記載の画像符号化装置。
【請求項２０】
前記管理手段は、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第１の判定手段により参照用の画像と判定された画像および第２の判定手段により出力用の画像と判定された画像の何れかを保持させる
ことを特徴とする請求項１７記載の画像符号化装置。
【請求項２１】
前記画像符号化装置は、さらに、
複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放手段を有する
ことを特徴とする請求項１５記載の画像符号化装置。
【請求項２２】
ピクチャバッファに保持されている画像を参照しながら予測符号化された入力画像を復号化する画像復号化装置であって、
復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させる
ことを特徴とする画像復号化装置。
【請求項２３】
前記画像復号化装置は、
復号化された画像が参照用の画像であるか否かを判定する第１の判定手段と、
復号化された画像が表示時刻まで保持が必要な出力用の画像であるか否かを判定する第２の判定手段と、
第１の判定手段により参照用の画像と判定された画像および第２の判定手段により出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理手段と
を有することを特徴とする請求項２２記載の画像復号化装置。
【請求項２４】
前記ピクチャバッファは一定のサイズを有し、
前記画像復号化装置は、さらに、
ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第３の判定手段と、
ピクチャバッファに保持されている画像が出力済となったか否かを判定する第４の判定手段とを有し、
前記管理手段は、第３及び第４の判定手段における各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する
ことを特徴とする請求項２３記載の画像復号化装置。
【請求項２５】
前記画像復号化装置は、さらに、
複数の符号化画像からなるシーケンス毎に、当該シーケンス単位の一定となる前記サイズを取得する復号化手段を有する
ことを特徴とする請求項２４記載の画像復号化装置。
【請求項２６】
前記管理手段には、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第４の判定手段により出力済になったと判定された参照用でない画像を保持している領域に、第１の判定手段により参照用の画像と判定された画像および第２の判定手段により出力用の画像と判定された画像の何れかを格納する
ことを特徴とする請求項２４記載の画像復号化装置。
【請求項２７】
前記管理手段は、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された参照用でない画像のうち表示順で古い画像を保持している領域に、第１の判定手段により参照用の画像と判定された画像および第２の判定手段により出力用の画像と判定された画像の何れかを保持させる
ことを特徴とする請求項２４記載の画像復号化装置。
【請求項２８】
前記画像復号化装置は、さらに、
複数の符号化画像を含むシーケンスの途中で入力画像のサイズが変更された場合、ピクチャバッファに保持されている参照用でない画像のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を出力する出力手段を有する
ことを特徴とする請求項２２記載の画像復号化装置。
【請求項２９】
請求項１から７の何れかに記載の画像符号化方法又は請求項８から１４の何れかに記載の画像復号化方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化して表示する画像復号化方法に関する。
【０００２】
【従来の技術】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ  ：  Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。  そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００４】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とは、動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｉｔ／ｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｉｔ／ｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２（非特許文献１）では、動画像信号が２〜１５Ｍｂｉｔ／ｓに圧縮される。さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１）  によって、ＭＰＥＧ−１，ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００５】
更に近年、ＭＰＥＧ−４の次世代符号化としてＪＶＴと呼ばれる、ＩＴＵ−ＴとＩＳＯ／ＩＥＣ共同による新しい画像符号化が標準化中である。
図２４はピクチャの予測構造・復号順序と表示順序を示す図である。ピクチャとはフレームもしくはフィールドのいずれかを指す用語であり、本明細書ではフレームもしくはフィールドの代わりにピクチャという表現を用いる。また、画像もしくは画面という用語もピクチャと同義語である。図２４で斜線のハッチングを施したピクチャは、他のピクチャの符号化・復号化の際に参照されるため、メモリに保存されるピクチャを表す。
【０００６】
Ｉ０は画面内符号化ピクチャであり、Ｐ３、Ｐ６、Ｐ９は画面間予測符号化ピクチャ（Ｐピクチャ）である。ＪＶＴ標準化案では画面間符号化では、従来のＭＰＥＧ−１／２／４と異なり、複数の符号化済ピクチャから任意のピクチャを参照ピクチャとして１つ選択して、参照ピクチャから予測画像を生成することができる。たとえば、Ｐ９ピクチャは、Ｉ０、Ｐ３、Ｐ６の３つのピクチャから任意の１ピクチャを選択してそのピクチャから予測画像を生成することができる。これにより、従来のＭＰＥＧ−１／２／４よりも適切な予測画像を選択できる可能性が高まり、圧縮率が向上する。Ｂ１、Ｂ２、Ｂ４、Ｂ５、Ｂ７、Ｂ８は画面間双予測符号化ピクチャ（Ｂピクチャ）であり、画面間予測ピクチャの予測と異なり、複数（２つ）のピクチャを選択してその選択したピクチャから予測画像を生成し符号化する。特に、時間的に前後の２つのピクチャの平均値を予測画像とする内挿予測をすることで、予測画像の精度を大幅に向上でき圧縮率が大幅に向上することが知られている。以下、画面内符号化ピクチャをＩ、画面間予測符号化ピクチャをＰ、画面間双予測符号化ピクチャをＢという記号を各ピクチャに付与し、各ピクチャの符号化方法を区別する。
【０００７】
Ｂピクチャで時間的に前後のピクチャを予測符号化で参照するためには、時間的に後方のピクチャが先に符号化・復号化されていなければならない。これは、ピクチャの並べ替え（リーオーダリング）と呼ばれ、従来のＭＰＥＧ−１／２／４からよく行われている。従って、符号化順序（Ｓｔｒｅａｍ  Ｏｒｄｅｒ）に対し、符号化されたストリームを復号化して表示する順序（Ｄｉｓｐｌａｙ  Ｏｒｄｅｒ）は図２４のピクチャの予測構造・復号順序と表示順序を示す図のように並べ替えられることになる。なお、図２４の例におけるＢピクチャはストリームを復号化した瞬間に表示されるため、他の画像から参照されない場合はメモリ等に蓄積する必要が無いが、ＩピクチャやＰピクチャは復号化した後、次のＢピクチャを復号化した後に表示されるため、メモリに保存する必要がある。
【０００８】
以下、ピクチャの予測構造・復号順序と表示順序を示す図においては、用語およびピクチャの斜線のハッチングの意味は図２４と同じ意味で統一する。
図２５は他のピクチャの予測構造・復号順序と表示順序を示す図である。同図において、図２４との違いは、ピクチャ６がＰピクチャで無く、Ｉピクチャであることである。
【０００９】
図２６は従来の画像符号化方法を実現するための画像符号化装置のブロック図である。以下、図２６の従来の画像符号化方法を実現する画像符号化装置の動作について説明する。
ピクチャ構造決定ユニットＰｉｃＳｔｒｕｃｔは各ピクチャの符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を決定して参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌにその符号化タイプおよび符号化で参照可能なピクチャを指示し、またピクチャの符号化順序を並べ替えユニットＲｅＯｒｄｅｒに通知する。並べ替えユニットＲｅＯｒｄｅｒは入力ピクチャＰｉｃＩｎの順序を符号化順序に並べ替えて、動き検出ユニットＭＥおよび減算ユニットＳｕｂに並べ替えたピクチャを出力する。動き検出ユニットＭＥはピクチャメモリＰｉｃＭｅｍ１に保存されたピクチャを参照して適切な参照ピクチャとその画素位置を指し示す動きベクトルＭＶとを導出し、可変長符号化ユニットＶＬＣとピクチャメモリＰｉｃＭｅｍ１、動き補償ユニットＭＣに送出する。ピクチャメモリＰｉｃＭｅｍ１は動きベクトルＭＶに対応する参照ピクチャの画素を動き補償ユニットＭＣに出力し、動き補償ユニットＭＣはピクチャメモリＰｉｃＭｅｍ１から得た参照ピクチャの画素と動きベクトルＭＶとから予測画像を生成する。
【００１０】
減算ユニットＳｕｂは並べ替えユニットＲｅＯｒｄｅｒで並べ替えたピクチャと予測画像の差を計算し、その差を直交変換ユニットＴで周波数係数に変換し、更に量子化ユニットＱで周波数係数を量子化し、量子化値Ｃｏｅｆとする。
逆量子化ユニットＩＱは量子化値Ｃｏｅｆを逆量子化して周波数係数に復元し、更に逆直交変換ユニットＩＴで周波数係数から画素差分値に逆周波数変換する。加算ユニットＡｄｄでは予測画像を画素差分値に加算して復号画像を得る。
【００１１】
参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌはピクチャの符号化タイプに応じ、参照ピクチャとして参照するためにピクチャメモリＰｉｃＭｅｍ１に保存すべき復号画像か、ピクチャメモリＰｉｃＭｅｍ１から開放（参照ピクチャとして以後参照されない）すべき復号画像があるかを判断し、その動作をメモリ管理コマンドＭＭＣＯとして通知する。
【００１２】
スイッチＳＷは、当該復号画像がメモリ管理コマンドＭＭＣＯによって保存が指示された場合にＯＮになり、当該復号画像がピクチャメモリＰｉｃＭｅｍ１に参照ピクチャとして保存される。また、ピクチャメモリＰｉｃＭｅｍ１は、メモリ管理コマンドＭＭＣＯによってピクチャメモリＰｉｃＭｅｍ１から開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。
【００１３】
可変長符号化ユニットＶＬＣは、量子化値Ｃｏｅｆ、動きベクトルＭＶ、メモリ管理コマンドＭＭＣＯを符号化し、符号化ストリームＳｔｒを出力する。
符号化として周波数変換と量子化を伴う例を示したが、周波数変換や量子化を伴わない符号化（ＤＰＣＭやＡＤＰＣＭ、線形予測符号化など）でもよい。また、周波数変換と量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に量子化を伴わない符号化でもよい。
【００１４】
図２７はメモリ管理コマンドＭＭＣＯの符号例である。符号化・復号化の最初や、ＧＯＰの先頭ではピクチャメモリを初期化するために、可変長符号化ユニットＶＬＣは全メモリ開放を意味する’０００’を符号化する。また、復号化した画像をピクチャメモリに保存する場合には、可変長符号化ユニットＶＬＣは’０１’を符号化する。ピクチャメモリに保存したピクチャを開放する場合は、開放するピクチャ番号を指示しなければならないので、可変長符号化ユニットＶＬＣは’００１’の次に開放するピクチャ番号を符号化する。なお、同時に複数ピクチャ開放する場合は開放するコマンドを複数回符号化する必要があり、またピクチャを開放するコマンドに加えて、ピクチャを保存する場合もある。そこで、可変長符号化ユニットＶＬＣは複数のメモリ管理コマンドＭＭＣＯを続けて符号化し、メモリ管理コマンドＭＭＣＯが完了したことを示す’１’を最後に符号化する。以上のようにして、メモリ管理コマンドＭＭＣＯが符号化ストリームＳｔｒに符号化される。
【００１５】
図２８は従来の画像復号化方法を実現する画像復号化装置のブロック図である。同図において、図２６の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。
可変長復号化ユニットＶＬＤは符号化ストリームＳｔｒを復号化し、メモリ管理コマンドＭＭＣＯ、動きベクトルＭＶ、量子化値Ｃｏｅｆを出力する。ピクチャ時刻Ｔｉｍｅは外部から入力され、表示するピクチャを指定する信号である。表示すべきピクチャが復号化した当該ピクチャであればセレクタＳｅｌで加算ユニットＡｄｄの出力が選択され、表示ユニットＤｉｓｐに送出される。表示すべきピクチャがピクチャメモリＰｉｃＭｅｍ１に保存されているピクチャであればそれがピクチャメモリＰｉｃＭｅｍ１から読み出され、レクタＳｅｌで選択され、表示ユニットＤｉｓｐに送出される。
【００１６】
なお、上述の通り、ピクチャメモリＰｉｃＭｅｍ１は動きベクトルＭＶに対応する画素を動き補償ユニットＭＣに出力し、動き補償ユニットＭＣはピクチャメモリＰｉｃＭｅｍ１から得た画素と動きベクトルＭＶとから予測画像を生成する。
また、逆量子化ユニットＩＱは量子化値Ｃｏｅｆを逆量子化して周波数係数に復元し、更に逆直交変換ユニットＩＴで周波数係数から画素差分値に逆周波数変換する。加算ユニットＡｄｄはその画素差分値に予測画像を加算して復号画像とする。
【００１７】
また、ピクチャメモリＰｉｃＭｅｍ１は、メモリ管理コマンドＭＭＣＯによってピクチャメモリＰｉｃＭｅｍ１での開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。
復号化として逆周波数変換と逆量子化を伴う例を示したが、逆周波数変換や逆量子化を伴わない復号化（ＤＰＣＭやＡＤＰＣＭ、線形予測符号化など）でもよい。また、逆周波数変換と逆量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に逆量子化を伴わない復号化でもよい。
【００１８】
以上の図２８の従来の画像復号化方法を実現する画像復号化装置により、図２４および図２５で示す従来のピクチャ符号化タイプの組み合わせは、図２６の従来の画像符号化方法を実現する画像符号化装置で符号化した符号化ストリームＳｔｒを正しく復号化できることは明らかである。
【００１９】
【非特許文献１】
「ＩＳＯ／ＩＥＣ  １３８１８−２，Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −−  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  Ｖｉｄｅｏ」（１９９６年５月１５日）
【００２０】
【発明が解決しようとする課題】
さて、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討した。
図１はピクチャの従来にはない予測構造・復号順序と表示順序を示す図である。図１ではピクチャ４の前後でＢピクチャの予測構造が異なっている。即ち、ピクチャ２のＢピクチャは保存されてピクチャ１およびピクチャ３の予測画像として参照されるものである。その結果、各ピクチャの符号化順序および表示順序は図１のようになる。
【００２１】
さて、ピクチャ５とピクチャ６は予測符号化で参照されないので保存されないＢピクチャである。しかしながら、図２４の場合と異なり、復号化時点では他のピクチャの表示時刻であり、まだ表示する時刻になっていない。つまり、ピクチャＢ５の復号化時点ではピクチャＰ４を表示しなければならず、ピクチャＢ６の復号化時点ではピクチャＢ５を表示しなければならない。一方、ピクチャＢ５とピクチャＢ６は保存されないため、ピクチャメモリから表示時刻にピクチャＢ５とピクチャＢ６を出力することもできない。従って、予測符号化で参照されないピクチャはピクチャメモリに保存しないため、従来の符号化・復号化の方法ではピクチャＢ５とピクチャＢ６を復号化して表示できないことになる。すなわち、図２４に示す例のように予測符号化で参照されないピクチャを保存しない場合ではピクチャ０、ピクチャ１、ピクチャ２、ピクチャ４、ピクチャ７だけが表示できることになる。
【００２２】
このように、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討すると、復号化して表示できないピクチャが生じてしまうという問題がある。また、表示用に別途、ピクチャメモリを追加し、ピクチャメモリＰｉｃＭｅｍ１に保存されていないピクチャを表示用の別のピクチャメモリに保存すれば表示が可能になるが、この場合、別のピクチャメモリに大きな余分なメモリが必要になる欠点がある。
【００２３】
更に、表示用の別のピクチャメモリを導入したとしても、ストリーム途中からの再生において新たな問題が発生する。図２はピクチャの予測構造・復号順序と表示順序を示す図である。同図において、図２５との違いは、ピクチャ７の前後で完全に予測構造が独立となることである。Ｉ７以降のピクチャはＩ７より前の時刻のピクチャを符号化・復号化で参照しない。従って、Ｉ７ピクチャから復号化を開始すればＩ７ピクチャ以降が正しく復号化できるため、Ｉ７ピクチャはストリーム途中から再生可能であるという特徴を有する。このように、ストリーム途中にＩピクチャを挿入することが良く行われ、この途中から再生できる構造をＭＰＥＧ−２に準じてＧＯＰ（グループ  オブ  ピクチャ）と呼ぶことにする。
【００２４】
さて、ストリーム途中から再生するためには、途中から再生した時点でも再生画像が符号化装置と復号化装置との間で一致することを保証しなければならず、そのためにピクチャメモリの全ピクチャ領域を初期化するのが簡単な方法である。しかしながら、ピクチャ６はピクチャ７を復号化した時点ではまだ表示されずにピクチャメモリに格納されているため、単純にピクチャ６の表示前に全てのピクチャメモリを初期化してしまうとピクチャ６の表示時刻にピクチャメモリからピクチャ６を表示できなくなってしまう。
【００２５】
そこで、本発明では、画像の符号化あるいは復号化において必要なメモリ量を考慮しながら、復号化して表示できないピクチャが生じないようにすることを目的とする。
【００２６】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像符号化装置は、ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であって、復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させることを特徴とする。
【００２７】
ここで前記画像符号化方法は、復号化された画像が参照用の画像であるか否かを判定する第１の判定ステップと、復号化された画像が参照用ではなくかつ表示時刻まで保持が必要な出力用の画像であるか否かを判定する第２の判定ステップと、第１の判定ステップにおいて参照用の画像と判定された画像を前記ピクチャバッファに保持させ、第２の判定ステップにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理ステップとを有する構成としても良い。
【００２８】
この構成によれば、復号画像が参照用の画像であるかという判定に加えて、出力用の画像であるかという判定も行って、参照用の画像に加えて予測符号化において参照されないが復号されると同時に表示又は出力することができない画像を出力用画像としてピクチャバッファに格納する。画像符号化に際してこのような判定及びピクチャバッファ管理を行い復号動作を検証しているので、復号化装置において出力用の画像を確実にその表示時刻に表示あるいは出力することができる。
【００２９】
ここで、前記ピクチャバッファは一定のサイズを有し、前記画像符号化方法は、さらに、ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第３の判定ステップと、ピクチャバッファに保持されている出力用の画像が出力済となったか否かを判定する第４の判定ステップとを有し、前記管理ステップにおいて、第３及び第４の判定ステップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する構成としてもよい。
【００３０】
この構成によれば、管理ステップにおいて、前記ピクチャバッファの一定のサイズの範囲内で、参照用の画像と前記出力用の画像とを、画像を保持している領域を再利用して格納するので、メモリを無駄に消費することなく復号画像ピクチャバッファを必要最小限のサイズとすることができる。
【００３１】
さらに、前記画像符号化方法は、複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化ステップを有するようにしてもよい。
この構成によれば、シーケンス毎に前記サイズが一定となるので、シーケンス毎に予測符号化で用いる画像のタイプを柔軟に定めることができる。
【００３２】
また、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第４の判定ステップにおいて出力済になったと判定された出力用の画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて参照用の画像と判定された画像の何れかを格納する構成としてもよい。
【００３３】
この構成によれば、ピクチャバッファに格納された出力用の画像の領域のうち既に出力済の画像が格納されている領域に、新たな画像を格納する。つまり出力済の画像が格納されている領域を再利用するので、出力済でない復号画像の表示をより確実にすることができる。
【００３４】
さらに、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された出力用の画像のうち表示順で古い画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像の何れかを保持させる構成としてもよい。
【００３５】
この構成によれば、出力用の画像のうち表示順で古い画像が格納されている領域には出力済の復号画像が格納されている可能性が高いので、個々の復号画像の表示時刻を正確に判断する構成でなくても、出力済でない復号画像の表示をより確実にすることができる。
【００３６】
また、前記画像符号化方法は、さらに、複数の符号化画像を含むシーケンスの途中で入力画像のサイズ変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放ステップを有する構成としてもよい。
【００３７】
この構成によれば、サイズ変更があったとき、出力用の復号画像は復号画像ピクチャバッファに残すことができるので、サイズ変更の時点で出力済でない画像を削除することなくできるだけ多く出力することができる。
以上の様に、本発明によれば従来では正しく表示不可能であったピクチャも、余分なメモリを持つことなく、開放されたメモリ領域を有効に活用することで表示可能となり、その実用的価値は高い。
【００３８】
また本発明の画像復号化方法、画像符号化装置、画像復号化装置、プログラムについても上記と同様の構成、作用、効果を有する。
また、本発明の画像符号化方法又は画像復号化方法は、以下の（１）から（１６）の何れかの構成とすることができる。
【００３９】
（１）復号化されメモリに保存されている復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、前記復号化済画像をメモリから参照して予測画像を生成し、前記予測画像と前記画像信号の差を符号化して符号化ストリームとするステップと、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、所定の復号画像を前記メモリに格納するステップと、前記メモリの全領域を開放して再利用可能とするか否かを示す指示情報を前記符号化ストリームに含めるステップとを含むことを特徴とする画像符号化方法。
【００４０】
（２）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法。
【００４１】
（３）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法。
【００４２】
（４）復号化されメモリに保存されている復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、
前記復号化済画像を前記メモリから参照して予測画像を生成し、前記符号化ストリームを復号化して得られる画像信号に前記予測画像を加算して復号画像とし、所定の復号画像をメモリに格納するステップと、
前記符号化ストリームを復号化して得られるメモリの全領域を開放して再利用可能とするか否かを示す指示情報を基に、前記指示情報が示す情報に基づいた処理を行う処理ステップとを
含むことを特徴とする画像復号化方法。
【００４３】
（５）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法。
【００４４】
（６）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法。
【００４５】
（７）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法。
【００４６】
（８）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法。
【００４７】
（９）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法。
【００４８】
（１０）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、予測画像生成のために参照される画像および即座に表示不可能な画像をメモリに格納するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果を前記メモリに格納するメモリ手段を備えた画像符号化装置。
【００４９】
（１１）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって復号化装置で復号化済画像として外部に出力済である画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。
【００５０】
（１２）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって復号化済画像として外部に出力済の画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。
【００５１】
（１３）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。
【００５２】
（１４）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。
【００５３】
（１５）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であってで開放した順序が早い領域に格納するメモリ手段を備えた画像符号化装置。
【００５４】
（１６）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって開放した順序が早い領域に格納するメモリ手段を備えた画像復号化装置。
【００５５】
また、本発明の画像符号化方法及び画像復号化方法をコンピュータに実行させるプログラムを格納する記憶媒体は、以下の（１７）から（２３）の何れかとしてもよい。
【００５６】
（１７）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【００５７】
（１８）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【００５８】
（１９）上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。
【００５９】
（２０）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【００６０】
（２１）上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。
【００６１】
（２２）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【００６２】
（２３）上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。
【００６３】
また、本発明の画像符号化装置においてストリーム及び画像復号化装置に対するメモリ拘束条件を定義し、ビデオを符号化する方法は、以下の（Ａ１）から（Ａ２６）の何れかであってもよい。
【００６４】
（Ａ１）ストリーム及び画像復号化装置に対するメモリ拘束条件を定義する、画像符号化方法であって、用いることができる参照ピクチャの最大数を決定するステップと、後方予測参照ピクチャの最大数を設定するステップと、ストリームのヘッダーに後方予測参照ピクチャの前記最大数を入れるステップと、仮想ディスプレイ遅延バッファを生成するステップと、ディスプレイ・カウンタを生成するステップと、前記参照ピクチャに対して十分な記憶空間を割り当てるステップと、前記ビデオを符号化するステップと、を含む画像符号化方法。ここで、仮想・ディスプレイ遅延バッファは、画像符号化装置内のメモリに確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの出力する順序を示す情報（ピクチャ順序番号等）を保持する。ディスプレイ・カウンタは、仮想的にディスプレイに出力されるべきピクチャのピクチャ順序番号を記憶及び更新する。また、十分な記憶空間とは、参照ピクチャと表示用ピクチャを格納する領域をいう。
【００６５】
（Ａ２）参照ピクチャの前記最大数は、デコーダの能力を示すレベル値に応じて決定される、（Ａ１）に記載の画像符号化方法。
【００６６】
（Ａ３）後方予測参照ピクチャの前記最大数は、参照ピクチャの前記最大数よりも少ない、（Ａ１）または（Ａ２）に記載の画像符号化方法。
【００６７】
（Ａ４）ストリーム全体の前記後方予測は、後方予測参照ピクチャの前記最大数によって制限される、（Ａ１）、（Ａ２）または（Ａ３）に記載の画像符号化方法。
【００６８】
（Ａ５）前記仮想・ディスプレイ遅延バッファのサイズは、後方予測参照ピクチャの前記最大数から１を引いたものである、（Ａ１）に記載の画像符号化方法。
【００６９】
（Ａ６）前記仮想・ディスプレイ遅延バッファの物理メモリは、ピクチャの表示順序情報だけを含む、（Ａ１）または（Ａ５）に記載の画像符号化方法。
【００７０】
（Ａ７）前記ディスプレイ・カウンタは、仮想・ディスプレイ遅延バッファから除去されるピクチャの表示順序情報を記憶するために用いられる、（Ａ１）に記載の画像符号化方法。
【００７１】
（Ａ８）前記画像符号化方法は、利用可能な参照ピクチャを用いて符号化対象ピクチャを予測するステップと、前記符号化対象ピクチャを符号化するステップと、前記符号化したピクチャが予測に用いられるかどうかを決定するステップと、前記符号化したピクチャを復号化するステップと、前記復号化したピクチャを前記参照ピクチャ・バッファに記憶するステップと、前記仮想・ディスプレイ遅延バッファを更新するステップと、前記ディスプレイ・カウンタを更新するステップと、を含む（Ａ１）に記載の画像符号化方法。
【００７２】
（Ａ９）ピクチャの前記予測は、前記ピクチャが予測符号化される場合には一つ又は複数の参照ピクチャを用いることができる、（Ａ１）または（Ａ８）に記載の画像符号化方法。
【００７３】
（Ａ１０）前記参照ピクチャは、前記参照ピクチャ・バッファがメモリ拘束条件を満足した場合にのみ用いることができる、（Ａ１）または（Ａ８）に記載の画像符号化方法。
【００７４】
（Ａ１１）前記参照ピクチャは、前記符号化対象ピクチャが参照ピクチャとして用いられる場合に復号化される、（Ａ１）または（Ａ８）に記載の画像符号化方法。
【００７５】
（Ａ１２）前記復号化されたピクチャの記憶は、次のピクチャに対する参照ピクチャ数のメモリ拘束条件を決定するステップと、前記参照ピクチャ・バッファから未使用参照ピクチャを除去するステップと、前記復号化したピクチャを前記参照ピクチャ・バッファに加えるステップと、を含む、（Ａ１）、（Ａ８）または（Ａ１０）に記載の画像符号化方法。
【００７６】
（Ａ１３）次のピクチャに対する参照ピクチャの前記最大数は、ストリームに対する参照ピクチャの最大数から前記仮想・ディスプレイ遅延バッファのピクチャ数を引いた数に等しい、（Ａ１）、（Ａ８）、（Ａ１０）または（Ａ１２）に記載の画像符号化方法。
【００７７】
（Ａ１４）前記未使用参照ピクチャのディスプレイに対する表示順序情報は、ディスプレイに対する前記表示順序情報が前記ディスプレイ・カウンタの値よりも大きい場合に仮想・ディスプレイ遅延バッファに移動される、（Ａ１）、（Ａ８）、（Ａ１０）または（Ａ１２）に記載の画像符号化方法。
【００７８】
（Ａ１５）前記仮想・ディスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ・カウンタの値より大きい場合には、前記ピクチャの前記時間的情報を記憶する、（Ａ１）または（Ａ８）に記載の画像符号化方法。
【００７９】
（Ａ１６）前記仮想・ディスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ・カウンタの値以下である場合には、前記ピクチャの前記表示順序情報を除去する、（Ａ１）、（Ａ８）または（Ａ１５）に記載の画像符号化方法。
【００８０】
（Ａ１７）前記仮想・ディスプレイ遅延バッファの前記ピクチャ数は、前記仮想・ディスプレイ遅延バッファに存在するピクチャの表示順序情報の合計数によって定義される、（Ａ１）、（Ａ８）、（Ａ１０）、（Ａ１２）または（Ａ１３）に記載の画像符号化方法。
【００８１】
（Ａ１８）前記ディスプレイ・カウンタの表示順序情報は、前記仮想・ディスプレイ遅延バッファがフルであるときか又は符号化されたピクチャ数が前記参照ピクチャの最大数に等しいときに更新を開始する、（Ａ１）または（Ａ８）に記載の画像符号化方法。
【００８２】
（Ａ１９）前記ディスプレイ・カウンタの表示順序情報は、前記ディスプレイ・カウンタが更新を開始した後に符号化された各ピクチャの表示順序情報に基づいて更新される、（Ａ１）、（Ａ８）または（Ａ１８）に記載の画像符号化方法。
【００８３】
（Ａ２０）前記画像符号化装置のための画像復号化装置は、ストリーム・ヘッダーから最大ポスト・デコーダ・バッファ・サイズを決定するステップと、必要な参照ピクチャの最小数を決定するステップと、参照ピクチャに対して十分な物理メモリ空間を割り当てるステップと、前記ストリームを復号化するステップと、前記ストリームを出力するステップと、を含む（Ａ１）に記載の画像符号化方法。
【００８４】
（Ａ２１）前記最大ポスト・デコーダ・バッファ・サイズは、前記画像符号化装置によって設定された後方参照ピクチャの最大数である、（Ａ１）または（Ａ２０）に記載の画像符号化方法。
【００８５】
（Ａ２２）必要な参照ピクチャの前記最小数は、同じそのストリームを復号化できる画像復号化装置の能力レベルに対して固定される、（Ａ１）または（Ａ２０）に記載の画像符号化方法。
【００８６】
（Ａ２３）前記画像復号化装置で割り当てられた前記物理メモリ空間は、参照ピクチャ及びポスト・デコーダ・ピクチャの両方を記憶するために用いることができる、（Ａ１）または（Ａ２０）に記載の画像符号化方法。
【００８７】
（Ａ２４）参照ピクチャ及びポスト・デコーダ・ピクチャの両方の合計は、前記割り当てられた物理メモリ空間を超えない、（Ａ１）または（Ａ２０）に記載の画像符号化方法。
【００８８】
（Ａ２５）前記復号化は、復号化されたピクチャの数が前記最大ポスト・デコーダ・バッファ・サイズから１を引いた数に等しいときか又は復号化されたピクチャの合計数が参照ピクチャの前記決定された最小数に等しいときのいずれか早い方に、第１の復号化されたピクチャを出力する、（Ａ１）または（Ａ２０）に記載の画像符号化方法。
【００８９】
（Ａ２６）復号化されたピクチャは、一旦それが出力のために送られたならば前記ポスト・デコーダ・バッファから除去される、（Ａ１）または（Ａ２０）に記載の画像符号化方法。
【００９０】
また、本発明の画像復号化装置においてストリーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリームを復号化する方法は、以下の（Ａ２７）から（Ａ３７）の何れかであってもよい。
【００９１】
（Ａ２７）ストリーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリームを復号化する方法であって、ストリームに用いられる参照ピクチャの最大数を決定するステップと、後方予測参照ピクチャの最大可能数を決定するステップと、ポスト・デコーダ・バッファの最小サイズを計算するステップと、参照ピクチャ・バッファに対して十分な物理メモリ空間を割り当てるステップと、ポスト・デコーダ・バッファに対して十分な物理メモリ空間を割り当てるステップと、ストリームを復号化するステップと、参照ピクチャ・バッファに復号化したピクチャを記憶するステップと、ポスト・デコーダ・バッファに復号化したピクチャを記憶するステップと、復号化したピクチャを出力するステップと、を含む画像復号化方法。ここで、ポスト・デコーダ・バッファは、画像復号化装置内の参照ピクチャメモリにおける表示用領域をいう。
【００９２】
（Ａ２８）参照ピクチャの前記最大数は、ストリームを復号化できる能力のレベルに応じて画像復号化装置に対して固定される、（Ａ２７）に記載の画像復号化方法。
【００９３】
（Ａ２９）後方予測参照ピクチャの前記最大可能数は、参照ピクチャの前記最大数から１を引いた数によって定義される、（Ａ２７）に記載の画像復号化方法。
【００９４】
（Ａ３０）ポスト・デコーダ・バッファの前記最小サイズは、後方予測参照ピクチャの前記最大可能数から１を引いた数として定義される、（Ａ２７）に記載の画像復号化方法。
【００９５】
（Ａ３１）ポスト・デコーダ・バッファの前記最小サイズをストリームから取得する、（Ａ２７）または（Ａ３０）に記載の画像復号化方法。
【００９６】
（Ａ３２）後方予測参照ピクチャの前記最大可能数は、ポスト・デコーダ・バッファの前記最小サイズに１を加えた数によって定義される、（Ａ２７）または（Ａ３１）に記載の画像復号化方法。
【００９７】
（Ａ３３）参照ピクチャ・バッファの前記最小サイズは、参照ピクチャの前記最大数として定義される、（Ａ２７）に記載の画像復号化方法。
【００９８】
（Ａ３４）前記参照ピクチャ・バッファは、参照ピクチャを記憶するためにだけ用いられる、（Ａ２７）または（Ａ３３）に記載の画像復号化方法。
【００９９】
（Ａ３５）前記ポスト・デコーダ・バッファは、非参照ピクチャを記憶するために用いられる、（Ａ２７）、（Ａ３０）または（Ａ３１）に記載の画像復号化方法。
【０１００】
（Ａ３６）参照ピクチャは、それが非参照ピクチャと判定されたときに前記参照ピクチャ・バッファから除去される、（Ａ２７）、（Ａ３２）または（Ａ３３）に記載の画像復号化方法。
【０１０１】
（Ａ３７）ポスト・デコーダ・バッファのピクチャは、それが出力された際に前記ポスト・デコーダ・バッファから除去される、（Ａ２７）、（Ａ３０）、（Ａ３１）または（Ａ３５）に記載の画像復号化方法。
【０１０２】
以上の構成によればストリーム及び画像復号化装置の両方に対して同じメモリ拘束条件で動作させることで、ストリームを正しく復号化できることが保証できる。もしそうしなければ、画像復号化装置が復号化過程でストリームを復号化するために十分なメモリ空間を確保できない場合が発生する。
【０１０３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【０１０４】
（実施の形態１）
本発明の実施の形態１を説明する。
図３は本発明の画像符号化方法を実現する画像符号化装置のブロック図である。同図において、図２６の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。
図２６の従来の画像符号化方法を実現する画像符号化装置のブロック図との違いは、図３では表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌが追加され、さらに表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌの指示が参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌとピクチャメモリＰｉｃＭｅｍ２に出力されていることである。
【０１０５】
また、図３に示される画像符号化装置１００では新たに、外部から変更されたピクチャサイズを取得するとともに、ピクチャ構造決定ユニットＰｉｃＳｔｒｕｃｔから各ピクチャの符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を取得して、Ｉピクチャのタイミングで、変更するピクチャサイズを示す情報を参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌに出力するピクチャサイズ変更ユニットＰｉｃＳｉｚｅが設けられている。
【０１０６】
ピクチャメモリＰｉｃＭｅｍ２はピクチャメモリＰｉｃＭｅｍ１と動作が殆ど同じであるため、異なる動作の部分のみ説明する。
表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌはピクチャ時刻Ｔｉｍｅを取得し、参照されないために本来は保存されないピクチャが即座に表示可能かどうか（ピクチャメモリに表示時刻まで格納する必要があるかどうか）を判断する。ピクチャ時刻Ｔｉｍｅは外部から入力され、表示するピクチャを指定する信号である。ピクチャ時刻の取得は、例えばピクチャをパケット等の伝送路で伝送するためのシステムが出力する時刻情報から取得してもよいし、あるいは、ビデオストリームとオーディオストリームとを多重化するためのフォーマット中の時刻情報から取得してもよく、あるいは、ビデオストリームのフォーマット中の時刻情報から取得してもよい。また、これらはピクチャ毎に時刻がわかる絶対時刻であっても、ピクチャ間で時間の前後がわかる相対時刻であってもどちらでもよい。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。
【０１０７】
なお、即座に表示が可能である場合とは、加算器Ａｄｄで加算して得られたピクチャがピクチャ時刻Ｔｉｍｅで指示された表示するピクチャと一致する場合である。この場合には、ピクチャメモリＰｉｃＭｅｍ２に、未表示で且つ符号化のために入力されたピクチャより前に表示されるべきピクチャがない場合のことである。即座に表示可能でなければ、参照されない画像であってもピクチャメモリＰｉｃＭｅｍ２に保存するように、表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌは、参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌに指示を出す。その結果、即座に表示されないピクチャは参照の有無に関わらず必ずピクチャメモリＰｉｃＭｅｍ２に格納されることになり、復号化装置でピクチャメモリＰｉｃＭｅｍ２からピクチャを表示できるようになる。
【０１０８】
図４は本発明における参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌの動作のフローチャートである。
当該復号画像（ピクチャ）が予測画像として参照されるために保存すべきであるかどうかを判断する（Ｓｔｅｐ１０）。参照されるならばＳｔｅｐ１２に進み、そうでなければＳｔｅｐ１１に進む。
【０１０９】
Ｓｔｅｐ１１では当該復号画像が即座に表示可能であるかどうかを判断する。即座に表示可能とは、復号化した時点でそのまま表示できることであり（例えば図１に示すピクチャ１）、即座に表示不可能とは後で表示しなければならない（例えば図１に示すＢ５）ことである。即座に表示可能であれば終了し、そうでなければＳｔｅｐ１２に進む。
【０１１０】
Ｓｔｅｐ１２ではピクチャメモリＰｉｃＭｅｍ２から保存可能な領域を取得し、Ｓｔｅｐ１３で取得したピクチャメモリＰｉｃＭｅｍ２の領域に当該復号画像を保存するようにメモリ管理コマンドＭＭＣＯで指示を出す。
以上のようにして、即座に表示されないピクチャはピクチャメモリＰｉｃＭｅｍ２に保存し、表示時刻になった時点でピクチャメモリＰｉｃＭｅｍ２からピクチャを表示できるようにすることができる。また、表示用の余分なピクチャメモリを必要とすることがなく、表示のために保存が必要なピクチャを参照用のピクチャメモリに保存することができる。
【０１１１】
上述したピクチャメモリＰｉｃＭｅｍ２には、予測画像の生成のために参照される参照ピクチャが保存される参照用領域と、表示用ピクチャが保存される表示用領域が存在する。
ところで、前述したＧＯＰ（グループ  オブ  ピクチャ）毎にピクチャサイズの変更を行うことも可能である。このピクチャサイズの変更は、不要になった参照ピクチャの保存されたメモリの参照用領域を全て開放する（再利用可能の状態にする）場合にのみ行われる。
【０１１２】
しかしながら、このようにピクチャサイズの変更が行われる場合に、上述したように、未表示の表示用ピクチャはメモリ領域に保存されているが、この未表示の表示用ピクチャをどのように扱うべきか（消去すべきか、そのまま表示されるまで保存すべきか）に対する対処方法について明確に決定する必要がある。
【０１１３】
ここで、ピクチャサイズの変更が行われるときの、メモリへのピクチャの保存状態について段階的に説明する。
図５（ａ）（ｂ）（ｃ）は、メモリへのピクチャの保存状態を段階的に示す状態図である。
【０１１４】
図５（ａ）において、ピクチャ２００ａ、２００ｂ、２００ｃは、参照用に保存された参照ピクチャ（予測画像生成のために参照されるピクチャ）であり、ピクチャ２０１ａ，２０１ｂ，２０１ｃ，２０１ｄ，２０１ｅは、表示用に保存されている表示用ピクチャ（未表示のピクチャ）である。
【０１１５】
ピクチャ２０１ａ，２０１ｂ，２０１ｃ，２０１ｄ，２０１ｅは、この順番に表示される。
この図５（ａ）には、参照ピクチャ２００ａ、２００ｂ、２００ｃの保存されているメモリ領域が全て開放されて再利用可能な状態とされた状態が示されている。
【０１１６】
図５（ｂ）には、図５（ａ）に示す状態の後にピクチャサイズが変更され、参照ピクチャ２００ａの保存されていたメモリ領域に、ピクチャサイズが大きくなるよう変更された参照ピクチャ２０２ａが保存され、さらに表示用ピクチャ２０１ａが表示されて、そのメモリ領域が開放された状態が示されている。
【０１１７】
図５（ｃ）は、図５（ｂ）に示す状態の後、さらに表示用ピクチャ２０１ｂの保存されたメモリ領域が開放され、表示用ピクチャ２０１ａ，２０１ｂの保存されていた開放されたメモリ領域に、画像サイズが大きくなるように変更された参照ピクチャ２０２ｂが保存された状態を示しており、小さなメモリ領域２０３が残っている。この状態で、表示用ピクチャ２０１ｃが保存されているメモリ領域を開放しても、新たに参照ピクチャ（ピクチャサイズが大きくなるように変更された）を保存することはできない。
【０１１８】
このように、ピクチャサイズが変更されると、メモリ内に異なるピクチャサイズのピクチャが混在する（ピクチャサイズが大きくなるように変更された参照ピクチャと、サイズ変更前の未表示の表示用ピクチャ）ことになる。
それによって、メモリが断片的に使用されるようになり、使用できない小さなメモリ領域が発生してメモリの使用効率が劣化する。また、メモリを断片的に使用しないように、発生した小さなメモリ領域がなくなるようにメモリ内でデータの再配置を行うと、メモリアクセスが非常に大きくなってその間の実時間で符号化・復号化動作を実現することが困難である。
【０１１９】
そのため、ピクチャサイズが変更される場合は、第１の方法として、未表示の表示用ピクチャの保存されている表示用領域と、参照ピクチャの保存されている参照用領域を開放して（再利用可能な状態として）、未表示の表示用ピクチャの表示をあきらめるようにする。このようにすることにより、サイズの異なるピクチャの混在により生じるメモリの断片的な使用を防止することができ、メモリの使用効率の劣化を抑えることができる。
【０１２０】
上述したピクチャサイズの変更は次のタイミングで行われる。すなわち、図３に示すピクチャサイズ変更ユニットＰｉｃＳｉｚｅが、ピクチャ構造決定ユニットＰｉｃＳｔｒｕｃｔが決定した各ピクチャの符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）と、外部から入力される変更するピクチャサイズとをうけて、Ｉピクチャのタイミングでピクチャサイズの変更を行う指令を参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌに出力する。このＩピクチャは、例えばＧＯＰの最初に挿入される特別なＩピクチャ（ＩＤＲピクチャ）である。
【０１２１】
また、ピクチャサイズが変更される場合は、第２の方法として、メモリの全領域を開放して、未表示の表示用ピクチャをあきらめるようにする手段と、あるいは参照ピクチャが保存された参照用領域のみを開放して、符号化信号（ストリーム）を復号する後述する画像復号化装置（デコーダ）の判断により、サイズ変更前のピクチャで未表示の表示用ピクチャについては表示できるものを表示するようにし、未表示の表示用ピクチャの表示を義務付けないようにする手段とを切り替えるようにしている。このとき、画像復号化装置は、未表示のピクチャについて例えば損傷していないピクチャなどの表示可能なピクチャを表示順序に従って表示するようにする。
【０１２２】
このような切り替えを行うとき、メモリの全領域を開放する方法と、参照ピクチャが保存された参照用領域のみを開放する方法のいずれの方法で行うかを示す指示情報（フラグ）もしくは他の識別できるような情報を画像符号化装置１００から出力されるストリームＳｔｒに含めて配置する。
【０１２３】
画像復号化装置側では、ストリームに配置された指示情報に基づいた処理を行う。
この指示情報が示す２つの方法を切り替える際の判断基準の例としては、いずれの方法で行うかをアプリケーションによってコンテンツを作る人が決めるようにするか、メモリに余裕があれば参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない（メモリの全領域を開放することはしない）か、あるいは、ピクチャサイズが小さくなるよう変更される場合は、参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない（メモリの全領域を開放することはしない）などが考えられる。
以上の構成により、従来の課題を解決する画像符号化装置が実現できる。
【０１２４】
（実施の形態２）
本発明の実施の形態２について説明する。
本実施の形態では、図３で示した表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌが、ピクチャメモリＰｉｃＭｅｍ２に対して、開放したメモリにピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチャを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存（上書き）されない限りは直前に保存したピクチャが再生できる。そこで、仮に表示していないピクチャの保存されたメモリ領域が開放されたとしても、そのメモリ領域には新しいピクチャを保存せず、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で、開放されているが、まだ上書きされずに残っている未表示のピクチャを表示することができる。このピクチャメモリの開放されたピクチャ領域にあるピクチャを表示用ピクチャと呼ぶことにする。なお、表示済とは、表示装置への出力済と実質的に同義であり、復号化装置においては実際に表示したこと（あるいは表示装置へ出力したこと）を意味し、符号化装置においては実際には表示（あるいは出力）するわけではなくピクチャ時刻Ｔｉｍｅに指定されたときに表示したもの（あるいは出力したもの）とみなして扱うことを意味する。
【０１２５】
図６は本実施の形態における画像符号化装置１００の動作を示すフローチャートである。本実施の形態は、開放領域のメモリに保存されているピクチャが表示済みかどうかで、ピクチャの保存を決定することを特徴とする。
まず、Ｓｔｅｐ２０で当該復号画像がピクチャメモリＰｉｃＭｅｍ２に保存するものかどうかをメモリ管理コマンドＭＭＣＯの指示に基づき判断する。
【０１２６】
保存する場合には、開放されたピクチャ領域を取得し（Ｓｔｅｐ２１）、開放されてピクチャ領域に保存されていたピクチャが表示済であるかどうかを確認する（Ｓｔｅｐ２２）。まだ表示されていなければ、Ｓｔｅｐ２１に戻り表示済のピクチャが保存されていた開放領域を見つけるまで処理を繰り返す。
【０１２７】
表示済のピクチャが保存されていた開放領域を見つけたならば、その領域に復号画像を保存する（Ｓｔｅｐ２３）。
このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されている領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。
【０１２８】
なお、メモリに保存されているピクチャが表示済みかどうかは、表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌにおいて表示したかどうかの情報を管理することによって判断することができる。
また、ピクチャ領域が開放領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「ｕｓｅｄ（参照ピクチャとして使用可能）」か「ｕｎｕｓｅｄ（以後、参照ピクチャとして参照されない）」なのかをメモリ管理コマンドＭＭＣＯに従ってピクチャメモリＰｉｃＭｅｍ２において保持し、この保持されている情報を参照することにより判断することができる。
【０１２９】
以上の構成により、従来の課題を解決する画像符号化装置が実現できる。
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。
なお、ピクチャサイズが変更になった場合の動作は、実施の形態１と同様なので説明を省略する。
【０１３０】
（実施の形態３）
本発明の実施の形態３を説明する。
図７は本発明の実施の形態３における画像符号化装置１００の動作を示すフローチャートである。本実施の形態は、メモリを開放した時刻によってピクチャの保存を決定することを特徴とする。
まず、Ｓｔｅｐ３０で当該復号画像がピクチャメモリＰｉｃＭｅｍ２に保存するものかどうかをメモリ管理コマンドＭＭＣＯの指示に基づき判断する。
【０１３１】
保存する場合には、最も古い時刻に開放されたピクチャメモリ領域を取得し（Ｓｔｅｐ３１）、その領域に復号画像を保存する（Ｓｔｅｐ３２）。
また、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域、あるいは最も表示時刻が古いピクチャの保存されているメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。
【０１３２】
表示時刻の情報はシステムが管理するため、画像復号化装置の作り方によっては表示時刻を入手することが困難である。最も古い時刻に保存されたピクチャの領域が、より新しい時刻に保存された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。古い表示時刻のピクチャが既に表示されている可能性が高いのは当然であるため、最も古い時刻に保存されたピクチャは既に表示されている可能性が高い。従って、最も古い時刻に保存されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャを上書きしない可能性が高くなる。また、最も古い時刻がピクチャを符号化した時刻の最も古い時刻である場合、例えば最も古い時刻に符号化されたかどうかはピクチャの予測構造・復号順序から判断することが可能である。
【０１３３】
また、これらの最も古い時刻は時刻である必要はなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。
【０１３４】
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。また、ピクチャメモリＰｉｃＭｅｍ２に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチャの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌにおいて表示したかどうかの情報を管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。
なお、ピクチャサイズが変更になった場合の動作は、実施の形態１と同様なので説明を省略する。
【０１３５】
（実施の形態４）
本発明の実施の形態４を説明する。
図８は本発明の実施の形態４における画像符号化装置１００の動作を示すフローチャートである。本実施の形態は、メモリを開放した順番によってピクチャの保存を決定することを特徴とする。
まず、Ｓｔｅｐ４０で当該復号画像がピクチャメモリＰｉｃＭｅｍ２に保存するものかどうかをメモリ管理コマンドＭＭＣＯの指示に基づき判断する。
【０１３６】
保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し（Ｓｔｅｐ４１）、その領域に復号画像を保存する（Ｓｔｅｐ４２）。
表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最初に開放されたピクチャの領域が、後で開放された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。
【０１３７】
なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「ｕｓｅｄ：開放されていない（参照ピクチャとして使用可能）」か「ｕｎｕｓｅｄ：開放済み（以後、参照ピクチャとして参照されない）」かをメモリ管理コマンドＭＭＣＯに従ってピクチャメモリＰｉｃＭｅｍ２において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリＰｉｃＭｅｍ２を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数（またはピクチャ数）の画像が保存される先入れ先出し方式（ＦＩＦＯ）のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。  以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。
なお、ピクチャサイズが変更になった場合の動作は、実施の形態１と同様なので説明を省略する。
【０１３８】
（実施の形態５）
本発明の実施の形態５を説明する。
図９は本発明の画像復号化方法を実現する画像復号化装置のブロック図である。同図において、図３の本発明の画像符号化方法を実現する画像符号化装置のブロック図および図２８の従来の画像復号化方法を実現する画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。
【０１３９】
図９の画像復号化装置１５０において、従来例を示す図２８と異なる点は、図９では、外部から取得した変更するピクチャサイズ、および可変長復号化ユニットＶＬＤから取得したメモリ管理コマンドＭＭＣＯを基に、特別なＩピクチャ（ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャ）のタイミングでピクチャサイズを変更する指令をピクチャメモリＰｉｃＭｅｍ２に出力するピクチャサイズ変更検出ユニットＰｉｃＳｉｚｅＤｅｔと、表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌが新たに設けられている。
【０１４０】
表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌはピクチャメモリＰｉｃＭｅｍ２における開放した領域に対してピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチャを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存（上書き）されない限りは直前に保存したピクチャのデータがメモリ内に残っており再生できる。そこで、仮に表示していないピクチャが開放されたとしても、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で開放されているがまだ上書きされずに残っている表示されていないピクチャを表示することができる。なお、表示済は、表示装置への出力済と実質的に同義である．
このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されているメモリ領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。
【０１４１】
以上の構成により、従来の課題を解決する画像復号化装置が実現できる。なお、画像復号化装置１５０は、実施の形態３、および実施の形態４に示した画像符号化装置１００により符号化された符号化信号を復号するようにしてもよい。その場合にピクチャメモリの利用についての動作は、実施の形態３および実施の形態４に示された画像符号化装置と同様である。即ち、このピクチャメモリで開放された（以後、参照されない）ピクチャの再利用については、実施の形態１から実施の形態３に記載した方法で新たにピクチャを保存する領域の決定方法のいずれかを使うこともできる。
【０１４２】
上述した実施の形態３および実施の形態４に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。
最初に、実施の形態３に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。
【０１４３】
まず、画像復号化装置１５０における加算ユニットＡｄｄより出力される復号画像がピクチャメモリＰｉｃＭｅｍ２に保存するものかどうかをメモリ管理コマンドＭＭＣＯの指示に基づき判断する。
保存する場合には、最も古い時刻に開放されたピクチャメモリ領域を取得し、その領域に復号画像を保存する。
【０１４４】
このとき、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域、あるいは最も表示時刻が古いピクチャの保存されているメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。
【０１４５】
表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最も古い時刻に保存されたピクチャの領域が、より新しい時刻に保存された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。古い表示時刻のピクチャが既に表示されている可能性が高いのは当然であるため、最も古い時刻に保存されたピクチャは既に表示されている可能性が高い。従って、最も古い時刻に保存されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャを上書きしない可能性が高くなる。また、最も古い時刻がピクチャを符号化した時刻の最も古い時刻である場合、例えば最も古い時刻に符号化されたかどうかはピクチャの予測構造・復号順序から判断することが可能である。
【０１４６】
また、これらの最も古い時刻は時刻である必要はなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。
【０１４７】
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。
【０１４８】
また、ピクチャメモリＰｉｃＭｅｍ２に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチャの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌにおいて表示したかどうかの情報を管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。
【０１４９】
次に、実施の形態４に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。
まず、画像復号化装置１５０の上述した加算ユニットＡｄｄより出力される復号画像がピクチャメモリＰｉｃＭｅｍ２に保存するものかどうかをメモリ管理コマンドＭＭＣＯの指示に基づき判断する。
【０１５０】
保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し、その領域に復号画像を保存する。
表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最初に開放されたピクチャの領域が、後で開放された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。
【０１５１】
なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「ｕｓｅｄ：開放されていない（参照ピクチャとして使用可能）」か「ｕｎｕｓｅｄ：開放済み（以後、参照ピクチャとして参照されない）」かをメモリ管理コマンドＭＭＣＯに従ってピクチャメモリＰｉｃＭｅｍ２において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリＰｉｃＭｅｍ２を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数（またはピクチャ数）の画像が保存される先入れ先出し方式（ＦＩＦＯ）のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。
【０１５２】
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。
尚、表示ユニットＤｉｓｐは画像復号化装置１５０の中に備えるのではなく、画像復号化装置１５０からは表示ユニットＤｉｓｐでピクチャを表示するために必要なデータのみを送出し、表示ユニットＤｉｓｐを画像復号化装置１５０の外部に備えて実現してもよい。
【０１５３】
ここで、実施の形態２で説明したピクチャサイズが変更される場合における画像復号化装置１５０の動作を説明する。なお、実施の形態３および４に対する以下の動作も同じなので、説明を省略する。
実施の形態２に示されたピクチャサイズが変更される場合における第１の方法に対応する方法として、画像復号化装置１５０は、ピクチャサイズの変更指令があったときは、メモリの参照ピクチャの保存された参照用領域と表示用ピクチャの保存された表示用領域を含む全領域を開放して初期化を行う。
【０１５４】
図１０は、画像符号化装置１５０の動作を示すフローチャートである。
ピクチャサイズ変更検出ユニットＰｉｃＳｉｚｅＤｅｔから出力される信号が、ピクチャサイズの変更を示すものかを判定し（Ｓｔｅｐ１００）、ピクチャサイズの変更がある場合は（Ｓｔｅｐ１００のＹｅｓ）、ピクチャメモリＰｉｃＭｅｍ２の全メモリ領域を開放して（再利用可能な状態として）初期化し（Ｓｔｅｐ１０２）、処理を終了する。
【０１５５】
一方、ピクチャサイズの変更がない場合（Ｓｔｅｐ１００のＮｏ）、可変長復号化ユニットＶＬＤから出力されるメモリ管理コマンドＭＭＣＯが、ピクチャメモリＰｉｃＭｅｍ２の全メモリ領域を開放する（初期化する）ことを示すものかを判定し（Ｓｔｅｐ１０１）、示すものである場合は（Ｓｔｅｐ１０１のＹｅｓ）、全メモリ領域を開放し（Ｓｔｅｐ１０２）、示すものでない場合は（Ｓｔｅｐ１０１のＮｏ）、参照ピクチャの保存された参照用領域のみを開放して（Ｓｔｅｐ１０３）、処理を終了する。
【０１５６】
このようにメモリの全領域を開放することで、サイズの異なるピクチャが混在することにより生じるメモリの断片的な使用を防止できるため、メモリの使用効率の劣化を抑えることができる。
次に、実施の形態２に示されたピクチャサイズが変更される場合の第２の方法に対応する方法として、画像復号化装置１５０が行う動作について説明する。
【０１５７】
ピクチャサイズを変更した場合に、メモリの全領域を開放する方法か、あるいは参照ピクチャが保存された参照用領域のみを開放して、未表示のピクチャについては画像復号化装置１５０が判断して表示できるものを表示する方法かを切り替える。
【０１５８】
実施の形態２で説明したように、メモリの全領域を開放するか、参照用領域のみを開放するかを示す指示情報（フラグ）は、画像符号化装置１００から出力されるストリームＳｔｒのメモリ管理コマンドＭＭＣＯに含まれる。
画像復号化装置１５０は、メモリ管理コマンドＭＭＣＯに含まれる指示情報に基づいて、上記２つの方法のうちいずれを行うかを判断する。
【０１５９】
図１１は、その判断動作を示すフローチャートである。
まず、指示情報（フラグ）がメモリの全領域を初期化するか否かのいずれを示しているかを判断し（Ｓｔｅｐ１５０）、全領域の初期化を示している場合は（Ｓｔｅｐ１５０のＹｅｓ）、未表示の表示用ピクチャの保存された表示用領域を含むメモリの全領域を開放して初期化を行い（Ｓｔｅｐ１５１）、そうでない場合は（Ｓｔｅｐ１５０のＮｏ）、参照用領域のみ開放して初期化を行う（Ｓｔｅｐ１５２）。
【０１６０】
この指示情報（フラグ）が全領域の初期化を示していない場合は、画像復号化装置１５０は、参照用領域のみの開放を行い、参照用領域以外の領域にある未表示のピクチャについては画像復号化装置１５０が判断して表示できるものを表示するようにする。
【０１６１】
この参照用領域のみの初期化を行う場合の画像復号化装置１５０の動作を、フローチャートを用いて説明する。
図１２は画像復号化装置１５０（デコーダ）の動作を示すフローチャートである。
【０１６２】
ピクチャサイズ変更検出ユニットＰｉｃＳｉｚｅＤｅｔから出力される信号が、ピクチャサイズの変更を示すものかを判定し（Ｓｔｅｐ２００）、ピクチャサイズの変更でない場合は（Ｓｔｅｐ２００のＮｏ）、表示用領域に保存された表示すべき未表示のピクチャを表示する（Ｓｔｅｐ２０３）。
【０１６３】
一方、ピクチャサイズの変更である場合は（Ｓｔｅｐ２００のＹｅｓ）、表示用領域に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し（Ｓｔｅｐ２０１）、変更前のものでない場合は（Ｓｔｅｐ２０１のＮｏ）、表示すべき未表示のピクチャを表示する（Ｓｔｅｐ２０３）。変更前のものである場合は（Ｓｔｅｐ２０１のＹｅｓ）、表示用ピクチャが表示可能か否かを判断し、表示可能なピクチャを表示する（Ｓｔｅｐ２０２）。
【０１６４】
この表示可能か否かの判断についての画像復号化装置１５０の動作を説明する。
図１３は、画像復号化装置１５０のピクチャの表示に関する動作を示すフローチャートである。
【０１６５】
図１３において図１２と同じものには同じ符号を付している。
表示用に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し（Ｓｔｅｐ２０１）、変更前のピクチャでない場合は（Ｓｔｅｐ２０１のＮｏ）、そのピクチャを表示する。一方、変更前のピクチャである場合は（Ｓｔｅｐ２０１のＹｅｓ）、表示するピクチャに損傷があるかを判定し（Ｓｔｅｐ２１１）、損傷がない場合は（Ｓｔｅｐ２１１のＮｏ）、そのピクチャが表示可能であるとして表示する（Ｓｔｅｐ２１０）。損傷がある場合は（Ｓｔｅｐ２１１のＹｅｓ）、そのピクチャを表示せずに、例えば前のピクチャを表示する。ここで損傷が無いというのは、表示すべきピクチャが格納されているピクチャの一部であっても新しいピクチャのデータを保存するために上書きされていないことを意味する。こうすることで、画像復号化装置１５０は、表示するピクチャに損傷があるかを判定し、損傷がないピクチャを表示可能と判断して表示する。
【０１６６】
このように、図１１、図１２、図１３のフローチャートで説明したように、画像復号化装置１５０は、ピクチャサイズの変更があったときに、メモリの全領域を初期化するか否かを示す指示情報（フラグ）に応じた、未表示のピクチャに対する表示を行う。
【０１６７】
以上のような画像復号化装置１５０の画像復号化方法により、ピクチャサイズの変更があったときでも、メモリの全領域を初期化するか参照用領域のみを初期化して未表示の表示用ピクチャを表示可能なものは表示するようにするかを切り替えることで、適切な復号化が可能となる。すなわち、例えばメモリの空き容量が少ないときは、メモリの全領域を初期化して再利用可能とし、メモリの空き容量が大きいときは、参照用領域のみを初期化することで、未表示のピクチャの表示を可能とするようにして柔軟に対処することが可能である。
【０１６８】
（実施の形態６）
実施の形態６では、次の用語を用いて説明する。すなわち、参照ピクチャバッファは、画像符号化装置内のピクチャメモリＰｉｃＭｅｍ２における参照用領域と表示用領域とを合わせた領域をいう。仮想・ディスプレイ遅延バッファは、画像符号化装置内のピクチャメモリＰｉｃＭｅｍ２に確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの時間的参照番号（ピクチャ番号等）を保持する。参照メモリバッファは、画像復号化装置内のピクチャメモリＰｉｃＭｅｍ２における参照用領域をいう。ポスト・デコーダ・バッファは、画像復号化装置内の参照フレームメモリにおける表示用領域をいう。時間的参照番号は、表示時刻の順序に従ったピクチャの番号をいい、ピクチャ時刻Ｔｉｍｅに相当するものでもよい。
【０１６９】
まず、画像符号化装置について説明する。仮想・ディスプレイ遅延バッファは、画像符号化装置での予測符号化に用いられる参照ピクチャの最大数を制限するために用いられる。
図１４は、仮想・ディスプレイ遅延バッファと後方参照ピクチャの最大数との間の関係を決定する処理を示す。図１４中の各モジュールは、ピクチャ構造決定ユニットＰｉｃＳｔｒｕｃｔ、参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌ及び表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌにおける機能ブロック又は処理ステップを表す。図に示すように、このプロファイル及びレベルに対する、許容された参照ピクチャの最大数ＮＲは、モジュール４０１で決定される。この値は、各プロファイル及びレベル定義されており、エンコーダはＮＲに相当するプロファイル・レベルの値をストリームの情報として符号化し、デコーダはストリームのプロファイル・レベルの値からＮＲを取得する。次いで、画像符号化装置は、それがモジュール４０２におけるビデオ・シーケンスを符号化するのに最適な後方参照ピクチャの最大数ＮＢを設定する。このＮＢ値に基づき、仮想・ディスプレイ遅延バッファのサイズを決定することができる。ＮＢが２よりも小さい場合には、仮想・ディスプレイ遅延バッファを必要としない。しかしながら、ＮＢが２以上である場合には、ＮＢ−１ピクチャの仮想・ディスプレイ遅延バッファがモジュール４０４で生成される。仮想・ディスプレイ遅延バッファに格納されているピクチャの情報はメモリ中あるいは何れかのレジスタ中に確保される。この仮想・ディスプレイ遅延バッファは、画像符号化装置に大きな物理メモリ空間を必要としない。それは、画像復号化装置で復号化した画像を表示（出力）する必要がなければ、どのピクチャが表示のために仮想・ディスプレイ遅延バッファに格納されているかを判断するだけでよいため、再構成（復号）ピクチャ・データ全体でなく、どの再構成（復号）ピクチャであるかを特定する参照ピクチャの記述（ピクチャ番号等）のみが仮想・ディスプレイ遅延バッファに格納されるからである。仮想・ディスプレイ遅延バッファ以外には、ディスプレイ・カウンタがモジュール４０５で生成され、その値がメモリ中あるいは何れかのレジスタ中に確保される。このカウンタは、仮想・ディスプレイ遅延バッファから不要なピクチャを除去する判断に用いられる。プロファイル及びレベル定義に基づき、画像符号化装置は、次いで、モジュール４０６に示すように参照ピクチャに対するメモリ空間のＮＲピクチャ・サイズを生成する。
【０１７０】
最大仮想・ディスプレイ遅延バッファ・サイズ  ＝  ＮＢ−１  （１）
ここで、ＮＢ＜ＮＲである。
図１５は、画像符号化装置におけるポスト・エンコーディング処理すなわち、符号化後に復号化されたピクチャ（エンコーデッド・ピクチャ又は単にピクチャと呼ぶ）について参照メモリバッファに格納する処理を示す。図中のモジュールは、参照ピクチャ管理ユニットＲｅｆＰｉｃＣｔｒｌ及び表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌにおける機能ブロック又は処理ステップを表す。一つのピクチャがモジュール５０１でエンコードされた後、ピクチャは、それがモジュール５０２で参照ピクチャとして用いられるかどうか判定される。ピクチャが参照ピクチャである場合には、可能な参照ピクチャの最大数が式（２）に基づき計算される。
【０１７１】
ＮＭａｘ＝ＮＲ−Ｆｖ    （２）
ここで、ＮＭａｘは、可能な参照ピクチャの最大数を表し、ＮＲは、プロファイル及びレベル定義で許容される参照ピクチャの最大数を表す。Ｆｖは、仮想・ディスプレイ遅延バッファ・フルネスつまり、仮想・ディスプレイ遅延バッファのサイズ（ＮＢ−１）のうち現に使用されている数を表す。
【０１７２】
参照ピクチャ・バッファの参照ピクチャの数がＮＭａｘよりも小さい場合には、エンコーデッド・ピクチャは、モジュール５０６で再構成（復号）されかつモジュール５０７で参照ピクチャ・バッファに記憶される。十分な空きが存在しない場合には、画像符号化装置は、モジュール５０４に示すようにバッファからある未使用参照ピクチャ「ｕｎｕｓｅｄ（以降、参照ピクチャとして参照されない）」を除去することによって参照ピクチャ・バッファに必要な領域を確保する。バッファから除去するような未使用参照ピクチャが存在しない場合には、エンコーデッド・ピクチャは、参照ピクチャとして使用しない。エンコーデッド・ピクチャが参照ピクチャではない場合には、エンコーデッド・ピクチャの時間的参照番号は、モジュール５０５でディスプレイ・カウンタと比較される。非参照ピクチャの時間的参照番号がディスプレイ・カウンタよりも小さい場合には、仮想ディスプレイ遅延バッファは、モジュール５０８で更新される。モジュール５０８では、仮想・ディスプレイ遅延バッファは、ディスプレイ・カウンタに等しいかそれ以前の時間的参照番号を有するピクチャを除去しかつ現行の非参照ピクチャの時間的参照番号をバッファに加える。ディスプレイ・カウンタよりも小さい時間的参照番号を有する仮想・バッファのピクチャ数が、バッファのフルネスになる。ディスプレイ・カウンタは、エンコーデッド・ピクチャの数がＮＢに等しいか又は仮想ディスプレイ・カウンタがフルであるか、どちらかが早いときに、最初に更新動作を開始する。その後、ディスプレイ・カウンタは、モジュール５０９でエンコードされた全てのピクチャに対して符号化される毎に更新される。
【０１７３】
図１６は、画像復号化装置におけるポスト・デコーディング処理すなわち画像復号化装置において復号化されたピクチャ（復号化ピクチャ又は単にピクチャと呼ぶ）について参照ピクチャバッファに格納する処理を示す。図中のモジュールは、表示ピクチャ管理ユニットＤｉｓｐＰｉｃＣｔｒｌにおける機能ブロック又は処理ステップを表す。ピクチャは、モジュール６０１で復号化される。モジュール６０２では、画像復号化装置は、ピクチャを参照ピクチャとして記憶することが必要かどうかを決定する。復号化されたピクチャを参照ピクチャとして記憶する場合には、それは、モジュール６０６で参照ピクチャバッファに記憶される。そうでなければ、画像復号化装置は、モジュール６０３でこのピクチャを表示（出力）する時間であるかどうかをチェックする。復号化されたピクチャをまだ表示（出力）すべき時刻でない場合には、ピクチャは、表示（出力）する時刻までモジュール６０４でポスト・デコーダ・バッファに記憶される。ポスト・デコーダ・バッファと参照ピクチャバッファは、物理的に同じメモリ領域を共用する。換言すると、同じメモリの各領域は、参照ピクチャバッファとしてあるときに用いる場合とポスト・デコーダ・バッファとして用いる場合とを切り替えることができる。
【０１７４】
モジュール６０５では、次いで画像復号化装置は、それらのディスプレイ・タイミングに基づき参照ピクチャバッファ又はポスト・デコーダ・バッファから表示（出力）するピクチャを決定する。一旦ポスト・デコーダ・バッファからのピクチャが表示（出力）されると、それは、バッファから除去される。他方、参照ピクチャは、ストリームによって今後参照されないことが示されたときに参照ピクチャバッファから除去されるか又はポスト・デコーダ・バッファに移動されるだけである。
【０１７５】
図１７は、各ピクチャ間隔で参照ピクチャの最大数を決定するために仮想・ディスプレイ遅延バッファを用いる方法の一例を示す。この例について、許容される参照ピクチャの最大数ＮＲは、４とする。画像符号化装置は、後方参照ピクチャの最大数ＮＢを３に設定する。それゆえに、二つのピクチャの仮想・ディスプレイ遅延バッファが生成される。ディスプレイ・カウンタは、仮想的に表示（出力）されるピクチャの時間的参照番号を記憶及び更新するために用いられる。図中、参照メモリバッファにおける、空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照用ピクチャが格納されていることを、斜線でハッチングされた領域は表示用ピクチャが格納されていることを示す。また、仮想・ディスプレイ遅延バッファにおける空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照メモリバッファ中の表示用ピクチャに対応する時間的参照番号が格納されていることを、斜線でハッチングされた領域は、表示用ピクチャの格納領域が参照メモリバッファ中に存在しないことを示す。参照メモリバッファにおけるハッチングされた領域に対応した、同数の仮想・ディスプレイ遅延バッファは、表示用ピクチャの時間的参照番号を保持する。
【０１７６】
図に示すように、ピクチャＢ２及びＢ３は、参照ピクチャに対して用いられ、それゆえにそれらは、Ｉ０及びＰ４と一緒に参照メモリ・バッファに記憶されかつディスプレイ・カウンタは、ピクチャＢ３が符号化された後に更新が開始される。時間Ｔ６において、Ｂ５は、参照ピクチャとして用いられないが、それは、その時間的参照番号がディスプレイ・カウンタよりも小さいので、仮想・ディスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおける仮想・ディスプレイ遅延バッファのフルネスｆｖは、１でありかつ可能な参照ピクチャの最大数ＮＭａｘは、３である。
【０１７７】
同様に時間Ｔ７において、ディスプレイ・カウンタよりも小さいその時間的参照番号によりＢ５をまだ除去することができないが、Ｂ６は、仮想・ディスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおけるＮＭａｘは、２である。参照ピクチャＩ０は、不十分なメモリにより参照メモリ・バッファから除去されなければならない。従って、そのときのＢ７は、Ｐ４及びＰ８からだけで予測することができる。
【０１７８】
図１８は、ディスプレイ・カウンタが仮想・ディスプレイ遅延バッファを用いて先に増分されるような一例を示す。この例について、ＮＲは、５であるとする。画像符号化装置は、複数の逆方向参照ピクチャの最大数ＮＢを３に設定する。それゆえに、二つのピクチャの仮想・ディスプレイ遅延バッファが生成される。
【０１７９】
図に示すように、Ｂ１、Ｂ２、Ｂ３及びＢ４は、参照ピクチャに用いられないが、Ｂ７及びＢ８が用いられる。それゆえに、Ｂ１及びＢ２は、ディスプレイを待つために時間Ｔ３で仮想・ディスプレイ遅延バッファに記憶される。仮想・ディスプレイ遅延バッファは、時間Ｔ３でフルなので、ディスプレイ・カウンタは、時間Ｔ３で更新することを開始する。ディスプレイ・カウンタが、それが更新することを開始できる前に少なくとも仮想・ディスプレイ遅延バッファがフルになるのを待つことが必要な理由は、それが画像復号化装置で発生すると思われるＢピクチャのリオーダリングを処理することが必要だからである。
【０１８０】
図１７に示すように、画像復号化装置は、ポスト・デコーダ・バッファとしてその参照ピクチャバッファの一部をときどき用いる。それゆえに参照ピクチャバッファの固定物理メモリ・サイズに基づき、画像復号化装置は、そのある部分が参照ピクチャに用いられかつ残りがポスト・デコーダ・バッファとして用いられるように参照ピクチャバッファを操作する。例えば、時間Ｔ３で、参照ピクチャバッファ全体は、参照ピクチャを記憶するために用いられる。他方、時間Ｔ７で、参照ピクチャバッファの二つだけがＰ４及びＰ８参照ピクチャを記憶するために用いられる。残りは、ポスト・デコーダ・ピクチャＢ５及びＢ６を記憶するために用いられる。
【０１８１】
画像復号化装置側で用いられる参照ピクチャの最大数は、画像符号化装置に対するプロファイル及びレベル定義で規定される。それゆえに、画像符号化装置は、プロファイル及びレベルによって定義された参照ピクチャの最大数まで用いることができる。従って、画像符号化装置は画像復号化装置がこの拘束条件に基づいて動作を行って場合に同様の動作が実現できる（参照ピクチャ数が定義された値を超えない）ように、参照ピクチャの管理を行って符号化を行うことが必要である。
【０１８２】
同様に、画像復号化装置は、画像符号化装置と同じ数の参照ピクチャを有する。さらに、追加メモリ空間がポスト・デコーダ・バッファに対して必要である。ポスト・デコーダ・ピクチャの最大数は、式（３）によって定義される。
ＮＰ＝ＮＲ−２      （３）
ここで、ＮＰは、ポスト・デコーダ・ピクチャの最大数を表し、ＮＲは、プロファイル及びレベル定義によって定義された参照ピクチャの最大数を表す。
【０１８３】
それゆえに、プロファイル及びレベルに対して適合する画像復号化装置に対して、このポスト・デコーダ・ピクチャの最大数は、画像復号化装置の設計で考慮しなければならない。このポスト・デコーダ・ピクチャの最大数は、式３から計算することができるか又はプロファイル及びレベル定義で特定することができる。一旦ポスト・デコーダ・ピクチャの最大数がプロファイル及びレベル定義で特定されたならば、値は、式（４）に基づいて後方予測ピクチャの最大数が導出できる。
【０１８４】
ＮＢ＝ＮＰ＋１      （４）
ここで、ＮＢは、参照ピクチャバッファの後方予測ピクチャの最大数を表す。本実施の形態では、それがプロファイルおよびレベル定義に準拠したストリームを復号化できるように画像復号化装置によって要求される最小メモリ要件になる。
【０１８５】
後方予測の数は、画像復号化装置側で参照ピクチャバッファに追加された追加ポスト・デコーダ・ピクチャの数を削減するために制限することも可能である。例えば、後方予測の最大数が２つに制限された場合には、その場合には１つの追加ポスト・デコーダ・ピクチャだけを参照ピクチャバッファに追加することが必要であり、それは、画像復号化装置側においてポスト・デコーダ・ピクチャに余分な物理メモリ空間の割り当てが行われることを避けることができる。
【０１８６】
（実施の形態７）
さらに、上記各実施の形態で示した画像符号化方法及び画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１８７】
図１９は、上記各実施の形態の画像符号化方法及び画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図１９（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１９（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤ１はケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ１上に割り当てられた領域に、上記プログラムが記録されている。
【０１８８】
また、図１９（ｃ）は、フレキシブルディスクＦＤ１に上記プログラムの記録再生を行うための構成を示す。画像符号化方法及び画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤ１に記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法及び画像復号化方法を実現する上記画像符号化方法及び画像復号化方法をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムＣｓに転送する。
【０１８９】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１９０】
（実施の形態８）
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１９１】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１９２】
しかし、コンテンツ供給システムｅｘ１００は図２０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１９３】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１９４】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１９５】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１９６】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。
その一例として携帯電話について説明する。
図２１は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１９７】
さらに、携帯電話ｅｘ１１５について図２２を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１９８】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１９９】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０２００】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０２０１】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０２０２】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０２０３】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０２０４】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ストリームと音声データの符号化ストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０２０５】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０２０６】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２３に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０２０７】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０２０８】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２２に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０２０９】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０２１０】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
なお、本実施の形態では、本実施では表示すべき順序にピクチャの順序を並べ替えて出力することを表示と表現している。すなわち、復号化画像を表示デバイスに出力するためのプロセスを表示と表現しており、例えば他の記録機器で記録するために復号化画像を出す動作もこの表示の特殊な場合と考えられる。また、表示デバイスが画像メモリを有する場合には、復号化画像を実際の表示時刻よりも早めに表示デバイスに送信することも可能である。
【０２１１】
【発明の効果】
本発明の画像符号化装置によれば、復号画像が参照用の画像であるかという判定に加えて、出力用の画像であるかという判定も行って、参照用の画像に加えて予測符号化において参照されないが復号されると同時に表示又は出力することができない画像を出力用画像としてピクチャバッファに格納する。画像符号化に際してこのような判定及びピクチャバッファ管理を行い復号動作を検証しているので、復号化装置において出力用の画像を確実にその表示時刻に表示あるいは出力することができる。
【０２１２】
また、前記ピクチャバッファの一定のサイズの範囲内で、参照用の画像と前記出力用の画像とを、画像を保持している領域を再利用して格納するので、メモリを無駄に消費することなく復号画像ピクチャバッファを必要最小限のサイズとすることができる。
【０２１３】
さらに、シーケンス毎に前記サイズが一定となるので、シーケンス毎に予測符号化で用いる画像のタイプを柔軟に定めることができる。
また、ピクチャバッファに格納された出力用の画像の領域のうち既に出力済の画像が格納されている領域に、新たな画像を格納する。つまり出力済の画像が格納されている領域を再利用するので、出力済でない復号画像の表示をより確実にすることができる。
【０２１４】
さらに、出力用の画像のうち表示順で古い画像が格納されている領域には出力済の復号画像が格納されている可能性が高いので、個々の復号画像の表示時刻を正確に判断する構成でなくても、出力済でない復号画像の表示をより確実にすることができる。
【０２１５】
また、入力画像のサイズが変更されたとき、出力用の復号画像は復号画像ピクチャバッファに残すことができるので、サイズ変更の時点で出力済でない画像を削除することなくできるだけ多く出力することができる。
【図面の簡単な説明】
【図１】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図２】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図３】本発明の画像符号化方法を実現する画像符号化装置のブロック図（実施の形態１）を示す。
【図４】本発明の参照ピクチャ管理ユニットの動作を示すフローチャート（実施の形態１）を示す。
【図５】（ａ）（ｂ）（ｃ）はいずれもメモリへのピクチャの保存状態を示す状態図を示す。
【図６】本発明の画像符号化装置の動作を示すフローチャート（実施の形態２）を示す。
【図７】本発明の画像符号化装置の動作を示すフローチャート（実施の形態３）を示す。
【図８】本発明の画像符号化装置の動作を示すフローチャート（実施の形態４）を示す。
【図９】本発明の画像復号化方法を実現する画像復号化装置のブロック図（実施の形態５）を示す。
【図１０】本発明における画像復号化装置の動作を示すフローチャート（実施の形態５）を示す。
【図１１】本発明における画像復号化装置の他の動作を示すフローチャート（実施の形態５）を示す。
【図１２】本発明における画像復号化装置の更に他の動作を示すフローチャート（実施の形態５）を示す。
【図１３】本発明における画像復号化装置のまた更に他の動作を示すフローチャート（実施の形態５）を示す。
【図１４】画像符号化装置の仮想・ディスプレイ遅延バッファの使用のブロック図を示す。
【図１５】符号化における、ポスト・デコーダ・バッファ動作処理における本発明のブロック図を示す。
【図１６】復号化における、ポスト・デコーダ・バッファ動作処理における本発明のブロック図を示す。
【図１７】参照ピクチャの最大数を制限するために画像符号化装置における仮想・ディスプレイ遅延バッファを用いる一例を示す。
【図１８】第１のピクチャをディスプレイするための時間を決定するために仮想・ディスプレイ遅延バッファを用いる一例を示す。
【図１９】上記各実施の形態の画像符号化方法及び画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図（実施の形態７）を示す。
【図２０】コンテンツ供給システムの全体構成を示すブロック図（実施の形態８）を示す。
【図２１】画像符号化方法及び画像復号化方法を用いた携帯電話の例を示す外観図（実施の形態８）を示す。
【図２２】携帯電話のブロック図（実施の形態８）を示す。
【図２３】ディジタル放送用システムの例を示す構成図（実施の形態８）を示す。
【図２４】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図２５】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図２６】従来の画像符号化方法を実現する画像符号化装置のブロック図を示す。
【図２７】メモリ管理コマンドＭＭＣＯの符号例を示す対応図を示す。
【図２８】従来の画像復号化方法を実現する画像復号化装置のブロック図を示す。
【符号の説明】
ＰｉｃＳｔｒｕｃｔ  ピクチャ構造決定ユニット
ＰｉｃＳｉｚｅ  ピクチャサイズ変更ユニット
ＰｉｃＳｉｚｅＤｅｔ  ピクチャサイズ変更検出ユニット
ＲｅｆＰｉｃＣｔｒｌ  参照ピクチャ管理ユニット
ＤｉｓｐＰｉｃＣｔｒｌ  表示ピクチャ管理ユニット
ＰｉｃＭｅｍ１、ＰｉｃＭｅｍ２  ピクチャメモリ
Ａｄｄ  加算ユニット
Ｓｕｂ  減算ユニット
ＭＥ  動き検出ユニット
ＭＣ  動き補償ユニット
Ｔ  直交変換ユニット
ＩＴ  逆直交変換ユニット
Ｑ  量子化ユニット
ＩＱ  逆量子化ユニット
ＲｅＯｒｄｅｒ  並べ替えユニット
ＶＬＣ  可変長符号化ユニット
ＶＬＤ  可変長復号化ユニット
Ｄｉｓｐ  表示ユニット
ＳＷ  スイッチ
Ｓｅｌ  セレクタ
【図１】
2004274694.tif 000003
【図２】
2004274694.tif 000004
【図３】
2004274694.tif 000005
【図４】
2004274694.tif 000006
【図５】
2004274694.tif 000007
【図６】
2004274694.tif 000008
【図７】
2004274694.tif 000009
【図８】
2004274694.tif 000010
【図９】
2004274694.tif 000011
【図１０】
2004274694.tif 000012
【図１１】
2004274694.tif 000013
【図１２】
2004274694.tif 000014
【図１３】
2004274694.tif 000015
【図１４】
2004274694.tif 000016
【図１５】
2004274694.tif 000017
【図１６】
2004274694.tif 000018
【図１７】
2004274694.tif 000019
【図１８】
2004274694.tif 000020
【図１９】
2004274694.tif 000021
【図２０】
2004274694.tif 000022
【図２１】
2004274694.tif 000023
【図２２】
2004274694.tif 000024
【図２３】
2004274694.tif 000025
【図２４】
2004274694.tif 000026
【図２５】
2004274694.tif 000027
【図２６】
2004274694.tif 000028
【図２７】
2004274694.tif 000029
【図２８】
2004274694.tif 000030