(57)【要約】【課題】メモリの必要容量を削減した動画像符号化装置及び動画像復号化装置を提供する。【解決手段】記憶領域内に蓄積された１枚もしくは複数枚の符号化済みピクチャに対して参照することを可能とするピクチャを判定する参照可能ピクチャ判定部１１２を有し、前記参照可能ピクチャ判定部１１２は、対応する復号化装置における記憶領域の動作を想定し、復号化装置における復号化対象としているピクチャを復号化処理に必要な記憶領域を前記記憶領域内に確保することが可能となるように参照可能の判断を行う。【選択図】  図１
2004228617.tif 000002
【特許請求の範囲】
【請求項１】
既に符号化済みのピクチャを参照して入力された画像の符号化を行う動画像符号化装置であって、
記憶領域内に蓄積された１枚もしくは複数枚の符号化済みピクチャに対して参照することを可能とするピクチャを判定する参照可能ピクチャ判定手段を有し、
前記参照可能ピクチャ判定手段は、対応する復号化装置における記憶領域の動作を想定し、復号化装置における復号化対象としているピクチャを復号化処理に必要な記憶領域を前記記憶領域内に確保することが可能となるように参照可能の判断を行うものである
ことを特徴とする動画像符号化装置。
【請求項２】
前記参照可能ピクチャ判定手段は、想定された復号化装置における記憶領域から対象ピクチャの復号化処理後に削除されるピクチャを参照することを禁止する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記参照可能ピクチャ判定手段は、想定された復号化装置における記憶領域に蓄積されているピクチャで、最も古い表示順情報を持つピクチャを参照することを禁止する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
既に符号化済みのピクチャを参照して入力された画像の符号化を行う動画像符号化装置であって、
記憶領域内に蓄積された１枚もしくは複数枚の符号化済みピクチャに対して参照に使用することを禁止するコマンドを生成するメモリ管理コマンド生成手段を有し、
前記メモリ管理コマンド生成手段は、対応する復号化装置における記憶領域の動作を想定し、復号化装置における復号化対象としているピクチャの復号化処理終了後に前記記憶領域より削除されるピクチャが常に参照不可となっているようなコマンドを生成するものである
ことを特徴とする動画像符号化装置。
【請求項５】
動画像が符号化された信号である符号化信号が記録されたコンピュータ読み取り可能な記録媒体であって、
前記符号化信号は、復号化装置において復号化対象ピクチャを復号化するための記憶領域を、復号化済みピクチャを蓄積するための記憶領域と共有化して復号化処理を行うことが可能であることを示すフラグが含まれている
ことを特徴とする記録媒体。
【請求項６】
符号化済みピクチャを参照して符号化を行って生成された符号列を復号化する動画像復号化装置であって、
記憶領域内に蓄積された復号化済みピクチャに対して復号化対象ピクチャの復号化処理中に上書きすることができる領域を判定する書き込み可能領域判定手段を有し、
前記書き込み可能領域判定手段によって書き込み可能と判定された領域に復号化済みデータを蓄積しながら対象ピクチャの復号化を行う
ことを特徴とする動画像復号化装置。
【請求項７】
前記書き込み可能領域判定手段は、対象ピクチャの復号化処理後に記憶領域から削除されるピクチャが蓄積されている領域を書き込み可能領域として判定する
ことを特徴とする請求項６に記載の動画像復号化装置。
【請求項８】
前記書き込み可能領域判定手段は、記憶領域内の復号化済みピクチャに対して既に表示されたかどうかの判断を可能とする状況下において、表示済みと判断されたピクチャの中で参照不可とされているピクチャが蓄積されている領域を書き込み可能領域として判定する
ことを特徴とする請求項６に記載の動画像復号化装置。
【請求項９】
前記書き込み可能領域判定手段は、記憶領域内で最も古い表示順情報を持つピクチャが蓄積されている領域を書き込み可能領域として判定する
ことを特徴とする請求項６に記載の動画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化装置および復号化装置に関するものであり、特に既に符号化済みのピクチャを参照して画面間予測を行う動画像符号化装置および動画像復号化装置に関するものである。
【０００２】
【従来の技術】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ（国際電気通信連合  電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とは、動画面信号のディジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画面信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。
【０００６】
さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１）  によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、現在は、ＩＳＯ／ＩＥＣとＩＴＵの共同で次世代画面符号化方式として、Ｈ．２６４の標準化活動が進んでいる。
【０００７】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。
【０００８】
ここで、ピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００９】
なお、以下で示すピクチャはプログレッシブ画像でのフレームの意味で説明するが、インタレース画像でのフレームもしくはフィールドであっても同様に説明することができる。
【００１０】
図４０はピクチャの種類とその参照関係を説明するための図である。
ピクチャＩ０のように参照ピクチャを持たずピクチャ内予測符号化を行うものをＩピクチャと呼ぶ。また、ピクチャＰ６のように同時に１枚のピクチャのみを参照しピクチャ間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照してピクチャ間予測符号化を行うことのできるものをＢピクチャと呼ぶ。ＢピクチャはピクチャＢ２およびＢ５のように時間的に任意の方向にある２枚のピクチャを参照することが可能である。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。また、Ｂ５は符号化済みのＢピクチャを参照して符号化を行っているため、このような参照関係にある場合はＢピクチャであっても参照用メモリ蓄積する必要がある。図４０（ａ）は表示される順番、図４０（ｂ）は（ａ）を符号化および復号化する順番に並び替えたものである。ピクチャＢ２およびＰ６によって参照されるピクチャは全て先に符号化および復号化されているように並び替えられているのが分かる。
【００１１】
符号化および復号化されたピクチャはピクチャメモリに保存される。例えば図４０においてＰ６を符号化する場合、ピクチャメモリ内にはＩ０、Ｐ３、Ｂ１、Ｂ２が保存されており、ブロックごとにその中から最適なものを１枚選択してそれを参照ピクチャとして予測符号化を行うことができる。図４０の例ではＰ３が選択されているが、同じピクチャ内でもブロックごとに異なるピクチャを参照することが可能である。
【００１２】
ピクチャメモリに格納された各ピクチャには、参照に使用することができるかできないかを示す情報が付与される。参照に使用されないピクチャは本来ならばすぐにピクチャメモリから削除するべきであるが、例えば図４０のＰ３のように復号化される順番は２番目であるが表示される順番が４番目となっており、表示される順番が来るまで他のピクチャが復号化されるのを待つ必要があるため、たとえ参照に使用されないことが分かっていてもピクチャメモリに格納しておく必要がある。
【００１３】
以下では従来の符号化および復号化方法を、（１）符号化装置の動作、（２）復号化装置の動作、（３）ピクチャメモリ管理方法、の順に説明する。
【００１４】
（１）符号化装置の動作
図３３は従来の画像符号化装置のブロック図である。この画像符号化装置は、ピクチャメモリ１０１、予測残差符号化部１０２、符号列生成部１０３、予測残差復号化部１０４、ピクチャメモリ１０５、動きベクトル検出部１０６、動き補償符号化部１０７、動きベクトル記憶部１０８、ピクチャメモリ制御部１０９、作業用ピクチャメモリ１１１などから構成される。
【００１５】
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、図４０に示したように符号化を行う順にピクチャの並び替えを行う。さらに各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
【００１６】
ピクチャメモリ１０１から読み出された入力画像信号は差分演算部１１３に入力され、動き補償符号化部１０７の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０２に出力する。予測残差符号化部１０２では周波数変換、量子化等の画像符号化処理を行い残差信号を出力する。残差信号は予測残差復号化部１０４に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する。加算演算部１１４では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号を作業用ピクチャメモリ１１１に格納する。１ピクチャ全ての符号化が終了した段階で作業用ピクチャメモリ１１１の符号化済みピクチャはピクチャメモリ１０５に格納される。
【００１７】
一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部１０６にも入力される。ここでは、ピクチャメモリ１０５に格納されている１枚もしくは複数枚の符号化済みピクチャを探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルとその際に選択されたピクチャを指し示す参照ピクチャインデックスを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われ、得られた動きベクトルは動きベクトル記憶部１０８に格納される。動き補償符号化部１０７では、上記処理によって検出された動きベクトルを用いて、ピクチャメモリ１０５に格納されている符号化済みピクチャから最適な画像領域を取り出し予測画像を生成する。
【００１８】
上記の一連の処理によって出力された動きベクトル、参照ピクチャインデックス、残差符号化信号等の符号化情報に対して符号列生成部１０３において可変長符号化を施すことにより、この符号化装置が出力する符号列が得られる。
【００１９】
以上の処理の流れは画面間予測符号化を行った場合の動作であったが、スイッチ１１５およびスイッチ１１６によって画面内予測符号化との切り替えがなされる。画面内符号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の符号化済み領域から符号化対象領域の予測画像を生成し差分を取ることによって差分画像信号を生成する。差分画像信号は画面間予測符号化の場合と同様に、予測残差符号化部１０２において残差符号化信号に変換され、符号列生成部１０３において可変長符号化を施されることにより出力される符号列が得られる。
【００２０】
（２）復号化装置の動作
図３４は従来の画像復号化装置のブロック図である。この画像復号化装置は、符号列解析部２０１、予測残差復号化部２０２、ピクチャメモリ２０３、動き補償復号化部２０４、動きベクトル記憶部２０５、ピクチャメモリ制御部２０６、作業用ピクチャメモリ２０７などから構成される。
【００２１】
まず入力された符号列から符号列解析部２０１によって、動きベクトルおよび残差符号化信号等の各種の情報が抽出される。符号列解析器２０１で抽出された動きベクトルは動きベクトル記憶部２０５に、残差符号化信号は予測残差復号化部２０２にそれぞれ出力される。
【００２２】
予測残差復号化部２０２では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部２０９では前記残差復号化信号と動き補償符号化部２０４から出力される予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号を作業用ピクチャメモリ２０７に格納する。１ピクチャ全ての復号化が終了した段階で作業用ピクチャメモリ２０７の復号化済みピクチャはピクチャメモリ２０３に格納される。
【００２３】
動き補償復号化部２０４では、動きベクトル記憶部２０５から入力される動きベクトルおよび符号列解析部２０１から入力される参照ピクチャインデックスを用いて、ピクチャメモリ２０３に格納されている１枚もしくは複数枚の復号化済みピクチャから予測画像に最適な画像領域を取り出す。
【００２４】
上記の一連の処理によって生成された復号化済みピクチャはピクチャメモリ２０３から表示されるタイミングに従って表示用画像信号として出力される。
以上の処理の流れは画面間予測復号化を行った場合の動作であったが、スイッチ２１０によって画面内予測復号化との切り替えがなされる。画面内復号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の復号化済み領域から復号化対象領域の予測画像を生成し加算を行うことによって再構成画像信号を生成し、得られた再構成画像信号は作業用ピクチャメモリ２０７に格納される。１ピクチャ全ての復号化が終了した段階で作業用ピクチャメモリ２０７の復号化済みピクチャはピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。
【００２５】
（３）ピクチャメモリ管理方法
現在標準化中のＨ．２６４では、既に説明したように非常に複雑な参照関係を許容しているため、復号化された複数のピクチャをピクチャメモリ２０３において管理するための方法が定義されている。
【００２６】
なお、各々の復号化済みピクチャは符号化順に従ってピクチャメモリに保存されるが、それとは別に表示する順番を示す情報を持っているものとする。
前記ピクチャメモリ管理の概要は以下の通りである。
【００２７】
まず、対象のピクチャの復号化が終了した時点で、既にピクチャメモリに保存されている復号化済みピクチャに対して参照可能か参照不可かの指定を行う。その指定方法として２通りの方法がＨ．２６４では定義されている。１つめは、Ｓｌｉｄｉｎｇ  Ｗｉｎｄｏｗと呼ばれる方式で、ピクチャメモリ内の参照可能ピクチャがある一定の枚数に達していたら、最も符号化順が古いものに参照不可の指定を行うという方法である。２つめは、ＭＭＣＯと呼ばれる方式で、コマンドを用いることによって任意のピクチャに対して参照不可の指定を行うことを可能とする方法である。次に、ピクチャメモリ内の復号化済みピクチャの削除処理を行い、空いた領域に作業用メモリに保存されている復号化したピクチャを格納する。最後に、格納したピクチャに対して参照可能もしくは参照不可の指定をヘッダに記述されている情報に応じて行い、次のピクチャの復号化処理に移る。
【００２８】
図３７は、前記Ｓｉｌｉｄｉｎｇ  Ｗｉｎｄｏｗを用いてピクチャメモリを管理する場合における復号化装置の処理の流れを示したものであり、図３４のブロック図におけるピクチャメモリ制御部２０６の動作を表すものである。
【００２９】
対象とするピクチャを作業用記憶領域に保存しながら復号化し、その終了後に、ピクチャメモリ内の参照可能ピクチャがある一定の枚数に達していたら、最も符号化順が古い参照可能ピクチャに参照不可の指定を行う。次に、ピクチャメモリ内に空き領域があるかないかの判定を行い、もし空き領域がない場合は、さらにピクチャメモリ（記憶領域）内に参照不可の指定がされているピクチャがあるかないかの判定を行う。参照不可ピクチャがあった場合は、表示順情報が最も古い参照不可ピクチャを削除し、参照不可ピクチャがなかった場合は、表示順情報が最も古い参照可能ピクチャを削除する。そして上記の処理によって確保された空き領域に復号化したピクチャを保存し、ヘッダ情報に基づいて前記ピクチャに対して参照可能もしくは参照不可の指定（マーキング）を行う。
【００３０】
図３５は、前記Ｓｉｌｉｄｉｎｇ  Ｗｉｎｄｏｗを用いてピクチャメモリを管理する場合における符号化装置の処理の流れを示したものであり、図３３のブロック図におけるピクチャメモリ制御部１０９の動作を表すものである。
【００３１】
全ての参照可能ピクチャを参照して対象とするピクチャを符号化し、その終了後に、ピクチャメモリ内の参照可能ピクチャがある一定の枚数に達していたら、最も符号化順が古い参照可能ピクチャを参照不可とする。そしてピクチャメモリ内に符号化したピクチャを保存し、前記ピクチャに対して参照可能もしくは参照不可の指定（マーキング）を行う。なお、符号化装置におけるピクチャメモリ内の符号化済みピクチャの削除方法に関しては、参照不可ピクチャのみ削除可能であるという条件を持つこと以外は任意でありシステムの構成に従って自由に制御することができる。
【００３２】
図３８は、前記ＭＭＣＯを用いてピクチャメモリを管理する場合における復号化装置の処理の流れを示したものであり、図３４のブロック図におけるピクチャメモリ制御部２０６の動作を表すものである。図３７との違いは参照不可ピクチャの指定を行う前に符号列解析部２０１より入力された管理コマンドの解析を行うことによって、任意のピクチャに対して参照不可の指定を行うことが可能となっている点のみであり、それ以外の動作は前記のものと全く同様である。
【００３３】
図３６は、前記ＭＭＣＯを用いてピクチャメモリを管理する場合における符号化装置の処理の流れを示したものであり、図３３のブロック図におけるピクチャメモリ制御部１０９の動作を表すものである。図３５との違いはメモリ管理コマンド生成部１１０において管理コマンドの生成を行う点のみであり、それ以外の動作は前記のものと全く同様である。なお、図３６では符号化の前に管理コマンドの生成を行っているが、この順番は逆でも全く同様に扱うことが可能である。
【００３４】
なお、Ｓｌｉｄｉｎｇ  Ｗｉｎｄｏｗを用いるかＭＭＣＯを用いるかはスライスのヘッダに記述されるフラグによって指定される。図３９はそのときの符号列の例を示したものである。スライスヘッダ領域に記述されているフラグｍｍｃｏ＿ｆｌｇによってＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗを用いるかＭＭＣＯを用いるかが指定され、ＭＭＣＯを用いる場合はｍｍｃｏ＿ｆｌｇに続いて管理コマンドｍｍｃｏ＿ｃｍｄを記述する。
【００３５】
【発明が解決しようとする課題】
従来の技術で説明したピクチャメモリ管理方法は、非常に単純な規則に基づいての管理が可能であったが、復号化装置におけるピクチャメモリ内の復号化済みピクチャを削除するタイミングが対象ピクチャの復号化終了後であるため、対象ピクチャを復号化している際に、途中の復号化済みデータを格納しておく領域をピクチャメモリ内に用意することができない。そのため、図３３における作業用ピクチャメモリ１１１、および図３４における作業用ピクチャメモリ２０７として、１ピクチャを保存できる容量を持つメモリをピクチャメモリとは別に用意する必要があるため、符号化装置および復号化装置におけるメモリの総量が大幅に増加してしまう。
【００３６】
そこで本発明は、符号化装置において符号化する際に参照することのできるピクチャを制限することにより、復号化装置において途中の復号化済みデータをピクチャメモリに格納しながら対象ピクチャを復号化することを可能とし作業用ピクチャメモリを不要とすることにより、動画像符号化装置および動画像復号化装置におけるメモリの必要容量を削減することを目的とする。
【００３７】
【課題を解決するための手段】
そしてこの目的を達成するために、本発明による動画像符号化装置は、既に符号化済みのピクチャを参照して入力された画像の符号化を行う動画像復号化装置であって、記憶領域内に蓄積された１枚もしくは複数枚の符号化済みピクチャに対して参照することを可能とするピクチャを判定する参照可能ピクチャ判定手段を有し、前記参照可能ピクチャ判定手段は、対応する復号化装置における記憶領域の動作を想定し、復号化装置における復号化対象としているピクチャを復号化処理に必要な記憶領域を前記記憶領域内に確保することが可能となるように参照可能の判断を行うものであることを特徴とする。
【００３８】
さらに、本発明による別の動画像符号化装置は、前記参照可能ピクチャ判定手段は、想定された復号化装置における記憶領域から対象ピクチャの復号化処理後に削除されるピクチャを参照することを禁止することを特徴とする。
【００３９】
さらに、本発明による別の動画像符号化装置は、前記参照可能ピクチャ判定手段は、想定された復号化装置における記憶領域に蓄積されているピクチャで、最も古い表示順情報を持つピクチャを参照することを禁止することを特徴とする。
【００４０】
さらに、本発明による別の動画像符号化装置は、既に符号化済みのピクチャを参照して入力された画像の符号化を行う装置であって、記憶領域内に蓄積された１枚もしくは複数枚の符号化済みピクチャに対して参照に使用することを禁止するコマンドを生成するメモリ管理コマンド生成手段を有し、前記メモリ管理コマンド生成手段は、対応する復号化装置における記憶領域の動作を想定し、復号化装置における復号化対象としているピクチャの復号化処理終了後に前記記憶領域より削除されるピクチャが常に参照不可となっているようなコマンドを生成するものであることを特徴とする。
【００４１】
また、本発明による動画像復号化装置は、符号化済みピクチャを参照して符号化を行って生成された符号列を復号化する動画像復号化装置であって、記憶領域内に蓄積された復号化済みピクチャに対して復号化対象ピクチャの復号化処理中に上書きすることができる領域を判定する書き込み可能領域判定手段を有し、前記書き込み可能領域判定手段によって書き込み可能と判定された領域に復号化済みデータを蓄積しながら対象ピクチャの復号化を行うことを特徴とする。
【００４２】
さらに、本発明による別の動画像復号化装置は、前記書き込み可能領域判定手段は、対象ピクチャの復号化処理後に記憶領域から削除されるピクチャが蓄積されている領域を書き込み可能領域として判定することを特徴とする。
【００４３】
さらに、本発明による別の動画像復号化装置は、前記書き込み可能領域判定手段は、記憶領域内の復号化済みピクチャに対して既に表示されたかどうかの判断を可能とする状況下において、表示済みと判断されたピクチャの中で参照不可とされているピクチャが蓄積されている領域を書き込み可能領域として判定することを特徴とする。
【００４４】
さらに、本発明による別の動画像復号化装置は、前記書き込み可能領域判定手段は、記憶領域内で最も古い表示順情報を持つピクチャが蓄積されている領域を書き込み可能領域として判定することを特徴とする。
【００４５】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１はＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるピクチャメモリ管理を行った場合の動画像符号化方法および復号化方法を説明するものであり、図１に示した符号化装置のブロック図、および図２に示した復号化装置のブロック図、および図３と図４に示した符号化装置のフローチャート、および図８と図９に示した復号化装置のフローチャート、および図１３から図１７に示したピクチャメモリの模式図を用いて、まず符号化および復号化の概要を説明し、その後フローチャートの経路ごとにピクチャメモリ管理に基づいた符号化および復号化の詳細を説明する。
【００４６】
図２は実施の形態１における復号化装置のブロック図である。復号化装置の構成および処理の流れは図３４を用いて説明した従来の方法とほぼ同様である。従来の方法と異なる点は、書き込み可能領域判定部２０８が追加され、作業用ピクチャメモリ２０７が取り除かれた点である。
【００４７】
従来の方法では、対象とするピクチャの復号化が終了してから、ピクチャメモリ制御部２０６によってピクチャメモリ２０３内のピクチャに対して参照可能および参照不可の指定を行い、さらにピクチャの削除処理を行った後、対象とする復号化済みピクチャをピクチャメモリ２０３へ格納するという手順を踏んでいた。そのため、復号化を行っている最中はピクチャメモリ２０３内にデータを保存することができないため、ピクチャメモリ２０３とは別に作業用ピクチャメモリ２０７を用意して復号化を行っていた。
【００４８】
それに対して、本実施の形態では予めピクチャメモリの管理がどのように行われるかを対象ピクチャの復号化を行う前に解析し、ピクチャメモリ２０３内に保存されているピクチャの中から上書きすることが可能である領域を書き込み可能領域判定部２０８によって判定し、復号化を行いながら生成された復号化済みデータを順次ピクチャメモリ２０３に上書きしながら格納していく。そのため、作業用ピクチャメモリ２０７を必要とせずに復号化を行うことが可能となるため、復号化装置におけるメモリの大幅な削減を可能とする。
【００４９】
特に、作業用ピクチャメモリはＨ．２６４の規格によって明確に規定されていないため、入力される可能性のある最も大きなピクチャサイズを想定してメモリの容量を設定する必要があるため、実装を行うにあたっての大きな障害となってしまう。それに対して、ピクチャメモリの容量は規格で明確に定義されているため、その容量内で全ての復号化処理を行うことを可能とする本実施の形態は、復号化装置の実装を単純化することが可能である。
【００５０】
図１は実施の形態１における符号化装置のブロック図である。符号化装置の構成および処理の流れは図３３を用いて説明した従来の方法とほぼ同様である。従来の方法と異なる点は、参照可能ピクチャ判定部１１２が追加され、作業用ピクチャメモリ１１１が取り除かれた点である。
【００５１】
本実施の形態の復号化装置では、復号化を行ったピクチャのデータをそのままピクチャメモリに上書きしながら格納するため、符号化装置でピクチャの符号化を行う際に、上書きすることを可能とする領域をピクチャメモリ内に確保することを前提とした符号化方法が必要となる。つまり、従来の方法のように単純にピクチャメモリ１０５に格納されているピクチャの参照可能もしくは参照不可の情報に基づいて参照を行って符号化を行うのではなく、復号化装置のピクチャメモリの管理方法を符号化時に想定し、復号化時に上書きされるピクチャがどのピクチャであるかを特定し、前記ピクチャを符号化時に参照せずに符号化を行うことが必要となる。参照可能ピクチャ判定部１１２は、前記参照することを禁止するピクチャの特定を行い、動きベクトル検出部１０６によってピクチャメモリ１０５の符号化済みピクチャを参照する際に、参照することが可能であるかどうかを動きベクトル検出部１０６に指示するものである。
【００５２】
なお、本実施の形態はＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるピクチャメモリ管理を行うものであるため、メモリ管理コマンド生成部１１０では管理コマンドの生成は実際には行わず、Ｓｌｉｄｉｎｇ  Ｗｉｎｄｏｗを用いることを示すためのフラグをスライスヘッダに記述するのみである。
【００５３】
図２７は、本実施の形態の符号化装置によって生成された符号列の例を示したものである。従来の方法と同様に、フラグｍｍｃｏ＿ｆｌｇによってＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗを用いてピクチャメモリを管理することが指定さている。管理コマンドｍｍｃｏ＿ｃｍｄはＭＭＣＯを用いた場合のみ必要なデータであり、本実施の形態の場合は管理コマンドｍｍｃｏ＿ｃｍｄを必要としない。一方、従来の方法と異なる点として、ピクチャ情報領域にフラグｄｐｂ＿ｆｌｇが記述されている。このフラグは復号化を行う際に、本実施の形態で説明する方法によってピクチャメモリのみで復号化することが可能な符号列であることを示すフラグである。フラグｄｐｂ＿ｆｌｇは従来の構成を持った復号化装置おいては復号化する際に必ずしも必要とされるフラグではないが、本実施の形態で説明する構成を持った復号化装置は前記フラグを解析することにより、ピクチャメモリのみで復号化が可能かどうか判断することができる。なお、フラグｄｐｂ＿ｆｌｇは、図２７の例ではピクチャ共通情報領域に記述されているが、シーケンス共通情報領域またはその他の情報領域に記述することも可能である。
【００５４】
次に復号化装置におけるピクチャメモリ制御部２０６、書き込み可能領域判定部２０８、および符号化装置におけるピクチャメモリ制御部１０９、参照可能ピクチャ判定部１１２の動作の詳細について、図３、図４、図８、図９に示したフローチャートを用いて、それらの経路ごとに説明を行う。
【００５５】
（経路１）
図８は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路１について説明する。図１３は経路１におけるピクチャメモリの状態が遷移する様子を説明するための図である。図の例のメモリには６枚のピクチャを蓄積することが可能であり、復号化された順番が古いものから順に左側から蓄積されている。Ｐ０、Ｐ３、Ｂ１、Ｂ２は図４０に示したピクチャを表すものであり、数字は表示する順番を示している。ｕｓｅｄは参照可能なピクチャ、ｕｎｕｓｅｄは参照不可のピクチャを示すものである。また、ＣｕｒｒｅｎｔおよびＣは復号化対象ピクチャのデータを示すものである。なお、図中の縦の点線は参照可能ピクチャと参照不可ピクチャの境界を示すものであり、図の例では参照可能ピクチャとして５枚まで保持することが可能であることを示している。
【００５６】
図８に示すように、まず、対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８はピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図１３（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に２枚分の書き領域があることが分かる。経路１によると、空き領域があった場合は、その領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図１３（ｂ）のように書き込み可能領域判定部２０８によって指定された空き領域に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。本来は図１３（ｃ）において参照不可の指定およびピクチャの削除を行うが、図の例では参照可能ピクチャ枚数が５枚に達していないためそれらの操作は行われない。図１３（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。図面上は左から復号化順の古いピクチャが蓄積されているため、図１３（ｃ）から図１３（ｄ）へデータの並び替えが行われたように便宜上記述されているが、これは物理的にデータを移動させるものでない。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図１３（ｄ）のように対象ピクチャに対してそれらの指定（マーキング）を行う。それらの処理が全て終了した段階で図１３（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００５７】
一方、図３は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路１について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図１３はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００５８】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図１３（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によるとによると想定ピクチャメモリに２枚分の書き領域があることが分かる。経路１によると、空き領域があった場合は、全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行うことが指示されている。つまりＰ０、Ｐ３、Ｂ１、Ｂ２の４枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。本来は図１３（ｃ）において参照不可の指定を行うが、図の例では参照可能ピクチャ枚数が５枚に達していないためそれらの操作は行われない。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に
【００５９】
（経路２）
図８は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路２について説明する。図１４は経路２におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００６０】
まず、対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８はピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図１４（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ（記憶領域）内に参照不可ピクチャがあるかどうかを判定する。図１４（ａ）によるとＰ０が参照不可ピクチャであることが分かる。次に、復号順情報が最も古い参照可能ピクチャよりも古い表示順情報を持った参照不可ピクチャがあるかを判定する。図１４（ａ）によると復号順情報が最も古い参照可能ピクチャＰ３の表示順情報は３、それに対して参照不可ピクチャはＰ０のみでありその表示順情報は０であるため、参照不可ピクチャの方が古い表示順情報を持っていることが分かる。その結果、経路２によると最も古い表示順情報を持つ参照不可ピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図１４（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い表示順情報を持つ参照不可ピクチャの領域Ｐ０に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。ピクチャメモリ内の参照可能ピクチャの枚数が５枚に達しているため、図１４（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチャＰ３を参照不可にすることが指定（マーキング）される。その後、図３７を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図１４（ｃ）の例ではＰ０とＰ３が削除候補となるが、Ｐ０の方が表示順情報が古いため、Ｐ０が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＰ０に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図１４（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図１４（ｄ）のように対象ピクチャに対してそれらの指定を行う。それらの処理が全て終了した段階で図１４（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００６１】
一方、図３は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路２について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図１４はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００６２】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図１４（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１４（ａ）によるとＰ０が参照不可ピクチャであることが分かる。次に、符号順情報が最も古い参照可能ピクチャよりも古い表示順情報を持った参照不可ピクチャがあるかを判定する。図１４（ａ）によると符号順情報が最も古い参照可能ピクチャＰ３の表示順情報は３、それに対して参照不可ピクチャはＰ０のみでありその表示順情報は０であるため、参照不可ピクチャの方が古い表示順情報を持っていることが分かる。その結果、経路２によると全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行うことが指示されている。つまりＰ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４の５枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。想定ピクチャメモリ内の参照可能ピクチャの枚数が５枚に達しているため、図１４（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチャＰ３を参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【００６３】
（経路３）
図８は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路３について説明する。図１５は経路３におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００６４】
まず、対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８はピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図１５（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１５（ａ）によるとＰ３が参照不可ピクチャであることが分かる。次に、復号順情報が最も古い参照可能ピクチャよりも古い表示順情報を持った参照不可ピクチャがあるかを判定する。図１５（ａ）によると復号順情報が最も古い参照可能ピクチャＢ１の表示順情報は１、それに対して参照不可ピクチャはＰ３のみでありその表示順情報は３であるため、参照可能ピクチャの方が古い表示順情報を持っていることが分かる。その結果、経路３によると最も古い復号順情報を持つ参照可能ピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図１５（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い復号順情報を持つ参照可能ピクチャの領域Ｂ１に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。ピクチャメモリ内の参照可能ピクチャの枚数が５枚に達しているため、図１５（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチャＢ１を参照不可にすることが指定される。その後、図３７を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図１５（ｃ）の例ではＰ３とＢ１が削除候補となるが、Ｂ１の方が表示順情報が古いため、Ｂ１が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＢ１に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図１５（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図１５（ｄ）のように対象ピクチャに対してそれらの指定（マーキング）を行う。それらの処理が全て終了した段階で図１５（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００６５】
一方、図３は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路３について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図１５はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００６６】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図１５（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１５（ａ）によるとＰ３が参照不可ピクチャであることが分かる。次に、符号順情報が最も古い参照可能ピクチャよりも古い表示順情報を持った参照不可ピクチャがあるかを判定する。図１５（ａ）によると符号順情報が最も古い参照可能ピクチャＢ１の表示順情報は１、それに対して参照不可ピクチャはＰ３のみでありその表示順情報は３であるため、参照可能ピクチャの方が古い表示順情報を持っていることが分かる。その結果、経路３によると符号化順情報が最も古い参照可能ピクチャを参照せずに符号化を行うことが指示されている。つまりＢ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５の５枚の参照可能ピクチャのうちＢ１を参照せずに符号化を行う。これはＢ１が復号化の際に復号化途中で上書きされてしまうため参照に使用できなくなるからである。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。想定ピクチャメモリ内の参照可能ピクチャの枚数が５枚に達しているため、図１５（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチャＢ１を参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【００６７】
（経路４）
図８は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路４について説明する。図１６は経路４におけるピクチャメモリの状態が遷移する様子を説明するための図である。なお、図１６では参照可能ピクチャの最大保持可能枚数を６枚としている。
まず、対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８はピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図１６（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１６（ａ）によると参照不可ピクチャが１枚もないことが分かる。その結果、経路４によると最も古い復号順情報を持つ参照可能ピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図１６（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い復号順情報を持つ参照可能ピクチャの領域Ｐ３に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。ピクチャメモリ内の参照可能ピクチャの枚数が６枚に達しているため、図１６（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチャＰ３を参照不可にすることが指定される。その後、図３７を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図１６（ｃ）の例ではＰ３のみが参照不可と指定されているため、Ｐ３が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＰ３に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図１６（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図１６（ｄ）のように対象ピクチャに対してそれらの指定を行う。それらの処理が全て終了した段階で図１６（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００６８】
一方、図３は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路４について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図１６はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。なお、図１６では参照可能ピクチャの最大保持可能枚数を６枚としている。
【００６９】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図１６（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１６（ａ）によると参照不可ピクチャが１枚もないことが分かる。その結果、経路４によると符号化順情報が最も古い参照可能ピクチャを参照せずに符号化を行うことが指示されている。つまりＰ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５の６枚の参照可能ピクチャのうちＰ３を参照せずに符号化を行う。これはＰ３が復号化の際に復号化途中で上書きされてしまうため参照に使用できなくなるからである。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。想定ピクチャメモリ内の参照可能ピクチャの枚数が６枚に達しているため、図１６（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチャＰ３を参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【００７０】
（経路２ａ）
図９は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。図８のフローチャートの動作との違いはピクチャメモリ制御部２０６がピクチャメモリ内の復号化済みピクチャに対して既に表示されたかどうかの判定を行う機能を有している点のみである。そのため、経路１、経路３、経路４については図８を用いて説明した実施の形態と全く同様であるため説明を省略する。ここでは経路２ａについて説明する。図１７は経路２ａにおけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００７１】
まず、対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８はピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図１７（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１７（ａ）によるとＰ３が参照不可ピクチャであることが分かる。次に、復号順情報が最も古い参照可能ピクチャよりも古い表示順情報を持つもしくは既に表示済みの参照不可ピクチャがあるかを判定する。図１７（ａ）によると、復号順情報が最も古い参照可能ピクチャＢ１の表示順情報は１、それに対して参照不可ピクチャはＰ３のみでありその表示順情報は３であるため、参照可能ピクチャの方が古い表示順情報を持っていることが分かる。しかし、Ｐ３、Ｂ１、Ｂ２が表示済みピクチャでありＰ３は参照不可の表示済みピクチャである。その結果、経路２ａによると最も古い表示順情報を持つ参照不可ピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図１７（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い表示順情報を持つ参照不可ピクチャの領域Ｐ３に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。ピクチャメモリ内の参照可能ピクチャの枚数が５枚に達しているため、図１７（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチＢ１を参照不可にすることが指定される。その後、図３７を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図１７（ｃ）の例ではＰ３とＢ１が削除候補となるが、Ｂ１の方が表示順情報が古いため、Ｂ１が削除されることになる。また、Ｐ３は既に復号化対象のピクチャによって上書きされてしまっているため、もともと蓄積されていたＰ３としてのデータは既に失っている。そのため、図１７（ｄ）に示されたメモリ管理処理適用後のピクチャメモリの状態の図中からはＰ３除かれている。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図１７（ｄ）のように対象ピクチャに対してそれらの指定を行う。それらの処理が全て終了した段階で図１７（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００７２】
一方、図４は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図３のフローチャートの動作との違いはピクチャメモリ制御部１０９が想定ピクチャメモリ内の復号化済みピクチャに対して既に表示されたかどうかの判定を行う機能を有している点のみである。そのため、経路１、経路３、経路４については図３を用いて説明した実施の形態と全く同様であるため説明を省略する。ここでは経路２ａについて説明する。図１７はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００７３】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図１７（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１７（ａ）によるとＰ３が参照不可ピクチャであることが分かる。次に、符号順情報が最も古い参照可能ピクチャよりも古い表示順情報を持つもしくは既に表示済みの参照不可ピクチャがあるかを判定する。図１７（ａ）によると符号順情報が最も古い参照可能ピクチャＢ１の表示順情報は１、それに対して参照不可ピクチャはＰ３のみでありその表示順情報は３であるため、参照可能ピクチャの方が古い表示順情報を持っていることが分かる。しかし、Ｐ３、Ｂ１、Ｂ２が表示済みピクチャでありＰ３は参照不可の表示済みピクチャである。その結果、経路２ａによると全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行うことが指示されている。つまりＢ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５の５枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＳｌｉｄｉｎｇ  Ｗｉｎｄｏｗによるメモリ管理を行う。想定ピクチャメモリ内の参照可能ピクチャの枚数が５枚に達しているため、図１７（ｃ）のように、最も古い復号化順情報を持つ参照可能ピクチャＢ１を参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【００７４】
なお、本発明の実施の形態では、いずれの経路の説明においても、符号化および復号化対象ピクチャに参照可能もしくは参照不可の指定をする作業を最後に行っていたが、ピクチャの削除処理の前に符号化および復号化対象ピクチャに参照可能もしくは参照不可の指定を行い、符号化および復号化対象ピクチャも削除候補に加えてピクチャの削除処理を行った場合についても同様に扱うことが可能である。さらに、このような処理順序の場合は、ピクチャメモリに空き領域がなく、全てのピクチャが参照可能に指定されているとき、復号化対象ピクチャがヘッダ情報によって参照不可にされ、さらに復号化完了と共にすぐに表示されるようなピクチャである場合は、ピクチャメモリに保存することなくそのまま表示処理に移行できるため、上記実施の形態で説明したメモリ管理処理を行う必要はなく、ピクチャメモリ内のデータを復号化以前の状態のまま次のピクチャの復号化処理における参照に使用することが可能である。なお、同様に、符号化装置において想定される復号化装置の動作が上記のような場合は、符号化装置におけるメモリ管理においても、上記実施の形態で説明したような処理を行う必要はなく、ピクチャメモリ内のデータを符号化以前の状態のまま次のピクチャの符号化処理における参照に使用することが可能である。
【００７５】
以上の実施の形態で説明した方法を用いて、ピクチャの符号化および復号化を行うことにより、復号化装置におけるピクチャメモリの中に復号化対象のデータを保存する領域を確保することが可能となり、作業用に新たなメモリ領域を用意する必要がなくなるため、復号化装置および符号化装置におけるメモリ容量を削減し、復号化装置および符号化装置の構成を容易に設計することができる。また、本実施の形態で説明した方法を用いたことによって参照することができなくなるピクチャが発生する可能性は、一般的な符号化および復号化においては非常に低いため、符号化効率の低下は最小限に留めることが可能である。
【００７６】
（実施の形態２）
本発明の実施の形態２はＭＭＣＯによるピクチャメモリ管理を行った場合の動画像符号化方法および復号化方法の１つの形態を説明するものであり、図１に示した符号化装置のブロック図、および図２に示した復号化装置のブロック図、および図５と図６に示した符号化装置のフローチャート、および図１０と図１１に示した復号化装置のフローチャート、および図１８から図２３に示したピクチャメモリの模式図を用いて、まず符号化および復号化の概要を説明し、その後フローチャートの経路ごとにピクチャメモリ管理に基づいた符号化および復号化の詳細を説明する。
【００７７】
図２は実施の形態２における復号化装置のブロック図である。復号化装置の構成および処理の流れは図３４を用いて説明した従来の方法とほぼ同様である。従来の方法と異なる点は、書き込み可能領域判定部２０８が追加され、作業用ピクチャメモリ２０７が取り除かれた点である。
【００７８】
従来の方法では、対象とするピクチャの復号化が終了してから、ピクチャメモリ制御部２０６によってピクチャメモリ２０３内のピクチャに対して参照可能および参照不可の指定を行い、さらにピクチャの削除処理を行った後、対象とする復号化済みピクチャをピクチャメモリ２０３へ格納するという手順を踏んでいた。そのため、復号化を行っている最中はピクチャメモリ２０３内にデータを保存することができないため、ピクチャメモリ２０３とは別に作業用ピクチャメモリ２０７を用意して復号化を行っていた。
【００７９】
それに対して、本実施の形態では予めピクチャメモリの管理がどのように行われるかを対象ピクチャの復号化を行う前に解析し、ピクチャメモリ２０３内に保存されているピクチャの中から上書きすることが可能である領域を書き込み可能領域判定部２０８によって判定し、復号化を行いながら生成された復号化済みデータを順次ピクチャメモリ２０３に上書きしながら格納していく。そのため、作業用ピクチャメモリ２０７を必要とせずに復号化を行うことが可能となるため、復号化装置におけるメモリの大幅な削減を可能とする。
【００８０】
特に、作業用ピクチャメモリはＨ．２６４の規格によって明確に規定されていないため、入力される可能性のある最も大きなピクチャサイズを想定してメモリの容量を設定する必要があるため、実装を行うにあたっての大きな障害となってしまう。それに対して、ピクチャメモリの容量は規格で明確に定義されているため、その容量内で全ての復号化処理を行うことを可能とする本実施の形態は、復号化装置の実装を単純化することが可能である。
【００８１】
図１は実施の形態２における符号化装置のブロック図である。符号化装置の構成および処理の流れは図３３を用いて説明した従来の方法とほぼ同様である。従来の方法と異なる点は、参照可能ピクチャ判定部１１２が追加され、作業用ピクチャメモリ１１１が取り除かれた点である。
【００８２】
本実施の形態の復号化装置では、復号化を行ったピクチャのデータをそのままピクチャメモリに上書きしながら格納するため、符号化装置でピクチャの符号化を行う際に、上書きすることを可能とする領域をピクチャメモリ内に確保することを前提とした符号化方法が必要となる。つまり、従来の方法のように単純にピクチャメモリ１０５に格納されているピクチャの参照可能もしくは参照不可の情報に基づいて参照を行って符号化を行うのではなく、復号化装置のピクチャメモリの管理方法を符号化時に想定し、復号化時に上書きされるピクチャがどのピクチャであるかを特定し、前記ピクチャを符号化時に参照せずに符号化を行うことが必要となる。参照可能ピクチャ判定部１１２は、前記参照することを禁止するピクチャの特定を行い、動きベクトル検出部１０６によってピクチャメモリ１０５の符号化済みピクチャを参照する際に、参照することが可能であるかどうかを動きベクトル検出部１０６に指示するものである。
【００８３】
なお、本実施の形態はＭＭＣＯによるピクチャメモリ管理を行うものであるため、メモリ管理コマンド生成部１１０において管理コマンドの生成を行い、コマンドの情報と共に、ＭＭＣＯを用いることを示すためのフラグをスライスヘッダに記述する。
【００８４】
図２７は、本実施の形態の符号化装置によって生成された符号列の例を示したものである。従来の方法と同様に、フラグｍｍｃｏ＿ｆｌｇによってＭＭＣＯを用いてピクチャメモリを管理することが指定さている。管理コマンドｍｍｃｏ＿ｃｍｄはＭＭＣＯを用いて参照不可にする任意のピクチャを特定するために必要なコマンドデータであり、図のようにスライスヘッダ中に記述する。一方、従来の方法と異なる点として、ピクチャ情報領域にフラグｄｐｂ＿ｆｌｇが記述されている。このフラグは復号化を行う際に、本実施の形態で説明する方法によってピクチャメモリのみで復号化することが可能な符号列であることを示すフラグである。フラグｄｐｂ＿ｆｌｇは従来の構成を持った復号化装置おいては復号化する際に必ずしも必要とされるフラグではないが、本実施の形態で説明する構成を持った復号化装置は前記フラグを解析することにより、ピクチャメモリのみで復号化が可能かどうか判断することができる。なお、フラグｄｐｂ＿ｆｌｇは、図２７の例ではピクチャ共通情報領域に記述されているが、シーケンス共通情報領域またはその他の情報領域に記述することも可能である。
【００８５】
次に復号化装置におけるピクチャメモリ制御部２０６、書き込み可能領域判定部２０８、および符号化装置におけるピクチャメモリ制御部１０９、参照可能ピクチャ判定部１１２の動作の詳細について、図５、図６、図１０、図１１に示したフローチャートを用いて、それらの経路ごとに説明を行う。
【００８６】
（経路１）
図１０は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路１について説明する。図１８は経路１におけるピクチャメモリの状態が遷移する様子を説明するための図である。図の例のメモリには６枚のピクチャを蓄積することが可能であり、復号化された順番が古いものから順に左側から蓄積されている。Ｐ０、Ｐ３、Ｂ１、Ｂ２は図４０に示したピクチャを表すものであり、数字は表示する順番を示している。ｕｓｅｄは参照可能なピクチャ、ｕｎｕｓｅｄは参照不可のピクチャを示すものである。また、ＣｕｒｒｅｎｔおよびＣは復号化対象ピクチャのデータを示すものである。
【００８７】
図１０に示すように、まず、対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図１８（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に２枚分の書き領域があることが分かる。経路１によると、空き領域があった場合は、その領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図１８（ｂ）のように書き込み可能領域判定部２０８によって指定された空き領域に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。本来は図１８（ｃ）において任意のピクチャに対して参照不可の指定およびピクチャの削除を行うが、図は参照不可の指定を行っていない例であり、またピクチャメモリに空き領域があるためピクチャの削除処理も行われていない。図１８（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。図面上は左から復号化順の古いピクチャが蓄積されているため、図１８（ｃ）から図１８（ｄ）へデータの並び替えが行われたように便宜上記述されているが、これは物理的にデータを移動させるものでない。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図１８（ｄ）のように対象ピクチャに対してそれらの指定（マーキング）を行う。それらの処理が全て終了した段階で図１８（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００８８】
一方、図５は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路１について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図１８はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００８９】
まず、対象ピクチャの符号化を開始する前にメモリ管理コマンド生成部１１０において、管理コマンドを生成することで、符号化終了後に参照不可にするピクチャを決定しておく。その後参照することを可能とするピクチャを判定するために、参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図１８（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によるとによると想定ピクチャメモリに２枚分の書き領域があることが分かる。経路１によると、空き領域があった場合は、全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行うことが指示されている。つまりＰ０、Ｐ３、Ｂ１、Ｂ２の４枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。本来は図１８（ｃ）において任意のピクチャに対して参照不可の指定を行うが、図は参照不可の指定を行っていない例である。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【００９０】
（経路２）
図１０は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路２について説明する。図１９は経路２におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００９１】
対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図１９（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１９（ａ）によるとＢ１とＢ２が参照不可ピクチャであることが分かる。次に、管理コマンドによって参照不可にされるピクチャよりも古い表示順情報を持つ参照不可ピクチャがあるかを判定する。この例では図１９（ｃ）にあるように管理コマンドによって参照不可にされる予定のピクチャをＰ３としている。図１９（ａ）によると表示順情報が最も古い参照不可ピクチャはＢ１でありその表示順情報は１であり、Ｐ３の表示順情報の３よりも古いことが分かる。その結果、経路２によると最も古い表示順情報を持つ参照不可ピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図１９（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い表示順情報を持つ参照不可ピクチャの領域Ｂ１に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの解析が行われＰ３が参照不可にされることが分かっている。そこで図１９（ｃ）のようにＰ３に対して参照不可にすることが指定される。その後、図３８を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図１９（ｃ）の例ではＰ３とＢ１とＢ２が削除候補となるが、Ｂ１が表示順情報が最も古いため、Ｂ１が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＢ１に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図１９（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図１９（ｄ）のように対象ピクチャに対してそれらの指定を行う。それらの処理が全て終了した段階で図１９（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００９２】
一方、図５は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路２について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図１９はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００９３】
まず、対象ピクチャの符号化を開始する前にメモリ管理コマンド生成部１１０において、管理コマンドを生成することで、符号化終了後に参照不可にするピクチャを決定しておく。その後参照することを可能とするピクチャを判定するために、参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図１９（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図１９（ａ）によるとＢ１とＢ２が参照不可ピクチャであることが分かる。次に、管理コマンドによって参照不可にされるピクチャよりも古い表示順情報を持つ参照不可ピクチャがあるかを判定する。この例では図１９（ｃ）にあるように管理コマンドによって参照不可にされる予定のピクチャをＰ３としている。図１９（ａ）によると表示順情報が最も古い参照不可ピクチャはＢ１でありその表示順情報は１であり、Ｐ３の表示順情報の３よりも古いことが分かる。その結果、経路２によると全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行うことが指示されている。つまりＰ０、Ｐ３、Ｐ６、Ｂ４の４枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされＰ３が参照不可にされることが決定されている。そこで図１９（ｃ）のようにＰ３に対して参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【００９４】
（経路３）
図１０は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路３について説明する。図２０は経路３におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００９５】
対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図２０（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２０（ａ）によるとＢ１とＢ２が参照不可ピクチャであることが分かる。次に、管理コマンドによって参照不可にされるピクチャよりも古い表示順情報を持つ参照不可ピクチャがあるかを判定する。この例では図２０（ｃ）にあるように管理コマンドによって参照不可にされる予定のピクチャをＰ０としている。図２０（ａ）によると表示順情報が最も古い参照不可ピクチャはＢ１でありその表示順情報は１であり、Ｐ０の表示順情報の０の方が古いことが分かる。その結果、経路３によると管理コマンドによって参照不可にされる予定のピクチャの領域に保存しながら復号化を行うことが指示されている。つまり、図２０（ｂ）のように書き込み可能領域判定部２０８によって指定された管理コマンドによって参照不可にされる予定のピクチャの領域Ｐ０に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの解析が行われＰ０が参照不可にされることが分かっている。そこで図２０（ｃ）のようにＰ０に対して参照不可にすることが指定される。その後、図３８を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図２０（ｃ）の例ではＰ０とＢ１とＢ２が削除候補となるが、Ｐ０が表示順情報が最も古いため、Ｐ０が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＰ０に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図２０（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図２０（ｄ）のように対象ピクチャに対してそれらの指定を行う。それらの処理が全て終了した段階で図２０（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【００９６】
一方、図５は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路３について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図２０はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００９７】
まず、対象ピクチャの符号化を開始する前にメモリ管理コマンド生成部１１０において、管理コマンドを生成することで、符号化終了後に参照不可にするピクチャを決定しておく。その後参照することを可能とするピクチャを判定するために、参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図２０（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２０（ａ）によるとＢ１とＢ２が参照不可ピクチャであることが分かる。次に、管理コマンドによって参照不可にされるピクチャよりも古い表示順情報を持つ参照不可ピクチャがあるかを判定する。この例では図２０（ｃ）にあるように管理コマンドによって参照不可にされる予定のピクチャをＰ０としている。図２０（ａ）によると表示順情報が最も古い参照不可ピクチャはＢ１でありその表示順情報は１であり、Ｐ０の表示順情報の０の方が古いことが分かる。その結果、経路３によると管理コマンドによって参照不可にされる予定のピクチャを参照せずに符号化を行うことが指示されている。つまりＰ０、Ｐ３、Ｐ６、Ｂ４の４枚の参照可能ピクチャのうち、参照不可にされる予定のＰ０を除いた３枚のみを参照して符号化を行う。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされＰ０が参照不可にされることが決定されている。そこで図２０（ｃ）のようにＰ０に対して参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【００９８】
（経路４）
図１０は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路３について説明する。図２１は経路４におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【００９９】
対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図２１（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２１（ａ）によると参照不可ピクチャが１枚もないことが分かる。次に、管理コマンドによって参照不可にされるピクチャがあるかを判定する。予め解析されたＭＭＣＯのコマンドによって、この例では図２１（ｃ）にあるようにＢ２を参照不可にすることが決定されている。その結果、経路４によると管理コマンドによって参照不可にされる予定のピクチャの領域に保存しながら復号化を行うことが指示されている。つまり、図２１（ｂ）のように書き込み可能領域判定部２０８によって指定された管理コマンドによって参照不可にされる予定のピクチャの領域Ｂ２に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの解析が行われＢ２が参照不可にされることが分かっている。そこで図２１（ｃ）のようにＢ２に対して参照不可にすることが指定（マーキング）される。その後、図３８を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図２１（ｃ）の例ではＢ２のみ削除候補となっているため、Ｂ２が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＢ２に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図２１（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図２１（ｄ）のように対象ピクチャに対してそれらの指定を行う。それらの処理が全て終了した段階で図２１（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【０１００】
一方、図５は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路４について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図２１はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１０１】
まず、対象ピクチャの符号化を開始する前にメモリ管理コマンド生成部１１０において、管理コマンドを生成することで、符号化終了後に参照不可にするピクチャを決定しておく。その後参照することを可能とするピクチャを判定するために、参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図２１（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２１（ａ）によると参照不可ピクチャが１枚もないことが分かる。次に、管理コマンドによって参照不可にされる予定のピクチャがあるかを判定する。予め生成されたＭＭＣＯのコマンドによって、この例では図２１（ｃ）にあるようにＢ２を参照不可にすることが決定されている。その結果、経路４によると管理コマンドによって参照不可にされる予定のピクチャを参照せずに符号化を行うことが指示されている。つまりＰ０、Ｐ３、Ｂ２、Ｐ６、Ｂ４、Ｂ５の６枚の参照可能ピクチャのうち、参照不可にされる予定のＢ２を除いた５枚のみを参照して符号化を行う。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされＢ２が参照不可にされることが決定されている。そこで図２１（ｃ）のようにＢ２に対して参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【０１０２】
（経路５）
図１０は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路３について説明する。図２２は経路５におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１０３】
対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図２２（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２２（ａ）によると参照不可ピクチャが１枚もないことが分かる。次に、管理コマンドによって参照不可にされるピクチャがあるかを判定する。予め解析されたＭＭＣＯのコマンドによって、この例では図２２（ｃ）にあるようにどのピクチャも参照不可にしないことが決定されている。その結果、経路５によると最も古い表示順情報を持つ参照可能ピクチャの領域に保存しながら復号化を行うことが指示されている。つまり、図２２（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い表示順情報を持つ参照可能ピクチャの領域Ｐ０に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの解析が行われどのピクチャも参照不可にされないことが分かっている。そこで、図３８を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照可能ピクチャを削除する。つまり、図２２（ｃ）の例では最も古い表示順情報を持つ参照可能ピクチャはＰ０であり、Ｐ０が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＰ０に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図２２（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図２２（ｄ）のように対象ピクチャに対してそれらの指定（マーキング）を行う。それらの処理が全て終了した段階で図２２（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【０１０４】
一方、図５は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路５について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図２２はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１０５】
まず、対象ピクチャの符号化を開始する前にメモリ管理コマンド生成部１１０において、管理コマンドを生成することで、符号化終了後に参照不可にするピクチャを決定しておく。その後参照することを可能とするピクチャを判定するために、参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図２２（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２２（ａ）によると参照不可ピクチャが１枚もないことが分かる。次に、管理コマンドによって参照不可にされる予定のピクチャがあるかを判定する。予め生成されたＭＭＣＯのコマンドによって、この例では図２２（ｃ）にあるようにどのピクチャも参照不可にされないことが決定されている。その結果、経路５によると最も古い表示順情報を持つ参照可能ピクチャを参照せずに符号化を行うことが指示されている。つまりＰ０、Ｐ３、Ｂ２、Ｐ６、Ｂ４、Ｂ５の６枚の参照可能ピクチャのうち、最も古い表示順情報を持つＰ０を除いた５枚のみを参照して符号化を行う。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされどのピクチャも参照不可にされないことが決定されている。しかし、図３８を用いて従来の技術で説明したように、復号化装置において最も古い表示順情報を持つ参照可能ピクチャが削除されることになるので、符号化装置においても最も古い表示順情報を持つＰ０を削除もしくは参照不可にすることが必要である。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【０１０６】
（経路２ａ）
図１１は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。図１０のフローチャートの動作との違いはピクチャメモリ制御部２０６がピクチャメモリ内の復号化済みピクチャに対して既に表示されたかどうかの判定を行う機能を有している点のみである。そのため、経路１、経路３、経路４、経路５については図１０を用いて説明した実施の形態と全く同様であるため説明を省略する。ここでは経路２ａについて説明する。図２３は経路２ａにおけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１０７】
対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図２３（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２３（ａ）によるとＢ１とＢ２が参照不可ピクチャであることが分かる。次に、管理コマンドによって参照不可にされるピクチャよりも古い表示順情報を持つもしくは既に表示済みの参照不可ピクチャがあるかを判定する。この例では図２３（ｃ）にあるように管理コマンドによって参照不可にされる予定のピクチャをＰ０としている。図２３（ａ）によると表示順情報が最も古い参照不可ピクチャはＢ１でありその表示順情報は１であり、Ｐ０の表示順情報の０の方が古いことが分かる。しかし、Ｐ０、Ｐ３、Ｂ１、Ｂ２が表示済みピクチャでありＢ１とＢ２は参照不可の表示済みピクチャである。その結果、経路２ａによると最も古い表示順情報を持つ参照不可ピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図２３（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い表示順情報を持つ参照不可ピクチャの領域Ｂ１に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの解析が行われＰ０が参照不可にされることが分かっている。そこで図２３（ｃ）のようにＰ０に対して参照不可にすることが指定される。その後、図３８を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図２３（ｃ）の例ではＰ０とＢ１とＢ２が削除候補となるが、Ｐ０が表示順情報が最も古いため、Ｐ０が削除されることになる。また、Ｂ１は既に復号化対象のピクチャによって上書きされてしまっているため、もともと蓄積されていたＢ１としてのデータは既に失っている。そのため、図２３（ｄ）に示されたメモリ管理処理適用後のピクチャメモリの状態の図中からはＢ１除かれている。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図２３（ｄ）のように対象ピクチャに対してそれらの指定を行う。それらの処理が全て終了した段階で図２３（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【０１０８】
一方、図６は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図５のフローチャートの動作との違いはピクチャメモリ制御部１０９が想定ピクチャメモリ内の復号化済みピクチャに対して既に表示されたかどうかの判定を行う機能を有している点のみである。そのため、経路１、経路３、経路４、経路５については図５を用いて説明した実施の形態と全く同様であるため説明を省略する。ここでは経路２ａについて説明する。図２３はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１０９】
まず、対象ピクチャの符号化を開始する前にメモリ管理コマンド生成部１１０において、管理コマンドを生成することで、符号化終了後に参照不可にするピクチャを決定しておく。その後参照することを可能とするピクチャを判定するために、参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図２３（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、想定ピクチャメモリ内に参照不可ピクチャがあるかどうかを判定する。図２３（ａ）によるとＢ１とＢ２が参照不可ピクチャであることが分かる。次に、管理コマンドによって参照不可にされるピクチャよりも古い表示順情報を持つもしくは既に表示済みの参照不可ピクチャがあるかを判定する。この例では図２３（ｃ）にあるように管理コマンドによって参照不可にされる予定のピクチャをＰ０としている。図２３（ａ）によると表示順情報が最も古い参照不可ピクチャはＢ１でありその表示順情報は１であり、Ｐ０の表示順情報の０の方が古いことが分かる。しかし、Ｐ０、Ｐ３、Ｂ１、Ｂ２が表示済みピクチャでありＢ１とＢ２は参照不可の表示済みピクチャである。その結果、経路２ａによると全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行うことが指示されている。つまりＰ０、Ｐ３、Ｐ６、Ｂ４の４枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされＰ０が参照不可にされることが決定されている。そこで図２３（ｃ）のようにＰ０に対して参照不可にすることが指定される。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【０１１０】
なお、本発明の実施の形態では、いずれの経路の説明においても、符号化および復号化対象ピクチャに参照可能もしくは参照不可の指定をする作業を最後に行っていたが、ピクチャの削除処理の前に符号化および復号化対象ピクチャに参照可能もしくは参照不可の指定を行い、符号化および復号化対象ピクチャも削除候補に加えてピクチャの削除処理を行った場合についても同様に扱うことが可能である。さらに、このような処理順序の場合は、ピクチャメモリに空き領域がなく、全てのピクチャが参照可能に指定されているとき、復号化対象ピクチャがヘッダ情報によって参照不可にされ、さらに復号化完了と共にすぐに表示されるようなピクチャである場合は、ピクチャメモリに保存することなくそのまま表示処理に移行できるため、上記実施の形態で説明したメモリ管理処理を行う必要はなく、ピクチャメモリ内のデータを復号化以前の状態のまま次のピクチャの復号化処理における参照に使用することが可能である。なお、同様に、符号化装置において想定される復号化装置の動作が上記のような場合は、符号化装置におけるメモリ管理においても、上記実施の形態で説明したような処理を行う必要はなく、ピクチャメモリ内のデータを符号化以前の状態のまま次のピクチャの符号化処理における参照に使用することが可能である。
【０１１１】
なお、本発明の実施の形態では、符号化装置において参照可能ピクチャ判定部１１２によって、想定するピクチャメモリがどのような状態にあっても、想定する復号化装置におけるピクチャメモリの中に復号化対象のデータを保存する領域を確保することを可能としていたが、逆にメモリ管理コマンド生成部１１０によって、想定する復号化装置におけるピクチャメモリから対象ピクチャの復号化終了後に削除されるピクチャが常に参照不可となっているようなＭＭＣＯのコマンドを生成することによって、同目的を実現することも可能である。その場合は、図５および図６における経路１、経路２、経路２ａのみを通るようコマンドを生成することが条件となり、下記のいずれかを満たすことが必要である。
▲１▼復号化装置のピクチャメモリに空き領域が１ピクチャ分以上あること。
▲２▼復号化装置のピクチャメモリに空き領域がない場合は参照不可ピクチャが１枚以上存在し、全ての前記参照不可ピクチャよりも古い表示順情報を持つ参照可能ピクチャを参照不可にするコマンドを生成しないこと。
【０１１２】
▲３▼復号化装置がピクチャメモリ内の復号化済みピクチャに対して表示済みかどうかの判断を行うことが可能であるとき、復号化装置のピクチャメモリに空き領域がない場合は参照不可ピクチャが１枚以上存在し、全ての前記参照不可ピクチャが表示済みでない場合、全ての前記参照不可ピクチャよりも古い表示順情報を持つ参照可能ピクチャを参照不可にするコマンドを生成しないこと。
【０１１３】
上記の方法を用いることにより、符号化装置は常に全ての参照可能ピクチャを参照して符号化を行うことが可能となり、参照可能ピクチャを判定する処理を単純化することが可能となる。
【０１１４】
以上の実施の形態で説明した方法を用いて、ピクチャの符号化および復号化を行うことにより、復号化装置におけるピクチャメモリの中に復号化対象のデータを保存する領域を確保することが可能となり、作業用に新たなメモリ領域を用意する必要がなくなるため、復号化装置および符号化装置におけるメモリ容量を削減し、復号化装置および符号化装置の構成を容易に設計することができる。また、本実施の形態で説明した方法を用いたことによって参照することができなくなるピクチャが発生する可能性は、一般的な符号化および復号化においては非常に低いため、符号化効率の低下は最小限に留めることが可能である。
【０１１５】
（実施の形態３）
本発明の実施の形態３はＭＭＣＯによるピクチャメモリ管理を行った場合の動画像符号化方法および復号化方法の実施の形態１とは別の形態を説明するものであり、図１に示した符号化装置のブロック図、および図２に示した復号化装置のブロック図、および図７に示した符号化装置のフローチャート、および図１２に示した復号化装置のフローチャート、および図２４から図２６に示したピクチャメモリの模式図を用いて、まず符号化および復号化の概要を説明し、その後フローチャートの経路ごとにピクチャメモリ管理に基づいた符号化および復号化の詳細を説明する。
【０１１６】
図２は実施の形態３における復号化装置のブロック図である。復号化装置の構成および処理の流れは図３４を用いて説明した従来の方法とほぼ同様である。従来の方法と異なる点は、書き込み可能領域判定部２０８が追加され、作業用ピクチャメモリ２０７が取り除かれた点である。
【０１１７】
従来の方法では、対象とするピクチャの復号化が終了してから、ピクチャメモリ制御部２０６によってピクチャメモリ２０３内のピクチャに対して参照可能および参照不可の指定を行い、さらにピクチャの削除処理を行った後、対象とする復号化済みピクチャをピクチャメモリ２０３へ格納するという手順を踏んでいた。そのため、復号化を行っている最中はピクチャメモリ２０３内にデータを保存することができないため、ピクチャメモリ２０３とは別に作業用ピクチャメモリ２０７を用意して復号化を行っていた。
【０１１８】
それに対して、本実施の形態では予めピクチャメモリの管理がどのように行われるかを対象ピクチャの復号化を行う前に解析し、ピクチャメモリ２０３内に保存されているピクチャの中から上書きすることが可能である領域を書き込み可能領域判定部２０８によって判定し、復号化を行いながら生成された復号化済みデータを順次ピクチャメモリ２０３に上書きしながら格納していく。そのため、作業用ピクチャメモリ２０７を必要とせずに復号化を行うことが可能となるため、復号化装置におけるメモリの大幅な削減を可能とする。
【０１１９】
特に、作業用ピクチャメモリはＨ．２６４の規格によって明確に規定されていないため、入力される可能性のある最も大きなピクチャサイズを想定してメモリの容量を設定する必要があるため、実装を行うにあたっての大きな障害となってしまう。それに対して、ピクチャメモリの容量は規格で明確に定義されているため、その容量内で全ての復号化処理を行うことを可能とする本実施の形態は、復号化装置の実装を単純化することが可能である。
【０１２０】
図１は実施の形態３における符号化装置のブロック図である。符号化装置の構成および処理の流れは図３３を用いて説明した従来の方法とほぼ同様である。従来の方法と異なる点は、参照可能ピクチャ判定部１１２が追加され、作業用ピクチャメモリ１１１が取り除かれた点である。
【０１２１】
本実施の形態の復号化装置では、復号化を行ったピクチャのデータをそのままピクチャメモリに上書きしながら格納するため、符号化装置でピクチャの符号化を行う際に、上書きすることを可能とする領域をピクチャメモリ内に確保することを前提とした符号化方法が必要となる。つまり、従来の方法のように単純にピクチャメモリ１０５に格納されているピクチャの参照可能もしくは参照不可の情報に基づいて参照を行って符号化を行うのではなく、復号化装置のピクチャメモリの管理方法を符号化時に想定し、復号化時に上書きされるピクチャがどのピクチャであるかを特定し、前記ピクチャを符号化時に参照せずに符号化を行うことが必要となる。参照可能ピクチャ判定部１１２は、前記参照することを禁止するピクチャの特定を行い、動きベクトル検出部１０６によってピクチャメモリ１０５の符号化済みピクチャを参照する際に、参照することが可能であるかどうかを動きベクトル検出部１０６に指示するものである。
【０１２２】
なお、本実施の形態はＭＭＣＯによるピクチャメモリ管理を行うものであるため、メモリ管理コマンド生成部１１０において管理コマンドの生成を行い、コマンドの情報と共に、ＭＭＣＯを用いることを示すためのフラグをスライスヘッダに記述する。
【０１２３】
図２７は、本実施の形態の符号化装置によって生成された符号列の例を示したものである。従来の方法と同様に、フラグｍｍｃｏ＿ｆｌｇによってＭＭＣＯを用いてピクチャメモリを管理することが指定さている。管理コマンドｍｍｃｏ＿ｃｍｄはＭＭＣＯを用いて参照不可にする任意のピクチャを特定するために必要なコマンドデータであり、図のようにスライスヘッダ中に記述する。一方、従来の方法と異なる点として、ピクチャ情報領域にフラグｄｐｂ＿ｆｌｇが記述されている。このフラグは復号化を行う際に、本実施の形態で説明する方法によってピクチャメモリのみで復号化することが可能な符号列であることを示すフラグである。フラグｄｐｂ＿ｆｌｇは従来の構成を持った復号化装置おいては復号化する際に必ずしも必要とされるフラグではないが、本実施の形態で説明する構成を持った復号化装置は前記フラグを解析することにより、ピクチャメモリのみで復号化が可能かどうか判断することができる。なお、フラグｄｐｂ＿ｆｌｇは、図２７の例ではピクチャ共通情報領域に記述されているが、シーケンス共通情報領域またはその他の情報領域に記述することも可能である。
【０１２４】
次に復号化装置におけるピクチャメモリ制御部２０６、書き込み可能領域判定部２０８、および符号化装置におけるピクチャメモリ制御部１０９、参照可能ピクチャ判定部１１２の動作の詳細について、図５、図６、図１０、図１１に示したフローチャートを用いて、それらの経路ごとに説明を行う。
【０１２５】
（経路１）
図１２は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路１について説明する。図２４は経路１におけるピクチャメモリの状態が遷移する様子を説明するための図である。図の例のメモリには６枚のピクチャを蓄積することが可能であり、復号化された順番が古いものから順に左側から蓄積されている。Ｐ０、Ｐ３、Ｂ１、Ｂ２は図４０に示したピクチャを表すものであり、数字は表示する順番を示している。ｕｓｅｄは参照可能なピクチャ、ｕｎｕｓｅｄは参照不可のピクチャを示すものである。また、ＣｕｒｒｅｎｔおよびＣは復号化対象ピクチャのデータを示すものである。
【０１２６】
まず、対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図２４（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に２枚分の書き領域があることが分かる。経路１によると、空き領域があった場合は、その領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図２４（ｂ）のように書き込み可能領域判定部２０８によって指定された空き領域に復号化中のデータを保存しながら対象ピクチャの復号化を行う。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。本来は図２４（ｃ）において任意のピクチャに対して参照不可の指定およびピクチャの削除を行うが、図はＢ２に対して参照不可の指定を行っている。しかし、ピクチャメモリに空き領域があるためピクチャの削除処理は行われていない。図２４（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。図面上は左から復号化順の古いピクチャが蓄積されているため、図２４（ｃ）から図２４（ｄ）へデータの並び替えが行われたように便宜上記述されているが、これは物理的にデータを移動させるものでない。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図２４（ｄ）のように対象ピクチャに対してそれらの指定（マーキング）を行う。それらの処理が全て終了した段階で図２４（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【０１２７】
一方、図７は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路１について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図２４はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１２８】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図２４（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によるとによると想定ピクチャメモリに２枚分の書き領域があることが分かる。経路１によると、空き領域があった場合は、まず、メモリ管理コマンド生成部１１０において、符号化終了後に参照不可にするピクチャを任意に決定し、そのピクチャを参照不可にするための管理コマンドを生成する。次に、全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行う。つまりＰ０、Ｐ３、Ｂ１、Ｂ２の４枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされＢ２が参照不可にされることが決定されている。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【０１２９】
（経路２）
図１２は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路２について説明する。図２５は経路２におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１３０】
対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図２５（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。その結果、経路２によると最も古い表示順情報を持つピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図２５（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い表示順情報を持つピクチャの領域Ｐ０に復号化中のデータを保存しながら対象ピクチャの復号化を行う。この図の例の場合は最も古い表示順情報を持つピクチャが参照不可ピクチャである。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの解析が行われどのピクチャも参照不可にされないことが分かっている。その後、図３８を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図２５（ｃ）の例ではＰ０とＢ２が削除候補となるが、Ｐ０が表示順情報が最も古いため、Ｐ０が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＰ０に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図２５（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図２５（ｄ）のように対象ピクチャに対してそれらの指定（マーキング）を行う。それらの処理が全て終了した段階で図２５（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【０１３１】
一方、図７は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路２について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図２５はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１３２】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図２５（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、最も表示順情報を持つピクチャが参照不可になっているかどうかを判定する。図２５（ａ）によると最も表示順情報を持つピクチャはＰ０であり、さらにＰ０は参照不可に指定されていることが分かる。その結果、経路２によると、まず、メモリ管理コマンド生成部１１０において、符号化終了後に参照不可にするピクチャを任意に決定し、そのピクチャを参照不可にするための管理コマンドを生成する。次に、全ての参照可能ピクチャを参照しながら対象ピクチャの符号化を行う。つまりＰ３、Ｂ１、Ｐ６、Ｂ４の４枚の参照可能ピクチャ全てを用いて符号化を行うことが可能である。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされどのピクチャも参照不可にされないことが決定されている。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【０１３３】
（経路３）
図１２は復号化装置におけるピクチャメモリ制御部２０６および書き込み可能領域判定部２０８の動作を説明するためのフローチャートである。ここでは経路２について説明する。図２６は経路３におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１３４】
対象ピクチャの復号化を開始する前に書き込み可能領域判定部２０８は符号列中に含まれるＭＭＣＯのコマンドを解析し、復号化処理終了後に参照不可にされるピクチャを記憶しておく。その後書き込み可能領域を判定するために、符号列ピクチャメモリ２０３に復号化済みピクチャが蓄積されていない空き領域があるかどうかを判定する。図２６（ａ）は復号化を開始する前のピクチャメモリの状態を示したものであるが、この図によるとピクチャメモリ内に空き領域がないことが分かる。その結果、経路３によると最も古い表示順情報を持つピクチャの領域に復号化中のデータを保存しながら対象ピクチャの復号化を行うことが指示されている。つまり、図２６（ｂ）のように書き込み可能領域判定部２０８によって指定された最も古い表示順情報を持つピクチャの領域Ｂ１に復号化中のデータを保存しながら対象ピクチャの復号化を行う。この図の例の場合は最も古い表示順情報を持つピクチャが参照可能ピクチャである。次に、ピクチャメモリ制御部２０６によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの解析が行われＢ１が参照不可にされることが分かっている。そこで図２６（ｃ）のようにＢ１に対して参照不可にすることが指定される。その後、図３８を用いて従来の技術で説明したように、最も古い表示順情報を持つ参照不可ピクチャを削除する。つまり、図２６（ｃ）の例ではＢ１とＢ２が削除候補となるが、Ｂ１が表示順情報が最も古いため、Ｂ１が削除されることになる。しかし、物理的には既に復号化対象ピクチャがＢ１に上書きされているため、管理情報の削除のみでデータの削除は行う必要がない。図２６（ｄ）はメモリ管理処理適用後のピクチャメモリの状態を示すものである。最後に対象ピクチャのヘッダ領域に記述されている情報に基づいて、対象ピクチャを参照可能にするか参照不可にするか判定し、図２６（ｄ）のように対象ピクチャに対してそれらの指定（マーキング）を行う。それらの処理が全て終了した段階で図２６（ｅ）のようなメモリ状態が得られ、次のピクチャの復号化での参照に使用される。
【０１３５】
一方、図７は上記のような復号化が可能な符号列を生成する符号化装置におけるピクチャメモリ制御部１０９および参照可能ピクチャ判定部１１２の動作を説明するためのフローチャートである。ここでは経路２について説明する。本実施の形態における符号化装置は対応する復号化装置のメモリ管理を想定しながら符号化を行うものである。図２６はその際に想定される復号化装置におけるピクチャメモリの状態が遷移する様子を説明するための図である。
【０１３６】
まず、対象ピクチャの符号化を開始する前に参照可能ピクチャ判定部１１２は想定する復号化装置のピクチャメモリに空き領域があるかどうかを判定する。図２６（ａ）は符号化を開始する前の想定ピクチャメモリの状態を示したものであるが、この図によると想定ピクチャメモリ内に空き領域がないことが分かる。空き領域がなかった場合は、次に、最も表示順情報を持つピクチャが参照不可になっているかどうかを判定する。図２６（ａ）によると最も表示順情報を持つピクチャはＢ１であるが、Ｂ１は参照可能に指定されていることが分かる。その結果、経路３によると、まず、メモリ管理コマンド生成部１１０において、符号化終了後に参照不可にするピクチャとして、表示順情報が最も古いピクチャを選択し、そのピクチャを参照不可にするための管理コマンドを生成する。図２６（ｃ）によると、表示順情報が最も古いピクチャはＢ１であり、Ｂ１を参照不可にするコマンドが生成される。次に、表示順情報が最も古いピクチャを参照せずに符号化を行う。つまりＰ３、Ｂ１、Ｐ６、Ｂ４、Ｂ５の５枚の参照可能ピクチャのうち、表示順情報が最も古いピクチャＢ１を除く４枚のピクチャのみを参照して符号化を行う。次に、ピクチャメモリ制御部１０９によってメモリ管理処理が行われる。本実施の形態ではＭＭＣＯによるメモリ管理を行う。ＭＭＣＯでは任意のピクチャを参照不可にすることが可能であるが、既にＭＭＣＯのコマンドの生成がなされＢ１を参照不可にすることが決定されている。なお、符号化装置においてはピクチャメモリ内のピクチャを削除する方法は任意であり、復号化装置と同様の方法を用いることも、それ以外の方法を用いることも可能である。最後に符号化対象ピクチャを参照可能にするかどうかの判定を行い、必要に応じてピクチャメモリに蓄積する。
【０１３７】
なお、本発明の実施の形態では、いずれの経路の説明においても、符号化および復号化対象ピクチャに参照可能もしくは参照不可の指定をする作業を最後に行っていたが、ピクチャの削除処理の前に符号化および復号化対象ピクチャに参照可能もしくは参照不可の指定を行い、符号化および復号化対象ピクチャも削除候補に加えてピクチャの削除処理を行った場合についても同様に扱うことが可能である。さらに、このような処理順序の場合は、ピクチャメモリに空き領域がなく、全てのピクチャが参照可能に指定されているとき、復号化対象ピクチャがヘッダ情報によって参照不可にされ、さらに復号化完了と共にすぐに表示されるようなピクチャである場合は、ピクチャメモリに保存することなくそのまま表示処理に移行できるため、上記実施の形態で説明したメモリ管理処理を行う必要はなく、ピクチャメモリ内のデータを復号化以前の状態のまま次のピクチャの復号化処理における参照に使用することが可能である。なお、同様に、符号化装置において想定される復号化装置の動作が上記のような場合は、符号化装置におけるメモリ管理においても、上記実施の形態で説明したような処理を行う必要はなく、ピクチャメモリ内のデータを符号化以前の状態のまま次のピクチャの符号化処理における参照に使用することが可能である。
【０１３８】
以上の実施の形態で説明した方法を用いて、ピクチャの符号化および復号化を行うことにより、復号化装置におけるピクチャメモリの中に復号化対象のデータを保存する領域を確保することが可能となり、作業用に新たなメモリ領域を用意する必要がなくなるため、復号化装置および符号化装置におけるメモリ容量を削減し、復号化装置および符号化装置の構成を容易に設計することができる。また、本実施の形態で説明した方法を用いたことによって参照することができなくなるピクチャが発生する可能性は、一般的な符号化および復号化においては非常に低いため、符号化効率の低下は最小限に留めることが可能である。なお、実施の形態２と比較すると、参照することのできないピクチャが発生する可能性が高くなくが、メモリ管理における判定処理が単純化され、処理の効率化を図ることが可能となる。
【０１３９】
なお、本発明の実施の形態では、符号化装置において参照可能ピクチャ判定部１１２によって、想定するピクチャメモリがどのような状態にあっても、想定する復号化装置におけるピクチャメモリの中に復号化対象のデータを保存する領域を確保することを可能としていたが、逆にメモリ管理コマンド生成部１１０によって、想定する復号化装置におけるピクチャメモリから対象ピクチャの復号化終了後に削除されるピクチャが常に参照不可となっているようなＭＭＣＯのコマンドを生成することによって、同目的を実現することも可能である。その場合は、図７における経路１、経路２のみを通るようコマンドを生成することが条件となり、下記のいずれかを満たすことが必要である。
【０１４０】
▲１▼復号化装置のピクチャメモリに空き領域が１ピクチャ分以上あること。
▲２▼復号化装置のピクチャメモリに空き領域がない場合は、対象としているピクチャの次のピクチャを復号化しているときに、最も古い表示順情報を持つピクチャが参照不可となっているコマンドを生成すること。
【０１４１】
上記の方法を用いることにより、符号化装置は常に全ての参照可能ピクチャを参照して符号化を行うことが可能となり、参照可能ピクチャを判定する処理を単純化することが可能となる。
【０１４２】
（実施の形態４）
図２８は、上記実施の形態の画像符号化装置に用いた画像符号化方法および画像復号化装置に用いた画像復号化方法をフレキシブルディスクに格納させたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１４３】
図２８（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２８（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法および画像復号化方法が記録されている。
【０１４４】
また、図２８（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法および画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１４５】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１４６】
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図２９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１４７】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１４８】
しかし、コンテンツ供給システムｅｘ１００は図２９のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１４９】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１５０】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１５１】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１５２】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１５３】
図３１は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１５４】
さらに、携帯電話ｅｘ１１５について図３０を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１５５】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１５６】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１５７】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１５８】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１５９】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１６０】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１６１】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１６２】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１６３】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１６４】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図３２に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１６５】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１６６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図３０に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１６７】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１６８】
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１６９】
【発明の効果】
以上のように、本発明の動画像符号化装置および復号化装置では、復号化装置におけるピクチャメモリの中に復号化対象のデータを保存する領域を確保することが可能となり、作業用に新たなメモリ領域を用意する必要がなくなるため、復号化装置および符号化装置におけるメモリ容量を削減し、復号化装置および符号化装置の構成を容易に設計することができる。また、本実施の形態で説明した方法を用いたことによって参照することができなくなるピクチャが発生する可能性は、一般的な符号化および復号化においては非常に低いため、符号化効率の低下は最小限に留めることが可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態１および実施の形態２および実施の形態３による符号化の動作を説明するためのブロック図である。
【図２】本発明の実施の形態１および実施の形態２および実施の形態３による復号化の動作を説明するためのブロック図である。
【図３】本発明の実施の形態１における符号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図４】本発明の実施の形態１における別の符号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図５】本発明の実施の形態２における符号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図６】本発明の実施の形態２における別の符号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図７】本発明の実施の形態３における符号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図８】本発明の実施の形態１における復号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図９】本発明の実施の形態１における別の復号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図１０】本発明の実施の形態２における復号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図１１】本発明の実施の形態２における別の復号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図１２】本発明の実施の形態３における復号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図１３】本発明の実施の形態１における復号化装置のメモリ管理処理の流れの経路１を説明するためのピクチャメモリの概念図である。
【図１４】本発明の実施の形態１における復号化装置のメモリ管理処理の流れの経路２を説明するためのピクチャメモリの概念図である。
【図１５】本発明の実施の形態１における復号化装置のメモリ管理処理の流れの経路３を説明するためのピクチャメモリの概念図である。
【図１６】本発明の実施の形態１における復号化装置のメモリ管理処理の流れの経路４を説明するためのピクチャメモリの概念図である。
【図１７】本発明の実施の形態１における別の復号化装置のメモリ管理処理の流れの経路２ａを説明するためのピクチャメモリの概念図である。
【図１８】本発明の実施の形態２における復号化装置のメモリ管理処理の流れの経路１を説明するためのピクチャメモリの概念図である。
【図１９】本発明の実施の形態２における復号化装置のメモリ管理処理の流れの経路２を説明するためのピクチャメモリの概念図である。
【図２０】本発明の実施の形態２における復号化装置のメモリ管理処理の流れの経路３を説明するためのピクチャメモリの概念図である。
【図２１】本発明の実施の形態２における復号化装置のメモリ管理処理の流れの経路４を説明するためのピクチャメモリの概念図である。
【図２２】本発明の実施の形態２における復号化装置のメモリ管理処理の流れの経路５を説明するためのピクチャメモリの概念図である。
【図２３】本発明の実施の形態２における別の復号化装置のメモリ管理処理の流れの経路２ａを説明するためのピクチャメモリの概念図である。
【図２４】本発明の実施の形態３における復号化装置のメモリ管理処理の流れの経路１を説明するためのピクチャメモリの概念図である。
【図２５】本発明の実施の形態３における復号化装置のメモリ管理処理の流れの経路２を説明するためのピクチャメモリの概念図である。
【図２６】本発明の実施の形態３における復号化装置のメモリ管理処理の流れの経路３を説明するためのピクチャメモリの概念図である。
【図２７】符号列の構成を説明するための模式図である。
【図２８】上記各実施の形態の動画像の符号化方法および復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。
【図２９】コンテンツ供給システムの全体構成を示すブロック図である。
【図３０】携帯電話の外観図である。
【図３１】携帯電話の構成を示すブロック図である。
【図３２】ディジタル放送用システムの例を示す図である。
【図３３】従来の符号化の動作を説明するためのブロック図である。
【図３４】従来の復号化の動作を説明するためのブロック図である。
【図３５】従来の符号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図３６】従来の別の符号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図３７】従来の復号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図３８】従来の別の復号化装置のメモリ管理処理の流れを説明するためのフローチャートである。
【図３９】従来の符号列の構成を説明するための模式図である。
【図４０】ピクチャの参照関係を説明するための概念図である。
【符号の説明】
１０１  ピクチャメモリ
１０２  予測残差符号化部
１０３  符号列生成部
１０４  予測残差復号化部
１０５  ピクチャメモリ
１０６  動きベクトル検出部
１０７  動き補償符号化部
１０８  動きベクトル記憶部
１０９  ピクチャメモリ制御部
１１０  メモリ管理コマンド生成部
１１１  作業用ピクチャメモリ
１１２  参照可能ピクチャ判定部
２０１  符号列解析部
２０２  予測残差復号化部
２０３  ピクチャメモリ
２０４  動き補償復号化部
２０５  動きベクトル記憶部
２０６  ピクチャメモリ制御部
２０７  作業用ピクチャメモリ
２０８  書き込み可能領域判定部
Ｃｓ    コンピュータシステム
ＦＤ    フレキシブルディスク
ＦＤＤ  フレキシブルディスクドライブ
【図１】
2004228617.tif 000003
【図２】
2004228617.tif 000004
【図３】
2004228617.tif 000005
【図４】
2004228617.tif 000006
【図５】
2004228617.tif 000007
【図６】
2004228617.tif 000008
【図７】
2004228617.tif 000009
【図８】
2004228617.tif 000010
【図９】
2004228617.tif 000011
【図１０】
2004228617.tif 000012
【図１１】
2004228617.tif 000013
【図１２】
2004228617.tif 000014
【図１３】
2004228617.tif 000015
【図１４】
2004228617.tif 000016
【図１５】
2004228617.tif 000017
【図１６】
2004228617.tif 000018
【図１７】
2004228617.tif 000019
【図１８】
2004228617.tif 000020
【図１９】
2004228617.tif 000021
【図２０】
2004228617.tif 000022
【図２１】
2004228617.tif 000023
【図２２】
2004228617.tif 000024
【図２３】
2004228617.tif 000025
【図２４】
2004228617.tif 000026
【図２５】
2004228617.tif 000027
【図２６】
2004228617.tif 000028
【図２７】
2004228617.tif 000029
【図２８】
2004228617.tif 000030
【図２９】
2004228617.tif 000031
【図３０】
2004228617.tif 000032
【図３１】
2004228617.tif 000033
【図３２】
2004228617.tif 000034
【図３３】
2004228617.tif 000035
【図３４】
2004228617.tif 000036
【図３５】
2004228617.tif 000037
【図３６】
2004228617.tif 000038
【図３７】
2004228617.tif 000039
【図３８】
2004228617.tif 000040
【図３９】
2004228617.tif 000041
【図４０】
2004228617.tif 000042