(57)【特許請求の範囲】
【請求項１】
復号済みピクチャを参照ピクチャとして保持するメモリを管理するメモリ管理情報を符号化した管理情報符号化データと、符号化ピクチャデータと、音声データとを多重化した多重化データを生成する多重化データ生成方法であって、
符号化対象ピクチャを符号化して第１の符号化ピクチャデータを生成する第１のピクチャ符号化ステップと、
第１のメモリ管理情報を、第１のメモリ管理情報符号化データとして、前記第１の符号化ピクチャデータに付随させて符号化する第１の管理情報符号化ステップと、
前記符号化対象ピクチャより、復号順で後のIピクチャ、または、Pピクチャを符号化して第２の符号化ピクチャデータを生成する第２のピクチャ符号化ステップと、
前記第１のメモリ管理情報を再度、第２のメモリ管理情報符号化データとして、前記第２の符号化ピクチャデータに付随させて符号化する第２の管理情報符号化ステップと、
音声信号を符号化して音声データを生成する音声信号符号化ステップと、
前記管理情報符号化データと、符号化ピクチャデータと、音声データとを多重化して多重化データを生成する多重化ステップと
を有する
ことを特徴とする多重化データ生成方法。
【請求項２】
復号済みピクチャを参照ピクチャとして保持するメモリを管理するメモリ管理情報を符号化した管理情報符号化データと、符号化ピクチャデータと、音声データとを多重化した多重化データを生成する多重化データ生成装置であって、
符号化対象ピクチャを符号化して第１の符号化ピクチャデータを生成する第１のピクチャ符号化手段と、
第１のメモリ管理情報を、第１のメモリ管理情報符号化データとして、前記第１の符号化ピクチャデータに付随させて符号化する第１の管理情報符号化手段と、
前記符号化対象ピクチャより、復号順で後のIピクチャ、または、Pピクチャを符号化して第２の符号化ピクチャデータを生成する第２のピクチャ符号化手段と、
前記第１のメモリ管理情報を再度、第２のメモリ管理情報符号化データとして、前記第２の符号化ピクチャデータに付随させて符号化する第２の管理情報符号化手段と、
音声信号を符号化して音声データを生成する音声信号符号化手段と、
前記管理情報符号化データと、符号化ピクチャデータと、音声データとを多重化データを生成する多重化手段と
を備える
ことを特徴とする多重化データ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号を画面間の相関を利用して効率良く圧縮するデータストリーム生成方法およびデータストリーム生成装置とそれを正しく復号化する画像復号化方法、並びにそれをソフトウェアで実施するためのプログラム等に関する。
【背景技術】
【０００２】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をデジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64kbps〜1.5Mbpsの伝送速度を持つサービス総合デジタル網（ISDN:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合  電気通信標準化部門）で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、MPEG（Moving Picture Experts Group）とは、動画面信号のデジタル圧縮の国際規格であり、MPEG-1は、動画面信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG-2では、動画像信号が2〜15Mbpsに圧縮される。
【０００６】
さらに現状では、MPEG-1，MPEG-2と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、より圧縮率が高いMPEG-4が規格化された。MPEG-4では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ISO/IECとITUの共同で次世代画面符号化方式として、JVT（Joint Video Team）の標準化活動が進んでおり、現時点ではジョイント・モデル2（JM2）と呼ばれるものが最新である。
【０００７】
JVTでは、従来の動画像符号化と異なり、前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択可能である。ここで、ピクチャとはフレームまたはフィールドのことを表す。
【０００８】
図３５（ａ）はメモリに保存された複数の参照画像から選択した画像を参照して符号化する画像符号化の説明図である。図３５（ｂ）は、画像が保存されるメモリの構成を示す構成図である。
【０００９】
図３５（ｂ）に示すように、メモリは短時間保存メモリと長時間保存メモリから構成される。短時間保存メモリは直前に復号化した数画像を記憶するものであり、いわゆるMPEG-1やMPEG-2のPピクチャ（前方予測符号化ピクチャ）およびBピクチャ（双方向予測符号化ピクチャ）の参照画像に相当する。長時間保存メモリは短時間保存メモリよりも画像信号を長時間保存するために用いられる。
【００１０】
通常は、短時間保存メモリはFIFO（先入先出）メモリであり、メモリの上限を超えた画像を短時間保存メモリに保存する場合には、短時間保存メモリ内の最も古い時刻の画像が除去されてその領域に新しい画像が保存される。従って、通常はFIFOの仕組みによってメモリから除去された参照画像を参照したい場合には、その参照画像を予め短時間保存メモリから長時間保存メモリに移動して長時間保存メモリ内に保存することにより長時間の参照が可能となる。長時間メモリは、保存する領域を明示する方法であり、同じ領域を指定して上書きしない限りその領域に保存したピクチャを参照可能である。
【００１１】
図３５（ａ）は画像符号化の際の予測状況を示しており、ピクチャ番号2の画像はピクチャ番号0の画像を参照し、ピクチャ番号1の画像はピクチャ番号0またはピクチャ番号2の画像を参照する。同様にして、ピクチャ番号4の画像はピクチャ番号0、2の画像を参照し、ピクチャ番号6の画像はピクチャ番号0の画像を参照する。更にピクチャ番号5の画像では、ピクチャ番号0、2、4、6の画像を参照することができる。
【００１２】
さて、この図３５（ａ）では、ピクチャ番号0、6、12の画像は比較的長時間後まで参照されるのに対し、ピクチャ番号2、4、8の画像等は短時間後の画像からのみ参照される。
【００１３】
そこで、画像を保存するメモリ領域を図３５（ｂ）の様に短時間保存用メモリと長時間保存メモリに分割し、長時間保存が必要なメモリにピクチャ（フレーム）番号0、6、12の画像を保存することができる。
【００１４】
さて、この図３５（ａ）に示すようなメモリを効率的に使用するためには高度なメモリ管理が必要であり、メモリを制御するための仕組みがJVTに導入されている。
【００１５】
メモリを制御するコマンドは以下のものがある。
【００１６】
1. 参照可能な画像を選択するコマンド
2. 短時間保存メモリで予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するコマンド
3. 短時間保存メモリの内容を長時間保存メモリに移動するコマンド
【００１７】
画像符号化・復号化では、参照可能な画像の中からブロック単位で予測誤差が小さい画像を参照画像として選択するため、ブロック単位で参照画像を指示する信号が必要である。予め参照可能な画像を選択することで、参照画像の候補数を適切な値に絞り込み、ブロック単位で必要な参照画像指示信号のビット数を節約できる。
【００１８】
また、短時間保存メモリから長時間保存メモリに移動した場合は、同じ内容を短時間保存メモリと長時間保存メモリの両方に保存されていても無駄なだけであるから、短時間保存メモリ内の画像を除去する。
【００１９】
図３６（ａ）、（ｂ）は従来の画像符号化方法および画像復号化方法を示すフローチャートである。
【００２０】
図３６（ａ）は、予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するときの画像符号化装置の動作を示している。図３６（ａ）において、まず画像符号化装置は、入力される入力画像を符号化する（Step100）。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Step101）、不要なメモリ領域があるかを判定する（Step102）。不要なメモリ領域が有ると判定したときは（Step102のYes）、不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化し（Step103）、その不要なメモリ領域を開放（メモリ内の画像を除去）して（Step104）、処理を終了する。一方、画像符号化装置は、不要なメモリ領域が無いと判定した場合（Step102のNo）は、Step103およびStep104の動作は行わず、処理を終了する。
【００２１】
次に予測符号化の参照画像として不要になったピクチャの保存されているメモリ領域を開放するときの画像復号化装置が行う動作を、図３６（ｂ）のフローチャートに沿って説明する。まず、画像復号化装置は、メモリ管理情報を復号化し（Step110）、そして符号化信号から画像信号を復号化する（Step111）。画像復号化装置は、調査した結果メモリ開放コマンドがあるかを判定し（Step112）、メモリ開放コマンドがあれば（Step112のYes）、そのコマンドで除去すべき画像があるか、若しくは既にメモリ開放済み（画像除去済み）であるかを判定する（Step113）。開放済みと判定すれば（Step113のYes）、エラー（ERROR）とする。JVTではメモリから画像を除去した後に同じ画像を再度除去するコマンドを送ることは禁止されており、従って開放済みのメモリを再度開放する場合にはエラーとすることになっているからである。一方画像復号化装置は、開放済みでないと判定すれば（Step113のNo）、メモリを開放して（Step114）処理を終了する。また、メモリ開放コマンドが無いと判定した場合には（Step112のNo）、Step113およびStep114の動作は行わず、処理を終了する。なお、Step110とStep111は順不同であり、入れ替わっても構わない。
【００２２】
図３７（ａ）、（ｂ）は従来の他の画像符号化方法および画像復号化方法を示すフローチャートである。
【００２３】
図３７（ａ）は、短時間保存メモリから長時間保存メモリへ画像を移動するときの画像符号化装置が行う動作を示している。
【００２４】
図３７（ａ）において、まず、画像符号化装置は、入力画像を符号化する（Step120）。符号化後に長時間保存メモリに移動すべき画像があるかを調査し（Step121）、移動すべき画像があるかを判定する（Step122)。移動すべき画像があれば（Step122のYes）、どのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化し（Step123）、そのコマンド通りに画像を長時間保存メモリに移動して（Step124）、処理を終了する。一方、画像符号化装置は、長時間保存メモリに移動すべき画像が無いと判定した場合（Step122のNo）は、Step123およびStep124の動作は行わず、処理を終了する。
【００２５】
次に短時間保存メモリから長時間保存メモリへ画像を移動するときの画像復号化装置が行う動作を、図３７（ｂ）のフローチャートに沿って説明する。まず、画像復号化装置が、メモリ管理情報を復号化し（Step130）、次に符号化信号から画像信号を復号化する（Step131）。そして、画像復号化装置は、復号化したメモリ管理情報に、長時間保存メモリに移動するコマンドがあるかを判定し（Step132）、あると判定すれば（Step132のYes）、次にそのコマンドで移動すべき画像があるか若しくは既に移動済み（移動後に除去済のため画像が存在しない）であるかを判定する（Step133）。JVTでは長時間保存メモリに移動した後に同じ画像を再度長時間保存メモリに移動するコマンドを送ることは禁止されており、従って長時間保存メモリに移動済みの画像を再度長時間保存メモリに移動する場合にはエラーとすることになっている。よって、画像復号化装置は、長時間保存メモリに移動済みであると判定すれば（Step133のYes）、エラー（ERROR）とし、移動済でないと判定すれば、長時間保存メモリに移動して（Step134）処理を終了する。
【００２６】
一方、画像復号化装置は、長時間保存メモリに移動するコマンドが無いと判定した場合には（Step132のNo）Step133およびStep134の動作は行わず、処理を終了する。なお、Step130とStep131は順不同であり、入れ替わっても構わない。
【００２７】
図３８(ａ)、(ｂ)は従来の更に他の画像符号化方法および画像復号化方法を示すフローチャートである。
【００２８】
まず、参照可能な画像を選択するときの画像符号化装置が行う動作について、図３８（ａ）のフローチャートに沿って説明する。
【００２９】
まず、画像符号化装置は、被符号化画像と相関が高いと予想される参照画像（通常は時間的に近接した参照画像）を参照画像の候補として選択する（Step200）。次に選択した参照画像の候補を示す指示情報（メモリ管理情報の一種）を符号化し（Step201）、選択した参照画像の候補の中からブロック単位で適切な参照画像を参照して符号化して（Step202）、処理を終了する。なお、Step201とStep202は順不同であり、入れ替わっても構わない。
【００３０】
次に参照可能な画像を選択するときの画像復号化装置が行う動作について、図３８（ｂ）のフローチャートに沿って説明する。
【００３１】
まず、画像復号化装置はメモリ管理情報の一種である指示情報を復号化し（Step210）、その結果として参照画像の候補をメモリの中から選択し（Step211）、選択した参照画像の候補の中からブロック単位で適切な参照画像を選択して参照しながら復号化して（Step212）、処理を終了する。
【先行技術文献】
【非特許文献】
【００３２】
【非特許文献１】“Working Draft Number 2, Revision 0 (WD-2)”, Joint Video Team (JVT) of ISO/IEC and ITU-T VCEG, JVT-B118, 13 March, 2002
【発明の概要】
【発明が解決しようとする課題】
【００３３】
さて、このような従来の画像符号化方法および画像復号化方法では、不要な画像をメモリから除去するコマンドや、画像を短時間保存メモリから長時間保存メモリに移動するコマンドを画像符号化装置で符号化して出力し、画像復号化装置に伝送して復号化するが、この伝送する回数が１つのピクチャのみに限定されているため、そのコマンドを伴うピクチャが伝送エラー等で消失した場合にはメモリ内の画像配置が正しく復元できないため、画像を復号化できなくなる。
【００３４】
また、画像の符号化および復号化において、参照画像を選択する場合に、単純に時間的に近い画像のみを参照画像候補とすると、画像の復号化のスケーラビリティ（図３５（ａ）の予測構造の例では、Bピクチャは復号化しなくてもIピクチャやPピクチャが復号できたり、ピクチャ番号4、10、16のPピクチャを復号化しなくても他のPピクチャは復号化できること）を考慮した最適な符号化ができない。すなわち、ピクチャ番号6の画像に時間的に近い画像はピクチャ番号4、2の画像であるが、実際にはピクチャ番号0の画像しか参照できないため、参照できないピクチャ番号4、2の画像を参照画像の候補に入れると符号化効率があまり良くない。
【００３５】
更に、従来の画像符号化方法では、メモリに保存しない画像に付随して、メモリ内の不要な画像を除去するコマンドや、画像を短時間保存メモリから長時間保存メモリに移動するコマンドを伝送することは禁止されているため、柔軟なメモリ管理情報のコマンド伝送が阻害されている。メモリに保存しない画像に付随して当該コマンドの伝送を禁止するのには、次の理由がある。すなわち、メモリに保存しない画像は最も重要度が低く、スケーラビリティで復号化されない可能性が高いため、このメモリに保存しない画像に付随した当該コマンドが復号化されずにメモリ内の画像配置が正しく復元できないことを回避するためである。
【００３６】
そこで、本発明は以上の課題を解決するために、伝送路エラーで一部のメモリ管理情報が消失しても正しく復元可能な画像符号化方法および画像復号化方法等と、参照可能な参照画像の候補をより適切に選択して符号化効率を高める画像符号化方法および画像復号化方法等を提供することを目的とする。
【課題を解決するための手段】
【００３７】
この課題を解決するために、本発明の一形態であるデータストリーム生成方法は、復号済みピクチャを参照ピクチャとして保持するメモリを管理するメモリ管理情報を符号化した情報と、符号化ピクチャとを含むデータストリームを生成するデータストリーム生成方法であって、符号化対象ピクチャを符号化する第１の符号化ステップと、第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化する第２の符号化ステップと、前記符号化対象ピクチャより、復号順で後のIピクチャ、または、Pピクチャを符号化する第３の符号化ステップと、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として、前記Iピクチャ、または、Pピクチャに付随させて符号化する第４の符号化ステップとを有することを特徴とする。
【００３８】
また、本発明の他の一形態である記録方法は、復号済みピクチャを参照ピクチャとして保持するメモリを管理するメモリ管理情報を符号化した情報と、符号化ピクチャとを含むデータストリームを記録媒体に記録する記録方法であって、符号化対象ピクチャを符号化する第１の符号化ステップと、第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化する第２の符号化ステップと、前記符号化対象ピクチャより、復号順で後のIピクチャ、または、Pピクチャを符号化する第３の符号化ステップと、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として、前記Iピクチャ、または、Pピクチャに付随させて符号化する第４の符号化ステップと、前記第１から第４の符号化ステップにより生成されたデータストリームを記録媒体に記録する記録ステップとを有することを特徴とするとしてもよい。
【００３９】
また、本発明に係る画像符号化方法は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化方法であって、選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として、前記符号化対象ピクチャとは別のピクチャに付随させて符号化し、前記第２のメモリ管理情報に、前記符号化対象ピクチャを特定する情報を付随させることを特徴とする。
【００４０】
これによって、メモリ管理情報が複数回符号化出力されるため、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、複数回伝送されたメモリ管理情報のうちいずれかは伝送されて復号されると考えられるため、ピクチャを正しく復元できる可能性が高くなる。
【００４１】
また、前記メモリ管理情報は、前記メモリ内で不要になり開放するメモリ領域を指定する情報であるとしてもよい。
【００４２】
これによって、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、メモリの不要になるメモリ領域を開放することができる。
【００４３】
また、前記メモリは、参照ピクチャの保存時間の短い短時間保存メモリと、前記短時間保存メモリよりも参照ピクチャの保存時間の長い長時間保存メモリとを備え、前記メモリ管理情報は、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを指定する情報であるとしてもよい。
【００４４】
これによって、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、前記短時間保存メモリから前記長時間保存メモリに移動する対象の参照ピクチャを正しく指定することができる。
【００４５】
また、本発明の記録媒体は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化したデータストリームが記録された記録媒体であって、選択した参照ピクチャを参照して、符号化対象ピクチャを符号化した符号化データと、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化対象ピクチャに付随させて符号化した管理情報符号化データと、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化した管理情報再符号化データとを含み、前記第２のメモリ管理情報には、前記符号化対象ピクチャを特定する情報が付随していることを特徴とする。
【００４６】
また、本発明の画像符号化装置は、メモリ内に保存されている複数の参照ピクチャから選択した参照ピクチャを参照して符号化する画像符号化装置であって、前記選択した参照ピクチャを参照して、符号化対象ピクチャを符号化し、メモリに保存されている参照ピクチャを管理するための第１のメモリ管理情報を、前記符号化された符号化対象ピクチャに付随させて符号化し、前記第１のメモリ管理情報を再度、第２のメモリ管理情報として前記符号化対象ピクチャとは別のピクチャに付随させて符号化する管理情報符号化手段を備え、前記管理情報符号化手段は、前記第２のメモリ管理情報に、前記符号化対象ピクチャを特定する情報を付随させることを特徴とする。
【００４７】
これによって、メモリ管理情報が複数回符号化出力されるため、復号化装置に伝送されるときに伝送路エラーが発生した場合でも、複数回伝送されたメモリ管理情報のうちいずれかは伝送されて復号されると考えられるため、ピクチャを正しく復元できる可能性が高くなる。
【００４８】
尚、本発明は、このような画像符号化方法および画像復号化方法として実現することができるだけでなく、このような方法を用いた画像符号化装置および画像復号化装置として実現したり、画像符号化方法により符号化されたデータストリームが記録された記録媒体として実現したり、画像符号化方法および画像復号化方法におけるステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどの伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４９】
以上の様に、本発明にかかる画像符号化方法および画像復号化方法によれば、伝送路エラーで一部のメモリ管理情報が消失しても正しく復元可能な画像符号化方法および画像復号化方法と、参照可能な参照画像の候補をより適切に選択して符号化効率を高める画像符号化方法および画像復号化方法を実現することができ、その実用的価値は高い。
【図面の簡単な説明】
【００５０】
【図１】本発明の画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１における画像符号化方法を示すフローチャートである。
【図３】本発明の画像復号化装置の構成を示すブロック図である。
【図４】本発明の実施の形態２における画像復号化方法を示すフローチャートである。
【図５】本発明の実施の形態３における画像符号化方法を示すフローチャートである。
【図６】本発明の実施の形態４における画像復号化方法を示すフローチャートである。
【図７】本発明の実施の形態５における画像符号化方法を示すフローチャートである。
【図８】本発明の実施の形態６における画像符号化方法を示すフローチャートである。
【図９】本発明の実施の形態７における画像符号化方法を示すフローチャートである。
【図１０】（ａ）は画像のピクチャ番号と保存ピクチャ番号と伝送順序の関係を示す説明図であり、（ｂ）はデコードするピクチャ番号と保存されているピクチャ番号と削除されるピクチャ番号との関係を示す関係図であり、（ｃ）はデコードするピクチャ番号と保存されているピクチャ番号と削除されるピクチャ番号との他の関係を示す関係図である。
【図１１】本発明におけるメモリ管理情報のコマンドを示す対応図である。
【図１２】本発明の実施の形態８におけるコマンド実行手順を示すフローチャートである。
【図１３】各ピクチャの符号化信号におけるヘッダ情報とフレームデータとの関係を示す模式図である。
【図１４】符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。
【図１５】各画像のピクチャ番号と保存ピクチャ番号と伝送順序の関係を示す説明図である。
【図１６】初期化コマンドを符号化する方法を示すフローチャートである。
【図１７】符号化された初期化コマンドを復号する方法を示すフローチャートである。
【図１８】本発明の実施の形態８に用いるメモリ管理情報のコマンドを示す対応図である。
【図１９】本発明における初期化再送コマンドを用いた画像符号化方法を示すフローチャートである。
【図２０】本発明における符号化された初期化再送コマンドを復号する方法を示すフローチャートである。
【図２１】各画像のピクチャ番号と保存ピクチャ番号と伝送順序の他の関係を示す説明図である。
【図２２】本発明の実施の形態９で用いるメモリ管理情報のコマンドを示す対応図である。
【図２３】本発明の実施の形態９における画像符号化方法を示すフローチャートである。
【図２４】本発明の実施の形態９における画像復号化方法を示すフローチャートである。
【図２５】（ａ）はコマンドの内容と付加情報を示す対応図であり、（ｂ）はコマンドの実行タイミングを示す対応図である。
【図２６】符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。
【図２７】他の符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。
【図２８】スライス単位で符号化したデータストリーム構造を示す模式図である。
【図２９】（ａ）（ｂ）はいずれもスライス単位で符号化したデータストリーム構造を示す模式図である。
【図３０】(ａ)(ｂ)(ｃ)はいずれも本発明の実施の形態１から実施の形態１０の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。
【図３１】本発明に係る画像符号化方法および画像復号化方法が用いられるコンテンツ供給システムの全体構成を示すブロック図である。
【図３２】本発明に係る画像符号化方法および画像復号化方法が用いられる携帯電話の一例を示す外観図である。
【図３３】同携帯電話の構成を示すブロック図である。
【図３４】本発明に係る画像符号化方法および画像復号化方法が用いられるデジタル放送用システムの構成を示す構成図である。
【図３５】（ａ）はメモリに保存された複数の参照画像から選択した画像を参照して符号化する画像符号化の説明図であり、（ｂ）は画像が保存されるメモリの構成を示す構成図である。
【図３６】（ａ）は従来の画像符号化方法を示すフローチャートであり、（ｂ）は従来の画像復号化方法を示すフローチャートである。
【図３７】（ａ）は従来の画像符号化方法を示す他のフローチャートであり、（ｂ）は従来の画像復号化方法を示す他のフローチャートである。
【図３８】（ａ）は従来の画像符号化方法を示す更に他のフローチャートであり、（ｂ）は従来の画像復号化方法を示す更に他のフローチャートである。
【発明を実施するための形態】
【００５１】
以下、本発明の実施の形態について、図面を用いて説明する。
【００５２】
（実施の形態１）
まず、実施の形態１について説明する。
【００５３】
図１は、本実施の形態における画像符号化方法を実現するための画像符号化装置の構成を示すブロック図である。
【００５４】
画像符号化装置１００は、メモリ情報制御部１０１と、短時間保存メモリ管理部１０２と、長時間保存メモリ管理部１０３と、非保存メモリ管理情報部１０４と、管理情報符号化部１０５と、参照画像選択部１０６と、保存領域指定部１０７と、参照領域指定部１０８と、画像メモリ１０９と、画像復号化部１１１と、画像符号化部１１０と、可変長符号化部１１２と、カウンタ１１３と、カウンタ１１４などから構成される。
【００５５】
参照画像選択部１０６は外部から入力される重要度指示信号Priおよびピクチャタイプ情報PicTypeから参照画像の候補を選択し、メモリ情報制御部１０１に通知する。
【００５６】
メモリ情報制御部１０１は、ピクチャタイプ情報PicTypeによって前方および後方のいずれか、もしくは両方の画像（ピクチャ）が参照可能かどうかを判断し、参照領域指定部１０８に指令して、画像メモリ１０９から対応する参照画像を画像符号化部１１０に出力する。
【００５７】
画像符号化部１１０は、画像メモリ１０９から出力される参照画像を参照して入力画像信号Vinを符号化し、可変長符号化部１１２は更に可変長符号化して画像符号化ストリームVideoStrを出力する。画像符号化部１１０の出力は、また、画像復号化部１１１で復号化されて復号化画像となり、画像メモリ１０９に参照画像として格納される。
【００５８】
このとき、画像メモリ１０９における復号化画像の格納可能なメモリ位置は、次のように指定される。メモリ情報制御部１０１が短時間保存メモリ管理部１０２に問い合わせて、短時間メモリで画像の除去されたメモリ位置を特定し、保存領域指定部１０７がそのメモリ位置に復号化画像を記録するように、画像メモリ１０９に対し指示を出す。
【００５９】
短時間保存メモリ管理部１０２は、短時間保存メモリ内の不要な（参照されない）画像を検出して除去する（メモリを開放する）指令をメモリ情報制御部１０１に通知する。また、長時間保存メモリ管理部１０３は、短時間保存メモリ内の画像を長時間保存メモリに移動する指令をメモリ情報制御部１０１に通知する。この不要な画像の除去（メモリの開放）指令や、短時間保存メモリ内の画像を長時間保存メモリに移動する指令は、管理情報符号化部１０５で符号化されて、メモリ管理情報ストリームCtlStrとなる。
【００６０】
一方、伝送路エラーにより、メモリ管理情報ストリームCtlStrの一部が消失することでメモリ管理情報が損なわれることを防止するために、短時間保存メモリ用のカウンタ１１３および長時間保存メモリ用のカウンタ１１４で、不要な画像の除去指令や、短時間保存メモリ内の画像を長時間保存メモリに移動する指令の符号化回数を計測し、必要に応じて上記指令の複数回の伝送を可能にする。
【００６１】
また、非保存メモリ管理情報部１０４は、重要度が低く復号化されにくい画像に付随して、不要な画像の除去指令や短時間保存メモリ内の画像を長時間保存メモリに移動する指令が符号化されたかどうかを管理し、重要度が低い画像に付随して上記指令が符号化された場合は、より高い重要度の画像に付随して再度指令を符号化するように、メモリ情報制御部１０１に指示を出す。
【００６２】
次に、本発明の実施の形態１における画像符号化方法について説明する。図２は実施の形態１における画像符号化方法を示すフローチャートであり、図１で示した画像符号化装置１００が行う動作を示している。なお、図２において図３６（ａ)と動作が同じものには同じ記号を付している。
【００６３】
図２に示す画像符号化方法の特徴は、メモリ内で予測符号化の参照画像として不要な画像（ピクチャ）が存在する場合に、その画像の保存されているメモリ領域を開放する（その画像を除去する）メモリ管理情報のコマンドを繰り返し符号化することである。このように、メモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元できるため、伝送路エラーがあっても画像を正しく復元できる可能性が高くなる。
【００６４】
図２において、まず、入力画像を符号化する（Step100）。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Step101）、不要なメモリ領域があるかを判定する（Step102）。不要なメモリ領域がある場合（Step102のYes）、管理情報符号化部１０５が不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化する（Step103）。そして、その不要なメモリ領域を開放する（Step104）。不要なメモリ領域が無い場合（Step102のNo）は、Step103およびStep104の動作は行わない。
【００６５】
次に、メモリ情報制御部１０１が、直前に符号化した画像（符号化対象より前の画像）の符号化に付随させて、不要なメモリ領域を開放するコマンドがメモリ管理情報として符号化されているかを判定し（Step105）、コマンドが符号化されていない場合は（Step105のNo）処理を終了し、コマンドが符号化されている場合は（Step105のYes）、管理情報符号化部１０５が、その不要なメモリ領域を開放するコマンドを再度メモリ管理情報として符号化し（Step106）、処理を終了する。
【００６６】
このように、直前の画像の符号化で不要メモリを開放する（メモリ管理情報の）コマンドが符号化されると、再度、メモリ管理情報のコマンドが符号化される。直前の画像の符号化に付随させて符号化されたメモリ管理情報と、再度符号化されたメモリ管理情報は、それぞれ画像符号化装置より出力され、画像復号化装置に伝送され復号化される。
【００６７】
なお、Step105で直前に符号化された画像の符号化信号に付随して、不要なメモリ領域を開放するコマンドが符号化されている場合に、再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく、数画像前の画像に付随している場合でも良く、更に、繰り返して上記コマンドをメモリ管理情報として符号化し、複数の画像に付随して伝送させてもよい。
【００６８】
また、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送する必要はない。
【００６９】
また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。
【００７０】
以上のようにして、不要なメモリ領域を開放する（メモリ管理情報の）コマンドを複数回伝送することで、伝送路エラーが発生した場合でも、複数回伝送されたコマンドのうちいずれかは伝送されて復号されると考えられるため、画像を正しく復元できる可能性が高くなる。
【００７１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
【００７２】
図３は、実施の形態２における画像復号化方法を実現するための画像復号化装置のブロック図である。
【００７３】
画像復号化装置２００は、メモリ情報制御部２０１と、短時間保存メモリ管理部２０２と、長時間保存メモリ管理部２０３と、管理情報復号化部２０５と、保存領域指定部２０７と、参照領域指定部２０８と、画像メモリ２０９と、画像復号化部２１０と、可変長復号化部２１２などから構成される。
【００７４】
メモリ情報制御部２０１は、ピクチャタイプ情報PicTypeによって、符号化対象に対して前方および後方のいずれ、もしくは両方の画像が参照可能かどうかを判断し、参照領域指定部２０８に指令して、画像メモリ２０９から対応する参照画像を画像復号化部２１０に出力する。
【００７５】
可変長復号化部２１２は符号化ストリームVideoStrを復号化し、画像復号化部２１０はそれを更に復号化して、復号画像信号Voutとして出力すると共に画像メモリ２０９に参照画像として格納する。
【００７６】
このとき、画像メモリ２０９における復号化画像の格納可能なメモリ位置は、次のように指定される。メモリ情報制御部２０１が短時間保存メモリ管理部２０２に問い合わせて、画像の除去されたメモリ位置を特定し、保存領域指定部２０７がそのメモリ位置に復号化画像を記録するように、画像メモリ２０９に対し指示を出す。
【００７７】
管理情報復号化部２０５は、メモリ管理情報ストリームCtlStrを復号化して、メモリ情報制御部２０１を通じ、短時間保存メモリ内の不要な（参照されない）画像の情報を短時間保存メモリ管理部２０２に通知し、短時間保存メモリ内の画像を長時間保存メモリに移動する指令を長時間保存メモリ管理部２０３に通知する。
【００７８】
次に、本発明の実施の形態２における画像復号化方法について説明する。図４は実施の形態２における画像復号化方法を示すフローチャートであり、図３で示した画像復号化装置２００が行う動作を示している。なお、図４において図３６（ｂ)と動作が同じものは同じ記号を付している。
【００７９】
画像符号化装置が不要なメモリ領域を開放するコマンドを複数回伝送した場合には、伝送路エラーでコマンドが消失しない限り、画像復号化装置は、複数回、メモリ内の同じ画像の領域を開放するコマンドを受信することになる。従って、既に開放したメモリ領域を再度開放するコマンドを画像復号化装置が受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断する画像復号化方法を実現しなければならない。本実施の形態では、このような画像復号化方法を実現している。
【００８０】
図４において、まず、管理情報復号化部２０５がメモリ管理情報を復号化する（Step110）。次に、符号化信号から画像信号を復号化する（Step111）。そして、メモリ情報制御部２０１が、復号化されたメモリ管理情報にメモリを開放するコマンドがあるか否かを判定する（Step112)。メモリを開放するコマンドがあれば（Step112のYes）、そのコマンドで除去すべき画像があるか若しくは既に開放済み（除去済み）であるかを判定し（Step113）、メモリ開放済みであれば（Step113のYes）何も処理をせずに終了し、そうでなければメモリを開放して（Step114）処理を終了する。一方、メモリ開放コマンドが無い場合には（Step112のNo）Step113およびStep114の動作は行わず処理を終了する。なお、Step110とStep111は順不同であり、入れ替わっても構わない。
【００８１】
以上のような動作により、実施の形態１の画像符号化方法でメモリ内の同じ画像の領域を開放するコマンドを複数回符号化し伝送し、画像復号化装置２００がそれを複数回受信した場合でも、エラーとして処理しないため、正しく復号化できる画像復号化方法が実現できる。
【００８２】
なお、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送されている必要はない。
【００８３】
また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。
【００８４】
（実施の形態３）
次に、実施の形態３における画像符号化方法について説明する。図５は実施の形態３における画像符号化方法を示すフローチャートであり、画像符号化装置１００が行う動作を示している。図５において図３７（ａ）と動作が同じものは同じ記号を付している。
【００８５】
本実施の形態の特徴はメモリ内で短時間保存メモリから長時間保存メモリに移動すべき画像が存在する場合に、その画像を移動するメモリ管理情報のコマンドを繰り返し符号化することである。メモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元できるため、伝送路エラーがあっても画像を正しく復元できる可能性が高くなる。
【００８６】
図５において、まず、入力画像を符号化する（Step120）。符号化後に長時間保存メモリに移動すべき画像があるかを調査する（Step121）。そして、メモリ情報制御部１０１が長時間保存メモリに移動する画像があるか否かを判定する（Step122）。移動すべき画像があれば（Step122のYes）、管理情報符号化部１０５は、どのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化する（Step123）。そして、そのコマンド通りに画像を長時間保存メモリに移動する（Step124）。
【００８７】
次に、メモリ情報制御部１０１は、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随して長時間保存メモリに移動するコマンドをメモリ管理情報として符号化しているか否かを判定し（Step125）、符号化していなければ（Step125のNo)処理を終了し、符号化していれば（Step125のYes）、管理情報符号化部１０５は、その長時間保存メモリに移動するコマンドを再度メモリ管理情報として符号化して（Step126）、処理を終了する。
【００８８】
このように、直前の画像の符号化で長時間保存メモリに移動する（メモリ管理情報の）コマンドが符号化されると、再度、メモリ管理情報のコマンドが符号化される。直前の画像の符号化に付随させて符号化されたメモリ管理情報と、再度符号化されたメモリ管理情報は、それぞれ画像符号化装置より出力され、画像復号化装置に伝送され復号化される。
【００８９】
なお、Step125で直前に符号化した画像の符号化信号に付随して長時間保存メモリに移動するコマンドが符号化されている場合に再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく数画像前の画像に付随している場合でも良く、更に、繰り返して、上記コマンドをメモリ管理情報として符号化し、複数の画像に付随させてもよい。
【００９０】
また、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、必ずしもそのコマンドを再度符号化して伝送するときに画像の符号化信号に付随させて伝送する必要はない。
【００９１】
また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。
【００９２】
以上のようにして、長時間保存メモリに画像を移動するコマンドを複数回符号化して伝送することで、伝送路エラーが発生した場合でも、複数回伝送されたコマンドのうちいずれかは伝送されて復号されると考えられるため、画像を正しく復元できる可能性が高くなる。
【００９３】
（実施の形態４）
次に、実施の形態４の画像復号化方法について説明する。
【００９４】
画像符号化装置が長時間保存メモリに移動するコマンドを複数回伝送した場合には、伝送路エラーでコマンドが消失しない限り、画像復号化装置は、短時間保存メモリ内の同じ画像の領域を長時間保存メモリに移動するコマンドを複数回受信することになる。従って、既に移動した画像を再度移動するコマンドを画像復号化装置が受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断する画像復号化方法を実現しなければならない。本実施の形態における画像復号化方法の特徴は、このような画像復号化方法を実現したものである。
【００９５】
図６は実施の形態４における画像復号化方法を示すフローチャートであり、図３に示す画像復号化装置２００の動作を示している。図６において図３７（ｂ）と動作が同じものは同じ記号を付している。
【００９６】
図６において、まず、管理情報復号化部２０５がメモリ管理情報を復号化する（Step130）。そして、符号化信号から画像信号を復号化する（Step131）。
【００９７】
そして、メモリ情報制御部２０１が、復号化したメモリ管理情報に長時間保存メモリに画像を移動するコマンドがあるか否かを判定する（Step132）。長時間保存メモリに移動するコマンドがあれば（Step132のYes）そのコマンドで移動すべき画像があるか、若しくは既に移動済み（移動後に除去済みのため画像が存在しない）であるかを判定し（Step133）、長時間保存メモリに移動済みであれば（Step133のYes）何も処理をせず終了し、そうでなければ長時間保存メモリに移動して（Step134）処理を終了する。
【００９８】
一方、長時間保存メモリに移動するコマンドが無い場合には（Step132のNo）Step133およびStep134の動作は行わず処理を終了する。なお、Step130とStep131は順不同であり、入れ替わっても構わない。
【００９９】
以上のような動作により、実施の形態３の画像符号化方法で、長時間保存メモリに画像を移動するコマンドを複数回符号化して伝送しても、正しく復号化できる画像復号化方法が実現できる。
【０１００】
なお、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、必ずしもそのコマンドを再度符号化して伝送するときに画像の符号化信号に付随させて伝送されている必要はない。
【０１０１】
また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。
【０１０２】
（実施の形態５）
次に、本実施の形態における画像符号化方法について説明する。図７は実施の形態５における画像符号化方法を示すフローチャートであり、図１で示した画像符号化装置１００の動作を示している。図７において、図２と動作が同じものは同じ記号を付している。
【０１０３】
図７に示す本実施の形態の特徴はメモリ内で不要な画像が存在する場合、その画像を除去するメモリ管理情報のコマンドを繰り返し符号化し、少なくとも1回はメモリに保存される重要画面に付随して伝送することである。メモリ管理情報のコマンドを繰り返し符号化する場合でも、重要度の高くない画像に付随してメモリ管理情報のコマンドを伝送したのでは、重要度の高くない画像が全て復号化されない場合にメモリ管理情報のコマンドは取得できなくなる。
【０１０４】
例えば、図３５（ａ）において、ピクチャ番号4の画像はピクチャ番号5の画像を符号化した後は不要になるため、ピクチャ番号5の画像に付随してピクチャ番号4の画像のあるメモリ領域を開放するコマンドを符号化することができる。
【０１０５】
しかしながら、このピクチャ番号4の画像のあるメモリ領域を開放するコマンドをピクチャ番号5の画像に付随して符号化する以外に、ピクチャ番号7の画像に付随して符号化したのでは、いずれも最も重要度が低い（復号化しない場合に画質劣化が少ない）Bピクチャに付随して上記コマンドが符号化されることになる。これらのＢピクチャは復号化されないことがあり、ピクチャ番号4の画像のあるメモリ領域を開放するコマンドが復号化されないことになり、メモリ内の管理情報が正しく再現できないことになる。従って、少なくとも1回は、重要度が高く、必ず復号化され、メモリに保存される画像に付随して画像領域を開放するコマンドを符号化することが必要である。
【０１０６】
図７において、まず入力画像を符号化する（Step100）。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（Step101）、不要なメモリ領域があるかを判定する（Step102）。不要なメモリ領域があれば（Step102のYes）、管理情報符号化部１０５が、不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化する（Step103）。そして、その不要なメモリ領域を開放する（Step104）。不要なメモリ領域が無い場合（Step102のNo）は、Step103およびStep104の動作は行わない。
【０１０７】
次に、メモリ情報制御部１０１は、過去に符号化された、不要なメモリ領域を開放するコマンドが重要画像（復号化されメモリに保存される）に付随されて符号化されているかを判定し（Step140）、重要画像に付随されて符号化されていれば（Step140のYes）処理を終了し、重要画像に付随されて符号化されていなければ（Step140のNo）、管理情報符号化部１０５は、その不要なメモリ領域を開放するコマンドを再度メモリ管理情報として符号化して（Step141）処理を終了する。
【０１０８】
これにより、不要なメモリ領域を開放するコマンドが重要画像に付随されて符号化される。
【０１０９】
以上のようにして、復号化されメモリに保存される重要画像に上記コマンドが付随されるため、上記コマンドが復号されることになり、伝送路エラーが発生した際に画像を正しく復元できる可能性が高くなる。
【０１１０】
なお、上記不要なメモリ領域を開放するコマンドをメモリ管理情報として複数回伝送することができればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送する必要はない。
【０１１１】
また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。
【０１１２】
（実施の形態６）
次に、本実施の形態の画像符号化方法について説明する。図８は実施の形態６における画像符号化方法を示すフローチャートである。図８は、図１に示した画像符号化装置１００の動作を示している。図８において、図５と動作が同じものは同じ記号を付している。
【０１１３】
図８に示す本実施の形態の特徴は、長時間保存メモリに画像を移動するメモリ管理情報のコマンドを繰り返し符号化し、少なくとも1回は重要画面（復号化されメモリに保存される）に付随して伝送することである。長時間保存メモリに画像を移動するメモリ管理情報のコマンドを繰り返し符号化する場合でも、重要度の高くない画像に付随してメモリ管理情報のコマンドを伝送したのでは、重要度の高くない画像が全て復号化されない場合に、メモリ管理情報のコマンドを取得できなくなる。
【０１１４】
図８において、まず入力画像を符号化する（Step120）。符号化後に長時間保存メモリに移動すべき画像があるかを調査し（Step121）、移動すべき画像があるかを判定する（Step122)。
【０１１５】
移動すべき画像があれば（Step122のYes）、管理情報符号化部１０５がどのように長時間保存メモリに移動するかを示すコマンドをメモリ管理情報として符号化し（Step123）、そのコマンド通りに画像を長時間保存メモリに移動する（Step124）。
【０１１６】
次に、メモリ情報制御部１０１が、過去に符号化した長時間保存メモリに移動するコマンドが、重要画像（復号化されメモリに保存される）に付随されて符号化されているか否かを判定し（Step150）、重要画像に付随していれば（Step150のYes)処理を終了し、重要画像に付随されていなければ（Step150のNo）、管理情報符号化部１０５がその長時間保存メモリに移動するコマンドを再度メモリ管理情報として符号化して（Step151）、処理を終了する。
【０１１７】
これにより、長時間保存メモリに画像を移動するコマンドが重要画像に付随して符号化される。
【０１１８】
以上のようにして、復号化されメモリに保存される重要画像に上記コマンドが付随するため、上記コマンドが復号化されることになり、伝送路エラーが発生した際に画像を正しく復元できる可能性が高くなる。
【０１１９】
なお、上記長時間保存メモリに移動するコマンドをメモリ管理情報として複数回伝送されていればよいのであって、そのコマンドを再度符号化して伝送するときに必ずしも画像の符号化信号に付随させて伝送されている必要はない。
【０１２０】
また、メモリ管理情報のコマンドを再送する場合に、その再送するコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよく、蓄積メディアの別の領域に記録されてもよい。
【０１２１】
（実施の形態７）
実施の形態７における画像符号化方法について説明する。
【０１２２】
本実施の形態の特徴は、画像の重要度に応じて選択した参照画像を参照して符号化を行う画像符号化方法である。
【０１２３】
図９は本発明の実施の形態７における画像符号化方法を示すフローチャートである。図９は、図１で示した画像符号化装置１００が行う動作を示したものである。
【０１２４】
図９において、まず符号化対象の各画像の重要度を設定する（Step160）。例えば、IピクチャやPピクチャの重要度は高く、Bピクチャの重要度は低い。また、同じPピクチャであっても、多くの画像から参照されるPピクチャの重要度は高く、あまり参照されないPピクチャの重要度は低い。
【０１２５】
次に、符号化対象画像と同等以上の重要度の画像をメモリ内の参照画像から選択し、参照画像の候補とする（Step161）。例えば、BピクチャはIピクチャおよびPピクチャを参照できるが、Pピクチャは重要度が低いPピクチャを参照画像の候補から除外する。
【０１２６】
次に選択した参照画像の候補を示す指示情報（メモリ管理情報の一種）を符号化し（Step162）、選択した参照画像の候補の中からブロック単位で適切な参照画像を参照して符号化する（Step163）。なお、Step162とStep163は順不同であり、入れ替わっても構わない。
【０１２７】
このようにして、参照画像の候補の中に、符号化対象画像の重要度よりも低い重要度の画像を入れないようにしている。
【０１２８】
以上のように、参照画像の候補の中に、符号化対象画像の重要度よりも低い重要度の画像を入れないことにより、スケーラビリティを実現できるストリームを生成した場合に参照不可能な画像を参照画像の候補から除外することができ、符号化効率が向上する。
【０１２９】
ここで、上述したように設定された画像の重要度に応じて行われる画像符号化方法について、図１０を用いて具体的に説明する。
【０１３０】
図１０（ａ）は、各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）の関係を示す説明図である。
【０１３１】
図１０(ａ)において、ピクチャ番号0のIピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は0になる。次にピクチャ番号0のIピクチャを参照するピクチャ番号2のPピクチャがメモリに保存されるためピクチャ番号2のPピクチャに関する保存ピクチャ番号が1となる。そして次に、ピクチャ番号0のIピクチャとピクチャ番号2のPピクチャを参照するピクチャ番号1のBピクチャがメモリ内に保存されるため、ピクチャ番号1のBピクチャの保存ピクチャ番号が2となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。
【０１３２】
次に、デコード（復号）するピクチャ番号と、メモリに保存されているピクチャ番号、および削除されるピクチャ番号の関係の一例について図１０（ｂ）を用いて説明する。
【０１３３】
図１０（ｂ）はデコードするピクチャ番号（フレーム番号）と保存されているピクチャ番号（フレーム番号）と削除されるピクチャ番号（フレーム番号）の関係を示す関係図である。なお、ここではメモリに保存できるピクチャの最大枚数を5とする。メモリには伝送順序に従ってピクチャが保存されることになる。
【０１３４】
また、例えばピクチャ番号が4のPピクチャがデコードされるときには、ピクチャ番号が4のPピクチャの保存ピクチャ番号が3であるため、保存ピクチャ番号が0、1、2のピクチャがメモリ上に保存されることになる。デコードするピクチャ番号が3のBピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が4、1、2、0のピクチャが保存されている。ここで、ピクチャ番号1のBピクチャは、図１０（ａ）に示すように、ピクチャ番号3のピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が3のピクチャがデコードされた時点で削除される。
【０１３５】
同様に、デコードするピクチャ番号が5のBピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が6、3、4、2、0のピクチャが保存されている。ここで、ピクチャ番号3のBピクチャは、ピクチャ番号5のピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が5のBピクチャがデコードされた時点で削除される。
【０１３６】
さらに、デコードするピクチャ番号が8のPピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が5、6、4、2、0のピクチャが保存されている。ここでメモリには最大5フレームしか保存できないため、ピクチャ番号8のPピクチャを後で参照するためにはピクチャ番号が5、6、4、2、0のいずれかのピクチャを削除してピクチャ番号8のPピクチャを記憶するメモリを確保しなければならない。従って、図１０（ｂ）における削除するフレームの選択基準として、Pピクチャのデコード、つまり偶数番号のピクチャ番号のデコードにおいては時間的に最も古いピクチャ、即ちこの場合はピクチャ番号が0のIピクチャをピクチャ番号8のPピクチャをデコードした時点で削除する。
【０１３７】
同様に、デコードするピクチャ番号が7のBピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が8、5、6、4、2のピクチャが保存されている。ここで、ピクチャ番号5のBピクチャは、ピクチャ番号7のBピクチャを復号化した後はどのピクチャからも参照されることがないため、ピクチャ番号が7のBピクチャをデコードした時点で削除される。
【０１３８】
さらに、デコードするピクチャ番号が1０のPピクチャがデコードされるときには、図１０（ｂ）に示すように、ピクチャ番号が7、8、6、4、2のピクチャが保存されている。ここで、メモリには最大5フレームしか保存できないため、ピクチャ番号10のPピクチャを後で参照するためにはピクチャ番号が7、8、6、4、2のいずれかのピクチャを削除してピクチャ番号1０のピクチャを記憶するメモリを確保しなければならない。従って、図１０（ｂ）における削除するフレームの選択基準として、Pピクチャのデコード、つまり偶数番号のピクチャ番号であるピクチャのデコードにおいては、時間的に最も古いピクチャ番号が2のピクチャをピクチャ番号1０のPピクチャをデコードした時点で削除する。
【０１３９】
このようにピクチャが削除されるときに、デコードされるピクチャの符号化信号に、ピクチャを削除するためのメモリ管理情報のコマンドが符号化されて付随され、伝送される。
【０１４０】
上記図１０（ｂ）に示した例では、メモリ内で不要な画像（ピクチャ）が存在し、その画像を除去するメモリ管理情報のコマンドを１回送る例について述べた。このように、除去するメモリ管理情報のコマンドを１回だけ送ると、Bピクチャに付随して送られたメモリ管理情報のコマンドを実行することができない可能性がある。なぜなら、Bピクチャは、Pピクチャの符号化・復号化で参照される画像として用いられる可能性が低いため、十分な記憶容量や伝送容量が確保できない場合にBピクチャのデータが優先して破棄される可能性が高く、その結果Bピクチャに付随して送られたメモリ管理情報のコマンドを実行できない可能性があるためである。
【０１４１】
この問題を解決するために、画像を除去するメモリ管理情報のコマンドを繰り返し符号化して伝送するようにした例を説明する。以下図１０（ｃ）について具体的に説明する。
【０１４２】
図１０（ｃ）は、デコードするピクチャ番号（フレーム番号）と保存されているピクチャ番号（フレーム番号）と削除されるピクチャ番号（フレーム番号）の他の関係を示した関係図である。図１０（ｃ）において、削除されるピクチャ番号のピクチャを削除するコマンドが、デコードするピクチャ番号のピクチャの符号化信号に付随することを示している。
【０１４３】
図１０（ｃ）に示すように、ピクチャ番号が３のＢピクチャがデコードされるときには、ピクチャ番号が4、1、2、0のピクチャが保存されている。ここで、ピクチャ番号1のBピクチャは、図１０（ａ）に示すように、ピクチャ番号3のピクチャを復号化した後はどのピクチャからも参照されることがない。よって、ピクチャ番号が3のピクチャがデコードされた時点でピクチャ番号1のBピクチャを削除し、削除するためのメモリ管理情報のコマンドがピクチャ番号3のピクチャに付随される。
【０１４４】
しかし、ピクチャ番号3のピクチャはＢピクチャであるため、IピクチャやPピクチャと比べて画像の再現の点において前述の様に重要度が低く、送信の際にデータが破棄されやすいためピクチャ番号3のBピクチャに付随して送られたメモリ管理情報のコマンドを実行できない可能性がある（図２１に示すようにフレームが保存される場合）。
【０１４５】
そこで、次にデコードする、ピクチャ番号3のBピクチャより画像の再現の点において重要度が高いピクチャ番号6のPピクチャに、ピクチャ番号3に付随させたピクチャ番号1のピクチャを削除することを示すメモリ管理情報のコマンドを付随させる（図１０（ｃ）参照）。
【０１４６】
同様に、ピクチャ番号8のPピクチャにピクチャ番号5のBピクチャに付随させたメモリ管理情報のコマンド（ピクチャ番号3のピクチャを削除することを示す）を付随させ、ピクチャ番号1０のPピクチャにピクチャ番号7のBピクチャに付随させたメモリ管理情報のコマンド（ピクチャ番号5のピクチャを削除することを示す）を付随させる。なお、ピクチャ番号8のピクチャはPピクチャであるため、図１０（ｃ）に示すように、ピクチャ番号7のBピクチャにピクチャ番号8のピクチャに付随させたメモリ管理情報のコマンドを付随させていないが、付随させてもよい。
【０１４７】
以上、図１０（ｃ）に示すように、Bピクチャに最初に付随させたメモリ管理情報のコマンドと同一のメモリ管理情報のコマンドを、Bピクチャより画像の再現の点において重要度の高いピクチャであり、最初にメモリ管理情報のコマンドを付随させたBピクチャより後に保存または伝送されるピクチャに、繰り返し付随させた。これにより、最初にメモリ管理情報のコマンドが付随されたBピクチャが欠落しても、メモリ管理情報のコマンドを正常に実行することができる。
【０１４８】
なお、図１０（ｃ）を用いて説明したように、Bピクチャにメモリ管理情報のコマンドを付随させても、更にPピクチャに繰り返しメモリ管理情報のコマンドを付随させる場合に、設定された重要度が用いられる。なお、重要度の設定は、本実施の形態に示したものに限られない。
【０１４９】
なお、本実施の形態では各画像の重要度に応じて、各画像を送るか送らないかを決めており、各画像における重要度を、上記実施の形態に示すメモリ管理情報のように各画像に付随して符号化するわけではない。よって、本実施の形態で符号化されたデータの復号化処理は従来の方法と変わらない。
【０１５０】
（実施の形態８）
次に、実施の形態８について説明する。
【０１５１】
本実施の形態の特徴は、メモリ内の全画像（ピクチャ）を削除して、メモリ領域の初期化を行う（メモリ管理情報の）コマンドを複数回符号化して伝送することである。
【０１５２】
上記各実施の形態で示したメモリ管理情報は、図１１に示すようなコード情報として付与される。
【０１５３】
図１１は、メモリ管理情報のコマンドを示す対応図であり、コード番号（Ｃｏｄｅ）と、コマンドの内容（コマンド）と、その付加情報（付加情報）を示している。
【０１５４】
例えば、短時間保存メモリの不要なメモリ領域を開放するコマンド（短時間保存メモリ開放）はコード情報Code1として付与され、開放するピクチャ番号（フレーム番号）が付加情報として付加される。
【０１５５】
また、コード情報は図１３に示す各フレームのヘッダ情報として与えられる。
【０１５６】
図１３は、各ピクチャの符号化信号におけるヘッダ情報とフレームデータとの関係を示す模式図である。図１３において、各符号化信号は、後述するフレームFrm12、Frm11、Frm14の符号化信号を示している。各符号化信号は、ヘッダ情報を有するフレームヘッダと画像の符号化に関するフレームデータを備えている。例えば、フレームFrm12の符号化信号は、フレームヘッダFrm12Hdrと、各データMB12a,MB12b,MB12c,MB12dなどからなるフレームデータを備えている。
【０１５７】
この符号化信号の詳細を図１４の模式図に示す。
【０１５８】
図１４は、符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。
【０１５９】
図１４に示すように、フレームFrmAの符号化信号はヘッダ情報を有するフレームヘッダFrmAHdrと、各データMBa,MBb,MBc,Mbdなどからなるフレームデータとを備えている。そして、コマンドのコード情報CodeAの次にコード情報CodeAの付加情報AddAが、続いてコード情報CodeAのコマンドの次に実行されるべきコマンドのコード情報CodeB、コード情報CodeBの付加情報AddBがフレームヘッダFrmAHdrに付加される。付加情報がなければコード情報CodeCのようにコード情報のみが付加される。
【０１６０】
次に、図１２にコマンド実行の手順を示す。
【０１６１】
図１２は、コマンド実行手順を示すフローチャートである。
【０１６２】
図１２において、まずコマンドを取得し（StepC0）、コマンドの取得が終了したか否かを判定する（StepC1）。コマンドの取得が終了しておらず、コマンドが取得されれば（StepC1のNo)、取得したコマンドの実行を行い（StepC2）、StepC0に戻ってこの動作を繰り返す。一方、コマンドの取得が終了しておりコマンドが取得されなければ（StepC1のYes)、コマンド実行の処理を終了する。この手続きをフレーム毎に行う。なお、複数のマクロブロックからなるスライスの単位でコマンド情報が送られる場合でも、同上の手順でコマンドが実行される。
【０１６３】
ところで、上記実施の形態１では不要な画像を除去する（メモリを開放する）メモリ管理情報のコマンドについて説明した。さらに、実施の形態１では、不要な画像を除去するメモリ管理情報のコマンドを繰り返し符号化することで、片方のメモリ管理情報のコマンドが伝送路エラーで消失しても、もう一方のメモリ管理情報のコマンドからメモリ内に保存されている画像の管理情報を復元でき、画像を正しく復元できる可能性が高くなることを示した。
【０１６４】
ここで、図１１に示すコード情報のうち、メモリ内の全ての情報を除去する初期化コマンドCode5について検討する。
【０１６５】
初期化コマンドCode5が一度だけ送られるときに、この初期化コマンドCode5が伝送路エラーで消失すれば、本来初期化した後に行うメモリ管理等の処理に影響が出る。そこで、実施の形態１と同様に、初期化コマンドCode5を繰り返し符号化して伝送した場合について図１５を用いて説明する。
【０１６６】
図１５は各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）の関係を示す説明図である。
【０１６７】
以下、図１５について具体的に説明する。まず、ピクチャ番号0のIピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は0になる。次にピクチャ番号0のIピクチャを参照するピクチャ番号2のPピクチャがメモリに保存されるためピクチャ番号2のPピクチャに関する保存ピクチャ番号が1となる。そして、ピクチャ番号0のIピクチャとピクチャ番号2のPピクチャを参照するピクチャ番号1のBピクチャがメモリ内に保存されるため、ピクチャ番号1のBピクチャの保存ピクチャ番号が2となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。
【０１６８】
図１５に示すピクチャ番号12のIピクチャを符号化するときに図１１に示す初期化コマンドCode5を送るとする。ピクチャ番号12のIピクチャの保存ピクチャ番号は11であるため、この初期化コマンドCode5により、保存ピクチャ番号が10以下のピクチャをメモリ内から全て除去することができる。
【０１６９】
ここで、初期化コマンドCode5を符号化する方法について図１６を用いて説明する。
【０１７０】
図１６は、初期化コマンドcode5を符号化する方法を示すフローチャートであり、図１に示す画像符号化装置１００が行う動作を示している。
【０１７１】
まず、入力画像を符号化する（StepA0)。符号化後にメモリ内の参照可能な全てのピクチャが不要かどうか（今後の符号化でどの画像も参照されないかどうか）を調査（初期化調査）し（StepA1）、メモリに格納されていたピクチャが今後参照されず初期化した方がよいかを判定する（StepA2）。
【０１７２】
初期化したほうがよければ（StepA2のYes）、メモリ領域を初期化する初期化コマンドCode5をメモリ管理情報として符号化し（StepA3）、初期化を行い（StepA4）、処理を終了する。一方、初期化の必要がない場合（StepA2のNo）は、StepA3およびStepA4の動作は行わず、処理を終了する。
【０１７３】
次に符号化された初期化コマンドCode5を復号化する方法について図１７を用いて説明する。
【０１７４】
図１７は符号化された初期化コマンドCode5を復号化する方法を示したフローチャートであり、図３に示す画像復号化装置２００が行う動作を示している。
【０１７５】
まず、メモリ管理情報を復号化し（StepA10）、符号化信号から画像信号を復号化する（StepA11）。次に、復号化したメモリ管理情報に初期化コマンドCode5があるかを判定し（StepA12)、初期化コマンドCode5があれば（StepA12のYes）、メモリ内に記憶されていたピクチャを全て除去して初期化し（StepA13）、処理を終了する。但し、このとき、復号化した画像（StepA11において）は除去しない。
【０１７６】
一方、メモリ管理情報に初期化コマンドCode5がなければ（StepA12のNo）、処理を終了する。
【０１７７】
以下、図１５を用いてメモリの初期化を行う方法について具体的に説明する。図１５に示すピクチャ番号11のBピクチャに、ピクチャ番号12のIピクチャに付与した初期化コマンドCode5と同一の初期化コマンドCode5を付与するとする。
【０１７８】
図１３で示すと、フレームFrm12（ピクチャ番号12）のフレームヘッダFrm12Hdr と、フレームFrm11（ピクチャ番号11）のフレームヘッダFrm11Hdrとに初期化コマンドCode5が付与されることになる。初期化コマンドCode5は図１１に示すように付加情報を有しないため、復号化された時点においてメモリ内に保存されているピクチャをすべて除去することになる。
【０１７９】
よって、ピクチャ番号12（保存ピクチャ番号11）のIピクチャに付与した初期化コマンドCode5が伝送路エラーで消失し、ピクチャ番号11（保存ピクチャ番号12）のBピクチャに付与した初期化コマンドCode5が実行されると、保存ピクチャ番号11以前に復号化したピクチャでメモリに保存されているピクチャが全て除去されることになる。つまり、本来除去されてはならないピクチャ番号12（保存ピクチャ番号11）のIピクチャまでが除去されることになる。
【０１８０】
このようにピクチャ番号11のＢピクチャに、ピクチャ番号12のIピクチャに付与した初期化コマンドCode5と同一の初期化コマンドCode5を付与したときは、1枚のピクチャ（ピクチャ番号12のIピクチャ）が欠落することになる。一方、ピクチャ番号14（保存ピクチャ番号13）のPピクチャに、ピクチャ番号12（保存ピクチャ番号11）のIピクチャに付与した初期化コマンドCode5と同一の初期化コマンドCode5を付与し、ピクチャ番号12のIピクチャに付与した初期化コマンドCode5が伝送路エラーで消失し、ピクチャ番号１４のＰピクチャに付与した初期化コマンドCode5が実行されると、2枚のピクチャ（ピクチャ番号11のBピクチャとピクチャ番号12のIピクチャ）が欠落することになる。
【０１８１】
なお、初期化コマンドCode5を繰り返し符号化し、最初に送った初期化コマンドCode5も、続けて送った初期化コマンドCode5も、伝送路エラーなく実行される場合にも、上記と同様の問題が生じる。なぜなら、最初に送った初期化コマンドCode5によって初期化され、さらに続けて送った初期化コマンドCode5により再度初期化されるためである。
【０１８２】
このようなメモリの初期化における問題を解決するための方法について説明する。
【０１８３】
図１８にメモリの初期化における問題を解決するために用いるメモリ管理情報のコマンドを示す。
【０１８４】
図１１と異なる点は、図１８では新たに初期化再送コマンドCode6を追加した点である。また、この初期化再送コマンドCode6は付加情報として初期化ピクチャ（フレーム）番号（メモリ領域を初期化する初期化コマンドCode5が付随されるフレームの番号）を有する。
【０１８５】
以下、この初期化再送コマンドCode6を用いた画像符号化の処理の流れについて図１９を用いて説明する。
【０１８６】
図１９は、初期化再送コマンドCode6を用いた画像符号化方法を示すフローチャートであり、図１に示す画像符号化装置１００の行う動作を示している。図１９について図１６と同じ動作には同一の符号を付している。
【０１８７】
まず、入力画像を符号化する（StepA0)。符号化後にメモリ内の全てのピクチャが不要かどうか（今後の符号化でどの画像も参照されないかどうか）を調査（初期化調査）する（StepA1）。メモリ情報制御部１０１が、初期化が必要であるかを判定し（StepA2）、初期化が必要であれば（StepA2のYes）、管理情報符号化部１０５が、メモリ領域を初期化する初期化コマンドCode5をメモリ管理情報として符号化し（StepA3）、初期化を行う（StepA4）。初期化の必要がない場合（StepA2のNo）は、StepA3およびStepA4の動作は行わない。
【０１８８】
次に、メモリ情報制御部１０１が、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随してメモリ領域を初期化する初期化コマンドCode5をメモリ管理情報として符号化しているか否かを判定し（StepA30）、符号化していれば（StepA30のYes）、管理情報符号化部１０５が、そのメモリ領域を初期化する初期化再送コマンドCode6をメモリ管理情報として符号化して（StepA31）、処理を終了する。
【０１８９】
また、直前に符号化した画像（符号化対象より前の画像）の符号化信号に付随してメモリ領域を初期化する初期化コマンドCode5がメモリ管理情報として符号化されていなければ（StepA30のNo）、処理を終了する。
【０１９０】
なお、図１９に示す方法では、直前に符号化した画像の符号化信号に付随してメモリ領域を初期化する初期化コマンドCode5が符号化されている場合に、再度初期化再送コマンドCode6を符号化するとしたが、直前ではなく数画像前に符号化した画像の符号化に付随してメモリ領域を初期化する初期化コマンドCode5が符号化されている場合に、再度初期化再送コマンドCode6を符号化しても良く、また複数の画像に付随して、メモリ領域を初期化する初期化再送コマンドCode6をメモリ管理情報として繰り返し符号化してもよい。
【０１９１】
具体的には図１５に示すようにピクチャ番号12のIピクチャの符号化に付随して初期化コマンドCode5を符号化する場合、ピクチャ番号11のBピクチャの符号化に付随して初期化再送コマンドCode6を符号化してもよく、またピクチャ番号14のPピクチャの符号化に付随して初期化再送コマンドCode6を符号化してもよい。
【０１９２】
前者の場合、図１３で示すと、フレームFrm12のフレームヘッダFrm12Hdrに初期化コマンドCode5が付与され、更にフレームFrm11のフレームヘッダFrm11Hdrに初期化再送コマンドCode6が付与される、また、後者の場合、フレームFrm12のフレームヘッダFrm12Hdrに初期化コマンドCode5が付与され、フレームFrm14のフレームヘッダFrm14Hdrに初期化再送コマンドCode6が付与されることになる。
【０１９３】
さらにまた、ピクチャ番号11のBピクチャの符号化に付随して初期化再送コマンドCode6を符号化するとともに、ピクチャ番号14のPピクチャの符号化にも付随して初期化再送コマンドCode6を符号化するようにしてもよい。この場合、図１３で示すと、フレームFrm12のフレームヘッダFrm12Hdrに初期化コマンドCode5が付与され、フレームFrm11のフレームヘッダFrm11Hdrと、フレームFrm14のフレームヘッダFrm14Hdrとに、初期化再送コマンドCode6が付与される。
【０１９４】
次に、上記初期化再送コマンドCode6が符号化されたデータを復号化するときの処理について図２０を用いて説明する。図２０は、符号化された初期化再送コマンドCode6を復号する方法を示すフローチャートであり、図３に示した画像復号化装置２００の動作を示している。図２０について図１７と同じ動作には同一の符号を付している。
【０１９５】
まず、管理情報復号化部２０５が、メモリ管理情報を復号化する（StepA10）。そして、符号化信号から画像信号を復号化する（StepA11）。
【０１９６】
復号化したメモリ管理情報に初期化コマンドCode5があるかを判定し（StepA12)、初期化コマンドCode5があれば（StepA12のYes）、メモリ内のピクチャを全て除去して初期化し（StepA13）、初期化コマンドCode5がなければ（StepA12のNo）、初期化を行わない。
【０１９７】
次に、メモリ情報制御部１０１が、メモリ管理情報に初期化再送コマンドCode6があるかを判定する（StepA40）。初期化再送コマンドCode6がなければ（StepA40のNo）処理を終了し、初期化再送コマンドCode6があれば（StepA40のYes）、初期化が済んでいるかどうかを調査する（StepA41）。初期化が済んでいれば（StepA41のYes）処理を終了し、初期化がされていなければ（StepA41のNo)、初期化再送コマンドCode6の付加情報に基づいて、初期化フレーム（メモリ領域を初期化する初期化コマンドCode5が付随されるフレーム）以前の保存フレーム（初期化フレームの符号化時点で参照用画像メモリに格納されているフレーム）を削除し、さらに長時間保存メモリサイズを0とし（StepA42）処理を終了する。なお、長時間保存フレームを使用しない場合は、長時間保存メモリサイズを0にする必要は無い。
【０１９８】
よって、図１５で示されるピクチャ番号１２のピクチャに初期化コマンドCode5、ピクチャ番号１４に初期化再送コマンドCode6が付随して符号化された場合、初期化コマンドCode5が伝送路エラーで消失しない場合は、初期化コマンドCode5によって、初期化コマンドCode5が伝送路エラーで消失した場合は初期化再送コマンドCode6によって、保存ピクチャ番号が１０以下のピクチャでメモリに保存されているピクチャが全て削除されることになる。
【０１９９】
このように、初期化コマンドcode5を繰り返し符号化して伝送する際に、2回目以降は、付加情報である初期化ピクチャ番号の付加された初期化再送コマンドCode6を符号化して伝送するため、その付加情報に基づいて初期化フレーム以前の保存フレーム（最初に初期化コマンドCode5が付随する初期化フレームの符号化時点で参照用画像メモリに格納されているフレーム）が削除されることになる。そのため、必要な画像（ピクチャ）が欠落するような上述した問題を解決することができる。
【０２００】
なお、図２１のように図１５と異なる保存ピクチャ番号の付け方の場合でも、上記で説明した初期化再送コマンドCode6は有効である。
【０２０１】
以下、具体的に説明する。
【０２０２】
図２１は各フレームに付与される番号（ピクチャ（フレーム）番号）と、各フレームがメモリ内に保存されるときの番号（保存ピクチャ（フレーム）番号）と、各フレームが伝送される順番を示す番号（伝送順序）における他の関係を示す説明図である。
【０２０３】
これらの番号の付与方法について説明する。まず、ピクチャ番号0のIピクチャは他のピクチャを参照しないのでメモリに保存され、保存ピクチャ番号は0になる。次にピクチャ番号0のIピクチャを参照するピクチャ番号2のPピクチャがメモリに保存されるためピクチャ番号2のPピクチャに関する保存ピクチャ番号が1となる。そして、ピクチャ番号0のIピクチャとピクチャ番号2のPピクチャを参照するピクチャ番号1のBピクチャがメモリ内に保存されるが、このBピクチャは他のピクチャから参照されることがないため、保存ピクチャ番号は直前に保存されたピクチャ番号2のPピクチャの保存ピクチャ番号と同じく1となる。各ピクチャが伝送される順番は、メモリに保存された順番とする。同様の手順でピクチャ番号と保存ピクチャ番号と伝送順序の関係が決まる。
【０２０４】
図２１に示すように、ピクチャ番号12のIピクチャを符号化するときに図１１に示す初期化コマンドCode5を付随して送るとする。ピクチャ番号12のIピクチャの保存ピクチャ番号は6であるため、この初期化コマンドCode5により、保存ピクチャ番号が5以下のピクチャがメモリ内から全て除去することができる。
【０２０５】
ここで、初期化コマンドCode5を繰り返し符号化する場合、具体的には、ピクチャ番号14のＰピクチャにピクチャ番号12のIピクチャに付与した初期化コマンドCode5と同一の初期化コマンドCode5を付与する場合について説明する。
【０２０６】
初期化コマンドCode5は図１１に示すように付加情報を有しないため、復号化された時点において参照用メモリ内に保存されているピクチャをすべて除去することになる。よって、ピクチャ番号12（保存ピクチャ番号6）のIピクチャに付与した初期化コマンドCode5が伝送路エラーで消失し、ピクチャ番号14（保存ピクチャ番号7）のPピクチャに付与した初期化コマンドCode5が実行されると、保存ピクチャ番号6以下のピクチャでメモリに保存されているピクチャが全て除去されることになる。つまり、本来除去されてはならないピクチャ番号12（保存ピクチャ番号6）のIピクチャまでが除去されることになる。
【０２０７】
しかし、初期化コマンドCode5の代わりに上記初期化再送コマンドCode6をピクチャ番号14のPピクチャに付随させることによって、ピクチャ番号12のIピクチャに付随した初期化コマンドCode5が伝送路エラーで消失しない場合は初期化コマンドCode5によって、初期化コマンドCode5が伝送路エラーで消失した場合はピクチャ番号14のPピクチャに付随した初期化再送コマンドCode6によって、保存ピクチャ番号が5以下のピクチャでメモリに保存されているピクチャが全て削除されることになる。
【０２０８】
すなわち、初期化再送コマンドCode6には付加情報として初期化フレーム（この場合、ピクチャ番号12）番号が付加されているため、初期化フレーム以前の保存フレーム（初期化フレームを保存する時点で参照用画像メモリに格納されている保存ピクチャ番号が5以下の保存フレーム）が削除される。
【０２０９】
以上のように、付加情報を有する初期化再送コマンドCode6によって、初期化コマンドcode5が伝送路エラーで欠落した場合でも初期化を正常に実行できる可能性が高くなる。なお、本実施の形態で示した初期化再送コマンドで、付加情報を初期化再送コマンドが付随されたピクチャ番号としたものを初期化コマンドとして代用し、図１８に示すCode5とCode6を１つのコマンドで実現するようにしてもよい。これは、初期化情報の再送のために初期化再送を行うときには、初期化コマンドが付随されたフレームの番号を指定するため、当該フレームを再送するようなピクチャ番号は用いられることがないからである。このとき、初期化コマンドCode5は無効としてもよい。
【０２１０】
なお、このように１コマンドで上記実施の形態で示した初期化再送コマンドと初期化コマンドCode5とを実現する場合、上記実施の形態で示した初期化再送コマンドでは用いられない特別の値を付加情報として有した初期化再送コマンドをもって、最初に送る初期化コマンドCode5と同一の機能を有するコマンドとしてもよい。
【０２１１】
また、上記各実施の形態で説明したように、不要になったメモリ領域を開放するコマンドや初期化コマンドなどのメモリ管理情報が再度伝送されるときに、図１３および図１４に示すように画像の符号化に関するフレームデータに付加されたヘッダ情報に含まれて伝送されるのではなく、メモリ管理情報の含まれたヘッダ情報がフレームデータとは別に分離して伝送されてもよい。すなわち、再送する上述のコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよい。また、蓄積メディアの別の領域に記録されてもよい。
【０２１２】
さらにまた本実施の形態では、初期化コマンドを再送するときに初期化再送コマンドに、初期化コマンドを最初に付随させたピクチャのピクチャ番号（初期化フレーム番号）を付加情報として付加させたが、上述した各実施の形態において示した、開放するメモリ領域を示すコマンドや短時間保存メモリから長時間保存メモリに移動する対象のピクチャを指定するコマンドなどのメモリ管理情報のコマンドを再送するときにも、最初にそのコマンドを付随させて伝送した符号化対象ピクチャのピクチャ番号（ピクチャを特定する情報）をパラメータとして含めて伝送してもよいのは当然である。このようにすることにより、どのピクチャを伝送するときに伝送エラーが発生したのかを検出することができる。
【０２１３】
（実施の形態９）
次に、実施の形態９における画像符号化方法および画像復号化方法について説明する。
【０２１４】
本実施の形態の特徴は、メモリ管理情報を複数回伝送するときに、２回目以降に伝送されたメモリ管理情報に基づく処理のタイミングを変更していることである。
【０２１５】
上記実施の形態で示したメモリ管理情報を繰り返し符号化したデータを復号化するとき、繰り返し送られたメモリ管理情報の処理をする前に必ず、メモリ管理情報を付随させた画像信号を復号化していた。具体例として実施の形態２において説明した、不要なメモリ領域を開放するコマンドを複数回伝送した場合について、図１５を用いて再度説明する。
【０２１６】
図１５に示すピクチャ番号12のピクチャに図１８に示すCode1のコマンドを付随させて符号化させ、さらにピクチャ番号11のピクチャにもCode1のコマンドを付随させて符号化させるとする。このとき、復号化は図４に従ってなされる。
【０２１７】
まず、ピクチャ番号１２のピクチャに付随されたCode1が復号化される（Step110)。次にピクチャ番号１２のピクチャが復号化される（Step111）。ここで、本来ピクチャ番号12のピクチャに付随されているはずのCode1が伝送途中で欠落したとすると（Step112のNo）、このフレームに関する処理が終了する。
【０２１８】
伝送順でピクチャ番号12のピクチャの次に復号化処理されるのはピクチャ番号11のピクチャである。
【０２１９】
まず、ピクチャ番号11のピクチャに付随して符号化されたCode1が復号化される（Step110）。次にピクチャ番号11のピクチャが復号化される（Step111)。このCode1が伝送途中で欠落せず伝送された場合、復号化されたメモリ管理情報にメモリ開放のコマンドであるCode1が存在するため（Step112のYes)、次の処理（Step113）に至る。
【０２２０】
ここで、ピクチャ番号11のピクチャが復号化される前に復号化されたピクチャ番号12のピクチャを復号化したときにメモリ開放がされていないため（Step113のNo)、メモリ開放処理がなされる（Step114)。
【０２２１】
上記具体例で示したように、不要なメモリ領域を開放するコマンドを複数回伝送することに伴い、本来最初のコマンド実行がされなかったピクチャ（ピクチャ番号12）に対して実行するべきコマンドの実行が、後から送られるピクチャ（ピクチャ番号11）の画像信号の復号化処理の後になり、コマンドの実行の遅延が生じる。
【０２２２】
よって、本実施の形態においては、上記課題を解決するための方法について図２２、図２３、および図２４を用いて説明する。
【０２２３】
図２２は本実施の形態で用いるメモリ管理情報とコマンドの関係を示す対応図である。
【０２２４】
図２２において、Codeはコマンドの番号を、コマンドはコマンドの内容を、付加情報はコマンドに付加される付加情報を、処理位置はコマンドを実行するタイミングを示している。
【０２２５】
図１１と異なる点は、図２２ではCodeA1からCodeA4までを画像の復号化処理の後に実行するコマンドとする一方、CodeA1からCodeA4に対応したCodeA6からCodeA９までを画像の復号化処理の前に実行するコマンドとした点である。
【０２２６】
そして、繰り返してメモリ管理情報を送る場合、最初に符号化するメモリ管理情報のコマンドを、処理位置が復号化後の（画像の復号化後に実行する）コマンド（CodeA1からCodeA4）とし、繰り返し（２回目以降に）符号化するコマンドを、処理位置が復号化前の（画像の復号化前に実行する）コマンド（CodeA6からCodeA9）とする。
【０２２７】
これにより、最初に送られたメモリ管理情報が欠落した場合でも、本来最初に送られたメモリ管理情報で実行すべきコマンドが、早期に実行され、遅延等の問題を起こりにくくすることができる。
【０２２８】
以下、図２２のコマンドを用いるときの処理手順について図２３および図２４を用いて説明する。
【０２２９】
図２３は本実施の形態における画像符号化方法を示すフローチャートであり、図１に示した画像符号化装置１００の動作を示している。
【０２３０】
図２３において、まず、画像が符号化される（StepB0)。符号化後にメモリ内で不要な領域（今後の符号化で参照されない画像）を調査し（StepB1）、不要なメモリ領域があるか判定する（StepB2)。不要なメモリ領域があれば（StepB2のYes）、不要なメモリ領域を開放するコマンドを画像信号の復号化の後に実行するものとして、復号化後用メモリ管理情報を符号化し（StepB3）、その不要なメモリ領域を開放する（StepB4）。一方、不要なメモリ領域が無い場合（StepB2のNo）は、StepB3およびStepB4の動作は行わない。
【０２３１】
次に、メモリ情報制御部１０１が、直前に符号化した画像（符号化対象より前の画像）の符号化に付随して不要なメモリ領域を開放するコマンドをメモリ管理情報として符号化しているかを判定する（StepB30）。符号化していなければ（StepB30のNo）処理を終了し、符号化していれば（StepB30のYes）、管理情報符号化部１０５が、その不要なメモリ領域を開放するコマンドを画像信号の復号化の前に実行するものとして復号化前用メモリ管理情報を符号化して（StepB31）、処理を終了する。
【０２３２】
なお、StepB30で直前に符号化した画像の符号化信号に付随して、不要なメモリ領域を開放するコマンドが符号化されている場合に、再度コマンドを符号化するとしたが、直前の画像に付随している場合でなく、数画像前の画像に付随している場合でも良く、更に、上記コマンドを繰り返してメモリ管理情報として符号化し、複数の画像に付随して伝送させてもよい。
【０２３３】
次に図２３の手順に従って符号化されたデータを復号化する手順について図２４と図１５を用いて説明する。
【０２３４】
図２４は、本実施の形態における画像復号化方法を示すフローチャートであり、図３で示した画像復号化装置２００が行う動作を示している。
【０２３５】
以下の説明において、図１５ではピクチャ番号12のピクチャに図２２に示すCodeA1のコマンドが付随して符号化されており、さらにピクチャ番号11のピクチャにCodeA6のコマンドを付随させて符号化されているとする。図１３で示すと、ピクチャ番号12のフレームFrm12のフレームヘッダFrm12HdrにCodeA1が付与され、ピクチャ番号１１のフレームFrm11のフレームヘッダFrm11HdrにCodeA6が付与されることになる。
【０２３６】
なお、画像復号化装置では伝送路エラーでコマンドが消失しない限り、複数回メモリ内の同じ画像の領域を開放するコマンドが受信されることになる。従って、画像復号化装置が行う画像復号化方法では、既に開放した画像を再度開放するコマンドを受信した場合でもエラーとして処理をせずに、逆に正しく受信できていると判断しなければならない。
【０２３７】
まず、ピクチャ番号12のピクチャに関する復号化処理について説明する。
【０２３８】
図２４において、まず、ピクチャ番号12のピクチャのメモリ管理情報を復号化し（StepB5）、このメモリ管理情報が復号化前用メモリ管理情報であるかを調査する（StepB7）。ここでこのメモリ管理情報（CodeA1）は復号化後用メモリ管理情報であるため（StepB7のNo)、ピクチャ番号１２の画像信号が復号化される。そして、上述したようにメモリ管理情報（CodeA1）は復号化後用メモリ管理情報であるため（StepB9のYes)、メモリが開放され（StepB11)、ピクチャ番号12のピクチャのメモリ管理情報に関する処理は終了する。
【０２３９】
一方、メモリ管理情報のCodeA1が欠落していたとき、StepB7において復号化前用メモリ管理情報であると判断されず（StepB7のNo）、また、StepB9においても復号化後用メモリ管理情報であると判断されず（StepB9のNo)、ピクチャ番号12の画像信号の復号化のみがなされ（StepB6)、ピクチャ番号１２のメモリ管理情報に関する処理は終了する。
【０２４０】
次に、ピクチャ番号11のフレームに関する復号化処理について図２４を用いて説明する。
【０２４１】
まず、ピクチャ番号11のメモリ管理情報を復号化し（StepB5）、このメモリ管理情報が復号化前用メモリ管理情報であるかを調査する（StepB7）。ここでCodeA6は復号化前用メモリ管理情報であるため（StepB7のYes）、メモリが開放済みかどうかを調査する（StepB8)。ピクチャ番号12の処理において、CodeA1が実行されていればメモリ開放済みのため（StepB8のYes）、メモリ開放処理（StepB10)を行わず、ピクチャ番号11の画像信号の復号化がなされる（StepB6)。そして、メモリ管理情報が復号化後用であるか判定されるが（StepB9)、CodeA6は復号化前用メモリ管理情報であるため（StepB9のNo)、ピクチャ番号11のピクチャのメモリ管理情報に関する処理は終了する。
【０２４２】
しかし、伝送過程でのパケットの欠落等でピクチャ番号12のメモリ管理情報が欠落して、ピクチャ番号12に関する処理において、メモリ開放がなされていなければ、ピクチャ番号11に関する処理において、メモリ開放済みでないと判定され（StepB8のNo）、次のステップにおいてメモリ開放される（StepB10)。メモリ開放された後、ピクチャ番号11の画像信号は復号化される（StepB6)。そして、CodeA6は復号化前用メモリ管理情報であるため（StepB9のNo)、ピクチャ番号11のピクチャのメモリ管理情報に関する処理は終了する。
【０２４３】
このように再送分については画像信号の復号化より前にコマンドが実行されるようにすることで、最初に送ったコマンドが欠落しても、コマンドの実行の遅れを少なくすることができる。
【０２４４】
なお、具体例としてメモリ管理情報がCodeA1とCodeA6である場合について説明したが、CodeA2とCodeA7を用いる場合でも同様の処理で実現可能であり、CodeA3とCodeA8、CodeA４とCodeA９を用いる場合でも同様の処理で実現可能である。
【０２４５】
また、図２２に示す初期化コマンドCodeA5を復号化後用メモリ管理情報とし、図１８に示す初期化再送コマンドCode6を復号化前用メモリ管理情報として、それぞれを対で使うことも可能である。
【０２４６】
また、１フレームに１つの復号化後用メモリ管理情報と複数の復号化前用メモリ管理情報がヘッダ情報として付与されている場合、複数の復号化前用メモリ管理情報が復号化後用メモリ管理情報より先に処理されるようにするとよい。
【０２４７】
つまり、図１３に示すヘッダ情報の先頭の方に復号化前用メモリ管理情報を付与し符号化するようにすればよい。
【０２４８】
また、図２５（ａ）と図２５（ｂ）とに示す命令の組み合わせにより、メモリ管理情報が復号前用管理情報であるか復号化後用管理情報であるかを別の情報として、上記実施の形態に示したコマンドを実現しても良い。
【０２４９】
図２５（ａ)は、コマンドの内容と付加情報を示す対応図である。図２５（ｂ）は、コマンドの実行タイミング（処理位置）を示す対応図である。
【０２５０】
図２６は、符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。
【０２５１】
図２６において、フレームFrmBの符号化信号は、フレームヘッダFrmBHdrと、MBa,MBbなどのフレームデータなどを有しており、フレームヘッダFrmBHdrは、ヘッダ情報として、コード情報CodeDなどを有している。
【０２５２】
このとき、例えば図２６に示すように、フレームFrmBのフレームヘッダFrmBHdrを先頭からコマンドのコード情報CodeD、処理位置を示すFlagD、コマンドの付加情報を示す付加情報AddDとすればよい。付加情報がない場合は図２６に示すようにコマンドのCodeE、処理位置を示すFlagEがフレームヘッダFrmBHdrに付加されればよい。コマンドを示すCodeの直後に付加情報を示すAddとせず処理位置を示すFlagとすることにより、図２４に示すStepB7やStepB9の処理が最適化できる。
【０２５３】
また、コマンドの実行タイミングが画像信号の復号前と復号後のいずれかであるかを区別するために、コマンドの処理位置を示す新しいコマンドを用い、その処理位置を示すコマンドのフレームヘッダでの位置より前に位置するコマンドは復号化後に実施、その処理位置を示すコマンドのフレームヘッダでの位置より後に位置するコマンドは復号化前に実施するようにしてもよい。これにより、複数コマンドがあるときに、それぞれのコマンドの実行タイミング（処理位置）を１つのコマンドで示すことができ、コマンド毎に処理位置を示すFlagを送る場合に比べて送る情報が減少して、符号化効率が向上する。
【０２５４】
具体例を図２７を用いて説明する。
【０２５５】
図２７は、他の符号化信号のヘッダ情報におけるメモリ管理情報のコマンドを示す模式図である。
【０２５６】
図２７において、フレームFrmCの符号化信号は、フレームヘッダFrmCHdrと、MBa,MBbなどのフレームデータなどを有しており、フレームヘッダFrmCHdrは、ヘッダ情報として、前から順にコマンドCodeF、コマンドdif、コマンドCodeG、付加情報AddG、コマンドCodeHが位置している。
【０２５７】
そして、処理位置を示すコマンドdifがフレームヘッダFrmCHdrにあるかないかが判別され、処理位置を示すコマンドdifより前にあるコマンドCodeFはフレームFrmCの復号化後に実行され、コマンドdifより後にあるコマンドCodeGやコマンドCodeHはフレームFrmCの復号化前に実行されるようにしてもよい。この場合、処理位置を示すコマンドdifがなければ、フレームヘッダFrmCHdr内の全てのコマンドは、フレームFrmCの復号化処理後に実行されることになる。
【０２５８】
尚、上記各実施の形態で説明したように、不要になったメモリ領域を開放するコマンドや初期化コマンドなどのメモリ管理情報が再度伝送されるときに、画像の符号化信号に付加されたヘッダ情報に含まれて伝送されるのではなく、メモリ管理情報の含まれたヘッダ情報が画像の符号化信号とは別に分離して伝送されてもよい。すなわち、再送する上述のコマンドが、符号化されたピクチャと同じストリームにあるのではなく、例えば別のストリームとして伝送するようにしてもよい。また、蓄積メディアの別の領域に記録されてもよい。
【０２５９】
（実施の形態１０）
次に、本発明の実施の形態１０について説明する。
【０２６０】
本実施の形態では、上記各実施の形態と符号化を行う単位が異なる。すなわち、上記実施の形態１において不要なメモリ領域を開放するコマンドを複数回伝送するとき、上記コマンドに相当する図１に示されるメモリ管理情報ストリームCtlStrと画像符号化ストリームVideoStrとは画像（ピクチャ）単位で符号化していたが、本実施の形態では、図２８に示すストリーム構造のように１フレームをスライス単位で符号化してもよい。
【０２６１】
スライス単位で符号化するとは、図２８のフレーム１のスライス１がヘッダ1-1、ctlStr1、VideoStr1-1を有し、フレーム１のスライス２がヘッダ1-2、ctlStr1、VideoStr1-2を有するように、各フレームが有するスライス毎にヘッダ、メモリ管理情報ストリームCtlStr、画像符号化ストリームVideoStrを符号化することである。画像符号化装置で符号化後、画像符号化装置はデータストリームを出力する。なお、スライスは同期復帰単位であり、一つまたは複数のブロックからなる帯状の領域であり、複数のスライスからピクチャが構成される。また、ピクチャは１枚の画像に対応する基本的符号化単位であり、ブロックは符号化・復号化の基本単位である。
【０２６２】
また、上記のようにメモリ管理情報ストリームCtlStrを複数回伝送するときの内容は同一フレーム内において同一の情報とする。同一の情報とすることにより、このメモリ管理情報ストリームCtlStrのスライス単位での付加の省略ができる。例えば、スライスのヘッダに複数回の伝送が当該スライスでは省略されているかどうかを示す情報を付加し、上記コマンドを複数回伝送することが当該スライスでは省略されているときには「０」を、上記コマンドが当該スライスにおいて伝送されているとき（省略されていないとき）には「１」を付加する。具体的に図２９（ａ）に一例を示し、以下説明する。フレーム１におけるスライス１からスライス３におけるヘッダおよび画像符号化ストリームVideoStrはそれぞれ異なる。一方、スライス１およびスライス２においては同一のメモリ管理情報ストリームCtlStr1を有し、同一フレームにおける複数のスライスにおいて同一のメモリ管理情報ストリームCtlStr1が符号化されていることを示す情報「１」をスライス１およびスライス２それぞれが有する。また、スライス３はメモリ管理情報ストリームCtlStr1を省略していることを示す情報「０」を有する。これにより、複数回伝送することが当該スライスにおいて省略されているときには、先頭のスライス等、上記「１」が示されているスライスにおけるメモリ管理情報ストリームCtlStrを参照することにより、メモリ管理情報ストリームCtlStrの付加を省略可能にでき、ビット数を減らすことが可能となる。
【０２６３】
すなわち、上述したメモリ管理情報ストリームCtlStr1を省略していることを示す情報「０」は、除去する対象のピクチャを指定する情報を有さないスライス（スライス３）で、除去する対象のピクチャを指定する情報を参照するとき、除去する対象のピクチャを指定する情報を参照することを示す情報である。
【０２６４】
このようなメモリ管理情報ストリームCtlStrの付加を省略可能にする方法は、伝送過程でメモリ管理情報ストリームCtlStrが複数回欠落する可能性は少ないため有効である。
【０２６５】
さらに、メモリ管理情報ストリームCtlStrの有無が、メモリ管理情報ストリームCtlStrが省略されていることを示す情報なしに判別できる場合、図２９（ｂ）のようにこれを省略してもよい。例えばメモリ管理情報ストリームCtlStrの先頭が画像符号化ストリームVideoStrの先頭と区別できる場合では、図２９（ｂ）のようにメモリ管理情報ストリームCtlStr1が符号化されているかどうかを示す情報があるかどうかの判別を、各スライスにおける先頭から所定の位置に所定の情報があるかないかで確認することができる。
【０２６６】
このようなメモリ管理情報ストリームCtlStrの付加を省略可能にする方法は、メモリ管理情報ストリームCtlStrを符号化する回数を削減し、ビット数を減らすのに有効である。
【０２６７】
以上、符号化について説明したが同様に１フレームの復号化をスライス単位ですることができる。上記実施の形態２において不要なメモリ領域を開放するコマンドを複数回伝送するとき、図３に示す画像復号化装置２００においては、上記コマンドに相当する図２８に示される管理情報ストリームCtlStrと画像符号化ストリームVideoStrとを有するストリーム構造を分離し、それぞれを画像（ピクチャ）単位で入力するが、それぞれをスライス単位で入力してもよい。
【０２６８】
なお、他の実施の形態における符号化・復号化においても同様に１フレームをスライス単位で符号化・復号化してもよい。
【０２６９】
また、上記実施の形態１から実施の形態１０までに示した符号化方法・復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。
【０２７０】
（実施の形態１１）
次に、本発明の実施の形態１１について説明する。
【０２７１】
本実施の形態では、さらに、実施の形態１から実施の形態１０で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０２７２】
図３０は、上記実施の形態１の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【０２７３】
図３０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図３０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤ１はケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ１上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。
【０２７４】
また、図３０（ｃ）は、フレキシブルディスクＦＤ１に上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤ１に記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ１内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤ１から読み出し、コンピュータシステムＣｓに転送する。
【０２７５】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０２７６】
また、上記実施の形態に示した画像符号化方法・画像復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。
【０２７７】
ここで、上記実施の形態１から実施の形態１０で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
【０２７８】
図３１は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
【０２７９】
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０２８０】
しかし、コンテンツ供給システムex１００は図３１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
【０２８１】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０２８２】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【０２８３】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０２８４】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。
【０２８５】
その一例として携帯電話について説明する。
【０２８６】
図３２は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【０２８７】
さらに、携帯電話ex１１５について図３３を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【０２８８】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ex１１５を動作可能な状態に起動する。
【０２８９】
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってデジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。
【０２９０】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【０２９１】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【０２９２】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してデジタルの音声データとして多重分離部ex３０８に送出する。
【０２９３】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【０２９４】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【０２９５】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【０２９６】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０２９７】
なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図３４に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で放送衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【０２９８】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０２９９】
なお、カーナビゲーションex４１３の構成は例えば図３３に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
【０３００】
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０３０１】
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０３０２】
本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０３０３】
本発明は、画像符号化装置、画像復号化装置、放送システムなどに適用でき、特にデジタルカメラ、カーナビゲーションシステム、携帯電話機等に適用できる。
【符号の説明】
【０３０４】
１００    画像符号化装置
１０１    メモリ情報制御部
１０２    短時間保存メモリ管理部
１０３    長時間保存メモリ管理部
１０４    非保存メモリ管理情報部
１０５    管理情報符号化部
１０６    参照画像選択部
１０７    保存領域指定部
１０８    参照領域指定部
１０９    画像メモリ
１１０    画像符号化部
１１１    画像復号化部
１１２    可変長符号化部
１１３    カウンタ
１１４    カウンタ
２００    画像復号化装置
２０１    メモリ情報制御部
２０２    短時間保存メモリ管理部
２０３    長時間保存メモリ管理部
２０５    管理情報復号化部
２０７    保存領域指定部
２０８    参照領域指定部
２０９    画像メモリ
２１０    画像復号化部
２１２    可変長復号化部
Ｃｓ      コンピュータ・システム
ＦＤ      フレキシブルディスク
ＦＤＤ      フレキシブルディスクドライブ
【図１】
0004464460.tif 000002
【図２】
0004464460.tif 000003
【図３】
0004464460.tif 000004
【図４】
0004464460.tif 000005
【図５】
0004464460.tif 000006
【図６】
0004464460.tif 000007
【図７】
0004464460.tif 000008
【図８】
0004464460.tif 000009
【図９】
0004464460.tif 000010
【図１０】
0004464460.tif 000011
【図１１】
0004464460.tif 000012
【図１２】
0004464460.tif 000013
【図１３】
0004464460.tif 000014
【図１４】
0004464460.tif 000015
【図１５】
0004464460.tif 000016
【図１６】
0004464460.tif 000017
【図１７】
0004464460.tif 000018
【図１８】
0004464460.tif 000019
【図１９】
0004464460.tif 000020
【図２０】
0004464460.tif 000021
【図２１】
0004464460.tif 000022
【図２２】
0004464460.tif 000023
【図２３】
0004464460.tif 000024
【図２４】
0004464460.tif 000025
【図２５】
0004464460.tif 000026
【図２６】
0004464460.tif 000027
【図２７】
0004464460.tif 000028
【図２８】
0004464460.tif 000029
【図２９】
0004464460.tif 000030
【図３０】
0004464460.tif 000031
【図３１】
0004464460.tif 000032
【図３２】
0004464460.tif 000033
【図３３】
0004464460.tif 000034
【図３４】
0004464460.tif 000035
【図３５】
0004464460.tif 000036
【図３６】
0004464460.tif 000037
【図３７】
0004464460.tif 000038
【図３８】
0004464460.tif 000039