(57)【要約】【課題】パラメータ・セット（ＳＰＳ、ＰＰＳ）の配置に制約をつけ、ストリームに対するランダムアクセスによるデコード処理を容易に実現することができるようにする。【解決手段】ユニット識別番号及び画像圧縮データを含むとともに、参照先ユニット番号を含む第１のユニット（Ｐ）と、ユニット識別番号及び前記画像圧縮データを復号するために利用されるパラメータ・セットとを含む第２、第Ｂのユニット（ＳＰＳ，ＰＰＳ）とを、複数配置したストリームにおいて、前記ストリームを区分した第４のユニット（ＧＯＶＵ）を定義し、第４のユニット（ＧＯＶＵ２）内の第１のユニット（Ｐ）に含まれる参照先ユニット番号は、前記第４のユニット内に存在する第２のユニットの識別番号のみに設定したストリーム構造としている。【選択図】図７
2006203661.tif 000002
【特許請求の範囲】
【請求項１】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに前記画像圧縮データを復号するために参照されるパラメータ・セットを含む第２のユニットとを、それぞれ複数個時系列方向に配置したストリームに対して、
前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含むようにした第３のユニットを定義し、
第１のユニットに含まれるパラメータ・セット用参照先ユニット情報は、その第１のユニットを含む前記第３のユニット内に存在する第２のユニットの識別情報のみに設定した符号化ストリームの生成方法。
【請求項２】
請求項１の方法において、
前記第２のユニットは、シーケンス・パラメータ・セットのユニットと、ピクチャ・パラメータ・セットのユニットであり、
シーケンス・パラメータ・セットのユニットは、所属する第３のユニットのシーケンス全体に係わる情報であり、少なくともプロファイル、レベル、シーケンス全体の符号化モードに係わる情報をさらに含み、
ピクチャ・パラメータ・セットのユニットは、関連したピクチャ全体に係わる情報であり、少なくともエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値の符号化モードに係わる情報をさらに含むようにした符号化ストリームの生成方法。
【請求項３】
請求項２の方法において、
前記シーケンス・パラメータ・セットのユニットは、前記第３のユニット内に１個存在するようにした符号化ストリームの生成方法。
【請求項４】
請求項２の方法において、
前記第３のユニット内の復号順で最初となる第１のユニットには、前記ピクチャ・パラメータ・セットのユニット及び前記シーケンス・パラメータ・セットのユニットが関連付けられるようにした符号化ストリームの生成方法。
【請求項５】
請求項２の方法において、
第３のユニット内の複数の前記ピクチャ・パラメータ・セットのユニットは、前記第３のユニット内の同一のシーケンス・パラメータ・セットのユニットを参照するように関連付けられるようにした符号化ストリームの生成方法。
【請求項６】
請求項２の方法において、
第３のユニット内で前記第１のユニットは、常に復号順で直前のピクチャ・パラメータ・セットのユニットを参照するように関連付けられるようにした符号化ストリームの生成方法。
【請求項７】
請求項２の方法において、
復号順で、第１のユニットが参照するパラメータ・セット内容と、次の第１のユニットが参照するパラメータ・セット内容が異なる場合には、前記次の第１のユニットに新たなピクチャ・パラメータ・セットのユニットを関連つけて配置する符号化ストリームの生成方法。
【請求項８】
請求項２の方法において、
前記第３のユニットは、１つ又は複数のアクセスユニットを含み、１つのアクセスユニット内の全てのスライス（ピクチャ）ユニットのパラメータ参照先ユニット情報は、同じアクセスユニット内のピクチャ・パラメータ・セットの同じユニット識別情報を指定するようにした符号化ストリームの生成方法。
【請求項９】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに前記画像圧縮データを復号するために参照されるパラメータ・セットを含む第２のユニットとを、それぞれ複数個時系列方向に配置したストリームを得る符号化装置において、
前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含むようにした第３のユニットを定義する第３のユニット設定部と
第１のユニットに含まれる、パラメータ・セット用参照先ユニット情報は、その第１のユニットを含む第３のユニット内に存在する第２のユニットの識別情報のみを設定するスライスユニット管理部と、
を有した動画像符号化装置。
【請求項１０】
請求項９の装置において、
前記第２ユニットは、シーケンス・パラメータ・セットのユニットと、ピクチャ・パラメータ・セットのユニットであり、
シーケンス・パラメータ・セットは、所属する第３のユニットのシーケンス全体に係わる情報であり、少なくともプロファイル、レベル、シーケンス全体の符号化モードに係わる情報をさらに含め、
ピクチャ・パラメータ・セットは、関連したピクチャ全体に係わる情報であり、少なくともエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値の符号化モードに係わる情報をさらに含めるようにした管理手段を有する動画像符号化装置。
【請求項１１】
請求項１０の装置において、
前記シーケンス・パラメータ・セットのユニットは、前記第３のユニット内に１個存在するように管理する手段を有する動画符号化装置。
【請求項１２】
請求項１０の装置において、
前記第３のユニット内の復号順で最初となる第１のユニットには、前記ピクチャ・パラメータ・セットのユニット及び前記シーケンス・パラメータ・セットのユニットが関連付けられるように管理する手段を有する動画像符号化装置。
【請求項１３】
請求項１０の装置において、
前記第３のユニット内の複数の前記ピクチャ・パラメータ・セットのユニットは、前記第３のユニット内の同一のシーケンス・パラメータ・セットのユニットを参照するように関連付けられるように管理する手段を有する動画像符号化装置。
【請求項１４】
請求項１０の装置において、
前記第３のユニット内で前記第１のユニットは、常に復号順で直前のピクチャ・パラメータ・セットのユニットを参照するように関連付けられるようにした動画像符号化装置。
【請求項１５】
請求項１０の装置において、
復号順で、第１のユニットが参照するパラメータ・セット内容と、次の第１のユニットが参照するパラメータ・セット内容が異なる場合には、前記次の第１のユニットの直前に新たなピクチャ・パラメータ・セットのユニットを配置する手段を有する動画像符号化装置。
【請求項１６】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに前記画像圧縮データを復号するために参照されるパラメータ・セットを含む第２のユニットとを、それぞれ複数個時系列方向に配列し、
さらに前記配列を所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含むようにした第３のユニットが定義され、第１のユニットに含まれる、パラメータ・セット用参照先ユニット情報は、その第１のユニットを含む第３のユニット内に存在する第２のユニットの識別情報のみに設定しているストリームを復号する装置であって、
前記ストリームから第２のユニットを検出することにより、前記第３のユニットの区分処理を行うとともに、検出した第３のユニットに含まれるパラメータ・セットを画像圧縮データのデコード用に設定する手段と、
前記ストリームから第１のユニットを検出し、検出した第１のユニットに含まれる前記画像圧縮データをデコード部に供給する手段と、
を具備した動画像復号装置。
【請求項１７】
請求項１６の装置において、
前記第２のユニットは、シーケンス・パラメータ・セットのユニットと、ピクチャ・パラメータ・セットのユニットであり、
シーケンス・パラメータ・セットは、所属する第３のユニットのシーケンス全体に係わる情報であり、少なくともプロファイル、レベル、シーケンス全体の符号化モードに係わる情報をさらに含み、
ピクチャ・パラメータ・セットは、関連したピクチャ全体に係わる情報であり、少なくともエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値の符号化モードに係わる情報をさらに含むようにした動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像符号化装置・復号化装置及び符号化ストリーム生成方法に関する。特に、画像圧縮データを含むストリームに対して、ある情報単位を設定し、画像圧縮データを復号処理するときの取り扱いを便利にする技術であり、ストリームの構造にも及ぶものである。
【背景技術】
【０００２】
動画像の符号化・復号化技術は、近年、ますます進化しつつある。これは、動画像の高品質化が進み、情報量が多くなったこと、また、有線あるは無線によるネットワークが発展し、これらのネットワークを通じて画像情報を伝送することの要望が高くなったことに起因する。
【０００３】
動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また伝送効率がよいことなどが要望される。最近発表され、国際標準として認められた、Ｈ．２６４／ＡＶＣ（Advanced video coding）と称される動画像の符号化・復号化技術があり、この技術は、例えば、文献１に開示されている。
【０００４】
このＨ．２６４／ＡＶＣにおいては、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ  Ｐｒａｍｅｔｅｒ  Ｓｅｔ）と、ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）とが定義されている。
【０００５】
ＳＰＳは、プロファイル、レベル、シーケンス全体の符号化モードなど、シーケンス全体に係わる情報が含まれたヘッダ情報である。
【０００６】
プロファイルとしては、ベースラインプロファイル、メインプロファイル、ハイプロファイルなどがあり、符号化ツールが異なる。レベルは、伝送速度、画像サイズなどを規定し、レベル１から５．１まで規定されている。シーケンス全体は、レベルとプロファイルの組み合わせによって、デコーダの処理能力が決まる。シーケンスは、ここでは動画像であるが、さらにある一定のフレーム数（例えば２０から３０フレーム）数で区分された単位を設定してもよい。
【０００７】
ＰＰＳは、ＳＰＳよりも細かい単位に係わる情報であり、関連したピクチャ全体の符号化モード（例えばエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値など）を示すヘッダ情報である。
【０００８】
デコーダにより、動画像の圧縮データが復号されるときは、上記のＳＰＳ、ＰＰＳが、デコーダ内のコントローラにより参照され、パラメータに応じてデコーダのデコード動作がコントロールされる。したがって、上記のパラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、パラメータ・セットを参照する圧縮データよりも前（先）にデコーダ（復号器）に届くことが必要である。この条件は、Ｈ．２６４／ＡＶＣにおいて規定されている。
【非特許文献１】Ｈ．２６４  ＴＥＸＴＢＯＯＫ  Ｈ．２６４／ＡＶＣ教科書、  大久保  榮［監修］、角野眞也、菊地義浩、鈴木輝彦［共編］、  ２００４年８月１１日  発行
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のＨ．２６４／ＡＶＣにおいては、上記のようにパラメータ・セット（ＳＰＳ、ＰＰＳ）のストリーム内の配置は、自由度が高い。つまり、パラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、パラメータ・セットを参照するデータよりも前にデコーダ（復号器）に到達すればよい。このために、パラメータ・セットと、これを参照するデータとの間に、関係のないパラメータ・セットや、圧縮データなどが配置されることもある。
【００１０】
しかしながら、上記のルールであると、ストリームの途中から、圧縮データのデコード処理を開始する場合、あるいは、ストリームを一旦記録媒体に記録した後、ランダムアクセスにより、圧縮データのデコード処理を行うような場合に問題が生じる。つまり、パラメータ・セットを参照すべきデータが、所望のパラメータ・セットを参照できなくなる場合が生じるからである。
【００１１】
そこでこの発明の一側面では、パラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、その配置に制約をつけることで、ストリームの途中からのデコード処理、及びストリームに対するランダムアクセスによるデコード処理を容易に実現することができる動画像符号化装置・復号化装置及び符号化ストリーム生成方法を提供することを目的とする。
【００１２】
またこの発明の他の側面では、ストリーム内をさらにある情報単位で区切り、この情報単位内に配置するパラメータ・セット（ＳＰＳ、ＰＰＳ）の配置方法を工夫することで、ストリームの途中からのデコード処理、及びストリームに対するランダムアクセスによるデコード処理を容易に実現することができる動画像符号化装置・復号化装置及び符号化ストリーム生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明に係る一実施例では、ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報（或いは番号）を含む第１のユニットと、ユニット識別情報（或いは番号）を含むとともに前記画像圧縮データを復号するために参照されるパラメータ・セットとを含む第２のユニット（ＰＰＳ，ＳＰＳ）とを、それぞれ複数個時系列方向に配置したストリームに対して、
前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２及び第３のユニットを含むようにした第３のユニット（ＧＯＶＵ）を定義し、第３のユニット内の第１のユニットに含まれる参照先ユニット情報（或いは番号）は、前記第３のユニット内に存在する第２のユニット（ＰＰＳ）の識別情報（或いは番号）のみに設定した符号化ストリームの生成方法を基本としてしいる。
【発明の効果】
【００１４】
上記の手段によると、前記ＧＯＶＵ内のパラメータ・セットを参照すれば、ＧＯＶＵ内の画像圧縮データを復号できるために、ＧＯＶＵ毎の単独アクセス処理が可能である。よって、ランダムアクセスに有効なデータ構造となる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照してこの発明の一実施の形態について説明する。図１は、Ｈ．２６４／ＡＶＣの規格に基づいて画像データを符号化する符号化装置を簡単に示している。また図２は、図１の符号化装置から出力されたストリームに含まれる画像圧縮データを復号する復号化装置を簡単に示している。
【００１６】
図１において、入力端子１０１に供給された画像データは、減算器１０２に供給される。減算器１０２は、フレーム間処理が行われているときは、入力画像データからスイッチ１０３からの画像データを引き算する。減算器１０２の出力データは、ＤＣＴ及び量子化部１０４において、離散コサイン変換処理及び量子化処理が施される。ＤＣＴ及び量子化部１０４の出力は、エントロピー符号化部（可変長符号化部と称してもよい）１０５で可変長符号化され、ストリームとして出力端子１０６に導出される。
【００１７】
またＤＣＴ及び量子化部１０４の出力は、逆量子化及び逆ＤＣＴ部１０７に入力されて、逆変換される。逆変換されたデータは、加算器１０８において、スイッチ１０３からの画像データと加算され、フレーム画像として再現されて、出力される。この加算器１０８の出力は、ＤＣＴ処理および量子化処理のためにブロック化された画像データの、ブロック間の歪を改善するために、デブロッキングフィルタ１０９に入力される。
【００１８】
デブロッキングフィルタ１０９から出力された画像データは、画像メモリに入力される。動き補償部１１０は、動きベクトル検出部１１２からの画像動きベクトルに基づいて画像メモリから符号化画像を読み出し、予測画像のデータを生成する。つまり、動き情報から、画像メモリに蓄積されている既に符号化された画像が入力端子１０１の画像に近づくように、予測画像を生成する。動きベクトル検出部１１２は、入力端子１０１の入力画像データを用いて、動画像の動きを示す動きベクトルを検出している。動きベクトルは、データ側でも参照されるので、付帯情報としてエントロピー符号化部１０５に送られ、所定の伝送ユニットのヘッダに挿入される。
【００１９】
動き補償部１１０の出力画像データは、重み付き予測部１１１において、画像の明るさを予測して、重み付けを行い出力する。重み付き予測部１１１から出力された、画像データは、スイッチ１０３を介して、減算器１０２に与えられる。
【００２０】
重み付き予測部１１１からの画像データは、入力画像データにできるだけ近づくように予測されているために、減算器１０２からの出力は、効率的にデータ量が少なくなる。つまり、このことは圧縮効率が高いということである。
【００２１】
ここで、定期的あるいはシーンチェンジなどがあった場合、画面内圧縮処理が実行される。このときは、画面内予測部１１３において符号化するブロックの周囲の既に符号化された画素から画面内の予測を行い、減算器１０２において入力端子１０１の入力画像データから画面内予測信号を減算し、ＤＣＴ及び量子化部１０４に導かれる。このように、ＤＣＴ及び量子化処理部１０４、画面内予測部１１３、スイッチ１０３、減算器１０２で形成されるループにおいて、１フレーム内での画像圧縮処理が実行される。フレーム内で圧縮された画像データ（Ｉ（Ｉｎｔｒａ）スライスとも称される）は、逆量子化及びＤＣＴ部１０７において、逆変換されて、復号され、この復号データがデブロッキングフィルタ１０９にてブロック間の歪を低減され、画像メモリに格納される。このときの画像データは、フレーム内のみのデータを用いた画像圧縮データであり、複数フレーム分（ピクチャ単位）の動画像を再生するときの基準のデータとなる。
【００２２】
ここで、符号化制御部１２１は、コントローラを含む。コントローラとしては、ＧＯＶＵ設定部１２１ａ，ＳＰＳ管理部１２１ｂ，ＰＰＳ管理部１２１ｃ、ピクチャユニット管理部１２１ｄなどを含む。この符号化制御装置１２１は、入力画像データを管理するとともに、画像圧縮データを復号するために必要な管理情報（例えばパラメータ・セットＳＰＳ，及びＰＰＳ）を生成している。また、ストリームに対する情報単位（ＧＯＶＵ）を設定している。またピクチャ（スライス）ユニットに対する管理情報（参照先ユニット情報（ユニット番号でもよい））などを生成し、管理している。これらＧＯＶＵ及び管理情報（例えばパラメータ・セット）については、詳細は後述する。
【００２３】
図２の復号化装置について説明する。入力端子２０１には、先のストリームが入力する。このストリームは、ストリーム解析処理部２０２に入力される。ストリーム解析処理部２０２では、またデータユニットの種類に応じた分離処理、先のＧＯＶＵ区分処理、管理情報（パラメータ・セットＳＰＳ，及びＰＰＳ））の解析処理を行う。
【００２４】
分離された画像圧縮データは、デコーダ２０３のエントロピー復号部（可変長復号と称してもよい）２０４に入力される。ここでは、図１のエントロピー符号化部１０５に対応した復号処理が実行される。
【００２５】
画像圧縮データは、逆量子化及び逆ＤＣＴ部２０５に入力されて復号される。逆量子化及び逆ＤＣＴ部２０５の出力データは、加算器２０６においてスイッチ２０７からの参照画像データと加算され、画像として再現される。加算器２０６から出力された画像データは、デブロッキングフィルタ２０８にてブロック歪が低減される。デブロッキングフィルタ２０８の出力画像データは、復号出力として出力端子２０９に導出されるとともに、画像メモリに格納される。
【００２６】
動き補償部２１０では、送られて来た動きベクトルの情報を用いて、画像メモリに格納されている復号画像データを動き補正する。動き補償部２１０から出力された補正画像データは、重み付き予測部２１１にて明るさの重み付けがなされた後、スイッチ２０７を介して、加算器２０６に入力される。フレーム内で圧縮された画像データ（Ｉ（Ｉｎｔｒａ）スライスとも称される、又はＩＤＲ（Instantaneous Decoding Refresh ）ピクチャとも称される）が到来したときは、逆量子化及び逆ＤＣＴ部２０５、画面内予測部２１２、スイッチ２０７、加算器２０６、デブロッキングフィルタ２０８、動き補償部２１０の経路が構築される。そして、フレーム内画像圧縮データが復号され、１フレーム分の画像データが画像メモリに構築される。このフレーム内符号化画像データが基準画像データとして、利用される。
【００２７】
図３には、Ｈ．２６４／ＡＶＣ規格に準拠し、かつ本発明を適用した上記のストリームの階層構造を示している。ストリームは、大きな単位としてＥＶＯＢＵ (Extended- Video Object Unit)の単位で区切られており、１つのＥＶＯＢＵには、１つ又は複数のＧＯＶＵ（Group Of Video Unit）という単位が存在する。なお、ＥＶＯＢＵは、必ずしも必要とする単位ではなく、ストリームが直接ＧＯＶＵで区切られていてもよい。
【００２８】
１つのＧＯＶＵは、１つ又は複数のアクセスユニットを含む。１つのアクセスユニットは、複数のＮＡＬ（Network Abstraction Layer:ネットワーク抽象レイヤ）ユニットを含む。ＮＡＬは、ビデオコーディングレイヤ（ＶＣＬ）と、符号化した情報を伝送・蓄積する下位システム（レイヤ）との間の層（レイヤ）であり、ＶＣＬと下位システムとを関連つけるための層である。
【００２９】
ＮＡＬユニットは、ＮＡＬヘッダと、ＶＣＬで得られた情報を格納したＲＢＳＰ（Raw Byte Sequence Payload: ロー・バイト・シーケンス・ペイロード、動画像圧縮された生データ）の部分から構成されている。したがって、ＮＡＬユニットとしては、複数の種類が存在する。ＮＡＬユニットの種類は、ＮＡＬヘッダ内のnal_unit_typeにより判別することが可能である。またＮＡＬヘッダ内には、nal_ref_idcが記述されており、ＮＡＬユニットの識別情報として利用される。つまり本ＮＡＬユニットが、参照されるべきＮＡＬユニットであるか否かを示している。
【００３０】
ＲＢＳＰ部分のデータ内容としては、ＳＰＳ，ＰＰＳ、符号化情報圧縮データなどが存在する。これらの情報の違いは、nal_unit_typeにより分類されている。
【００３１】
ＲＢＳＰ部分にもヘッダが存在する。このヘッダには、識別情報（例えば識別番号）、マクロブロックタイプ、参照先ピクチャ情報（例えば番号）、参照先ＳＰＳ情報（例えば番号）、参照先ＰＰＳ情報（例えば番号）、動き補償ブロックの動きベクトルなどの情報が記述される。またＮＡＬユニットがパラメータ・セット（ＳＰＳ，ＰＰＳ）のためのユニットであった場合、ＳＰＳ番号、又はＰＰＳ番号、参照先ＳＰＳ番号などが記述されている。圧縮データ部には、パラメータの情報が記述されている。
【００３２】
図４には、ＮＡＬユニットの種類を示す識別子と、その意味する内容をテーブルにして示している。
【００３３】
アクセスユニットは、ピクチャ単位の複数のＮＡＬユニット（スライス）を集めたものである。ＧＯＶＵの中に複数のアクセスユニットが存在してもよし、１個のアクセスユニットが存在してもよい。このアクセスユニット内には、符号化情報圧縮データの入ったＶＣＬ  ＮＡＬが１ないしは複数存在する。これ以外に、ＳＰＳ、ＰＰＳ、その他の付帯情報が存在することもある。アクセスユニットに必ず１個のＰＰＳをつけ、このアクセスユニットを構成するスライスは、すべて同一のＰＰＳを参照するようにしても良い。
【００３４】
図５には、ＮＡＬユニットの各種のタイプを示している。ＳＰＳ用ＮＡＬユニットは、データ部にプロファイルなどの情報を有し、またデータ部のヘッダ内には、自己の識別番号であるＳＰＳ番号が含まれる。ＰＰＳ用ＮＡＬユニットは、データ部に符号化モードなどの情報を有し、またデータ部のヘッダ内には、自己の識別番号であるＰＰＳ番号、また参照すべきＳＰＳの番号（参照先ＳＰＳ番号）が記述されている。ＶＣＬ  ＮＡＬユニットは、データ部に画像圧縮データを有し、またデータ部のヘッダ内には、自己の識別番号、参照すべきピクチャを示す参照先ピクチャ番号（又は参照すべきＰＰＳを特定するための参照先ＰＰＳ番号）、動き補償ブロックの動きベクトル情報、スライス番号などを含む。
【００３５】
上記のようにＶＣＬ  ＮＡＬユニットには、参照すべきＰＰＳを特定するために参照先ＰＰＳ番号が記述されている。またＰＰＳ用ＮＡＬユニットには、参照すべきＳＰＳを特定するために参照先ＳＰＳ番号が記述されている。この参照先ユニット情報（以下参照先ユニット番号）と、ＧＯＶＵとの関係には特殊な規制が設定されている。つまり、上記の識別番号と参照先を示す参照先番号の関連付けが、特有の関連付けとなっている。
【００３６】
即ち、図６に示すように、
（１）すくなとも１つのＳＰＳのユニットとＰＰＳのユニットとが１つの注目ＧＯＶＵ内に存在する、
（２）復号順序で最初のピクチャ（画像圧縮データのユニット）には、必ずＳＰＳのユニットが関連付けられている、
（３）復号順序で最初のピクチャ（画像圧縮データのユニット）には、必ずＰＰＳのユニットが関連付けられている、
（４）この注目ＧＯＶＵ内の全てのユニットは、注目ＧＯＶＵと異なるＧＯＶＵ内に存在するＳＰＳのユニットを、参照してはいけない、（注目ＧＯＶＵ内ではＳＰＳに関しては、必ず同じＧＯＶＵ内のＳＰＳが参照される）
（５）この注目ＧＯＶＵ内の全てのユニットは、注目ＧＯＶＵと異なるＧＯＶＵ内に存在するＰＰＳのユニットを、参照してはいけない、
（６）この注目ＧＯＶＵ内の全てのＰＰＳのユニットは、同一のＳＰＳを参照する。
【００３７】
（６’）そのＳＰＳは、同じ注目ＧＯＶＵ内に含まれる）
（６’’）注目ＧＯＶＵ内の全てのＰＰＳのユニットは、同一の参照先ＳＰＳ番号を含む、
（６’’’）注目ＧＯＶＵ内で複数のＳＰＳを用いない、
（７）注目ＧＯＶＵ内で、画像圧縮データのユニットは、復号順序で、常に直前のＰＰＳのユニットを参照するように関連つけられる、
（８）復号順序で直前のアクセスユニットが関連した第１のＰＰＳと異なる第２のＰＰＳが用いられる場合は、該当アクセスユニットに、対応する第２のＰＰＳのユニットが配置される、
（９）１つのアクセスユニット（ピクチャ）内の全てのスライス（ＮＡＬユニット）は、同じＰＰＳを参照する、
（９’）そのＰＰＳは、そのアクセスユニットにつけられたものであること。
【００３８】
図７には、１つのＧＯＶＵ内での参照先ユニット番号の割り当てルールを示している。図７には、ＧＯＶＵ１と注目のＧＯＶＵ２を示している。Ｐは１つのアクセスユニット（ピクチャ）に含まれる画像圧縮データのユニットを示し、ＳＰＳは、シーケンス・パラメータ・セットのユニットを示し、ＰＰＳは、ピクチャ・パラメータ・セットのユニットを示している。また（１）から（８）は、図６及び上述したルールの内容に相当する。また点線矢印は、参照方向を示す。ＯＫが付加されている点線矢印は、参照が許可されており、ＮＧが付加されている点線矢印は、参照が禁止されていることを意味する。
【００３９】
図７（Ａ）の例について、配置されたＳＰＳ、ＰＰＳと上記規則の関係を説明する。ＧＯＶＵ２の先頭のアクセスユニットには、規則（１）、（２）にしたがってＳＰＳ７０１が、規則（１）（３）にしたがってＰＰＳ７０２が付けられている。規則（４）により、ＧＯＶＵ２にあるＰＰＳ７０２から、異なるＧＯＶＵ（ＧＯＶＵ１）にあるＳＰＳ７０３を参照することは禁止されている。また、規則（５）により、ＧＯＶＵ２にあるアクセスユニット７０４から、異なるＧＯＶＵ（ＧＯＶＵ１）にあるＰＰＳ７０５を参照することは禁止されている。規則６に従い、ＧＯＶＵ２内にある全てのＰＰＳは同一のＳＰＳ７０１を参照している。規則７に従い、ＰＰＳ７０６から、次のＰＰＳ７０７までの間にあるアクセスユニット７０８、７０９、７１０は、いずれもＰＰＳ７０６を参照している。規則８に従い、２つのアクセスユニット７１１と７１２が異なるＰＰＳを参照している場合は、アクセスユニット７１２に必ずＰＰＳをつける。
【００４０】
図７（Ｂ）は、上記の規則のうち規則（２）、（６）、（６‘）、（９）、（９’）を適用した例である。規則（２）に従い、ＧＯＶＵ２の先頭のアクセスユニットにはＳＰＳが付けられている。規則（９）、（９‘）に従い、各アクセスユニットにはそれぞれＰＰＳがつけられ、そのアクセスユニット内の全てのＶＣＬ  ＮＡＬユニット（スライス）はそのＰＰＳを参照している。規則（６）（６’）に従い、ＧＯＶＵ２内の全てのＰＰＳは、ＧＯＶＵ２内に含まれる同一のＳＰＳを参照している。
【００４１】
上記したルールに基づいた信号処理を実現するために、エンコーダ側では、符号化制御部１２１において、ＧＯＶＵ設定、ＳＰＳ処理、ＰＰＳ処理が実行される。
【００４２】
図８には、上記の信号処理を実現するためのフローチャートを示している。図３のストリーム構造に従い、ＥＶＯＢＵ，ＧＯＶＵ、アクセスユニット、スライスの順に細かな単位で符号化処理が行われる。ＧＯＶＵの先頭では、シーケンス・パラメータ・セット（ＳＰＳ）の生成が行われる（ステップＳＡ２、ＳＡ５）。アクセスユニットの先頭では、ピクチャ・パラメータ・セット（ＰＰＳ）の生成が行われる（ステップＳＡ５）。次に、具体的にスライスの符号化が実行され（ステップＳＡ６，ＳＡ７）、アクセスユニット分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ８）。またここでは、復号時のパラメータ・セット及び参照ピクチャなどを決めるために、参照先ユニット番号の管理も行われている。ステップＳＡ８で、アクセスユニット分のデータの符号化が終了していない場合には、ステップＳＡ４に戻り、終了している場合には、次のＧＯＶＵ分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ９）。終了していない場合には、ステップＳＡ２に戻り、終了している場合には、ＥＶＯＢＵ分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ１０）。終了していない場合には、ステップＳＡ２に戻り、終了している場合には、終了指令があったかどうかの判断が行われる（ステップＳＡ１１）。指令がない場合には、ステップＳＡ１に戻り、指令があった場合にエンコード動作を終了する。
【００４３】
生成された画像圧縮データを含むユニット、ＳＰＳを含むユニット、ＰＰＳを含むユニットは、ストリームとして出力端子１０６に出力される。
【００４４】
上記した図８のフローチャートによりデータ処理が実行されるとき、先の（１）−（８）で記載したルールが適用されており、このルールを実現する手段がエンコーダに含まれている。このルールを実現する基本となるコントローラは、図１で示した符号化制御部１２１である。符号化制御部１２１には、主なブロックとしてＧＯＶＵ設定部１２１ａ，ＳＰＳ管理部１２１ｂ、ＰＰＳ管理部１２１ｃ、ピクチャ（スライス）ユニット管理部１２１ｄが設けられている。ここでは各ユニットに対する識別番号の割付も行われ、この識別番号を利用して上記ルールに基づいて、参照先ユニット番号の割り当ても行われる。
【００４５】
図９には、上記のストリームを受けてデコードを行うデコーダ（図２）のストリーム解析処理部２０１における動作をフローチャートで示している。ストリームが入力するとＮＡＬユニットのＮＡＬヘッダが処理される。ここには、図３で示したようにnal_unit_typeが記述されているので、画像圧縮データを含むＶＣＬ  ＮＡＬユニット、ＳＰＳ用ＮＡＬユニット、ＰＰＳ用ＮＡＬユニットの種類（図５）の識別を行うことができる。
【００４６】
ステップＳＢ１でＮＡＬユニットを識別し、ステップＳＢ２でＳＰＳ用ＮＡＬユニットかどうかを判別する。違う場合にはステップＳＢ３でＰＰＳ用ＮＡＬユニットかどうかを判別する。違う場合にはステップＳＢ４でＶＣＬ  ＮＡＬユニットかどうかを判別する。ステップＳＢ４に”スライスか？”と記載しているのはＨ．２６４／ＡＶＣの規格では、画像圧縮単位としてスライスという用語を用いるからである。
【００４７】
ステップＳＢ２でＳＰＳ用ＮＡＬユニットが検出された場合、先の規則（２）（６）から分かるように、注目ＧＯＶＵの先頭であることが判明する。したがって、ここでは、入力した現ストリームに対しては、注目ＧＯＶＵの先頭の区切りを設定し、現ストリームより以前のストリームに対しては、１つ前の先行ＧＯＶＵの後尾の区切りを設定する（ステップＳＢ５）。次に、ＳＰＳ用ＮＡＬユニットから、ＳＰＳの復元と解析を行い、このパラメータ・セットに適合したデコーダの所定の設定部へ通知し、格納する。
【００４８】
ステップＳＢ３でＰＰＳ用ＮＡＬユニットが検出された場合、ＳＰＳの復元と解析を行い、デコーダ内の所定の設定部に通知し、格納する。
【００４９】
これによりデコーダは、ＳＰＳ、ＰＰＳにより符号化モードが設定される。そして、次のステップＳＢ４でＶＣＬ  ＮＡＬユニットが検出されると、そのデータ部の画像圧縮データがデコーダ２０３にて復号処理される。
【００５０】
上記したように本実施の形態においては、複数の特徴的な発明が含まれている。その要点をまとめる。本発明は、上記したようなストリーム構造に特徴を有し、またこのようなストリーム構造を実現する符号化方法及び装置に特徴を有し、さらに上記のようなストリーム構造を復号する復号方法及び装置に特徴を有するものである。
【００５１】
ユニット識別情報（番号でもよい）及び画像圧縮データを含むとともに、参照先ユニット番号を含む第１のユニット（Ｐ）と、ユニット識別情報（番号）及び前記画像圧縮データを復号するために利用されるパラメータ・セットとを含む第２、第３のユニット（ＰＰＳ，ＳＰＳ）がそれぞれ複数個時系列方向に配置したストリームが着目されている。
【００５２】
実施例では、ユニット識別情報（番号）及び画像圧縮データを含むとともに、参照先ユニット番号を含む第１のユニット（Ｐ）と、ユニット識別情報（番号）を含むとともに前記画像圧縮データを復号するために参照されるパラメータ・セットとを含む第２、第３のユニット（ＰＰＳ，ＳＰＳ）とを、それぞれ複数個時系列方向に配置したストリームに着目している。
【００５３】
ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２及び第３のユニットを含むようにした第４のユニット（ＧＯＶＵ）を定義している。
【００５４】
そして、注目した第４のユニット（ＧＯＶＵ）内の第１のユニット（Ｐ）に含まれるパラメータ・セット用参照先ユニット番号は、前記注目した第４のユニット内に存在する第２のユニット（ＰＰＳ）の識別情報（番号）のみに限定し、他の非注目の第４のユニット内の識別情報（番号）の指定を禁止している。
【００５５】
また、前記第２のユニット（ＰＰＳ）に含まれる参照先ユニット情報（番号）は、前記注目した第４のユニット内に存在する第３のユニット（ＳＰＳ）の識別情報（番号）のみに限定し、他の非注目の第４のユニット内の識別情報（番号）の指定を禁止している。
【００５６】
また、次の要件を加えてもよい。即ち、第２、第３のユニットは、シーケンス・パラメータ・セット（ＰＰＳ）のユニットと、ピクチャ・パラメータ・セット（ＳＰＳ）のユニットである。ＳＰＳは、所属する注目の第４のユニットのシーケンス全体に係わる情報であり、少なくともプロファイル、レベル、シーケンス全体の符号化モードに係わる情報をさらに含む。ＰＰＳは、関連したピクチャ全体に係わる情報であり、少なくともエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値の符号化モードに係わる情報をさらに含む。
【００５７】
さらに次の要件が加えられてもよい、即ち、前記第３のユニットは、前記第４のユニット（ＧＯＶＵ）内に１個存在する。また次の要件が加えられてもよい、即ち、注目の第４のユニット内の復号順で最初となる第１のユニットには、前記ＰＰＳのユニット及び前記ＳＰＳのユニットが関連付けられる。
【００５８】
さらにまた次の要件が加えられてもよい、即ち、注目の第４のユニット内の複数の前記ＰＰＳのユニットは、前記注目の第４のユニット内の同一のＳＰＳのユニットを参照するように関連付けられる。
【００５９】
さらに次の要件が加えられてもよい、即ち、注目の第４のユニット内で前記第１のユニットは、常に復号順で直前のＰＰＳのユニットを参照するように関連付けられる。さらに次の要件が加えられてもよい、即ち、復号順で、直前の第１のユニットが参照するパラメータ・セット内容と、次の第１のユニットが参照するパラメータ・セット内容が異なる場合には、前記次の第１のユニットの直前に新たな第２のユニットを配置する。
【００６０】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００６１】
【図１】この発明に係わる動画像符号化装置（エンコーダ）の基本的な構成例を示す図である。
【図２】この発明に係わる復号化装置（デコーダ）の基本的な構成例を示す図である。
【図３】この発明に係わるストリーム構造の説明図である。
【図４】この発明に係わるＮＡＬユニットのタイプとその内容を示す説明図である。
【図５】この発明に係わるＮＡＬユニットの代表的な種類を示す説明図である。
【図６】この発明の要点となる注目ＧＯＶＵ内のルールを示す説明図である。
【図７】この発明の要点となる注目ＧＯＶＵ内のルールを、模式的に示す説明図である。
【図８】図１のエンコーダの動作において特に本発明の要部となる動作を示すフローチャートである。
【図９】図２のデコーダの動作において特に本発明の要部となる動作を示すフローチャートである。
【符号の説明】
【００６２】
１０２…減算器、１０３…スイッチ、１０４…ＤＣＴ及び量子化部、１０５…エントロピー符号化部、１０７…逆量子化及び逆ＤＣＴ部、１０８…加算器、１０９…デブロッキングフィルタ、１１０…動き補償部、１１１…重み付き予測部、１１２…動きベクトル検出部、１２１…符号化制御部、２０２…ストリーム解析処理部、２０３…デコーダ、２０４…エントロピー復号部、２０５…逆量子化及び逆ＤＣＴ部、２０６…加算器、２０７…スイッチ、２０８…デブロッキングフィルタ、２１０…動き補償部、２１１…重み付き予測部。
【図１】
2006203661.tif 000003
【図２】
2006203661.tif 000004
【図３】
2006203661.tif 000005
【図４】
2006203661.tif 000006
【図５】
2006203661.tif 000007
【図６】
2006203661.tif 000008
【図７】
2006203661.tif 000009
【図８】
2006203661.tif 000010
【図９】
2006203661.tif 000011