(57)【要約】【課題】パラメータ・セット（ＳＰＳ、ＰＰＳ）をストリーム内に配置するとき、ユニット識別番号の付与方法に制約をつけデコード処理を簡略化、高速化できるようにする。【解決手段】ピクチャユニット（Ｐ）とピクチャ・パラメータ・セットユニット（ＰＰＳ）と、システム・パラメータ・セットユニット（ＳＰＳ）が複数個時系列方向に配置したストリームにおいて、複数のユニット（ＰＰＳ）のパラメータ・セット内容が同じある場合には、各ユニット（ＰＰＳ）に対して、同じユニット識別番号を付け、直前のユニット（Ｐ１）が参照するユニット（ＰＰＳ）のパラメータ・セット内容と、次の現ユニット（Ｐ２）が参照するユニット（ＰＰＳ）のパラメータ・セット内容とが異なる場合には、現ユニット（Ｐ２）が参照するユニット（ＰＰＳ）には、直前とは異なるユニット識別番号を付す。【選択図】図７
2006203662.tif 000002
【特許請求の範囲】
【請求項１】
ユニット識別情報及び画像圧縮データを含むとともに参照先ユニット番号を含む第１のユニットと、ユニット識別情報を含むとともに前記第１のユニットにより参照され前記画像圧縮データを復号するためのパラメータ・セットを含む第２のユニットとをそれぞれ複数個時系列方向に配置したストリームにおいて、
前記第１のユニットが参照する複数の第２のユニットのパラメータ・セット内容が同じである場合には、前記複数の第２のユニットに対して、同じユニット識別情報を付けるようにした符号化ストリーム生成方法。
【請求項２】
請求項１記載の生成方法において、
さらに前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含むようにした第３のユニットを定義し、この第３のユニット内で、同一パラメータ・セットの内容を有する第２のユニットに対しては、同一のユニット識別情報を付するようにした符号化ストリーム生成方法。
【請求項３】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに、前記第１のユニットにより参照され前記画像圧縮データを復号するためのパラメータ・セットを含む第２のユニットとをそれぞれ複数個時系列方向に配置したストリームを得る符号化装置において、
前記第１のユニットが参照する複数の第２のユニットのパラメータ・セット内容が同じである場合には、前記複数の第２のユニットに対して、同じユニット識別情報を付ける識別情報付与部を有する動画像符号化装置。
【請求項４】
請求項３の装置において、
さらに前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含むようにした第３のユニットを定義する第３のユニット設定部を有し、
前記識別情報付与部は、第３のユニット内で、同一パラメータ・セットの内容を有する第２のユニットに対しては、同一のユニット識別情報を付するようにした動画像符号化装置。
【請求項５】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに、前記第１のユニットにより参照され前記画像圧縮データを復号するためのパラメータ・セットを含む第２のユニットとをそれぞれ複数個時系列方向に配置し、
前記第１のユニットが参照する複数の第２のユニットのパラメータ・セットが同じ内容である場合には、前記複数の第２のユニットに対して、同じユニット識別情報が付与されているストリームを復号する復号装置であって、
現在取り込んだ第２のユニットのユニット識別情報を認識するユニット識別情報認識部と、
取り込んだユニット識別情報とこれより先行して認識している先行ユニット識別情報とを比較する比較部と、
前記比較部の比較結果が同一である場合には、先行ユニット識別情報を認識したときに得られているパラメータ・セットを、第１のユニットの復号のために継続して用いるパラメータ・セット保持部と、
を有する動画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像符号化装置・復号化装置及び符号化ストリーム生成方法に関する。特に、画像圧縮データを復号するのに必要なパラメータ・セットを含むユニットの配置と管理方法を工夫し画像圧縮データを復号処理するときのデータ取り扱いを便利にする技術であり、ストリームの構造にも及ぶものである。
【背景技術】
【０００２】
動画像の符号化・復号化技術は、近年、ますます進化しつつある。これは、動画像の高品質化が進み、情報量が多くなったこと、また、有線あるは無線によるネットワークが発展し、これらのネットワークを通じて画像情報を伝送することの要望が高くなったことに起因する。
【０００３】
動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また伝送効率がよいことなどが要望される。最近発表され、国際標準として認められた、Ｈ．２６４／ＡＶＣ（Advanced video coding）と称される動画像の符号化・復号化技術があり、この技術は、例えば、文献１に開示されている。
【０００４】
このＨ．２６４／ＡＶＣにおいては、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ  Ｐｒａｍｅｔｅｒ  Ｓｅｔ）と、ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）とが定義されている。
【０００５】
ＳＰＳは、プロファイル、レベル、シーケンス全体の符号化モードなど、シーケンス全体に係わる情報が含まれたヘッダ情報である。ＳＰＳは、デコーダの能力に影響する。
【０００６】
プロファイルとしては、ベースラインプロファイル、メインプロファイル、ハイプロファイルなどがあり、符号化ツールが異なる。レベルは、伝送速度、画像サイズなどを規定し、レベル１から５．１まで規定されている。シーケンス全体は、レベルとプロファイルの組み合わせによって、デコーダの処理能力が決まる。シーケンスは、ここでは動画像であるが、さらにある一定のフレーム数（例えば２０から３０フレーム）数で区分された単位を設定してもよい。
【０００７】
ＰＰＳは、ＳＰＳよりも細かい単位に係わる情報であり、関連したピクチャ全体の符号化モード（例えばエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値など）を示すヘッダ情報である。
【０００８】
デコーダにより、動画像の圧縮データが復号されるときは、上記のＳＰＳ、ＰＰＳが、デコーダ内のコントローラにより参照され、パラメータに応じてデコーダのデコード動作がコントロールされる。したがって、上記のパラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、パラメータ・セットを参照する圧縮データよりも前（先）にデコーダ（復号器）に届くことが必要である。この条件は、Ｈ．２６４／ＡＶＣにおいて規定されている。
【非特許文献１】Ｈ．２６４  ＴＥＸＴＢＯＯＫ  Ｈ．２６４／ＡＶＣ教科書、  大久保  榮［監修］、角野眞也、菊地義浩、鈴木輝彦［共編］、  ２００４年８月１１日  発行
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のＨ．２６４／ＡＶＣにおいては、上記のようにストリーム内において、パラメータ・セット（ＳＰＳ、ＰＰＳ）配置は、自由度が高い。つまり、パラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、パラメータ・セットを参照するデータよりも前にデコーダ（復号器）に到達するように設定されておればよい。このために、パラメータ・セットと、これを参照するデータとの間に、関係のないパラメータ・セットや、圧縮データなどが配置されることもある。
【００１０】
この結果、上記のルールであると、デコーダにおいて、到来する全てのＳＰＳ、ＰＰＳ全体をデコードしている。つまり、ＰＰＳを全て復号し、ピクチャのユニットが参照するＰＰＳに含まれるパラメータ・セットを使用している。しかし、複数のＰＰＳを見た場合、それぞれのＰＰＳに含まれるパラメータ・セットの内容が、互いに異なるとは限らない。同じ内容のパラメータ・セットも多く存在する。
【００１１】
このために、デコード処理が複雑化する。また上記のルールであると、ストリームの途中から、圧縮データのデコード処理を開始する場合、あるいは、ストリームを一旦記録媒体に記録した後、ランダムアクセスにより、圧縮データのデコード処理を行うような場合に問題が生じる。つまり、パラメータ・セットを参照すべきデータが、所望のパラメータ・セットを参照できなくなる場合が生じるからである。
【００１２】
そこでこの発明の一側面では、パラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、そのユニット識別情報の付与方法に制約をつけることで、デコード処理を簡略化、高速化することが可能にした動画像符号化装置・復号化装置及び符号化ストリーム生成方法を提供することを目的とする。また、ストリームをある単位（ＧＯＶＵ）で区切り、この単位内でパラメータ・セット（ＰＰＳ、ＳＰＳ）に対するユニット識別情報の割り当てを行うようにし、識別情報の割り当て処理の簡素化を得られるようにし、また編集処理も容易にした動画像符号化装置・復号化装置及び符号化ストリーム生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明に係る一実施例では、ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含むユニット（Ｐ）と、ユニット識別情報を含むとともに、前記ユニット（Ｐ）により参照され前記画像圧縮データを復号するためのパラメータ・セットを含むユニット（ＰＰＳ）とをそれぞれ複数個時系列方向に配置したストリームにおいて、前記ユニット（Ｐ）が参照する複数のユニット（ＰＰＳ）のパラメータ・セット内容が同じである場合には、各前記ユニット（ＰＰＳ）に対して、同じユニット識別情報を付けるようにしている。
【００１４】
さらに前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記ユニット（Ｐ、ＰＰＳ）を含むようにしたユニット（ＧＯＶＵ）を定義し、ユニット（ＧＯＶＵ）内で、同一パラメータ・セットの内容を有するユニット（ＰＰＳ）に対しては、同一のユニット識別情報を付するようにしている。
【発明の効果】
【００１５】
上記の手段によると、ＰＰＳに関して、ユニット識別情報が同じものが複数存在する場合、１つのＰＰＳのみを復号して使用すれば、他のＰＰＳのデコード処理を省略することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照してこの発明の一実施の形態について説明する。図１は、Ｈ．２６４／ＡＶＣの規格に基づいて画像データを符号化する符号化装置を簡単に示している。また図２は、図１の符号化装置から出力されたストリームに含まれる画像圧縮データを復号する復号化装置を簡単に示している。
【００１７】
図１において、入力端子１０１に供給された画像データは、減算器１０２に供給される。減算器１０２は、フレーム間処理が行われているときは、入力画像データからスイッチ１０３からの画像データを引き算する。減算器１０２の出力データは、ＤＣＴ及び量子化部１０４において、離散コサイン変換処理及び量子化処理が施される。ＤＣＴ及び量子化部１０４の出力は、エントロピー符号化部（可変長符号化部と称してもよい）１０５で可変長符号化され、ストリームとして出力端子１０６に導出される。
【００１８】
またＤＣＴ及び量子化部１０４の出力は、逆量子化及び逆ＤＣＴ部１０７に入力されて、逆変換される。逆変換されたデータは、加算器１０８において、スイッチ１０３からの画像データと加算され、フレーム画像として再現されて、出力される。この加算器１０８の出力は、ＤＣＴ処理および量子化処理のためにブロック化された画像データの、ブロック間の歪を改善するために、デブロッキングフィルタ１０９に入力される。
【００１９】
デブロッキングフィルタ１０９から出力された画像データは、画像メモリに入力される。動き補償部１１０は、動きベクトル検出部１１２からの画像動きベクトルに基づいて画像メモリから符号化画像を読み出し、予測画像のデータを生成する。つまり、動き情報から、画像メモリに蓄積されている既に符号化された画像が入力端子１０１の画像に近づくように、予測画像を生成する。動きベクトル検出部１１２は、入力端子１０１の入力画像データを用いて、動画像の動きを示す動きベクトルを検出している。動きベクトルは、データ側でも参照されるので、付帯情報としてエントロピー符号化部１０５に送られ、所定の伝送ユニットのヘッダに挿入される。
【００２０】
動き補償部１１０の出力画像データは、重み付き予測部１１１において、画像の明るさを予測して、重み付けを行い出力する。重み付き予測部１１１から出力された、画像データは、スイッチ１０３を介して、減算器１０２に与えられる。
【００２１】
重み付き予測部１１１からの画像データは、入力画像データにできるだけ近づくように予測されているために、減算器１０２からの出力は、効率的にデータ量が少なくなる。つまり、このことは圧縮効率が高いということである。
【００２２】
ここで、定期的あるいはシーンチェンジなどがあった場合、画面内圧縮処理が実行される。このときは、画面内予測部１１３において符号化するブロックの周囲の既に符号化された画素から画面内の予測を行い、減算器１０２において入力端子１０１の入力画像データから画面内予測信号を減算し、ＤＣＴ及び量子化部１０４に導かれる。このように、ＤＣＴ及び量子化処理部１０４、画面内予測部１１３、スイッチ１０３、減算器１０２で形成されるループにおいて、１フレーム内での画像圧縮処理が実行される。フレーム内で圧縮された画像データ（Ｉ（Ｉｎｔｒａ）スライスとも称される）は、逆量子化及びＤＣＴ部１０７において、逆変換されて、復号され、この復号データがデブロッキングフィルタ１０９にてブロック間の歪を低減され、画像メモリに格納される。このときの画像データは、フレーム内のみのデータを用いた画像圧縮データであり、複数フレーム分（ピクチャ単位）の動画像を再生するときの基準のデータとなる。
【００２３】
ここで、符号化制御部１２１は、コントローラを含む。コントローラとしては、ＧＯＶＵ設定部１２１ａ，ＳＰＳ管理部１２１ｂ，ＰＰＳ管理部１２１ｃ、ピクチャユニット管理部１２１ｄなどを含む。またＰＰＳ管理部１２１ｃ内には、識別番号（識別情報と称してもい）生成部１２２ｃが存在する。識別番号生成部１２２ｃについては、図８で詳しく説明する。
【００２４】
この符号化制御装置１２１は、入力画像データを管理するとともに、画像圧縮データを復号するために必要な管理情報（例えばパラメータ・セットＳＰＳ，及びＰＰＳ）を生成している。また、ストリームに対する情報単位（ＧＯＶＵ）を設定している。またピクチャ（スライス）ユニットに対する管理情報（参照先ユニット情報）などを生成し、管理している。これらＧＯＶＵ及び管理情報（例えばパラメータ・セット）については、詳細は後述する。
【００２５】
図２の復号化装置について説明する。入力端子２０１には、先のストリームが入力する。このストリームは、ストリーム解析処理部２０２に入力される。ストリーム解析処理部２０２では、またデータユニットの種類に応じた分離処理、先のＧＯＶＵ区分処理、管理情報（パラメータ・セットＳＰＳ，及びＰＰＳ））の解析処理を行う。ＰＰＳ解析処理部については、後で図９において詳しく説明する。
【００２６】
分離された画像圧縮データは、デコーダ２０３のエントロピー復号部（可変長変換部と称してもよい）２０４に入力される。ここでは、図１のエントロピー符号化部１０５に対応した復号処理が実行される。
【００２７】
画像圧縮データは、逆量子化及び逆ＤＣＴ部２０５に入力されて復号される。逆量子化及び逆ＤＣＴ部２０５の出力データは、加算器２０６においてスイッチ２０７からの参照画像データと加算され、画像として再現される。加算器２０６から出力された画像データは、デブロッキングフィルタ２０８にてブロック歪が低減される。デブロッキングフィルタ２０８の出力画像データは、復号出力として出力端子２０９に導出されるとともに、画像メモリに格納される。
【００２８】
動き補償部２１０では、送られて来た動きベクトルの情報を用いて、画像メモリに格納されている復号画像データを動き補正する。動き補償部２１０から出力された補正画像データは、重み付き予測部２１１にて明るさの重み付けがなされた後、スイッチ２０７を介して、加算器２０６に入力される。フレーム内で圧縮された画像データ（Ｉ（Ｉｎｔｒａ）スライスとも称される、又はＩＤＲ（Instantaneous Decoding Refresh ）ピクチャとも称される）が到来したときは、逆量子化及び逆ＤＣＴ部２０５、画面内予測部２１２、スイッチ２０７、加算器２０６、デブロッキングフィルタ２０８、動き補償部２１０の経路が構築される。そして、フレーム内画像圧縮データが復号され、１フレーム分の画像データが動き補償部２１０の画像メモリに構築される。このフレーム内符号化画像データが基準画像データとして、利用される。
【００２９】
図３には、Ｈ．２６４／ＡＶＣ規格に準拠し、かつ本発明を適用した上記のストリームの階層構造を示している。ストリームは、大きな単位としてＥＶＯＢＵ (Extended- Video Object Unit)の単位で区切られており、１つのＥＶＯＢＵには、１つ又は複数のＧＯＶＵ（Group Of Video Unit）という単位が存在する。なお、ＥＶＯＢＵは、必ずしも必要とする単位ではなく、ストリームが直接ＧＯＶＵで区切られていてもよい。
【００３０】
１つのＧＯＶＵは、１つ又は複数のアクセスユニットを含む。１つのアクセスユニットは、複数のＮＡＬ（Network Abstraction Layer:ネットワーク抽象レイヤ）ユニットを含む。ＮＡＬは、ビデオコーディングレイヤ（ＶＣＬ）と、符号化した情報を伝送・蓄積する下位システム（レイヤ）との間の層（レイヤ）であり、ＶＣＬと下位システムとを関連つけるための層である。
【００３１】
ＮＡＬユニットは、ＮＡＬヘッダと、ＶＣＬで得られた情報を格納したＲＢＳＰ（Raw Byte Sequence Payload: ロー・バイト・シーケンス・ペイロード、動画像圧縮された生データ）の部分から構成されている。したがって、ＮＡＬユニットとしては、複数の種類が存在する。ＮＡＬユニットの種類は、ＮＡＬヘッダ内のnal_unit_typeにより判別することが可能である。またＮＡＬヘッダ内には、nal_ref_idcが記述されており、ＮＡＬユニットの識別情報として利用される。つまり本ＮＡＬユニットが、参照されるべきＮＡＬユニットであるか否かを示している。
【００３２】
ＲＢＳＰ部分のデータ内容としては、ＳＰＳ，ＰＰＳ、符号化情報圧縮データなどが存在する。これらの情報の違いは、nal_unit_typeにより分類されている。
【００３３】
ＲＢＳＰ部分にもヘッダが存在する。このヘッダには、識別情報（例えば番号）、マクロブロックタイプ、参照先ピクチャ情報（例えば番号）、参照先ＳＰＳ情報（例えば番号）、参照先ＰＰＳ情報（例えば番号）、動き補償ブロックの動きベクトルなどの情報が記述される。またＮＡＬユニットがパラメータ・セット（ＳＰＳ，ＰＰＳ）のためのユニットであった場合、ＳＰＳ情報（例えば番号）、又はＰＰＳ情報（例えば番号）、参照先ＳＰＳ情報（例えば番号）などが記述されている。圧縮データ部には、パラメータの情報が記述されている。
【００３４】
図４には、ＮＡＬユニットの種類を示す識別子と、その意味する内容をテーブルにして示している。
【００３５】
アクセスユニットは、ピクチャ単位の複数のＮＡＬユニット（スライス）を集めたものである。ＧＯＶＵの中に複数のアクセスユニットが存在してもよし、１個のアクセスユニットが存在してもよい。このアクセスユニット内には、符号化情報圧縮データの入ったＶＣＬ  ＮＡＬが１ないしは複数存在する。これ以外に、ＳＰＳ、ＰＰＳ、その他の付帯情報が存在することもある。アクセスユニットに必ず１個のＰＰＳをつけ、このアクセスユニットを構成するスライスは、すべて同一のＰＰＳを参照するようにしても良い。
【００３６】
図５には、ＮＡＬユニットの各種のタイプを示している。ＳＰＳ用ＮＡＬユニットは、データ部にプロファイルなどの情報を有し、またデータ部のヘッダ内には、自己の識別番号であるＳＰＳ番号（ＳＰＳ  ＩＤ）が含まれる。ＰＰＳ用ＮＡＬユニットは、データ部に符号化モードなどの情報を有し、またデータ部のヘッダ内には、自己の識別番号であるＰＰＳ番号（ＰＰＳ  ＩＤ）、また参照すべきＳＰＳの番号（参照先ＳＰＳ番号）が記述されている。ＶＣＬ  ＮＡＬユニットは、データ部に画像圧縮データを有し、またデータ部のヘッダ内には、自己の識別番号、参照すべきピクチャを示す参照先ピクチャ番号（又は参照すべきＰＰＳを特定するための参照先ＰＰＳ番号）、動き補償ブロックの動きベクトル情報、スライス番号などを含む。
【００３７】
上記のようにＶＣＬ  ＮＡＬユニットには、参照すべきＰＰＳを特定するために参照先ＰＰＳ番号（ＰＰＳ  ＩＤ）が記述されている。またＰＰＳ用ＮＡＬユニットには、参照すべきＳＰＳを特定するために参照先ＳＰＳ番号（ＳＰＳ  ＩＤ）が記述されている。
【００３８】
ここでユニット識別番号の割付に関して、以下のようなルールが設定されている。即ち画像データのユニット（ピクチャユニット）は、そのスライスヘッダに参照先ユニット情報としてＰＰＳのユニット識別番号を記述している。またＰＰＳのユニットは、参照先ユニット情報としてＳＰＳのユニットの識別番号をそのヘッダに記述している。
【００３９】
図６は、上記の参照先ユニット情報（以下参照先ユニット番号）及びユニット識別番号を付す場合のルールをまとめて示している。即ち、
（１）直前のＰＰＳと異なるＰＰＳを用いる場合には、必ず異なるＰＰＳ  ＩＤを用いる、
（つまり、復号順でピクチャユニットＰ１とピクチャユニットＰ２があり、ピクチャユニットＰ１のためのパラメータ・セット（ＰＰＳ）の内容（例えばＰＰＳ１）と、ピクチャユニットＰ２のためのパラメータ・セット（ＰＰＳ）の内容（例えばＰＰＳ２）とが異なる場合には、ピクチャユニットＰ２の直前に内容ＰＰＳ２のパラメータ・セット（ＰＰＳ）を配置する、そして、このＰＰＳのユニット識別番号（ＰＰＳ  ＩＤ）は、それまでのユニット識別番号（ＰＰＳ  ＩＤ）と異なるものとする）
（２）直前のＰＰＳと同じＰＰＳを用いる場合には、必ず同じＰＰＳ  ＩＤを用いる、
（つまり、復号順でピクチャユニットＰ１とピクチャユニットＰ２があり、ピクチャユニットＰ１のためのパラメータ・セット（ＰＰＳ）の内容（例えばＰＰＳ１）と、ピクチャユニットＰ２のためのパラメータ・セット（ＰＰＳ）の内容（例えばＰＰＳ２）とが同じの場合には、両ＰＰＳのユニットには、同じユニット識別番号を付する）、
（３）また、ストリームを所定の情報単位で区切り、かつこの情報単位内にピクチャユニットＰ１，ＰＰＳのユニット、ＳＰＳのユニットを含むようにしたユニット（ＧＯＶＵ）を定義し、異なるＧＯＶＵに所属するＰＰＳのユニットに付されるＰＰＳＩＤ間では、制約なしとする、
（３’）同一ＧＯＶＵ内に存在するＰＰＳについてのみ、上記の（１）、（２）を適用する、
つまり、ストリームを所定の情報単位で区切り、かつこの情報単位内にピクチャユニットＰ１，ＰＰＳのユニット、ＳＰＳのユニットを含むようにしたユニット（ＧＯＶＵ）を定義し、注目したユニット（ＧＯＶＵ）内のピクチャユニット（Ｐ）に含まれる、パラメータ・セット用参照先ユニット番号は、前記注目したユニット（ＧＯＶＵ）内に存在するユニット（ＰＰＳ）の識別番号のみに限定し、他の非注目のユニット（ＧＯＶＵ）内の識別番号の指定を禁止している。したがって、同じ内容のパラメータ・セットが、異なるＧＯＶＵに存在してもこのパラメータ・セットのＰＰＳ  ＩＤは、必ずしも同じユニット識別番号であるとは限らない。
【００４０】
上記の（１）−（３）のルールは、ＳＰＳに付する識別番号（ＳＰＳ  ＩＤ）に適用してもよい。
【００４１】
図７には、上記及び図６に示すルールを適用した場合のストリーム上のユニットの相互関連を示している。ストリームを所定の情報単位で区切り、かつこの情報単位内に前記ユニット（Ｐ）、（ＰＰＳ），（ＳＰＳ）を含むようにしたユニット（ＧＯＶＵ）を定義し、注目したユニット（ＧＯＶＵ２）内で、同一パラメータ・セットの内容を有するユニット（ＰＰＳ）に対しては、同一のユニット識別番号を付するようにしている。図７では、ＧＯＶＵ１と注目のＧＯＶＵ２を示している。Ｐは画像圧縮データのユニット（ピクチャユニット）を示し、ＳＰＳは、シーケンス・パラメータ・セットのユニットを示し、ＰＰＳは、ピクチャ・パラメータ・セットのユニットを示している。点線で示す矢印は、参照先ユニットが許可されていることを示している。
【００４２】
ピクチャユニット（Ｐ−１），（Ｐ０），（Ｐ１）は、同じ内容のパラメータ・セットをもつ。すなわち、ＰＰＳ１、ＰＰＳ２、ＰＰ３は同じ内容である。この場合、規則（２）に従い、ＰＰＳ１、ＰＰＳ２、ＰＰＳ３には同じＰＰＳ番号（ＰＰＳ  ＩＤ）をつける。デコーダ側では、ＰＰＳ番号を復号し、ピクチャユニット（Ｐ−１），（Ｐ０），（Ｐ１）につけられたＰＰＳのＰＰＳ番号が同一と判明すれば、ＰＰＳも同一であることがわかる。この場合、最初のパラメータ・セット（ＰＰＳ１）の内容を復号した後は、ピクチャユニット（Ｐ０），（Ｐ１）をデコードする際にも同じパラメータ・セットを用いればよい。したがって、パラメータ・セット（ＰＰＳ２）、（ＰＰＳ３）の内容を復号する必要はなく、最初のパラメータ・セット（ＰＰＳ１）の内容を繰り返し用いる。このためパラメータ・セット（ＰＰＳ２）、（ＰＰＳ３）の内容を全て復号する必要はなく、そのユニット識別番号のみを認識すればよい。
【００４３】
ピクチャユニット（Ｐ１）と（Ｐ２）とは、参照するパラメータ・セット（ＰＰＳ）の内容が異なる場合である。このときは、ピクチャユニット（Ｐ２）の直前に対応するパラメータ・セット（ＰＰＳ）のユニットが配置され、異なるＰＰＳ番号が付けられる。また同様に、ピクチャユニット（Ｐ３）と（Ｐ４）とは、参照するパラメータ・セット（ＰＰＳ）の内容が異なる場合である。このときは、ピクチャユニット（Ｐ４）の直前に対応するパラメータ・セット（ＰＰＳ）のユニットが配置され、異なるＰＰＳ番号が付けられる。
【００４４】
上記のルールであると、パラメータ・セットを全てでコードする必要がなく、デコード処理が簡単になるし、データ処理速度の向上も得られる。すなわち、直前のパラメータ・セットと識別番号が異なる場合のみパラメータ・セットをデコードすればよく、識別番号が同じ場合は前のパラメータ・セットをそのまま用いればよい。
【００４５】
さらに、ＧＯＶＵという定義を行い、注目ＧＯＶＵ内に所属するパラメータ・セットのみを使用するルールを決めると、つぎのような利点を得ることができる。即ち、パラメータ・セット（ＰＰＳ０）と（ＰＰＳ１）のように、異なるＧＯＶＵに所属している場合、異なるパラメータ・セット内容を有しても、（ＰＰＳ０）と（ＰＰＳ１）に同じユニット識別番号を付することができる。これは、ユニット識別番号の付与処理が簡単になり、ユニット識別番号の数が低減することになる。
【００４６】
また、規則（３）のように、パラメータ・セットの規則をＧＯＶＵ内に限定することにより、符号化動画像ストリームを編集しやすくなる。例えば、２つの動画像シーケンスを別々に符号化して２つのストリーム（ストリーム１、ストリーム２）を作成しておき、それをＧＯＶＵ単位に断片化して編集を行う場合、規則をＧＯＶＵ内に限定しないと、ストリーム１のＧＯＶＵ（ＧＯＶＵ１）とストリームＧＯＶＵ（ＧＯＶＵ２）をつなぐ際に、その２つのＧＯＶＵ内に含まれるパラメータ・セットの識別番号をデコードし、それが規則を満たしているか確認する必要がある。パラメータ・セットの規則をＧＯＶＵ内に限定し、異なるＧＯＶＵ間では制約を無くせば、このような確認作業は必要なくなり、動画像の編集に伴う処理が軽減される。
【００４７】
図８には、上記したルールに基づいて、エンコーダ側において、ＰＰＳ管理を行う回路の例を示している。ＰＰＳ管理部１２１ｃには、現ピクチャユニット（Ｐ）が参照する現ＰＰＳと直前ＰＰＳとの内容を比較し、同じであるか異なるかの判定出力を得る比較部１４１が設けられている。この判定出力が、同じ内容であることを示す場合は、現ＰＰＳのユニットに対して、直前ＰＰＳのユニットと同じユニット識別番号（ＰＰＩＤ）が使用される。しかし、判定出力が、異なる内容であることを示す場合は、現ＰＰＳのユニットに対して、適切な新たなユニット識別番号（ＰＰＩＤ）が作成され、付与される。
【００４８】
ＰＰＳ識別番号は、新たに生成されるとき、例えばカウンタにより順次増加する番号として生成される。しかし、このカウンタは、ＧＯＶＵの境界でリセットされ、次のＧＯＶＵ内のＰＰＳのユニットにユニット識別番号をつけるときは、改めて、初期値からスタートする。このユニット識別番号（ＰＰＳ  ＩＤ）は、ＰＰＳＩＤ生成部１４２において生成されている。
【００４９】
図９には、デコーダ側において、上記したルールに基づいて作成されたパラメータ・セットのユニットのユニット識別番号を認識するＰＰＳ解析部２３１の構成をより具体的に示している。
【００５０】
新ユニット識別番号取り出し部２４１において、ヘッダ部からユニット識別番号が取り出される。先行ユニット識別番号格納部２４３にユニット識別番号が無い場合には、新ユニット識別番号がこの先行ユニット識別番号格納部２４３に格納される。
【００５１】
新ユニット識別番号と、先行ユニット識別番号格納部２４３内の先行ユニット識別番号とは、比較部２４２において、比較される。比較結果、異なる場合には、更新処理部２４４に指令信号が与えられ、これに基づいて、新ユニット識別番号が先行ユニット識別番号格納部２４３に格納されるとともに、ピクチャ・パラメータ・セット（ＰＰＳ）がＰＰＳ格納部２４５に格納される。デコーダにおける以後のピクチャユニットに対する処理は、このピクチャ・パラメータ・セット（ＰＰＳ）が用いられる。
【００５２】
上記の比較結果、ユニット識別番号が同じ場合には、維持処理部２４６に指令信号が与えられ、ＰＰＳ格納部２４５内のピクチャ・パラメータ・セット（ＰＰＳ）の内容は維持され、このパラメータ・セットが継続して使用される。これにより、改めて、新ＰＰＳユニットの内容を全てデコードする必要はない。
【００５３】
上記したルールに基づいた信号処理を実現するために、エンコーダ側では、符号化制御部１２１において、ＧＯＶＵ設定、ＳＰＳ処理、ＰＰＳ処理が実行される。
【００５４】
図１０には、上記の信号処理を実現するためのフローチャートを示している。図３のストリーム構造に従い、ＥＶＯＢＵ，ＧＯＶＵ、アクセスユニット、スライスの順に細かな単位で符号化処理が行われる。ＧＯＶＵの先頭では、シーケンス・パラメータ・セット（ＳＰＳ）の生成が行われる（ステップＳＡ２、ＳＡ５）。アクセスユニットの先頭では、ピクチャ・パラメータ・セット（ＰＰＳ）の生成が行われる（ステップＳＡ５）。次に、具体的にスライスの符号化が実行され（ステップＳＡ６，ＳＡ７）、アクセスユニット分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ８）。またここでは、復号時のパラメータ・セット及び参照ピクチャなどを決めるために、参照先ユニット番号の管理も行われている。ステップＳＡ８で、アクセスユニット分のデータの符号化が終了していない場合には、ステップＳＡ４に戻り、終了している場合には、次のＧＯＶＵ分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ９）。終了していない場合には、ステップＳＡ２に戻り、終了している場合には、ＥＶＯＢＵ分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ１０）。終了していない場合には、ステップＳＡ２に戻り、終了している場合には、終了指令があったかどうかの判断が行われる（ステップＳＡ１１）。指令がない場合には、ステップＳＡ１に戻り、指令があった場合にエンコード動作を終了する。
【００５５】
生成された画像圧縮データを含むユニット、ＳＰＳを含むユニット、ＰＰＳを含むユニットは、ストリームとして出力端子１０６に出力される。
【００５６】
上記した図１０のフローチャートによりデータ処理が実行されるとき、先の図６で記載したルールが適用されており、このルールを実現する手段がエンコーダに含まれている。このルールを実現する基本となるコントローラは、図１で示した符号化制御部１２１である。符号化制御部１２１には、主なブロックとしてＧＯＶＵ設定部１２１ａ，ＳＰＳ管理部１２１ｂ、ＰＰＳ管理部１２１ｃが設けられている。その他、ピクチャ（スライス）ユニット管理部も設けられている。ＰＰＳ管理部１２１ｃでは先に説明したように各ユニットに対する識別番号の割付も行われ、この識別番号を利用すべく参照先ユニット番号の割り当ても行われる。
【００５７】
図１１には、上記のストリームを受けてデコードを行うデコーダ（図２）のストリーム解析処理部２０１における動作をフローチャートで示している。ストリームが入力するとＮＡＬユニットのＮＡＬヘッダが処理される。ここには、図３で示したようにnal_unit_typeが記述されているので、画像圧縮データを含むＶＣＬ  ＮＡＬユニット、ＳＰＳ用ＮＡＬユニット、ＰＰＳ用ＮＡＬユニットの種類（図５）の識別を行うことができる。
【００５８】
ステップＳＢ１でＮＡＬユニットを識別し、ステップＳＢ２でＳＰＳ用ＮＡＬユニットかどうかを判別する。違う場合にはステップＳＢ３でＰＰＳ用ＮＡＬユニットかどうかを判別する。違う場合にはステップＳＢ４でＶＣＬ  ＮＡＬユニットかどうかを判別する。ステップＳＢ４に”スライスか？”と記載しているのはＨ．２６４／ＡＶＣの規格では、画像圧縮単位としてスライスという用語を用いるからである。
【００５９】
ステップＳＢ２でＳＰＳ用ＮＡＬユニットが検出された場合、先のルール説明から分かるように、注目ＧＯＶＵの先頭であることが判明する。したがって、ここでは、入力した現ストリームに対しては、注目ＧＯＶＵの先頭の区切りを設定し、現ストリームより以前のストリームに対しては、１つ前の先行ＧＯＶＵの後尾の区切りを設定する（ステップＳＢ５）。次に、ＳＰＳ用ＮＡＬユニットから、ＳＰＳの復元と解析を行い、このパラメータ・セットに適合したデコーダの所定の設定部へ通知し、格納する。
【００６０】
ステップＳＢ３でＰＰＳ用ＮＡＬユニットが検出された場合、ＳＰＳの復元と解析を行い、デコーダ内の所定の設定部に通知し、格納する。
【００６１】
これによりデコーダは、ＳＰＳ、ＰＰＳにより符号化モードが設定される。そして、次のステップＳＢ４でＶＣＬ  ＮＡＬユニットが検出されると、そのデータ部の画像圧縮データがデコーダ２０３にて復号処理される。
【００６２】
上記したように本実施の形態においては、複数の特徴的な発明が含まれている。その要点をまとめる。本発明は、上記したようなストリーム構造に特徴を有し、またこのようなストリーム構造を実現する符号化方法及び装置に特徴を有し、さらに上記のようなストリーム構造を復号する復号方法及び装置に特徴を有するものである。
【００６３】
ユニット識別番号及び画像圧縮データを含むとともに、参照先ユニット番号を含むユニット（Ｐ）と、ユニット識別番号を含むとともに前記画像圧縮データを復号するために、前記ユニット（Ｐ）により参照され、関連したピクチャ全体に係わる情報であり、少なくともエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値の符号化モードに係わる情報を含むユニット（ＰＰＳ）と、ユニット識別番号を含むとともに前記画像圧縮データを復号するために、前記ユニット（ＰＰＳ）により参照され、所属するシーケンス全体に係わる情報であり、少なくともプロファイル、レベル、シーケンス全体の符号化モードに係わる情報を含むユニット（ＳＰＳ）が定義されている。ストリームは、これらのユニットをそれぞれ複数個時系列方向に配置している。
【００６４】
ここで、前記ユニット（Ｐ）が参照する複数のユニット（ＰＰＳ）のパラメータ・セット内容が同じある場合には、各前記ユニット（ＰＰＳ）に対して、同じユニット識別番号を付けられている。
【００６５】
さらに前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２及び第３のユニットを含むようにしたユニット（ＧＯＶＵ）を定義してもよい。そして、注目したユニット（ＧＯＶＵ）内で、同一パラメータ・セットの内容を有するユニット（ＰＰＳ）に対しては、同一のユニット識別番号を付する。
【００６６】
本発明は、上記のストリームを生成する動画像符号化装置、及びストリームを受けて復号を行う動画像復号化装置としても上記した特徴的を有するものである。
【００６７】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００６８】
【図１】この発明に係わる動画像符号化装置（エンコーダ）の基本的な構成例を示す図である。
【図２】この発明に係わる復号化装置（デコーダ）の基本的な構成例を示す図である。
【図３】この発明に係わるストリーム構造の説明図である。
【図４】この発明に係わるＮＡＬユニットのタイプとその内容を示す説明図である。
【図５】この発明に係わるＮＡＬユニットの代表的な種類を示す説明図である。
【図６】この発明の要点となるＰＰＳユニットへの識別番号付与ルールを示す説明図である。
【図７】この発明の要点となるＰＰＳユニットへの識別番号付与ルールを、模式的に示す説明図である。
【図８】図１のＰＰＳ管理部の詳細を示すブロック図である。
【図９】図２のＰＰＳ解析部の詳細を示すブロック図である。
【図１０】図１のエンコーダの動作において特に本発明の要部となる動作を示すフローチャートである。
【図１１】図２のデコーダの動作において特に本発明の要部となる動作を示すフローチャートである。
【符号の説明】
【００６９】
１０２…減算器、１０３…スイッチ、１０４…ＤＣＴ及び量子化部、１０５…エントロピー符号化部、１０７…逆量子化及び逆ＤＣＴ部、１０８…加算器、１０９…デブロッキングフィルタ、１１０…動き補償部、１１１…重み付き予測部、１１２…動きベクトル検出部、１２１…符号化制御部、２０２…ストリーム解析処理部、２０３…デコーダ、２０４…エントロピー復号部、２０５…逆量子化及び逆ＤＣＴ部、２０６…加算器、２０７…スイッチ、２０８…デブロッキングフィルタ、２１０…動き補償部、２１１…重み付き予測部。
【図１】
2006203662.tif 000003
【図２】
2006203662.tif 000004
【図３】
2006203662.tif 000005
【図４】
2006203662.tif 000006
【図５】
2006203662.tif 000007
【図６】
2006203662.tif 000008
【図７】
2006203662.tif 000009
【図８】
2006203662.tif 000010
【図９】
2006203662.tif 000011
【図１０】
2006203662.tif 000012
【図１１】
2006203662.tif 000013