(57)【要約】【課題】パラメータ・セット（ＳＰＳ、ＰＰＳ）のストリーム内配列順序に一定の規則を適用すし、ランダムアクセスによる再生、スキップ再生を容易にする。【課題を解決するための手段】  ピクチャユニット（Ｐ）により参照されるピクチャ・パラメータ・セット（ＰＰＳ）と、この（ＰＰＳ）により参照されるシーケンス・パラメータ・セット（ＳＰＳ）と配置したストリームにおいて、ストリームを所定の情報単位で区切るＰａｃｋを定義し、Ｐａｃｋ内で、複数のピクチャユニットに優先度をつける場合、最初のユニット及び早送り再生時に復号する最初の数個のユニットに最高優先度、早送り再生時に参照用として用いるユニットに次の第２位優先度、スキップするユニットに第３位の順位を付ける。【選択図】      図７
2006211617.tif 000002
【特許請求の範囲】
【請求項１】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに、前記第１のユニットにより参照され、前記画像圧縮データを復号するための情報を含む第２のユニットとをそれぞれ複数個時系列方向に配置したストリームにおいて、
前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含む第３のユニットを定義し、
前記第３のユニット内で複数の前記第１のユニットに、復号順序としての優先度をつける場合、
前記第３のユニット内で、最初の第１のユニットと、早送り再生時に基準のデータとして復号する第１のユニットには、第１の優先度をつけ、
早送り再生時に参照用のデータとして復号に用いる第１のユニットには第１の優先度よりも低い第２の優先度をつけ、
早送り再生に復号しない第１のユニットには第２の優先度よりも低い第３の優先度を付ける、
ようにした符号化ストリームの生成方法。
【請求項２】
請求項１記載の方法において、
前記優先度を示す情報は、前記第１のユニットのヘッダに含めるようにした符号化ストリームの生成方法。
【請求項３】
請求項１記載の方法において、
前記第３のユニット内で、最初の第１のユニット、早送り再生時に基準のデータとして復号する第１のユニットには、それぞれ独自の前記第２のユニットが関連付けられている符号化ストリームの生成方法。
【請求項４】
請求項３記載の方法において、
前記第２の優先度が付加されている第１のユニットには、前記第２のユニットの一部が関連付けられる符号化ストリームの生成方法。
【請求項５】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに、前記第１のユニットにより参照され、前記画像圧縮データを復号するための情報を含む第２のユニットとをそれぞれ複数個時系列方向に配置したストリームを生成する符号化装置において、
前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含む第３のユニットを定義するパック設定部と、
前記第３のユニット内で、複数の前記第１のユニットに復号順序としての優先度をつける場合、
前記第３のユニット内で、最初の第１のユニットと、早送り再生時に基準のデータとして復号する第１のユニットには、第１の優先度をつけ、
早送り再生時に参照用のデータとして復号に用いる第１のユニットには第１の優先度よりも低い第２の優先度をつけ、早送り再生に復号しない第１のユニットには第２の優先度よりも低い第３の優先度を付けるピクチャユニット管理部と、
を有した動画像符号化装置。
【請求項６】
請求項５記載の装置において、
前記ピクチャユニット管理部は、前記優先度を示す情報は、前記第１のユニットのヘッダに前記優先度を示す情報を含めるようにした動画像符号化装置。
【請求項７】
請求項５記載の装置において、
さらに、前記第２のユニット管理装置が設けられ、この第２のユニット管理装置は、前記第３のユニット内で、最初の第１のユニットと、早送り再生時に基準のデータとして復号する第１のユニットには、それぞれ独自の前記第２のユニットを関連付ける動画像符号化装置。
【請求項８】
請求項７記載の装置において、
前記第２のユニット管理装置は、前記第２の優先度が付加されている第１のユニットには、前記第２のユニットの一部を関連付けるようにしている動画像符号化装置。
【請求項９】
ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに、前記第１のユニットにより参照され、前記画像圧縮データを復号するための情報を含む第２のユニットとをそれぞれ複数個時系列方向に配置し、
前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含む第３のユニットを定義し、
前記第３のユニット内で、複数の前記第１のユニットのそれぞれに復号順序としての優先度をつける場合、第３のユニット内で、最初の第１のユニットと、早送り再生時に基準のデータとして復号する第１のユニットには、第１の優先度をつけ、
早送り再生時に参照用のデータとして復号に用いる第１のユニットには第１の優先度よりも低い第２の優先度をつけ、
早送り再生には復号しない第１のユニットには第２の優先度よりも低い第３の優先度を付けるようにした符号化ストリームを受けて復号する装置であって、
前記ストリームから前記第１のユニットを検出して、デコーダ部に与えるピクチャユニット管理部と、
前記ストリームから、前記第２のユニットを検出して、デコーダに設定するパラメータ・セット解析部と、
前記ストリームから前記第３のユニットの境界を検出し、前記ストリームから前記第１のユニットを検出することにより、第３のユニット内の複数の第１のユニットの各参照先ユニット情報の系列マップを構築するとともに、各参照先ユニット情報にはそれぞれ前記優先度を付属させて構築する、参照先ユニット情報系列マップ生成部と、
を具備した動画像復号装置。
【請求項１０】
請求項９の装置において、前記デコーダ部は、
早送り再生が指示されたときには、前記参照先ユニット情報系列マップを参照して、前記第１位の優先度の第１のユニットと、次の第２の優先度の第１のユニットに含まれるピクチャのみをデコードする動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像符号化装置・復号化装置及び符号化ストリーム生成方法に関する。特に、画像圧縮データを復号するのに必要なパラメータ・セットを含むユニットの配置と管理方法を工夫し画像圧縮データを復号処理するときのデータ取り扱いを便利にする技術であり、ストリームの構造にも及ぶものである。そして、記録媒体、例えばビデオディスクに記録する場合に便利であり、ビデオディスクから再生する場合、編集を行う場合にも有効なデータ構造を工夫したものである。
【背景技術】
【０００２】
動画像の符号化・復号化技術は、近年、ますます進化しつつある。これは、動画像の高品質化が進み、情報量が多くなったこと、また、有線あるは無線によるネットワークが発展し、これらのネットワークを通じて画像情報を伝送することの要望が高くなったことに起因する。
【０００３】
動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また伝送効率がよいことなどが要望される。最近発表され、国際標準として認められた、Ｈ．２６４／ＡＶＣ（Advanced video coding）と称される動画像の符号化・復号化技術があり、この技術は、例えば、文献１に開示されている。
【０００４】
このＨ．２６４／ＡＶＣにおいては、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ  Ｐｒａｍｅｔｅｒ  Ｓｅｔ）と、ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）とが定義されている。
【０００５】
ＳＰＳは、プロファイル、レベル、シーケンス全体の符号化モードなど、シーケンス全体に係わる情報が含まれたヘッダ情報である。ＳＰＳは、デコーダの能力に影響する。
【０００６】
プロファイルとしては、ベースラインプロファイル、メインプロファイル、ハイプロファイルなどがあり、符号化ツールが異なる。レベルは、伝送速度、画像サイズなどを規定し、レベル１から５．１まで規定されている。シーケンス全体は、レベルとプロファイルの組み合わせによって、デコーダの処理能力が決まる。シーケンスは、ここでは動画像であるが、さらにある一定のフレーム数（例えば２０から３０フレーム）数で区分された単位を設定してもよい。
【０００７】
ＰＰＳは、ＳＰＳよりも細かい単位に係わる情報であり、関連したピクチャ全体の符号化モード（例えばエントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値など）を示すヘッダ情報である。
【０００８】
デコーダにより、動画像の圧縮データが復号されるときは、上記のＳＰＳ、ＰＰＳが、デコーダ内のコントローラにより参照され、パラメータに応じてデコーダのデコード動作がコントロールされる。したがって、上記のパラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、パラメータ・セットを参照する圧縮データよりも前（先）にデコーダ（復号器）に届くことが必要である。この条件は、Ｈ．２６４／ＡＶＣにおいて規定されている。
【非特許文献１】Ｈ．２６４  ＴＥＸＴＢＯＯＫ  Ｈ．２６４／ＡＶＣ教科書、  大久保  榮［監修］、角野眞也、菊地義浩、鈴木輝彦［共編］、  ２００４年８月１１日  発行
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のＨ．２６４／ＡＶＣにおいては、上記のようにストリーム内において、パラメータ・セット（ＳＰＳ、ＰＰＳ）配置は、自由度が高い。つまり、パラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、パラメータ・セットを参照するデータよりも前にデコーダ（復号器）に到達するように設定されておればよい。このために、パラメータ・セットと、これを参照するデータとの間に、関係のないパラメータ・セットや、圧縮データなどが配置されることもある。
【００１０】
この結果、上記のルールであると、デコーダにおいて、到来する全てのＳＰＳ、ＰＰＳ全体をデコードしている。つまり、ＰＰＳを全て復号し、ピクチャのユニットが参照するＰＰＳに含まれるパラメータ・セットを使用している。しかし、複数のＰＰＳを見た場合、それぞれのＰＰＳに含まれるパラメータ・セットの内容が、互いに異なるとは限らない。同じ内容のパラメータ・セットも多く存在する。
【００１１】
このために、デコード処理が複雑化する。また上記のルールであると、ストリームの途中から、圧縮データのデコード処理を開始する場合、あるいは、ストリームを一旦記録媒体に記録した後、ランダムアクセスにより、圧縮データのデコード処理を行うような場合に問題が生じる。つまり、パラメータ・セットを参照すべきデータが、所望のパラメータ・セットを参照できなくなる場合が生じるからである。
【００１２】
また情報記録媒体（ハードディスク、或いはＤＶＤなど）に上記のストリームを記録し、特殊再生する場合、不都合が生じる。ランダムアクセス時に、上記のパラメータ・セットを取得できない場合がある。また、上記のようにパラメータ・セットの配置に自由度があると、スキップ再生のときに不便が生じる。即ち、スキップしながら再生を行うピクチャをデコードするために、スキップせずにデコードを行うピクチャに付属しているＰＰＳやＳＰＳを用いると、ピクチャ再生ができないことがある。
【００１３】
そこでこの発明の一側面では、パラメータ・セット（ＳＰＳ、ＰＰＳ）がストリーム内に配置される場合、その配列順序に一定の規則を適用することで、ランダムアクセスによる再生、スキップ再生を行った際に、安定して画像再生を得ることができるようにし、また編集処理も容易にした動画像符号化装置・復号化装置及び符号化ストリーム生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
この発明に係る一実施例では、ユニット識別情報及び画像圧縮データを含むとともに、参照先ユニット情報を含む第１のユニットと、ユニット識別情報を含むとともに、前記第１のユニットにより参照され、前記画像圧縮データを復号するための情報を含む第２のユニットとをそれぞれ複数個時系列方向に配置したストリームにおいて、前記ストリームを所定の情報単位で区切り、かつこの情報単位内に前記第１、第２のユニットを含む第３のユニットを定義し、前記第３のユニット内で複数の前記第１のユニットに、復号順序としての優先度をつける場合、
前記第３のユニット内で、最初の第１のユニットと、早送り再生時に基準のデータとして復号する第１のユニットには、第１の優先度をつけ、早送り再生時に参照用のデータとして復号に用いる第１のユニットには第１の優先度よりも低い第２の優先度をつけ、
早送り再生に復号しない第１のユニットには第２の優先度よりも低い第３の優先度を付けるようにした。
【発明の効果】
【００１５】
上記の手段によると、優先度を利用して、優先度の高い第１のユニットには必ず参照すべきＳＰＳ，ＰＰＳをつけるようにすることで、スキップ再生するピクチャに対する適切なパラメータ・セットが得られ、スキップ再生が円滑に得られるようになる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照してこの発明の一実施の形態について説明する。図１は、Ｈ．２６４／ＡＶＣの規格に基づいて画像データを符号化する符号化装置を簡単に示している。また図２は、図１の符号化装置から出力されたストリームに含まれる画像圧縮データを復号する復号化装置を簡単に示している。
【００１７】
図１において、入力端子１０１に供給された画像データは、減算器１０２に供給される。減算器１０２は、フレーム間処理が行われているときは、入力画像データからスイッチ１０３からの画像データを引き算する。減算器１０２の出力データは、ＤＣＴ及び量子化部１０４において、離散コサイン変換処理及び量子化処理が施される。ＤＣＴ及び量子化部１０４の出力は、エントロピー符号化部（可変長符号化部と称してもよい）１０５で可変長符号化され、ストリームとして出力端子１０６に導出される。
【００１８】
またＤＣＴ及び量子化部１０４の出力は、逆量子化及び逆ＤＣＴ部１０７に入力されて、逆変換される。逆変換されたデータは、加算器１０８において、スイッチ１０３からの画像データと加算され、フレーム画像として再現されて、出力される。この加算器１０８の出力は、ＤＣＴ処理および量子化処理のためにブロック化された画像データの、ブロック間の歪を改善するために、デブロッキングフィルタ１０９に入力される。
【００１９】
デブロッキングフィルタ１０９から出力された画像データは、画像メモリに入力される。動き補償部１１０は、動きベクトル検出部１１２からの画像動きベクトルに基づいて画像メモリから符号化画像を読み出し、予測画像のデータを生成する。つまり、動き情報から、画像メモリに蓄積されている既に符号化された画像が入力端子１０１の画像に近づくように、予測画像を生成する。動きベクトル検出部１１２は、入力端子１０１の入力画像データを用いて、動画像の動きを示す動きベクトルを検出している。動きベクトルは、データ側でも参照されるので、付帯情報としてエントロピー符号化部１０５に送られ、所定の伝送ユニットのヘッダに挿入される。
【００２０】
動き補償部１１０の出力画像データは、重み付き予測部１１１において、画像の明るさを予測して、重み付けを行い出力する。重み付き予測部１１１から出力された、画像データは、スイッチ１０３を介して、減算器１０２に与えられる。
【００２１】
重み付き予測部１１１からの画像データは、入力画像データにできるだけ近づくように予測されているために、減算器１０２からの出力は、効率的にデータ量が少なくなる。つまり、このことは圧縮効率が高いということである。
【００２２】
ここで、定期的あるいはシーンチェンジなどがあった場合、画面内圧縮処理が実行される。このときは、画面内予測部１１３において符号化するブロックの周期の既に符号化された画像から画面内の予測を行い、減算器１０２において、入力端子１０１の入力画像データから、画面内予測信号を減算し、その結果が、ＤＣＴ及び量子化部１０４に導かれる。そしてＤＣＴ及び量子化処理部１０４、画面内予測部１１３、スイッチ１０３、減算器１０２で形成されるループにおいて、１フレーム内での画像圧縮処理が実行される。フレーム内で圧縮された画像データ（Ｉ（Ｉｎｔｒａ）スライスとも称される）は、逆量子化及びＤＣＴ部１０７において、逆変換されて、復号され、この復号データがデブロッキングフィルタ１０９にてブロック間の歪を低減され、画像メモリに格納される。このときの画像データは、フレーム内のみのデータを用いた画像圧縮データであり、複数フレーム分（ピクチャ単位）の動画像を再生するときの基準のデータとなる。
【００２３】
ここで、符号化制御部１２１は、コントローラを含む。コントローラとしては、Ｐａｃｋ設定部１２１ａ，ＳＰＳ管理部１２１ｂ，ＰＰＳ管理部１２１ｃ、ピクチャユニット管理部１２１ｄなどを含む。さらにＰＰＳ管理部１２１ｃ内には、識別番号生成部（識別情報生成部と称してもよい）が存在する。またピクチャユニット管理部１２１ｄ内には、優先度設定部を含む。なお、優先度設定については、後で詳しく説明する。
【００２４】
この符号化制御装置１２１は、入力画像データを管理するとともに、画像圧縮データを復号するために必要な管理情報（例えばパラメータ・セットＳＰＳ，及びＰＰＳ）を生成している。また、ストリームに対する情報単位（ＧＯＶＵ）を設定している。またピクチャ（スライス）ユニットに対する管理情報（参照先ユニット番号）などを生成し、管理している。これらＧＯＶＵ及び管理情報（例えばパラメータ・セット）については、詳細は後述する。
【００２５】
図２の復号化装置について説明する。入力端子２０１には、先のストリームが入力する。このストリームは、ストリーム解析処理部２０２に入力される。ストリーム解析処理部２０２では、またデータユニットの種類に応じた分離処理、先のＰａｃｋ区分処理、管理情報（パラメータ・セットＳＰＳ，及びＰＰＳ））の解析処理を行う。また、優先度の解析を行う優先度検出部も有する。
【００２６】
分離された画像圧縮データは、デコーダ２０３のエントロピー復号部（可変長変換部と称してもよい）２０４に入力される。ここでは、図１のエントロピー符号化部１０５に対応した復号処理が実行される。
【００２７】
画像圧縮データは、逆量子化及び逆ＤＣＴ部２０５に入力されて復号される。逆量子化及び逆ＤＣＴ部２０５の出力データは、加算器２０６においてスイッチ２０７からの参照画像データと加算され、画像として再現される。加算器２０６から出力された画像データは、デブロッキングフィルタ２０８にてブロック歪が低減される。デブロッキングフィルタ２０８の出力画像データは、復号出力として出力端子２０９に導出されるとともに、画像メモリに格納される。
【００２８】
動き補償部２１０では、送られて来た動きベクトルの情報を用いて、画像メモリに格納されている復号画像データを動き補正する。動き補償部２１０から出力された補正画像データは、重み付き予測部２１１にて明るさの重み付けがなされた後、スイッチ２０７を介して、加算器２０６に入力される。フレーム内で圧縮された画像データ（Ｉ（Ｉｎｔｒａ）スライスとも称される、又はＩＤＲ（Instantaneous Decoding Refresh ）ピクチャとも称される）が到来したときは、逆量子化及び逆ＤＣＴ部２０５、画面内予測部２１２、スイッチ２０７、加算器２０６、デブロッキングフィルタ２０８、動き補償部２１０の経路が構築される。そして、フレーム内画像圧縮データが復号され、１フレーム分の画像データが画像メモリに構築される。このフレーム内符号化画像データが基準画像データとして、利用される。
【００２９】
図３には、Ｈ．２６４／ＡＶＣ規格に準拠し、かつ本発明を適用した上記のストリームの階層構造を示している。ストリームは、大きな単位としてＥＶＯＢＵ(Extended- video object Unit)の単位で区切られており、１つのＥＶＯＢＵには、複数のＰａｃｋという単位が存在する。なお、ＥＶＯＢＵは、必ずしも必要とする単位ではなく、ストリームが直接Ｐａｃｋで区切られていてもよい。
【００３０】
複数のＰａｃｋから所定のデータ部のデータを集めると、１つのアクセスユニットを含む。１つのアクセスユニットは、複数のＮＡＬ（Network Abstraction Layer:ネットワーク抽象レイヤ）ユニットを含む。ＮＡＬは、ビデオコーディングレイヤ（ＶＣＬ）と、符号化した情報を伝送・蓄積する下位システム（レイヤ）と間の層（レイヤ）であり、ＶＣＬと下位システムとを関連つけるための層である。
【００３１】
ＮＡＬユニットは、ＮＡＬヘッダと、ＶＣＬで得られた情報を格納したＲＢＳＰ（Raw Byte Sequence Payload: ロー・バイト・シーケンス・ペイロード、動画像圧縮された生データ）の部分から構成されている。したがって、ＮＡＬユニットとしては、複数の種類が存在する。ＮＡＬユニットの種類は、ＮＡＬヘッダ内のnal_unit_typeにより判別することが可能である。またＮＡＬヘッダ内には、nal_ref_idcが記述されており、ＮＡＬユニットの識別情報として利用される。つまり本ＮＡＬユニットが、参照されるべきＮＡＬユニットであるか否かを示している。
【００３２】
ＲＢＳＰ部分のデータ内容としては、ＳＰＳ，ＰＰＳ、符号化情報圧縮データなどが存在する。これらの情報の違いは、nal_unit_typeにより分類されている。
【００３３】
ここで、nal_ref_idc を、本発明ではユニークな方法で使用している。つまり、ＮＡＬユニットがピクチャユニットであった場合、nal_ref_idc に優先度を示す情報（たとえば番号）を記述している。このnal_ref_idcに対する優先度に割付方法については、後で詳しく説明する。
【００３４】
ＲＢＳＰ部分にもヘッダが存在する。このヘッダには、識別情報（たとえば番号）、マクロブロックタイプ、参照先ピクチャ情報（たとえば番号）、参照先ＳＰＳ情報（たとえば番号）、参照先ＰＰＳ情報（たとえば番号）、スライスの符号化モードなどの情報が記述される。またＮＡＬユニットがパラメータ・セット（ＳＰＳ，ＰＰＳ）のためのユニットであった場合、ＳＰＳ情報（たとえば番号）、又はＰＰＳ情報（たとえば番号）、参照先ＳＰＳ情報（たとえば番号）などが記述されている。圧縮データ部には、パラメータの情報が記述されている。
【００３５】
図４には、ＮＡＬユニットの種類を示す識別子と、その意味する内容をテーブルにして示している。
【００３６】
アクセスユニットは、ピクチャ単位の複数のＮＡＬユニット（スライス）を寄せ集めたものである。複数のＰａｃｋの中に複数のＮＡＬユニットが存在してもよし、１個のＮＡＬユニットが存在してもよい。
【００３７】
アクセスユニット内には、符号化情報圧縮データの入ったＶＣＬ，ＮＡＬが１ないし複数存在する。これ以外に、ＳＰＳ，ＰＰＳ、その他の付帯情報が存在することもある。アクセスユニットには、必ず１個のたＰＰＳを付け、このアクセスユニットを構成するスライスは、すべて同一のＰＰＳを参照するようにしてもよい。
【００３８】
図５には、ＮＡＬユニットの各種のタイプを示している。ＳＰＳ用ＮＡＬユニットは、データ部にプロファイルなどの情報を有し、またデータ部のヘッダ内には、自己の識別番号であるＳＰＳ番号が含まれる。ＰＰＳ用ＮＡＬユニットは、データ部に符号化モードなどの情報を有し、またデータ部のヘッダ内には、自己の識別番号であるＰＰＳ番号、また参照すべきＳＰＳの番号（参照先ＳＰＳ番号）が記述されている。ピクチャ用ＮＡＬユニットは、データ部に画像圧縮データを有し、またデータ部のヘッダ内には、自己の識別番号、参照すべきピクチャを示す参照先ピクチャ番号（又は参照すべきＰＰＳを特定するための参照先ＰＰＳ番号）、動き補償ブロックの動きベクトル情報、スライス番号などを含む。
【００３９】
上記のようにＶＣＬ，ＮＡＬユニットには、参照すべきＰＰＳを特定するために参照先ＰＰＳ番号が記述されている。またＰＰＳ用ＮＡＬユニットには、参照すべきＳＰＳを特定するために参照先ＳＰＳ番号が記述されている。
【００４０】
ここでユニット識別番号の割付に関して、以下のようなルールが設定されている。即ち画像データのユニット（ピクチャユニット）は、そのヘッダに参照先ユニット番号としてＰＰＳのユニット識別番号を記述している。このユニット識別番号がＰＰＳのユニット識別番号でない場合には、ピクチャユニットの識別番号（予測画像を得るための識別番号である）を記述している。またＰＰＳのユニットは、参照先ユニット番号としてＳＰＳのユニットの識別番号をそのヘッダに記述している。
【００４１】
図６は、ルール参照テーブルである。図６には、ストリームをランダムアクセスする単位をＰａｃｋとしたとき、ピクチャユニットに対して、パック内優先度をつける場合の例と、優先度をつけられたピクチャユニットと、パラメータ・セット（ＳＰＳ，ＰＰＳ）との関連を示す。今、カテゴリ３からカテゴリ０の順に優先度が低くなるものとする。
【００４２】
＊カテゴリ３：パック内の最初のピクチャユニット（ランダムアクセスポイント）、及び、早送り再生時に基準データとして復号するピクチャユニットのうち、最初の数枚のピクチャに対しては、最も高い優先度（第１）を設定する、
＊カテゴリ２：早送り再生時に例えば参照先データとして復号に用いるピクチャユニットには、第２の優先度をつける、
＊カテゴリ１：早送り再生時に復号することなくスキップするピクチャユニットに対しては、第３の優先度をつける、
＊カテゴリ０：他のピクチャユニットから参照されないピクチャユニットに対しては最下位の優先度をつける。
【００４３】
次に、優先度をつけられたピクチャユニットと、パラメータ・セット（ＳＰＳ，ＰＰＳ）との関連については、以下のように規定されている。
【００４４】
（１）異なるパックに属するＳＰＳ，ＰＰＳを参照してはいけない、
（２）パックの最初のピクチャユニット（ランダムアクセスポイント）には、必ずＳＰＳ，ＰＰＳをつける、
（つまりこの最初のピクチャユニットの参照先ユニット番号は、最も近いＰＰＳのユニット識別番号を示し、またこのＰＰＳユニット内の参照先ユニット番号は、これに最も近いＳＰＳユニットの識別番号を示している）
（３）カテゴリ３に属するピクチャユニット（基準データとなるユニット）にも必ずＳＰＳ及びＰＰＳをつける、
（４）一定の優先度以上のピクチャユニットには必ずＰＰＳ（およびＳＰＳ）をつける、
（例えばスキップ再生時に参照されるピクチャユニットには、ＰＰＳをつける）、ここで、ＰＰＳユニットの参照先ユニット番号は、ＳＰＳユニットのユニット識別番号を示している、
（５）当該ピクチャユニットよりも優先度の低いピクチャユニットにつけられているＰＰＳ（及びＳＰＳ）を参照してはいけない、
（６）一定の優先度以下のピクチャユニットに付けられたＰＰＳ（およびＳＰＳ）を、他のピクチャユニットが参照してはいけない、
（７）当該ピクチャユニットよりも優先度の高いピクチャユニットをまたいでＰＰＳ参照してはいけない。
【００４５】
（８）一定の優先度以下のピクチャユニットにはＳＰＳをつけてはいけない、
（９）優先度が一定以上のＩピクチャ（フレーム内符号化されたピクチャ）以外にはＳＰＳをつけてはいけない。
【００４６】
また、ランダムアクセスを行う単位として、複数のアクセスユニットをまとめたＧＯＶＵを定義し、上記ピクチャの優先度付けとＧＯＶＵとの関連に関して、以下のような規則を定めても良い。
【００４７】
（１０）カテゴリ３に属するピクチャユニットは、必ずＧＯＶＵの先頭とする。
【００４８】
図７には、上記及び図６に示すルールを適用した場合のストリーム上のユニットの相互関連を示している。
【００４９】
ストリームを所定の情報単位で区切り、かつこの情報単位内にユニット（Ｐ）、（ＰＰＳ），（ＳＰＳ）を含むようにした第４のユニット（Ｐａｃｋ）を定義し、ユニット（Ｐａｃｋ）内で、上記したルールが適用されている。図７では、先行Ｐａｃｋと次のＰａｃｋを示している。Ｐは１つのアクセスユニットに含まれる画像圧縮データのユニットを示している。そして、ユニット（Ｐ）内の数字3,2,1,0は、それぞれ優先度を示している。
【００５０】
またＳＰＳは、シーケンス・パラメータ・セットのユニットを示し、ＰＰＳは、ピクチャ・パラメータ・セットのユニットを示している。丸印が付された点線で示す矢印は、参照先ユニットが許可されていることを示している。×印が付された点線で示す矢印は、参照先ユニットが禁止されていることを示している。
【００５１】
上記のルールであると、ランダムアクセスを行い、スキップ再生を行う場合に便利である。このときは、Ｐａｃｋ単位のデータをデコーダにてデコードするとき、優先度の高いピクチャユニット（上記の例であると、第１位である優先度”３”のピクチャユニット）のみを再生する。このとき、優先度の高いピクチャユニットには必ずパラメータ・セット（ＰＰＳ、ＳＰＳ）が付加されているので、デコーダ側で必要なパラメータ・セットを正しくデコードすることができる。次に第２位の優先度のピクチャユニットには、”２”が付され、これよりも低い第３位の優先度のピクチャユニットには”１”が付され、さらに低い優先度のピクチャユニットには”０”が付されている。
【００５２】
さらに、Ｐａｃｋという定義を行っている。このために、Ｐａｃｋ単位を記録媒体（ＤＶＤ、或いはハードディスク）に記録する単位として決められているパック内データに対応つけることができる。すると、記録媒体に記録されたＤＶＤフォーマットのストリームを再生し、このストリームの中から、パックを抽出し、このパック内のＮＡＬユニットを組み立てることにより、図２或いは図７に示したストリームを再構築することが可能である。
【００５３】
図８には、上記したルールに基づいて、エンコーダ側において、ＳＰＳ，ＰＰＳ、ピクチャユニットの管理を行う回路の例を示している。Ｐａｃｋ設定部１２１ａは、入力画像データの再生時間、或いはフレーム数、さらにはストリームの推測データ量などを基準として、パック（図７参照）を設定する。パック境界信号は、Ｐａｃｋ内ルール適用部１３０に与えられる。Ｐａｃｋ内ルール適用部１３０は、図６、図７で説明したように、ピクチャユニットに対して、関連つけるＰＰＳ，ＰＰＳを決定する。Ｐａｃｋ境界信号は、ピクチャユニット管理部１２１ｄにも与えられている。ピクチャユニット管理部１２１ｄは、注目パック内において、先に説明したルールに基づいて優先度の情報を生成する。そして、対応するピクチャユニットに優先度情報を付与している。
【００５４】
Ｐａｃｋ設定部１２１ａは、優先度情報を設定したピクチャユニットを把握しているので、優先度情報に対応して、ＳＰＳ，ＰＰＳの出力タイミングを決めることができる。
【００５５】
図９には、上記したルールに基づいて作成されたストリームを受ける側である、ストリーム解析処理部２０２の内部を詳しく示している。
【００５６】
ストリームは、ＳＰＳ解析部２５１、ＰＰＳ解析部２５２、Ｐａｃｋ境界識別部２５３、及びＮＡＬヘッダ解析部２５４に入力される。ＳＰＳ解析部２５１、ＰＰＳ解析部２５２で得られたパラメータ・セットは、その識別番号ととともに、デコーダの格納部にセットされる。
【００５７】
Ｐａｃｋ境界識別部２５３は、図２で示したパックの境界を検出する。このＰａｃｋ境界検出方法としては、各種の形態が可能である。例えば、Ｈ．２６４符号化ストリームとは別に付帯情報として、Ｐａｃｋの境界を示す情報を用意してもよい。あるいは、専用のＰａｃｋ境界を示す専用のＮＡＬユニットを用意して、ストリーム内のこの境界識別用のＮＡＬユニットを挿入して伝送してもよい。さらには、ＮＡＬタイプ識別子（図４に示したnal_type_id）の中で現在使用していない番号を利用してもよい。例えば、nal_type_id＝１３を含むＮＡＬユニットが到着したら、Ｐａｃｋ境界であると判断させるようにしてもよい。
【００５８】
Ｐａｃｋ境界信号は、ＳＰＳ解析部２５１、ＰＰＳ解析部２５２に対してリセット信号を与える。また参照先ユニット番号系列マップ生成部２５５に対して、Ｐａｃｋ境界信号を与える。参照先ユニット番号系列マップ生成部２５５は、ＮＡＬヘッダ解析部２５４からピクチャユニットの優先度情報及び参照先ユニット番号を受け取り、Ｐａｃｋ内での複数の参照先ユニット番号の系列マップを生成する。このとき、参照先ユニット番号には、付随する優先度情報も付加されている。この系列マップを見ると、図７に示したような参照先ユニット番号と、優先度が判明する。この系列マップは、複数のＰａｃｋ分が生成されている。複数の系列マップは、順次巡回し、新しいＰａｃｋのための系列マップが構築され、古いＰａｃｋの系列マップは破棄されている。
【００５９】
デコーダにおいて注目Ｐａｃｋのピクチャユニットが復号されるときは、上記の参照先ユニット番号系列マップ生成部２５５内の参照先ユニット系列マップが参照される。
【００６０】
図１０には、上記の信号処理を実現するためのフローチャートを示している。入力画像データを符号化する際の開始時に、Ｐａｃｋの先頭かどうかの判定がなされ（ステップＳＡ２）る。Ｐａｃｋの先頭は、例えば、符号化したときのデータ推定量や、フレーム数などで設定されている。Ｐａｃｋの先頭であれば、ＳＰＳの生成が行われ（ステップＳＡ３）、アクセスユニット分の先頭であるかどうかの判定が行われる（ステップＳＡ４）。アクセスユニットの先頭であるかどうかは、ピクチャ（フレーム）の先頭であるかどうかで決まる。アクセスユニットの先頭であれば、ＰＳＰの生成が行われ、エンコーダ部に入力画像データの取り込みが行われる（ステップＳＡ５，ＳＡ６）。次に実際にピクチャの符号化が行われる（ステップＳＡ６）。またここでは、復号時のパラメータ・セット及び参照ピクチャなどを決めるために、参照先ユニット番号の管理も行われている（ステップＳＡ７−１）。さらにまた、パック内での優先度の情報をピクチャユニットに付加する処理も行われる（ステップＳＡ７−２）。
【００６１】
次のステップＳＡ８で、アクセスユニット分のデータの符号化が終了していない場合には、ステップＳＡ２に戻り、終了している場合には、Ｐａｃｋ分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ９）。終了していない場合には、ステップＳＡ２に戻り、終了している場合には、ＥＶＯＢＵ分のデータの符号化が終了したかどうかの判断が行われる（ステップＳＡ１０）。終了していない場合には、ステップＳＡ２に戻り、終了している場合には、終了指令があったかどうかの判断が行われる（ステップＳＡ１１）。指令がない場合には、ステップＳＡ１に戻り、指令があった場合にエンコード動作を終了する。
【００６２】
生成された画像圧縮データを含むユニット、ＳＰＳを含むユニット、ＰＰＳを含むユニットは、ストリームとして出力端子１０６に出力される。
【００６３】
上記した図１０のフローチャートによりデータ処理が実行されるとき、先の図６、図７で記載したルールが適用されており、このルールを実現する手段がエンコーダに含まれている。このルールを実現する基本となるコントローラは、先に説明した符号化制御部１２１である。
【００６４】
図１１には、上記のストリームを受けてデコードを行うデコーダ（図２）のストリーム解析処理部２０２における動作をフローチャートで示している。ストリームが入力するとＮＡＬユニット及びそのＮＡＬヘッダが処理される。ここには、図３で示したようにnal_unit_typeが記述されているので、画像圧縮データを含むピクチャ用ＮＡＬユニット、ＳＰＳ用ＮＡＬユニット、ＰＰＳ用ＮＡＬユニットの種類（図５）の識別を行うことができる。また、Ｐａｃｋ境界のＮＡＬユニットがあればこれを識別することもできる（ステップＳＢ１−１）。
【００６５】
ステップＳＢ１−１でＰａｃｋ境界を示す付帯情報を識別し、ステップＳＢ１−２でＰａｃｋ境界を認識した場合には、先に説明した参照先ユニット番号系列マップ生成部２５５及び関連箇所へＰａｃｋ境界信号によりＰａｃｋ境界の通知が行われる。
【００６６】
ステップＳＢ１−２でＰａｃｋ境界でないことが判別された場合には、ステップＳＢ２に移行する。ステップＳＢ２でＳＰＳ用ＮＡＬユニットかどうかを判別する。違う場合にはステップＳＢ３でＰＰＳ用ＮＡＬユニットかどうかを判別する。違う場合にはステップＳＢ４でピクチャ用ＮＡＬユニットかどうかを判別する。ステップＳＢ４に”スライスか？”と記載しているのはＨ．２６４／ＡＶＣの規格では、画像圧縮単位としてスライスという用語を用いるからである。
【００６７】
ステップＳＢ２でＳＰＳ用ＮＡＬユニットが検出された場合、ＳＰＳの解析処理を行いデコーダへ通知する（ステップＳＢ６）。ステップＳＢ３で、ＰＰＳ用ＮＡＬユニットが検出された場合、ＰＰＳの解析処理を行いでコーダへ通知する（ステップＳＢ７）。これによりデコーダは、ＳＰＳ、ＰＰＳにより符号化モードが設定される。そして、次のステップＳＢ４でピクチャ用ＮＡＬユニットが検出されると、そのデータ部の画像圧縮データがデコーダ２０３にて復号処理される（ステップＳＢ８）。
【００６８】
図１２には、早送り再生がデコーダにおいて指定されているときのデコード動作をフローチャートで示している。先のステップＳＢ１１において、早送り再生が指示されていることが判別された場合（ステップＳＣ１）、注目Ｐａｃｋに関する参照先ユニット番号の系列マップを読み取る（ステップＳＣ２）。この系列マップは、先に説明したように参照先ユニット番号系列マップ生成部２５５に構築されている。次に優先度に基づき、復号するピクチャユニットが選択され、バッファメモリに格納される。復号対象となるピクチャユニットに与えられているＳＰＳ，ＰＰＳをデコーダに設定する（ステップＳＣ３、ＳＣ４）。そしてバッファメモリに格納されている選択されたピクチャユニット（優先度の高いもの）を用いて復号処理が実行される（ステップＳＢ５）。これによりスキップ再生が実現される。
【００６９】
この発明は、上記の実施の形態に限定されるものではない。図３の説明では、Ｐａｃｋの中にアクセスユニットが含まれるものとして説明したが、これに限り者ではない。例えば図１３図に示すように、Ｐａｃｋがより小さい単位として定義された場合には、複数のパックから、ピクチャに関するデータを集合することで、複数のＮＡＬユニットが構築されるフォーマットであってもよい。そして複数のＮＡＬユニットの集合がアクセスユニットを構築するフォーマットであってもよい。この場合は、図１０の処理において、ステップＳＡ８とＳＡ９が入れ替わるだけである。この場合は、先の実施形態がパック（第３のユニット）内で複数のピクチャユニット（第１のユニット）に、復号順序としての優先度をつけるのに比べて、予め設定した複数のパック内で複数のピクチャユニット（第１のユニット）に、復号順序としての優先度をつけることになる。
【００７０】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００７１】
【図１】この発明に係わる動画像符号化装置（エンコーダ）の基本的な構成例を示す図である。
【図２】この発明に係わる復号化装置（デコーダ）の基本的な構成例を示す図である。
【図３】この発明に係わるストリーム構造の説明図である。
【図４】この発明に係わるＮＡＬユニットのタイプとその内容を示す説明図である。
【図５】この発明に係わるＮＡＬユニットの代表的な種類を示す説明図である。
【図６】この発明の要点となるピクチャユニットに対する優先度の付与ルールを示す説明図である。
【図７】この発明の要点となるピクチャユニットに対する優先度の付与ルールを、模式的に示す説明図である。
【図８】図１の符号化制御部の詳細を示すブロック図である。
【図９】図２のストリーム解析処理部の詳細を示すブロック図である。
【図１０】図１のエンコーダの動作において特に本発明の要部となる動作を示すフローチャートである。
【図１１】図２のデコーダの動作において特に本発明の要部となる動作を示すフローチャートである。
【図１２】図２のデコーダの動作において特に本発明の要部となる早送り再生動作を示すフローチャートである。
【図１３】この発明に係わるストリーム構造の他の例を示す説明図である。
【符号の説明】
【００７２】
１０２…減算器、１０３…スイッチ、１０４…ＤＣＴ及び量子化部、１０５…エントロピー符号化部、１０７…逆量子化及び逆ＤＣＴ部、１０８…加算器、１０９…デブロッキングフィルタ、１１０…動き補償部、１１１…重み付き予測部、１１２…動きベクトル検出部、１２１…符号化制御部、２０２…ストリーム解析処理部、２０３…デコーダ、２０４…エントロピー復号部、２０５…逆量子化及び逆ＤＣＴ部、２０６…加算器、２０７…スイッチ、２０８…デブロッキングフィルタ、２１０…動き補償部、２１１…重み付き予測部。
【図１】
2006211617.tif 000003
【図２】
2006211617.tif 000004
【図３】
2006211617.tif 000005
【図４】
2006211617.tif 000006
【図５】
2006211617.tif 000007
【図６】
2006211617.tif 000008
【図７】
2006211617.tif 000009
【図８】
2006211617.tif 000010
【図９】
2006211617.tif 000011
【図１０】
2006211617.tif 000012
【図１１】
2006211617.tif 000013
【図１２】
2006211617.tif 000014
【図１３】
2006211617.tif 000015