(57)【要約】【課題】映像データの復号中にエラーが発生した場合に，エラーの範囲を限定し，エラーの影響を少なくすることができるようにする。【解決手段】符号化部１２は，符号化制御部１６の制御に従って，ストリーム入力部１１に入力されたビットストリームの各画像領域単位を符号化し，符号化結果のピクチャデータを第１バッファ１３に格納し，画像領域単位毎の符号量および付加的情報をユーザデータとして第２バッファ１４に格納する。ストリーム出力部１５は，第１バッファ１３に格納されたピクチャデータと第２バッファ１４に格納されたユーザデータとを符号化ビットストリームとして出力する。この符号化ビットストリームの復号時にエラーが検出された場合には，ユーザデータに従って次に復号すべき位置を決定する。【選択図】    図１
2004274663.tif 000002
【特許請求の範囲】
【請求項１】
可変長符号化を利用し，かつユーザデータの利用が可能な符号化方式を用いて映像データを符号化する映像データ符号化方法において，
符号化対象の映像データを可変長符号化する過程と，
可変長符号化された画像領域単位毎の符号量を，ユーザデータとして符号化結果のビットストリームに挿入する過程とを有することを特徴とする映像データ符号化方法。
【請求項２】
可変長符号化を利用し，かつユーザデータの利用が可能な符号化方式を用いて映像データを符号化する映像データ符号化方法において，
符号化対象の映像データを可変長符号化する過程と，
可変長符号化された画像領域単位毎の符号量，および可変長符号化された画像領域単位毎の付加的情報を，ユーザデータとして符号化結果のビットストリームに挿入する過程とを有することを特徴とする映像データ符号化方法。
【請求項３】
請求項１または請求項２記載の映像データ符号化方法を用いて符号化された映像データを復号する映像データ復号方法において，
前記ユーザデータとして符号化されている画像領域単位毎の符号量，および付加的情報が符号化されている場合にはその付加的情報を復号する過程と，
前記復号された符号量，または前記復号された符号量と付加的情報とに基づき，特定の１つ以上の画像領域単位のみを復号する過程を有することを特徴とする映像データ復号方法。
【請求項４】
請求項１または請求項２記載の映像データ符号化方法を用いて符号化された映像データを復号する映像データ復号方法において，
前記ユーザデータとして符号化されている画像領域単位毎の符号量，および付加的情報が符号化されている場合にはその付加的情報を復号する過程と，
復号対象の映像データを復号する過程と，
前記映像データを復号する過程で，第一の画像領域単位を復号中にエラーを検出した場合に，前記ユーザデータを復号して得られた第一の画像領域単位の符号量，または前記符号量と前記付加的情報とに基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する過程を有することを特徴とする映像データ復号方法。
【請求項５】
請求項１または請求項２記載の映像データ符号化方法を用いて符号化された映像データを復号する映像データ復号方法において，
前記ユーザデータとして符号化されている画像領域単位毎の符号量，および付加的情報が符号化されている場合にはその付加的情報を復号する過程と，
復号対象の映像データを復号する過程と，
前記映像データを復号する過程で，第一の画像領域単位を復号中に第一のエラーを検出した場合に，前記ユーザデータを復号して得られた第一の画像領域単位の符号量，または前記符号量と前記付加的情報とに基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する過程と，
さらに前記第二の画像領域単位を復号する過程で，第二のエラーを検出した場合に，第一の画像領域単位に相当するデータから特定のビット数だけ先または後ろのデータから第二の画像領域単位を復号する過程とを有することを特徴とする映像データ復号方法。
【請求項６】
可変長符号化を利用し，かつユーザデータの利用が可能な符号化方式を用いて映像データを符号化する映像データ符号化装置において，
符号化対象の映像データを可変長符号化する手段と，
可変長符号化された画像領域単位毎の符号量を，ユーザデータとして符号化結果のビットストリームに挿入する手段とを備えることを特徴とする映像データ符号化装置。
【請求項７】
可変長符号化を利用し，かつユーザデータの利用が可能な符号化方式を用いて映像データを符号化する映像データ符号化装置において，
符号化対象の映像データを可変長符号化する手段と，
可変長符号化された画像領域単位毎の符号量，および可変長符号化された画像領域単位毎の付加的情報を，ユーザデータとして符号化結果のビットストリームに挿入する手段とを備えることを特徴とする映像データ符号化装置。
【請求項８】
請求項６または請求項７記載の映像データ符号化装置により符号化された映像データを復号する映像データ復号装置であって，
前記ユーザデータとして符号化されている画像領域単位毎の符号量，および付加的情報が符号化されている場合にはその付加的情報を復号する手段と，
前記復号された符号量，または前記復号された符号量と付加的情報とに基づき，特定の１つ以上の画像領域単位のみを復号する手段とを備えることを特徴とする映像データ復号装置。
【請求項９】
請求項６または請求項７記載の映像データ符号化装置により符号化された映像データを復号する映像データ復号装置において，
前記ユーザデータとして符号化されている画像領域単位毎の符号量，および付加的情報が符号化されている場合にはその付加的情報を復号する手段と，
復号対象の映像データを復号する手段と，
前記映像データの復号中に，ある画像領域単位でエラーを検出した場合に，前記ユーザデータを復号して得られた当該画像領域単位の符号量，または前記符号量と前記付加的情報とに基づき，次に復号を開始するビットストリームの位置を決定する手段とを備えることを特徴とする映像データ復号装置。
【請求項１０】
請求項１または請求項２記載の映像データ符号化方法をコンピュータに実行させるための映像データ符号化プログラム。
【請求項１１】
請求項３，請求項４または請求項５記載の映像データ復号方法をコンピュータに実行させるための映像データ復号プログラム。
【請求項１２】
請求項１または請求項２記載の映像データ符号化方法をコンピュータに実行させるための映像データ符号化プログラムを記録した記録媒体。
【請求項１３】
請求項３，請求項４または請求項５記載の映像データ復号方法をコンピュータに実行させるための映像データ復号プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，映像データの符号化および復号技術に関し，特に，エラーの影響をより限定するための動画像データの符号化方法および動画像データの復号中にエラーが検出された際のエラーコンシールメント処理方法に関するものである。
【０００２】
【従来の技術】
例えば，以下の非特許文献１に記載されているように，ＭＰＥＧ−２映像符号化方式においては，ビットストリームは階層構造になっており，上位層から順にシーケンス（Ｓｅｑｕｅｎｃｅ）  層，ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）層，ピクチャ（Ｐｉｃｔｕｒｅ）  層，スライス（ｓｌｉｃｅ）  層，マクロブロック（Ｍａｃｒｏ  Ｂｌｏｃｋ）  層，およびブロック（Ｂｌｏｃｋ）  層から構成される。シーケンス層からスライス層までの各階層では，３２ビットのユニークなスタートコードが与えられており，これにより各層が区別されるとともに，エラー回復ポイントにもなっている。
【０００３】
スライス層は画面内で横長の帯状の領域を示し，画面を複数のスライスで構成することにより，あるスライス層でエラーが発生すると，次のスライス層のスタート（ｓｌｉｃｅ  ｓｔａｒｔ  ｃｏｄｅ）からの同期でエラーを回復する。
【０００４】
【非特許文献１】
ＭＰＥＧ−２  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ＩＳＯ／ＩＥＣ  １３８１８−２  １９９５
【０００５】
【発明が解決しようとする課題】
例えばＭＰＥＧ−２映像符号化方式においては，あるスライス層を復号している際に復号が不可能になってエラーが検出されると，従来は次のスライス層のスタートからの同期でエラーを回復することになる。スライス層は１つ以上のマクロブロック層から構成されているが，マクロブロック層にはユニークなスタートコードが与えられておらず，かつ可変長符号化されているため，マクロブロック層の境界のデータ位置を特定することが困難である。
【０００６】
したがって，この場合，エラーが生じた時点からそのスライス層の最後までの画像領域は全て復号が不可能になってしまう。そこで，エラーが生じた時点からそのスライス層の最後までの画像領域のうち，なるべく多くの領域を復号可能にすることが，本発明が解決しようとする課題である。
【０００７】
【課題を解決するための手段】
本発明は，上記間題点を解決するために，可変長符号化を利用し，かつユーザデータの利用が可能なディジタル映像データ符号化方式において，可変長符号化されている画像領域単位毎の符号量および必要に応じて画像領域単位毎の付加的情報をユーザデータとしてビットストリームに挿入する。そして，符号化された映像データを復号する過程でエラーが生じた場合に，ビットストリームに挿入された上記ユーザデータに基づいて復号処理を行う。
【０００８】
ここで，ユーザデータは，ユーザによる特定のアプリケーションのために定義されるデータであり，例えばＭＰＥＧ−２においては，ユーザデータスタートコード（１６進法で０００００１Ｂ２）から始まるビット列のことである。ユーザデータは，他のスタートコードを受け取るまで継続する。
【０００９】
また，付加的情報は，画像領域単位についての全ての情報のうち，画像領域単位の符号量を除いたものである。ＭＰＥＧ−２では，ＤＣ係数予測値，量子化スケールコード（ｑｕａｎｔｉｓｅｒ  ＿ｓｃａｌｅ  ＿ｃｏｄｅ），動きベクトルの予測値などの付加的情報がある。
【００１０】
本発明は，符号化された映像を伝送する際に，（１）  ビットストリーム上でエラーが発生したことを検出する，（２）  映像を復号する際にユーザデータを利用してエラー範囲を限定する，または（３）  画像中の重要な部分を選択的に復号する，という特徴を有し，本発明を用いることにより，映像データの復号中にエラーが発生した場合に，エラーによって復号できない情報を少なくして，エラーの影響をより限定することが可能となる。
【００１１】
【発明の実施の形態】
以下，図を用いて本発明の実施の形態を説明する。
【００１２】
図１は，本発明に係る映像データ符号化装置の構成の一例を示す図である。図１において，１は映像データ符号化装置，１１は符号化対象のビットストリームを入力するストリーム入力部，１２は入力されたビットストリームを符号化する符号化部，１３は符号化された画像領域単位のピクチャデータが記憶される第１バッファ，１４は符号化された画像領域単位の符号量またはその符号量と付加的情報とがユーザデータとして記憶される第２バッファ，１５は第１バッファ１３に記憶されたピクチャデータと第２バッファ１４に記憶されたユーザデータを出力するストリーム出力部，１６は映像データ符号化装置１内の上記各部を制御する符号化制御部である。また，図１中，点線は制御の流れを，実線はストリームの流れを示す。
【００１３】
図２は，本発明に係る映像データ符号化処理フローの一例を示す図である。まず，ｎ＝０として（ステップＳ１），ｎ番目の画像領域単位を符号化して，そのピクチャデータを第１バッファ１３に送り，符号量またはその符号量と付加的情報とを抽出したユーザデータを第２バッファ１４に送る（ステップＳ２）。
【００１４】
次に，ピクチャデータとユーザデータを出力してよいかの判断を行う（ステップＳ３）。今後符号化する画像領域単位とストリームの位置が逆転することがない場合，データを出力してよいと判断する。出力してよい場合には，各バッファ中のピクチャデータとユーザデータを出力してバッファをクリアする（ステップＳ４）。出力不可の場合には，ステップＳ５に移行する。
【００１５】
ステップＳ５では，符号化すべき画像の最後かを判断し，符号化すべき画像の最後である場合には処理を終了し，符号化すべき画像が残っている場合には，ｎを１インクリメントして（ステップＳ６），ステップＳ２に戻る。
【００１６】
図３は，本発明に係る映像データ復号装置の構成の一例を示す図である。図３において，２は映像データ復号装置，２１は符号化されたビットストリームを入力するストリーム入力部，２２は入力されたビットストリームを復号する復号部，２３は復号された画像領域単位のピクチャデータが記憶される第３バッファ，２４は復号された画像領域単位のユーザデータである符号量またはその符号量と付加的情報とが記憶される第４バッファ，２５は復号されたビットストリームを出力するストリーム出力部，２６はビットストリーム復号中のエラー検出を行うとともに，エラーが検出された場合に，第４バッファ２４に記憶されたユーザデータ（符号量，付加的情報）に基づいて，次の画像領域単位の復号を復号部２２に行わせる復号制御部である。また，図３中，点線は制御の流れを，実線はストリームの流れを示す。
【００１７】
図４は，本発明に係る映像データ復号処理フローの一例を示す図である。まず，ｎ＝０として（ステップＳ１１），ｎ番目の画像領域単位を復号し，その復号したピクチャデータを第３バッファ２３に送り，ユーザデータを復号した符号量またはその符号量と付加的情報とを第４バッファ２４に送る（ステップＳ１２）。
【００１８】
ステップＳ１２におけるｎ番目の画像領域単位を復号中にエラーを生じたかを判断する（ステップＳ１３）。すなわち，解釈不能あるいは矛盾を生じるビットストリームを受信したかを判断する。エラーを生じていない場合には，第３バッファ２３の映像を表示した後，第３バッファ２３をクリアして第４バッファ２４を更新する（ステップＳ１４）。復号中にエラーを生じた場合には，第４バッファ２４中の情報からｎ＋１番目の画像領域単位を復号するための情報を抽出して第４バッファ２４を更新する（ステップＳ１５）。
【００１９】
復号すべき画像の最後かを判断し（ステップＳ１６），復号すべき画像の最後である場合には処理を終了し，復号すべき画像が残っている場合には，ｎを１インクリメントして（ステップＳ１７），ステップＳ１２に戻る。
【００２０】
以上の映像データ符号化装置１および映像データ復号装置２による処理は，ハードウェアによっても実現できるが，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００２１】
［第１の実施の形態］
以下に，本発明の第１の実施の形態について，ＭＰＥＧ−２で符号化された映像を例に，具体的に説明する。本発明の第１の実施の形態では，可変長符号化されている画像領域単位毎の符号量を，ユーザデータとしてビットストリーム中に挿入する。
【００２２】
ＭＰＥＧ−２映像符号化では，ユーザデータをビットストリーム中の以下の場所に挿入できる。
（１）    ｓｅｑｕｅｎｃｅ  ＿ｅｘｔｅｎｓｉｏｎ（）  の直後
（２）    ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅｓ＿ｈｅａｄｅｒ（）の直後
（３）    ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）  の直後
例えば，図５は，ユーザデータ（ｕｓｅｒ＿ｄａｔａ）をビットストリーム中の  ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）  の直後に挿入した場合の例である。
【００２３】
マクロブロックにおけるビットの上限数は，ｃｈｒｏｍａ  ｆｏｒｍａｔ  が４：２：０，４：２：２，４：４：４のとき，それぞれ４６０８，６１４４，９２１６である。しかし，マクロブロックの各水平列にあるマクロブロック２つまでは，この数を上回ることができる。
【００２４】
ｃｈｒｏｍａ  ｆｏｒｍａｔ  が４：２：２以下の場合には，マクロブロックあたりのビット数は１３ビットで表現できる（２１３＝８１９２）。また，ユーザデータは２３個またはそれ以上の連続した“０”のビット列を含んではならない。
【００２５】
本発明の第１の実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を単一のマクロブロックとした場合の例である。ここで，本実施の形態における画像領域単位の符号量は，０ビット以上３３５６２６１７（＝２２５＋２１３−７）ビット以下とする。フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位（＝マクロブロック）の符号量を以下のようにして符号化する。図６に，符号化されたマクロブロックの符号量をユーザデータとした場合の例を示す。
【００２６】
（１）  マクロブロックの符号量が０ビット以上８１８６（＝２１３−６）ビット以下の場合には，図６（Ａ）に示すように，「（マクロブロックの符号量＋４）の値（１３ビット）」を１３ビットで符号化する。
【００２７】
（２）  画像領域単位の符号量が８１８７（＝２１３−５）ビット以上３３５６２６１７ビット（＝２２５＋２１３−７）以下の場合には，図６（Ｂ）に示すように，「１ＦＦＦ（１３ビット）」，「（マクロブロックの符号量−２１３＋５）の値を２５ビットで表したときの上位２２ビット」，「１（１ビット）」，「（マクロブロックの符号量−２１３＋５）の値を２５ビットで表したときの下位３ビット」の順に３９ビットで符号化する。なお，上記１ＦＦＦは，１６進数で表したビット値であり，以下の説明でもビット値は１６進数で表す。
【００２８】
マクロブロックの符号量が０ビット以上８１８６ビット以下の場合に「マクロブロックの符号量＋４の値（１３ビット）」を符号化する理由は，この１３ビットの上位１１ビットのいずれかに“１”を含ませるためである。これにより，この１３ビットに先行する１３ビットの下位１２ビットが全てゼロであっても“０”が２３個以上連続することを防ぐことができる。
【００２９】
ここで，各フレームは６８個のスライスから構成され，各スライスは１２０個のマクロブロックから構成されており，かつ全てのマクロブロックの符号量が０ビット以上８１８６ビット以下であると仮定すると，本実施の形態における映像データ符号化方法でフレーム内の全てのマクロブロックの符号量を表すには，１３ビット×１２０×６８＝１０６０８０ビットだけ必要とするため，これを本実施の形態におけるユーザデータとする。
【００３０】
そして，当該フレームのｐｉｃｔｕｒｅ  ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）  の直後に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と上記ユーザデータを挿入する。本実施の形態では，ピクチャ毎にユーザデータスタートコードを含めて１０６１１２ビット必要とすることから，フレーム周波数が２９．９７（＝３００００／１００１）Ｈｚの場合には，約３．１８×１０６  ビット／秒の符号量となる。
【００３１】
［第２の実施の形態］
本発明の第２の実施の形態は，ユーザデータとしてビットストリーム中に挿入する付加的情報がマクロブロック数の場合の例であり，可変長符号化されている画像領域単位毎の符号量およびマクロブロック数を，ユーザデータとして挿入する。また，本実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とした場合の例である。
【００３２】
これにより，第１の実施の形態に比較して，ユーザデータの符号量を削減することができる。すなわち，本実施の形態では，フレーム内の各スライスを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００３３】
ここで，第２の実施の形態における画像領域単位については，以下の（ａ）  〜（ｄ）  について，「（ａ）  かつ（ｂ）  かつ（（ｃ）  または（ｄ）  ）」を満たすものとする。
（ａ）  画像領域単位を構成するマクロブロックの数は，１個以上１１１４１０８（＝２２０＋２１６−４）個以下である。
（ｂ）  画像領域単位の符号量は，０ビット以上１１１４１０８（＝２２０＋２１６−４）ビット以下である。
（ｃ）  画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
（ｄ）  画像領域単位を構成する全てのマクロブロックはスキップマクロブロックである。
【００３４】
フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図７に，符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００３５】
（１）  画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３４（＝２１６−２）ビット以下の場合には，図７（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１６ビット）」の順に２０ビットで符号化する。
【００３６】
（２）  画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３５（＝２１６−１）ビット以上１１１４１０８（＝２２０＋２１６−４）ビット以下の場合には，図７（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「ＦＦＦＦ（１６ビット）」，「（画像領域単位の符号量−２１６＋２）の値（２０ビット）」の順に４０ビットで符号化する。
【００３７】
（３）  画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２１９＋１３）個以下で，かつ画像領域単位の符号量が６５５３４（＝２１６−２）ビット以下の場合には，図７（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１６ビット）」の順に４０ビットで符号化する。
【００３８】
（４）  画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２１９＋１３）個以下で，かつ画像領域単位の符号量が６５５３５（＝２１６−１）ビット以上１１１４１０８（＝２２０＋２１６−４）ビット以下の場合には，図７（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１ＦＦＦＦ（１７ビット）」，「（画像領域単位の符号量−２１６＋２）の値（２０ビット）」の順に６０ビットで符号化する。
【００３９】
例えば，画像領域単位の「マクロブロック数」と「そのマクロブロック数全体の符号量」の組がスライスの先頭から順に（１０，５３６７），（１１，４５３６６），（３，６５５３７），（１５，０），（１２，５８６７）であった場合，画像領域単位毎の符号量は１６進数表示でＡ１４Ｆ７    ＢＢ１３６    ３ＦＦＦＦ００００３Ｆ００００１００００    Ｃ１６ＥＢのように符号化される。（１０，５３６７，１１，４５３６６，１２，５８６７を１６進数表示するとそれぞれＡ，１４Ｆ７，Ｂ，Ｂ１３６，Ｃ，１６ＥＢとなる。）
ここで，各フレームは６８個のスライスから構成され，１スライスあたり平均１２個の画像領域単位で構成されており，画像領域単位を構成するマクロブロックの数が１４個以下で，かつ全ての画像領域単位の符号量が０ビット以上６５５３５ビット以下であると仮定すると，本発明の第２の実施の形態における映像データ符号化方法でフレーム内の全ての画像領域単位の符号量を表すには，２０ビット×１２×６８＝１６３２０ビットだけ必要とするため，これを本実施の形態におけるユーザデータとする。
【００４０】
この符号化結果から，当該フレームの  ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ（）  の直後に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と上記ユーザデータを挿入する。
【００４１】
本発明の第２の実施の形態では，フレーム毎にユーザデータスタートコードを含めて１６３５８ビット必要とすることから，フレーム周波数が２９．９７（＝３００００／１００１）Ｈｚの場合には，約４９０×１０３  ビット／秒の符号量となる。
【００４２】
［第３の実施の形態］
本発明の第３の実施の形態は，第２の実施の形態と同様に，可変長符号化されている画像領域単位毎の符号量およびマクロブロック数を，ユーザデータとして挿入する。本発明の第３の実施の形態は，ＭＰＥＧ−４映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とした場合の例である。
【００４３】
ＭＰＥＧ−４映像符号化では，ユーザデータをビットストリーム中の以下の場所に挿入できる。
（１）    ｐｒｏｆｉｌｅ＿ａｎｄ  ＿ｌｅｖｅｌ  ＿ｉｎｄｅｃａｔｉｏｎ（）の直後
（２）    ｖｉｓｕａｌ  ＿ｏｂｊｅｃｔ＿ｔｙｐｅ（）の直後
（３）    Ｇｒｏｕｐ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（）の直前
（４）    Ｇｒｏｕｐ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（）がない場合にはＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（）の直前
（５）    Ｇｒｏｕｐ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（）中のｂｒｏｋｅｎ＿ｌｉｎｋの直後
ユーザデータは，２３個またはそれ以上の連続した“０”のビット列を含んではならない。
【００４４】
本実施の形態では，上記（３）  の「  Ｇｒｏｕｐ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（）の直前」にユーザデータを挿入する。また，本実施の形態では，Ｇｒｏｕｐ  ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ内の各ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００４５】
ここで，本実施の形態における画像領域単位については，以下の（ａ）  〜（ｅ）  について，「（ａ）  かつ（ｂ）  かつ（ｃ）  かつ（（ｄ）  または（ｅ）  ）」を満たすものとする。
（ａ）      画像領域単位を構成するマクロブロックの数は，１個以上１３１０８５（＝２１７＋１３）個以下である。
（ｂ）      画像領域単位の符号量が０ビット以上１１１４１０８（＝２２０＋２１６−４）ビット以下である。
（ｃ）      画像領域単位を構成するマクロブロックは，同一のＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ内にある。
（ｄ）      画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
（ｅ）      画像領域単位を構成する全てのマクロブロックは，スキップマクロブロックである。
【００４６】
Ｇｒｏｕｐ  ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図８に，本実施の形態において符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００４７】
（１）  画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が１６３８２（＝２１４−２）ビット以下の場合には，図８（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１４ビット）」の順に１８ビットで符号化する。
【００４８】
（２）  画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が１６３８３（＝２１４−１）ビット以上２７８５２５（＝２１８＋２１４−３）ビット以下の場合には，図８（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「３ＦＦＦ（１４ビット）」，「（画像領域単位の符号量−２１４＋１）の値（１８ビット）」の順に３６ビットで符号化する。
【００４９】
（３）  画像領域単位を構成するマクロブロックの数が１５個以上１３１０８５（＝２１７＋１３）個以下で，かつ画像領域単位の符号量が１６３８２（＝２１４−２）ビット以下の場合には，図８（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１７ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１４ビット）」の順に３６ビットで符号化する。
【００５０】
（４）  画像領域単位を構成するマクロブロックの数が１５個以上１３１０８５（＝２１７＋１３）個以下で，かつ画像領域単位の符号量が１６３８３（＝２１４−１）ビット以上２７８５２５（２１８＋２１４−３）ビット以下の場合には，図８（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１７ビット）」，「７ＦＦＦ（１５ビット）」，「（画像領域単位の符号量−２１４＋１）の値（１８ビット）」の順に５４ビットで符号化する。
【００５１】
ここで，各ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅは３９６（＝２２×１８）個のマクロブロックから構成されており，各ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅは平均３６個の画像領域単位で構成されており，画像領域単位を構成するマクロブロックの数が１４個以下で，かつ全ての画像領域単位の符号量が０ビット以上１６３８２ビット以下であると仮定すると，第３の実施の形態における映像データ符号化方法でＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ内の全ての画像領域単位の符号量を表すには，１８ビット×３６＝６４８ビットだけ必要とする。
【００５２】
さらに，Ｇｒｏｕｐ  ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅは１５個のＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅからなるとすると，これを第３の実施の形態におけるユーザデータとする。当該  Ｇｒｏｕｐ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅのＧｒｏｕｐ  ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ（）の直前に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と９７２０（＝６４８×１５）ビットのユーザデータを挿入する。
【００５３】
本発明の第３の実施の形態では，Ｇｒｏｕｐ  ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ毎にユーザデータスタートコードを含めて９７５２ビット必要とすることから，フレーム周波数が３０Ｈｚの場合には，約１９．５×１０３  ビット／秒の符号量となる。
【００５４】
［第４の実施の形態］
本発明の第４の実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とし，かつ画像領域単位毎の符号量に加えて付加的情報をユーザデータとして符号化する場合の例であり，特に，ユーザデータとしてビットストリーム中に挿入する付加的情報が，マクロブロック数，ＤＣ係数予測値，量子化スケールコード，動きベクトルの予測値の場合の例である。
【００５５】
本実施の形態では，第２の実施の形態と同様に，フレーム内の各スライスを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００５６】
ここで本実施の形態における画像領域単位については，第２の実施の形態と同様に，以下の（ａ）  〜（ｄ）  について，「（ａ）  かつ（ｂ）  かつ（（ｃ）  または（ｄ）  ）」を満たすものとする。
（ａ）  画像領域単位を構成するマクロブロックの数は，１個以上１１１４１０８（＝２２０＋２１６−４）個以下である。
（ｂ）  画像領域単位の符号量は，０ビット以上１１１４１０８（＝２２０＋２１６−４）ビット以下である。
（ｃ）  画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
（ｄ）  画像領域単位を構成する全てのマクロブロックは，スキップマクロブロックである。
【００５７】
フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図９に，本実施の形態において符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００５８】
（１）  画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３４（＝２１６−２）ビット以下の場合には，図９（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１６ビット）」，「マクロブロック数以外の付加的情報」の順に符号化する。
【００５９】
（２）  画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３５（＝２１６−１）ビット以上１１１４１０８（＝２２０＋２１６−４）ビット以下の場合には，図９（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「ＦＦＦＦ（１６ビット）」，「（画像領域単位の符号量−２１６＋２）の値（２０ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６０】
（３）  画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２１９＋１３）個以下で，かつ画像領域単位の符号量が６５５３４（＝２１６−２）ビット以下の場合には，図９（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１６ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６１】
（４）  画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２１９＋１３）個以下で，かつ画像領域単位の符号量が６５５３５（＝２１６−１）ビット以上１１１４１０８（２２０＋２１６−４）ビット以下の場合には，図９（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１ＦＦＦＦ（１７ビット）」，「（画像領域単位の符号量−２１６＋２）の値（２０ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６２】
ここで上記「マクロブロック数以外の付加的情報」とは，画像領域単位の最後のマクロブロックを符号化した直後における「ＤＣ係数予測値（（ｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎ＋８）ビット）」，「  ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ  ＿ｃｏｄｅ（５ビット）」，「ｍｖ［０］［０］［０］（（ｆ  ｃｏｄｅ＋４）ビット）  」，「ｍｖ［０］［０］［１］（（ｆ  ｃｏｄｅ＋４）ビット）  」，「ｍｖ［０］［１］［０］（（ｆ  ｃｏｄｅ＋４）ビット）  」，「ｍｖ［０］［１］［１］（（ｆ  ｃｏｄｅ＋４）ビット）  」，「ｍｖ［１］［０］［０］（（ｆ  ｃｏｄｅ＋４）ビット）  」，「ｍｖ［１］［０］［１］（（ｆ  ｃｏｄｅ＋４）ビット）  」，「ｍｖ［１］［１］［０］（（ｆ  ｃｏｄｅ＋４）ビット）  」，「ｍｖ［１］［１］［１］（（ｆ  ｃｏｄｅ＋４）ビット）  」である。
【００６３】
なお，  ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ  ＿ｃｏｄｅは量子化スケールコード，ｍｖは動きベクトルの予測値であり，ｍｖ［ｒ］［ｓ］［ｔ］  におけるインデックスの意味は，ｒ：マクロブロックにおける最初のベクトル（０）か第二のベクトル（１）か，ｓ：前方向（０）か後方向（１）か，ｔ：水平成分（０）か垂直成分（１）かである。
【００６４】
［第５の実施の形態］
本発明の第５の実施の形態は，本発明の第４の実施の形態における映像データ符号化方法で符号化された符号化データを復号する過程で，ある画像領域単位を復号中にエラーを検出した場合の例である。図１０は，本発明の第５の実施の形態における復号時のエラー処理の例を示す図である。
【００６５】
図１０に示すように，第一の画像領域単位を復号中にシンタックスその他に起因するエラーが発生して復号できない事象が生じたとする。その場合，第５の実施の形態では，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する。
【００６６】
第二の画像領域単位がスライス上のどの位置に相当するかは，ユーザデータに符号化されている，同一スライス内にあり，かつ第二の画像領域単位より前に符号化されている画像領域単位を構成するマクロブロック数の和から判断できる。第二の画像領域単位の先頭のマクロブロックのＤＣ係数，動きベクトル，量子化スケールを復号する際の予測値としては，ユーザデータに符号化されている，第一の画像領域単位の付加的情報を用いる。
【００６７】
この映像データ復号方法により，第二の画像領域単位以降の復号が可能になり，エラーの影響を少なくすることができる。
【００６８】
第５の実施の形態では，第４の実施の形態に係る映像データ符号化方法で符号化された符号化データを復号する過程でエラーを検出した場合の例について述べたが，付加的情報がユーザデータに符号化されていない前記第１，第２，第３の実施の形態の場合であっても，第一の画像領域単位に関するエラーが発生する以前の復号結果を可能な限り保持することにより，あるいはエラーが発生する直前の予測値を用いることにより，第二の画像領域単位を不完全ながら復号し，エラーの影響を少なくすることができる。
【００６９】
本発明の第５の実施の形態の応用として，画像領域単位の最後のマクロブロックがイントラ符号化されている場合には，動きベクトル予測値がリセットされているので，ユーザデータに画像領域単位あたり１ビットフラグを追加する代わりにｍｖ［ｒ］［ｓ］［ｔ］  のユーザデータへの符号化を省略することができる。
【００７０】
第５の実施の形態において，例えば次のように本発明を実施することもできる。符号化側において，事前にまたは符号化の際に符号化対象の映像データを解析して，人物の顔などの重要な画像部分と背景などのそれほど重要ではない部分を判別し，重要な画像部分については画像領域単位を小さくし，重要でない部分は画像領域単位を大きくしてユーザデータを作成し，ビットストリームに挿入する。こうすれば，重要でない画像部分についてユーザデータのデータ量を少なくし，かつエラーが生じた際の影響を少なくすることができる。
【００７１】
また，第５の実施の形態は，ある画像領域単位を復号中にエラーを検出した場合の例であるが，エラーを検出しない場合でも，重要な画像領域単位のみを復号する場合に，この映像データ復号方法を用いて，特定の一つ以上の画像領域単位のみを復号することができる。復号側において，重要な画像領域単位であるか，あまり重要でない画像領域単位であるかを判別する方法として，例えば符号化側で作成したビットストリーム中のユーザデータにおいて，画像領域単位が小さいか大きいかによって判別する方法を用いることができる。
【００７２】
［第６の実施の形態］
本発明の第６の実施の形態は，本発明の第４の実施の形態に係る映像データ符号化方法で符号化された符号化データを復号する過程で，第一の画像領域単位を復号中に第一のエラーを検出した場合に，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号し，かつ第二の画像領域単位を復号する過程で第二のエラーを検出した場合の例である。
【００７３】
図１１は，本発明の第６の実施の形態における復号時のエラー処理の例を示す図である。図１１に示すように，第一の画像領域単位を復号中にシンタックスその他に起因する第一のエラーが発生して復号できない事象が生じたとする。その場合，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する。
【００７４】
しかし，第二の画像領域単位を復号する過程でシンタックスその他に起因する第二のエラーが発生して復号できない事象が生じたとする。この場合，第一の画像領域単位において，余分なビットが加わったか必要なビットが欠落し，第一の画像領域単位と第二の画像領域単位の境界が正しく認識できなくなったということが想定される。そこで，以下の手順で復号する。
【００７５】
（１）  「（第一の画像領域単位に相当するデータ）＋１ビット」の次のビットから第二の画像領域単位を復号する。
【００７６】
（２）  上記  （１）で第二の画像領域単位が正しく復号できた場合には，以後の復号を継続する。エラー処理は終わる。
【００７７】
（３）  上記  （１）で第二の画像領域単位を復号中にシンタックスその他に起因するエラーが生じた場合には，「（第一の画像領域単位に相当するデータ）−１ビット」の次のビットから第二の画像領域単位を復号する。
【００７８】
（４）  上記  （３）で第二の画像領域単位が正しく復号できた場合には，以後の復号を継続する。エラー処理は終わる。
【００７９】
（５）  上記  （３）で第二の画像領域単位を復号中にシンタックスその他に起因するエラーが生じた場合には，「（第一の画像領域単位に相当するデータ）＋（第二の画像領域単位に相当するデータ）」の次のビットから第三の画像領域単位を復号する。
【００８０】
この第６の実施の形態では，「（第一の画像領域単位に相当するデータ）＋ｘビット」の次のビットから第二の画像領域単位を復号するとしたときのｘを＋１と−１としたが，本発明においては，このｘとして０を含む任意の範囲の整数値を指定して，その範囲内で絶対値が０に近い順に復号を試みてもよいことはいうまでもない。
【００８１】
【発明の効果】
以上述べたように，本発明によれば，ディジタル映像データをネットワークで送受信する際に通信路その他でエラーが生じた場合に，そのエラーによって復号できない情報を少なくして，エラーの影響をより限定することができる。
【図面の簡単な説明】
【図１】映像データ符号化装置の構成の一例を示す図である。
【図２】映像データ符号化処理フローの一例を示す図である。
【図３】映像データ復号装置の構成の一例を示す図である。
【図４】映像データ復号処理フローの一例を示す図である。
【図５】ビットストリームへのユーザデータの挿入の一例を示す図である。
【図６】ユーザデータの例を示す図である。
【図７】ユーザデータの例を示す図である。
【図８】ユーザデータの例を示す図である。
【図９】ユーザデータの例を示す図である。
【図１０】復号時のエラー処理の例を示す図である。
【図１１】復号時のエラー処理の例を示す図である。
【符号の説明】
１    映像データ符号化装置
１１  ストリーム入力部
１２  符号化部
１３  第１バッファ
１４  第２バッファ
１５  ストリーム出力部
１６  符号化制御部
２    映像データ復号装置
２１  ストリーム入力部
２２  復号部
２３  第３バッファ
２４  第４バッファ
２５  ストリーム出力部
２６  復号制御部
【図１】
2004274663.tif 000003
【図２】
2004274663.tif 000004
【図３】
2004274663.tif 000005
【図４】
2004274663.tif 000006
【図５】
2004274663.tif 000007
【図６】
2004274663.tif 000008
【図７】
2004274663.tif 000009
【図８】
2004274663.tif 000010
【図９】
2004274663.tif 000011
【図１０】
2004274663.tif 000012
【図１１】
2004274663.tif 000013