(57)【要約】符号化画像シーケンス（Ｆｉｇ．Ｅ）に対するランダム・アクセス及びそれの段階的更新を提供するための方法及び関連する装置。分離領域、柔軟マクロブロック順序（Ｆｉｇ．４）、及びスライス境界におけるループ・フィルタの停止の利用によって、段階的復号器更新が可能となる。ランダム・アクセス操作の信頼できる検出に対する、及びリーディング・フレーム及び開復号器更新（ＯＤＲ）ピクチャの信頼できる伝達に対する、機構もまた提供される。
2005533444.tif 000002
【特許請求の範囲】
【請求項１】
符号化画像シーケンスへのランダム・アクセスに関連して画像内容の段階的更新を実行するための方法であって、前記画像シーケンスは、多数の画像フレームで構成され、各フレームの前記画像内容は、少なくとも非時間的予測フォーマット及び時間的予測フォーマットの一方で符号化され、前記段階的更新は、前記画像フレームによって表現される画像領域内に領域を規定することによって実現され、前記画像シーケンスの各符号化フレームが前記ランダム・アクセスの後に復号化されるにつれて、前記領域の前記画像内容を漸進的に更新し、２以上のフレーム時間にわたって所定の方法で前記領域を漸進的に進展させて、前記画像フレームによって表現される全画像領域を覆い、それにより、前記画像内容の完全な更新を与えることを特徴とする方法。
【請求項２】
前記ランダム・アクセスは、時間的予測フォーマットで符号化されたフレームにおいて生じることを特徴とする、請求項１に記載の方法。
【請求項３】
前記ランダム・アクセスは、非時間的予測フォーマットで符号化されたフレームにおいて生じることを特徴とする、請求項１に記載の方法。
【請求項４】
前記領域が進展する前記所定の方法の指示は、前記符号化画像シーケンスを表すビットストリーム内に与えられることを特徴とする、請求項１に記載の方法。
【請求項５】
前記領域が進展する前記所定の方法の前記指示は、前記領域が進展する方向の指示を含むことを特徴とする、請求項４に記載の方法。
【請求項６】
前記領域が進展する前記所定の方法の前記指示は、前記領域があるフレームから次のフレームに成長する量を指定する成長率の指示を含むことを特徴とする、請求項４に記載の方法。
【請求項７】
成長率の前記指示は、前記領域があるフレームから次のフレームに成長するマクロブロックの個数を指定することを特徴とする、請求項６に記載の方法。
【請求項８】
請求項１に記載の方法を実現するように準備された画像復号器。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本発明は、２００２年７月１６日に出願の出願番号第６０／３９６，２００号の優先権を主張する。
【０００２】
本発明は、一般に、ビデオ画像のランダム・アクセス及び段階的更新に関する。より具体的には、本発明は、ＩＴＵ−Ｔ  Ｈ．２６４  ｜  ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  パート１０画像符号化規格に従って符号化される画像シーケンスにおけるビデオ画像のランダム・アクセス及び段階的更新に対する方法に関する。
【背景技術】
【０００３】
画像シーケンスは、一連の静止画像すなわちフレームから成る。画像圧縮法は、画像シーケンスの冗長な部分及び知覚的に無関係な部分を低減させることに基づいている。画像シーケンスの冗長性は、スペクトル冗長性、空間的冗長性、時間的冗長性に分類することができる。スペクトル冗長性は、同一の画像の異なる色成分の間の類似性のことを指す一方で、空間的冗長性は、画像の隣接する画素の間の類似性から生じる。以前の画像に現れている物体は現在の画像にも現れる傾向があることから、時間的冗長性は生じる。この時間的冗長性を利用して、アンカー又は基準画像と称される別の画像から現在の画像を予測することによって、圧縮を達成することができる。実際には、現在の画像と以前の画像との間の動きを記述する動き補償データを生成することによって、圧縮を達成する。
【０００４】
画像圧縮法は、時間的冗長性低減を利用する画像とそれを利用しない画像との間で違いがある。時間的冗長性低減法を利用しない圧縮画像は、通常、イントラ（又はＩ）・フレーム又はイントラ・ピクチャと称される。時間的予測画像は、通常、現在の画像の前に生じた画像から前方に予測され、インター・フレーム又はＰフレームと称される。インター・フレームの場合には、予測動き補償画像は、十分に正確であることはまれであり、それゆえ、空間的圧縮予測誤差フレームは各インター・フレームと関連づけられる。インター・ピクチャは、イントラ符号化領域を含むことができる。
【０００５】
多くの画像圧縮法は、通常Ｂピクチャ又はＢフレームと称される時間的双方向性予測フレームをも用いる。Ｂピクチャは、Ｉ及び／又はＰフレームのアンカー・ピクチャ対の間に挿入され、アンカー・ピクチャの１つ又は両者のいずれかから予測される。Ｂピクチャは、通常、前方予測インター符号化Ｐピクチャと比較して増加した圧縮をもたらす。Ｂピクチャは、アンカー・ピクチャとしては用いられない。すなわち、別の画像は、Ｂピクチャからは予測されない。従って、Ｂピクチャは、未来の画像の画像品質に影響を与えずに（意識的に又は無意識的に）廃棄することができる。Ｂピクチャは、Ｐピクチャと比較して圧縮性能を改善することができる一方で、それを生成するには、かなりの計算の複雑さ及びメモリ使用量を必要とし、付加的な遅延が伴う。このことは、画像ストリーミングのような非実時間の応用に対しては問題とならないかもしれないが、テレビ会議のような実時間の応用においては問題を生じることがある。
【０００６】
このように、上記で説明したように、時間的に独立なイントラ・ピクチャ、時間的に異なって符号化されるインター・ピクチャ、及び（場合によっては）双方向性予測されるＢピクチャに大まかに分類することのできる、一連のピクチャから、圧縮ビデオ・クリップは、通常、構成される。イントラ符号化画像の圧縮効率は、インター符号化画像の圧縮効率よりも通常は低いので、控えめに、特に低ビットレートの応用において用いられる。しかしながら、イントラ符号化画像は、画像シーケンス中のいかなる他の画像からも独立に復号化することができるので、各イントラ・ピクチャは、符号化画像シーケンスへの入り口（又は、ランダム・アクセス・ポイント）、すなわち符号化を開始することのできるポイントを代表する。従って、画像シーケンスへのランダム・アクセスを可能とするためには、例えば規則的な間隔で、符号化画像シーケンス内に或る数のイントラ符号化画像を含めるのが好適である。更に、典型的な画像シーケンスは、多数のシーンすなわちショットを含む。画像の内容が或るシーンと別のシーンとで著しく異なるときには、それぞれの新しいシーンの最初の画像をイントラ・フォーマットで符号化するのも好適である。このように、符号化シーケンス内に別のイントラ符号化フレームが含まれていないとしても、少なくとも各シーンの最初のフレームは、ランダム・アクセス・ポイントを与える。（ランダム・アクセス・ポイントを構成する）イントラ符号化フレームで始まり、次のイントラ符号化フレームに直接先行するフレームで終わる、符号化画像シーケンスにおける独立に復号化可能な一連の画像のそれぞれは、通常、画像グループ或いは短くＧＯＰと称される。
【０００７】
例えば、ユーザがストリーミングされる画像ファイル内の新しい位置を探す結果のような、あるランダム・アクセス操作を（例えば、画像シーケンスを見る人等の）エンドユーザは起こす。この場合、復号器は、ユーザが起こすランダム・アクセス操作の指示を受け取ることがあり、それに応じて動作することができる。しかしながら、或る状況においては、ランダム・アクセス操作を、エンドユーザは制御しない。例えば、ユーザが実行するランダム・アクセス操作に類似の特徴を有する符号化ストリーム内の「カット」を、つなぎ合わされたストリームすなわち編集されたストリームは含むことがある。しかしながら、この後者の場合においては、復号器は、そのようなカットが生成したいかなる指示も受け取らず、シーケンス内で引き続く画像を正しく復号化することができないことがある。従って、符号化画像ストリームにおけるランダム・アクセス操作又はカットを検出するための信頼できる方法を、画像復号器は備えていることが重要である。
【０００８】
現在の画像符号化規格は自己充足の画像ビット・ストリームに対してシンタックスを規定する。これを書いている時点での最も普及している規格は、国際電気通信連合ＩＴＵ−Ｔ勧告Ｈ．２６３、「低ビットレート通信用画像符号化」、１９９８年２月、国際標準化機構／国際電気標準会議ＩＳＯ／ＩＥＣ  １４４９６−２、（ＭＰＥＧ−４として知られる）「視聴覚物体の包括的符号化パート２：視覚」、１９９９年、及び、（ＭＰＥＧ−２として知られる）ＩＴＵ−Ｔ勧告Ｈ．２６２（ＩＳＯ／ＩＥＣ  １３８１８−２）である。これらの規格は、ビットストリーム及び同様に画像シーケンス及び画像に対する階層を規定する。更なる画像符号化規格の開発は、なお進行中である。ＩＴＵ−Ｔ  Ｈ．２６４  ｜  ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  パート１０として知られる、Ｈ．２６３に対する長期にわたる後継規格の開発における標準化の努力は、ＩＳＯ／ＩＥＣ  ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）及びＩＴＵ−Ｔ  ＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）の共同画像チーム（ＪＶＴ）として知られる標準化機関の主催の下に共同でなされている。これらの規格のいくつかの特定の面、特に本発明に関連するＨ．２６４画像符号化規格の特徴を、以下に記載する。
【０００９】
図１は、Ｉ  Ｂ  Ｂ  Ｐ…等の形態を有するパターンで配列された、イントラ符号化Ｉピクチャ、インター符号化Ｐピクチャ、及び双方向符号化Ｂピクチャから成る従来の符号化画像シーケンスを説明する。箱は、表示順でのフレームを示し、矢線は、動き補償を示し、箱の中の文字はフレーム・タイプを示し、箱の中の値は、フレームの符号化／復号化順を示す（Ｈ．２６４画像符号化規格に従って仕様が定められた）フレーム番号である。
【００１０】
以前のＩフレームをランダムにアクセスした後では正確に復号化できず、Ｉフレームの表示時間の前に表示時間を有する、あらゆるフレームすなわち画像のことを記述するために、「リーディング・フレーム」又は「リーディング・ピクチャ」という用語を用いる。（図１のＢフレームＢ１７はリーディング・フレームの例である）。この記述において、リーディング・ピクチャでランダムにアクセスできるフレームを示すために、「開復号器更新」（ＯＤＲ）ピクチャという用語を用いる。
【００１１】
図１に示したものと類似の符号化フレーム・パターンは、一般的であり、ゆえに、できる限り容易にＯＤＲピクチャにランダム・アクセスするのが望ましい。
【００１２】
ＯＤＲピクチャにアクセスするための多数の選択肢が既に存在する。典型的な解決策は、あらゆるリーディング・Ｂピクチャを単純に廃棄することである。これは、基準画像の選択及びＩピクチャが常にランダム・アクセス・ポイントにある復号化及び表示の順序の分断を可能としない画像符号化規格において、通常採用される方法である。
【００１３】
この問題に対する別の解決策は、（符号化／復号化の順序において）Ｉフレームのすぐ後に続く全ての記憶されていないフレームをリーディング・フレームと考えることである。この方法は、図１に示した単純な場合にはうまく行くが、記憶されているリーディング・フレームを扱う特性を欠いている。ランダムにアクセスできるＩフレームの前に記憶されているリーディング・フレームがある符号化方式の例を図２に示す。記述したような、リーディング・フレームの単純で暗黙的な識別は、この例では正確に動作しない。
【００１４】
更なる単純なアイデアは、（符号化／復号化の順序において）Ｉフレームの後に生じる全てのＢピクチャをリーディング・ピクチャと考えることである。しかしながら、リーディング・ピクチャは、必ずしもＢピクチャでなくても良い。"Simple Packet Loss Recovery Method for Video Streaming", Proceedings of Packet Video Workshop 2001, Kyongju, South Korea, April 30-May 1, 2001と題するMiska M. Hannukselaによる科学記事及びＩＴＵ−Ｔ  ＳＧ１６／Ｑ１５文献Ｑ１５−Ｋ３８は、画像符号化における改善された誤り復元力に対するイントラフレーム先送り法を提案し、これを採用することにより、リーディング・フレームの識別に対するこの単純な方法は、役に立たないものとなる。図３は、１記憶フレーム間隔だけ先送りされるイントラ・フレームの例を示す。結果として、表示の順序においてイントラ・フレームに先行する１個のＰフレーム（Ｐ１７）が存在する。
【００１５】
ＪＶＴ文献ＪＶＴ−Ｂ０６３は、特定のフレームから復号化を開始した後に、表示の順序において全ての引き続くフレームを満足に完全に修正するのにかかる時間を示す（補足強調情報として画像ビットストリーム内に与えられる）初期化遅延にフレームを関連付けることができることを提案している。ＯＤＲピクチャにアクセスする際に、この初期化遅延ＳＥＩ情報を用いることができる。しかしながら、この方法に関連する３つの欠点が存在する。第１に、ＳＥＩメッセージを扱うための復号器処理は、標準的ではない。すなわち、それは、Ｈ．２６４規格の義務的な部分ではなく、ゆえに、Ｈ．２６４に従って実現される全ての復号器によってサポートされる必要はない。従って、規格に準拠するストリームにランダムにアクセスするが、リーディング・ピクチャに対して欠けている基準フレームのためにそれを復号化することができない、標準に準拠するＳＥＩなしの復号器が存在し得る。第２に、リーディング・フレームが更新動作の役に立たないことを復号器が知らないときに、復号器は、記憶されたリーディング・フレームのような或るデータを無用に復号化することがある。第３に、欠けているフレーム番号を参照するための復号器の動作は、より複雑になる。結果として、この方法は、ＯＤＲピクチャのランダム・アクセスに対する解決策として望ましくはない。
【００１６】
（ＪＶＴ委員会草案において仕様が定められた）Ｈ．２６４画像符号化規格は、「瞬時復号器更新」及び「独立ＧＯＰ」という概念を含む。瞬時復号器更新という用語は、イントラ・フレームに先立つデータが復号化の過程で参照されない「きれいな」ランダム・アクセス法のことを称している。独立ＧＯＰは、以前の又は後の画像から独立に復号化できる画像のグループである。「瞬時復号器更新」（ＩＤＲ）ピクチャは、新しい独立ＧＯＰの開始を伝える。このように、Ｈ．２６４に従って、ＩＤＲピクチャをランダム・アクセス・ポイントとして用いることができる。（より詳しくは、瞬時復号器更新に対する要請を分析する文献ＪＶＴ−Ｂ０４７及び特徴に対するシンタックス、セマンティックス、及び規格テキストを提案するＪＶＴ−Ｃ０８３を参照されたい。）
【００１７】
Ｈ．２６４画像符号化規格に包含するために提案された別の概念は、「段階的復号器更新」（ＧＤＲ）という概念である。これは、以前に符号化されたが場合によっては受信されなかったデータが参照され、２つ以上の符号化画像を介して正しい画像内容を段階的に復元する、いわゆる「汚い」ランダム・アクセスの形態のことを称する。ＧＤＲは、あらゆるタイプのフレームを用いてランダム・アクセス機能を可能とする。ＧＤＲに対する信号伝達機構は、最初にＪＶＴ文献ＪＶＴ−Ｂ０６３（次いでＪＶＴ文献ＪＶＴ−Ｂ１０９）において提案された。ＪＶＴ−Ｂ０６３は、ＧＤＲ復号化過程を初期化するために２つの基礎選択肢である「ベストエフォート型復号化」及び「保証復号化」が基本的に存在すると結論付けた。ベストエフォート型復号化においては、全ての入手不可能なフレームは、中間レベルの灰色に初期化され、全てのフレームの復号化が開始されるが、或る指定された条件が満たされて初めて、フレームは、完全に満足に正しくなると考えられる。「保証復号化」においては、復号器は、Ｉフレームから復号化を開始して、次いで、残りのフレームが入手不可能なデータに対する参照を含まないことを保証するように、Ｉフレームでないフレームをもはや復号化しなくなるまで時間を置く。ＪＶＴ−Ｂ０６３においては、ベストエフォートの選択肢が選ばれた。
【００１８】
段階的復号器更新の符号化に関する問題は、ＪＶＴ文献ＪＶＴ−Ｃ０７４において研究された。この文献は、その時点で適正なＪＶＴ  Ｈ．２６４コーデックのバージョンを用いてＧＤＲを実現するのは不可能であると結論付け、「分離領域技術」（ＩＲＥＧ）として知られる方法をＧＤＲ符号化に対して用いるべきであると提案した。
【００１９】
分離領域技術は、ＪＶＴ文献ＪＶＴ−Ｃ０７２において提案された。分離領域は、マクロブロックの同色の領域であり、境界を横断するときにはループ・フィルタリングを停止すべきあり、境界までに空間的な画像内予測が制限されるような境界の形状を規定する。基準フレーム内の分離領域の外側における時間的予測は許可すべきではない。分離領域の形状は多数の連続する符号化画像の間で進展することができる。内部おいて分離領域の形状が以前の画像内の相当する分離領域の形状に依存し、時間的予測なしで符号化された初期の分離領域を含む画像を含む画像グループ（ＧＯＰ）は、「進展する分離領域を有する画像グループ」（ＩＲＥＧ  ＧＯＰ）と称される。（符号化基準フレームに関する）相当する時間は、「進展する分離領域の時間」又は「ＩＲＥＧ時間」と呼ばれる。
【００２０】
上述したように、ＩＲＥＧは、ＧＤＲ機能を可能とするための簡潔な解決策を与え、誤り復元力及び回復（ＪＶＴ文献ＪＶＴ−Ｃ０７３を参照されたい）、関心領域符号化及び優先順位付け、ピクチャインピクチャ機能、及びマスクされた画像シーン遷移の符号化（文献ＪＶＴ−Ｃ０７５を参照されたい）を与えるためにも用いることができる。ＩＲＥＧに基づく段階的ランダム・アクセスは、受信機に対するメディア・チャンネル切り替え、サーバに対するビットストリーム切り替えを可能とし、更に、マルチキャスト・ストリーミングの応用において新規参入者の容易なアクセスを可能とする。
【００２１】
改善された誤り復元力特性及び分離領域の段階的復号器更新特性は、同時に適用可能である。従って、復号器が段階的復号器更新を得るために分離領域を用いる場合、付加的なビットレート又は複雑さのコストなしで「無料で」、改善された誤り復元力を得るし、逆も真である。
【００２２】
Ｈ．２６４画像符号化規格に含まれる更なる概念は、「柔軟マクロブロック順序」（ＦＭＯ）という概念である。ＦＭＯは、最初に、ＪＶＴ寄稿ＪＶＴ−Ｃ０８９において提案され、次いで、Ｈ．２６４規格のＪＶＴ委員会草案に含まれた。画像をスライス・グループに分割することによって、ＦＭＯは、典型的なラスター走査順序以外の順序でマクロブロックを符号化することを可能とした。この機構が可能とする基本となる応用は、散乱スライス（ＪＶＴ文献ＪＶＴ−Ｃ０９０を参照されたい）及び（ＪＶＴ文献ＪＶＴ−Ｃ０９１において提案された）スライス・インターリービングのような誤り復元法の実現である。その柔軟性のおかげで、柔軟マクロブロック順序の別の応用も可能である。ＪＶＴ文献ＪＶＴ−Ｄ０９５は、ＦＭＯに対するいくつかの拡張を提案している。
【００２３】
誤り復元力を改善し完全なＧＤＲをサポートするために、スライスの境界においてループ・フィルタを停止することが、文献ＪＶＴ−Ｃ１１７において提案された。このループ・フィルタの制限は、２つの付加的な利点を有する。第１に、それは、ＦＭＯ技術に固有の平行処理問題に対する良い解決策を与え、第２に、それは、順序違いのスライスを時間内に正確に復号化することを可能とするために必要なものである。
【００２４】
本発明の要約
本発明は、符号化画像シーケンスにおける画像のランダム・アクセス及び段階的更新を実現するための新しい方法を導入する。特に、本発明は、Ｈ．２６４画像符号化規格の開発の間に提案された段階的復号器更新の方法に基づいており、Ｈ．２６４画像コーデックに関連するＧＤＲに対する実用的な具体化を提案する。しかしながら、本発明は、Ｈ．２６４規格の範囲内の適用に決して限定されず、イントラ及びインター符号化フレームの組み合わせを用いて画像シーケンスが符号化され、Ｈ．２６４で用いられているのと類似のシンタックスを採用する、その他の画像符号化規格に適用することができることを理解されたい。
【００２５】
より具体的には、本発明は、分離領域、柔軟マクロブロック順序、及びスライス境界におけるループ・フィルタの停止によって可能となる段階的復号器更新の実現を提案する。特に、本発明は、Ｈ．２６４画像符号化規格に含めるために、ＪＶＴ−Ｃ０７２という元の分離領域技術を調整し、段階的復号器更新に対する信号伝達法を導入する。
【００２６】
本発明は、ランダム・アクセス操作の信頼できる検出に対する機構をも提案する。
【００２７】
本発明は、リーディング・フレーム及びＤＯＲピクチャの信頼できる信号伝達に対する機構をも提案する。
【００２８】
本発明に従う段階的復号器更新の実用的な具体化について、ここに記載する。
【００２９】
本発明の背景において前述したように、スライスの境界においてループ・フィルタを停止することは、段階的復号器更新の実現に対して利点がある。特に、通常の復号化における画素値の不適合及びランダム・アクセス後の復号化中における画素値の不適合を避けるために、更新される領域の境界線を横断するループフィルタリングは、停止すべきである。ループ・フィルタ制限を行わない（すなわち、ループ・フィルタリングをなお可能とする）段階的復号器更新は、可能であり、厄介な不適合はあまり起こらないようである。しかしながら、不適合の振幅と伝播を制御するのは困難なので、ループ・フィルタを停止するのが望ましい。従って、画像の境界のようなスライスの境界を扱うように、ループ・フィルタリングを制限することを、本発明は提案する。この制限は、画像毎の基準で信号伝達することができる。より具体的には、本発明の望ましい実施形態によれば、或るマクロブロックとその左隣のマクロブロックが異なるスライスに属する場合には、そのマクロブロックは、あたかも左の画像境界上にあるかのようにフィルタされる。或るマクロブロックとその上方の隣接するマクロブロックが異なるスライスに属する場合には、そのマクロブロックは、あたかもその画像内のマクロブロックの最上行にあるかのようにフィルタされる。
【００３０】
本発明は、更に、段階的復号器更新と関連して用いるために「スライス・グループ」という概念を導入する。本発明によれば、スライス・グループは、或る画像の領域を覆うスライスのグループとして規定され、グループ内の各スライスのサイズは、独立に調整可能である。符号化されたスライスのサイズは、望ましい転送パケット・サイズに従って調整されるのが有利である。スライス・グループは、本発明に従って規定されるが、それは、（ＪＶＴ文献ＪＶＴ−Ｃ０７２によって導入され、テキストの前の方に記載されている）分離領域法を用いて段階的復号器更新を実現するためには、理想的である。特に、分離領域は、２つ以上のスライスを含むことができる或る空間的領域を覆い、その境界は、スライスの境界と同様に処理すべきである（特に、ループ・フィルタリング及びイントラ予測は停止する必要がある）。段階的に更新される領域は、典型的には、画像毎に成長するので、分離領域の形状、サイズ、及び位置は、段階的復号器更新を実現するために用いられるときに、進展する。かかる形状の進展は、Ｈ．２６４画像符号化規格のＦＭＯシンタックスを用いてもたらすことができるが、進展する形状に対して特定のＦＭＯシンタックスが規定されている場合に、著しいビット数を節約することができる。
【００３１】
本発明によれば、連続するフレーム内の分離領域の形状及び位置の情報が記憶される。この情報を、動き推定において用いる。動き推定／補償を実行する方法も、分離領域の利用を容易にするように、修正されている。特に、全画素動き推定を実行する場合には、相当する基準フレーム内の分離領域の外側を参照する動きベクトルは、符号化コストを計算せずに廃棄される。動き推定／補償を非整数の画素解像度に対して実行する場合には、特別な基準も必要である。Ｈ．２６４画像符号化規格は、１／４又は１／８画素精度までの動き推定／補償を可能とする。１／４及び１／８副画素（sub-pixel）を内挿するために、様々な内挿フィルタを用いる。１／４画素精度に対しては、６タップ・フィルタリングを用いて１／２の標本位置が内挿され、整数又は１／２の標本位置における２つの最も近い標本の平均を取ることによって１／４の標本位置が内挿される。この一般的規則には、「変な位置」として知られる１つの例外が存在する。それは、４個の最も近い整数の標本を平均することによって得られる。内挿過程の結果として、或る「使い残し」領域が、分離領域の内部にあるがその境界から２整数画素未満しか離れないところに存在する副画素に影響を与える。本発明によれば、副画素解像度までの動き推定を実行する場合に、この事実を考慮する。より具体的には、分離領域の境界から２画素より近いブロックを参照する動きベクトルは、符号化コストを計算せずに廃棄される。動き推定／補償に対して１／８画素解像度を用いる場合にも、同様の操作を実行する。
【００３２】
上記で説明したように、分離領域を用いて段階的復号器更新を実行する場合には、分離領域は、サイズ、形状、及び位置が進展する。究極的には、段階的復号器更新過程の結果として、信頼できる（すなわち、完全に再構成された）フレームが得られる。これは、分離領域が進展して全フレームに等しくなる（すなわち、全画像領域を覆う）場合に得られる。本発明によれば、一旦この状況に達すると、引き続くフレームの符号化に、以下の制限が課せられる。
１．  新しい分離領域は、以前のＩＲＥＧ  ＧＯＰからの予測を避ける必要がある。
２．  使い残し領域に対しては、信頼できるフレームの前のフレームにおける使い残し領域を参照する予測及び以前のＩＲＥＧ  ＧＯＰより時間的に前のフレームにおける任意のブロックを参照する予測は、避けるべきである。この２つの要請を満たすために、上述したものと類似の適切な基準フレーム制限及び動きベクトル制限を適用する。
【００３３】
本発明に従って実現される分離領域を用いるＧＤＲ技術が利用されるフレームにおいて、各画像は、１つの分離領域及び１つの使い残し領域を含む。分離領域は、或るスライス・グループであり、使い残し領域は、別のスライス・グループである。２つのスライス・グループの領域の形状は、信号伝達される領域成長率に応じて、進展し、画像毎に分離領域の進展に従う。
【００３４】
本発明は、分離領域の信号伝達を可能とするために、Ｈ．２６４画像符号化規格に含まれることになる付加的なシンタックスを更に導入する。より具体的には、本発明によれば、いくつかの新しいｍｂ＿ａｌｌｏｃａｔｉｏｎ＿ｍａｐ＿ｔｙｐｅをＨ．２６４規格のシンタックスに加える。それらを以下の表１に示す。ここで、分離領域をサポートするために導入される加えられたシンタックス要素は、右側の列に「ＩＲＥＧ」で示され、「ＲＥＣＴ」は、（ＪＶＴ−Ｄ０９５において提案されている）長方形スライス・グループを示す。
【００３５】
【表１】
2005533444.tif 000003
【００３６】
表１において、ｍｂ＿ａｌｌｏｃａｔｉｏｎ＿ｍａｐ＿ｔｙｐｅが４、５、又は６（すなわち、画像中にわずか２つのスライス・グループしか存在しない）のとき、パラメータｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１を１に設定する。ｇｒｏｗｔｈ＿ｒａｔｅパラメータは、分離領域が画像毎に成長するマクロブロックの個数を表す。成長率パラメータを用いて、更新すべき画像のサイズを知ると、復号器は、（ＧＤＲ時間として知られる）全画像を完全に更新するのに要する時間を決定することができる。例えば、（１１＊９の長方形アレイの中に９９個の１６＊１６画素のマクロブロックを含む）ＱＣＩＦピクチャで、画像毎に１０マクロブロックのｇｒｏｗｔｈ＿ｒａｔｅである場合には、完全に更新された画像を得るには、ＧＤＲ時間の開始から（これを含めて）、ｃｅｉｌ（９９／１０）＝１０画像だけかかる。
【００３７】
本発明に従って規定され、表１に示した、新しいｍｂ＿ａｌｌｏｃａｔｉｏｎ＿ｍａｐ＿ｔｙｐｅ、４、５、６、及びｅｖｏｌｕｔｉｏｎ＿ｄｉｒｅｃｔｉｏｎは、以下の表２に示すように、分離領域に対して６個のスライス・グループ進展パターンを規定する。
【００３８】
【表２】
2005533444.tif 000004
【００３９】
表２に示した６個の領域進展パターンは、以下のように規定される。
１．  ラスター走査：分離領域の第１のマクロブロックは、画像の左上のマクロブロックである。分離領域は、ラスター走査の順序で成長する。
２．  逆ラスター走査：分離領域の第１のマクロブロックは、画像の右下のマクロブロックである。分離領域は、逆ラスター走査の順序で成長する。
３．  右へ一掃：分離領域の第１のマクロブロックは、画像の左上のマクロブロックである。分離領域は、上から下へ成長する。列の最下部マクロブロックの後ろの次のマクロブロックは、前の列の右側にある列の上部マクロブロックである。
４．  左へ一掃：分離領域の第１のマクロブロックは、画像の右下のマクロブロックである。分離領域は、下から上へ成長する。列の最上部マクロブロックの後ろの次のマクロブロックは、前の列の左側にある列の底部マクロブロックである。
５．  時計回りにブロック：左上のマクロブロックに原点を有する（ｘ，ｙ）座標系を用い、マクロブロックの粒状度を有し、画像の符号化マクロブロックの行数を意味するのにＨを用い、画像の符号化マクロブロックの列数を意味するのにＷを用い、分離領域の第１のマクロブロックは、座標（ｘ０，ｙ０）＝（Ｗ／２，Ｈ／２）を有するマクロブロックである。「／」は切り捨てによる除算を意味する。
６．  反時計回りにブロック：上述の５個で導入されたのと同じ座標系、変数、及び算術操作の定義を用い、分離領域の第１のマクロブロックは、座標（ｘ０，ｙ０）＝（（Ｗ−１）／２，（Ｈ−１）／２）を有するマクロブロックである。成長の順序は、図４に示したものと同様であるが、反時計回り方向である。
【００４０】
復号器、符号化領域編集装置、及びネットワーク要素が、ランダム・アクセス・ポイントを容易に区別するように、本発明の望ましい実施形態は、Ｈ．２６４シンタックスのネットワーク適合層（ＮＡＬ）ユニット・タイプでＧＤＲ時間の開始を信号伝達することを提案する。ＧＤＲ時間の第１の画像は、ＧＤＲピクチャと呼ばれる。正確なシンタックスは要求されないが、用いることのできる模範的なシンタックスが、ＪＶＴ−Ｃ０７４作業草案において見られる。
【００４１】
本発明は、ＯＤＲピクチャ及びリーディング・フレームの信頼できる指示に対する機構をも提案する。
【００４２】
ＧＤＲピクチャの信号伝達に関連して今述べたのと類似の方法で、本発明は、ＯＤＲピクチャが専用ＮＡＬユニット・タイプを備えていることを提案する。
【００４３】
更に、本発明の望ましい実施形態においては、リーディング・フレームを明確にマークする。この方法は、復号器の実現にいかなる制限も複雑な問題も課さず、復号器がリーディング・フレームを容易に識別できる手段である機構を提供するので、望ましい。本発明によれば、リーディング・ピクチャは、任意の動き補償された画像、すなわち、Ｐ、Ｂ、及びＳＰピクチャとすることができる（ＳＰピクチャ・タイプは、Ｈ．２６４に従って規定された特別なタイプの動き補償された画像である）。好適には、与えられた画像がリーディング・ピクチャであるという明確な指示を与えるために、（ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇと名付けられた）フラグがこれらのピクチャ・タイプに関連付けられ、Ｈ．２６４  ＮＡＬユニット・タイプ・シンタックス内に、又は画像又はスライス・ヘッダー・シンタックス内に、加えられる。このオプションは、非常にわずかしか或いは全くビットレートのオーバーヘッドを伴わず、符号器及び復号器の両者に対して用いるのが容易なので、特に好適である。
【００４４】
本発明によれば、ＪＶＴ文献ＪＶＴ−Ｄ０９８に示されている「サブシーケンス識別子」を用いて、ランダム・アクセス・ポイントを示す。
【００４５】
ＧＤＲピクチャ及びＯＤＲピクチャ及びリーディング・ピクチャを信号伝達するための正確なシンタックスは、Ｈ．２６４画像符号化規格で採用されたＮＡＬユニット・タイプ・シンタックスの詳細に応じて変化することができる。
【００４６】
本発明に従って規定されるＯＤＲピクチャは、以下の特徴を有する。
１．  ＯＤＲピクチャからのランダム・アクセス操作後に、復号化過程を開始又は再開することができる。
２．  ＯＤＲピクチャは、Ｉスライス又はＳＩスライスのみを含む。
３．  ＯＤＲ  ＮＡＬユニットは、スライスＥＢＳＰを含む。
４．  ＯＤＲ  ＮＡＬユニット・タイプを、ＯＤＲピクチャの符号化マクロブロック・データを含む全てのＮＡＬユニットに対して用いる。
【００４７】
本発明に従って規定されるＧＤＲピクチャは、以下の特徴を有する。
１．  ＧＤＲピクチャからのランダム・アクセス操作後に、復号化過程を開始又は再開することができる。
２．  ＧＤＲピクチャは、あらゆる符号化タイプで符号化することができる。
３．  ＧＤＲ  ＮＡＬユニット・タイプを、ＧＤＲピクチャの符号化マクロブロック・データを含む全てのＮＡＬユニットに対して用いる。
【００４８】
本発明によれば、リーディング・ピクチャに関連付けられたｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは、以下の特徴を有する。
１．  復号化順序において以前のＯＤＲピクチャから復号化過程を開始して、現在の画像とＯＤＲピクチャとの間には復号化順序においてＩＤＲピクチャが現れなかった場合に、復号化されないことになる画像を、ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは信号伝達する。
２．  ＯＤＲピクチャをランダムにアクセスする場合に正確に再構成することができないフレームを復号化せずに、表示の順序において時間的に以前の画像に対する動き補償基準として用いられるＯＤＲピクチャに対するランダム・アクセスを、ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは可能とする。
【００４９】
ＯＤＲピクチャ及びＧＤＲピクチャ、及び本発明に従って規定されるランダム・アクセス・ポイント及びリーディング・フレームの信号伝達機構を採用することから、Ｈ．２６４復号化過程における以下の変化が生じる。
１．  ＧＤＲピクチャ又はＯＤＲピクチャのサブシーケンス識別子が以前に受け取ったサブシーケンス識別子と異なる場合に、復号器は、ＧＤＲ又はＯＤＲ更新動作を推論し、最大持続フレーム・インデックスを０にリセットする。
２．  ＯＤＲ動作がＯＤＲピクチャから始まった場合であり、ＯＤＲピクチャ又はＩＤＲピクチャが最初のＯＤＲピクチャ以来復号化されなかった場合に、「１」に等しいｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇを有する画像は、復号化しない。
３．  ＧＤＲ動作がＧＤＲピクチャから始まった場合に、復号器は任意の使い残し領域を復号化せず、使い残し領域を受け取らないならばデータの損失を推論しない。
【図面の簡単な説明】
【００５０】
【図１】Ｉ  Ｂ  Ｂ  Ｐ符号化フレーム・パターンを説明し、リーディングＢフレームの位置を示す図である。
【図２】記憶されたリーディング・フレームを有するランダムにアクセス可能なＩフレームを示す図である。
【図３】イントラ・フレーム先送り技術を説明する図である。
【図４】本発明に従う、時計回りにブロックする形状の進展の成長順序を説明する図である。
【図１】
2005533444.tif 000005
【図２】
2005533444.tif 000006
【図３】
2005533444.tif 000007
【図４】
2005533444.tif 000008
【国際調査報告】
2005533444.tif 000009