(57)【要約】【課題】複数のレイヤを有するスケーラブルなビデオデータをエンコードする、複数のレイヤの各レイヤが少なくとも１つの他のレイヤに関連付けられるような方法を提供する。【解決手段】第１識別子を使用して１つ以上のレイヤを識別するステップであって、第１識別子がデコーディング依存性を指示するようなステップと、その識別された１つ以上のレイヤ内の基準画像を、第２識別子を使用して識別するステップとを備えている。第１レイヤにおける画像に対する前記第２識別子のコード化は、第２のエンハンスメントレイヤにおける画像とは独立している。従って、ある値のDependencyIDをもつ全ての画像に対し、シンタックスエレメントｆｒａｍｅ＿ｎｕｍは、異なる値のDependencyIDをもつ他の画像とは独立してコード化される。所定値のDependencyIDをもつ全ての画像内で、デフォールトｆｒａｍｅ＿ｎｕｍコード化方法が使用される。【選択図】図４
2008536427.tif 000002
【特許請求の範囲】
【請求項１】
複数のレイヤを有するスケーラブルなビデオデータをエンコードする方法であって、前記複数のレイヤの各レイヤが少なくとも１つの他のレイヤに関連付けられるような方法において、
第１識別子を使用して１つ以上のレイヤを識別するステップであって、前記第１識別子がデコーディング依存性を指示するようなステップと、
前記識別された１つ以上のレイヤ内の基準画像を、第２識別子を使用して識別するステップと、
を備え、第１レイヤにおける画像に対する前記第２識別子のコード化が第２レイヤにおける画像とは独立するようにした方法。
【請求項２】
前記１つ以上のレイヤは、空間的、クオリティ及び微粒度スケーラビリティ（ＦＧＳ）エンハンスメントレイヤの１つ以上を含む、請求項１に記載の方法。
【請求項３】
前記第１識別子は、第１の共通の数字シーケンスから導出される、請求項１に記載の方法。
【請求項４】
前記第２識別子は、前記第１の共通の数字シーケンスとは異なる第２の共通の数字シーケンスから導出される、請求項３に記載の方法。
【請求項５】
前記第１識別子は、ＤｅｐｅｎｄｅｎｃｙＩＤ変数を含む、請求項１に記載の方法。
【請求項６】
デフォールトの第１識別子が、前記第１識別子として使用される、請求項１に記載の方法。
【請求項７】
前記第２識別子は、ｆｒａｍｅ＿ｎｕｍシンタックスエレメントを含む、請求項１に記載の方法。
【請求項８】
前記第２識別子、及び前記第２識別子から導出された第３識別子の一方が、メモリマネージメントコントロールオペレーション（ＭＭＣＯ）シグナリングに使用される、請求項１に記載の方法。
【請求項９】
前記第３識別子は、変数ＰｉｃＮｕｍを含む、請求項８に記載の方法。
【請求項１０】
前記メモリマネージメントコントロールオペレーション（ＭＭＣＯ）は、基準画像リスト再順序付けプロセスである、請求項８に記載の方法。
【請求項１１】
前記メモリマネージメントコントロールオペレーション（ＭＭＣＯ）は、基準画像マーキングプロセスである、請求項８に記載の方法。
【請求項１２】
複数のレイヤを有するスケーラブルなビデオデータをコード化するモジュールであって、前記複数のレイヤの各レイヤが少なくとも１つの他のレイヤに関連付けられるようなモジュールにおいて、ある第２識別子をもつ第１レイヤにおける全ての画像に対し第１識別子をコード化するための手段を備え、前記第１レイヤにおける画像に対する前記第２識別子のコード化が、第２レイヤにおける画像とは独立したものであるモジュール。
【請求項１３】
前記第１レイヤ及び第２レイヤは、空間的、クオリティ、及び微粒度スケーラビリティ（ＦＧＳ）エンハンスメントレイヤの１つ以上を含む、請求項１２に記載のモジュール。
【請求項１４】
前記第１識別子は、第１の共通の数字シーケンスから導出される、請求項１２に記載のモジュール。
【請求項１５】
前記第２識別子は、前記第１の共通の数字シーケンスとは異なる第２の共通の数字シーケンスから導出される、請求項１４に記載のモジュール。
【請求項１６】
前記第１識別子は、ＤｅｐｅｎｄｅｎｃｙＩＤ変数を含む、請求項１２に記載のモジュール。
【請求項１７】
デフォールトの第１識別子が、前記第１識別子として使用される、請求項１２に記載のモジュール。
【請求項１８】
前記第２識別子は、ｆｒａｍｅ＿ｎｕｍシンタックスエレメントを含む、請求項１２に記載のモジュール。
【請求項１９】
前記第２識別子、及び前記第２識別子から導出された第３識別子の一方が、メモリマネージメントコントロールオペレーション（ＭＭＣＯ）シグナリングに使用される、請求項１２に記載のモジュール。
【請求項２０】
前記第３識別子は、変数ＰｉｃＮｕｍを含む、請求項１９に記載のモジュール。
【請求項２１】
前記メモリマネージメントコントロールオペレーション（ＭＭＣＯ）は、基準画像リスト再順序付けプロセスである、請求項１９に記載のモジュール。
【請求項２２】
前記メモリマネージメントコントロールオペレーション（ＭＭＣＯ）は、基準画像マーキングプロセスである、請求項１９に記載のモジュール。
【請求項２３】
スケーラブルなビデオコード化に使用されるコンピュータプログラム製品において、
第１識別子を使用して１つ以上のレイヤを識別し、前記第１識別子は、デコーディング依存性を指示するものであり、更に、
前記識別された１つ以上のレイヤ内の基準画像を、第２識別子を使用して識別する、
ように構成されたコンピュータコードを備え、第１レイヤにおける画像に対する前記第２識別子のコード化が第２レイヤにおける画像とは独立したものである、コンピュータプログラム製品。
【請求項２４】
前記１つ以上のレイヤは、空間的、クオリティ、及び微粒度スケーラビリティ（ＦＧＳ）エンハンスメントレイヤの１つ以上を含む、請求項２３に記載のコンピュータプログラム製品。
【請求項２５】
前記第１識別子は、第１の共通の数字シーケンスから導出される、請求項２３に記載のコンピュータプログラム製品。
【請求項２６】
前記第２識別子は、前記第１の共通の数字シーケンスとは異なる第２の共通の数字シーケンスから導出される、請求項２５に記載のコンピュータプログラム製品。
【請求項２７】
前記第１識別子は、ＤｅｐｅｎｄｅｎｃｙＩＤ変数を含む、請求項２３に記載のコンピュータプログラム製品。
【請求項２８】
デフォールトの第１識別子が、前記第１識別子として使用される、請求項２３に記載のコンピュータプログラム製品。
【請求項２９】
前記第２識別子は、ｆｒａｍｅ＿ｎｕｍシンタックスエレメントを含む、請求項２３に記載のコンピュータプログラム製品。
【請求項３０】
前記第２識別子、及び前記第２識別子から導出された第３識別子の一方が、メモリマネージメントコントロールオペレーション（ＭＭＣＯ）シグナリングに使用される、請求項２３に記載のコンピュータプログラム製品。
【請求項３１】
前記第３識別子は、変数ＰｉｃＮｕｍを含む、請求項３０に記載のコンピュータプログラム製品。
【請求項３２】
前記メモリマネージメントコントロールオペレーション（ＭＭＣＯ）は、基準画像リスト再順序付けプロセスである、請求項３０に記載のコンピュータプログラム製品。
【請求項３３】
前記メモリマネージメントコントロールオペレーション（ＭＭＣＯ）は、基準画像マーキングプロセスである、請求項３０に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、スケーラブルなビデオコード化方法及びシステムに係る。より詳細には、本発明は、スケーラブルなビデオコード化においてフレーム番号をコード化する技術に係る。
【背景技術】
【０００２】
ここでは、背景又は環境について述べる。ここでの説明は、追求はできるが、必ずしもこれまで考案され又は追求されたものではない概念を包含する。それ故、特に指示のない限り、ここに述べるものは、本出願の請求の範囲に対する従来技術でもないし、ここに含ませることにより従来技術であると認めるものでもない。
【０００３】
ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１ビジュアル、ＩＴＵ−Ｔ  Ｈ．２６２又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−２ビジュアル、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４ビジュアル及びＩＴＵ−Ｔ  Ｈ．２６４又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣを含む多数のビデオコード化規格が存在する。Ｈ．２６４／ＡＶＣは、ＩＴＵ−Ｔビデオコーディングエクスパーツグループ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ  ＭＰＥＧのジョイントビデオチーム（ＪＶＴ）の研究成果である。
【０００４】
更に、新規ビデオコード化規格に向かって研究する努力が払われている。その１つは、ＭＰＥＧにおけるスケーラブルなビデオコード化（ＳＶＣ）規格の開発である。この規格は、Ｈ．２６４／ＡＶＣの改訂版となる。第２の努力は、中国オーディオビジュアルコード化規格ワークグループ（ＡＶＳ）により編成された中国ビデオコード化規格の開発である。ＡＶＳは、２００４年２月に、最初のビデオコード化仕様書、即ちＳＤＴＶ及びＨＤＴＶアプリケーションをターゲットとするＡＶＳ１．０を完成させた。それ以来、焦点は移動ビデオサービスへと移動した。
【０００５】
入手可能なビデオコード化規格の多くは、高いコード化効率に対しビデオ信号間の時間的冗長性を除去するために、動き補償、即ち予想コード化を使用している。動き補償においては、１つ以上の以前にデコードされた画像が、エンコード又はデコードされている現在画像の基準画像として使用される。現在画像（現在ブロック）のピクセルの１ブロックをエンコードするときには、基準画像から基準ブロックがサーチされて、現在ブロックと基準ブロックとの間の差の信号が、表示すべき最小数のビットを要求する。基準ブロックをサーチする際には、現在ブロックと基準ブロックとの間の変位をエンコードすることも考慮される。更に、基準ブロックをサーチする際には、再構成されたブロックの歪も考慮される。
【０００６】
コード化ビデオビット流においては、ある画像を、他の画像のエンコード時に基準画像として使用できるが、あるものは、基準画像として決して使用できない。基準画像として使用すべきでない画像は、非基準画像と称される。従って、エンコーダは、画像が基準画像であるかどうかをデコーダに信号し、デコーダが動き補償基準のために画像を記憶する必要がないようにしなければならない。
【０００７】
Ｈ．２６４／ＡＶＣでは、各予想画像が多数の基準画像をもつことができる。これらの基準画像は、ＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１と称する２つの基準画像リストにおいて順序付けされる。各基準画像リストは、初期の順序を有し、そしてこの順序は、基準画像リスト再順序付けプロセスにより変更することができる。例えば、ＲｅｆＰｉｃＬｉｓｔ０の初期の順序は、ｒ０、ｒ１、ｒ２、・・・ｒｍであり、これは、可変長さコードを使用してコード化されると仮定する。コード０は、ｒ０を表わし、コード１は、ｒ１を表わし、等々となる。ｒ１がｒ０より頻繁に使用されることをエンコーダが知った場合には、ｒ０とｒ１をスワップすることによりリストを再順序付けし、コード１がｒ０を表わし、コード０がｒ１を表わすようにすることができる。コード０は、コード長さがコード１より短いので、コード化効率の改善が達成される。基準画像リスト再順序付けプロセスは、デコーダが各基準画像リスト順序に対して正しい基準画像を導出できるように、ビット流においてシグナリングされねばならない。Ｈ．２６４／ＡＶＣのための基準画像リスト再順序付けプロセスは、規格仕様書のサブクローズ８．２．４．３に規定されている。
【０００８】
最初に、各基準画像は、デコーダ後のバッファ、即ちデコードされた画像のバッファに記憶され、そして「基準として使用される」とマークされねばならない。しかしながら、基準画像が基準としてもはや使用されないときには、「基準として使用されず」とマークされねばならない。基準画像リスト再順序付けプロセス及び基準画像マーキングプロセス（即ち、基準画像を「基準として使用されず」とマークする）は、メモリマネージメントコントロールオペレーション（ＭＭＣＯ）シグナリングを使用して基準画像マネージメントプロセスにより行なわれる。Ｈ．２６４／ＡＶＣのための基準画像マーキングプロセスは、規格仕様書のサブクローズ８.２．５に規定されている。
【０００９】
両プロセスにおいて、基準画像リストに新たな順序でマップされるか又は「基準として使用されず」とマークされるターゲット基準画像は、シンタックスエレメントにより識別され、これに基づいて、識別子ＰｉｃＮｕｍを導出することができる。ＰｉｃＮｕｍは、スライスヘッダにおいてコード化されるシンタックスエレメントｆｒａｍｅ＿ｎｕｍから導出され、これを使用して、相互予想基準に使用される基準画像を識別する。基本的に、ｆｒａｍｅ＿ｎｕｍは、デコード順序で手前の基準画像におけるｆｒａｍｅ＿ｎｕｍの値に対して１だけ増加する。
【００１０】
スケーラブルなビデオコード化は、広範囲の処理能力をもつデコーダを使用するシステムに使用される多数のマルチメディアアプリケーション及びサービスにとって望ましい特徴である。時間的、空間的、及びクオリティのスケーラビリティのような多数の形式のビデオスケーラビリティ機構が提案されている。これらの提案された形式は、ベースレイヤ及びエンハンスメントレイヤより成る。ベースレイヤは、ビデオストリームをデコードするのに必要な最小量のデータであり、一方、エンハンスメントレイヤは、エンハンスされたビデオ信号を与えるのに必要な付加的なデータである。
【００１１】
Ｈ．２６４／ＡＶＣに対するスケーラブルな拡張のワークドラフトでは、現在、多数のスケーラブルなレイヤのコード化を行うことができる。このワークドラフトは、ＪＶＴ−Ｎ０２０“Scalable video coding  working draft 1”、第１４回ミーティング、ホンコン、２００５年１月、に掲載されており、ＭＰＥＧドキュメントｗ６９０１“Working Draft 1.0 of 14496-10:200x/AMD1 Scalable Video Coding”、ホンコンミーティング、２００５年１月、としても知られている。多数のスケーラブルなレイヤのこのコード化では、ビットストリームにおいてシグナリングされる変数ＤｅｐｅｎｄｅｎｃｙＩＤを使用して、異なるスケーラブルレイヤのコード依存性を指示する。ある値のＤｅｐｅｎｄｅｎｃｙＩＤを伴うコード化画像は、動き補償の相互予想に対して同じ値のＤｅｐｅｎｄｅｎｃｙＩＤをもつ基準画像しか使用できない。シンタックスエレメントｆｒａｍｅ＿ｎｕｍは、スライスヘッダにおいてコード化され、これを使用して、相互予想基準に使用される基準画像を識別する。基本的に、ｆｒａｍｅ＿ｎｕｍは、デコード順序で手前の基準画像におけるｆｒａｍｅ＿ｎｕｍの値に対して１だけ増加する。
【００１２】
ｆｒａｍｅ＿ｎｕｍコード化方法の一例として、図１は、画像１３、１５、１７、１９、２１及び２３を有するエンハンスされたビデオ信号における画像間のデコード及び依存性関係を示している。画像形式（即ち、ＩＤＲ、Ｅ−ＩＤＲ、Ｐ又はＥ−Ｐ）の後の数字は、画像のデコード順序を示す。“Ｅ−”を前にもつ画像形式は、画像がエンハンスメントレイヤ画像であることを意味する。図１の画像１３、１５及び１７は、エンハンスメントレイヤ画像である。画像順序カウント（ＰＯＣ）は、画像間の時間的関係を指す。矢印は、画像間のデコード依存性関係を示す。ｆｒａｍｅ＿ｎｕｍコード化方法を使用すると、画像１３、１５、１７、１９、２１及び２３のデコード順序は、画像１９、画像１３、画像２１、画像１５、画像２３、及び画像１７である。
【００１３】
このｆｒａｍｅ＿ｎｕｍコード化方法には、多数の問題がある。例えば、あるスケーラブルなプレゼンテーションに対して１つ以上のエンハンスメントレイヤが要求されず、そしてこれらのエンハンスメントレイヤが基準画像を含む場合には、たとえ送信にエラーがなくても、ｆｒａｍｅ＿ｎｕｍの値にギャップが生じる。従って、ｆｒａｍｅ＿ｎｕｍのギャップに基づく基準画像ロス検出が不可能となる。図１においてベースレイヤしか必要でない場合には、次々の画像におけるｆｒａｍｅ＿ｎｕｍ値が０、２、４、・・・となり、ロスが生じないときにｆｒａｍｅ＿ｎｕｍギャップが存在する。
【００１４】
このコード化方法に伴う別の問題は、基準画像マーキングプロセス及び基準画像リスト再順序付けプロセスを含むメモリマネージメントコントロールオペレーション（ＭＭＣＯ）を使用して、コード化画像バッファをマネージできることである。これらのオペレーションプロセスでは、オペレーション下にあるターゲット基準画像の情報がシグナリングされる。現在ｆｒａｍｅ＿ｎｕｍコード化では、前記情報のシグナリングが、効率の悪いものとなる。例えば、図１では、基準画像リストは、１０、８、６、４、２、０（ＰｉｃＮｕｍ）である。
【００１５】
図１において、画像１３、１５及び１７のようなエンハンスメント画像がビデオのデコード及びプレゼンテーションに要求されない場合でも、ｆｒａｍｅ＿ｎｕｍの値は、エンハンスメント画像に対して依然増加する。例えば、画像１９に対するｆｒａｍｅ＿ｎｕｍの値は、０であり、画像１３（これは、エンハンスメント画像である）に対するｆｒａｍｅ＿ｎｕｍの値は、１であり、そして画像２１に対するｆｒａｍｅ＿ｎｕｍの値は、２である。従って、ｆｒａｍｅ＿ｎｕｍは、画像１３（エンハンスメント画像）が必要とされなくても、画像１９から画像１３へ、０から１へ増加する。
【００１６】
従来の方法は、ｆｒａｍｅ＿ｎｕｍを使用したコード化方法に関連した問題の幾つかを解決しない。例えば、１つの技術は、Ｈ．２６３アネックスＷにおける画像番号「補足エンハンスメント情報（ＳＥＩ）」メッセージを使用し、ここでは、画像がエンコードされるときに、画像がベースレイヤに属するかエンハンスメントレイヤに属するかに関わらず、モジュロ演算において画像番号が１だけ増加される。画像番号のこのコード化は、実際には、Ｈ．２６４／ＡＶＣに対するスケーラブルな拡張のワークドラフト１．０におけるｆｒａｍｅ＿ｎｕｍのコード化と同様である。別の技術は、Ｈ．２６４／ＡＶＣアネックスＤにおけるサブシーケンス情報ＳＥＩメッセージを使用し、ここでは、ｓｕｂ＿ｓｅｑ＿ｆｒａｍｅ＿ｎｕｍがあり、これは、サブシーケンスの第１画像に対して０であり、そしてモジュロ演算において、サブシーケンスに属するデコード順序で手前の基準フレームに対して、１だけ増加される。ｓｕｂ＿ｓｅｑ＿ｆｒａｍｅ＿ｎｕｍのこのコード化は、あるサブシーケンスレイヤ（即ち、Ｈ．２６４／ＡＶＣに対するスケーラブルな拡張のワークドラフト１．０の文脈における時間的にスケーラブルなレイヤ）に属するサブシーケンスの基準画像に対して独立している。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
従って、基準画像を含む１つ以上のエンハンスメントレイヤが要求されないときにｆｒａｍｅ＿ｎｕｍの値におけるギャップを回避することが要望される。更に、ターゲットの基準画像に関連した情報をより効率的な仕方で信号することも要望される。更に、基準画像をマークし且つ再順序付けすることによりコード化画像のバッファを良好にマネージすることも要望される。更に、基準画像を円滑に且つ効率的な仕方でデコードしプレゼンテーションして、基準画像のロスを効率的に検出できると共に、デコード動作を続けるべきか又はロスを取り扱うために適切なアクションをとるべきか、例えば、エンコーダ側から内部更新を要求すべきかをデコーダが判断できるようにすることも要望される。
【課題を解決するための手段】
【００１８】
一般に、本発明は、基準画像ロス検出を保証するためのスケーラブルなビデオコード化技術に係る。本発明では、ある値のＤｅｐｅｎｄｅｎｃｙＩＤをもつ全ての画像に対し、異なる値のＤｅｐｅｎｄｅｎｃｙＩＤをもつ他の画像とは独立してシンタックスエレメントｆｒａｍｅ＿ｎｕｍがコード化される。所定値のＤｅｐｅｎｄｅｎｃｙＩＤをもつ全ての画像内で、デフォールトｆｒａｍｅ＿ｎｕｍコード化方法が使用される。この技術は、メモリマネージメントコントロールオペレーション（ＭＭＣＯ）シグナリングのコード化効率を改善することができる。
【００１９】
１つの実施形態は、複数のレイヤを有するスケーラブルなビデオデータをエンコードする方法であって、複数のレイヤの各レイヤが少なくとも１つの他のレイヤに関連付けられるような方法に係る。この方法は、第１識別子を使用して１つ以上のレイヤを識別するステップであって、その第１識別子がデコーディング依存性を指示するようなステップと、前記識別された１つ以上のレイヤ内の基準画像を、第２識別子を使用して識別するステップと、を含むことができる。第１レイヤにおける画像に対する第２識別子のコード化は、第２レイヤにおける画像とは独立している。
【００２０】
別の実施形態は、複数のレイヤを有するスケーラブルなビデオデータをコード化するモジュールであって、複数のレイヤの各レイヤが少なくとも１つの他のレイヤに関連付けられるようなモジュールに係る。このモジュールは、ある第２識別子をもつ第１レイヤにおける全ての画像に対して第１識別子をコード化するための手段を備えている。第１レイヤにおける画像に対する第２識別子のコード化は、第２レイヤにおける画像とは独立している。
【００２１】
別の実施形態は、スケーラブルなビデオコード化に使用されるコンピュータプログラム製品に係る。このコンピュータプログラム製品は、第１識別子を使用して１つ以上のレイヤを識別し、第１識別子はデコーディング依存性を示し、更に、その識別された１つ以上のレイヤ内の基準画像を、第２識別子を使用して識別するように構成されたコンピュータコードを備えている。第１レイヤにおける画像に対する第２識別子のコード化は、第２レイヤにおける画像とは独立している。
【発明を実施するための最良の形態】
【００２２】
ここに例示する実施形態は、改良されたスケーラブルなビデオコード化のための方法、コンピュータコード製品、及び装置を提供する。これら実施形態は、既存の解決策に本来ある問題の幾つかを解決するのに使用できる。例えば、これら実施形態は、円滑且つ効率的な仕方での基準画像のコード化及びプレゼンテーションを改善して、基準画像のロスを効率的に検出できるようにすると共に、デコード動作を続けるべきか又はロスを取り扱うために適切なアクションをとるべきか、例えば、エンコーダ側から内部更新を要求すべきかをデコーダが判断できるようにするのに使用できる。更に、これらの実施形態は、基準画像マネージメントプロセスにおいてターゲット基準画像に関連した情報をより効率的な仕方で信号することができる。
【００２３】
ここで使用する「エンハンスメントレイヤ」という語は、あるクオリティの低い再構成に比して差動的にコード化されたレイヤを指す。エンハンスメントレイヤの目的は、クオリティの低い再構成に追加したときに、信号クオリティを改善し、即ち「エンハンス」することである。更に、「ベースレイヤ」という語は、既存のビデオコード化アルゴリズムを使用してエンコードされる非スケーラブルなベースレイヤと、再構成されたエンハンスメントレイヤであって、これに対してその後のエンハンスメントレイヤがコード化されるようなレイヤの両方に適用される。
【００２４】
上述したように、これら実施形態は、コンピュータ実行可能なインストラクション又はデータ構造体を保持し又はそれらが記憶されたコンピュータ読み取り可能なメディアを備えたプログラム製品を包含する。このようなコンピュータ読み取り可能なメディアは、汎用又は特殊目的コンピュータによりアクセスできる任意の入手可能なメディアでもよい。例えば、このようなコンピュータ読み取り可能なメディアは、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、又は他の光学的ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、或いはコンピュータ実行可能なインストラクション又はデータ構造体の形態で希望のプログラムコードを保持又は記憶するのに使用できると共に、汎用又は特殊目的のコンピュータでアクセスできる他のメディアを含むことができる。ネットワーク又は別の通信接続（ハードワイヤード、ワイヤレス、又はそれらの組み合せ）を経てコンピュータへ情報を転送し又は供給するときには、コンピュータは、その接続をコンピュータ読み取り可能なメディアとして適切に見る。従って、このような接続は、適切に、コンピュータ読み取り可能なメディアと称される。又、前記組み合せも、コンピュータ読み取り可能なメディアの範囲内に包含される。コンピュータ実行可能なインストラクションは、例えば、汎用コンピュータ、特殊目的のコンピュータ、又は特殊目的の処理装置が、ある機能又は機能のグループを遂行するようにさせるインストラクション及びデータを含む。又、Ｃ又はＣ＋＋、或いはアッセンブリ言語のような通常のプログラミング言語を使用して、本発明を実施することができる。
【００２５】
図２及び３は、通信装置（セルラー電話のような移動通信装置、又はベースステーション、ルーター、リピーター等のネットワーク装置）の一部分としての実施例を示す。しかしながら、本発明は、いずれかの形式の電子装置に限定されるものではなく、パーソナルデジタルアシスタント、パーソナルコンピュータ、移動電話、及び他の装置のような装置に組み込めることに注意するのが重要である。本発明は、種々様々な装置に組み込めることを理解されたい。
【００２６】
図２及び３の装置１２は、ハウジング３０と、ディスプレイ３２と、キーパッド３４と、マイクロホン３６と、イヤホン３８と、バッテリ４０と、無線インターフェイス回路５２と、コーデック回路５４と、コントローラ５６と、メモリ５８とを備えている。個々の回路及び要素は、全て、ノキアの移動電話の範囲において良く知られた形式のものである。装置１２の厳密なアーキテクチャーは、重要ではない。装置１２の異なる及び付加的なコンポーネントが装置１２へ組み込まれてもよい。本発明のスケーラブルなビデオエンコード及びデコード技術は、装置１２のコントローラ５６、メモリ５８で遂行することができる。
【００２７】
これら実施形態は、ネットワーク環境においてコンピュータにより実行されるプログラムコードのようなコンピュータ実行可能なインストラクションを含むプログラム製品により実施できる方法ステップ又はオペレーションの一般的状況において説明する。一般に、プログラムモジュールは、特定のタスクを遂行するか、又は特定のアブストラクトデータ形式を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造体、等を含む。コンピュータ実行可能なインストラクション、関連データ構造体、及びプログラムモジュールは、ここに開示する方法のステップを実行するためのプログラムコードの例を表わす。このような実行可能なインストラクション又は関連データ構造体の特定のシーケンスは、このようなステップで説明される機能を実施するための対応するアクションの例を表わす。
【００２８】
ソフトウェア及びウェブ具現化は、ルールに基づくロジック及び他のロジックを伴う標準的プログラミング技術で達成され、種々のデータベースサーチステップ、相関ステップ、比較ステップ及び判断ステップを達成することができる。本明細書で使用する「モジュール」という語は、１行以上のソフトウェアコードを使用する具現化、及び／又はハードウェア具現化、及び／又は手動入力を受け入れる装置を包含するものであることに注意されたい。
【００２９】
図４は、ビデオ信号における画像６３、６５、６７、６９、７１及び７３間のデコード及び依存性の関係を示す。画像形式（即ち、ＩＤＲ、Ｅ−ＩＤＲ、Ｐ又はＥ−Ｐ）の後の数字は、画像のデコード順序を示す。“Ｅ−”を前にもつ画像形式は、画像がエンハンスメントレイヤ画像であることを意味する。例えば、図４の画像６３、６５及び６７は、エンハンスメントレイヤ画像である。画像順序カウント（ＰＯＣ）は、画像間の時間的関係を指す。矢印は、画像間のデコード依存性関係を示す。
【００３０】
スケーラブルなビデオにおけるビデオビットストリームは、スケーラブルなレイヤを指定するＤｅｐｅｎｄｅｎｃｙＩＤを含む。ここに例示する方法によれば、１つのレイヤに対するｆｒａｍｅ＿ｎｕｍの値は、第１レイヤに対するｆｒａｍｅ＿ｎｕｍとは独立している。例えば、ＤｅｐｅｎｄｅｎｃｙＩＤが０である画像３８のｆｒａｍｅ＿ｎｕｍの値は、０であり、そしてＤｅｐｅｎｄｅｎｃｙＩＤが１である画像３２のｆｒａｍｅ＿ｎｕｍの値も、０である。図４において、画像６３、６５、６７、６９、７１及び７３のデコーディング順序は、画像６３、６５及び６７がデコーディング及びプレゼンテーションに必要とされない場合には、画像６９、画像７１及び画像７３となる。１つ以上のエンハンスメント画像が要求される場合には、それらがその順序で含まれる。例えば、画像６３、６５及び６７が要求される場合には、順序は、画像６９、画像６３、画像７１、画像６５、画像７３、及び画像６７となる。
【００３１】
同じＤｅｐｅｎｄｅｎｃｙＩＤ値をもつ全ての画像に対してフレーム番号を独立してコード化すると、ｆｒａｍｅ＿ｎｕｍ値のギャップに基づく基準画像ロス検出が確保されると共に、ＭＭＣＯ情報の効率的なシグナリングが可能となる。
【００３２】
図５は、スケーラブルなビデオコード化においてフレーム番号をコード化する際に遂行されるオペレーションを示す。実施形態又は具現化に基づいて、付加的なオペレーション、より少ないオペレーション、又は異なるオペレーションが遂行されてもよい。スケーラブルなビデオデータは、多数のレイヤを有し、各レイヤは、少なくとも１つの他のレイヤに関連される。オペレーション８２では、第１識別子を使用して１つ以上のレイヤが識別される。この第１識別子は、デコーディング依存性を指示する。１つ以上のレイヤは、空間的、クオリティ、又はＦＧＳエンハンスメントレイヤである。
【００３３】
オペレーション８４において、第２識別子を使用して、識別されたレイヤ内の基準画像を識別する。この第２識別子は、第１識別子とは個別のもので、且つ個別の一連の番号の一部分である。第１識別子の第１の値をもつレイヤ内の全画像に対して第２識別子をコード化することは、第１識別子の第２の値をもつレイヤ内の全画像とは独立している。
【００３４】
ここに述べる方法の効果は、ｆｒａｍｅ＿ｎｕｍ値ギャップに基づく基準画像ロス検出が保証されることを含む。ベースレイヤ又はエンハンスメントレイヤ（最上位のエンハンスメントレイヤではない）に基準画像ロスがない場合には、デコーディング及びプレゼンテーションを円滑に続けることができ、さもなければ、著しいクオリティ低下がおそらく生じる。この情報が分ると、デコーダは、エンドユーザの経験を最大にするように適切に動作することができる。例えば、基準画像ロスがないことがデコーダに分ると、デコーディングのみを続けることができる。図５において、いずれのレイヤについても、次々の画像におけるｆｒａｍｅ＿ｎｕｍ値は、０、１、２、・・・であり、ロスが生じないときにはｆｒａｍｅ＿ｎｕｍギャップが存在しない。
【００３５】
別の例では、基準画像ロスがあることがデコーダに分ると、クオリティの低下を評価することができ、そしてクオリティの低下がおそらく大きい場合には、表示を停止し、送信側からのビデオコンテンツの更新を要求することができる。更に、この方法は、ＭＭＣＯ情報のシグナリングがより効率的となって、コード化効率が改善されるようにする。図５では、いずれかのレイヤの画像に対して、基準画像リストが５、４、３、２、１、０（ＰｉｃＮｕｍ）である。
【００３６】
本発明の幾つかの実施形態を説明したが、本発明に係る技術の当業者であれば、変更や修正がなされ得ることが理解されよう。従って、本発明は、特許請求の範囲により正確に限定される。
【図面の簡単な説明】
【００３７】
【図１】従来技術による画像を有するエンハンス型ビデオ信号における画像間のデコード及び依存性関係を示す図である。
【図２】一実施形態に使用できる通信装置の斜視図である。
【図３】図２の通信装置の機能的実施形態を示すブロック図である。
【図４】一実施形態による画像を有するエンハンス型ビデオ信号における画像間のデコード及び依存性の関係を示す図である。
【図５】一実施形態によるスケーラブルなビデオコード化においてフレーム番号をコード化する際に遂行される演算のフローチャートである。
【図１】
2008536427.tif 000003
【図２】
2008536427.tif 000004
【図３】
2008536427.tif 000005
【図４】
2008536427.tif 000006
【図５】
2008536427.tif 000007
【国際調査報告】
2008536427.tif 000008
2008536427.tif 000009
2008536427.tif 000010