(57)【要約】  エンコーダーからビデオ信号の画像情報を送信する方法及びデコーダーにおいて画像情報を用いる方法に関する。ビデオ信号がエンコードされるとき、ビデオ信号は特定スキームに応じてコーディングされてキー画像及び非キー画像に分割され、各ＮＡＬ部において伝搬されたコーディング済みの画像データがキー画像データであるかどうかを示す値はＮＡＬ部のヘッダー内における「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに記録されるか、あるいは、ＭＭＣＯが存在することを示す値「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」及びキー画像を示す制御動作値はキー画像にコーディングされた画像のヘッダーに記録される。【選択図】図１
2008543162.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号をエンコードする方法であって、
ａ）前記ビデオ信号をキー画像及び非キー画像に分割する特定のスキームに応じて前記ビデオ信号をコーディングするステップと、
ｂ）コーディングされた画像データを伝搬する各送信部のヘッダーにおいて、前記送信部において伝搬された前記画像データがキー画像データであるかどうかを示す情報を記録するステップと、
を含む、ビデオ信号のエンコード方法。
【請求項２】
前記情報は、前記送信部において伝搬された画像データがキー画像であるときに割り当てられた第１の値と、前記第１の値とは異なる複数の値のうちいずれかと、を有し、前記画像データがコーディングされる複数の時間レベルに応じて割り当てられる、請求項１に記載のビデオ信号のエンコード方法。
【請求項３】
前記情報は２ビットのサイズを有し、前記第１の値は３であり、前記第１の値とは異なる複数の値は０〜２の範囲にある、請求項２に記載のビデオ信号のエンコード方法。
【請求項４】
前記ステップｂ）において、０の値を有する情報は最上位時間レベル（ＴＬ＝Ｎ）の画像データを伝搬する各送信部のヘッダーに記録され、１の値を有する情報は第２の最上位時間レベル（ＴＬ＝Ｎ−１）の画像データを伝搬する各送信部のヘッダーに記録され、２の値を有する情報は第２の最下位〜第３の最上位時間レベルの範囲（ＴＬ＝１、…、Ｎ−３、Ｎ−２）の画像データを伝搬する各送信部のヘッダーに記録され、３の値を有する情報は最下位時間レベル（ＴＬ＝０）の画像データを伝搬する各送信部のヘッダーに記録される、請求項３に記載のビデオ信号のエンコード方法。
【請求項５】
ビデオ信号のデコード方法であって、
ａ）送信部を受信する間にエンコードされた画像データを伝搬する各送信部のヘッダーにおいて特定情報をチェックするステップと、
ｂ）前記送信部において伝搬された画像データがキー画像データであるかどうかを前記特定情報の値から判定するステップと、
を含む、ビデオ信号のデコード方法。
【請求項６】
前記特定情報は前記送信部において伝搬された画像データがキー画像データであるときに割り当てられた第１の値と、前記第１の値とは異なる複数の値のうちいずれかと、を有し、前記画像データがコーディングされる複数の時間レベルに応じて割り当てられる、請求項５に記載のビデオ信号のデコード方法。
【請求項７】
前記特定情報は２ビットのサイズを有し、前記第１の値は３であり、前記第１の値とは異なる複数の値は０〜２の範囲にある、請求項６に記載のビデオ信号のデコード方法。
【請求項８】
前記ステップａ）において、前記特定情報をチェックする前に、前記特定情報の値に基づいて、所定の出力フレームレートに応じて送信すべき送信部を選択するステップをさらに含む、請求項６に記載のビデオ信号のデコード方法。
【請求項９】
ｃ）基本画質画像を用いて再構成された画像、または基準画像としての基本画質画像及びＳＮＲエンハンスメント層画像データの両方を用いて再構成された画像を用い、前記画像データがキー画像データであるかどうかについての前記ステップｂ）における判定に応じて、前記送信部において伝搬された前記画像データをデコードするステップをさらに含む、請求項５に記載のビデオ信号のデコード方法。
【請求項１０】
前記送信部は、ネットワーク抽象化層（ＮＡＬ）部を含む、請求項５に記載のビデオ信号のデコード方法。
【請求項１１】
ビデオ信号のエンコード方法であって、
前記ビデオ信号をキー画像及び非キー画像に分割する特定スキームに応じて前記ビデオ信号をコーディングするステップと、
メモリ管理制御動作の存否を示す値とキー画像を示す制御動作値の両方をキー画像にコーディングされた画像のヘッダーに記録するステップと、
を含むビデオ信号のエンコード方法。
【請求項１２】
キー画像である旨を示す前記制御動作値は６よりも大きな値である、請求項１１に記載のビデオ信号のエンコード方法。
【請求項１３】
ビデオ信号のデコード方法であって、
ａ）エンコードされた画像データを受信する間にメモリ管理制御動作が存在するかどうかを各画像のヘッダーから判定するステップと、
ｂ）前記メモリ管理制御動作が存在する場合にキー画像を示す制御動作値が存在するかどうかを判定し、前記制御動作値が存在する場合に前記画像がキー画像であるかどうかを判定するステップと、
を含むビデオ信号のデコード方法。
【請求項１４】
キー画像を示す前記制御動作値が６よりも大きな値である、請求項１３に記載のビデオ信号のデコード方法。
【請求項１５】
前記ステップａ）は、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ）において定義された「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」が１の値を有する場合に前記メモリ管理制御動作が存在するかどうかを判定するステップを含む、請求項１３に記載のビデオ信号のデコード方法。
【請求項１６】
前記ステップｂ）は、前記メモリ管理制御動作が存在しない場合、あるいは、前記メモリ管理制御動作が存在するとしてもキー画像を示す前記制御動作値が存在しない場合には、前記画像がキー画像ではないと判定するステップを含む、請求項１３に記載のビデオ信号のデコード方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はエンコーダーからビデオ信号の画像情報を送信する方法、及びデコーダーにおいて画像情報を用いる方法に関する。
【背景技術】
【０００２】
スケーラブルビデオコーデック（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｅｃ；ＳＶＣ）は、エンコードされた画像シーケンスの一部（特に、全体のフレームシーケンスから間歇的に選ばれるフレームの部分シーケンス）がビデオを低品質イメージにて表示するようにデコードされて使用可能であることを保証しながら、ビデオを最高のイメージ品質の画像シーケンスにエンコードする。動き補償時間フィルタリング（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ；ＭＣＴＦ）はＳＶＣにおいて用いるために提案されたエンコードスキームである。
【０００３】
たとえ、スケーラブルスキームに応じてエンコードされた画像のシーケンスの一部を受信して処理し、低いイメージ品質のビデオを表示できるとはいえ、イメージ品質はビットレートが下がる場合に大幅に劣化するという問題が依然として存在する。この問題に対する解決策は、低ビットレート用の補助画像シーケンス、例えば、図１に示すように、小さなスクリーンサイズ及び／または低いフレームレートを有する画像のシーケンスを提供することである。
【０００４】
補助画像シーケンスは基本層と呼ばれ、メインフレームシーケンスはエンハンスドまたはエンハンスメント層と呼ばれる。層間予測が行われてコード効率を高める。
【０００５】
ＳＶＣにおいて、各層の画像シーケンスは、図２に示すように、エンコードされて伝送される基本画質層及びＳＮＲエンハンスメント層に分割され、送信チャンネルの条件に応じて、エンコーダーが高いイメージ品質を実現することを保証する。ＳＮＲエンハンスメント層は、原イメージ画像とエンコードされた基本画質層画像との差分のエンコードされた画像データを含む。ＳＮＲエンハンスメント層の付加デコードは、基本イメージ品質よりも高いイメージ品質をビデオに提供する。
【０００６】
基本画質画像は、単独で画像間予測用の基準画像として用いられる。代案的に、ＳＮＲエンハンスメント層画像データが反映される基本画質画像から生成された画像は画像間予測用の基準画像として用いられる。この基本画質画像から生成された画像は予測により生成されたコーディングされたデータ量を減らす。ところが、ＳＮＲエンハンスメント層画像データの全体または一部が不十分な送信チャンネル容量のために送信できないならば、画像デコード時にエラーが生じて、ＳＮＲエンハンスメント層画像データを基準画像データとして用いることが必要となり、エラーはまた連続した画像に伝播される。
【０００７】
エラー伝播を制限するために、ＳＶＣは、基準画像として基本画質画像のみを用いるべき画像を特定する。特定された画像は「キー画像」と呼ばれる。非キー画像（図２の例におけるＢ画像）として特定された画像がデコードされるとき、基本画質画像とＳＮＲエンハンスメント画像データを用いて再構成された画像は、図２に示すように、これらの基準画像として用いられる。これにより、ＳＶＣにおいて、画像は、基本画質画像のみが、または、基本画質画像とＳＮＲエンハンスメント画像データの両方が画像の予測に用いられるかどうかによって、キー画像または非キー画像として特定され、デコーダーは画像がキー画像であるか、または、非キー画像であるかを通知され、これにより、適切なデコードを行うことができる。
【０００８】
ＳＶＣに応じて、同じスキーム（例えば、ＭＣＴＦ）はエンハンスド層及び基本層の両方に採用可能である。他のスキーム（例えば、基本層用の進んだビデオコーデック（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ；ＡＶＣ）基盤のスキーム（あるいは、「Ｈ．２６４」と呼ばれる）及びエンハンスド層用のＭＣＴＦ）はまたエンハンスド層及び基本層の両方に採用可能である。
【０００９】
しかしながら、ＡＶＣ基盤のスキーム（以下では、「ＡＶＣ互換可能なスキーム」と呼ばれる）が基本層に対して採用されるとき、既存のＡＶＣコーデックのシンタックスは違反しないことが求められる。ＡＶＣがＳＮＲエンハンスメント画像を受け入れることができないため、ＡＶＣはキー画像の定義を提供することができず、画像がキー画像であるかどうかを示す情報を送信するための情報構造を有することができない。
【００１０】
これらの理由から、ＳＶＣがＡＶＣなどの他のコーデックと互換可能なスキームを採用するとき、画像がエンコーダーからデコーダーまでキー画像である旨を示す情報を伝送する方法が望まれ、これは、ＡＶＣシンタックスに違反することなく、ＡＶＣがＳＮＲエンハンスメント画像データを受け入れることを保証する。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は上記事情に鑑みてなされたものであり、その目的は、画像がエンコードされたビデオデータを伝搬する各送信部のヘッダーによりキー画像であるかどうかを示す情報を伝送する方法を提供するところにある。
【００１２】
本発明の他の目的は、エンコードされたビデオデータがデコードされるときに行われるようにエンコーダーが特定するメモリ管理制御動作（Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｏｐｅｒａｔｉｏｎ）により画像がキー画像であるかどうかを示す情報を伝送する方法を提供するところにある。
【課題を解決するための手段】
【００１３】
本発明の一態様によれば、上述した目的及び他の目的は、ビデオ信号をエンコード及びデコードする方法であって、ビデオ信号のエンコード時にビデオ信号がキー画像及び非キー画像に分割される特定スキームに応じてコーディングされ、各送信部において伝搬されたコーディングされた画像データがキー画像データであるかどうかを示す特定情報が送信部のヘッダーに記録されるのに対し、エンコードされたビデオ信号がデコードされるとき、エンコードされた画像データを伝搬する各送信部のヘッダー内の特定情報が送信部を受信する間にチェックされ、送信部において伝搬された画像データがキー画像データであるかどうかが特定情報の値から判定される方法の提供により達成される。
【００１４】
本発明の他の態様によれば、ビデオ信号をエンコード及びデコードする方法であって、ビデオ信号のエンコード時にビデオ信号はキー画像及び非キー画像に分割される特定スキームに応じてコーディングされ、メモリ管理制御動作が存在することを示す値と、キー画像を示す制御動作（または、指令）値の全てはキー画像にコーディングされた画像のヘッダーに記録されるのに対し、エンコードされたビデオ信号がデコードされるとき、メモリ管理制御動作が存在するかどうかを各画像のヘッダーから判定し、メモリ管理制御動作が存在する場合にキー画像を示す制御動作値が存在するかどうかを判定し、キー画像を示す制御動作値が存在する場合に画像がキー画像であるかどうかが判定される。
【００１５】
本発明の一実施形態において、特定情報は２ビットのサイズを有する。
【００１６】
本発明の一実施形態において、特定情報は、送信部が最下位時間レベルの画像データであるキー画像データを伝搬するときに３の値を有し、送信部が最上位時間レベルの画像データを伝搬するときに０の値を有し、送信部が第２の最上位時間レベルの画像データを伝搬するときに１の値を有し、送信部が残りの時間レベルの画像データを伝搬するときに２の値を有する。
【００１７】
本発明の一実施形態において、送信部は、ネットワーク抽象化層（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ；ＮＡＬ）部である。
【００１８】
本発明の他の実施形態において、キー画像を示す制御動作値はＡＶＣにおいて定義されたｍｏｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎに割り当てられ、好ましくは、７である。
【発明の効果】
【００１９】
本発明によるビデオ信号をエンコード及びデコードする方法は、ＡＶＣ互換可能なデコーダーがＳＶＣデコーダーに採用されるとき、画像がキー画像であるかどうかを示す情報を既存のＡＶＣに違反することなく伝送できることを保証し、ビデオ信号のＡＶＣ基盤のコーディングの利益を保証すると共に、ＳＮＲエンハンスメント画像データを用いてイメージ品質を改善することができる。
【００２０】
また、本発明による方法は、デコーダー上に負荷を加えることなく、所望のフレームレートにてビデオシーケンスを取得することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の上述した目的及び他の目的と、特徴及び利点は、添付図面と結び付けて行われる下記の詳細な説明からなお一層明らかになるであろう。
【００２２】
以下、添付図面に基づき、本発明の好適な実施形態について詳細に説明する。
【００２３】
図３は、本発明の好適な実施形態による、画像がエンコードされたビデオデータを伝搬する送信部としてのＮＡＬ部の１バイトヘッダー内の２ビット「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを通じてキー画像であるかどうかを示す情報を送信する方法を示す。
【００２４】
エンコーダーが基本画質画像及びＳＮＲエンハンスメント画像データの両方を用いた予測により画像を残りのデータにコーディングするとき、エンコーダーは画像を非キー画像として特定する。なお、エンコーダーが基本画質画像のみを用いた予測により画像を残りのデータにコーディングするとき、エンコーダーは画像をキー画像として特定する。
【００２５】
キー画像の上述した定義は単なる例示に過ぎず、本発明はこれに限定されるものではない。すなわち、画像は他の基準によりキー画像及び非キー画像に分割可能であり、本発明は画像がキー画像であるかどうかを示す情報が、例えば、「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを通じて送信されることを特徴としている。
【００２６】
例えば、キー画像または画像の部分データ（以下、「パーティション」と称する。）として特定された画像を伝搬する各ＮＡＬ部のヘッダー内の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには「３」の値が割り当てられ、非キー画像またはそのパーティションとして特定された画像を伝搬する各ＮＡＬ部のヘッダー内の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには、画像が属する時間レベルに応じて、「０」〜「２」の複数の値のうちいずれかが割り当てられる。シーケンスパラメーターセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ）、シーケンスパラメーターセット拡張子（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ Ｅｘｔｅｎｓｉｏｎ；ＳＰＳＥ）、及び画像パラメーターセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ）などの情報を伝搬する各ＮＡＬ部のヘッダー内の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには「３」の値が割り当てられる。
【００２７】
スライスがデコードの手順においてデコードされるとき、スライスがキー画像に属するかどうかを示すフラグ「ＫｅｙＰｉｃｔｕｒｅ Ｆｌａｇ」は、次の対応「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドの値に応じてセットまたはリセットされる：
Ｉｆ（ｎａｌ＿ｒｅｆ＿ｉｄｃ＝＝３）ＫｅｙＰｉｃｔｕｒｅＦｌａｇ＝１
Ｅｌｓｅ ＫｅｙＰｉｃｔｕｒｅＦｌａｇ＝０
【００２８】
現在、ＡＶＣは、特定のタイプ（例えば、ＩＤＲ ＮＡＬ（ｎａｌ＿ｕｉｔ＿ｔｙｐｅ＝５））のスライスデータを伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドが「０」ではない値を割り当てられるように定義され（ここで、用語「スライス」はフレームが分割されるユニットを言う。）、他のタイプのスライスデータ（例えば、スライスデータは基準画像として用いられない画像に属する。）を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドは「０」の値が割り当てられる。これにより、本発明の一実施形態による値を「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに割り当てる上述した方法はＡＶＣシンタックスに違反しない。
【００２９】
以下、図４に基づき、画像が属する時間レベルに応じて、画像を伝搬する各ＮＡＬ部内の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに異なる値を割り当てる上述した方法について詳細に説明する。
【００３０】
所定数の画像（図４の例における１６画像）を含む画像グループのうち第１の画像ｐ１がイントラコーディングされ、その最後の画像ｐ１６は基準画像であり、第１の画像ｐ１を用いた予測によりＰピクチャにコーディングされる。たとえ、第１の画像ｐ１のＳＮＲエンハンスメント画像データが生成されるとしても、ＳＮＲエンハンスメント画像データが反映された画像はＰピクチャにコーディングするための最後の画像ｐ１６の予測に用いられない。このような方式により、時間レベル０の画像が生成されてキー画像となる。コーディング後、画像はＮＡＬ部にカプセル化される。この手順において、画像に属するデータを伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには「３」の値が割り当てられる。
【００３１】
画像グループの途中に位置する画像ｐ８は、その後、基準画像として時間レベル０の画像を用いた双方向予測コーディングを行い、その結果、Ｂピクチャが生成される。時間レベル０の画像を参照するこの双方向コーディングは時間レベルを１だけインクリメントさせ、時間レベル１のＢピクチャに属するデータを伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには時間レベル０のキー画像に割り当てられた値「３」よりも１だけデクリメントされた「２」の値が割り当てられる。
【００３２】
その後、３枚のコーディングされた画像ｐ１、ｐ８及びｐ１６の間に位置する画像ｐ４及びｐ１２は３枚のコーディングされた画像ｐ１、ｐ８及びｐ１６の隣り合う画像ｐ１とｐ８、及びｐ８とｐ１６を参照して双方向コーディングされる。この双方向コーディングは時間レベルを１だけインクリメントさせ、この手順により生成された２枚のＢピクチャを時間レベル２に割り当てる。
【００３３】
画像グループ内の残りの画像は、上述の方法と同様にして予測コーディングを行い、その結果、時間レベルが割り当てられる。画像は、時間レベル２の画像を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに「２」値が割り当てられ、時間レベル３の画像を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに「１」の値が割り当てられ、時間レベル４の画像を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに「０」の値が割り当てられた後に送信される。
【００３４】
以下、「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに値を割り当てる通常の方法について説明する。図４に示すように、エンコードされた画像の最後の時間レベルがレベルＮ（例えば、レベル４）である場合、レベルＮの画像を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには最下位値「０」が割り当てられ、レベルＮ−１の画像を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには「１」の値が割り当てられ、レベル１からレベルＮ−２の範囲の画像を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには「２」の値が割り当てられ、キー画像であるレベル０の画像を伝搬する各ＮＡＬ部の「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドには「３」の値が割り当てられる。このような割り当て方法は単なる例示に過ぎず、値は種々の異なる方法により時間レベルの「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに割り当て可能である。しかしながら、「３」の値がキー画像が存在する時間レベルの「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに割り当てられるのに対し、「３」とは異なる値が非キー画像が存在する時間レベルの「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに割り当てられる原理はいかなる方法においても維持される。
【００３５】
図４に示すように、「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドの値を割り当てる方法は、ＳＶＣデコーダー内におけるＡＶＣ互換可能な基本層デコーダーがＮＡＬ部のペイロードにスライスデータをパーシングすることなく、基本層デコーダーの現在のプレゼンテーション環境に適したフレームレートにてビデオシーケンスを出力することを保証する。
【００３６】
例えば、図５に示すような構成を有するデコード装置において、基本層部内における抽出器５０１はそのダウンストリームに設けられるＡＶＣ互換可能なデコーダーである基本層（ＢＬ）デコーダー５０２の現在の出力条件に基づいて設定された選択指令（例えば、ユーザーによる入力）に応じて、「３」の値が割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部、「２」以上の値が割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部、「１」以上の値が割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部、または全てのＮＡＬ部を選択し、選択されたＮＡＬ部または全てのＮＡＬ部をＢＬデコーダー５０２に伝送する。
【００３７】
一方、エンコード装置に設けられる抽出器（図示せず）はデコード装置内における抽出器５０１の上述した選択動作と同じ選択動作を行うことができる。この場合、エンコードされたストリームを送信するサーバーは、送信チャンネル条件に応じて、または、遠隔ユーザーから受信された情報を基に選択指令または条件を設定する。エンコード装置内における抽出器はサーバーにより設定された選択指令に応じて、「３」の値が割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部、「２」以上の値が割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部、「１」以上の値が割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部、または全てのＮＡＬ部を選択し、選択されたＮＡＬ部を送信チャンネルを介してデコード装置に送信する。以下、デコード装置の抽出器５０１について説明するが、これは、エンコード装置内における抽出器にも適用可能である。
【００３８】
受信された（または、送信された）基本層画像シーケンスが１５Ｈｚのビデオ信号であるときに抽出器５０１が「１」以上の値に割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部のみを抽出してこれをＢＬデコーダー５０２に伝送すると、ＮＡＬ部は、７．５Ｈｚのビデオ信号にデコードされる。抽出器５０１が「２」以上の値に割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部のみを抽出してこれをＢＬデコーダー５０２に伝送すると、ＮＡＬ部は３．７５Ｈｚのビデオ信号にデコードされる。抽出器５０１が「３」以上の値に割り当てられた「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドを有するＮＡＬ部のみを抽出してこれをＢＬデコーダー５０２に伝送すると、ＮＡＬ部はキー画像のみよりなる１．７２５Ｈｚのビデオ信号にデコードされる。
【００３９】
前記「ｎａｌ＿ｒｅｆ＿ｉｄｃ」の割当て方法により、ＢＬデコーダー５０２に、ＮＡＬ部において伝搬された画像データがキー画像データであるかどうかを各ＮＡＬ部のヘッダーから判定させることが可能になる。これにより、ＢＬデコーダーは、画像データをデコードするための基準画像を取得する上でＳＮＲエンハンスメント画像データを用いるかどうかを判定することができる。ＢＬデコーダー５０２は、ＮＡＬ部においてペイロードデータに存在する画像ヘッダー（または、スライスヘッダー）をパーシングすることなく、ＮＡＬ部のヘッダーの情報に基づいて、ＮＡＬ部を単に選択することにより、所望の出力フレームレートにてビデオ信号も取得することができ、抽出器におけるパーシング負荷が低減される。
【００４０】
以下、図６に基づき、本発明の他の好適な実施形態による、画像がスライスヘッダーに存在するＭＭＣＯ用のフィールドを通じたキー画像であるかどうかを示す情報を伝送する方法について説明する。
【００４１】
図６は、画像がキー画像であるかどうかを示す情報がスライスヘッダー内に存在するＭＭＣＯ用のフィールドを通じて伝送される実施形態により、現在スライスがキー画像に属しているかどうかをＢＬデコーダー５０２がスライスヘッダーのＭＭＣＯ用のフィールドから判定する手順に関するデコードシンタックスを示している。
【００４２】
ＩＤＲ ＮＡＬ部とは異なる部（すなわち、「ｎａｌ＿ｒｅｆ＿ｉｄｃ’＝５を有するＮＡＬ部」）において伝搬されたデータが新たなスライスのデータである場合、ＢＬデコーダー５０２は内部変数「ＫｅｙＰｉｃｔｕｒｅ」を非キー画像を示す値である「０」に初期化し（６０１）、新たなスライスのスライスヘッダーにおいてフラグ「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」の値をチェックする。チェックされた「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」値が０ではない場合、ＢＬデコーダー５０２は指令「ｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎ」に対応する値をチェックする。チェックされた「ｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎ」値が０〜６の範囲にある場合、ＢＬデコーダー５０２はこの値として特定された従来のスキームに応じて動作を行い、指令「ｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎ」のチェックされた値が０〜６から外れた値（例えば、７）である場合に初期化された変数「ＫｅｙＰｉｃｔｕｒｅ」を「１」に設定する（６０２）。
【００４３】
ＢＬデコーダー５０２は、スライスヘッダーの情報解析の完了時に内部変数「ＫｅｙＰｉｃｔｕｒｅ」をチェックする。変数「ＫｅｙＰｉｃｔｕｒｅ」のチェックされた値が１である場合、ＢＬデコーダー５０２は現在受信されたスライスデータがキー画像のデータであると判定し、ＳＮＲエンハンスメント画像データを用いることなく、以前に再構成された基本画質画像のみを用いて、画像をデコードする上で必要となる基準画像を取得する。変数「ＫｅｙＰｉｃｔｕｒｅ」のチェックされた値が０である場合、ＢＬデコーダー５０２は現在受信されたスライスデータが非キー画像のデータであると判定し、ＳＮＲエンハンスメント画像データをも用いて再構成された基準画像を用いて画像の逆予測を行う。この逆予測は、画像の残りのデータを原イメージデータに再構成する。
【００４４】
一方、チェックされた「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」値が、スライスデータへのＭＭＣＯ要請がない旨を示す「０」である場合、初期化された変数「ＫｅｙＰｉｃｔｕｒｅ」は０のままであり、スライスデータが非キー画像のデータであると判定される。
【００４５】
図６に示すデコードシンタックスによれば、エンコードされた画像がキー画像である場合、ビデオ信号エンコーダーはエンコードされた画像データのヘッダー（例えば、スライスヘッダー）に特定値（例えば、７）を有する指令「ｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎ」を付加し、フラグ「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」を「１」に設定する。ここで、フラグ「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」は他のＭＭＣＯ要請に対して既に「１」に設定されていてもよい。
【００４６】
画像がキー画像であるかどうかは、フラグ「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」の値を用いて判定可能である。ところが、このフラグはＭＭＣＯの存否を示すために定義された情報であるため、このフラグの使用はキー画像に制限されない。ＭＭＣＯ（例えば、「ｌｏｎｇ＿ｔｅｒｍ＿ｆｒａｍｅ＿ｉｄｘ」値が現在デコードされている画像を示すように設定されることを要請する制御動作）が非キー画像に用いられる場合、フラグ「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」はキー画像及び非キー画像の両方に対して「１」に設定可能であり、画像がキー画像であるか非キー画像であるかを判定することはできない。
【００４７】
画像がキー画像であるかどうかが単にフラグ「ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ」から判定できるように、キー画像に対してのみＭＭＣＯを用いる方法が考えられる。しかしながら、これは、ＭＭＣＯが非キー画像に対して許容されないため、ＭＭＣＯを用いてバッファーを管理するための動作の柔軟性を大きく制限する。この理由から、本発明の実施形態によれば、好ましくは、「ｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎ」の新たな値が定義されて、画像がキー画像であるかどうかを判定する。
【００４８】
従来のＡＶＣデコーダーは、新たに定義された値を無視し、ＳＶＣデコーダー内におけるＡＶＣ互換可能なデコーダーは、受信された画像データがキー画像データであるかどうかを新たに定義された値から判定することができることから、既存のＡＶＣコーデックに違反することなく、画像がキー画像であるかどうかを示す情報を伝送することが可能である。
【００４９】
上述した方法により画像がキー画像であるかどうかを判定するようなデコーダーは、移動通信端末、メディアプレイヤーなどに組み込み可能である。
【産業上の利用可能性】
【００５０】
本発明は、好適な実施例を参照して記述されたが、本発明の範囲及び精神から逸脱しない限り、本発明への種々の改良、変形、置換、付加が可能であることは、本技術における通常の知識を持った者にとって自明である。従って、添付の特許請求の範囲及びその均等物の範囲内にあるという条件のもとで、本発明は、本発明の改良、変形、置換及び付加を包含するものである。
【図面の簡単な説明】
【００５１】
【図１】複数層の画像シーケンスが層間予測によりエンコードされる方法を示す図である。
【図２】基本画質層及びＳＮＲエンハンスメント層に分割される所定層の画像シーケンスがエンコードされる方法を示す図である。
【図３】本発明の一実施形態による、エンコードされたビデオデータを伝搬する送信部としてのＮＡＬ部とＮＡＬ部のヘッダーの構造を示す図である。
【図４】本発明の一実施形態による、画像の時間レベルに基づいて、画像データを伝搬する各ＮＡＬ部のヘッダーの「ｎａｌ＿ｒｅｆ＿ｉｄｃ」フィールドに値を割り当てる方法を示す図である。
【図５】本発明による、画像がキー画像であるか非キー画像であるかを判定するための動作を行うデコード装置を示す概略ブロック図である。
【図６】本発明の他の実施形態による、スライスヘッダー内のメモリ管理制御動作（ＭＭＣＯ）用のフィールドから現在スライスがキー画像に属するかどうかを判定する手順に関するデコードシンタックスを示す図である。
【図１】
2008543162.tif 000003
【図２】
2008543162.tif 000004
【図３】
2008543162.tif 000005
【図４】
2008543162.tif 000006
【図５】
2008543162.tif 000007
【図６】
2008543162.tif 000008
【国際調査報告】
2008543162.tif 000009
2008543162.tif 000010