(57)【要約】【課題】スケーラブルなビデオコーディングにおいて簡単で且つ効率的な下位−上位のレイヤスイッチングをサポートすること等。【解決手段】ファイルフォーマットレベルで下位−上位レイヤスイッチングポイントをシグナリングして、ストリーミングサーバー及びローカルファイル再生において効率的なスケーラブルストリームスイッチングを可能にする。又、本発明は、ビデオビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングして、例えば、メディアアウェアネットワーク要素におけるスケーラビリティレイヤのインテリジェントな転送、又はストリーム受信者における計算上のスケーラブルなデコーディングを可能にする。【選択図】図３
2009512307.tif 000002
【特許請求の範囲】
【請求項１】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にする方法において、前記ビデオビットストリーム内の複数の下位−上位レイヤスイッチングポイントをエンコードするステップを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、方法。
【請求項２】
前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするステップを更に備えた、請求項１に記載の方法。
【請求項３】
前記スイッチングポイントは、特定のＮＡＬユニットタイプのコード化スライスを含むピクチャーが、エンハンスメントレイヤ瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示するようにＮＡＬユニットタイプを定義することによりエンコードされる、請求項１に記載の方法。
【請求項４】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項１に記載の方法。
【請求項５】
前記スイッチングポイントは、ＩＤＲピクチャー及びデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が全てゼロに等しい場合には、デコーディング順序においてＩＤＲピクチャーの前の任意のピクチャーから相互予想せずに実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義し、且つｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかの値がゼロに等しくない場合には、ＩＤＲピクチャー及び同じレイヤ内でデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、デコーディング順序においてＩＤＲピクチャーの前にあって同じレイヤにおけるＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する任意のピクチャーから相互予想せずに、実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義することにより、エンコードされ、そして２つのピクチャーは、２つのピクチャーが同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に同じレイヤにあるとみなされる、請求項１に記載の方法。
【請求項６】
ＩＤＲピクチャーをデコードした後にＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかがゼロに等しくない場合には、「参照として未使用」と直ちにマークされる、請求項５に記載の方法。
【請求項７】
ＩＤＲピクチャーをデコードした後の全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しい場合に、「参照として未使用」と直ちにマークされる、請求項５に記載の方法。
【請求項８】
前記スイッチングポイントは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しいピクチャーがＩＤＲピクチャーである場合に、ＩＤＲピクチャーと同じアクセスユニットにおいて全ての他のピクチャーを定義することによりエンコードされる、請求項１に記載の方法。
【請求項９】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項８に記載の方法。
【請求項１０】
前記スイッチングポイントは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するように全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することによりエンコードされる、請求項１に記載の方法。
【請求項１１】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にする方法において、前記ビデオビットストリームのファイルフォーマットレベル内の複数の下位−上位レイヤスイッチングポイントをエンコードするステップを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、方法。
【請求項１２】
前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするステップを更に備えた、請求項１１に記載の方法。
【請求項１３】
前記スイッチングポイントは、各スケーラブルレイヤに対するスケーラビリティ情報を含むボックスをデータ構造に含ませることによりエンコードされる、請求項１１に記載の方法。
【請求項１４】
前記スイッチングポイントは、ビデオビットストリーム内の全レイヤのスイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項１１に記載の方法。
【請求項１５】
前記スイッチングポイントは、ヒントトラック又は抽出トラックの間に存在する下位−上位スイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項１１に記載の方法。
【請求項１６】
メディアトラックでシグナリングされる情報は、ヒントトラック又は抽出トラック間に存在する下位−上位レイヤスイッチングポイントを得るように再使用される、請求項１５に記載の方法。
【請求項１７】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするためのコンピュータプログラム製品において、前記ビデオビットストリーム内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、コンピュータプログラム製品。
【請求項１８】
前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするコンピュータコードを更に備えた、請求項１７に記載のコンピュータプログラム製品。
【請求項１９】
前記スイッチングポイントは、特定のＮＡＬユニットタイプのコード化スライスを含むピクチャーが、エンハンスメントレイヤ瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示するようにＮＡＬユニットタイプを定義することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２０】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２１】
前記スイッチングポイントは、ＩＤＲピクチャー及びデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が全てゼロに等しい場合には、デコーディング順序においてＩＤＲピクチャーの前の任意のピクチャーから相互予想せずに実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義し、且つｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかの値がゼロに等しくない場合には、ＩＤＲピクチャー及び同じレイヤ内でデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、デコーディング順序においてＩＤＲピクチャーの前にあって同じレイヤにおけるＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する任意のピクチャーから相互予想せずに、実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義することにより、エンコードされ、そして２つのピクチャーは、２つのピクチャーが同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に同じレイヤにあるとみなされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２２】
ＩＤＲピクチャーをデコードした後にＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかがゼロに等しくない場合には、「参照として未使用」と直ちにマークされる、請求項２１に記載のコンピュータプログラム製品。
【請求項２３】
ＩＤＲピクチャーをデコードした後の全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しい場合に、「参照として未使用」と直ちにマークされる、請求項２１に記載のコンピュータプログラム製品。
【請求項２４】
前記スイッチングポイントは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しいピクチャーがＩＤＲピクチャーである場合に、ＩＤＲピクチャーと同じアクセスユニットにおいて全ての他のピクチャーを定義することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２５】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項２４に記載のコンピュータプログラム製品。
【請求項２６】
前記スイッチングポイントは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するように全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２７】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするコンピュータプログラム製品において、前記ビデオビットストリームのファイルフォーマットレベル内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、コンピュータプログラム製品。
【請求項２８】
前記スイッチングポイントは、ビデオビットストリーム内の全レイヤのスイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項２７に記載のコンピュータプログラム製品。
【請求項２９】
前記スイッチングポイントは、ヒントトラック又は抽出トラックの間に存在する下位−上位スイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項２７に記載のコンピュータプログラム製品。
【請求項３０】
メディアトラックでシグナリングされる情報は、ヒントトラック又は抽出トラック間に存在する下位−上位レイヤスイッチングポイントを得るように再使用される、請求項３１に記載のコンピュータプログラム製品。
【請求項３１】
プロセッサと、
前記プロセッサに作動的に接続されたメモリユニットであって、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするためのコンピュータプログラム製品を含むメモリユニットと、
を備え、前記コンピュータプログラム製品は、前記ビデオビットストリーム内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを含み、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、電子装置。
【請求項３２】
前記メモリユニットは、前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするコンピュータコードを更に備えた、請求項３３に記載の電子装置。
【請求項３３】
前記スイッチングポイントは、特定のＮＡＬユニットタイプのコード化スライスを含むピクチャーが、エンハンスメントレイヤ瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示するようにＮＡＬユニットタイプを定義することによりエンコードされる、請求項３３に記載の電子装置。
【請求項３４】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項３３に記載の電子装置。
【請求項３５】
前記スイッチングポイントは、ＩＤＲピクチャー及びデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が全てゼロに等しい場合には、デコーディング順序においてＩＤＲピクチャーの前の任意のピクチャーから相互予想せずに実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義し、且つｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかの値がゼロに等しくない場合には、ＩＤＲピクチャー及び同じレイヤ内でデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、デコーディング順序においてＩＤＲピクチャーの前にあって同じレイヤにおけるＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する任意のピクチャーから相互予想せずに、実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義することにより、エンコードされ、そして２つのピクチャーは、２つのピクチャーが同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に同じレイヤにあるとみなされる、請求項３３に記載の電子装置。
【請求項３６】
ＩＤＲピクチャーをデコードした後にＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかがゼロに等しくない場合には、「参照として未使用」と直ちにマークされる、請求項３７に記載の電子装置。
【請求項３７】
ＩＤＲピクチャーをデコードした後の全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しい場合に、「参照として未使用」と直ちにマークされる、請求項３７に記載の電子装置。
【請求項３８】
前記スイッチングポイントは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しいピクチャーがＩＤＲピクチャーである場合に、ＩＤＲピクチャーと同じアクセスユニットにおいて全ての他のピクチャーを定義することによりエンコードされる、請求項３３に記載の電子装置。
【請求項３９】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項４０に記載の電子装置。
【請求項４０】
前記スイッチングポイントは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するように全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することによりエンコードされる、請求項３３に記載の電子装置。
【請求項４１】
プロセッサと、
前記プロセッサに作動的に接続されたメモリユニットであって、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするためのコンピュータプログラム製品を含むメモリユニットと、
を備え、前記コンピュータプログラム製品は、前記ビデオビットストリームのファイルフォーマットレベル内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを含み、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、電子装置。
【請求項４２】
前記メモリユニットは、前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするコンピュータコードを更に備えた、請求項４３に記載の電子装置。
【請求項４３】
前記スイッチングポイントは、各スケーラブルレイヤに対するスケーラビリティ情報を含むボックスをデータ構造に含ませることによりエンコードされる、請求項４３に記載の電子装置。
【請求項４４】
前記スイッチングポイントは、ビデオビットストリーム内の全レイヤのスイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項４３に記載の電子装置。
【請求項４５】
前記スイッチングポイントは、ヒントトラック又は抽出トラックの間に存在する下位−上位スイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項４３に記載の電子装置。
【請求項４６】
メディアトラックでシグナリングされる情報は、ヒントトラック又は抽出トラック間に存在する下位−上位レイヤスイッチングポイントを得るように再使用される、請求項４７に記載の電子装置。
【請求項４７】
少なくとも２つのスケーラブルレイヤを含むビデオビットストリームを受け取るための第１コンポーネントと、
前記ビデオビットストリーム内の下位−上位レイヤスイッチングポイントを識別するための第２コンポーネントであって、前記下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである第２コンポーネントと、
前記下位−上位レイヤスイッチングポイントにおいてスケーラブルレイヤのサブセットの送信からスケーラブルレイヤのより大きなサブセットへスイッチングするための第３コンポーネントと、
を備えたストリーミングシステムの要素。
【請求項４８】
少なくとも２つのスケーラブルレイヤを含むビデオビットストリームを受け取るための第１コンポーネントと、
前記ビデオビットストリームのファイルフォーマットレベル内の下位−上位レイヤスイッチングポイントを識別するための第２コンポーネントであって、前記下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである第２コンポーネントと、
前記下位−上位レイヤスイッチングポイントにおいてスケーラブルレイヤのサブセットの送信からスケーラブルレイヤのより大きなサブセットへスイッチングするための第３コンポーネントと、
を備えたストリーミングシステムの要素。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、メディアエンコーディング、デコーディング、記憶、及び送信に係る。より詳細には、本発明は、スケーラブルメディアエンコーディング、デコーディング、記憶、及び送信に係る。
【背景技術】
【０００２】
メディアアプリケーションは、ローカル再生、ストリーミング又はオンデマンド、会話及びブロードキャスト／マルチキャストサービスを含む。マルチメディアアプリケーションに含まれる技術は、例えば、メディアコーディング、記憶、及び送信を含む。メディアタイプは、スピーチ、オーディオ、イメージ、ビデオ、グラフィック及びタイムテキストを含む。異なる技術に対して異なる規格が指定されている。
【０００３】
ビデオコーディング規格は、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１ビジュアル、ＩＴＵ−Ｔ  Ｈ．２６２又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−２ビジュアル、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４ビジュアル及びＩＴＵ−Ｔ  Ｈ．２６４（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４ＡＶＣとしても知られている）を含む。更に、新たなビデオコーディング規格も開発されている。例えば、スケーラブルビデオコーディング（ＳＶＣ）規格が現在開発中である。この規格は、Ｈ．２６４／ＡＶＣへのスケーラブル拡張となる。中国ビデオコーディング規格も現在開発中である。
【０００４】
スケーラブルビデオコーディングは、スケーラブルビデオビットストリームを与えることができる。スケーラブルビデオビットストリームの一部分を、低い再生ビジュアルクオリティで抽出しデコードすることができる。スケーラブルビデオビットストリームは、非スケーラブルベースレイヤ及び１つ以上のエンハンスメントレイヤを含む。エンハンスメントレイヤは、時間的解像度（即ち、フレームレート）、空間的解像度、或いは単に下位レイヤ又はその一部分により表わされるビデオコンテンツのクオリティを向上させる。ある場合に、エンハンスメントレイヤのデータは、ある場所の後に、任意の位置で、裁断することができる。各裁断位置は、次第に向上されたビジュアルクオリティを表わす何らかの付加的なデータを含むことができる。このようなスケーラビリティは、微粒状（粒度）スケーラビリティ（ＦＧＳ）と称される。このＦＧＳとは対照的に、微粒状スケーラビリティを与えないクオリティエンハンスメントレイヤによって与えられるスケーラビリティは、粗粒状スケーラビリティ（ＣＧＳ）と称される。
【０００５】
現在草案のＳＶＣ規格におけるスケーラブルレイヤ構造は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、及びｑｕａｌｉｔｙ＿ｌｅｖｅｌと称される３つの変数により特徴付けられ、これらは、ビットストリームにおいてシグナリングされるか、又は仕様書に基づいて導出することができる。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌは、時間的スケーラビリティ又はフレームレートを指示するのに使用される。小さなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ値のピクチャーを含むレイヤは、大きなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌのピクチャーを含むレイヤよりもフレームレートが低い。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、レイヤ間コーディング依存のハイアラーキーを指示するのに使用される。いかなる時間的位置においても、小さなｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値のピクチャーは、大きなｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値をもつピクチャーをコード化するためのレイヤ間予想に使用することができる。ｑｕａｌｉｔｙ＿ｌｅｖｅｌは、ＦＧＳレイヤハイアラーキーを指示するのに使用される。任意の時間的位置において、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値が同じ場合には、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬに等しいＦＧＳピクチャーは、レイヤ間予想のためにｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬ−１に等しいＦＧＳピクチャー又はベースクオリティピクチャー（即ちＱＬ−１＝０のときに非ＦＧＳピクチャー）を使用する。
【０００６】
図１は、上述した３つの変数の表示値をもつ例示的スケーラブルビデオストリームの時間的セグメントを示す。時間値は相対的なものであり、即ち、時間＝０は、ビットストリームにおいて表示順序で第１のピクチャーの時間を必ずしも意味しないことに注意されたい。この例の典型的な予想参照関係が、図２に示され、ここで、実線の矢印は、水平方向における相互予想参照関係を示し、そして破線ブロックの矢印は、レイヤ間予想参照関係を示す。指されたインスタンスは、予想参照のための他の方向におけるインスタンスである。
【０００７】
ここに述べるように、同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々有するピクチャーのセットとしてレイヤが定義される。エンハンスメントレイヤをデコードして再生するために、通常、ベースレイヤを含む下位レイヤも入手できねばならない。というのは、エンハンスメントレイヤのコーディングにおいてレイヤ間予想のために下位レイヤが直接的又は間接的に使用されるからである。例えば、図１及び２では、（ｔ、Ｔ、Ｄ、Ｑ）が（０、０、０、０）及び（８、０、０、０）に等しいピクチャーは、エンハンスメントレイヤとは独立してデコードできるベースレイヤに属する。（ｔ、Ｔ、Ｄ、Ｑ）が（４、１、０、０）に等しいピクチャーは、ベースレイヤのフレームレートを２倍にするエンハンスメントレイヤに属し、このレイヤをデコードするには、ベースレイヤピクチャーの存在が必要である。（ｔ、Ｔ、Ｄ、Ｑ）が（０、０、０、１）及び（８、０、０、１）に等しいピクチャーは、ベースレイヤのクオリティ及びビットレートをＦＧＳのように向上させるエンハンスメントレイヤに属し、このレイヤをデコードするのにも、ベースレイヤピクチャーの存在が必要である。
【０００８】
Ｈ．２６４／ＡＶＣ規格において、瞬時デコーディングリフレッシュ（ＩＤＲ）ピクチャーは、次のように定義される。全てのスライスがＩ又はＳＩスライスであるコード化ピクチャーは、デコーディングプロセスで、全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。ＩＤＲピクチャーのデコーディングの後に、デコーディング順序で後に続く全てのコード化ピクチャーは、ＩＤＲピクチャーの前にデコードされたピクチャーから相互予想なしにデコードすることができる。各コード化ビデオシーケンスの第１ピクチャーは、ＩＤＲピクチャーである。
【０００９】
ＩＤＲピクチャーの概念は、現在草案のＳＶＣ規格にも使用され、ここでは、その定義は、同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌをもつピクチャーに適用することができる。換言すれば、ＩＤＲピクチャーとは、ＩＤＲピクチャー及び同じレイヤ（即ち、ＩＤＲピクチャーと同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々もつ）においてデコーディング順序で後続する全てのコード化ピクチャーのデコーディングを、同じレイヤにおいてデコーディング順序でＩＤＲピクチャーの前の任意のピクチャーから相互予想なしに、遂行できるようなコード化ピクチャーである。ＩＤＲピクチャーは、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。現在草案のＳＶＣ規格についてここで使用する「同じレイヤにおける」という語は、デコードされるピクチャーが、ＩＤＲピクチャーと各々同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌをもつことを意味する点に注意されたい。ピクチャー順序カウントの値が同じである（即ち、同じ時間的位置にある）が、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又はｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が異なる全てのピクチャーは、ＩＤＲピクチャーとしてコード化されるか、或いは特定の値のピクチャー順序カウントに対するピクチャーは、ＩＤＲピクチャーとしてコード化されない。換言すれば、アクセスユニットにおける全てのピクチャー（ピクチャー順序カウントの値が同じ全てのピクチャーを含む）がＩＤＲピクチャーであるか、又はアクセスユニットにおけるピクチャーは、ＩＤＲピクチャーではない。
【００１０】
利用可能なメディアファイルフォーマットの規格は、ＩＳＯファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１２）、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１４）、ＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）及び３ＧＰＰファイルフォーマット（３ＧＰＰ  ＴＳ２６．２４４）を含む。ＳＶＣファイルフォーマットは、ＩＳＯ／ＩＥＣ  ＭＰＥＧにより現在開発中であり、参考としてここに援用するＭＰＥＧ  Ｎ７４７７“VM Study Text for Scalable Video Coding (SVC) File Format”、第７３回ＩＳＯ／ＩＥＣ  ＭＰＥＧミーティング、ポーランド、ポズナン、２００５年７月、に見ることができる。
【００１１】
単一レイヤコーディングに比してスケーラブルコーディングの１つの利点は、スケーラブルコーディングでは、単一のストリームで、クオリティ、ビットレート、表示サイズ等の異なる要件を満足できるが、単一レイヤコーディングでは、多数のストリームを使用しなければならないことである。多数のストリームを使用すると、より多くの記憶スペースにコストがかかると同時に、より多くの送信帯域巾にコストがかかる。ストリーミングアプリケーションでは、送信ネットワーク又は受信者の能力がそれらの初期の状態に比して変化するときに、即ち送信帯域巾が変化するときに、ストリームの適応が必要となる。ゲートウェイ及び他のメディアアウエイネットワーク要素（ＭＡＮＥ）も、ストリーム適応を実行することができる。スケーラブルにコード化されたファイルが「ローカル」に再生される（即ち、ファイルがデコーダーと同じ装置に存在するか又はデコーディング装置へ高速リンクで接続されたメモリに存在する）ときには、デコーダーが何らかの他の処理と計算リソースを共有する場合に、ストリーム適応が必要となる。例えば、マルチプロセスオペレーティングシステムを実行している汎用プロセッサでデコーディングが実行される場合には、デコーダーは、全計算パワーを一度に使用して、全スケーラブルレイヤをデコードすることができる。しかしながら、別の時間には、プロセッサの計算パワーのサブセットのみを使用して、利用可能なスケーラブルレイヤのサブセットをデコードすることもできる。適応されるストリームは、変更されたビットレート、フレームレート及び／又はビデオ解像度を有してもよい。単一レイヤコーディングでは、ストリームのスイッチング又はトランスコーディングによりストリーム適応を実行することができる。単一のスケーラブルストリームでは、レイヤスイッチングによりストリーム適応を実行できる。
【００１２】
スケーラブルコーディングでは、上位−下位のレイヤスイッチングを任意の位置で行うことができる。しかしながら、下位−上位のレイヤスイッチングの場合には、相違する。というのは、上位レイヤのピクチャーへのスイッチングのデコーディングは、通常、同じレイヤにデコーディング順序で以前の幾つかのピクチャーが存在することを必要とするからである。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
現在草案のＳＶＣ規格では、下位−上位のレイヤスイッチングは、ＩＤＲアクセスユニット（ＩＤＲピクチャーを含む）において実行することができる。しかしながら、ＩＤＲアクセスユニットによっては、ＩＤＲアクセスユニットの頻繁なコーディング、又は迅速でないストリーム適応のために、コーディング効率が低下される。これらの問題は、両方とも、エンドユーザの経験に密接に関係している。又、理論的には、ＳＰ／ＳＩピクチャーコーディング又は段階的デコーディングリフレッシュ技術を使用して、下位−上位のレイヤスイッチングを行うこともできる。しかしながら、これらの技術は、単一レイヤコーディングに対して設計されたものである。それ故、これらの技術は、スケーラブルコーディングに対して現在機能しない。更に、これらの技術がスケーラブルコーディングに使用するように拡張された後も、それらのアプリケーションは、付加的なコーディング制約（低いコーディング効率と同等の形態の）又は実施の複雑さを生じさせる。
【００１４】
それ故、スケーラブルなビデオコーディングにおいて簡単で且つ効率的な下位−上位のレイヤスイッチングをサポートすることが要望される。更に、ビデオビットストリームのパーズ及び分析は複雑な計算を必要とするので、下位−上位レイヤスイッチングのための場所を見つけるのにビデオビットストリームのパーズ及び分析を必要としないように、ファイルフォーマットレベルで簡単且つ効率的な下位−上位レイヤスイッチングのシグナリングを可能にすることも要望される。
【課題を解決するための手段】
【００１５】
本発明は、ファイルフォーマットレベルで下位−上位のレイヤスイッチングポイントをシグナリングして、ストリーミングサーバー及びローカルファイル再生において効率的なスケーラブルなストリームスイッチングを可能にするシステム及び方法を提供する。又、本発明は、ビデオビットストリームにおいて下位−上位のレイヤスイッチングポイントをシグナリングして、例えば、メディアアウェアネットワーク要素におけるスケーラビリティレイヤのインテリジェントな転送、又はストリーム受信者における計算上のスケーラブルなデコーディングを可能にするシステム及び方法も開示する。
【００１６】
本発明は、スケーラブルなストリーム適応のための簡単且つ効率的な下位−上位レイヤスイッチングを可能にする。本発明は、著しい計算上及び実施上の負担を必要とすることになるビデオビットストリームの広範囲なパーズ及び分析をストリーミングサーバーが行う必要性を排除する。本発明は、実質上いかなるスケーラブルメディアアプリケーションにも使用できる。
【００１７】
本発明のこれら及び他の効果並びに特徴は、そのオペレーションの編成及び仕方と共に、多数の図面にわたり同じ要素が同じ参照番号で示された添付図面を参照した以下の詳細な説明から明らかとなろう。
【発明を実施するための最良の形態】
【００１８】
図６を参照し、本発明の手順を適用するための１つのシステムである典型的なマルチメディアストリーミングシステムを説明する。
【００１９】
マルチメディアデータストリーミングシステムは、典型的に、１つ以上のマルティメディアソース１００、例えば、ビデオカメラ及びマイクロホン、或いはメモリキャリアに記憶されたビデオイメージ又はコンピュータグラフィックファイルを備えている。異なるマルティメディアソース１００から得られた生のデータは、編集ユニットとも称されるエンコーダー１０２において、マルチメディアファイルへと結合される。１つ以上のマルティメディアソース１００から到来する生のデータは、最初に、エンコーダー１０２に含まれた捕獲手段１０４を使用して捕獲され、この捕獲手段は、典型的に、異なるインターフェイスカード、ドライバソフトウェア、又はカードの機能を制御するアプリケーションソフトウェアとして実施することができる。例えば、ビデオデータは、ビデオ捕獲カード及びそれに関連したソフトウェアを使用して捕獲することができる。捕獲手段１０４の出力は、典型的に、非圧縮又は若干圧縮されたデータフロー、例えば、ビデオ捕獲カードに関するときにはＹＵＶ４：２：０フォーマット又はモーションＪＰＥＧイメージフォーマットの非圧縮ビデオフォーマットである。
【００２０】
エディタ１０６は、必要に応じて同時に再生されるべきビデオ及びオーディオフローを同期させるために異なるメディアフローを一緒にリンクする。又、エディタ１０６は、例えば、フレームレートを半分にするか又は空間的解像度を減少することによりビデオフローのような各メディアフローを編集することができる。同期しているが個別のメディアフローは、コンプレッサー１０８において圧縮され、ここで、各メディアフローは、そのメディアフローに適したコンプレッサーを使用して別々に圧縮される。例えば、ＹＵＶ４：２：０フォーマットのビデオフレームは、ＩＴＵ−Ｔ推奨勧告Ｈ．２６３又はＨ．２６４を使用して圧縮することができる。個別の、同期されそして圧縮されたメディアフローは、典型的に、マルチプレクサ１１０においてインターリーブされ、エンコーダー１０２から得られる出力は、複数のメディアフローのデータを含む、マルチメディアファイルと称される単一の均一ビットフローである。マルチメディアファイルの形成は、必ずしも複数のメディアフローを単一ファイルへマルチプレクシングすることを必要とせず、ストリーミングサーバーが、メディアフローを送信の直前にインターリーブしてもよいことに注意されたい。
【００２１】
マルチメディアファイルは、ストリーミングサーバー１１２へ転送され、従って、このストリーミングサーバーは、ストリーミングをリアルタイムストリーミングとして或いは前進的ダウンロードの形態で実施することができる。前進的ダウンロードでは、マルチメディアファイルは、最初に、サーバー１１２にメモリに記憶され、そこから、必要に応じて送信のために検索される。リアルタイムストリーミングでは、エディタ１０２がマルチメディアファイルの連続的メディアフローをストリーミングサーバー１１２へ送信し、そしてサーバー１１２は、フローをクライアント１１４へ直接的に転送する。又、更なるオプションとして、リアルタイムストリーミングは、マルチメディアファイルがサーバー１１２からアクセスできる記憶装置に記憶されて、そこから、リアルタイムストリーミングを駆動できると共に、マルチメディアファイルの連続的なメディアフローが必要に応じてスタートされるように、実施されてもよい。このような場合に、エディタ１０２は、必ずしも任意の手段によりストリーミングを制御しない。ストリーミングサーバー１１２は、クライアント１１４の利用可能な帯域巾、最大デコーディング及び再生レートに関するマルチメディアデータのトラフィックシェーピングを実行し、ストリーミングサーバーは、例えば、送信からＢフレームを除外するか、又はスケーラビリティレイヤの数を調整することによりメディアフローのビットレートを調整することができる。更に、ストリーミングサーバー１１２は、マルチプレクスされるメディアフローのヘッダーフィールドを変更して、それらのサイズを減少すると共に、使用するテレコミュニケーションネットワークで送信するのに適したデータパケットへマルチメディアデータをカプセル化することができる。クライアント１１４は、典型的に、適当な制御プロトコルを使用することにより、サーバー１１２のオペレーションを少なくともある程度は調整することができる。クライアント１１４は、少なくとも、クライアントへ送信するための希望のマルチメディアファイルを選択できるように、サーバー１１２を制御することができ、これに加えて、クライアントは、典型的に、マルチメディアファイルの送信を停止し、中断することができる。
【００２２】
クライアント１１４がマルチメディアファイルを受け取ると、そのマルチメディアファイルは、先ず、そのファイルにより構成されたメディアフローを分離するデマルチプレクサ１１６へ供給される。個別の圧縮されたメディアフローは、次いで、デコンプレッサ１１８へ供給され、ここで、各個別のメディアフローは、各特定のメディアフローに適したデコンプレッサにより解凍される。解凍され、再構成されたメディアフローは、再生ユニット１２０へ供給され、ここで、メディアフローは、それらの同期データに基づく正しいペースでレンダリングされ、そしてプレゼンテーション手段１２４へ供給される。実際のプレゼンテーション手段１２４は、例えば、コンピュータ又は移動ステーションのディスプレイ、及びスピーカ手段である。又、クライアント１１４は、典型的に、エンドユーザが典型的にユーザインターフェイスを経て制御できる制御ユニット１２２も備え、これは、上述した制御プロトコルを通してサーバーのオペレーションを制御すると共に、エンドユーザにより与えられたインストラクションに基づいて再生ユニット１２０のオペレーションを制御する。
【００２３】
ストリーミングサーバー１１２からクライアント１１４へのマルチメディアファイルの転送は、テレコミュニケーションネットワークを通して行われ、その転送経路は、通常、複数のテレコミュニケーションネットワーク要素を含むことに注意されたい。それ故、利用可能な帯域巾、或いはクライアント１４の最大デコーディング及び再生レートに関するマルチメディアデータのトラフィックシェーピングを、ストリーミングサーバーに関して上述したのと少なくとも一部分同様に実施できる少なくとも幾つかのネットワーク要素が存在することが考えられる。
【００２４】
本発明は、ファイルフォーマットレベルで下位−上位のレイヤスイッチングポイントをシグナリングして、ストリーミングサーバー及びローカルファイル再生において効率的なスケーラブルのストリームスイッチングを可能にするシステム及び方法を提供する。又、本発明は、ビデオビットストリームにおいて下位−上位のレイヤスイッチングポイントをシグナリングして、例えば、メディアアウェアネットワーク要素におけるスケーラビリティレイヤのインテリジェントな転送、又はストリーム受信者における計算上のスケーラブルなデコーディングを可能にするシステム及び方法も開示する。
【００２５】
本発明の多数の実施形態を以下に説明する。しかしながら、例えば、ここに述べる別々の実施形態のサブセットを結合することにより、これら実施形態の他の変形例も考えられることに注意されたい。
【００２６】
ファイルフォーマットで下位−上位のレイヤスイッチングポイントをシグナリングするための第１実施形態は、スケーラビリティ情報の一形式として下位−上位のレイヤスイッチングポイントの信号を使用することを含む。この実施形態では、各レイヤに対して下位−上位のレイヤスイッチングポイントをシグナリングするための新たなボックスが定義される。このボックスは、各スケーラブルレイヤのスケーラビリティ情報を含むデータ構造に含まれ、例えば、ＳＶＣファイルフォーマットの草案規格テキストに定義されたＳｃａｌａｂｌｅＬａｙｅｒＥｎｔｒｙ（）構造に含まれる。このボックスは、次のように定義される。
ボックスタイプ：‘１ｓｗｐ’
コンテナ：ＳｃａｌａｂｌｅＬａｙｅｒＥｎｔｒｙ
必須性：なし
量：０又は１
【００２７】
このボックスは、ストリーム内の個々のレイヤに対する下位−上位レイヤスイッチングポイントのコンパクトマーキングを与える。テーブルは、サンプル番号の増加する順序で厳密に構成される。レイヤスイッチングポイントボックスがあるレイヤに対して存在しない場合には、そのレイヤに対し、同期サンプルボックスにおいてシグナリングされる同期サンプル、又はシャドー同期サンプルボックスにおいてシグナリングされるシャドー同期サンプル以外の付加的な下位−上位レイヤスイッチングポイントはない。
class LayerSwitchingPointBox extends Box(lswp'){
unsigned int(32) entry_count;
int i,j;
for (i=0; i < entry_count; i++) { 
unsigned int(32) sample_number;
unsigned int(8) entry_count2;
for (j=0; j < entry_count2; j++)  
signed int(16) delta_layer_id;
}
}
【００２８】
この例では、“ｅｎｔｒｙ＿ｃｏｕｎｔ”は、次のテーブルにおけるエントリーの数を与える。“ｓａｍｐｌｅ＿ｎｕｍｂｅｒ”は、現在レイヤに対する下位−上位レイヤスイッチングポイントの情報が次のテーブルでシグナリングされるサンプルのサンプル数を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ２”は、次のテーブルにおけるエントリーの数を与える。
【００２９】
“ｄａｌｔａ＿ｌａｙｅｒ＿ｉｄ”は、現在レイヤからストリームをスイッチできるところの上位レイヤ、又は現在レイヤへとストリームをスイッチできるところの下位レイヤを、サンプル番号がｓａｍｐｌｅ＿ｎｕｍｂｅｒに等しい現在サンプルにおいて指定する。０以上の値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒＩｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ＋１）に等しい上位レイヤへ現在レイヤからストリームがスイッチできることを指示する。０より小さい値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒＩｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ）に等しい下位レイヤから現在レイヤへストリームがスイッチできることを指示する。各レイヤのｌａｙｅｒＩｄは、各スケーラブルレイヤのスケーラビリティ情報を含むデータ構造から見出される。
【００３０】
ファイルフォーマットで下位−上位のレイヤスイッチングポイントをシグナリングするための第２実施形態は、専用ボックスにおいて全レイヤの下位−上位レイヤスイッチングポイントをシグナリングすることを含む。ボックスは、次のように定義される。
ボックスタイプ：‘１ｓｗｐ’
コンテナ：サンプルテーブルボックス（ｓｔｂｌ）
必須性：なし
量：０又は１
【００３１】
このボックスは、ストリーム内の全レイヤに対する下位−上位レイヤスイッチングポイントのコンパクトマーキングを与える。テーブルは、サンプル番号の増加する順序で厳密に構成される。レイヤスイッチングポイントボックスが存在しない場合には、同期サンプルボックスにおいてシグナリングされる同期サンプル、又はシャドー同期サンプルボックスにおいてシグナリングされるシャドー同期サンプル以外の付加的な下位−上位レイヤスイッチングポイントはない。
class LayerSwitchingPointBox extends Box(lswp'){
unsigned int(32) entry_count;
int i,j,k;
for (i=0; i < entry_count; i++) { 
unsigned int(32) sample_number;
unsigned int(8) entry_count2;
for (j=0; j < entry_count2; j++){  
unsigned int(8) layer_id;
unsigned int(8) entry_count3;
for (k=0; k < entry_count3; k++)
signed int(16) delta_layer_id;
}
}
}
【００３２】
この例では、“ｅｎｔｒｙ＿ｃｏｕｎｔ”は、次のテーブルにおけるエントリーの数を与える。“ｓａｍｐｌｅ＿ｎｕｍｂｅｒ”は、下位−上位レイヤスイッチングポイントの情報が次のテーブルでシグナリングされるサンプルのサンプル数を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ２”は、次のテーブルにおけるエントリーの数を与える。“ｌａｙｅｒ＿ｉｄ”は、下位−上位レイヤスイッチングポイントの情報が次のテーブルでシグナリングされるレイヤのレイヤ識別子を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ３”は、次のテーブルにおけるエントリーの数を与える。
【００３３】
“ｄａｌｔａ＿ｌａｙｅｒ＿ｉｄ”は、現在レイヤからストリームをスイッチできるところの上位レイヤ、又は現在レイヤへとストリームをスイッチできるところの下位レイヤを、サンプル番号がｓａｍｐｌｅ＿ｎｕｍｂｅｒに等しい現在サンプルにおいて指定する。０以上の値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒ＿Ｉｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ＋１）に等しい上位レイヤへ現在レイヤからストリームがスイッチできることを示す。０より小さい値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒ＿Ｉｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ）に等しい現在レイヤへ下位レイヤからストリームがスイッチできることを示す。本発明のこの特定の実施形態では、ｓａｍｐｌｅ＿ｎｕｍｂｅｒループをｌａｙｅｒ＿ｉｄループ内に入れる現在の仕方に代わって、ｓａｍｐｌｅ＿ｎｕｍｂｅｒのループをｌａｙｅｒ＿ｉｄのループ内に入れることもできる。
【００３４】
ファイルフォーマットで下位−上位のレイヤスイッチングポイントをシグナリングするための第３実施形態は、シグナリングトラックスイッチングポイントの使用を含む。又、この実施形態は、上述した他の実施形態のいずれかと同時に使用されてもよい。この実施形態は、スケーラブルレイヤの、独立してデコード可能な組み合せを、典型的に、参照の使用により独立トラックを形成するように合成するケースに適用される。ＩＳＯベースメディアファイルフォーマットでは、メディアデータがネットワーク独立トラックのセットとして表わされ、一方、ヒントトラックがネットワーク独立の搬送カプセルか情報を含み、そしてメディアサンプル又はその一部分を搬送パケットに関連付ける（ヒントトラックからメディアトラックへの参照により）。抽出トラックは、メディアトラックへの参照を含み、ＳＶＣアクセスユニットに対するコード化ピクチャーのサブセットが抽出トラックにおけるサンプルを形成するようにする。それ故、各抽出トラックは、スケーラブルレイヤの異なるサブセットを表わさねばならず、そして各抽出トラックは、同じメディアトラックに対して他の抽出トラックをデコードせずに判断できなければならない。
【００３５】
この特定の実施形態では、ヒントトラック又は抽出トラック間のスイッチングポイントを識別することができる。このトラックにおける指示されたスイッチングポイントサンプルの少なくとも１つへのスイッチングを可能にするスケーラブルレイヤの充分なサブセットを含むか又はそれを参照するトラックは、トラック参照コンテナボックスにおけるタイプ‘ｔｓｗｆ’のトラック参照によりこのトラックにリンクされる。これらトラックにおける指示されたスイッチングポイントサンプルの少なくとも１つへのスイッチングを可能にするスケーラブルレイヤの充分なサブセットをこのトラックが含むところのトラックは、トラック参照コンテナボックスにおけるタイプ‘ｔｓｗｔ’のトラック参照によりこのトラックにリンクされる。
ボックスタイプ：‘ｔｓｗｄ’
コンテナ：サンプルテーブルボックス（ｓｔｂｌ）
必須性：なし
量：０又は厳密に１
【００３６】
このボックスは、ヒントトラック又は抽出トラック間の下位−上位レイヤスイッチングポイントのコンパクトなマーキングを与える。テーブルは、サンプル番号の増加する順序で厳密に構成される。トラックスイッチングポイントボックスが存在しない場合には、同期サンプルボックスにおいてシグナリングされる同期サンプル、又はシャドー同期サンプルボックスにおいてシグナリングされるシャドー同期サンプル以外の付加的な下位−上位レイヤスイッチングポイントはない。
class TrackSwitchingPointBox extends Box(tswp'){
unsigned int(32) entry_count;
int i,j;
for (i=0; i < entry_count; i++) { 
unsigned int(32) sample_number;
unsigned int(8) entry_count2;
for (j=0; j < entry_count2; j++)  
unsigned int(32) src_track_id;
unsigned int(8) entry_count3;
for (j=0; j < entry_count3; j++)  
unsigned int(32) dest_track_id;
}
}
【００３７】
このシナリオにおいて、“ｅｎｔｒｙ＿ｃｏｕｎｔ”は、次のテーブルにおけるエントリーの数を与える。“ｓａｍｐｌｅ＿ｎｕｍｂｅｒ”は、スイッチポイントサンプルのサンプル数を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ２”は、次のテーブルにおけるエントリーの数を与える。“ｓｒｃ＿ｔｒａｃｋ＿ｉｄ”は、現在トラックに含まれたレイヤへストリームをスイッチできるところの下位レイヤを含むトラックのトラック識別子を示す。 “ｅｎｔｒｙ＿ｃｏｕｎｔ３”は、次のテーブルにおけるエントリーの数を与える。“ｄｅｓｔ＿ｔｒａｃｋ＿ｉｄ”は、現在トラックに含まれたレイヤからストリームをスイッチできるところの上位レイヤを含むトラックのトラック識別子を示す。
【００３８】
別のシンタックス定義も考えられることに注意されたい。例えば、ｅｎｔｒｙ＿ｃｏｕｎｔ３と、ｄｅｓｔ＿ｔｒａｃｋ＿ｉｄの値に対する関連ループを省略することができる。更に、‘ｔｓｗｆ’ トラック参照で１つのトラックしか指示されない場合には、ｓｒｃ＿ｔｒａｃｋ＿ｉｄの値に対するループは不要である。又、トラック参照‘ｔｓｗｆ’及び／又は‘ｔｓｗｔ’なしにＴｒａｃｋＳｗｉｔｃｈｉｎｇＰｏｉｎｔＢｏｘシンタックスを独立して使用することもできる。更に、第１又は第２の代替手段を使用してメディアトラックでシグナリングされた情報を再使用し、ヒント又は抽出トラックにおいて下位−上位のレイヤスイッチングポイントを得ることができ、ここで、各ヒント又は抽出トラックに対して、例えば、トラックヘッダ又はサンプルエントリーにおいてレイヤ識別子がシグナリングされる。
【００３９】
ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングする別の方法を以下に説明する。第１のこのような別の方法は、新たなネットワークアブストラクションレイヤ（ＮＡＬ）ユニットタイプを使用して、そのＮＡＬユニットタイプのコード化スライスを含むピクチャーがエンハンスメントレイヤの瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示する。ＥＩＤＲピクチャーは、コード化ピクチャーであって、ＥＩＤＲピクチャーと、同じレイヤ（即ち、ＥＩＤＲピクチャーと同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々有する）においてデコーディング順序で後続する全てのコード化ピクチャーとのデコーディングを、同じレイヤにおいてデコーディング順序でＥＩＤＲピクチャーの前に任意のピクチャーから相互予想を行なわずに、実行することができる。ＥＩＤＲピクチャーは、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを、ＥＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。ＥＩＤＲピクチャーでは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しくされない。この別の方法において使用される「同じレイヤ」という語は、デコードされたピクチャーが、ＥＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌをもつことを意味する点に注意されたい。最新の草案ＳＶＣ規格に比して同じレイヤにあるという概念の相違は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌが考慮されることである点に注意されたい。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌを考慮することにより、フレームレートの低いレイヤからフレームレートの高いレイヤへの下位−上位レイヤスイッチングを行うことができる。更に、ＥＩＤＲピクチャーのコード化効率が改善される。というのは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌの値が高い参照ピクチャーが、参照ピクチャーリストから自動的に除去され、幾つかの参照ピクチャーリスト再順序付けコマンドがセーブされるか、又は参照ピクチャーインデックスの値が小さくなって、エントロピーコーディングのコーディング効率を改善するからである。
【００４０】
下位レイヤは、スケーラブルコーディングの性質により上位レイヤに依存し得ないので、ＥＩＤＲピクチャーは、同じレイヤ及びそれより上位のレイヤにおけるピクチャーから予想できないが、時間的な下位レイヤを含む下位レイヤからのピクチャーから予想することはできる。これは、次の下位レイヤから、ＥＩＤＲピクチャーの位置においてＥＩＤＲピクチャーを含むレイヤへのレイヤスイッチングを行なうことができる。例えば、次のテーブル１に示すように、新たなＮＡＬユニットタイプを定義することができる。値２２は、新たなＮＡＬユニットタイプとして使用され、そしてＮＡＬユニットタイプ２０の意味は、「スケーラブル拡張における非ＩＤＲピクチャーのコード化スライス」から「スケーラブル拡張における非ＩＤＲ及び非ＥＩＤＲピクチャーのコード化スライス」へと変更される。
テーブル１
2009512307.tif 000003
【００４１】
この構成は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌがシグナリングされるスケーラブル拡張を使用してコード化されるスケーラブルレイヤに適用することができる。Ｈ．２６４／ＡＶＣ規格それ自体は、時間的スケーラビリティを与えるように使用でき、これは、サブシーケンス情報ＳＥＩメッセージを使用してシグナリングすることができる。しかしながら、このケースでは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌがシグナリングされず、それ故、現在草案のＳＶＣ規格に基づいて全ての時間的スケーラブルレイヤに対してゼロとして推定される。時間的レイヤ間で効率的な下位−上位レイヤスイッチングを可能にし、そしてＨ．２６４／ＡＶＣストリーム適合性を壊さないようにするために、新たなＳＥＩメッセージを使用して、ピクチャーがＥＩＤＲピクチャーであることを指示する。しかしながら、ＳＥＩメッセージを使用することにより、ＥＩＤＲピクチャーの参照管理機能が不可能になり、即ちＳＥＩメッセージにより指示されたＥＩＤＲピクチャーは、下位−上位レイヤスイッチングのために使用できるが、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを「参照として未使用」とマークするようにはしない。これは、ＳＥＩメッセージが規格適合デコーダーに対して任意なものだからである。ＳＥＩメッセージは、次のように指定される。
ＥＩＤＲピクチャーＳＥＩメッセージシンタックス
2009512307.tif 000004
【００４２】
ＥＩＤＲピクチャーＳＥＩメッセージセマンティックス：前記のセマンティックスは、次の通りである。ＥＩＤＲピクチャーＳＥＩメッセージは、これがもし存在すれば、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌがビットストリームに存在せず、ひいては、全てがゼロに等しいと推測されるところのコード化ピクチャーに関連付けられる。又、ターゲットピクチャーは、時間的スケーラビリティハイアラーキーを指示するためにｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍがシグナリングされるサブシーケンス情報ＳＥＩメッセージにも関連付けられる。ＥＩＤＲピクチャーＳＥＩメッセージの存在は、ターゲットピクチャーが次のようなＥＩＤＲピクチャーであることを指示し、即ち、ピクチャー及び同じレイヤ（即ち、０に等しいｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有し、且つＥＩＤＲピクチャーと同じ値のｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍを有する）においてデコーディング順序で後続する全てのコード化ピクチャーを、同じレイヤにおいてデコーディング順序でＥＩＤＲピクチャーの前の任意のピクチャーから相互予想せず、デコードできるようなピクチャーであることを指示する。
【００４３】
“ｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍ”は、サブシーケンス情報ＳＥＩメッセージにおけるシンタックスエレメントｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍと同じセマンティックスを有する。その値は、同じターゲットピクチャーに関連したサブシーケンス情報ＳＥＩメッセージにおけるｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍと同じである。又、ＳＥＩメッセージのシンタックスからシンタックスエレメントｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍを除外することも考えられる。しかしながら、これが行われる場合には、ＥＩＤＲピクチャーがどの時間的スケーラブルレイヤに属するかを知るためには、サブシーケンス情報ＳＥＩメッセージをパーズすることが必要である。
【００４４】
ビットストリームにおいて下位−上位のレイヤスイッチングポイントをシグナリングするための第２の別の実施形態は、ＩＤＲピクチャーの定義を変更し、そしてＩＤＲピクチャーをコード化するための制約を緩和することを含む。この実施形態では、ＩＤＲが次のように変更される。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれもゼロに等しくない場合には、ＩＤＲピクチャーは、ＩＤＲピクチャー及び同じレイヤ（即ち、ＩＤＲピクチャーと同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々有する）においてデコーディング順序で後続する全てのコード化ピクチャーを、同じレイヤにおいてデコーディング順序でＩＤＲピクチャーの前の任意のピクチャーから相互予想せず、デコーディングできるようなコード化ピクチャーである。更に、このようなＩＤＲピクチャーは、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。さもなければ、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しい場合には、ＩＤＲピクチャーは、ＩＤＲピクチャー及びデコーディング順序で後続する全てのコード化ピクチャーを、デコーディング順序でＩＤＲピクチャーの前の任意のピクチャーから相互予想せず、デコーディングできるようなコード化ピクチャーである。このようなＩＤＲピクチャーは、デコーディングプロセスで、全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。
【００４５】
ＩＤＲピクチャーをコード化するための制約（即ち、アクセスユニットにおける全てのピクチャーがＩＤＲピクチャーであるか、又はアクセスユニットのピクチャーはＩＤＲピクチャーでない）は、次のように緩和される。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しいピクチャーがＩＤＲピクチャーである場合には、同じアクセスユニットにおける他の全てのピクチャーがＩＤＲピクチャーである。ＩＤＲピクチャーをコード化するためのこの緩和された制約のために、ベースレイヤピクチャーが非ＩＤＲピクチャーであるアクセスユニットのエンハンスメントレイヤにＩＤＲピクチャーをもたせることができる。この第２の別の方法で観察できるように、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれもゼロに等しくないときは、ＩＤＲピクチャーの定義は、上述したようにビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングする第１の別の方法のＥＩＤＲピクチャー定義と同じである。それ故、ＥＩＤＲピクチャーの全ての利点が有効となる。ここに定義されるＩＤＲピクチャーのコード化は、次の下位レイヤから、ＩＤＲピクチャーの位置にＩＤＲピクチャーを含むレイヤへのレイヤスイッチングを可能にする。
【００４６】
この特定の構成は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌがシグナリングされるスケーラブル拡張を使用してコード化されるスケーラブルレイヤに適用することができる。別の方法１と同じ方法を使用して、Ｈ．２６４／ＡＶＣ規格それ自体を使用する時間的レイヤ間の効率的な下位−上位レイヤスイッチングを行うことができる。
【００４７】
ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングする第３の別の実施形態は、ＩＤＲピクチャーをコード化するための制約を緩和し、時間的スケーラブルレイヤに対してＳＥＩメッセージを使用することを含む。この別の実施形態では、ＩＤＲピクチャーの定義は不変であるが、ＩＤＲピクチャーをコード化する制約は、次のように緩和される。
【００４８】
ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しいピクチャーがＩＤＲピクチャーである場合には、同じアクセスユニット内の他の全てのピクチャーもＩＤＲピクチャーである。この緩和は、ＩＤＲピクチャーのコード化が、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又はｑｕａｌｉｔｙ＿ｌｅｖｅｌの異なる値の間で下位−上位レイヤスイッチングを可能にする。しかしながら、ＩＤＲピクチャーの定義は不変であり、即ちスケーラブルレイヤを指定するのにｔｅｍｐｏｒａｌ＿ｌｅｖｅｌが含まれないので、時間的レイヤ間の下位−上位レイヤスイッチングの問題が未解決のままである。
【００４９】
時間的レイヤ間の下位−上位レイヤスイッチングの問題を解決するために、それらがスケーラブル拡張を使用してコード化されるか、Ｈ．２６４／ＡＶＣ規格それ自体を使用してコード化されるかに関らず、上述した第１の別の実施形態について述べたのと同様にＥＩＤＲピクチャーＳＥＩメッセージを使用して、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示する。それでも、ＳＥＩメッセージにより指示されるＥＩＤＲピクチャーは、ＳＥＩメッセージが規格適合デコーダーに対して任意のものであるので、参照管理機能を有していない。
【００５０】
ＳＥＩのシンタックスは、ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングするための第１の別の実施形態と同じである。ターゲットピクチャーがＨ．２６４／ＡＶＣ規格それ自体を使用してコード化されるときにはセマンティックスも同じである。ターゲットピクチャーがスケーラブル拡張を使用してコード化されるときには、セマンティックスは、次のように変化する。
【００５１】
ＥＩＤＲピクチャーＳＥＩメッセージの存在は、ターゲットピクチャーが次のようなＥＩＤＲピクチャーであることを指示し、即ち、ピクチャー及び同じレイヤ（即ち、ＥＩＤＲピクチャーと同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する）においてデコーディング順序で後続する全てのコード化ピクチャーを、同じレイヤにおいてデコーディング順序でＥＩＤＲピクチャーの前の任意のピクチャーから相互予想せず、デコードできるようなピクチャーであることを指示する。“ｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍ”は、ＥＩＤＲピクチャーのｔｅｍｐｏｒａｌ＿ｌｅｖｅｌを指示する。又、ＥＩＤＲピクチャーがスケーラブル拡張を使用してコード化されるときにはＳＥＩメッセージのシンタックスからシンタックスエレメントｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍを除外することもできる。
【００５２】
ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングするための第４の別の実施形態は、全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することを含む。この別の実施形態では、ＥＩＤＲピクチャーＳＥＩメッセージは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位のレイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するのに使用される前記第３の別の実施形態で定義されたメッセージと同様である。しかしながら、この特定の実施形態では、ＳＥＩメッセージは、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又はｑｕａｌｉｔｙ＿ｌｅｖｅｌの異なる値の間で下位−上位レイヤスイッチングの問題を解決するのにも使用される。
【００５３】
図３は、ネットワークを通して通信できる多数の通信装置を備えた、本発明を利用できるシステム１０を示す。このシステム１０は、移動電話ネットワーク、ワイヤレスローカルエリアネットワーク（ＬＡＮ）、ブルーツースパーソナルエリアネットワーク、イーサネット（登録商標）ＬＡＮ、トークンリングＬＡＮ、ワイドエリアネットワーク、インターネット、等を含む（これらに限定されないが）ワイヤード又はワイヤレスネットワークの組み合せで構成することができる。システム１０は、ワイヤード及びワイヤレスの両通信装置を含んでもよい。
【００５４】
例示のために、図３に示されたシステム１０は、移動電話ネットワーク１１及びインターネット２８を備えている。インターネット２８への接続は、長距離ワイヤレス接続、短距離ワイヤレス接続、及び種々のワイヤード接続を含み（これらに限定されないが）、このワイヤード接続は、電話線、ケーブルライン、電力ライン、等を含む（これらに限定されないが）。
【００５５】
システム１０の例示的通信装置は、移動電話１２、ＰＤＡ及び移動電話の組合せ１４、ＰＤＡ１６、一体化メッセージング装置（ＩＭＤ）１８、デスクトップコンピュータ２０、及びノートブックコンピュータ２２を含む（これらに限定されないが）。通信装置は、固定でもよいし、又は移動中の個人により携帯されるときには移動でもよい。又、通信装置は、自動車、トラック、タクシー、バス、ボート、航空機、自転車、オートバイ、等を含む（これらに限定されないが）輸送のモードに配置されてもよい。通信装置の幾つか又は全部がコール及びメッセージを送受信でき、そしてベースステーション２４へのワイヤレス接続２５を経てサービスプロバイダーと通信してもよい。ベースステーション２４は、移動電話ネットワーク１１とインターネット２８との間の通信を許すネットワークサーバー２６に接続することができる。システム１０は、付加的な通信装置、及び異なる形式の通信装置を含んでもよい。
【００５６】
通信装置は、コード分割多重アクセス（ＣＤＭＡ）、移動通信用のグローバルシステム（ＧＳＭ）、ユニバーサル移動テレコミュニケーションシステム（ＵＭＴＳ）、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ｅメール、インスタントメッセージングサービス（ＩＭＳ）、ブルーツース、ＩＥＥＥ８０２．１１、等を含む（これらに限定されないが）種々の送信技術を使用して通信することができる。又、通信装置は、無線、赤外線、レーザー、ケーブル接続、等を含む（これらに限定されないが）種々のメディアを使用して通信することができる。
【００５７】
図４及び５は、本発明を実施できる１つの代表的な移動電話１２を示す。しかしながら、本発明は、１つの特定形式の移動電話１２又は他の電子装置に限定されないことを理解されたい。図４及び５の移動電話１２は、ハウジング３０、液晶ディスプレイの形態のディスプレイ３２、キーパッド３４、マイクロホン３６、イヤホン３８、バッテリ４０、赤外線ポート４２、アンテナ４４、本発明の一実施形態によるＵＩＣＣの形態のスマートカード４６、カードリーダー４８、無線インターフェイス回路５２、コーデック回路５４、コントローラ５６、及びメモリ５８を含む。個々の回路及びエレメントは、全て、例えば、ノキアの範囲の移動電話においてこの技術で良く知られた形式のものである。
【００５８】
本発明は、ネットワーク環境内でコンピュータにより実行されるプログラムコードのようなコンピュータ実行可能なインストラクションを含むプログラム製品により一実施形態で具現化される方法ステップの一般的状況において説明された。
【００５９】
一般に、プログラムモジュールは、特定のタスクを実行するか又は特定のアブストラクトデータ形式を具現化するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含む。コンピュータ実行可能なインストラクション、関連データ構造、及びプログラムモジュールは、ここに開示する方法のステップを実行するためのプログラムコードの例を表わす。このような実行可能なインストラクション又は関連データ構造の特定シーケンスは、このようなステップにおいて説明されるファンクションを具現化するための対応するアクションの例を示す。
【００６０】
本発明のソフトウェア及びウェブの具現化は、種々のデータベースサーチステップ、相関ステップ、比較ステップ、及び判断ステップを実行するためのルールベースのロジック及び他のロジックを伴う標準的なプログラミング技術で達成することができる。又、この説明及び特許請求の範囲で使用する「コンポーネント」及び「モジュール」という語は、１行以上のソフトウェアコードを使用する具現化、及び／又はハードウェア具現化、及び／又は手動入力を受け取るための装置を包含することに注意されたい。
【００６１】
本発明の実施形態の以上の説明は、例示及び説明のためのものである。これは、本発明を余すところなく説明するものでもないし、又、ここに開示した正確な形態に制限するものでもなく、前記教示に鑑み又は本発明を実施することから、種々の変更や修正が可能であろう。前記実施形態は、本発明の原理及びその実際の応用を説明するために選択され、記述されたもので、当業者であれば、種々の実施形態において本発明を利用し、且つ意図された特定の用途に適するように種々の変更をなすことができるであろう。
【図面の簡単な説明】
【００６２】
【図１】３つの変数ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの表示値と共にスケーラブルビデオストリームの時間的セグメントを示す図である。
【図２】図１に示された時間的セグメントに対する典型的な予想参照関係を示す図である。
【図３】本発明を実施できるシステムの概略図である。
【図４】本発明の原理を組み込むことのできる電子装置の斜視図である。
【図５】図４の電子装置の回路図である。
【図６】本発明のスケーラブルなコーディングハイアラーキーを適用できる共通のマルチメディアデータストリーミングシステムを示す図である。
【図１】
2009512307.tif 000005
【図２】
2009512307.tif 000006
【図３】
2009512307.tif 000007
【図４】
2009512307.tif 000008
【図５】
2009512307.tif 000009
【図６】
2009512307.tif 000010
【手続補正書】
【提出日】平成20年5月30日(2008.5.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にする方法において、前記ビデオビットストリーム内の複数の下位−上位レイヤスイッチングポイントをエンコードするステップを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、方法。
【請求項２】
前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするステップを更に備えた、請求項１に記載の方法。
【請求項３】
前記スイッチングポイントは、特定のＮＡＬユニットタイプのコード化スライスを含むピクチャーが、エンハンスメントレイヤ瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示するようにＮＡＬユニットタイプを定義することによりエンコードされる、請求項１に記載の方法。
【請求項４】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項１に記載の方法。
【請求項５】
前記スイッチングポイントは、ＩＤＲピクチャー及びデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が全てゼロに等しい場合には、デコーディング順序においてＩＤＲピクチャーの前の任意のピクチャーから相互予想せずに実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義し、且つｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかの値がゼロに等しくない場合には、ＩＤＲピクチャー及び同じレイヤ内でデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、デコーディング順序においてＩＤＲピクチャーの前にあって同じレイヤにおけるＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する任意のピクチャーから相互予想せずに、実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義することにより、エンコードされ、そして２つのピクチャーは、２つのピクチャーが同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に同じレイヤにあるとみなされる、請求項１に記載の方法。
【請求項６】
ＩＤＲピクチャーをデコードした後にＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかがゼロに等しくない場合には、「参照として未使用」と直ちにマークされる、請求項５に記載の方法。
【請求項７】
ＩＤＲピクチャーをデコードした後の全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しい場合に、「参照として未使用」と直ちにマークされる、請求項５に記載の方法。
【請求項８】
前記スイッチングポイントは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しいピクチャーがＩＤＲピクチャーである場合に、ＩＤＲピクチャーと同じアクセスユニットにおいて全ての他のピクチャーを定義することによりエンコードされる、請求項１に記載の方法。
【請求項９】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項８に記載の方法。
【請求項１０】
前記スイッチングポイントは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するように全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することによりエンコードされる、請求項１に記載の方法。
【請求項１１】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にする方法において、前記ビデオビットストリームのファイルフォーマットレベル内の複数の下位−上位レイヤスイッチングポイントをエンコードするステップを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、方法。
【請求項１２】
前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするステップを更に備えた、請求項１１に記載の方法。
【請求項１３】
前記スイッチングポイントは、各スケーラブルレイヤに対するスケーラビリティ情報を含むボックスをデータ構造に含ませることによりエンコードされる、請求項１１に記載の方法。
【請求項１４】
前記スイッチングポイントは、ビデオビットストリーム内の全レイヤのスイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項１１に記載の方法。
【請求項１５】
前記スイッチングポイントは、ヒントトラック又は抽出トラックの間に存在する下位−上位スイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項１１に記載の方法。
【請求項１６】
メディアトラックでシグナリングされる情報は、ヒントトラック又は抽出トラック間に存在する下位−上位レイヤスイッチングポイントを得るように再使用される、請求項１５に記載の方法。
【請求項１７】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするためのコンピュータプログラム製品において、前記ビデオビットストリーム内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、コンピュータプログラム製品。
【請求項１８】
前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするコンピュータコードを更に備えた、請求項１７に記載のコンピュータプログラム製品。
【請求項１９】
前記スイッチングポイントは、特定のＮＡＬユニットタイプのコード化スライスを含むピクチャーが、エンハンスメントレイヤ瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示するようにＮＡＬユニットタイプを定義することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２０】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２１】
前記スイッチングポイントは、ＩＤＲピクチャー及びデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が全てゼロに等しい場合には、デコーディング順序においてＩＤＲピクチャーの前の任意のピクチャーから相互予想せずに実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義し、且つｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかの値がゼロに等しくない場合には、ＩＤＲピクチャー及び同じレイヤ内でデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、デコーディング順序においてＩＤＲピクチャーの前にあって同じレイヤにおけるＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する任意のピクチャーから相互予想せずに、実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義することにより、エンコードされ、そして２つのピクチャーは、２つのピクチャーが同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に同じレイヤにあるとみなされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２２】
ＩＤＲピクチャーをデコードした後にＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかがゼロに等しくない場合には、「参照として未使用」と直ちにマークされる、請求項２１に記載のコンピュータプログラム製品。
【請求項２３】
ＩＤＲピクチャーをデコードした後の全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しい場合に、「参照として未使用」と直ちにマークされる、請求項２１に記載のコンピュータプログラム製品。
【請求項２４】
前記スイッチングポイントは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しいピクチャーがＩＤＲピクチャーである場合に、ＩＤＲピクチャーと同じアクセスユニットにおいて全ての他のピクチャーを定義することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２５】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項２４に記載のコンピュータプログラム製品。
【請求項２６】
前記スイッチングポイントは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するように全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することによりエンコードされる、請求項１７に記載のコンピュータプログラム製品。
【請求項２７】
ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするコンピュータプログラム製品において、前記ビデオビットストリームのファイルフォーマットレベル内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを備え、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、コンピュータプログラム製品。
【請求項２８】
前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするコンピュータコードを更に備えた、請求項２７に記載のコンピュータプログラム製品。
【請求項２９】
前記スイッチングポイントは、各スケーラブルレイヤに対するスケーラビリティ情報を含むボックスをデータ構造に含ませることによりエンコードされる、請求項２７に記載のコンピュータプログラム製品。
【請求項３０】
前記スイッチングポイントは、ビデオビットストリーム内の全レイヤのスイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項２７に記載のコンピュータプログラム製品。
【請求項３１】
前記スイッチングポイントは、ヒントトラック又は抽出トラックの間に存在する下位−上位スイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項２７に記載のコンピュータプログラム製品。
【請求項３２】
メディアトラックでシグナリングされる情報は、ヒントトラック又は抽出トラック間に存在する下位−上位レイヤスイッチングポイントを得るように再使用される、請求項３１に記載のコンピュータプログラム製品。
【請求項３３】
プロセッサと、
前記プロセッサに作動的に接続されたメモリユニットであって、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするためのコンピュータプログラム製品を含むメモリユニットと、
を備え、前記コンピュータプログラム製品は、前記ビデオビットストリーム内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを含み、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、電子装置。
【請求項３４】
前記メモリユニットは、前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするコンピュータコードを更に備えた、請求項３３に記載の電子装置。
【請求項３５】
前記スイッチングポイントは、特定のＮＡＬユニットタイプのコード化スライスを含むピクチャーが、エンハンスメントレイヤ瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示するようにＮＡＬユニットタイプを定義することによりエンコードされる、請求項３３に記載の電子装置。
【請求項３６】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項３３に記載の電子装置。
【請求項３７】
前記スイッチングポイントは、ＩＤＲピクチャー及びデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が全てゼロに等しい場合には、デコーディング順序においてＩＤＲピクチャーの前の任意のピクチャーから相互予想せずに実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義し、且つｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかの値がゼロに等しくない場合には、ＩＤＲピクチャー及び同じレイヤ内でデコーディング順序において後続する全てのコード化ピクチャーのデコーディングを、デコーディング順序においてＩＤＲピクチャーの前にあって同じレイヤにおけるＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する任意のピクチャーから相互予想せずに、実行できるようなコード化ピクチャーであるようにＩＤＲピクチャーを定義することにより、エンコードされ、そして２つのピクチャーは、２つのピクチャーが同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に同じレイヤにあるとみなされる、請求項３３に記載の電子装置。
【請求項３８】
ＩＤＲピクチャーをデコードした後にＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれかがゼロに等しくない場合には、「参照として未使用」と直ちにマークされる、請求項３７に記載の電子装置。
【請求項３９】
ＩＤＲピクチャーをデコードした後の全ての参照ピクチャーは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しい場合に、「参照として未使用」と直ちにマークされる、請求項３７に記載の電子装置。
【請求項４０】
前記スイッチングポイントは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しいピクチャーがＩＤＲピクチャーである場合に、ＩＤＲピクチャーと同じアクセスユニットにおいて全ての他のピクチャーを定義することによりエンコードされる、請求項３３に記載の電子装置。
【請求項４１】
前記スイッチングポイントは、ピクチャーがＥＩＤＲピクチャーであることを指示するように補足エンハンスメント情報（ＳＥＩ）メッセージを定義することによりエンコードされる、請求項４０に記載の電子装置。
【請求項４２】
前記スイッチングポイントは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するように全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することによりエンコードされる、請求項３３に記載の電子装置。
【請求項４３】
プロセッサと、
前記プロセッサに作動的に接続されたメモリユニットであって、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを含むビデオビットストリーム内で下位−上位スケーラブルレイヤスイッチングを可能にするためのコンピュータプログラム製品を含むメモリユニットと、
を備え、前記コンピュータプログラム製品は、前記ビデオビットストリームのファイルフォーマットレベル内の複数の下位−上位レイヤスイッチングポイントをエンコードするコンピュータコードを含み、前記複数の下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである、電子装置。
【請求項４４】
前記メモリユニットは、前記エンコードされたスイッチングポイントを使用して、前記ビデオビットストリームの下位レイヤから前記ビデオビットストリームの上位レイヤへスイッチングするコンピュータコードを更に備えた、請求項４３に記載の電子装置。
【請求項４５】
前記スイッチングポイントは、各スケーラブルレイヤに対するスケーラビリティ情報を含むボックスをデータ構造に含ませることによりエンコードされる、請求項４３に記載の電子装置。
【請求項４６】
前記スイッチングポイントは、ビデオビットストリーム内の全レイヤのスイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項４３に記載の電子装置。
【請求項４７】
前記スイッチングポイントは、ヒントトラック又は抽出トラックの間に存在する下位−上位スイッチングポイントを指示するボックスを含ませることによりエンコードされる、請求項４３に記載の電子装置。
【請求項４８】
メディアトラックでシグナリングされる情報は、ヒントトラック又は抽出トラック間に存在する下位−上位レイヤスイッチングポイントを得るように再使用される、請求項４７に記載の電子装置。
【請求項４９】
少なくとも２つのスケーラブルレイヤを含むビデオビットストリームを受け取るための第１コンポーネントと、
前記ビデオビットストリーム内の下位−上位レイヤスイッチングポイントを識別するための第２コンポーネントであって、前記下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである第２コンポーネントと、
前記下位−上位レイヤスイッチングポイントにおいてスケーラブルレイヤのサブセットの送信からスケーラブルレイヤのより大きなサブセットへスイッチングするための第３コンポーネントと、
を備えたストリーミングシステムの要素。
【請求項５０】
少なくとも２つのスケーラブルレイヤを含むビデオビットストリームを受け取るための第１コンポーネントと、
前記ビデオビットストリームのファイルフォーマットレベル内の下位−上位レイヤスイッチングポイントを識別するための第２コンポーネントであって、前記下位−上位レイヤスイッチングポイントは、瞬時デコーディングリフレッシュ（ＩＤＲ）アクセスユニットの位置にはないものである第２コンポーネントと、
前記下位−上位レイヤスイッチングポイントにおいてスケーラブルレイヤのサブセットの送信からスケーラブルレイヤのより大きなサブセットへスイッチングするための第３コンポーネントと、
を備えたストリーミングシステムの要素。
【国際調査報告】
2009512307.tif 000011
2009512307.tif 000012
2009512307.tif 000013