(57)【要約】  本発明は、スケーラブルなデータストリームの個々のデータ要素を少なくとも１つのファイルに記憶する方法であって、該スケーラブルなデータストリームの品質段階を少なくとも１つのスケーリング特徴によってそれぞれ複数のスケーリング段階で記述し、該スケーリング特徴の各スケーリング段階にそれぞれ少なくとも１つのデータ要素を割り当て、該データ要素に処理インデックスを割り当てて、該データ要素を処理するために各処理インデックスのより低い値を有する１つのみのデータ要素または複数のデータ要素を考慮しなければならないようにし、少なくとも１つの記述リストを生成して、該記述リストが、各スケーリング特徴および／またはタイムインデックスおよび／または処理インデックスから成り該データ要素に所属する記述要素を含むようにし、該記述リストのうち少なくとも１つと所属のデータ要素とを、該ファイルのうち１つに編成して記憶する。さらに本発明は、上記方法を具現化および実施するための装置にも関する。
2009502066.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルなデータストリーム（ＳＤ）の個々のデータ要素（Ｄ０〜Ｄ５）を少なくとも１つのファイル（Ｆ，Ｆ１）に記憶する方法であって、
ａ）該スケーラブルなデータストリーム（ＳＤ）の品質段階（Ｑ０〜Ｑ３）を、少なくとも１つのスケーリング特徴（Ｔ，Ｓ，Ｂ）によってそれぞれ複数のスケーリング段階（Ｔ０，Ｔ１，Ｓ０，Ｓ１，Ｂ０，Ｂ１）で記述し、
ｂ）該スケーリング特徴（Ｔ，Ｓ，Ｂ）の各スケーリング段階にそれぞれ少なくとも１つのデータ要素（Ｄ０〜Ｄ３）を割り当て、
ｃ）高い品質段階（Ｑ３）では該スケーラブルなデータストリーム（ＳＤ）を、該高い品質段階（Ｑ３）にそれぞれ所属する各スケーリング特徴（Ｔ，Ｓ，Ｂ）のスケーリング段階（Ｔ０，Ｔ１，Ｓ０，Ｓ１，Ｂ０）より各スケーリング特徴（Ｔ，Ｓ，Ｂ）のスケーリング段階が等しいかまたは小さい少なくとも１つのデータ要素（Ｄ０〜Ｄ５）によって表し、
ｄ）該データ要素（Ｄ０，Ｄ１）に、各データ要素（Ｄ０）を別のデータ要素（Ｄ１）に対して相対的に表示すべきタイムインデックス（ＺＩ０，ＺＩ１）を割り当てる
形式の方法において、
ｅ）該データ要素（Ｄ３）を処理するために各処理インデックス（Ｖ０〜Ｖ３）のより低い値を有する１つまたは複数のデータ要素（Ｄ０〜Ｄ２）のみを考慮すべきであるように、該データ要素（Ｄ３）に処理インデックス（Ｖ３）を割り当て、
ｆ）記述リスト（Ｌ１，Ｌ２）が、各スケーリング特徴（Ｔ，Ｓ，Ｂ）のスケーリング段階および／またはタイムインデックス（ＺＩ０〜ＺＩ５）および／または処理インデックス（Ｖ０〜Ｖ５）から成り該データ要素（Ｄ０〜Ｄ５）に関連する記述要素を有するように、少なくとも１つの記述リスト（Ｌ１，Ｌ２）を生成し、
ｇ）該記述リスト（Ｌ１）のうち少なくとも１つの記述リストと、該１つの記述リストに所属するデータ要素（Ｄ０〜Ｄ５）とを、該ファイル（Ｆ，Ｆ１）のうち１つに編成して記憶することを特徴とする方法。
【請求項２】
前記記述リスト（Ｌ１）中の記述要素を少なくとも１つの区分基準にしたがって、とりわけ最下位のスケーリング段階（Ｓ０）から最上位のスケーリング段階（Ｓ１）まで区分して、編成して配置する、請求項１記載の方法。
【請求項３】
前記記述リスト（Ｌ１）が端末機器機能に割り当てられるように、とりわけ端末機器の計算性能または再生単位に割り当てられるように、該記述リスト（Ｌ１）を生成する、請求項１または２記載の方法。
【請求項４】
前記記述リスト（Ｌ１）に、所属のデータ要素（Ｄ０〜Ｄ５）を見つけるための参照指示（ＶＤ０〜ＶＤ５）を追加し、
該データ要素（Ｄ０〜Ｄ５）を、前記ファイル（Ｆ，Ｆ１）のうち１つのファイルにおいてデータ領域（ＤＡＴ）に編成して格納する、請求項１から３までのいずれか１項記載の方法。
【請求項５】
前記データ要素（Ｄ２）の処理インデックス（Ｖ２）の値を、該データ要素（Ｄ２）に所属する参照指示（ＶＤ２）から求める、請求項１から４までのいずれか１項記載の方法。
【請求項６】
前記データ要素（Ｄ０〜Ｄ５）を前記データ領域（ＤＡＴ）内に、各データ要素（Ｄ０〜Ｄ５）に所属する参照指示（ＶＤ０〜ＶＤ５）に依存して編成して記憶する、請求項４または５記載の方法。
【請求項７】
記述リスト（Ｌ１）の他に付加的に、最下位の品質段階（Ｑ０，Ｑ１）のうち１つを記述するために、ＭＰＥＧ‐４ ＡＶＣ互換性のデータ要素のためのＭＰＥＧ‐４ ＡＶＣ記述フォーマットによるデータリスト（ＤＬ）も、前記ファイル（Ｆ，Ｆ１）のうち１つに編成して格納する、請求項１から６までのいずれか１項記載の方法。
【請求項８】
前記品質段階（Ｑ０〜Ｑ３）から品質グループ（Ｇ１，Ｇ２，Ｇ３）を形成し、該品質グループ（Ｇ２）が該品質段階（Ｑ２）のうち１つに割り当てられ、該品質グループ（Ｇ２）を処理するためのすべてのデータ要素（Ｄ３，Ｄ０ないしはＤ１およびＤ４）が割り当てられるようにする、請求項１から７までのいずれか１項記載の方法。
【請求項９】
前記記述リスト（Ｌ３）において、前記品質グループ（Ｇ３）の次に下位の品質グループ（Ｇ２）に列挙されたデータ要素（Ｄ３）または参照指示（ＶＤ３）の他に付加的に該品質グループの形成のために追加されるデータ要素（Ｄ２，Ｄ５）または参照指示（ＶＤ２，ＶＤ５）を、該品質グループ（Ｇ３）に割り当てる、請求項８記載の方法。
【請求項１０】
スケーラブルなデータストリーム（ＳＤ）の個々のデータ要素（Ｄ０〜Ｄ５）を少なくとも１つのファイル（Ｆ，Ｆ１）に、とりわけ請求項１から９までのいずれか１項記載の方法にしたがって記憶するための装置であって、
ａ）該スケーラブルなデータストリーム（ＳＤ）の品質段階（Ｑ０〜Ｑ３）が、少なくとも１つのスケーリング特徴（Ｔ，Ｓ，Ｂ）によってそれぞれ複数のスケーリング段階（Ｔ０，Ｔ１，Ｓ０，Ｓ１，Ｂ０，Ｂ１）で記述され、
ｂ）該スケーリング特徴（Ｔ，Ｓ，Ｂ）の各スケーリング段階にそれぞれ少なくとも１つのデータ要素（Ｄ０〜Ｄ３）が割り当てられ、
ｃ）高い品質段階（Ｑ３）では該スケーラブルなデータストリーム（ＳＤ）は、該高い品質段階（Ｑ３）にそれぞれ所属する各スケーリング特徴（Ｔ，Ｓ，Ｂ）のスケーリング段階（Ｔ０，Ｔ１，Ｓ０，Ｓ１，Ｂ０）より各スケーリング特徴（Ｔ，Ｓ，Ｂ）のスケーリング段階が等しいかまたは小さい少なくとも１つのデータ要素（Ｄ０〜Ｄ５）によって表され、
ｄ）該データ要素（Ｄ０，Ｄ１）に、各データ要素（Ｄ０）を別のデータ要素（Ｄ１）に対して相対的に表示すべきタイムインデックス（ＺＩ０，ＺＩ１）が割り当てられる
形式の装置において、
ジェネレータモジュール（ＧＭ）が次のように構成されていること、すなわち、
ｅ）該データ要素（Ｄ３）を処理するために各処理インデックス（Ｖ０〜Ｖ３）のより低い値を有する１つまたは複数のデータ要素（Ｄ０〜Ｄ２）のみを考慮すべきであるように、該データ要素（Ｄ３）に処理インデックス（Ｖ３）を割り当て、
ｆ）記述リスト（Ｌ１，Ｌ２）が、各スケーリング特徴（Ｔ，Ｓ，Ｂ）のスケーリング段階および／またはタイムインデックス（ＺＩ０〜ＺＩ５）および／または処理インデックス（Ｖ０〜Ｖ５）から成り該データ要素（Ｄ０〜Ｄ５）に関連する記述要素を有するように、少なくとも１つの記述リスト（Ｌ１，Ｌ２）を生成し、
ｇ）該記述リスト（Ｌ１）のうち少なくとも１つの記述リストと、該１つの記述リストに所属するデータ要素（Ｄ０〜Ｄ５）とを、該ファイル（Ｆ，Ｆ１）のうち１つに編成して記憶する
ように構成されていることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１の上位概念に記載の方法と、請求項１０の上位概念に記載の装置とに関する。
【０００２】
多くのアプリケーションにおいて、異なる品質のメディアデータストリーム、例えばビデオデータストリームまたはオーディオデータストリームが必要とされる。例えば、移動電話は低い画像分解能、例えば１７６×１４４画素を有するビデオデータストリームしか再生できない。これに対して携帯可能なコンピュータ、例えばタブレットＰＣはそのディスプレイ上に１２８０×７６８画素までの画素を有するビデオデータストリームを表示することができる。
【０００３】
異なる端末特性を有する異なる端末機器に対してメディアデータストリームを提供するために、メディアデータストリームを異なる品質の複数のデータストリームで作成することができる。このような手法は不利である。その理由は、１つのメディアデータストリームでこのような多数のデータストリームを記憶するためには、大きな記憶容量を設けなければならないからである。
【０００４】
別の変形形態では、メディアデータストリームはベースデータストリームと複数のサブデータストリームとに符号化される。ここでは、１つまたは複数のサブデータストリームをベースデータストリームに追加することによって、たとえば画像品質等の品質がベースデータストリームより改善される。このようなスケーラブルな符号化によって端末機器は、１つまたは複数のサブデータストリームをベースデータストリームに追加することにより、選択可能な品質を有する復号化されるデータストリームを得ることができ、該データストリームがこの特定の端末機器の機器特性に適するようにすることができる。このようなスケーラブルな符号化によって所要記憶スペースが小さくなり、かつ、１つまたは複数のサブデータストリームを追加することによって、端末機器における端末特性の適合が実現される。
【０００５】
符号化されたメディアデータストリーム、たとえばビデオデータストリームはファイルに編成されて格納される。たとえば文献［１］から、符号化されたメディアデータストリームを格納するファイルフォーマットが公知である。文献［１］の第７章によれば、このファイルフォーマットは「レイヤ」および「サブシーケンス」をサポートする。ここでは、「レイヤ」および「サブシーケンス」はデータフォーマットの読み出しにのみ制限されているのに対し、この情報はコーデックの特性を記述するために設けられているのではないこと、すなわち、スケーラブルなデータストリームを記述するために設けられているのではないことが明示的に記載されている。
【０００６】
さらに文献［２］も参照されたい。ここでは、スケーラビリティ方向の順序のために、すなわち有利である特別な適用事例のために、固定的な構造を有する特別な階級的フォーマットが定義されている。文献［２］で提案されているフォーマットは、スケーリング方向のフレキシブルな定義をサポートしないという欠点を有する。
【０００７】
本発明の課題は、スケーラブルなデータストリームを記憶するための少なくとも１つのファイルの作成において、スケーリング方向のフレキシブルな定義も、１つまたは複数の異なる端末機器の端末特性に対するスケーラブルなデータストリームの適合も、簡単かつ効率的に実現できる方法および装置を提供することである。
【０００８】
前記課題は、請求項１の上位概念に記載された方法から出発して、その特徴部分に記載された構成によって解決される。さらに前記課題は、請求項１０の上位概念の記載によれば、請求項１０の特徴部分に記載の構成により解決される。
【０００９】
従属請求項に本発明の別の実施形態が記載されている。
【００１０】
スケーラブルなデータストリームの個々のデータ要素を少なくとも１つのファイルに記憶するための方法であって、データストリームの品質段階を少なくとも１つのスケーリング特徴によってそれぞれ複数のスケーリング段階で記述し、該スケーリング特徴の各スケーリング段階にそれぞれ少なくとも１つのデータ要素を割り当て、高い品質段階では、各スケーリング特徴のスケーリング段階がそのつど該高い品質段階に所属する各スケーリング特徴のスケーリング段階以下である少なくとも１つのデータ要素によってスケーラブルなデータストリームを表し、該データ要素には、それぞれのデータ要素を他のデータ要素に対して相対的に示すべきタイムインデックスが割り当てられている方法において、該データ要素を処理するために、各処理インデックスのより低い値を有する１つだけのデータ要素または複数のデータ要素を考慮しなければならないように、該データ要素に処理インデックスを割り当て、記述リストが、各スケーリング特徴のスケーリング段階および／またはタイムインデックスおよび／または処理インデックスから成り該データ要素に所属する記述要素を含むように記述リストを生成し、記述リストのうち少なくとも１つと所属のデータ要素とを該ファイルのうち１つに編成して記憶する。
【００１１】
本発明による方法によって、データ要素と、少なくとも１つの記述リストの形態で表されている該データ要素の記述とを非常にフレキシブルに記憶することができる。
【００１２】
記述リストにおいて記述要素を少なくとも１つの区分基準にしたがって、とりわけ最下位のスケーリング段階から最上位のスケーリング段階まで区分して、編成して配置する場合、処理に必要なデータ要素を迅速に見つけることができる。
【００１３】
有利には記述リストは、該記述リストが端末機器機能に割り当てられるように生成され、とりわけ端末機器の計算能力または再生単位に割り当てられるように生成される。このことによって、特別な端末機器機能を有する端末機器は簡単に、それ自体に必要なデータ要素をファイル内に迅速に見つけることができる。さらに、複数の記述リストを選択することにより、異なる端末機器機能を有する端末機器を操作することもできる。
【００１４】
有利には記述リストに、所属のデータ要素を見つけるための参照指示を追加し、該データ要素をファイルのうち１つにおいてデータ領域に編成して格納する場合、該記述リストとデータ領域とを別個に管理し、たとえば１つまたは複数のファイルの伝送時には相互に別個に伝送することができる。このような伝送時には、記述リストとデータ領域とに対してそれぞれ特別な誤り保護を使用することにより、１つだけの誤り保護に対して帯域幅を実現することができる。
【００１５】
付加的に、データ要素の処理インデックスの値を、該データ要素に所属する参照指示から求める場合、記憶すべき記述リストのデータ量を低減することができる。
【００１６】
有利には付加的に、それぞれのデータ要素に所属する参照指示に依存してデータ領域にデータ要素を編成して記憶することができる。このことにより、そのつど記憶されるデータ要素の位置によって、所属の処理インデックスを求めることができる。このようにして、具体的な処理インデックスを省略してデータ容量を低減することができ、かつ、データ要素を読み出すためのデータ領域を１方向でのみ処理すればよくなり、時間的に面倒なジャンプを回避することができる。
【００１７】
本発明による方法の択一的な拡張形態では、最下位の品質段階のうち１つを記述するために、記述リストの他に付加的に、ＭＰＥＧ‐４ ＡＶＣ互換性のデータ要素に対して、ＭＰＥＧ‐４ ＡＶＣ記述フォーマットによるデータリストをファイルのうち１つに編成して格納する。このＭＰＥＧ‐４ ＡＶＣ記述フォーマットは、ＩＳＯ／ＩＥＣ ＭＰＥＧ‐４ ＡＶＣ標準規格から公知である。これによって、ＭＰＥＧ‐４ ＡＶＣ記述フォーマットのみを把握する端末機器からでもファイルを読み出して評価することができる。
【００１８】
有利には、さらに品質段階から品質グループを形成して、該品質グループを該品質段階のうち１つに割り当て、該品質グループを処理するためのすべてのデータ要素を割り当てる。このことにより、層ごと（レイヤ形式）に複数のスケーリング段階をサポートするスケーラブルな符号化方式をサポートすることができる。
【００１９】
こうするために記述リストにおいて、ある品質グループの次に下位の品質グループに列挙されているデータ要素または参照指示の他に付加的に品質グループの形成に追加ないしは必要とされるデータ要素または参照指示のみが該品質グループに割り当てられる場合、該記述リストがコンパクトかつ高いメモリ効率で表現されるのを保証することができる。
【００２０】
さらに本発明は、スケーラブルなデータストリームの個々のデータ要素を少なくとも１つのファイルに記憶するための次のような装置、すなわち、スケーラブルなデータストリームの品質段階が少なくとも１つのスケーリング特徴によってそれぞれ複数のスケーリング段階で記述され、該スケーリング特徴の各スケーリング段階にそれぞれ少なくとも１つのデータ要素が割り当てられ、高い品質段階では、各スケーリング特徴のスケーリング段階がそれぞれ該高い品質段階に所属する各スケーリング特徴のスケーリング段階以下である少なくとも１つのデータ要素によってスケーラブルなデータストリームを表し、該データ要素には、それぞれのデータ要素を他のデータ要素に対して相対的に示すべきタイムインデックスが割り当てられている装置に関する。本装置は、データ要素を処理するために、各処理インデックスのより下位の値を有する１つだけのデータ要素または複数のデータ要素を考慮しなければならないように、該データ要素に処理インデックスを割り当てるのに適したジェネレータモジュールを有し、少なくとも１つの記述リストが生成され、各スケーリング特徴のスケーリング段階および／またはタイムインデックスおよび／または処理インデックスから成り該データ要素に所属する記述要素を該記述リストが含むようにされ、記述リストのうち少なくとも１つと所属のデータ要素とが該ファイルのうち１つに編成されて記憶される。
【００２１】
このような装置によって、本発明による方法を具現化および実施することができる。本装置はハードウェアで実現するか、またはプロセッサ上で動作するソフトウェアで実現するか、またはハードウェアとソフトウェアとの組み合わせによって実現することができる。
【００２２】
以下で、本発明およびその実施形態を図１〜１５に基づき詳細に説明する。
【００２３】
図面
図１  スケーラブルなデータストリームの品質段階を示す。
【００２４】
図２  異なるスケーリング特徴（画像繰り返しレートおよび画像分解能）を表すデータ要素に到達するための流れを示す。
【００２５】
図３  各品質段階に対する記述要素およびデータ要素を示す。
【００２６】
図４  複数の画像からデータ要素を生成して再構築画像を作成するためのブロック図である。
【００２７】
図５Ａ  高い画像分解能を有する品質段階に対して再構築画像を作成するための流れを示す。
【００２８】
図５Ｂ  高い画像繰り返しレートを有する品質段階に対して再構築画像を作成するための流れを示す。
【００２９】
図６  図２ないしは３に示された品質段階ないしはデータ要素に対する記述リストを示す。
【００３０】
図７  記述リストとデータ領域とから成るファイルの構成を示す。
【００３１】
図８Ａ  記述リストの変形形態を示す。
【００３２】
図８Ｂ  図８Ａに示された記述リストのバイナリ表示である。
【００３３】
図９  スケーラブルなデータストリームの個々のデータ要素をファイルに記憶するための装置を示す。
【００３４】
図１０  ネットワークにおいてビデオサーバ内で本装置を使用する適用例を示す。
【００３５】
図１１  品質グループを考慮する記述リストを示す。
【００３６】
図１２  機器特性を考慮する記述リストの別の変形形態を示す。
【００３７】
図１３  記述リストにおける複数の画像の依存関係を示す。
【００３８】
図１４  ２つのファイルを示しており、第１のファイルに複数の記述リストおよびデータリストが編成されて格納されており、第２のファイルにデータ要素が編成されて格納されている。
【００３９】
図１〜１４において同一の機能および作用を有する要素には同一の参照記号が付されている。
【００４０】
スケーラブルなデータストリームの個々のデータ要素をファイルに記憶する本発明の方法を、ビデオデータストリームに基づいて詳細に説明する。このビデオデータストリームは、スケーラブルなデータストリームの可能な種類である。メディアデータストリームの別の種類は、例えば音声信号、楽曲または複数の品質段階で表すことができるデータセットである。
【００４１】
スケーラブルなビデオデータストリームはたとえば、データストリームの一部を低減された品質で、すなわち、たとえばより小さい鮮明度および／またはより小さい位置分解能および／またはより小さい時間分解能で、かつ／または特定のオブジェクトを除去することによって、復号化できる特性を有する。特定の符号化方式では、任意の関連する部分集合を全体データストリームから取り出すことにより、局所的および／または一時的な鮮明度を低減し、かつ／または鮮明度を劣化することができる。さらに、スケーラブルなデータストリームＳＤのセグメントを使用目的に依存してマーキングし、たとえば該スケーラブルなデータストリームの特定のシーンは特定の年齢層のみがアクセス可能であるようにすることもできる。
【００４２】
図１に「フルスケーラブル」なビデオ符号化のコンセプトが示されている。ここでは軸上に、３つのスケーリング特徴である画像繰り返しレートＴ、位置分解能Ｓおよび画像鮮明度Ｂがプロットされている。これらのスケーリング特徴Ｔ，Ｓ，Ｂはそれぞれ、複数のスケーリング段階に分解することができる。ここでは、Ｔ０＝７．５ｆｐｓ（ｆｐｓ‐frames per second＝毎秒画像数）、Ｔ１＝１５ｆｐｓおよびＴ２＝３０ｆｐｓが適用される。さらに、図１では位置分解能Ｓのスケーリング段階は、Ｓ０＝ＱＣＩＦ（ＱＣＩＦ＝Quarter Common Intermediate Format＝１７６×１４４画素）、Ｓ１＝ＣＩＦ（ＣＩＦ‐Common Intermediate Format＝３５２×２８８画素）およびＳ２＝４ＣＩＦ（４ＣＩＦ‐4 times Common Interchange Format＝７０４×５７６画素）である。最後に、スケーリング特徴である画像鮮明度Ｂは２つのスケーリング段階Ｂ０，Ｂ１を有し、Ｂ０は粗い量子化に相応し、Ｂ１は細かい量子化に相応する。
【００４３】
図１において各ボックスは、可能な品質段階Ｑ０〜Ｑ４のうち１つを示しており、各品質段階は、スケーリング特徴Ｔ，Ｓ，Ｂのスケーリング段階のそれぞれの３倍によって表される。たとえば品質段階Ｑ３は、スケーリング特徴Ｔ，Ｓ，Ｂのスケーリング段階Ｔ１，Ｓ１，Ｂ０によって示されている。図１において各品質段階Ｑ０〜Ｑ４は、スケーラブルなデータストリームＳＤの所定の品質を表す。ここでは品質段階Ｑ０の品質は低い。というのも、画像繰り返しレートも位置分解能も画像鮮明度も小さいかないしは粗いからである。スケーラブルなデータストリームＳＤの品質を改善するためには、たとえば第２の品質段階Ｑ２が選択される。ここで、位置分解能ＳはＱＣＩＦからＣＩＦへ上昇される。このようにして、たとえば図１に示されたような「フルスケーラブル」な符号化方式では、個々のスケーリング特徴のスケーリング段階を表す軸に沿った変換によって画像品質の改善を実施することができる。
【００４４】
以下で図２〜５Ｂを参照して、スケーラブルなデータストリームの生成ないしは符号化と処理ないしは復号化とを言及する。スケーラブルなデータストリームを符号化および復号化する手法は当業者に公知であり、たとえばＳＶＣ（ＳＶＣ‐Scalable Video Coding）に関するＩＳＯ／ＩＥＣ ＭＰＥＧ標準化活動が公知である。したがって、図２〜５Ｂを参照して、スケーラブルなデータストリームの符号化および復号化は全般的にのみ説明する。ここでは、Ｔ０＝１５ｆｐｓおよびＴ１＝３０ｆｐｓの画像繰り返しレートと位置分解能Ｓ０＝ＱＣＩＦおよびＳ１＝ＣＩＦとを可能にするスケーラブルなデータストリームないしはスケーラブルなデータストリームのデータ要素を生成しなければならない。このようにして、図３に示されているように、４つの異なる品質段階Ｑ０〜Ｑ３を実現することができる。各品質段階に対してそれぞれ少なくとも１つのデータ要素Ｄ０〜Ｄ５が生成され、このデータ要素は、各品質段階Ｑ０〜Ｑ３の関連のデータを含む。
【００４５】
図２を参照して、データ要素Ｄ０〜Ｄ５の生成を言及する。これらのデータ要素の生成にあたり、たとえば時点ｔ０，ｔ１，ｔ２で撮像された３つの画像Ｐ０，Ｐ１，Ｐ２を考察する。これらの画像Ｐ０，Ｐ１，Ｐ２はＣＩＦの位置分解能を有する。まず第１のステップＸ１０において、画像Ｐ０をＣＩＦからＱＣＩＦに、たとえば２次元のサブサンプリングフィルタによって変換し、オプションとして圧縮することにより、その結果としてデータ要素Ｄ０が得られる。このステップは、ステップＸ１２でも画像Ｐ２に対して同様に実施され、データ要素Ｄ１が生成される。データ要素Ｄ２を生成するためには、ステップＸ１１においてたとえば、まず画像Ｐ１がＣＩＦからＱＣＩＦに変換され、その後に、圧縮解除されたデータ要素Ｄ０，Ｄ１（ステップＸ２０，Ｘ２１）によって差画像がＢ画像の形態で生成される。この差画像は圧縮され、それによってデータ要素Ｄ２が得られる。
【００４６】
次のステップＸ３０において、圧縮解除されたデータ要素Ｄ０はＱＣＩＦからＣＩＦに拡大され、たとえば２次元フィルタによって拡大される。その後にステップＸ４０において、画像Ｐ０と拡大および圧縮されたデータ要素Ｄ０との差画像が求められて圧縮される。この圧縮された差画像をデータ要素Ｄ３と称する。データ要素Ｄ４を作成するためにも同様に、ステップＸ３２およびＸ４２によって進行する。
【００４７】
データ要素Ｄ５を生成するためには、まずステップＸ３１においてデータ要素Ｄ２が圧縮解除され、ＱＣＩＦからＣＩＦに拡大される。次に、画像Ｐ１と圧縮解除および拡大された画像Ｄ２と圧縮解除された画像および再構築された画像とを考慮して、データ要素Ｄ０，Ｄ３とデータ要素Ｄ１およびＤ４とに基づいて差画像が作成される。ここでステップＸ５０において、圧縮解除されＱＣＩＦからＣＩＦに拡大されたデータ要素が、再構築された画像のうち１つの画像の圧縮解除されたデータ要素Ｄ３と一緒に求められる。このことは、ステップＸ５１でも同様にデータ要素Ｄ１およびＤ４に対しても行われる。ステップＸ４１では差画像の生成と該差画像の圧縮も行われ、ここでデータ要素Ｄ５が得られる。
【００４８】
図３に、スケーリング特徴である位置分解能Ｓおよび繰り返し周波数Ｔのスケーリング段階に沿って、図２に示されたデータ要素がプロットされている。さらに、関連のデータ要素を出力すべき各タイムインデックスＺＩ０〜ＺＩ５、すなわち関連のデータ要素をたとえばスクリーンで表示すべき各タイムインデックスＺＩ０〜ＺＩ５が示されている。
【００４９】
さらに図３では、各データ要素Ｄ０〜Ｄ５に対して関連の処理インデックスＶ０〜Ｖ５が記載されている。この処理インデックスは、どのような順序で個々のデータ要素を処理すべきか、たとえば圧縮解除および処理しなければならないかを示す。たとえばデータ要素Ｄ４、すなわち品質段階Ｑ２を処理する場合には、少なくともデータ要素Ｄ１は処理完了していなければならず、たとえば圧縮解除および拡大完了していなければならない。一般的に処理インデックスは、関連のデータ要素Ｄ４の処理前に、処理インデックスの値Ｖ１がより小さい１つまたは複数のデータ要素Ｄ１をすでに処理完了していなければならないことを示す。図２の下部分には、関連のデータ要素Ｄ０〜Ｄ５の各処理インデックスＶ０〜Ｖ５の値がプロットされている。この配列は一例であり、１つまたは複数の択一的な順序で表すこともできる。
【００５０】
図２ないしは図３では、複数の少数の画像のみ、たとえばＰ０，Ｐ１およびＰ２のみを考察した。スケーラブルなデータストリームＤＳでは多数の画像を考慮し、これらの画像に対してそれぞれデータ要素を生成する。さらに、圧縮ないしは圧縮解除はオプションであることを述べておく。この圧縮ないしは圧縮解除は、ＩＳＯ／ＩＥＣ ＭＰＥＧ‐４ ＡＶＣ標準規格によって実施することができる。
【００５１】
図４に、複数の画像からデータ要素を生成して再構築画像を作成するためのブロック図が示されている。たとえば図２から分かるように、符号化モジュールＣＯＤによって画像Ｐ０〜Ｐ２から、データ要素Ｄ０〜Ｄ５が生成される。復号化モジュールＤＥＣを使用して１つまたは複数のデータ要素から、１つまたは複数の再構築画像Ｒ１，Ｒ１′，Ｒ２，Ｒ２′を生成することができる。ここでは、再構築画像Ｒ１，Ｒ２の位置分解能Ｓ０は低く、画像Ｒ１′，Ｒ２′の位置分解能Ｓ１は高い。低い再生レートＴ０の画像のみ、すなわち再構築画像Ｒ１ないしはＲ１′のみを表示する場合には、繰り返しレートはＴ０＝７．５ｆｐｓである。付加的に再構築画像Ｒ２ないしはＲ２′を表示する場合には、再構築されたデータストリームはＴ１＝１５ｆｐｓとなる。
【００５２】
図５Ａおよび５Ｂにおいて、再構築画像を生成するプロセスを詳細に説明する。たとえば再構築画像Ｒ１が、図３に示された品質段階Ｑ１に相応する場合、該再構築画像Ｒ１を作成するにはデータ要素Ｄ０，Ｄ１およびＤ２が必要とされる。この依存関係は図２に示されている。品質段階Ｑ２が選択された場合、図５Ｂに示されているように、再構築画像Ｒ２′がデータ要素Ｄ１およびＤ２によって作成される。
【００５３】
再構築画像の生成時のこのようなモジュール的なプロセスに基づいて、端末機器は該端末機器の端末機器機能に依存して、該端末機器がたとえば処理または表示できる品質段階のみを考慮し、ひいてはこのようなデータ要素のみを考慮することができる。
【００５４】
さらに、高い品質段階のスケーラブルなデータストリームは、この高い品質段階のデータ要素と、より低い品質段階の１つまたは複数のデータ要素の双方を考慮することも述べておく。このことは、各スケーリング特徴のそれぞれ高い品質段階に所属するスケーリング段階に等しいかまたは小さい各スケーリング特徴のスケーリング段階にスケーリング段階が所属する１つまたは複数のデータ要素によって、該高い品質段階のスケーラブルなデータストリームを再生することを意味する。このような形式のスケーリングは、「フルスケーラビリティ」とも称される。たとえば高い品質段階がＱ３である場合、スケーラブルなデータストリームＤＳをこの品質で生成するためには、データパケットＤ５も、たとえばより低い品質段階のすべてのデータパケットも考慮しなければならず、詳細にはＤ０〜Ｄ４も考慮しなければならない。
【００５５】
本発明の方法の次のステップにおいて、記述リストＬ１が、たとえばスケーリング特徴のスケーリング段階および／またはタイムインデックスＺＩ９〜ＺＩ５および／または処理インデックスＶ０〜Ｖ５を含む記述要素の区分によって。たとえば図６に、この区分の結果が示されている。ここでは、次の３つの区分基準を次の区分順序で構成した：
１．タイムインデックスＺＩ０〜ＺＩ５ないしはｔ０〜ｔ２
２．画像繰り返しレートＴ０，Ｔ１
３．位置分解能Ｓ０，Ｓ１
この記述リストＬ１はファイルＦに次のように配置されている。すなわち、区分パラメータの指定にしたがって、所属のデータ要素が該データ要素の処理インデックスとともに示され、たとえば"ｔ０，Ｔ０，Ｓ０，Ｖ０，Ｄ０"とともに示されるように配置されている。
【００５６】
図７に、図６の記述リストの択一的な表現形態が示されている。ここでは、処理インデックスＶ０〜Ｖ５および関連のデータ要素Ｄ０〜Ｄ５の代わりに、それぞれの参照指示ＶＤ０〜ＶＤ５が記述リストＬ１に挿入されている。この参照指示ＶＤ０〜ＶＤ５は２つの機能を有する。参照指示は、ファイルＦのデータセグメントＤＡＴ内の次のようなエントリ、すなわち個々のデータ要素Ｄ０〜Ｄ５が編成されて格納されているエントリをポインティングする。このことによって、参照指示ＶＤ０〜ＶＤ５によってデータ要素Ｄ０〜Ｄ５を見つけることができる。このことは図７に、参照記号ＶＤ０〜ＤＶ５を有する破線によって記号表示されている。また参照指示ＶＤ０〜ＶＤ５から、各データ要素Ｄ０〜Ｄ５に所属する処理インデックスＶ０〜Ｖ５を得ることもできる。このようにして処理インデックスＶ０は、データセグメントＤＡＴにおけるデータ要素Ｄ０の位置から求めることができる。データ要素Ｄ０が最初の位置にある場合、関連の処理インデックスはＶ０＝０である。このデータ要素Ｄ０が第４の位置にある場合、処理インデックスはＶ０＝３となる。このことは後続のデータ要素Ｄ１〜Ｄ５にも適用される。
【００５７】
図６および７に示された上記実施例では、データ要素および記述リストは１つのファイルＦに区分されて格納される。一般的にはこれらは、１つより多くのファイルに記憶することができ、たとえばファイルＦには記述リストＬ１を記憶し、別のファイルＦ１にデータ要素Ｄ０〜Ｄ５を記憶することができる。
【００５８】
図８Ａに、記述リストＬ２の別の択一的な表現形態が示されている。ここでは、対応するデータ要素が存在せず記述リストＬ２内にあるエントリに、参照指示の代わりにマーキングワード「フリー」が割り当てられている。
【００５９】
図８Ｂに、図８Ａのエントリのバイナリ表示が挙げられている。これは、たとえば記述リストＬ２′である。ここでは記述リストは、以下のバイナリ値をとる：
００：ｔ０，０１：ｔ１，１０：ｔ２
０：Ｔ０，１：Ｔ１
０：Ｓ０，１：Ｓ１
ＶＤ０：０００〜ＶＤ５：１０１，フリー：１１１
たとえば第４行は、"００，１，１，１１１"のビットパターンを有する。個々のバイナリシンボルが上記の参照記号によって置換される場合、この第４行は"ｔ０，Ｔ１，Ｓ１，フリー"で読み取られる。バイナリシンボルとしての参照記号ｔ０，ｔ１，Ｔ０，Ｔ１，Ｓ０，Ｓ１，Ｄ０，Ｄ１，Ｄ２，Ｄ３，フリーの意味は、復号化器ないしは端末機器にたとえば事前に既知であるか、または復号化器ないしは端末機器に別個に通知される。
【００６０】
図６〜８Ｂでは、統一的な区分順序が選択されている。これは、本発明の方法の可能な実施形態のうちの１つである。一般的は、記述要素の区分時、すなわち、たとえばタイムインデックスおよびスケーリング特徴のスケーリング段階の区分時には、すべての任意の順序を考慮することができる。とりわけ、記述リストの作成時には端末機器機能を考慮することができ、たとえば端末機器の計算性能または再生単位を考慮することができる。たとえば端末機器上では、最大でも、位置分解能Ｓ０＝ＱＣＩＦを有するスケーラブルなデータストリームＳＤを処理および表示することができる。図１２に例として、記述リストＬ４が次の区分順序で示されている：
１．位置分解能Ｓ
２．タイムインデックスないしは時点
３．画像繰り返しレートＴ
記述リストＬ４の評価時には、端末機器はファイルＦのセグメントのうち、第１の区分パラメータとして位置分解能Ｓ０を有するセグメントでのみ探索する。位置分解能Ｓ１で開始する記述リストＬ４のセグメントでは、端末機器は可能なデータ要素を探索しなくてもよい。というのも、端末機器は位置分解能Ｓ１を処理および表示できないからである。
【００６１】
付加的に、個々のデータ要素および／またはスケーリング特徴のスケーリング段階および／またはタイムインデックスを、アクセスインデックスによってマーキングすることができる。このアクセスインデックスによって、処理すべきデータ要素の選択時に付加的な区分基準が得られる。このようにして、スケーラブルなデータストリームＳＤのあるセグメントを成人にのみ許可し、他のあるセグメントは１２〜１８歳の少年に適することが可能になる。タイムインデックスＺＩ０〜ＺＩ５のマーキングをそれぞれ１つのアクセスインデックスによって行うことにより、不所望のデータ要素の処理を阻止ないしは許可することができる。
【００６２】
図２に示された実施例によれば、３つの画像Ｐ０〜Ｐ２が処理完了されている。ここでは、処理（＝符号化）の影響長さはＧＯＰ＝２である。というのも、処理に必要とされる補助画像Ｐ０までこの影響長さは画像Ｐ１およびＰ２を有するからである。一般的に、すべての任意の影響長さＧＯＰを、本発明による方法によって表すことができる。より大きな影響長さＧＯＰが選択される場合、たとえばＧＯＰ＝１６が選択される場合には、スケーリング特徴である画像繰り返し周波数Ｔのスケーリング段階の数を増加することができる。図１３に一例として、影響長さＧＯＰ，ＧＯＰ１，ＧＯＰ２が時間軸ｔ上で変化するのが示されており、たとえばＧＯＰ１＝２画像、ＧＯＰ２＝３画像が示されている。
【００６３】
本発明による方法の拡張形態では、１つより多くの記述リストＬ１，Ｌ２，ｌ３をファイルＦに含むことができる。ここでは、端末機器は個別に、データ要素を処理するための記述リストのうち１つを選択することができる。たとえば、記述リストＬ１の番号を指示することによって、端末機器に対し、データ要素の処理時の所定の流れを設定することができる。たとえば、１つの端末機器に対して品質グループにおいて実現すべきスケーラビリティは１つである。こうするためには端末機器に対し、記述リストＬ３のみを処理することを指示する。この記述リストＬ３は、後の箇所で説明する。
【００６４】
本発明の方法の択一的な拡張形態では、ファイルＦのデータリストＤＬを付加し、最下位の品質段階Ｑ０，Ｑ１のうち１つを記述するために、ＭＰＥＧ‐４ ＡＶＣ互換性のデータ要素に対するＭＰＥＧ‐４ ＡＶＣ記述フォーマットにしたがって、このデータリストＤＬによってファイルＦ，Ｆ１のうち１つに編成して格納する。こうすることによってこのファイルにおいて、記述リストＬ１を評価することができない既存の端末機器に対する後方互換性が実現される。図１４において、オプションのデータリストＤＬがファイルＦに挿入されている。
【００６５】
付加的または択一的に、記述リストＬ１およびデータ領域ＤＡＴを１つのファイルＦに格納するか、または複数のファイルＦ，Ｆ１に格納することができる。図１４に示されているように、記述リストＬ１〜Ｌ３はファイルＦに編成されて記憶されており、データ領域ＤＡＴは別のファイルＦ１に編成されて記憶されている。
【００６６】
図９に、本発明による方法を実施するための装置の構成例が示されている。ここではカメラＫによって、未符号化の画像Ｐ１〜Ｐ３が撮像され、符号化モジュールＣＯＤへ引き継がれ、該符号化モジュールＣＯＤはデータ要素Ｄ０〜Ｄ５を生成する。これらのデータ要素はジェネレータモジュールＧＭへ引き継がれ、該ジェネレータモジュールＧＭは記述要素の区分にしたがって、記述リストＬ１のうち少なくとも１つを生成し、ファイルＦのうち少なくとも１つに編成して格納する。さらに、ジェネレータモジュールＧＭはファイルＦ，Ｆ１のうち１つのファイル内に、データ要素Ｄ０〜Ｄ５を含むデータ領域ＤＡＴを作成する。ここではファイルＦは、たとえば記憶モジュールＳＭに格納することができ、とりわけハードディスクに格納することができる。
【００６７】
図１０に本発明の装置の可能な適用例が示されている。ネットワークＮＥＴ内にはビデオサーバＶＸが設けられており、これは本発明による装置を含む。ビデオサーバＶＸには、ファイルＦを有する記憶モジュールＳＭを接続することができる。さらに、カメラＫとビデオサーバＶＸとを接続することもできる。またビデオサーバＶＸは、記述リストＬ１およびデータ領域ＤＡＴを有する作成された１つまたは複数のファイルを移動無線機器ＭＧまたはコンピュータＣＧへ伝送し、たとえばＧＳＭ機器（ＧＳＭ‐Global System Mobile Communications）へ伝送することもできる。
【００６８】
本発明による方法の変形形態では、各タイムインデックスに所属するデータ要素を品質グループＧ１〜Ｇ３にまとめるように記述リストＬ３を形成する。ここでまず、品質グループＧ１〜Ｇ３が示された図３を参照する。図３に示された実施例において、このような構成では、すべての品質段階を所期のように品質グループＧ１〜Ｇ３によって選択することはできなくなる。図３には３つの品質グループＧ１〜Ｇ３が示されている。第１の品質グループＧ１は、品質段階Ｑ０のデータ要素Ｄ０，Ｄ１のみを含む。第２の品質グループＧ２は、品質段階Ｑ０およびＱ１のデータ要素Ｄ０，Ｄ１，Ｄ３，Ｄ４を含む。第３の品質グループＧ３は、品質段階Ｑ０〜Ｑ３のデータ要素Ｄ０〜Ｄ５を含む。図３に示された品質グループに分類するグループ分けは、当業者にはスケーラブル符号化の枠内では「レイヤ符号化」として知られている。このレイヤ符号化ではレイヤは、スケーリング特徴のスケーリング段階の任意の組み合わせをすべて実現することはできないという特徴を有する。
【００６９】
図１１に、記述リストＬ３の別の変形形態が示されている。これは品質グループＧ１〜Ｇ３を記述し、以下の区分順序で作成されている：
１．タイムインデックスＺＩ０〜ＺＩ５
２．品質グループＧ１〜Ｇ３
ここではスケーリング特徴Ｔ，Ｓの代表として、各品質グループＧ１〜Ｇ３が示されている。ここでは、各品質グループごとにすべての所属のデータ要素ないしは参照指示を示す代わりに、より小さい品質グループＧ２に対して付加的に処理ないしは復号化時に考慮しなければならないデータ要素ないしは参照指示を各品質グループＧ３ごとに列挙することができる。たとえば、端末機器が品質グループＧ３を選択した場合、ここに挙げられたデータ要素ないしは参照指示の他に、より低い品質グループＧ１およびＧ２のすべてのデータ要素ないしは参照指示も選択される。このような流れによって、品質グループを使用することで、記述リストのコンパクトかつ高いメモリ効率の表現を実現することができる。
【００７０】
上記の実施例では、スケーリング特徴である画像繰り返しレートおよび（画像）位置分解能を有する６つのデータ要素のみを示した。本発明ではより多くの記述要素を設けることができる。すなわち、たとえばより多数のスケーリング段階および／またはスケーリング特徴を設けることができる。たとえば図１には、画像繰り返しレートＴ、位置分解能Ｆの他に、画像鮮明度Ｂが第３の次元にプロットされている。
【００７１】
本願明細書で引用された文献箇所
［１］ISO/IEC, "Coding of Moving Pictures and Audio, Information Technology - Coding of Audio-Visual Objects, Part 15: AVC Fileformat", ISO, JTC1/SC29/WG11, MPEG03/N5652，２００３年３月２１。
【００７２】
［２］M. Z. Wisharam et al., "Extensions to ISO/AVC Fileformat to Support the Storage of Scalable Videocoding (SVC) Bitstreams", ISO/IEC JTC1/SC29/WG11, MPEG2005/M12062, Buthan, Korea，２００５年４月。
【図面の簡単な説明】
【００７３】
【図１】スケーラブルなデータストリームの品質段階を示す。
【図２】異なるスケーリング特徴（画像繰り返しレートおよび画像分解能）を表すデータ要素に到達するための流れを示す。
【図３】各品質段階に対する記述要素およびデータ要素を示す。
【図４】複数の画像からデータ要素を生成して再構築画像を作成するためのブロック図である。
【図５Ａ】高い画像分解能を有する品質段階に対して再構築画像を作成するための流れを示す。
【図５Ｂ】高い画像繰り返しレートを有する品質段階に対して再構築画像を作成するための流れを示す。
【図６】図２ないしは３に示された品質段階ないしはデータ要素に対する記述リストを示す。
【図７】記述リストとデータ領域とから成るファイルの構成を示す。
【図８Ａ】記述リストの変形形態を示す。
【図８Ｂ】図８Ａに示された記述リストのバイナリ表示である。
【図９】スケーラブルなデータストリームの個々のデータ要素をファイルに記憶するための装置を示す。
【図１０】ネットワークにおいてビデオサーバ内で本装置を使用する適用例を示す。
【図１１】品質グループを考慮する記述リストを示す。
【図１２】機器特性を考慮する記述リストの別の変形形態を示す。
【図１３】記述リストにおける複数の画像の依存関係を示す。
【図１４】２つのファイルを示しており、第１のファイルに複数の記述リストおよびデータリストが編成されて格納されており、第２のファイルにデータ要素が編成されて格納されている。
【図１】
2009502066.tif 000003
【図２】
2009502066.tif 000004
【図３】
2009502066.tif 000005
【図４】
2009502066.tif 000006
【図５Ａ】
2009502066.tif 000007
【図５Ｂ】
2009502066.tif 000008
【図６】
2009502066.tif 000009
【図７】
2009502066.tif 000010
【図８Ａ】
2009502066.tif 000011
【図８Ｂ】
2009502066.tif 000012
【図９】
2009502066.tif 000013
【図１０】
2009502066.tif 000014
【図１１】
2009502066.tif 000015
【図１２】
2009502066.tif 000016
【図１３】
2009502066.tif 000017
【図１４】
2009502066.tif 000018
【国際調査報告】
2009502066.tif 000019
2009502066.tif 000020
2009502066.tif 000021
2009502066.tif 000022