(57)【要約】【課題】対話型コンテンツまたはマルチメディアコラボレーションを体験できる改良されたシステムおよび方法を提供する。【解決手段】通信方法、通信セッションオーガナイザ、通信セッション参加装置、製品および通信システムが開示される。一態様によれば、通信方法は、スケーラブルなメディアデータを提供すること、スケーラブルなメディアデータを複数の下位区分（４７）に編成すること、および、メディアデータとのユーザ対話中に、異なる下位区分（４７）を要求する複数の参加装置（１４）からの複数のデータ要求を提供することを含む。データ要求を提供した後、本方法は、各参加装置（１４）の受け取り側属性に従って、スケーラブルなメディアデータの要求された下位区分（４７）それぞれをスケーリングすること、および、スケーリングされた下位区分を参加装置（１４）それぞれに通信することをさらに含むことができる。【選択図】図６
2005136983.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルなメディアデータを提供し、
前記スケーラブルなメディアデータを複数の下位区分（４７）に編成し、
前記メディアデータとのユーザ対話中に、異なる前記下位区分（４７）を要求する複数の参加装置（１４）からの複数のデータ要求を提供し、
前記データ要求を提供した後、前記各参加装置（１４）の属性を受け取ることに応じて、前記スケーラブルなメディアデータの前記要求された下位区分（４７）のそれぞれをスケーリングし、
前記スケーリングされた下位区分を前記参加装置（１４）のそれぞれに通信する
ことを備える通信方法。
【請求項２】
前記データ要求に対応するランダムな下位区分（４７）にアクセスすることをさらに含み、
前記スケーリングすることは、前記アクセスされた下位区分（４７）をスケーリングすることを含む
請求項１記載の通信方法。
【請求項３】
前記下位区分の最初のものを前記参加装置（１４）に通信することをさらに含み、
前記受け取ることは、前記通信することに応答する
請求項１または２記載の通信方法。
【請求項４】
前記下位区分（４７）の最初のものは、前記参加装置（１４）により表現される初期視覚画像に対応し、
前記下位区分（４７）の最初のものを転送することは、前記各参加装置（１４）の受け取り側属性に対応した異なるデータ量の複数のデータ列を転送することを含む
請求項３記載の通信方法。
【請求項５】
前記参加装置（１４）を使用し、かつ、異なるデータ量を含む前記データ列に応答して、複数の異なる解像度で、前記初期視覚画像を表現することをさらに含む
請求項４記載の通信方法。
【請求項６】
通信セッション参加装置（１４）であって、
各ユーザのユーザ入力を受け取るように構成されたユーザインタフェース（３４）と、
スケーリングされたメディアデータを受け取るように構成された通信インタフェース（３６）と、
前記スケーリングされたメディアデータの視覚情報を前記ユーザに対して表現するように構成されたディスプレイと、
前記ユーザインタフェース（３４）、前記通信インタフェース（３６）および前記ディスプレイに結合された処理回路（３０）と
を含み、
前記処理回路（３０）は、
前記スケーリングされたメディアデータを復号化し、
前記ディスプレイを使用して前記復号化されたメディアデータの表現を制御し、
前記表現される復号化メディアデータに対応する対話コマンドを含むユーザ入力を受け取り、
前記ユーザ入力に応答してデータ要求を作成し、
前記メディアデータのソースに対する前記データ要求の通信を制御して、前記ソースからこの通信セッション参加装置（１４）へ、また前記ユーザからの対話コマンドに応答して、スケーリングされたさらなるメディアデータの通信を開始する
ように構成される
通信セッション参加装置。
【請求項７】
前記処理回路（３０）は、前記メディアデータのソースへの受け取り側属性の通信を制御するように構成され、
前記受け取られるスケーリングされたメディアデータは、前記受け取り側属性に従ってスケーリングされたメディアデータを含む
請求項６記載の通信セッション参加装置。
【請求項８】
前記受け取られるスケーリングされたメディアデータは、主題の初期視覚画像の表現を制御するように構成され、
前記対話コマンドおよびデータ要求は、前記初期視覚画像の異なるビューに対応する
請求項６または７記載の通信セッション参加装置。
【請求項９】
前記処理回路（３０）は、
前記ユーザ入力に応答してインデックスにアクセスし、
このアクセスされたインデックスのアドレス指定先の値を使用して前記データ要求を作成する
ように構成される
請求項６、７、または８記載の通信セッション参加装置。
【請求項１０】
前記アドレス指定先の値は、前記データ要求作成時に前記ソースからこの参加装置にまだ通信されていない前記メディアデータの下位区分（４７）に対応する
請求項９記載の通信セッション参加装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の態様は、通信方法、通信セッションオーガナイザ、通信セッション参加装置、製品、および通信システムに関する。
【背景技術】
【０００２】
対話型メディアセッションの人気は増えつつある。
コンピュータの処理パワーが増大し続け、通信装置の通信帯域幅が向上されたことから、対話型メディア通信の人気も増大するものと予期される。
しかし、今日まで、実質的な焦点は、対話型メディア体験に比較的少ない利点を有するメディア送出に置かれてきた。
【０００３】
例示的な対話型メディア通信セッションは、非常に大きなファイル（圧縮後であっても）を有する３Ｄグラフィックスまたは他のリッチな対話型メディアを通信し処理することを含み得る。
データ量は、リッチさに伴って指数的に増大し、インターネット上のメディアの流通および体験において、手ごわい問題を生じさせる。
【０００４】
たとえば、多くの状況では、体験を開始する前に、こういったファイルをそのままクライアントに通信することが可能ではない場合がある。
実際に、最新の標準による帯域幅の非常に広い接続であっても、こういった対話型メディアファイルに適応することができない場合がある。
この問題は、多様な能力を有する対話型メディアファイルのソースに接続するクライアントの存在により悪化する。
たとえば、クライアントの少なくともいくつかが、比較的遅い通信接続に接続している、処理能力の比較的遅いコンピュータを使用している、または、表示能力が限られたコンピュータを使用しているといった場合がある。
【非特許文献１】Debargha Mukherjee, Geraldine Kuo, Amir Said, Girodano Beretta, Sam Liu, and Shih - ta Hsiang著，「Proposals for End - To - End Digital Item Adaptation Using Structured Scalable Meta - Formats (SSM)」，２００２年１０月
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非常に大きな対話型メディアファイルの通信を実施する一方法は、同じメディアの複数のバージョンを保持し、ユーザの能力に基づいて、各クライアントに１つずつ供給するというものであった。
この方法は、メディアの多数のバージョンが使用される故に、異なるスケーラビリティタイプの考えられるすべての組み合わせがサポートされる場合に、ファイルの扱いおよびメンテナンスの点で、重大な欠点を有する。
【０００６】
本開示の少なくともいくつかの態様は、対話型コンテンツまたはマルチメディアコラボレーションを体験する改良されたシステムおよび方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の態様は、通信方法、通信セッションオーガナイザ、通信セッション参加装置、製品、および通信システムに関する。
【０００８】
一態様によれば、通信方法は、スケーラブルなメディアデータを提供すること、スケーラブルなメディアデータを複数の下位区分に編成すること、および、メディアデータとのユーザ対話中に、異なる下位区分を要求する複数の参加装置からの複数のデータ要求を提供することを含む。
データ要求を提供した後、本方法は、各参加装置の受け取り側属性に従って、スケーラブルなメディアデータの要求された下位区分それぞれをスケーリングすること、および、スケーリングされた下位区分を参加装置それぞれに通信することをさらに含むことができる。
【０００９】
別の態様によれば、通信セッションオーガナイザは、通信セッション中に複数の参加装置と通信可能に接続するように構成されたインタフェース、および、このインタフェースに接続された処理回路を備える。
処理回路は、通信セッション中に参加装置からの複数のデータ要求にアクセスし、要求に応答して、スケーラブルなメディアデータの複数の下位区分を識別し、参加装置の各受け取り側属性に従ってメディアデータの下位区分をスケーリングし、スケーリングされたメディアデータを参加装置それぞれに出力するように構成されることができる。
【００１０】
本開示の他の態様についても、以下の説明および図から明らかなように、本明細書において説明される。
【発明を実施するための最良の形態】
【００１１】
本開示の少なくともいくつかの態様は、異なる能力（たとえば、多様な通信帯域幅、処理能力、表示解像度等）を有する多様なユーザに対話型コンテンツを体験させる方法および装置に関する。
少なくとも１つの実施形態は、メディアファイル全体をユーザに通信することなく、対話型メディアセッションが開始されることを可能にする。
さらに、例示的な一実施形態によれば、メディアと対話するユーザは、低能力ユーザおよび高能力ユーザに対応するユーザごとの受け取り能力および処理能力に従って、コンテンツを受け取る。
たとえば、一実施態様では、メディアデータのスケーラブルな符号化フォーマットを利用して、最終参加装置の能力および選好に合うような適切なコード変換を可能にし、異種な対話を可能にする。
さらなる態様および実施形態についても、本明細書において説明される。
【００１２】
図１を参照すると、通信システムを使用して実施される例示的な対話型メディア通信セッションが、参照文字１０で示されている。
対話型メディアセッション１０は、通信システム内の複数の参加装置すなわちユーザ間の対話型メディアデータの通信を指す。
対話型メディアセッションの一例は、３Ｄ初期画像（たとえば、家または他の不動産の）をユーザに提供し、それから、ユーザが初期画像と対話するかまたは初期画像を移動すると、初期画像の異なるビュー（たとえば、家の側面のビュー）を提供することを含む。
例示的な対話は、画像に対するマウス入力、キーボード入力、ジョイスティック入力、または他のユーザ入力を含むことができ、ユーザ入力に応答して、新しいメディアデータがユーザに提供される。
【００１３】
図１の対話型メディアセッション１０は、コラボレーションインフラを使用するが、そのコラボレーションインフラは、その通信システム内で通信を実施するように構成されたセッションオーガナイザ１２を備える。
オーガナイザ１２は、可能な実施形態では、単一のサーバまたは複数のサーバ（たとえば、ピアツーピア構成に構成された）を含むことができる。
【００１４】
複数の参加装置１４は、図示の実施形態では、オーガナイザ１２に接続される。
例示的な参加装置１４は、計算装置を含み、パーソナルコンピュータ、可視化ワークステーション、個人情報端末（ＰＤＡ）、または、対話型メディアデータの受け取り、対話型メディアデータのユーザへの通信および対話型ユーザコマンドの処理が可能な他の装置として、具体化されることができる。
通信中、参加装置１４は、通信システムを使用してオーガナイザ１２に接続して、対話型メディアセッション１０を形成する。
一実施形態では、コラボレーションインフラの通信システムは、参加装置１４のオーガナイザ１２との接続を提供するネットワーク接続（たとえば、インターネット）、ならびに、オーガナイザ１２および参加装置１４のハードウェアおよび適切なプログラミングを含むことができる。
随時、オーガナイザ１２は、少なくとも１つの実施形態では、異なる参加装置群それぞれの間で、複数の異なる対話型メディアセッションを実施するように構成されることができる。
【００１５】
一構成では、参加装置１４は、個々にアプリケーション１６を実行して、対話型メディアセッションに参加する。
アプリケーション１６は通信モジュールを実施して、通信を確立し（たとえば、セッションを開始するまたはセッションに参加する）、受け取りデータのコード変換または復号化操作を提供することができる。
一実施形態では、アプリケーション１６は、オーガナイザ１２と参加装置１４との間の通信に、標準化されたプロトコルを提供して、シームレスにスケーラブルな方法でメディアの対話交換を提供するのみならず、ユーザがセッション１０を作成する、セッション１０に参加する、および、セッション１０を終了できるようにする。
アプリケーション１６は、編成、コード変換および特定タイプのコンテンツ閲覧を含む異なるメディアタイプによる異なる方法で、対話を提供することができる。
したがって、一実施形態では、アプリケーション１６の通信モジュールは、オーガナイザ１２への接続を提供し、それにより、参加装置１４は、コンテンツとの対話のみならず、セッション１０の開始、参加または終了を行うことができる。
【００１６】
オーガナイザ１２は、異なる通信能力、処理能力、表示能力または他の能力を有する参加装置１４と通信する一態様において、異種の対話型メディアセッションを実施するように構成される。
たとえば、異なる通信属性は、所与の対話型メディアセッション１０において広く変わりうる現在の参加装置１４の特定の実施または構成に対応できる。
所与のセッション１０において、参加装置１４は、参加装置１４に異なるデータ転送速度を提供する各ネットワーク接続の１つまたは複数に対応する異なる能力、異なる処理能力を提供する参加装置１４の異なる処理回路（たとえば、各ソフトウェアまたは他のプログラムを実行するマイクロプロセッサ）、参加装置１４の異なる表示解像度等を有することができる。
オーガナイザ１２は、異種の参加装置１４に対してスケーラブルなメディアデータの通信を提供する対話型メディアセッション１０を実施するように構成され、一実施形態では、限られた能力を有する参加装置１４は、より高い能力を有する参加装置１４が関連する通信に悪影響を及ぼさない。
【００１７】
本開示の少なくともいくつかの態様は、オーガナイザ１２によるメディアデータのスケーリング、および、スケーリングされたデータの、所与の対話型メディアセッション１０内の参加装置１４への通信を提供して、異種の通信を提供する。
たとえば、スケーラブルなメディアデータにより、異なる能力（たとえば、帯域幅、処理能力、表示解像度等）を有する参加装置１４との通信が可能になる。
スケーラブルな符号化フォーマットおよびメタフォーマットは、「Proposals for End - To - End Digital Item Adaptation Using Structured Scalable Meta - Formats (SSM)」（著者としてDebargha Mukherjee, Geraldine Kuo, Amir Said, Girodano Beretta, Sam Liu, and Shih - ta Hsiangを列挙、２００２年１０月発行）、および同時係属中の米国特許出願、名称「System, Method and Format Thereof For Scalable Encoded Media Delivery」（発明者としてDebargha Mukherjee and Amir Saidを列挙、米国特許出願第１０／１９６，５０６号、２００２年７月１５日出願、本明細書に付録Ａとして添付）に説明されている。
【００１８】
たとえば、参加装置１４は、対話型メディアセッション１０において通信する前に（たとえば、セッション作成時または参加装置１４がセッション１０に参加するときに）、または別のときに、オーガナイザ１２に各クライアントプロファイルを通信することができる。
クライアントプロファイルは、各装置１４が受け取り処理することが可能な１つまたは複数の個々のスケーラビリティレベル（たとえば、信号対雑音比（ＳＮＲ）、解像度、時間、対話機能）の１つまたは複数の最大を定義する、通信中の各参加装置１４の１つまたは複数の構成パラメータを規定することができる。
別の実施形態では、オーガナイザ１２は、各受信参加装置１４の構成パラメータを検知する。
例示的な構成パラメータとしては、メディアデータを受け取り、処理または表示する各参加装置１４の属性に対応する受け取り側属性が挙げられる。
例示的な受け取り側属性は、参加装置１４に関する通信帯域幅、処理速度または表示解像度の１つまたは複数の一意のパラメータにより規定され、または、包含することができる。
米国特許出願第１０／１９６，５０６号に記載のように、例示的な受け取り側属性はまた、アウトバウンド制約と呼ばれることもでき、制限制約（すなわち、属性測度の制限値）および最適化制約（たとえば、属性測度の要求される最小化または最大化）を含むことができる。
【００１９】
クライアントプロファイルは、スケーリング動作を実施するために、信号対雑音比（ＳＮＲ）、解像度、時間、および対話機能性等の有意な規定条件レベルを伝えることができる。
他の実施形態では、さらなるレベルが規定され、使用されることができる。
クライアントプロファイルは、これらまたは他の品質の仕様を、一実施形態では４組によりトップダウンで伝えることができる（たとえば、解像度クライアントプロファイル１は、各参加装置１４が最高解像度を受け取ることが可能であることを伝え、解像度クライアントプロファイル２は、上から２番目の解像度を受け取ることが可能であることを伝え、以下同様である）。
【００２０】
オーガナイザ１２を通してルーティングされるメディアデータは、一実施形態では、任意の入れ子順でレベルを含むことができる。
ビット列中のヘッダは、いくつのスケーラビリティレベルがあるのか、および、それらがビット列中のどこに現れるのかを指定することができる。
【００２１】
オーガナイザ１２は、各参加装置１４のクライアントプロファイルにアクセスし、参加装置１４の受け取り側属性に従って、各参加装置１４に通信されるメディアデータをスケーリングし、参加装置１４への通信のために複数のスケーリングされたデータ列を提供するように構成される。
たとえば、オーガナイザ１２は、各参加装置１４のクライアントプロファイルと、ビット列のレベルとを比較し、それに従って、各ビット列を再構成することができる。
オーガナイザ１２は、ビット列がスケーラブルなメディアフォーマットに準拠している場合、入れ子順に関わりなく再構成を実現することができる。
スケーリングについてのさらなる詳細は、番号１０／１９６，５０６号を有する米国特許出願に説明されている。
【００２２】
少なくともいくつかのさらなる態様は、セッション１０中に（たとえば、オーガナイザ１２に常駐する、または、オーガナイザ１２によりアクセス可能な）対話型メディアデータの全体未満を、いくつかまたはすべての参加装置１４に通信することによって、対話型メディアセッション１０を容易にする。
本明細書に説明するように、対話型メディアデータは、参加装置１４により生成されるユーザ入力に応答しての選択的な通信のために、下位区分によってインデックスを付けられることができる。
たとえば、一実施形態では、オーガナイザ１２は、各参加装置１４へのインデックスと同様に、初期下位区分を通信することができる。
初期下位区分は、参加装置１４が初期画像の表示に使用することができる対話型メディアデータを含むことができる。
次にユーザは、ユーザ入力を生成することにより、表示された画像と対話することができる。
たとえば、ユーザは、移動中に初期画像の主題の異なるビューを要求することができる。
ユーザ入力は、参加装置により、メディアデータのさらなる下位区分を要求するインデックスのアドレス指定先の値に、変換されることができる。
したがって、対話型メディアデータ全体の異なる部分は、対話中に参加装置１４に通信されることができる。
【００２３】
一実施態様では、初期画像は、主題（たとえば、家）の３Ｄ対話画像を含むことができる。
３Ｄ画像のインデックスは、後続の対話型メディアデータを検索するのに都合のよい任意のまたは所望のフォーマットで、定義されることができる。
一例では、主題を中心とする視角が、インデックスの各アドレス指定先の値に対応することができる。
別の例では、アドレス指定先の値は、おそらく３Ｄ画像の多次元格子の座標に対応するベクトルとして表されることができる。
別の可能な実施形態では、インデックスのアドレス指定先の値は、３Ｄ画像の内部構成要素（たとえば、家の部屋）等、主題の詳細に対応することができる。
オーガナイザ１２および参加装置１４は、任意の適したインデックス方式または空間を使用して、必要に応じてさらなる対話型メディアデータをユーザに提供することができる。
少なくともいくつかの実施形態では、さらなる対話型メディアデータは、初期対話型メディアデータに存在する情報のさらなる詳細に関するデータ、または、初期対話型メディアデータに存在しない詳細に関するデータを含むことができる。
【００２４】
個々の参加装置１４のユーザは、所望のように様々な方法で、初期メディアデータと自由に対話する、または、移動することができる、それに従って、個々の各対話中に、個々の参加装置１４のユーザは、様々なユーザ入力を生成することができる。
各参加装置１４は、対話のユーザ入力を、インデックスの各アドレス指定先の値に変換するように構成される。
その後、参加装置１４は、データ要求を介して各アドレス指定先の値をオーガナイザ１２に通信し、それにより、参加装置１４が望む、また通信されたアドレス指定先の値により示されるように、後続の対話型メディアデータの通信を実施する。
オーガナイザ１２は、受け取ったアドレス指定先の値を解釈し、データ要求に応答して、参加装置１４のそれぞれに通信する対話型メディアデータの適切なさらなる下位区分を識別するように動作する。
オーガナイザ１２は、一実施形態では、参加装置１４の各能力に従って、通信された対話型メディアデータをスケーリングすることができる。
対話型メディアデータの通信の例示的な実施態様について、さらに詳細に後述する。
【００２５】
図２を参照して、対話型メディアデータを体験する参加装置１４の例示的な構成を示す。
図示の実施形態では、個々の参加装置１４は、処理回路３０、記憶回路または装置３２、ユーザインタフェース３４および通信インタフェース３６を備える。
【００２６】
一実施形態では、処理回路３０は、所望のプログラムを実施するように構成された回路を含むことができる。
たとえば、処理回路は、たとえば、ソフトウェア命令および／またはファームウェア命令を含む実行可能命令を実行するように構成されたプロセッサまたは他の構造として、実施されることができる。
処理回路３０の他の例示的な実施形態は、ハードウェアロジック、ＰＧＡ、ＦＰＧＡ、ＡＳＩＣおよび／または他の構造を含む。
処理回路のこういった例は説明のためのものであり、他の構成も可能である。
処理回路３０は、アプリケーション１６のプログラムへのアクセス、対話型メディアデータの復号化、対話型メディアデータの各ユーザへの通信、対話を提供するユーザ入力の受け取りおよび処理、対話型メディアデータに関連するインデックス操作の実施、オーガナイザ１２に通信されるデータ要求の定式化、他の所望の動作を実行することができる。
【００２７】
記憶回路または装置３２は、実行可能命令（たとえば、ソフトウェアおよび／またはファームウェア）、データ、または他のデジタル情報等の電子データおよび／またはプログラムを記憶するように構成されることができ、プロセッサ使用可能媒体を含むことができる。
一実施形態では、例示的なプログラムは、アプリケーション１６を含む。
プロセッサ使用可能媒体は、例示的な実施形態では、処理回路を含む命令実行システムにより使用される、または関連して使用されるプログラム、データおよび／またはデジタル情報を収容、記憶または保持することが可能な任意の製品を含む。
たとえば、例示的なプロセッサ使用可能媒体は、電子、磁気、光学、電磁、赤外線または半導体媒体等の物理的な媒体のいずれも含むことができる。
プロセッサ使用可能媒体のいくつかのより具体的な例は、フロッピー（登録商標）ディスク、ジップディスク等のポータブル磁気コンピュータディスク、ハードドライブ、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、キャッシュメモリ、および／またはプログラム、データ、もしくは他のデジタル情報を記憶可能な他の構成を含むが、これらに限定されない。
【００２８】
ユーザインタフェース３４は、対話中にユーザに対話型メディアデータの内容を通信し、またユーザ入力を受け取るように構成される。
ユーザインタフェース３４は、視覚的なメディアの内容を表現するディスプレイ（たとえば、陰極線管、液晶ディスプレイ、または他の構成）およびユーザ入力を受け取る入力装置（たとえば、キーボード、マウス、または他の構成）を備えることができる。
他の実施態様も可能である。
【００２９】
通信インタフェース３６は、オーガナイザ１２等の外部装置と、参加装置との双方向通信を実施するように構成される。
通信インタフェース３６は、ネットワークインタフェースカード（ＮＩＣ）、モデム、アクセスポイント、または他の任意の適切な通信装置として、具体化されることができる。
【００３０】
図３を参照して、スケーラブルな対話型メディアデータのビット列のフォーマット４０の可能な一実施形態を示す。
対話型メディアデータは、１つまたは複数の参加装置１４、オーガナイザ１２、または他の適切な編成装置により、生成され、フォーマットされることができる。
スケーラブルな対話型メディアデータは、オーガナイザ１２内にローカルに記憶されても、または、オーガナイザ１２により遠隔記憶場所からアクセスされてもよい。
フォーマット４０は、一構成では、スケーラブルな符号化メディアデータとして非メディアタイプ固有のフォーマットを含むことができる。
一実施形態では、例示的な符号化メディアデータは、圧縮され、暗号化されることができる。
【００３１】
図示のフォーマット４０は、説明される実施形態のコンテンツ不可知メタフォーマットに従って、第１の部分４２および第２の部分４４を含む。
フォーマット４０により、１つまたは複数のスケーラビリティレベルが、ビット列に同時に存在することができ、また再構成タスクが、実際のコンテンツまたは適用された圧縮方式を知ることなく、異なるスケールおよび品質のビット列を生成できる。
すべてのメディアデータがオーガナイザ１２を通してルーティングされる一実施形態では、オーガナイザ１２は、各参加装置１４の各構成パラメータに基づいて、データの異なるサブセットを異なる参加装置１４に供給できる。
【００３２】
一実施形態では、第１の部分４２は、非メディアタイプスケーラビリティ属性および第２のデータ部分構造情報に対応し、第２の部分４４は、非メディアタイプ固有インデックス可能構造に構成された元のスケーラブルな符号化メディアデータに対応する。
より具体的には、一実施形態では、例示的な非メディアスケーラビリティ属性は、すべてのメディアタイプに共通する属性を含むことができ、またビット列のデータの処理および体験に使用されるビット列サイズ、ＳＮＲ、および処理能力を含むことができる。
スケーラビリティ属性は、メディアデータの適切なスケーリングを実施するのに使用されることができる。
一実施形態では、第１の部分４２は、第２の部分４４の非メディアタイプ固有データ構造情報も含み、また、第２の部分４４のスケーラブルメディアデータの多次元表現の次元を含む。
【００３３】
第２の部分４４は、説明する実施形態では、コンテンツ独立インデックス可能データ構造に構成されたスケーラブルメディアデータに対応する。
メディアデータは、メディアデータのコンテンツに関わりなく一般的なフォーマットに構成される。
このメディアデータは、データコンテンツの知識なしで、またメディアデータの解読または復号化なしで、コード変換動作が実行される一般的なコード変換を可能にする。
このメディアデータは、一実施形態では、単一のインフラ（たとえば、オーガナイザ１２）が複数のスケールに従ってメディアデータを送出できるようにする。
オーガナイザ１２の処理回路は、参加装置１４の能力に従って、１つまたは複数のビット切り捨て、ビット列スキップ、またはビット再配列を含むコード変換中にスケーリング動作を実施するコード変換器を備えることができる。
第１および第２の部分４２、４４を含む例示的なスケーラブルフォーマットに関するさらなる詳細は、番号１０／１９６，５０６号を有する米国特許出願に説明されている。
【００３４】
図４を参照すると、対話型メディアデータのビット列の第２の部分４４のインデックス可能という概念が、一実施形態に従って説明されている。
第２の部分４４のインデックス付加は、図示の実施形態では、受け取ったデータ要求に応答してスケーリング動作およびデータ選択動作の両方を実施することができる。
図示の実施形態では、例示的な第２の部分４４は、ヘッダ４１、目次（ＴＯＣ）４３、共通部分４５、および対話型メディアデータのセグメントを含む複数の下位区分４７を含む。
この下位区分４７は、個々に、ビット列全体と比較して、相対的に小さい。
【００３５】
ヘッダ４１は、ビット列中の所与のメディアの実際の順序を提供することができる。
たとえば、ヘッダ４１は、アドレス指定先の値と１つまたは複数の下位区分４７との相関を含むインデックスを含むことができる。
ヘッダ４１はオーガナイザ１２によりアクセス可能であり、参加装置１４からのデータ要求において受け取られるアドレス指定先の値を変換して、各参加装置１４が要求している１つまたは複数の下位区分４７を識別するために使用されることができる。
適切な下位区分４７の識別後、識別された下位区分４７の対話型メディアデータを、所望であればスケーリングし、要求側参加装置１４に通信してメディア対話を実施することができる。
【００３６】
目次４３は、ビット列中の下位区分４７の位置を含む。
たとえば、上に述べたように、要求された下位区分４７の識別後、オーガナイザ１２は、目次４３にアクセスして、ビット列中の要求されているメディアデータの正確な位置を指定し、要求されている対話型メディアデータへのアクセスを提供することができる。
【００３７】
共通部分４５のデータは、参加装置１４により、オブジェクトの各復号化および閲覧の初期化する際に使用される。
それによって参加装置１４は、オーガナイザ１２により前にコード変換された対話型メディアデータを復号化するように動作し、対話型コンテンツを表示するようにユーザインタフェース３４を制御することができる。
【００３８】
下位区分４７は、各識別子「セグメントＩＮＩＴ」、「セグメントＩＤ１」、「セグメントＩＤ２」等を有する。
一実施形態では、セグメントＩＮＩＴは、メディアの体験処理および対話を開始する際に最初にスケーリングされ、参加装置１４に通信される、上に述べた初期視覚画像のメディアデータに対応することができる。
その後、説明する例では、その他のセグメントは、各セグメントＩＤ１、ＩＤ２等により所望のセグメントを識別するアドレス指定先の値を使用して対話が発生すると、各参加装置１４により個々に要求されることができる。
したがって、セグメントＩＤは、データセットへのインデックスを含むことができ、個々の下位区分４７は、本明細書に述べるおそらく複数の入れ子レベルを有するスケーラブルな方法で、独立して表されることができる。
【００３９】
図４の例示的な実施形態は、データスケーリング動作を実施する複数の入れ子になった個々の各下位区分４７を抽出した階層またはレベル５０、５２を含む。
データは、複数の目次（ＴＯＣ）を使用して、インデックス化されている。
このＴＯＣにおいては、個々のレベル５０、５２は、各ＴＯＣによりインデックス化されている。
ＴＯＣは、ランダムアクセスを提供し、コード変換中の抜け落ちまたは切り捨ての場合に、下位区分５４、５６の識別を容易にする。
一例では、解像度、時間、ＳＮＲ、および対話機能に対応する４つの可能な入れ子レベルが、任意所望の順序で、提供されることができる。
各対話型メディアコンテンツに使用される１つまたは複数の入れ子レベルの順序は、ヘッダ４１で伝えられることができ、この順序は、メディアプロファイルと呼ばれることができる。
このメディアプロファイルにより、オーガナイザ１２は、クライアントに送信する際に、下位区分５４、５６をビット列からどのように導出するかを知ることができる。
【００４０】
第１の階層５０は、第１および第２のビット列サブセット５４を含む。
メディアデータのスケーラビリティは、サブセットをグループ化して特定の階層にスケーラビリティを提供することによって実現されることができる。
たとえば、第１のスケーラビリティは、第１のサブセット５４によってのみ提供されることができるが、一方、第２のスケーラビリティは、第１および第２のサブセット５４により提供されることができる。
さらに、個々のサブセット５４は、レベル５２のサブセット５６を使用してさらにスケーリングされることができ、さらなるレベルが提供されると、さらなるスケーリングをが可能になる。
各レベル５０、５２により実施されるスケーラビリティのタイプは、各レベル５０、５２のデータのコンテンツに対応する。
複数階層のスケーラブルなビット列の一例は、ＪＰＥＧ２０００ビット列である。
このＪＰＥＧ２０００ビット列では、最高レベル５０が、解像度スケーラビリティに対応し、個々の解像度スケーラブルサブセット内には、第２のレベルである信号対雑音比サブセットが入れ子される。
代替として、最高レベルがＳＮＲである他の画像圧縮方式もあり、このＳＮＲレイヤ内には、入れ子になった解像度レイヤがある。
米国特許出願第１０／１９６，５０６号に説明されるように、スケーリングの例示的なスケーラビリティ属性は、解像度、ＳＮＲ、時間および対話機能を含む。
他の実施形態では、さらなるスケーラビリティ属性が、スケーリングに使用されることができる。
さらに、１つまたは複数の異なるスケーラビリティ属性を使用して、所与の対話型メディアセッション１０の異なる受信参加装置１４のメディアデータの所与のデータセットをスケーリングすることができる。
【００４１】
各下位区分４７の識別後、オーガナイザ１２のコード変換器は、下位区分４７の識別されたスケーラブルメディアデータにアクセスし、要求側参加装置１４の構成パラメータに従ってデータをコード変換する。
メディアデータのコード変換は、要求側参加装置１４の通信属性に従って、メディアデータをスケーリングするように動作する。
コード変換された（すなわち、スケーリングされた）メディアデータは、オーガナイザ１２から、要求側参加装置１４に通信される。
【００４２】
一実施形態では、メディアデータは、上に述べたように、異なる要求側参加装置１４の異なるスケーラビリティ属性を使用してスケーリングされることができる。
したがって、要求側参加装置１４に通信される、スケーリングされたメディアデータは、同じ主題を示すために使用可能な異なるデータ量の複数のデジタルデータ列を含むことができる（たとえば、セグメントＩＮＩＴに対応する初期視覚画像のような解像度の異なる主題を提供する異なるコンテンツ量）。
【００４３】
スケーリングは、説明する実施形態では、要求側参加装置１４の受け取り側属性およびメディアデータのスケーラビリティ属性を含む構成パラメータを使用して実施される。
たとえば、オーガナイザ１２により実施されるコード変換器は、１つまたは複数の適切な要求側参加装置１４の各受け取り側属性にアクセスして、データを受け取り、スケーラビリティ属性と各受け取り側属性とをマッチングさせ、マッチングした属性を使用してメディアデータをスケーリングし、サブセットを使用してメディアデータの切り捨て、再配置または変更を行い、通信のための各データ列（複数可）を提供することができる。
一実施形態におけるスケーリングに関するさらなる詳細は、米国特許出願第１０／１９６，５０６号に説明されている。
他のスケーリング構成も可能である。
【００４４】
スケーリングは、対話型メディアセッション１０において、異種の参加を可能にする。
元のメディアデータは、主題の画像、映像、アニメーション等を含み得るデータを提供する。
メディアデータのスケーリングは、複数のビット列を提供し、このビット列は、参加装置１４により主題の表現および移動に使用可能な異なる量のデータコンテンツを有することができる。
【００４５】
本明細書に説明するように、一実施形態では、オーガナイザ１２から対話型メディアデータの下位区分４７にアクセスする、個々の参加装置１４により作成されるデータ要求は、対話中に提供されるユーザ入力に応答するランダムな性質のものであることができる。
オーガナイザ１２は、圧縮されたビット列のスケーリングに加えて、効率的なランダムアクセス能力を使用して、対話型メディアデータの圧縮を実施し、オーガナイザ１２が、参加装置１４の能力に基づいて、対話型メディアデータビット列を動的にコード変換できるようにすることができる。
効率的なランダムアクセス能力を有する例示的な圧縮に関しての詳細は、発明者としてDebarargha Mukherjeeを挙げ、米国特許出願第１０／６９８，８８５号を有する名称「Communications Methods, Compressed Media Data Decoding Methods, Compressed Media Data Decorders, Articles Of Manufacture, And Data Communications Systems」の米国特許出願に説明されている。
【００４６】
図５を参照して、サーバとして具現されるオーガナイザ１２の例示的な構成を示す。
図示のオーガナイザ１２は、インタフェース６０、処理回路６２および記憶装置６４を備える。
他の実施形態も可能である。
たとえば、オーガナイザ１２は、複数のサーバを備えてもよい。
【００４７】
インタフェース６０は、参加装置１４と双方向通信を実施するように構成される。
インタフェース６０の例示的な構成は、ネットワークインタフェースカード（ＮＩＣ）、アクセスポイント、または、通信を実施する他の任意の適切な装置を含む。
【００４８】
一実施形態では、処理回路６０は、所望のプログラムを実施するように構成された回路を含むことができる。
たとえば、処理回路６０は、参加装置１４の処理回路３０に関して上に述べたプロセッサまたは他の構造として実施されることができる。
プログラムは、フォーマット４０に準拠したビット列にアクセスし、ビット列の操作を提供して、異種の参加装置１４の異なる接続および能力に適したコンテンツを作成するように、処理回路６０を構成することができる。
プログラムは、インデックス操作を実施して、対話型メディアデータの要求された下位区分４７を識別し、識別された下位区分４７のメディアデータをスケーリングして、参加装置１４との通信を提供し、また他の所望の動作を提供するように、処理回路６０を構成することもできる。
【００４９】
上に述べた記憶装置３２と同様に、記憶装置６２は、プログラムを記憶するように構成されたプロセッサ使用可能媒体を含むことができる。
このプログラムにより、オーガナイザ１２は、対話型メディアデータに関する識別およびスケーリング動作の実施を含む対話型メディアセッション１０を構成し、処理する。
【００５０】
図６を参照して、一実施形態によりメディアデータとのユーザ対話を可能にする、オーガナイザ１２の処理回路６２によって実行される例示的な方法が示す。
より多くのステップ、より少ないステップ、または代替のステップを含む他の方法も可能である。
さらに、図示のステップの１つまたは複数の順序は、他の構成では異なる順序で行われてもよい。
【００５１】
ステップＳ１０において、処理回路が、対話型メディアデータのビット列にアクセスするように構成される。
アクセスすることは、オーガナイザに常駐するビット列にアクセスすること、または、参加装置の１つのような外部ソースからビット列を得ることを含むことができる。
【００５２】
ステップＳ１２において、処理回路は、各対話型メディアセッションの各参加装置のクライアントプロファイルにアクセスするように構成される。
代替として、処理回路は、セッション参加装置の能力に関する情報を検知または取得してもよい。
【００５３】
ステップＳ１４において、処理回路は、初期対話型メディアデータ（たとえば、セグメントＩＮＩＴ）をコード変換するように構成される。
対話型メディアデータは、参加装置の各構成パラメータに従って、スケーリングされることができる。
【００５４】
ステップＳ１６において、処理回路は、インデックスデータ（たとえば、ヘッダおよびＴＯＣ情報）、共通部分４５のデータ、および初期対話型メディアデータに対応するコード変換済みデータを出力するように構成される。
インデックスデータにより、参加装置は、インデックス操作を実施して、ユーザ対話中に対話型メディアデータの下位区分を要求できる。
コード変換済みデータにより、参加装置は、初期対話型メディアデータをユーザに通信して、対話型メディア体験を開始できる。
【００５５】
ステップＳ１８において、処理回路は、対話型メディアセッションの１つまたは複数の参加装置から受け取ったデータ要求にアクセスする。
データ要求は、対話型メディアデータの１つまたは複数の要求された下位区分を識別するインデックスのアドレス指定先の値を含むことができる。
【００５６】
ステップＳ２０において、処理回路は、１つまたは複数の要求された下位区分を識別し、要求側参加装置の構成パラメータに対応して、１つまたは複数の要求されている下位区分の対話型メディアデータをコード変換する。
【００５７】
ステップＳ２２において、処理回路は、コード変換されたデータの要求側参加装置への通信を制御するように動作する。
【００５８】
その後、プロセスが終了しなかった場合、処理回路はステップＳ１８に戻り、参加装置から受け取った後続のデータ要求にアクセスすることができる。
【００５９】
図７を参照して、一実施形態により、メディアデータとのユーザ対話を可能にする、参加装置１４の１つの処理回路３０により実行される例示的な方法を示す。
より多くのステップ、より少ないステップ、または代替のステップを含む他の方法も可能である。
さらに、図示のステップの１つまたは複数の順序は、他の構成では異なる順序で行われてもよい。
【００６０】
ステップＳ２８において、処理回路は、各参加装置の構成パラメータを含む各クライアントプロファイルを出力するように構成される。
参加装置は、ステップＳ２８において、初期データのデータ要求を通信して、対話型メディアセッションにおいて参加を開始することもできる。
【００６１】
ステップＳ３０およびＳ３２において、処理回路は、オーガナイザからインデックスデータおよび初期対話型メディアデータを受け取るように構成される。
【００６２】
ステップＳ３４において、処理回路は、オーガナイザから受け取った対話型メディアデータを復号化するように構成される。
【００６３】
ステップＳ３６において、処理回路は、対話型メディアデータのユーザへの通信を実施するように構成される。
たとえば、処理回路は、ユーザインタフェースを制御して、対話のための初期視覚画像を表現することができる。
【００６４】
ステップＳ３８において、処理回路は、対話中にユーザインタフェースからユーザ入力を受け取るように構成される。
【００６５】
ステップＳ４０において、処理回路は、インデックスにアクセスし、ユーザ入力をインデックスの各アドレス指定先の値に変換するように構成される。
【００６６】
ステップＳ４２において、処理回路は、１つまたは複数のデータ要求において、インデックスアドレス指定先の値を、オーガナイザに出力するように構成される。
【００６７】
その後、プロセスが終了しなかった場合、処理回路は、ステップＳ３２に戻り、ステップＳ４２において要求された後続の対話型メディアデータを受け取って処理することができる。
【００６８】
本明細書において説明された少なくとも１つの実施形態は、対話型メディアデータに関しての異種ユーザの対話を強調する。
たとえば、説明された実施形態は、高解像度対話型３Ｄコンテンツ、マルチメディアコラボレーション等の視覚化を含む用途において有用であることができる。
本開示の少なくともいくつかの態様は、対話型メディアデータのスケーリングおよび「必知事項」ベースでの対話型コンテンツの送出を提供する。
対話型メディアデータを無許可でコピーすることは、少なくとも一態様によれば、ファイル全体が送信されるわけではないため、非常に困難である。
【００６９】
さらに、オーガナイザ１２は、コンテンツから独立し、異なるタイプの対話型メディアデータにわたって、また周囲に構築された異なるアプリケーションにわたって普遍的であるように構成されることができる。
さらに、オーガナイザ１２は、対話型メディアデータが何を表しているか、または使用された圧縮および／または暗号化技術が何であるかを知らなくてもよい。
一実施形態では、オーガナイザ１２は、対話型メディアデータの個々の下位区分４７がどこで開始し終了するかを監視して、対話型メディアデータの所望部分をランダムに抽出して、参加装置１４に通信することができる。
一例では、個々の下位区分４７は、例示的な画像ベースの３Ｄメディア体験におけるスケーラブルな圧縮画像であることができ、ユーザがユーザ入力を使用して画面を移動すると、オーガナイザ１２はランダムな画像要求に応える。
【００７０】
少なくとも１つの説明された実施形態によれば、オーガナイザ１２および参加装置１４は、体験されるコンテンツにとって共通の対話型でスケーラブルなメタファイルフォーマットを理解する。
参加装置１４のアプリケーション１６は、受け取った対話型メディアデータを解釈し、復号化し、表示できるようにし、所与の対話型メディアセッション１０においてセグメント識別子によりインデックス付与されたスケーラブル通信プロトコルは、少なくとも１つの実施形態では標準化されることができる。
一実施形態は、セッション１０を開始するコンテンツの一部のみを通信し、「低」および「高」パワーユーザに対応する参加装置の能力に見合ったスケーラブル対話型メディアデータを提供することにより、対話型メディアデータに関する体験を促進かつ強調する。
説明した少なくともいくつかのプロトコルおよびアーキテクチャがコンテンツから独立し、汎用のものである限り、１つまたは複数の一般的なサーバを含むオーガナイザ１２におけるサービスをサポートすることが便利であり得る。
種類の異なる多数の対話型メディア体験アプリケーション（たとえば、ゲーム、可視化、またはコラボレーションアプリケーション）が共通のオーガナイザ１２を使用してメディアを体験することができる。
【００７１】
保護範囲は、例としてのみ与えられる開示された実施形態に限定されず、併記の特許請求の範囲によってのみ限定されるべきである。
【００７２】
［付録Ａ；米国特許出願第１０／１９６，５０６号（２００２年７月１５日出願）の内容］
［実施態様１］
符号化されたスケーラブルなメディアデータを配信する方法であって、
少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、少なくとも１つの次元を有する
メディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディア元データに対応する第２の部分とを含むフォーマットに、スケーラブルな符号化メディア元データをフォーマットし、
スケーラブルな符号化メディアの少なくとも１つのタイプのメディア宛先の受信属性に対応する情報を提供し、
前記フォーマット済のメディアデータを前記メディア宛先に配信する前にコード変換して、前記スケーラビリティ属性と前記受信属性とのマッチングに基づいて、前記メディア宛先の前記受信属性に適合するように前記フォーマット済メディアデータのスケーリング版を生成することを含む方法。
【００７３】
［実施態様２］
スケーラブルな符号化メディアデータを配信するシステムであって、
少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディア元データに対応する第２の部分とを含むフォーマットで、スケーラブルな符号化メディア元データを提供するメディア発信元と、
スケーラブルな符号化メディアの少なくとも１つのタイプのメディア宛先の受信属性に対応する情報を提供するメディア宛先と、
前記スケーラビリティ属性と前記受信属性とのマッチングに基づいて、前記フォーマット済のスケーラブルな符号化メディア元データを前記メディア宛先に配信する前にコード変換して、前記フォーマット済のスケーラブルな符号化メディア元データのスケーリング版を生成するトランスコーダと、
を備えるシステム。
【００７４】
［実施態様３］
少なくとも符号化メディア元データのメディアタイプ非固有スケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディア元データに対応する前記第２の部分とを含む、フォーマット済のスケーラブルなメディアビットストリームを受信し、
スケーラブルな符号化メディアの少なくとも１つのタイプのメディア宛先の受信属性に対応する情報を受信し、
前記スケーラビリティ属性と前記受信情報とを比較し、
該比較に応じて、前記ビットストリーム部分集合の打ち切り、ドロップ、および再配列のうちの１つを行って、前記メディア宛先に適合された前記フォーマット済のスケーラブルな符号化メディア元データのスケーリング版を前記データ構造情報を使用して生成することを含む、コード変換方法。
【００７５】
［実施態様４］
スケーラブルな符号化メディアビットストリームのフォーマットであって、
少なくとも符号化メディア元データのメディアタイプ非固有スケーラビリティ属性と第２の部分のデータ構造情報とに対応する第１の部分と、
少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列された前記スケーラブルな符号化メディアデータに対応する第２の部分と、
を含むフォーマット。
【００７６】
［発明の名称］スケーラブルな符号化メディアを配信するシステム、方法及びフォーマット
［技術分野］
【００７７】
本発明はメディアデータの配信に関し、特に、様々な受信属性を有するメディア宛先にあらゆるタイプのスケーラブルな（scalable：拡縮可能な）符号化メディアを配信するシステム、方法およびそれらのフォーマットに関する。
［背景技術］
【００７８】
今日、ユーザは、ハンドヘルドから強力なワークステーションまで多岐にわたる装置を使用して、５６Ｋｂｐｓモデムから高速１００Ｍｂ／ｓイーサネット（登録商標）に至る接続によってインターネットにアクセスする。利用可能な帯域能力、表示能力および処理能力は成長し続けているが、多様さおよび機能の広がりはいつも存在する。他方、帯域や他の要因は成長し続けているため、ユーザに配信されるメディアの豊富さも増加している。
【００７９】
このような状況においては、解像度や品質が固定されているだけの伸張コンテンツを生成する厳密なメディア表現フォーマットは、明らかに不適当である。このような圧縮方式に基づく配信システムは、コンテンツに関心を持つユーザのほんの一部にしか満足にコンテンツを配信することができない。残りのユーザは、全く何も受信することができないか、またはそれぞれのネットワーク接続および／またはアクセス装置の能力に比して低い品質および／または解像度で受信することになる。このように多様性への対応が不可能であることは、新しく豊富なメディアの成長を妨げる決定要因である。なぜなら、かかる豊富なコンテンツを提供することができるのは、全体のほんの一部であるパワーユーザのみだからである。シームレスなコンテンツの適合に適切に焦点を合わせなければ、メディアのアクセス可能性および使用可能性は常に厳しく制限されることになろう。
【００８０】
様々な能力や好みを持つユーザにメディアコンテンツを提供する既知の手法の１つは、様々な能力や好みに適した複数のバージョンのメディアを提供することである。この手法は、受信側がメディア発信側に直接接続する配信モデルではうまくいくが、他のマルチホップ多数受信者配信シナリオでは、かなりの冗長性および非効率性が導入され、帯域や記憶領域の無駄につながる。これは特に、メディア作成者が大規模な消費者ベースに対し広範な選択肢を提供したいため、種々の点で異なる多数のバージョンを維持する必要がある場合に当てはまる。
【００８１】
上記問題を克服するために、スケーラブルな圧縮フォーマットが提案された。スケーラブルな圧縮表現は、所与のユーザの計算能力および接続速度に関してマルチメディアの経験（experience）を自動的に最大化することにより、すべてのユーザに順応することができる。高速接続を有するハイエンドマシン用に書かれた豊富なメディアコンテンツを、より低速の接続を有する性能の劣るマシンに適合させることにより、上述したように別のシナリオ用の別のバージョンを作成することに伴うオーバヘッドを事実上解消することができる。さらに、現在において可能な限り高品質で作成されたコンテンツは、スケーラブルなフォーマットで表現されれば「時代を超越した」ものであり続け、その提供する経験は、マシンの能力および接続速度の向上につれて徐々に増大する。
【００８２】
スケーラブルな圧縮表現の一例は、ＪＰＥＧ２０００である。ＪＰＥＧ２０００は静止画像用のスケーラブルな標準であり、品質のスケーラビリティと解像度のスケーラビリティをＪＰＥＧ２０００圧縮データに固有のフォーマットで組み合わせ、様々な接続および装置による配信および閲覧を可能としている。しかし、フォーマットのスケーラビリティの恩恵を得るためには、ＪＰＥＧ２０００コンテンツのコード変換および異種の受信者ベースへの配信を特にサポートする社会基盤（infrastructures）を開発し展開する必要がある。
【００８３】
近年、インターネットや無線を介したストリーミング映像の配信に大きな関心が集まっている。このため、ストリーミング映像等のメディアコンテンツを異種の受信ベースへ配信するために、様々な形態のスケーラビリティを組み込んだＭＰＥＧ−Ｘ（ほとんどＭＰＥＧ−４）およびＨ．２６Ｘファミリの映像標準が開発された。しかし、インターネットによるこのタイプのスケーラブルな映像は、少数の異なるタイプの接続用に複数のバージョンを維持することに限定されている。これは、スケーラブルな映像フォーマットの伝送をサポートする完全な社会基盤が存在しないためである。
【００８４】
あらゆる社会基盤の布設は高価であり、かつ支援企業または支援共同企業体からの多額の資金協力が必要である。フォーマットの安定性を保証するために、コンテンツを表現するフォーマットを標準化することも望ましい。他方、標準化が効果を現すには数年かかり、マルチメディア業界の通常の変化のペースに対応する年月よりもはるかに長い。従来の画像、映像およびオーディオを越える新しいタイプのメディアが進化するにつれ、それぞれの表現をサポートする標準を予測することがますます困難になる。あらゆる新タイプのメディア毎にスケーラブルなフォーマットを進化させる場合であっても、コンテンツ構造の不可避の相違により、異なるタイプのメディアのスケーラブルな配信のために異なる社会基盤を使用する必要がある。それに伴う費用は、このような新しいメディアの採用やスケーラビリティ特徴のサポート可能性において非常に大きな障害となる。
【００８５】
メディアのタイプに応じて考案可能である様々なタイプのビットストリーム・スケーラビリティがある。例えば、ＳＮＲ（品質）スケーラビリティとは、含まれるビットストリームが多くなるにつれて漸進的に高くなる品質を指し、大半のタイプのメディアに適用される。解像度スケーラビリティとは、空間データサンプリングの粒度（fineness）を指し、画像、映像、３Ｄ等の視覚メディアに適用される。時間スケーラビリティとは、時間領域でのサンプリングの粒度を指し、映像および他の画像シーケンスに適用される。チャネル数およびサンプリング周波数等、オーディオに関するいくつかのタイプのスケーラビリティがある。将来、より新しく豊富であり、よりインタラクティブなタイプのメディアの進化によって、今のところ未知のより新しいタイプのスケーラビリティが生まれるであろう。スケーラブルなビットストリームは、常に単一タイプのスケーラビリティを有するわけではない。適合の選択の幅を提供するために、異なるタイプのスケーラビリティが同時に存在し得る。
【００８６】
新しく豊富なメディアでは、異なるメディア要素がしばしば一緒にバンドルされて、複合メディア体験を提供する。既知の一技術によれば、オーディオ注釈付きの画像およびある種のアニメーションは、３つのメディア要素（画像、オーディオクリップ、いくつかのアニメーションデータ）を使用してプレゼンテーションの複合体験を提供する。このような豊富な複合メディアモデルは、メディアに固有のさらに新しいタイプのスケーラビリティにつながる。これは、複合体の特定の非重要な要素が、受信側の限られた資源内の他のより重要な要素に対処するために削られることがあるためである。
［発明の開示］
［発明が解決しようとする課題］
【００８７】
本発明は、異種の受信ベースにスケーラブルな符号化メディアデータを配信するためのシステム、方法、およびこれらのフォーマットであり、配信中のメディアのタイプに非固有であり、これによってすべてのタイプの現在既知のメディアおよび将来のメディアを配信する単一の配信基盤を要求するシステム、方法、およびこれらのフォーマットを提供する。
［課題を解決するための手段］
【００８８】
符号化されたスケーラブルなメディアデータを配信するシステム、方法およびフォーマットが提供される。配信方法の第１の実施形態によれば、スケーラブルな符号化メディア元データを、第１の部分および第２の部分を含むフォーマットにフォーマット化する。第１の部分は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性と、第２の部分のデータ構造情報に対応する。第２の部分は、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能データ構造に配列されたスケーラブルな符号化メディア元データに対応する。さらに、メディア宛先によるスケーラブルな符号化メディアの受信属性に対応する情報を提供することができる。メディア宛先に配信する前に、データ構造情報を使用してフォーマット済のスケーラブルな符号化メディア元データをコード変換し、スケーラビリティ属性と受信属性のマッチングに基づいて、フォーマット済のスケーラブルな符号化メディア元データのスケーリング版を生成する。コード変換されたメディアデータは、メディア宛先の受信属性に適合する。
【００８９】
配信方法の第２の実施形態によれば、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能データ構造に配列されたスケーラブルな符号化メディア元データに対応する第２の部分とを含む、複数のビットストリーム部分集合を含むフォーマット済スケーラブルなメディアビットストリームを受信するコード変換方法が提供される。さらに、メディア宛先によるスケーラブルな符号化メディアの少なくとも１つのタイプの受信属性に対応する情報が受信される。スケーラビリティ属性および受信情報を比較し、比較に応じてビットストリームのビットストリーム部分集合の打ち切り（truncation）、ドロップ（drop）、および再配列（rearrange）のいずれかを実行し、データ構造情報を使用して、メディア宛先に適合させたフォーマット済スケーラブルな符号化メディア元データのスケーリング版を生成する。
【００９０】
符号化スケーラブルなメディアデータを配信するシステムの一実施形態は、メディア発信元、メディア宛先およびトランスコーダを備える。メディア発信元は、第１の部分および第２の部分を含むフォーマットでスケーラブルな符号化メディアデータを提供する。第１の部分は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応する。第２の部分は、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列されたスケーラブルな符号化メディア元データに対応する。メディア宛先は、メディア宛先によるスケーラブルな符号化メディアの少なくとも１つのタイプの受信属性に対応する情報を提供する。別の実施形態では、受信属性情報は、メディア宛先の好みに対応する情報を含む。トランスコーダは、フォーマット済のスケーラブルな符号化メディア元データをメディア宛先に配信する前にコード変換し、スケーラビリティ属性と受信属性とのマッチングに基づいて、データ構造情報を使用してフォーマット済スケーラブルな符号化メディア元データのスケーリング版を生成する。
【００９１】
第１の部分および第２の部分を含むスケーラブルな符号化メディアビットストリーム用フォーマットが提供される。第１の部分は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応し、第２の部分は、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能データ構造に配列されたスケーラブルな符号化メディア元データに対応する。
［発明を実施するための最良の形態］
【００９２】
一般に、本発明は、スケーラブルな符号化メディアビットストリームを配信し、またスケーラブルな符号化メディアビットストリームに対し汎用（すなわち、メディアタイプ非固有の）フォーマットを提供するシステムおよび方法である。本システム、方法およびフォーマットは、受信能力、メディア宛先の受信能力に基づいて適合された好み、並びにフォーマット済のスケーラブルな符号化メディアビットストリームのメディア固有およびメディア非固有のスケーラビリティ属性といった、様々な受信属性を有するメディア宛先にシームレスで柔軟性のある配信を提供する。本システムおよび方法は、将来進化するあらゆる新種類のスケーラブルなメディアの適合および配信をサポートするように拡張可能である。
【００９３】
スケーラブルな符号化メディアビットストリームは、グループ化されると、品質、解像度等、メディアビットストリームの特定のスケーラブル属性の様々なスケールを有するメディア表現を生成することができるビットストリームのより小さな複数の符号化部分集合で構成される符号化ビットストリームと一般に定義される。例えば、複数の符号化部分集合を含むスケーラブルな符号化ビットストリームが解像度に関連する場合、すべての符号化部分集合は、最高解像度表現を提供する。部分集合を（中間ビットストリームにおいて）ドロップすることにより、または部分集合を（ビットストリームの終わりから）打ち切る（truncate）ことにより、より低い解像度を得ることができ、部分集合を再びドロップ／打ち切ることによってさらに低い解像度を得ることができる。部分集合をドロップ／打ち切りした後、残りのビットストリーム部分集合を再びパッキングして、ドロップした部分集合の位置について調整する。一般に、部分集合をドロップ、打ち切り、および再配列する動作は、一般にコード変換演算と呼ばれる。
【００９４】
本発明によれば、スケーラブルなビットストリームが二種類以上のスケーラビリティを有することが可能なことを理解されたい。さらに、異なるタイプのスケーラビリティ（例えば、信号対雑音比（ＳＮＲ））、解像度、時間、インタラクティブ性）を異なるタイプのメディアに適用することができる。加えて、スケーラブルな符号化ビットストリームは、入れ子になった（ネストした）スケーラビリティの階層を含む。
【００９５】
スケーラブルな符号化メディアビットストリームの生成は、メディア配信の分野において既知である。例えば、ＪＰＥＧ２０００画像圧縮では、元のメディアビットストリームをウェーブレット分解して係数のブロック（サブバンドと呼ばれる）を得ることにより、スケーラブルな符号化メディアビットストリームを生成することができる。係数のサブバンドは、元のメディアビットストリームのビットプレーンごとの符号化を得るような方法でスキャンされ、各符号化ビットプレーンは複数のビットストリーム部分集合で表される。スケーラブルな符号化メディアビットストリームを生成する他の既知の技法には、映像圧縮およびオーディオ圧縮が含まれる。本発明のシステム、方法、およびフォーマットは、任意の技法によって生成される任意のスケーラブルな符号化ビットストリームに適用可能なことを理解されたい。
【００９６】
図８は、第１の部分２０および第２の部分２１を含む、本発明によるスケーラブルな符号化メディアデータのメディアタイプ非固有のフォーマットの第１の実施形態を示す。第１の部分２０は、少なくともメディアタイプ非固有のスケーラビリティ属性に対応する。メディアタイプ非固有のスケーラビリティ属性は、概して、すべてのメディアタイプに共通する属性を含む。例えば、メディアタイプ非固有のスケーラビリティ属性は、（ビットストリームのサイズに対応する）サイズ、（ビットストリームから得られるコンテンツの表示に必要とされる）ディスプレイ解像度、ＳＮＲ（ビットストリームから得られるコンテンツの圧縮されていないバージョンに対する忠実度の単位）、および（メディアの体験に必要な）処理能力を含むことができるが、これらに限定されない。一実施形態では、各属性には、属性を一意に識別するｎバイトコードが関連付けられる。複数のメディアタイプにわたって普遍的な意味を有する標準化属性に予約コードを使用することができ、将来の属性タイプコードのために他のバイトを確保することができる。属性は、すべてのメディアタイプおよび能力にわたり均一性を保持するために標準化値によって表すことができる。一実施形態では、属性は「減少」コード値または「増加」コード値で量子化することができる。第１の部分２０は、第２の部分２１のメディアタイプ非固有のデータ構造情報も含む。一実施形態では、データ構造情報は、スケーラブルな符号化メディアビットストリームの多次元表現の次元に関連する。
【００９７】
第２の部分２１は、コンテンツ独立の索引付け可能データ構造に配列されたスケーラブルな符号化メディアデータに対応する。具体的には、符号化メディアデータのコンテンツが何であれ、本発明による汎用フォーマットに配列される。符号化メディアデータをこの方法で配列すると、汎用コード変換を行うことができ、実際のメディアコンテンツを知ることなく、またメディアデータを解読または復号化することなくコード変換演算が行われるため、単一の基盤／トランスコーダで多くのタイプのメディアコンテンツを配信することが可能になる。さらに、フォーマットは、打ち切り、ビットストリーム・スキップ、および再パッキング等のコード変換演算を容易化して、実際のコンテンツまたは符号化ビットストリームに以前適用された圧縮方式を知ることなく、符号化ビットストリームのスケーリング版を生成する。さらに、コンテンツ独立の索引付け可能な入れ子フォーマットは、任意のタイプのメディアに固有ではないため、現在存在するメディアならびに将来のメディアタイプの双方に使用することができる。
【００９８】
一実施形態では、スケーラブルな符号化メディアデータは図９Ａに示すように配列され、各階層は異なるタイプのスケーラビリティに対応する。データは、複数のＴＯＣを使用して索引付け可能であり、各階層は対応するＴＯＣで索引付け可能である。別の実施形態では、第２の部分が単一のＴＯＣを使用して索引付けられる。例えば、図９Ａに示すように、ビットストリームの第１の階層は、第１のビットストリーム符号化部分集合（部分集合０）および第２のビットストリーム符号化部分集合（部分集合１）を含む。上述したように、スケーラビリティは、ビットストリームの部分集合をグループ化して特定の階層にスケーラビリティを提供することによって実現することができる。例えば、第１のスケーラビリティは部分集合０からしか得られないが、第２のスケーラビリティは部分集合０および部分集合１を組み合わせた部分集合から提供することができる。第１の階層が提供するスケーラビリティのタイプは、第１および第２の部分集合の実際のコンテンツに依存する。第１の階層の第１および第２のビットストリーム部分集合はそれぞれ、第２の階層の第１および第２のビットストリーム部分集合（部分集合０および部分集合１）にさらに分けることができる。ここでも、第２の階層の部分集合のコンテンツにより、その階層によって提供されるスケーラビリティがどのタイプであるかが決まる。第３の階層も同様に分けられる。このタイプの多層スケーラブルビットストリームの一例は、ＪＰＥＧ２０００ビットストリームである。ＪＰＥＧ２０００のプログレッシブモードの１つでは、最高の階層が解像度スケーラビリティに対応し、解像度スケーラブルな部分集合内に、信号対雑音比（ＳＮＲ）部分集合である第２の階層が入れ子される。図９Ａに示す例では、部分的には、ランダムアクセスのため、またコード変換演算中にドロップまたは打ち切る部分集合を高速に特定するために、ＴＯＣ（目次）が提供されることに留意されたい。
【００９９】
図９Ｂは、図９Ａに示す積層型の拡縮可能な符号化ビットストリームの代替表現を示す。この表現では、立方体の各次元が図９Ａの各階層に対応する立方体に配列された複数のビットストリーム部分集合Ｂ（ｘ，ｙ，ｚ）を含む。所与の属性は、次元に沿って減少または増加することができる。例えば、階層１が解像度に対応する場合、解像度はｘ次元に沿って増加する。この表現では、コード変換は、レイヤをドロップし、ＴＯＣを適宜更新することによって簡単に実施することができる。換言すれば、符号化ビットストリームのコード変換／スケーリングは、立方体の行または列を打ち切ることによって実現することができる。例えば、階層１が解像度に対応する場合、階層２はＳＮＲに対応し、階層３はインタラクティブ性に対応し、また２２と示される部分集合が打ち切られる場合、符号化ビットストリームは、ＳＮＲが増加するようにスケーリングされるが、解像度およびインタラクティブ性はスケーリングされない。一実施形態では、メディアデータの符号化および暗号化中に、因果律（causality）が保たれる。
【０１００】
メディア非固有フォーマットの第２の実施形態によれば、各伝送インスタンス中に受け渡されるメディアコンテンツはパーセル(parcel)と呼ばれる。汎用ケース中の各パーセルは、複数のメディア構成要素で構成して、複合的な体験を提供することができる。例えば、一構成要素が画像であり、次の構成要素が画像に付随するオーディオ注釈であっても良く、双方の構成要素が一緒に単一のパーセルにパッキングされ、オーディオ注釈付きで画像を閲覧する体験を提供する。各メディア構成要素は、記述を含むヘッダと共に、スケーラブルな非メディア固有フォーマットで表すことのできる符号化データユニットである。パーセルについての全体的なメディアの記述は、ヘッダ内の個々の構成要素についての記述からなる一方、全体的なパーセルデータは、個々の構成要素の（スケーラブルな）符号化データからなる。
【０１０１】
概して、メディア非固有のフォーマットの第２の実施形態によれば、各パーセルは２つの部分、すなわちパーセルヘッダとパーセルデータ（図１０Ａ）を含む。一般に、パーセルヘッダ部分は、特に、メディア構成要素の数、ならびに各構成要素の個々のヘッダを含む。パーセルデータ部分は、個々の構成要素の符号化データを含む。
【０１０２】
各メディア構成要素ヘッダのフォーマットの一実施形態を図１０Ｂに示す。ヘッダは、メディア構成要素が本発明によるメディアタイプ非固有のフォーマットをされているか否かを指定するフラグで開始する。フォーマットされていない場合、コード変換は行われず、メディアパーセル全体がそのままアウトバウンドの接続に転送される。この場合、ヘッダに構成要素記述がない。しかし、パーセルがスケーラブルであり、かつメディアタイプ非固有のフォーマットに準拠することをフラグが示す場合、ヘッダの後に構成要素記述が続く。
【０１０３】
構成要素記述は、図９Ｂに示す立方体の次元数に対応する、入れ子になったスケーラビリティ階層数Ｌを含み、その後に続けて、立方体の行数に対応する各階層ｉ中のレイヤの数を含むリストｌｉを含む。次に来るのは、一貫性リストと呼ばれるリストであり、同じタイプのパーセルにわたり一貫性を保持するために重要な階層の部分集合からなる。これについては後に詳細に述べる。
【０１０４】
一貫性リストの後には、スケーラビリティフラグ（Scalability_Flag）と呼ばれる単一ビットフラグが続き、データ部分がスケーラブルなフォーマットであるかどうか、またはビットストリームに複数の独立したバージョンがパッキングされているかどうかを記述する。換言すれば、同じメディア構成要素ヘッダを、増分スケーラブルなビットストリームおよび複数バージョンのスケーラブルなビットストリームの双方に適用することができる。一般に、増分のおよび複数バージョンスケーラブルなビットストリームについてのすべてのコード変換演算は同じである。しかし、特定の場合では、スケーラブルなビットストリームが複数の独立したバージョンを含むことを知ることによって、トランスコーダの帯域効率を増大させることが可能である。
【０１０５】
次のフィールドは、メディア構成要素に関連する属性数Ｎであり、それぞれに要求されるデータのリストが続く。一般に、属性は、属性値と呼ばれる負ではない数で定量的に表現される。予約された属性の場合、定量化（quantification）もコードと共に標準化される。例えば、サイズはＫバイトで表現することができ、ディスプレイ解像度（display_resolution）は、画素数での画面の対角幅として表現することができ、処理能力（processing_power）は、ＣＰＵ速度×プロセッサ数（CPU_speed×Number_of_processors）で表すことができ、以下同様である。予約された属性の定量化に使用される方法は、異なるタイプのメディアにわたる均一性及び能力の伝達方法が保存されるように標準化される。最も知られている属性の場合、値はレイヤに伴って減少しないかまたは増加しない。従って、より多くのレイヤがスケーラブルなメディアに追加されるにつれて、通常、属性値は単調に変化する。
【０１０６】
各属性についてのデータは最初に、この属性を識別する一意の属性コード（Attribute_code）フィールドを含む。一実施形態では、属性コードは２つのフィールド、すなわち属性ＩＤ（Attribute_ID）および属性結合（Attribute_combination）からなる。属性ＩＤは一意の識別子であり、属性結合は、属性値が、同じ属性を有する別のメディア構成要素と組み合わされる場合にどのように変化するかを記述するフィールドである。考えられる値は、加算、最大値、最小値等である。例えば、サイズは常に組み合わせの際に加算であるが、ディスプレイ解像度は、組み合わせ後の個々の構成要素の最大値である。すなわち、２つ以上のメディア構成要素が組み合わせられる場合、必要なサイズは、すべてに必要なサイズの和である。一方、必要なディスプレイ解像度は、すべての中で最大のものである。全体的に、一意の属性コードは属性を識別するだけでなく、別の構成要素と組み合わせられる場合の挙動も定義する。
【０１０７】
次にフィールドは属性単調タイプ（Attribute_Monotone_Type）であり、レイヤの増加に伴って属性値がどのように変化するかを示す。考えられるタイプは、レイヤ数に伴う単調非減少、単調非増加、非単調である。
【０１０８】
属性データ中の次のフィールドは参照属性値である。これは、属性の数値参照値であり、後に続く分布値と乗算されると、各種レイヤドロップオプションに対する属性値を与える。
【０１０９】
参照属性値フィールドの後にはレイヤ／階層上分布フィールドが続き、これは、レイヤがドロップされる場合に属性値がどのように変化するかについての指定である。この指定は、ランダムベクトルの累積分布との並行性のために分布と呼ばれる。指定される分布は、正確または近似であることができる。
【０１１０】
一実施形態では、正確な分布は多次元の累積分布と同様である。例として、Ｌ個の入れ子になった階層があり、ｉ番目の階層中にｌｉ個のレイヤがある場合、分布フィールドは、ｌ０×ｌ１×．．．×ｌＬ−１のサイズのＬ次元行列である。但し、Ｃ（ｊ０，ｊ１，．．．，ｊＬ−１）と示される（ｊ０，ｊ１，．．．，ｊＬ−１）番目の要素（ｊ０＝０，１，．．．，ｌ０−１；ｊ１＝０，１，．．．，ｌ1−１；ｊｉ＝０，１，．．．，ｌ１−１；．．．；ｊＬ−１＝０，１，．．．，ｌＬ−１−１）は、最大（ｊ０，ｊ１，．．．，ｊＬ−１）レイヤのみが送信される場合、構成要素の属性値を得るために、参照属性値の乗数を指定する数である。オプションの空の乗数Ｃψは、構成要素全体がドロップされる場合、すなわちレイヤがまったく送信されない場合の、構成要素の属性値を得るために、参照属性値の乗数を指定する。デフォルトの空の乗数は０である。従って、送信する必要のある乗数の総数は、１＋ｌ０×ｌ１×．．．×ｌＬ−１である。最後の乗数Ｃ（ｌ０−１，ｌ１−１，．．．，ｌＬ−１−１）で参照属性値（Reference_Attribute_value）を乗算すると、完全属性値、すなわちいずれのレイヤもドロップせずに伝送された場合にメディアが有することになる属性値が得られることに注意されたい。また、単調非減少タイプの属性について、レイヤがドロップされない完全メディアの属性値に参照属性値が等しい、すなわちＣ（ｌ０−１，ｌ１−１，．．．，ｌＬ−１−１）＝１の場合、乗数Ｃ（ｊ０，ｊ１，．．．，ｊＬ−１）は、多次元離散ランダムベクトルの累積分布に類似する。
【０１１１】
ＪＰＥＧ２０００ＲＬＣＰプログレッシブモードの最初の２つの階層についての例示的な実施形態では、サイズおよびディスプレイ解像度の属性分布の仕様は、図１０Ｃおよび図１０Ｄのようになる。双方とも単調非減少である。ここでは、３つのＳＮＲスケーラブルなレイヤをそれぞれ持つ入れ子された４つの空間スケーラビリティレイヤがある。図１０Ｄでは、ディスプレイ解像度属性がＳＮＲスケーラブルレイヤとともには変化しないことに注意されたい。コード変換の結果、ＳＮＲレイヤおよび２つの空間レイヤがドロップされる場合、図１０Ｃおよび図１０Ｄにおいて影付きで示されるコード変換ビットストリームのサイズ属性は参照サイズ値の０．１８倍であり、ディスプレイ解像度属性は参照ディスプレイ解像度値の０．２５倍である。
【０１１２】
一実施形態において、累積分布は、１つまたは複数のより低い次元の周辺分布の積を使用して正確に、または近似的に指定される。この場合、周辺分布の積結合を利用して要素Ｃ（ｊ０，ｊ１，．．．，ｊＬ−１）が近似的にＣ＾（ｊ０，ｊ１，．．．，ｊＬ−１）として得られる。すなわち、仕様は、Ｌ次元を一緒にカバーするＰ低次元累積分布Ｃｉ（．）を含む。すなわち、Ｃ＾（ｊ０，ｊ１，．．．，ｊＬ−１）＝Ｃ０（）×Ｃ１（）×．．．×ＣＰ−１（）である。空部分Ｃψが別個に送信される。
【０１１３】
分布が正確であろうと近似であろうと、分布記述はまず空部分Ｃψを含み、その後ろに指定された積分布の数を示す数Ｐが続き、Ｌ階層毎に１つずつ、その後にどの階層がどの分布にマッピングされるかを示すＬ個のＰ進数（P-ary）の要素のリストが続く。これに続き、Ｐ分布の実際の仕様が順番に続く。
【０１１４】
ＪＰＥＧ２０００についての例示的な一実施形態では、２つの一次元周辺および生成された最終的な近似分布を使用する近似的仕様を、図１０Ｅおよび図１０Ｆに示すように現すことができる。図１０Ｆに示すように、ディスプレイ解像度は、近似手法を使用して正確に表現され、サイズは近似的にのみ表現される。
【０１１５】
図１１Ａは、構成要素が依存する様式を定義する構成要素依存性行列Ｄを有するメディアタイプ非固有フォーマットの別の実施形態を示す。特に、構成要素は、コード変換中に除外しても、またしなくてもよい。メディア中の特定の構成要素は、最低のスケーラブルレイヤＢ（０，０）にすぎない場合であっても、コード変換後に含めなければならず、また特定の他の構成要素は完全にドロップすることができる。さらに、メディアに応じて、一構成要素が包含または除外される場合、特定の他の構成要素も包含または除外しなければならない。構成要素レベルでのこの情報はすべて、構成要素依存性行列に関して伝達される。
【０１１６】
図１１Ｂは、行列Ｄの例を示す。一実施形態では、Ｍ個の構成要素がメディアパーセルにある場合、構成要素依存規則は、Ｍ×Ｍ行列Ｄに関して指定される。対角要素ｄｉｉは二進数であることができ、ｉ番目の構成要素を、コード変換後に最低レイヤにすぎない場合であっても包含しなければならないかどうかを指定することができる。ｄｉｉ＝１は、ｉ番目の構成要素を包含しなければならないことを示し、ｄｉｉ＝０は、ｉ番目の構成要素を必要であればドロップし得ることを示す。非対角要素ｄｉｊ（ｉ≠ｊ）は５進数（5-ary）であり、ｉ番目の構成要素が包含または除外される場合に、ｊ番目の構成要素を包含しなければならないか、それとも除外しなければならないかを指定する。ｄｉｊ＝０は、ｉ番目の構成要素とｊ番目の構成要素との間に依存性がないことを示し、ｄｉｊ＝１は、ｉ番目の構成要素が包含される場合、ｊ番目の構成要素も包含しなければならないことを示し、ｄｉｊ＝２は、ｉ番目の構成要素が包含される場合、ｊ番目の構成要素を除外しなければならないことを示し、ｄｉｊ＝３は、ｉ番目の構成要素が除外される場合、ｊ番目の構成要素を包含しなければならないことを示し、ｄｉｊ＝４は、ｉ番目の構成要素が除外される場合、ｊ番目の構成要素も除外しなければならないことを示す。
【０１１７】
図１１Ａは、タイプフィールドの値によって定義される３つのタイプのうちの１つをとることができるメディア記述タイプ（ＴＹＰＥ）フィールドも示す。タイプ＝Ｉ（統合）は、メディア記述およびデータと統合されたパーセルを指す。図１２Ａは、タイプ＝Ｉフォーマットを示す。図１２Ｂは、記述がなくデータのみのパーセルを示すタイプ＝Ｄ（データのみ）フォーマットを示す。図１２Ｃは、記述のみを有しデータがないパーセルを指すタイプ＝Ｈ（ヘッダのみ）フォーマットを示す。
【０１１８】
署名フィールド（図１２Ａ〜図１２ＣのＳＩＧ．）は、パーセルクラス（タイプ）を一意に識別し、タイプフィールドの後に続く。トランスコーダは、将来の参照のために、その署名によって索引付けされたすべてのヘッダ情報ならびにパーセルについて行われたレイヤドロップ判断を内部メモリに格納する。署名がトランスコーダに登録されると、タイプＤパーセルを送信することができる。この場合、パーセル中の署名に対応するメディア記述（ヘッダ情報）が、トランスコーダの内部メモリにおいて検索される。各署名毎に格納される記述および判断情報は、同じ署名（クラス）を有する新しいパーセルがルーティングされる都度、更新される。タイプＩおよびＨパーセルの場合、現在のパーセル中の新しいメディア記述で、トランスコーダの内部に格納されている記述が置き換えられ、タイプＩおよびＤパーセルの場合、現在のパーセルについてなされたコード変換判断で、そのクラスについてトランスコーダの内部に格納されている判断が置き換えられる。格納されている情報により、タイプＤパーセルの使用が可能になるとともに、後述するコード変換の一貫性の維持が可能になる。
【０１１９】
ヘッダデータを有するタイプＩおよびＨパーセルの場合、パーセルヘッダ中の署名フィールドの後にメディア構成要素数の仕様が続き、その後に構成要素依存性と呼ばれる構成要素についての依存性データが続き、その後に図１０Ｂに示すフォーマット中の個々のメディア構成要素ヘッダのリストが続く。タイプＩパーセルの場合、このパーセルヘッダの後に、図９Ａのメタビットストリームフォーマット中の構成要素それぞれについての実際の符号化スケーラブルデータのリストが続く。タイプＨパーセルの場合、パーセルはヘッダの末尾で終了する。タイプＤパーセルの場合、ヘッダがなく、図９Ａのフォーマット中のスケーラブルデータ構成要素それぞれのリストのみを含む。
【０１２０】
個々の構成要素の属性およびそれぞれの値が与えられると、パーセル全体の属性値を得ることができることに留意されたい。パーセル全体の属性リストは、その構成要素すべてについて指定されたすべての属性を一緒に結合したものを含む。さらに、同じ属性が１つまたは複数の構成要素で生じる場合、属性コードの属性結合フィールド（図１０Ｂの「結合（ＣＯＭＢＩＮＥ）」フィールド）において定義される結合タイプにより、全体値が決まる。例えば、属性結合＝加算の場合、全体属性値は個々の構成要素の属性値の和であり、属性結合＝最大の場合、全体属性値は個々の構成要素属性値のうちの最大のものである。コード変換されたパーセルの全体属性値は、アウトバウンド制約によって科されたものを満足させるために、どの構成要素からのどのレイヤをドロップするかを判断するコード変換演算において使用される。
【０１２１】
図１３は、本発明によるスケーラブルな符号化メディアデータを配信する方法の第１の実施形態を示す。本実施形態によれば、スケーラブルな符号化メディア元データが、図１に示す第１および第２の部分を含むフォーマットにフォーマットされる。具体的には、メディアデータは、非メディアタイプスケーラビリティ属性および第２の部分のデータ構造情報に対応する第１の部分と、メディアタイプ非固有の索引付け可能データ構造（図９Ａおよび図９Ｂ）に配列されたスケーラブルな符号化メディア元データに対応する第２の部分を含むようにフォーマットされる（１６０）。さらに、任意のタイプのスケーラブルな符号化メディアのメディア宛先の受信属性に対応する情報が提供される（１６１）。次いで、メディア宛先に配信される前に、フォーマット済スケーラブルな符号化メディア元データが、スケーラビリティ属性と受信属性とのマッチングに基づいてコード変換され、フォーマット済スケーラブルな符号化メディア元データのスケーリング版を生成してメディア宛先の受信属性に適合させる（１６２）。
【０１２２】
受信する宛先および任意の中間リンクの受信属性（アウトバウンド制約とも呼ばれる）は、トランスコーダに明確に伝達できるように標準化され（本発明のメディアタイプ非固有フォーマット内に含められるスケーラビリティ属性と同様に）、スケーラビリティ属性と受信属性との比較が可能になることを理解されたい。一実施形態では、受信属性の指定は、属性の測度（measure）と呼ばれる定義可能な多変量関数に対する制約に基づく。定義可能な測度は本質的に、属性値の単純な一変量関数の積を線形結合したものである。多変量関数の一例によれば、以下が定義される。すなわち、（ｉ）組み合わせ中の積項の数Ｎ、（ｉｉ）各積項中の要素の数ｎｉ、（ｉｉｉ）各積項中の属性ａｉｊの属性コード、（ｉｖ）属性値に対する特定の単純一変量関数の関数コードｆｉｊ（．）、および（ｖ）線形結合の乗数λｉである。関数の定義パラメータが与えられると、測度を数１に示すように表現することができる。
【０１２３】
【数１】
2005136983.tif 000003
【０１２４】
式中、ｆｉｊ（ｘ）は、標準仕様に含めるべきものに対応するコードである、ｘ、ｘ２、ｘ−１、ｌｏｇ（ｘ）、ｅｘ等のような単純一変量関数である。次に、上記定義した測度に対して制約が課される。制約は以下の２つのタイプのものであることができる。
【０１２５】
限度制約（limitconstraints）
アウトバウンド制約は、限度制約と呼ばれる属性測度についての特定の限度値からなることが最も多い。これら制約は、測度の受信宛先の最大および／または最小サポート可能値として指定される。最大および最小の双方が属性測度について指定される場合、そのサポート可能値の範囲がある。例えば、限度制約の例は、ｓｉｚｅ／ｌａｔｅｎｃｙ＜３００ＫＢ／ｓである。ここで、ｓｉｚｅは属性であるが、１／ｌａｔｅｎｃｙは乗数としてアウトバウンド制約において指定される。全体的に、これは、受信宛先による受信メディアに対する帯域制限を示す。別の例は、ディスプレイ解像度＜８００対角画素である。
【０１２６】
最適化制約（optimizationconstraints）
要求される属性測度の最小化または最大化に関して制約を指定することも可能である。この場合、記述は、望まれているのが測度の最小化であるか、それとも最大化であるかで構成される。かかる制約の最も重要な例は、ｍｅａｎ＿ｓｑｕａｒｅｄ＿ｅｒｒｏｒ＋λ．ｓｉｚｅのような測度が最小化されるレート歪み最適化において生じる。ここで、サイズ属性はレート（Ｒ）に対応し、平均二乗誤差属性（mean_squared_error）は歪み（Ｄ）に対応する。
【０１２７】
一般に、コード変換（図１３の１６２）は、スケーラビリティ属性と受信属性との比較に応じて、ビットストリーム部分集合の単純な打ち切り、ビットストリームの再パッキングおよびＴＯＣの適宜更新として実施することができ、また、スケーラブルな符号化メディアデータをメディアタイプ非固有のデータ構造に配列することにより、コード変換のためにコンテンツを復号化または解読する必要がないことに注意されたい。部分集合は、各階層（図９Ａ）の外側の端からドロップされる。図９Ｂに示す代替の表現を参照すると、外側の行および列がドロップされる。
【０１２８】
一実施形態では、コード変換は図１４に示す方法に従って行われる。図示のように、上述した第１および第２の部分を含むフォーマットでメディアデータを受信し（７０）、受信属性を受信する（７１）。スケーラビリティ属性と受信属性とを比較し（７２）、比較に応じて、ビットストリーム部分集合の打ち切り、ドロップ、および再パッキングのうちの１つを行い、メディア宛先に適合したフォーマット済スケーラブル符号化メディア元データのスケーリング版を生成する。
【０１２９】
代替の実施形態では、各受信属性測度を、フォーマット済メディアデータの第１の部分（例えば、メディア構成要素記述）と比較して、対応するスケーラビリティ属性があるかどうかを調べる。属性の１つがどのメディア構成要素の記述にもない場合、この属性を使用してのコード変換は不可能なため、受信属性測度を無効として単に破棄する。
【０１３０】
限度制約で指定される各有効な受信属性測度（すなわち、フォーマット済メディアデータの第１の部分内に、一致するスケーラビリティ属性がある）毎に、全体パケットの完全測度値を限度制約と比較して、限度制約の範囲内にあるかどうかを調べる。フォーマット済メディアデータの完全測度値は、フォーマット済メディアデータの完全属性値から導出され、フォーマット済メディアデータは、属性コード（図１０Ｂ）の属性結合タイプフィールドを使用してメディア構成要素の属性を組み合わせることによって得られる。完全測度値がアウトバウンド限度制約の範囲を超えない場合、コード変換を行わず、フォーマット済メディアデータを転送または送信する。完全測度のうちの少なくとも１つが限度制約の範囲外にある場合、１つまたは複数のメディア構成要素から部分集合（すなわち、図９Ｂに示すように外側の行または列）を打ち切る、除去する、また再パッキングすることにより、コード変換を行う。
【０１３１】
どの構成要素からどの行または列をドロップするかの判断は、単純な手法から複雑な最適化を含む手法に及ぶ様々な方法で実施できることを理解されたい。例えば、構成要素ヘッダに含められる属性単調タイプフィールドにより、属性が単調（非減少または非増加）であることが示される場合、行または列をドロップする単純な手法を行うことができる。代替的に、どの部分集合をドロップするかを判断するために、構成要素間に複雑な関係を作ることができる。
【０１３２】
受信属性内の最適化制約が指定される場合、その優先度は限度制約よりも低い。限度制約に違反しない選択肢の中から、トランスコーダは、測度値を最大化するかまたは最小化するものを選択する。これは、レート歪み基準（すなわち、従来のＤ＋λＲ）に基づいて最適なレイヤを選択する場合、またはユーザが他の属性ではなく１つの属性を選ぶ相対的な好みに基づいて最適なレイヤを選択する場合に特に有益でありうる。
【０１３３】
一実施形態では、どの構成要素からどの部分集合をドロップするかについて判断がなされると、トランスコーダは、コード変換したメディアデータを送出する前に、ビットストリーム中の部分集合をドロップし、適当なＴＯＣを更新し、ドロップした部分集合に基づいて属性分布行列を打ち切る。データが複数バージョンタイプのものであり、トランスコーダが受信宛先に到達する前の連鎖の中で最後である場合、コード変換演算は、所望のアトム（atom）のみを抽出し、残りを破棄することを含む。
【０１３４】
複数のパケットが同じ受信宛先に向けられる場合、メディア宛先を各パケットに含め、トランスコーダがレイヤを適宜ドロップするものと期待することは実用的ではないことがある。例えば、消費者が１つのプレゼンテーションスライドを次のスライドとは異なる解像度で受信した場合、メディア体験は減少する。従って、代替の実施形態によれば、通常同じタイプのパケットのクラスに共通のメディア記述を使用する。特に、コード変換中、識別署名（図１１ＡのＳＩＧ．フィールド）により索引付けられた登録クラスについて、メディア記述データならびにコード変換決定が格納される。クラスについての記述データを含むフォーマット済メディアデータを初めて受信する（図１２Ａ〜図１２ＣのタイプＩまたはタイプＨパケット）場合、所与の署名に対応するエントリがバッファに作成される。所与の署名がメモリにすでに存在する場合には上書きされる。次に、同じクラスに属するタイプＤパケットが送信される場合、メディア記述の代わりに署名のみを使用して、記述がチェックされ、レイヤドロップ判断が行われ、新しい判断がそのクラスのメモリに格納される。タイプＨパケットが送信される場合、クラスについて格納されている記述が単純に更新される。タイプＩパケットが送信される場合、まず、所与の署名に対応するメモリ中のパケット記述が更新され、次に、新しい記述子を使用してレイヤドロップ判断が行われ、最後に、新しい判断がクラスのメモリに格納される。タイプＤおよびタイプＩパケットのクラスの場合、判断が将来の一貫性のために格納される。
【０１３５】
一貫性とは、各構成要素のレイヤドロッププロファイルが、構成要素ヘッダ（図１０Ｂ）の一貫性リストに示される階層のリストに対して１つのパケットから別のパケットまでに変化しないままであるような制約のことをいう。一実施形態では、一貫性リストは、すべての階層の部分集合を含む。構成要素の一貫した階層の場合、ドロップされる部分集合の数は、クラス用のメモリに格納された、前のパケットについて行われた判断と同じである。これは、部分集合ドロップ判断機構が従うことができる追加の制約である。コード変換の判断段階では、クラスについて現在格納されている一貫性リスト中の階層が、クラスについて予め格納された判断と同じに維持される。従って、タイプＩパケットの場合、上述した演算の順序に基づき、判断段階において、新しい一貫性リストを古いリストの代わりに使用する。これは、たとえ以前のフォーマット済メディアデータの判断が参照として使用されるとしても、判断がなされる前に記述が更新されるためである。
【０１３６】
一貫性機構は、同じクラスに属するメディアデータを配信する際の一貫性を保証する一方で、一貫性リストに含まれてない階層のレイヤドロップにおける変更を許可することにより、同じタイプのフォーマット済メディアデータについての記述の変更および（帯域等の）受信属性の変更に基づいた適合を可能とする。
【０１３７】
上述した方法の代替の実施形態によれば、各署名は、使用されない結果ドロップされるまで記憶ユニットに残る。一実施形態では、循環バッファにより最近使用された署名の順序付きリストが維持される。特定の署名がしばらくの間使用されなかった場合、その署名は最終的に新しい署名で置き換えられることができる。
【０１３８】
図１５は、メディア発信元８０、トランスコーダ８１、およびメディア宛先８２を含むスケーラブルな符号化メディアデータを配信する本発明のシステムの第１の実施形態を示す。メディア発信元８０は、少なくとも符号化メディア元データのメディアタイプ非固有のスケーラビリティ属性および第２の部分のデータ構造情報に対応する第１の部分と、少なくとも１つの次元を有するメディアタイプ非固有の索引付け可能なデータ構造に配列されたスケーラブルな符号化メディア元データに対応する第２の部分とを含むフォーマットでスケーラブルな符号化メディアデータ８０Ａを提供する。メディア宛先８２は、少なくとも１つのタイプのスケーラブルな符号化メディアのメディア宛先の受信属性８２Ａに対応する情報を提供する。トランスコーダ８１は、フォーマット済のスケーラブルな符号化メディア元データを、メディア宛先８２に配信する前に、スケーラビリティ属性と受信属性とのマッチングに基づいてコード変換し、フォーマット済のスケーラブルな符号化メディア元データのスケーリング版８１Ａを生成する。
【０１３９】
一般に、トランスコーダはメディアに直接接続することができ、この場合、メディア宛先は受信属性をトランスコーダに直接提供（または、トランスコーダが受信属性を検出）するため、トランスコーダがフォーマット済データのスケーリング版を提供することが可能になる。代替的に、トランスコーダは、すべての下流のメディア宛先の集積能力を受信または検出することができる。この場合、スケーラブルな符号化メディアデータは、それぞれの集積能力に基づいてメディア宛先に配信される。例えば、図１６は、本発明に従ってフォーマット済メディアデータに対してコード変換をそれぞれ行い、下流のメディア宛先の受信属性（白の矢印）の集積受信属性に依存する複数のトランスコーダを含むネットワークを示す。トランスコーダ９０および９１によって生成されるフォーマット済メディアデータの単一ビットストリームは、受信宛先９３および９４の双方の受信属性に適合したフォーマット済メディアデータを提供し、トランスコーダ９２は、受信宛先９３および９４のうちの一方の能力にそれぞれ適合した個々のフォーマット済メディアデータビットストリームを生成することに注意されたい。
【０１４０】
一実施形態では、トランスコーダは、メディアサーバ、中流にあるルータ、またはエッジサーバのうちのいずれか１つで具現することができ、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせで実施することができる。
【０１４１】
図１７は、フォーマット済メディアデータ１００Ａおよびメディア宛先受信属性１００Ｂを受信し、フォーマット済メディアデータ１００Ｃのスケーリング版を生成するトランスコーダ１００の一実施形態を示す。トランスコーダは、フォーマット済メディアデータの第１の部分２０（図８）を受信して構文解析する第１のパーサ１０１を備える。トランスコーダは、メディア宛先受信属性１００Ｂを受信して構文解析する第２のパーサ１０２をさらに備える。パーサ１０１および１０２はそれぞれ、所望の属性データおよび情報を構文解析して、オプティマイザ（optimizer）／判定器１０３に提供する。トランスコーダ１００は、第１の部分のサブトランスコーダ１０４および第２の部分のサブトランスコーダ１０５をさらに含む。オプティマイザ／判定器１０３は、双方のサブトランスコーダに制御を与え、トランスコーダにフォーマット済メディアデータの第１および第２の部分それぞれに対していずれかのコード変換（すなわち、ビットストリーム部分集合の打ち切り、除去、再パッキング）を行い、第１および第２の部分それぞれのスケーリング版を含む、スケーリングしたフォーマット済メディアデータ１００Ｃを生成する。
【０１４２】
このように、メディアタイプおよびコンテンツタイプから独立しているため、現在のすべてのタイプのメディアおよびあらゆる将来のメディアに対して普遍的な配信システム、方法、およびフォーマットを提供する、スケーラブルな符号化メディアデータを配信するシステム、方法、およびフォーマットについて記載した。
【０１４３】
以上の説明では、本発明の完全に理解するために多くの具体的な詳細について述べた。しかし、本発明の実施にこれら具体的な詳細を使用する必要がないことは当業者には明らかであろう。さらに、例として説明した特定の実施形態は、限定とみなすべきではないことを理解されたい。実施形態の詳細を参照したことは、特許請求の範囲を制限する意図ではない。
【図面の簡単な説明】
【０１４４】
【図１】一実施形態による例示的な対話型メディアセッションの説明に役立つ図である。
【図２】一実施形態による参加装置の機能ブロック図である。
【図３】一実施形態によるビット列のスケーラブルなメディアデータの説明に役立つ図である。
【図４】一実施形態によるスケーラブルな符号化メディアデータの入れ子状になった階層の説明に役立つ図である。
【図５】一実施形態によるオーガナイザのブロック図である。
【図６】図６は、一実施形態による対話型メディアセッションのオーガナイザの動作の例示的な方法を示すフローチャートである。
【図７】図７は、一実施形態による対話型メディアセッションの参加装置の動作の例示的な方法を示すフローチャートである。
【図８】スケーラブルなメディアデータのメディアタイプ非固有のフォーマットの第１の実施形態を示す図である。
【図９Ａ】多層スケーラビリティを有するメディアタイプ非固有のデータ構造にフォーマットされたメディアデータの一実施形態を示す図である。
【図９Ｂ】図９Ａに示す表現に対応するスケーラブルな符号化メディアデータの代替的な表現を示す図である。
【図１０Ａ】パーセル構成要素およびパーセルデータ情報を含むスケーラブルなメディアデータのメディアタイプ非固有フォーマットの第２の実施形態を示す図である。
【図１０Ｂ】スケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される構成要素ヘッダの一実施形態を示す図である。
【図１０Ｃ】スケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図１０Ｄ】スケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図１０Ｅ】スケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図１０Ｆ】スケーラブルなメディアデータのメディアタイプ非固有のフォーマット内に採用される属性分布仕様の例を示す図である。
【図１１Ａ】構成要素が依存する様式を定義する構成要素依存性行列Ｄを有するメディアタイプ非固有のフォーマットの第３の実施形態を示す図である。
【図１１Ｂ】依存性行列Ｄの一例を示す図である。
【図１２Ａ】異なるタイプフィールドを有するメディアタイプ非固有のフォーマットを示す図である。
【図１２Ｂ】異なるタイプフィールドを有するメディアタイプ非固有のフォーマットを示す図である。
【図１２Ｃ】異なるタイプフィールドを有するメディアタイプ非固有のフォーマットを示す図である。
【図１３】スケーラブルな符号化メディアを配信する方法の第１の実施形態を示す図である。
【図１４】コード変換方法の第１の実施形態を示す図である。
【図１５】スケーラブルな符号化メディアを配信するシステムの第１の実施形態を示す図である。
【図１６】システムおよび方法を実施する構造の一例を示す図である。
【図１７】トランスコーダの第１の実施形態を示す図である。
【符号の説明】
【０１４５】
１０・・・対話型メディア通信セッション
１２・・・オーガナイザ
１４・・・参加装置
１６・・・アプリケーション
３０・・・マイクロプロセッサ
３２・・・記憶措置
３４・・・ユーザインタフェース
３６・・・通信インタフェース
４０・・・フォーマット
４１・・・ヘッダ
４２・・・スケーラビリティ属性およびデータ構造
４３・・・目次（ＴＯＣ）
４４・・・スケーラブル符号化メディアデータ
４５・・・共通部分
４７・・・下位区分
５０・・・レベル
５２・・・レベル
５４・・・レベル１のサブセット
５６・・・レベル２のサブセット
６０・・・インタフェース
６２処理回路
６４記憶装置
【図１】
2005136983.tif 000004
【図２】
2005136983.tif 000005
【図３】
2005136983.tif 000006
【図４】
2005136983.tif 000007
【図５】
2005136983.tif 000008
【図６】
2005136983.tif 000009
【図７】
2005136983.tif 000010
【図８】
2005136983.tif 000011
【図９Ａ】
2005136983.tif 000012
【図９Ｂ】
2005136983.tif 000013
【図１０Ａ】
2005136983.tif 000014
【図１０Ｂ】
2005136983.tif 000015
【図１０Ｃ】
2005136983.tif 000016
【図１０Ｄ】
2005136983.tif 000017
【図１０Ｅ】
2005136983.tif 000018
【図１０Ｆ】
2005136983.tif 000019
【図１１Ａ】
2005136983.tif 000020
【図１１Ｂ】
2005136983.tif 000021
【図１２Ａ】
2005136983.tif 000022
【図１２Ｂ】
2005136983.tif 000023
【図１２Ｃ】
2005136983.tif 000024
【図１３】
2005136983.tif 000025
【図１４】
2005136983.tif 000026
【図１５】
2005136983.tif 000027
【図１６】
2005136983.tif 000028
【図１７】
2005136983.tif 000029