(57)【要約】異なる符号化特性を有するレイヤーを含むように、スケーラブルデータストリームを符号化、復号化、格納、および伝送するための方法および装置。前記方法は、スケーラブルデータストリームのうちの１つ以上のレイヤーを生成するステップであって、前記符号化特性が、ファイングラニュラリティスケーラビリティ情報、関心領域（ROI）スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのうちの少なくとも１つを含むステップと、前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするステップと、を含む方法である。また、スケーラブルデータストリームを符号化、復号化、格納、および伝送するための方法であって、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーが、ファイングラニュラリティスケーラビリティ情報、関心領域（ROI）スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体のものとは異なる場合があり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーに対してシグナリングされ、前記一組の少なくとも１つの特性は、スケーラブルビットストリーム、スケーラブルビットストリームを含むファイルフォーマットコンテナ、またはスケーラブルビットストリームの少なくとも１つのレイヤーを伝送または制御するための伝送または制御プロトコルとすることが可能である。【選択図】図２
2008536420.tif 000002
【特許請求の範囲】
【請求項１】
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化する方法であって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（Region-of-interest：ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含む方法。
【請求項２】
前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
【請求項３】
前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
【請求項４】
前記シグナリングは、少なくとも以下の表、
2008536420.tif 000012
2008536420.tif 000013
に基づいて形成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
【請求項５】
前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
【請求項６】
前記伝送プロトコルは、セッション記述プロトコル（Session Description protocol：SDP）、リアルタイムストリーミングプロトコル（Real-Time Streaming protocol：RTSP）、およびセッション開始プロトコル（Session Initialization protocol：SIP）のグループのうちの１つである、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項５に記載の方法。
【請求項７】
１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する方法であって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを受信することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含み、さらに、
-          少なくとも１つのレイヤーの前記符号化特性を調査することと、
-          前記調査に基づいて前記レイヤーの復号化が可能であるかどうかを決定することと、
-          前記復号化が可能であると決定した場合に、前記少なくとも１つのレイヤーを復号化することと、
をさらに含む方法。
【請求項８】
前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行され、前記調査が前記スケーラブルビットストリームを調査することを含む、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。
【請求項９】
前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行され、前記調査が前記格納されたスケーラブルデータストリームを調査することを含む、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。
【請求項１０】
前記シグナリングは、少なくとも以下の構文、
【表２】
2008536420.tif 000014
2008536420.tif 000015
に基づいて形成される、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。
【請求項１１】
前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。
【請求項１２】
前記伝送プロトコルは、セッション記述プロトコル（SDP）、リアルタイムストリーミングプロトコル（RTSP）、およびセッション開始プロトコル（SIP）のグループのうちの１つである、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項１１に記載の方法。
【請求項１３】
前記シグナリングがバッファ情報を含む請求項１１に記載の方法であって、
-          復号化に割り当てられるメモリの量を決定するように前記バッファ情報を調査することと、
-          決定された量のメモリを割り当てることと、
を含む、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する方法。
【請求項１４】
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器であって、
前記スケーラブルデータストリームのうちの少なくとも１つレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む、第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングするための第二のコンポーネントと、を備える符号器。
【請求項１５】
前記シグナリングが前記スケーラブルデータストリームのビットストリーム内で実行されるように前記第二のコンポーネントが構成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
【請求項１６】
前記シグナリングが前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行されるように前記第二のコンポーネントが構成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
【請求項１７】
前記シグナリングが前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行されるように前記第二のコンポーネントが構成される、請求項14に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器。
【請求項１８】
前記データストリームは、ビデオデータを含む、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
【請求項１９】
異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器であって、
前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む、第二のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備える復号器。
【請求項２０】
前記データストリームがビデオデータを含む、異なる符号化特性を有するレイヤーを含むスケーラブルデータストリームを復号化するための請求項１９に記載の復号器。
【請求項２１】
スケーラブルデータストリームを実行するデータ構造であって、
第一の符号化特性を有する、データの第一のレイヤーであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む、第一のレイヤーと、
前記第一の符号化特性を識別する、前記第一のレイヤーに関連付けられた第一の表示と、
第二の符号化特性を有する、データの第二のレイヤーと、
前記第二の符号化特性を識別する、前記第二のレイヤーに関連付けられた第二の表示と、を含むデータ構造。
【請求項２２】
前記第一の表示は、前記スケーラブルデータストリームのビットストリームに関連付けられる、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
【請求項２３】
前記第一の表示は、前記スケーラブルデータストリームを格納することができるファイルフォーマットに関連付けられる、請求項21に記載の、スケーラブルデータストリームを実行するデータ構造。
【請求項２４】
前記第一の表示は、前記スケーラブルデータストリームを伝送することができる伝送プロトコルに関連付けられる、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
【請求項２５】
前記スケーラブルデータストリームはビデオデータを含む、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
【請求項２６】
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するためのプログラムであって、前記プログラムは、実行時に、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングすることと、を１つ以上のデバイスに実行させるための機械可読のプログラムコードを含む、プログラム。
【請求項２７】
前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
【請求項２８】
前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
【請求項２９】
前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
【請求項３０】
前記データストリームは、ビデオデータを含む、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
【請求項３１】
異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイスであって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための手段であって、前記少なくとも１つのレイヤーが、前記スケーラブルデータストリームの符号化特性とは異なる符号化特性によって特徴付けられ、前記少なくとも１つのレイヤーの前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む手段と、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための手段と、を含むデバイス。
【請求項３２】
前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
【請求項３３】
前記シグナリングは、前記スケーラブルデータストリームのファイルフォーマットの範囲内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
【請求項３４】
前記シグナリングは、前記スケーラブルデータストリームの伝送プロトコル内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
【請求項３５】
前記データストリームは、ビデオデータを含む、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
【請求項３６】
復号化を容易にするための複数のレイヤーを含むスケーラブルデータストリームを変更するための変換器であって、
前記データストリームを受信して、前記データストリームのレイヤーに関連付けられた符号化特性インジケータを読み取るための第一のコンポーネントであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む、第一のコンポーネントと、
どのレイヤーが送信先の復号器によって復号化可能かを決定するように、前記符号化特性インジケータを送信先の復号器の機能と比較するための第二のコンポーネントと、
前記送信先の復号器によって復号化可能とすべき前記データストリームを変更するための第三のコンポーネントと、
前記修正したデータストリームを前記送信先の復号器に伝送するための第四のコンポーネントと、を備える変換器。
【請求項３７】
前記第三のコンポーネントは、前記送信先の復号器による復号化が不可能である前記データストリームのレイヤーを取り除くように構成される、請求項36に記載の復号化を容易にするレイヤーを含むスケーラブルデータストリームを変更するための変換器。
【請求項３８】
前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項1に記載の方法。
【請求項３９】
前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項14に記載の符号器。
【請求項４０】
前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項19に記載の復号器。
【請求項４１】
前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項21に記載のデータ構造。
【請求項４２】
前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項26に記載のプログラム。
【請求項４３】
前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項31に記載のデバイス。
【請求項４４】
前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項37に記載の変換器。
【請求項４５】
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器であって、
前記スケーラブルデータストリームのうちの少なくとも１つを生成するための手段であって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む手段と、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングするための手段と、を含む符号器。
【請求項４６】
異なる符号化特性を有する複数のレイヤーを含む、復号器内のスケーラブルデータストリームを復号化するための方法であって、
前記スケーラブルデータストリームを受信するステップと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取ることであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができるかどうかを決定することと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができると決定された場合に、前記レイヤーを復号化することと、を含む方法。
【請求項４７】
異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器であって、
前記スケーラブルデータストリームを受信するための手段と、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための手段であって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む手段と、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための手段と、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための手段と、を含む復号器。
【請求項４８】
異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器を備えたデバイスであって、
前記スケーラブルデータストリームを受信するように構成された受信器と、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るように構成された識別子であって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む識別子と、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するように構成された決定手段と、を備え、前記復号器は、前記決定手段が、前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できると決定した場合に、前記レイヤーを復号化するように構成される、デバイス。
【請求項４９】
スケーラブルデータストリームを受信器に伝送するためのシステムであって、
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符号化するための符号器と、
異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器とを備え、
前記符号器は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングするための第二のコンポーネントと、
を備え、
前記復号器は、
前記スケーラブルデータストリームを受信するための第五のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第六のコンポーネントであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む第六のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第七のコンポーネントと、
前記第七のコンポーネントが、前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できると決定した場合に、前記レイヤーを復号化するための第八のコンポーネントと、を備えるシステム。
【請求項５０】
復号器内のスケーラブルデータストリームを復号化するためのプログラムであって、前記データストリームは異なる符号化特性を有する複数のレイヤーを含み、前記プログラムは、実行時に、
前記スケーラブルデータストリームを受信するステップと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取ることであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができるかどうかを決定することと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができると決定された場合に、前記レイヤーを復号化することと、を１つ以上のデバイスに実行させるための機械可読のプログラムコードを含む、プログラム。
【請求項５１】
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するためのモジュールであって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む、第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための第二のコンポーネントと、を備えるモジュール。
【請求項５２】
異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器のためのモジュールであって、
前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む第二のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備えるモジュール。
【請求項５３】
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化および復号化する方法であって、
前記符号化は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含み、
前記復号化は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを受信することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含み、
前記方法は、
少なくとも１つのレイヤーの前記符号化特性を調査することと、
前記調査に基づいて前記レイヤーの復号化が可能であるかどうかを決定することと、
前記復号化が可能であると決定した場合に、前記少なくとも１つのレイヤーを復号化するステップと、をさらに含む方法。
【請求項５４】
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器を有するデバイスであって、前記符号器は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための第二のコンポーネントと、を備えるデバイス。
【請求項５５】
異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器を有するデバイスであって、前記復号器は、
前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含む第二のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備えるデバイス。
【請求項５６】
少なくとも１つのレイヤーを含むスケーラブルデータストリームを含む信号であって、前記少なくとも１つのレイヤーが符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含み、
前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーは、レイヤー全体の復号化を必要とせずに復号器によって読み取り可能な形態である、信号。
【請求項５７】
信号が記録されるキャリアであって、前記信号は、少なくとも１つのレイヤーを含むスケーラブルデータストリームを含み、前記少なくとも１つのレイヤーは、符号化特性によって特徴付けられ、前記符号化特性が、
-          ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
-          関心領域（ROI）スケーラビリティ情報、
-          サブサンプルスケーラブルレイヤー情報、
-          復号化依存関係情報、および
-          初期値パラメータセット、のうちの少なくとも１つを含み、
前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーは、レイヤー全体の復号化を必要とせずに復号器によって読み取り可能な形態である、キャリア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも２つのスケーラビィリティレイヤーを含むスケーラブルデータストリームのデータを符号化、復号化、格納、および伝送するための、符号器、復号器、デバイス、方法、データレコード、モジュール、コンピュータプログラム、およびシステムに関する。
【背景技術】
【０００２】
マルチメディアアプリケーションには、ローカル再生、ストリーミングまたはオンデマンド、対話型、およびブロードキャスト/マルチキャストサービスが挙げられる。インターオペラビリティは、各マルチメディアアプリケーションの高速な展開および大規模な市場形成に重要である。高いインターオペラビリティを達成するために、種々の規格が規定されている。
【０００３】
マルチメディアアプリケーションに関連する技術には、とりわけ、メディア符号化、格納、および伝送が挙げられる。メディアの種類には、音声、オーディオ、画像、ビデオ、グラフィックス、およびタイムテキストが挙げられる。様々な技術に対して様々な規格が規定されている。ビデオの符号化規格には、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ISO/IEC MPEG-4 Visual、ITU-T H.264、またはISO/IEC MPEG-4 AVC（本書では、AVC, AVC/H.264またはH.264/AVCと略記する）、および今後考えられるものとして、ISO/IEC MPEG-21 SVC、China AVS、ITU-T H.265、およびISO/IEC MPEG 3DAVが挙げられる。
【０００４】
利用可能なメディアファイルフォーマット規格には、ISOファイルフォーマット（ISO/IEC 14496-12）、MPEG-4ファイルフォーマット（ISO/IEC 14496-14）、AVCファイルフォーマット（ISO/IEC 14496-15）、および3GPPファイルフォーマット（3GPP TS 26.244）が挙げられる。
【０００５】
3GPP TS 26.140では、3GPPシステム内でのマルチメディアメッセージサービス（Multimedia Messaging Services：MMS）のためのメディアタイプ、フォーマットおよびコーデックを規定している。3GPP TS 26.234では、3GPPシステム内でのパケット交換ストリーミングサービス（Packet-switched Streaming Sservice：PSS）のためのプロトコルおよびコーデックを規定している。進行中の3GPP TS 26.346では、3GPPシステム内でのマルチメディアブロードキャスト/マルチキャストサービス（Multimedia Broadcast/Multicast Service：MBMS）のためのプロトコルおよびコーデックを規定している。
【０００６】
代表的なオーディオおよびビデオの符号化規格では、"プロファイル"および"レベル"を規定している。"プロファイル"は、その規格のアルゴリズム機能のサブセットであり、"レベル"は、復号器のリソース消費に一連の制約を課す符号化パラメータに対する一連の制限である。示されたプロファイルおよびレベルを使用して、メディアストリームの特性をシグナリングし、またメディア復号器の機能をシグナリングすることができる。
【０００７】
プロファイルおよびレベルの組み合わせを通じて、復号器は、復号化を試みずにストリームを復号化できるかどうかを宣言することができ、これによって、復号器がストリームを復号化できない場合に、復号器のクラッシュ、リアルタイムより遅い動作、および/またはバッファのオーバーフローによるデータの破棄を生じる場合がある。プロファイルおよびレベルの各対は、"インターオペラビリティポイント"を形成する。
【０００８】
一部の符号化規格では、スケーラブルビットストリームを作成することができる。意味のある復号化された表現は、スケーラブルビットストリームの特定の部分だけを復号化することによって生成することができる。スケーラブルビットストリームは、ストリーミングサーバー内の予め符合化されたユニキャストストリームの速度整合、および異なる機能および/または異なるネットワーク条件を有する端末への単一のビットストリームの伝送に使用することができる。スケーラブル映像符号化のための他の用途例は、ISO/IEC JTC1 SC29 WG11（MPEG）出力文書N6880、"Applications and Requirements for Scalable Video Coding"、第71回MPEGミーティング（2005年1月、香港、中国）に見出すことができる。
【０００９】
スケーラブル符号化技術には、従来の階層化スケーラブル符号化技術およびファイングラニュラリティスケーラブル符号化（Fine Granularity Scalability Coding；FGS符号化）が挙げられる。これらの技術の検討は、Weiping Liの"Overview of fine granularity scalability in MPEG-4 video standard"、IEEE Transactions on Circuits and Systems for Video Technology、11巻、No. 3、301-317頁（2001年3月）に見出すことができる。
【００１０】
スケーラブルビデオ符号化は、広範囲の処理能力を有する復号器を用いたシステムにおいて使用される多数のマルチメディアアプリケーションおよびサービスに望ましい機能である。いくつかのタイプのビデオスケーラビリティスキームでは、時間的、空間的および品質スケーラビリティを提案している。これらの提案されたタイプのものは、ベースレイヤーおよび拡張レイヤーから構成される。ベースレイヤーは、ビデオストリームの復号化に必要なデータの最小量であり、拡張レイヤーは、拡張ビデオ信号の提供に必要な追加的なデータである。
【００１１】
H.264/AVCに対するスケーラブル拡張の草案では、現在複数のスケーラブルレイヤーの符号化が可能である。この草案は、JVT-N020、"Scalable video coding - working draft 1"（第14回ミーティング、香港、2005年1月）に記載されており、またMPEG文書w6901、"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"（香港ミーティング、2005年1月）としても知られている。複数のスケーラブルレイヤーの符号化では、ビットストリーム内でシグナリングされる変数DependencyIDを使用して、異なるスケーラブルレイヤーの符号化依存関係を示す。
【００１２】
スケーラブルビットストリーム（Scalable bit stream）は、少なくとも２つのスケーラビリティレイヤー（Scalability layer）、ベースレイヤー（base layer）、および１つ以上の拡張レイヤー（Enhanced layer）を含む。１つのスケーラブルビットストリームが２つ以上のスケーラビリティレイヤーを含む場合は、同じ数の復号化および再生のための別の手段を有する。各レイヤーは、代替的な復号化である。レイヤー0、ベースレイヤーは、第一の代替的な復号化である。レイヤー1、第一の拡張レイヤーは、第二の代替的な復号化である。このパターンは、以降のレイヤーを継続する。一般的に、下位レイヤーは、上位レイヤーに含まれる。例えば、レイヤー0はレイヤー1に含まれ、レイヤー1はレイヤー2に含まれる。
【００１３】
各レイヤーは、ファイングラニュラリティスケーラビリティ（Fine Granularity Scalability：FGS）情報、関心領域（Region-of-Interest：ROI）スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。
【００１４】
従来のシステムでは、ビットストリーム自体で、ファイルフォーマットで、または、伝送プロトコルを通じて、ファイングラニュラリティスケーラビリティ（FGS）情報、関心領域（ROI）スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのようなスケーラブルビットストリームの特定のレイヤーに対するスケーラビリティ情報をシグナリングすることができなかった。
【非特許文献１】ISO/IEC JTC1 SC29 WG11（MPEG）出力文書N6880、"Applications and Requirements for Scalable Video Coding"、第71回MPEGミーティング（2005年1月、香港、中国）
【非特許文献２】Weiping Li"Overview of fine granularity scalability in MPEG-4 video standard"、IEEE Transactions on Circuits and Systems for Video Technology、11巻、No. 3、301-317頁（2001年3月）
【非特許文献３】MPEG文書w6901、"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"（香港ミーティング、2005年1月）
【発明の開示】
【００１５】
本発明により、スケーラブルビットストリームを符号化、復号化、格納、および伝送することができ、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。本発明によって、サーバーまたはクライアントは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および前記ビットストリームの検証によるストリームの隠れレイヤーの初期値パラメータセットを分析する必要がなくなり、計算上の複雑さが減じられる。ビットストリームからレイヤー特性を分析することができないデバイスに対して、例えば、ROI情報が必要であるが利用できないときに、本発明によって、前記機能を有効にするデバイスサブユニットの包含が回避される。
【００１６】
本発明の１つの例示的な実施態様では、異なる符号化特性を有する複数のレイヤーを含めるようにスケーラブルデータストリームを符号化するための方法およびデバイスを開示する。前記方法は、前記スケーラブルデータストリームの１つ以上のレイヤーを生成することであって、前記レイヤーは前記スケーラブルデータストリームの符号化特性とは異なる符号化特性によって特徴付けられることと、前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングすることとを含む。
【００１７】
本発明の別の例示的な実施態様では、スケーラブルビットストリームを符合化するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリームである。前記方法は、少なくとも２つのレイヤーを含むようにスケーラブルビットストリームを生成するステップであって、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であることと、シグナリングすることであって、前記スケーラブルビットストリームにおいて、前記一組の少なくとも１つの特性が、前記少なくとも１つの特性の分析、またはデバイスが、デバイスをクラッシュさせる可能性のある、レイヤーを復号化する機能を有するかどうかを知らなくても、前記スケーラブルビットストリームのレイヤーを復号化しようとするように、前記ストリーム全体とは異なる少なくとも１つのレイヤーに対して、前記一組の少なくとも１つの特性をシグナリングすることとを含む。
【００１８】
本発明の別の例示的な実施態様では、スケーラブルビットストリームを分析するための方法およびデバイスを開示する。少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。前記方法は、前記一組の少なくとも１つの特性を、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルでシグナリングすることができるように、前記一組の少なくとも１つの特性を分析することを含む。
【００１９】
本発明の別の例示的な実施態様では、スケーラブルビットストリームを変換するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。前記方法は、前記スケーラブルビットストリームのベースレイヤーを含む非スケーラブルビットストリームを作成することと、前記スケーラブルビットストリームの拡張レイヤーを含む第二のスケーラブルビットストリームを作成することとを含む。
【００２０】
本発明の別の例示的な実施態様では、スケーラブルビットストリームを復号化するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。前記デバイスは、前記スケーラブルビットストリームを受信するための第一のコンポーネントと、前記スケーラブルビットストリームの少なくとも１つのレイヤーを識別して、前記少なくとも１つのレイヤーの前記一組の少なくとも１つの特性を読み取るための第二のコンポーネントと、前記復号器が、前記一組の少なくとも１つの特性に基づいて、前記少なくとも１つのレイヤーを復号化することができるかどうかを決定するための第三のコンポーネントと、第三のコンポーネントが、前記復号器が前記少なくとも１つのレイヤーを復号化できると決定した場合に、前記少なくとも１つのレイヤーを復号化するための第四のコンポーネントとを備える。
【００２１】
本発明の別の例示的な実施態様では、スケーラブルビットストリームを格納するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。前記方法は、前記スケーラブルビットストリーム内にシグナリングされていない場合に前記少なくとも１つの特性を分析することと、前記ビットストリーム内の前記少なくとも１つの特性の有無に関わらず、前記少なくとも１つの特性および前記スケーラブルビットストリームを、ファイルフォーマット仕様に基づくファイルフォーマットコンテナに格納することとを含む。
【００２２】
本発明の別の例示的な実施態様では、スケーラブルビットストリームの少なくとも１つのレイヤーを伝送する方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、または前記スケーラブルビットストリームを含むファイルフォーマットコンテナとすることが可能である。前記デバイスは、一組の少なくとも１つの受信器に対して復号化および再生を行うための利用可能なレイヤーまたはオルタナティブに関する現在の情報を作成するための第一のコンポーネントであって、前記受信器は、それぞれの受信器グループが少なくとも１つの受信器から構成される、少なくとも１つの受信器グループに分割することが可能である第一のコンポーネントと、前記受信器または受信器グループに関するリクエストおよび/または情報に基づいて、１つの受信器または受信器グループの役目をするように、前記利用可能なレイヤーから少なくとも１つのレイヤーを復号化するための第二のコンポーネントと、前記１つの受信器または受信器グループに対する前記少なくとも１つのレイヤーの伝送および制御のための第三のコンポーネントとを備える。
【００２３】
従来の設計と比較して、提案された設計は、関心領域（ROI）スケーラビリティ情報、バッファ情報、ファイングラニュラリティスケーラビリティ（FGS）情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような種類のスケーラビリティ情報をさらに含むという点においてより完全なものである。
【００２４】
本発明の他の特徴および効果は、以下の詳細な説明から当業者には明らになるだろう。なお、詳細な説明および特定の実施例は、本発明の好適な実施態様を示すものであるが、例示として提供されたものであり、本発明を制限するものではないと理解されたい。本発明の範囲内の様々な変更および改良は、本発明の趣旨から逸脱することなく行うことが可能であり、本発明はそのような全ての変更を含む。
【００２５】
上述の本発明の利点および特徴は、以下の詳細な説明および添付図面を参照することにより明らかになる。
【好適な実施形態の詳細な説明】
【００２６】
例示的な一実施態様では、本発明は、スケーラブルビットストリームのレイヤーに対して、ストリーム全体とは異なるものとすることが可能な、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性をシグナリングすることによって、上述の問題を解決する。前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。
【００２７】
マルチメディアアプリケーションに関連する技術には、とりわけ、メディア符号化、格納、および伝送が挙げられる。メディアの種類には、音声、オーディオ、画像、ビデオ、グラフィックス、およびタイムテキストが挙げられる。ビデオ符号化は、本願明細書において本発明の例示的なアプリケーションとして記述されるが、本発明はそれによって制限されるものではない。当業者は、ビデオだけでなく全てのメディアタイプに本発明を使用することができるものと認識されよう。
【００２８】
図2は、本発明の例示的な実施態様における、スケーラブルビットストリーム200の各レイヤーに対する一組の少なくとも１つの特性情報のシグナリングを示す図である。スケーラブルビットストリームの各レイヤーは、レイヤーに対してシグナリングされた一組の少なくとも１つの特性情報によって特徴付けられるので、復号化または伝送するレイヤーを、一組の少なくとも１つの特性情報に基づいて選択することができる。これらの特徴付けは、ヘッダー204に格納することができる。複数のレイヤー202は、スケーラブルビットストリームの複数のレイヤーを表す。
【００２９】
本発明の使用のうちの第一の実施例では、スケーラブルビットストリームが符号化されて、ストリーミングサーバー内に格納される。各レイヤーの、ファイングラニュラリティスケーラビリティ情報、関心領域スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性情報は、格納ファイルでシグナリングされる。利用可能なセッションを記述するとき、サーバーは、ストリーミングクライアントが、理想的なレイヤーがあり、SDP（Session Description Protocol：セッション記述プロトコル）に基づいて、ストリーミング再生のための理想的なレイヤーを選択するかどうかを判断することができるように、同じビットストリーム内の各レイヤーまたはオルタナティブに対するSDP記述を作成することができる。これは、受信器の機能に関する予備的知識がサーバーにない場合に、同じコンテンツから複数のSDP記述を作成するのに好都合であり、これらの記述をオルタナティブと呼ぶ。クライアントは、次いで、その機能に最適な記述を選択することができる。
【００３０】
本発明の使用のうちの第二の実施例では、第一の実施例に記述したようなストリームが、複数の端末にマルチキャストまたはブロードキャストされる。マルチキャスト/ブロードキャストサーバーは、全ての利用可能なレイヤーまたは復号化および再生オルタナティブを通知することができ、それぞれが、ファイングラニュラリティスケーラビリティ情報、関心領域スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットの組み合わせによって特徴付けられる。クライアントは、次いで、ブロードキャスト/マルチキャストセッションアナウンスによって、理想的なレイヤーがあり、再生に理想的なレイヤーを選択するかどうかを知ることができる。
【００３１】
本発明の使用のうちの第三の実施例では、ローカルな再生アプリケーションの場合、シグナリングされたストリーム全体を復号化することができなくても、依然としてストリームの一部を復号化して再生することが可能である。
【００３２】
図3は、本発明の例示的な一実施態様における、符号化デバイスを示す図である。符号化デバイス304は、未加工のデータストリーム302を受信する。データストリームが符合化され、１つ以上のレイヤーが符号器304のスケーラブルデータ符号器306によって生成される。これらのレイヤーは、次いでシグナリングコンポーネント308によってシグナリングされる。いくつかのレイヤーは、スケーラブルデータ符号器306によってすでにシグナリングされている場合があるので、シグナリングコンポーネントが当該の発生を確認する。符号化特性が示されたデータストリーム310は符号器304から出力されるので、受信デバイス（MMSCまたは復号器）は、データストリームのレイヤーの符号化特性を決定するために信号を読み取ることができる。
【００３３】
図4は、本発明の例示的な一実施態様における、変換器デバイスを示す図である。変換器デバイス404は、スケーラブルデータストリーム402を受信器406で受信する。受信器406はまた、受信したデータストリームのレイヤーに関連付けられた符号化特性インジケータを読み取る。符号化特性比較器410は、符号化特性インジケータを、復号化デバイスまたはデータストリームが送信されるネットワークの既知の特性と比較する。この比較を通して、送信先のデバイスがどのレイヤーを復号化することができるかを決定する。データストリームは、次いで、送信先のデバイスによって復号化可能なデータストリームを作成するために、データストリーム変更子412において修正される。この場合、要素410において送信先のデバイスによる復号化ができないものと決定されたデータストリームからレイヤーを除去しなければならない場合がある。修正したデータストリームは、次いでトランスミッタ414によって伝送される。修正したデータストリーム416は、受信デバイス（MMSCまたは復号器）へ宛てて変換器404から出力される。
【００３４】
図5は、本発明の例示的な一実施態様における、復号器を示す図である。復号化デバイス504は、符号化特性を示されたデータストリーム502を受信器504で受信する。符号化特性識別子510は、受信したデータストリームおよびそれらの対応する符号化特性内の１つ以上のレイヤーを識別する。少なくとも１つのレイヤーの符号化特性に基づいて、復号器機能検査機構512は、復号器が、そのレイヤーを復号化できるかどうかを決定する。復号化できる場合、復号化コンポーネント514は、データストリームのそのレイヤーの復号化を進めることができる。復号化できない場合、復号化コンポーネント514がレイヤーを復号化しないようにするので、復号器の潜在的なクラッシュが回避される。復号化されたデータストリーム516は、図においては、復号器504から出力されるように示されている。
【００３５】
ビットストリームにおけるシグナリング
【００３６】
レイヤー特性は、シーケンスまたはピクチャグループ（Group Of Pictures：GOP）ヘッダー、シーケンスパラメータセット、補足拡張情報（Supplemental Enhancement Information：SEI）メッセージ、ユーザーデータ、および他のシーケンスレベルの構文などを通じた、シーケンスまたはGOPでシグナリングされることが好ましい。
【００３７】
JSVM 1.0（JVT-N023）では、スケーラビリティ情報SEIは、ビットストリームのスケーラビリティ機能の分析において、ビットストリームエクストラクタを支援するように規定される。JSVM 1.0にあるように、SEIは、JSVM基準ソフトウェアにおいて現在のSVCを実装するには特定的過ぎる場合がある。以下のように、任意の符号化されたスライスNAL（Network Abstraction Layer：ネットワーク抽象レイヤー）への構文解析および分析を行わない、以下のシステムレベルオペレーションを可能にする、スケーラビリティ情報のための新しい構文が提案されている（サブピクチャスケーラブルレイヤーに基づいた関心領域スケーラビリティに対してのみ例外）。
-          スケーラビリティ情報メタデータをファイルに書き込むファイルフォーマットコンポーザ、
-          全ての可能なスケーラブルプレゼンテーションポイントを受信器に提供するストリーミングサーバー、
-          任意の所望のスケーラブルプレゼンテーションポイントを取り出すビットストリームエクストラクタ、および
-          所望のスケーラブルプレゼンテーションポイントに対して、どのNALユニットを破棄すべきか（したがって、伝送されない）を決定するメディアアウェアネットワーク要素（例、ゲートウェイ）。
【００３８】
新しい構文を表1に示し、以下に説明する。当然、当業者には、別の方法のシグナリングが可能であり、本発明が特定の方法のシグナリングに限定されないことは明らかであろう。カテゴリ（Categories：表1にCで表記）は、最大で３つのスライスデータパーティションへのスライスデータのパーティショニングを規定し、記述子（Descriptor）は、各構文要素の構文解析プロセスを規定するものである。カテゴリおよび記述子は、上述の文書"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"に公開されている。
【表１】
2008536420.tif 000003
2008536420.tif 000004
【００３９】
セマンティックスは、以下のように規定される。存在するときには、このSEIメッセージがIDRアクセスユニットに現われる。メッセージのセマンティックスは、次の同じタイプのSEIメッセージまで有効である。
【００４０】
num_layers_minus1 plus 1は、ビットストリームによってサポートされるスケーラブルレイヤーまたはプレゼンテーションポイントの数を示す。num_layers_minus1の値は0乃至255である。
【００４１】
各スケーラブルレイヤーは、レイヤーIDに関連付けられる。レイヤーIDは、以下のように割り当てられる。レイヤーIDが大きくなるほど上位レイヤーを示す。値が0であれば、最下位レイヤーを示す。レイヤーの復号化およびプレゼンテーションは、任意の上位レイヤーに依存せずに、下位レイヤーに依存することが可能である。したがって、レイヤー1の復号化およびプレゼンテーションを、レイヤー0に依存することが可能であり、レイヤー2の復号化およびプレゼンテーションを、レイヤー0および1に依存することが可能である、などのように最下位レイヤーを単独で復号化して示すことができる。スケーラブルレイヤー表現には、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーの存在が必要である。以下、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーを、集合的にスケーラブルレイヤー表現と呼ぶ。
【００４２】
スケーラブルレイヤーに対する符号化されたピクチャのそれぞれのマッピングは、サブシーケンス情報SEIメッセージによってシグナリングすることが可能である。
【００４３】
fgs_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーが、ファイングラニュラリティスケーラブル（FGS）レイヤーであることを示す。値が0であれば、スケーラブルレイヤーがFGSレイヤーではないことを示す。FGSレイヤーの符号化されたスライスNALユニットは、任意のバイト配列位置において省略することができる。
【００４４】
NALユニットヘッダーおよびFGSスライスのスライスヘッダーの切り捨ておよび伝送では品質が改善されないため、メディアアンアウェアネットワーク要素がFGSを行うために、ビットストリームおよび/またはファイルフォーマットにおいて、NALユニットヘッダーおよびFGSスライスに対するスライスヘッダーのサイズを含むこと、および各FGSレイヤーに対する最小の有意なビットレートを必要とする場合がある。
【００４５】
sub_pic_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーがサブピクチャからなり、各サブピクチャがアクセスユニットの符号化されたスライスのサブセットからなることを示す。値が0であれば、スケーラブルレイヤーが全体のアクセスユニットからなることを示す。
【００４６】
符号化されたピクチャの各サブピクチャのスケーラブルレイヤーへのマッピングは、サブピクチャレイヤー情報SEIメッセージによってシグナリングすることが可能である。
【００４７】
sub_region_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーは、ビットストリーム全体によって表される領域全体のサブ領域を示す。値が0であれば、スケーラブルレイヤーがビットストリーム全体によって表される領域全体を表すことを示す。
【００４８】
profile_level_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するプロファイルおよびレベル情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するプロファイルおよびレベル情報が、SEIメッセージ内に存在しないことを示す。
【００４９】
decoding_dependency_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対する復号化依存関係情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対する復号化依存関係情報が、SEIメッセージ内に存在しないことを示す。
【００５０】
bitrate_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するビットレート情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するビットレート情報が、SEIメッセージ内に存在しないことを示す。
【００５１】
frm_rate_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームレート情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームレート情報が、SEIメッセージ内に存在しないことを示す。
【００５２】
frm_size_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームサイズ情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームサイズ情報が、SEIメッセージ内に存在しないことを示す。
【００５３】
layer_dependency_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するレイヤー依存関係情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するレイヤー依存関係情報が、SEIメッセージ内に存在しないことを示す。
【００５４】
init_parameter_sets_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対する初期値パラメータセット情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対する初期値パラメータセット情報が、SEIメッセージ内に存在しないことを示す。
【００５５】
初期値パラメータとは、セッションの始めに伝送することができるパラメータセットのことである。
【００５６】
メッセージコンポーネントlayer_profile_idc[ i ]、layer_constraint_set0_flag[ i ]、layer_constraint_set1_flag[ i ]、layer_constraint_set2_flag[ i ]、layer_constraint_set3_flag[ i ]、およびlayer_level_idc[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームのプロファイルおよびレベルのコンプライアンスを示す。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、layer_profile_idc[ i ]、layer_constraint_set0_flag[ i ]、layer_constraint_set1_flag[ i ]、layer_constraint_set2_flag[ i ]、layer_constraint_set3_flag[ i ]、およびlayer_level_idc[ i ]のセマンティックスは、それぞれprofile_idc、constraint_set0_flag、constraint_set1_flag、constraint_set2_flag、constraint_set2_flag、およびlevel_idcのセマンティックスと同一である。
【００５７】
dependency_id[ i ]およびtemporal_level[ i ]は、レイヤーIDがiであるスケーラブルレイヤーにおけるNALユニットのDependencyIdおよびTemproalLevelに等しい。
【００５８】
avg_bitrate[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームの平均ビットレートを1000ビット/秒で示したものである。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、accurate_statistics_flagが1であれば、avg_bitrate[ i ]のセマンティックスは、サブシーケンスレイヤー特性SEIメッセージ内のaverage_bit_rateのセマンティックスと同一である。
【００５９】
max_bitrate[ i ]は、アクセスユニット除去時間の任意の1秒の時間ウィンドウにおける、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームの最大ビットレートを1000ビット/秒で示したものである。
【００６０】
constant_frm_rate_idc[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のフレームレートがコンスタントであるかどうかを示す。以下に規定されるように、スケーラブルレイヤー表現の時間的セクションが計算に使用されるものはどれでも、avg_frm_rateの値がコンスタントであれば、フレームレートはコンスタントであり、そうでない場合、フレームレートは非コンスタントである。値が0であれば非コンスタントなフレームレートを示し、値が1であればコンスタントなフレームレートを示し、値が2であればフレームレートがコンスタントであるかどうかが明らかではないことを示す。constantFrameRateの値は、0乃至2である。
【００６１】
avg_frm_rate[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームレートの平均フレームレートをフレーム/秒で示したものである。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、accurate_statistics_flagが1であれば、avg_frm_rate[ i ]のセマンティックスは、サブシーケンスレイヤー特性SEIメッセージ内のaverage_frame_rateのセマンティックスと同一である。
【００６２】
frm_width_in_mbs_minus1[ i ] plus 1は、マクロブロックにおいて、レイヤーIDがiであるスケーラブルレイヤー表現内の符号化されたフレームの最大幅を示す。
【００６３】
frm_height_in_mbs_minus1[ i ] plus 1は、マクロブロックにおいて、レイヤーIDがiであるスケーラブルレイヤー表現内の符号化されたフレームの最大高さを示す。
【００６４】
horizontal_offset[ i ]およびverticial_offset[ i ]は、ビットストリーム全体によって表される領域全体の左上の画素に関連して、レイヤーIDがiであるスケーラブルレイヤー表現によって表される長方形領域の左上の画素の水平および垂直オフセットをそれぞれ示す。単位は、最も高い空間的分解能のスケールにおけるlumaサンプルのものである。
【００６５】
region_width[ i ]およびregion_height[ i ]は、最も高い空間的分解能のスケールのlumaサンプルにおいて、レイヤーIDがiであるスケーラブルレイヤー表現によって表される長方形領域の幅および高さをそれぞれ示す。
【００６６】
num_directly_dependent_layers[ i ]は、レイヤーIDがiであるスケーラブルレイヤーが直接依存するスケーラブルレイヤーの数を示す。num_directly_dependent_layersの値は、0乃至255である。
【００６７】
directly_dependent_layer_id_delta[ i ][ j ]は、レイヤーIDがiであるスケーラブルレイヤーが直接依存するj番目のスケーラブルレイヤーのレイヤーIDと、iとの差を示す。直接依存するスケーラブルレイヤーのレイヤーIDは、（directly_dependent_layer_id_delta + i）である。
【００６８】
num_init_seq_parameter_set_minus1[ i ] plus 1は、レイヤーIDがiであるスケーラブルレイヤー表現を復号化するための、初期シーケンスパラメータセットの数を示す。
【００６９】
init_seq_parameter_set_id_delta[ i ][ j ]は、jが0である場合に、レイヤーIDがiであるスケーラブルレイヤー表現を復号化するための、j番目の初期シーケンスパラメータのseq_parameter_set_idの値を示す。jが0より大きい場合、init_seq_parameter_set_id_delta[ i ][ j ]は、j番目の初期シーケンスパラメータのseq_parameter_set_idの値と、（j-1）番目の初期シーケンスパラメータのseq_parameter_set_idの値との差を示す。初期シーケンスパラメータセットは、理論的に、seq_parameter_set_idの値で昇順に順序付けられる。
【００７０】
スケーラブルレイヤーに対するアクセスユニットのマッピングは、サブシーケンス情報SEIメッセージを使用してシグナリングされる。サブシーケンス情報SEIメッセージにおけるsub_seq_layer_numは、現在のアクセスユニットが属するスケーラブルレイヤーのレイヤーIDを示す。
【００７１】
サブピクチャをスケーラブルレイヤーにマップするために、表2に示されるように新しいSEIメッセージが定義される。
【００７２】
このデザインは単純であるが、ピクチャパラメータセットおよびスライスの構文解析は、動作を制約したスライスグループセットにスライスが属するかどうかを識別する必要がある。別様には、レイヤーIDをシグナリングするようにサブピクチャレベルSEIをデザインすることができる。
【表２】
2008536420.tif 000005
【００７３】
存在するときには、このSEIメッセージは、動作を制約したスライスグループセットのSEIメッセージを含む同じSEIペイロード内に現れて、復号化順に、動作を制約したスライスグループセットの後に続く。動作を制約したスライスグループセットのSEIメッセージによって識別されるスライスグループセットを、サブピクチャレイヤー情報のSEIメッセージの関連スライスグループセットと呼ぶ。
【００７４】
layer_idは、関連スライスグループセット内の符号化されたスライスNALユニットが属するスケーラブルレイヤーのレイヤーIDを示す。
【００７５】
別の実施例では、シグナリングのサポートは、シーケンスパラメータセットおよびNALユニットヘッダーまたはスライスヘッダーを使用した以下の方法によって達成することができる。
【００７６】
ファイルフォーマットにおけるシグナリング
【００７７】
シグナリング情報は、1）シグナリングが符号化技術または規格によってサポートされていない、2）シグナリングがサポートされているが存在しない、3）ファイルフォーマット仕様によって、ファイルフォーマットコンテナに含まれるビットストリーム内のいくつかの情報を含むことができない、例えば、AVCファイルフォーマット仕様によって、メディアトラックに格納されたビットストリーム内の3種類のサブシーケンスSEIメッセージを含むことができない、という理由のうちのいずれかによってビットストリーム内に存在できない場合がある。
【００７８】
したがって、ファイルフォーマットで情報のシグナリングをサポートすることが重要である。実際に、情報がビットストリームで利用可能であっても、ファイルフォーマットで利用可能な情報があれば、メディア符号化フォーマットを不可知であるサーバーに対して有用である。
【００７９】
下記のスケーラビリティ構造は、全てのタイプのスケーラブルビデオストリームに使用可能な方法でデザインされているので、ISOベースのメディアファイルフォーマットであるとみなすことが可能である。ファイルを識別するために、ブランド'svc1'を使用して、この拡張がファイル内で使用されていることを示すことができる。
【００８０】
シグナリングをサポートするために、ISOファイルは、grouping_typeが'scif'であるSampleToGroupBox（トラックごと）の内のゼロまたは１つのインスタンスを含まなければならない。このSampleToGroupBoxインスタンスは、各サンプルを１つ以上のスケーラブルレイヤーにマップする。各スケーラブルレイヤーのためのスケーラビリティ情報は、グループ化タイプ'scif'のSampleGroupDescriptionBoxに含まれるサンプルグループ記述エントリ（ScalabilityInfoEntry）に格納される。スケーラビリティ情報は、レイヤーID、プロファイルおよびレベル、ビットレート、フレームレート、バッファパラメータ、および依存関係情報を含む。
【００８１】
また、各スケーラブルレイヤーは、レイヤーIDに関連付けられる。レイヤーIDは、以下のように割り当てられる。レイヤーIDが大きくなるほど上位レイヤーを示す。値が0であれば、最下位レイヤーを示す。レイヤーの復号化およびプレゼンテーションは、任意の上位レイヤーに依存せずに、下位レイヤーに依存することが可能である。したがって、レイヤー1の復号化およびプレゼンテーションを、レイヤー0に依存することが可能であり、レイヤー2の復号化およびプレゼンテーションを、レイヤー0および1に依存することが可能である、などのように最下位レイヤーを単独で復号化して示すことができる。スケーラブルレイヤー表現には、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーの存在が必要である。以下、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーを、集合的にスケーラブルレイヤー表現と呼ぶ。
【００８２】
ISOベースのメディアファイルフォーマットに対する拡張の構文は、以下のようにすることができる。ScalabilityInfoEntryは、ProfileLevelBox、BitRateBox、FrameRateBox、FrameSizeBox、RectRegionBox、BufferingBox、およびLayerDependencyBoxを含む。これらのボックスの定義を表3および4に示す。
【表３】
2008536420.tif 000006
【００８３】
ProfileLevelBoxはスケーラブルレイヤー表現が準拠するプロファイルおよびレベルを含み、BitRateBoxはビットレート情報を含み、FrameRateBoxはフレームレート情報を含み、FrameSizeBoxは空間的分解能情報を含み、BufferingBoxはバッファ情報を含み、LayerDependencyBoxはスケーラブルが依存するレイヤーを含む。ボックスのうちで、BufferingBoxはアブストラクトボックスであり、ISOベースのメディアファイルフォーマットから導出されるファイルフォーマットは、ビデオ符号化規格によって規定されるバッファモデルに基づいて、バッファ情報のデータ構造を定義する。特定のスケーラブルレイヤーに関して、いずれのオプションボックスも存在しない場合は、記述された情報は、最上位のスケーラブルレイヤーと同一である。
【表４】
2008536420.tif 000007
【００８４】
セマンティックスは、以下の通りである。layerIdは、以下の情報が記述するスケーラブルレイヤーの識別子を示す。
【００８５】
IsFgsLayerが1であれば、スケーラブルレイヤーがファイングラニュラリティスケーラブル（FGS）レイヤーであり、そのビットストリームデータユニットを任意のバイト配列位置において省略することができる。値が0であれば、スケーラブルレイヤーがFGSレイヤーではないことを示す。
【００８６】
IsSubsampleLayerが1であれば、スケーラブルレイヤーが、レイヤーにマップされたサンプルのサブサンプルによってのみ形成されることを示す。サブサンプルが前記レイヤーに含まれる情報は、サブサンプル情報ボックスにシグナリングされる。値が0であれば、スケーラブルレイヤーが、レイヤーにマップされるサンプルによって形成される。
【００８７】
profileIdcおよびlevelIdcは、プロファイルおよびレベルをそれぞれ規定し、それらによって、スケーラブルレイヤー表現のビットストリームが準拠する。
【００８８】
avgBitrateは、スケーラブルレイヤー表現のビットストリームの平均ビットレートをビット秒で示す。
【００８９】
maxBitrateは、任意の1秒の時間ウィンドウにおける、スケーラブルレイヤー表現のビットストリームの最大ビットレートをビット/秒で示したものである。
【００９０】
constantFrameRateは、スケーラブルレイヤー表現のフレームレートがコンスタントであるかどうかを示す。以下に規定されるように、スケーラブルレイヤー表現の時間的セクションが計算に使用されるものはどれでも、frameRateの値がコンスタントであれば、フレームレートはコンスタントであり、そうでない場合、フレームレートは非コンスタントである。値が0であれば非コンスタントなフレームレートを示し、値が1であればコンスタントなフレームレートを示し、値が2であればフレームレートがコンスタントであるかどうかが明らかではないことを示す。constantFrameRateの値は、0乃至2である。
【００９１】
frameRateは、frames/(256秒)の単位で平均フレームレートを示す。スケーラブルレイヤープレゼンテーション内の全てのNALユニットは、計算において考慮される。以下、Cは、スケーラブルレイヤー表現におけるフレームの数である。t1は、プレゼンテーション順のスケーラブルレイヤー表現における最初のピクチャのプレゼンテーションタイムスタンプである。t2は、プレゼンテーション順のスケーラブルレイヤー表現における最後のピクチャのプレゼンテーションタイムスタンプである。t1≠t2の場合、frameRateは、frameRate＝round(C×256÷(t2−t1))で計算される。t1＝t2であれば、frameRateは0となる。値がゼロであれば、規定されていないフレームレートを示す。
【００９２】
frm_widthおよびfrm_heightは、lumaサンプルにおいて、スケーラブルレイヤー表現の最大幅と高さをそれぞれ示す。用語"フレーム"は、SVC符号化仕様と同様に解釈される。
【００９３】
horizontal_offsetおよびvertical_offsetは、lumaサンプルにおいて、最上位のスケーラブルレイヤー表現によって表される領域全体の左上の画素に関連して、スケーラブルレイヤー表現によって表される長方形の領域の左上の画素の水平および垂直オフセットをそれぞれ示す。
【００９４】
region_widthおよびregion_heightは、lumaサンプルにおいて、最上位のスケーラブルレイヤー表現によって表される同じスケールの領域全体のlumaサンプルにおいて、スケーラブルレイヤー表現によって表される長方形の領域の幅と高さをそれぞれ示す。
【００９５】
entry_countは、以下の表においてエントリの数を示す。
【００９６】
dependencyLayerIdは、現在のスケーラブルレイヤーが直接的または間接的に依存するスケーラブルレイヤーのlayerIdを示す。dependencyLayerIdの値は、現在のスケーラブルレイヤーのlayerIdよりも小さい。現在のスケーラブルレイヤーの表現には、dependencyLayerによって示されるスケーラブルレイヤーの存在が必要である。
【００９７】
サブサンプル情報ボックスの構文を表5に示す。
【表５】
2008536420.tif 000008
【００９８】
例示的な一実施態様では、32ビットの予約済みフィールドの内の最初の8ビットを使用して、サブサンプルが属するスケーラブルレイヤー識別子をシグナリングする、すなわち、表6に示されるように、上述の最後の構文要素が２つの構文要素に分割される。
【表６】
2008536420.tif 000009
【００９９】
他のファイルフォーマット内にシグナリングをサポートするために、類似した方法を適用することもできる。ISOファイルフォーマットでサポートされていれば、必然的に、MPEG-4ファイルフォーマット、AVCファイルフォーマット、および3GPPファイルフォーマットのような、導出ファイルフォーマットでサポートされる。
【０１００】
発明者らは、ISOベースメディアファイルフォーマットから導出した以下のSVCファイルフォーマット（AVC FF Amd.2）を開発した。
【０１０１】
サンプルは、ISOベースメディアファイルフォーマットで以下のように定義される。
【０１０２】
非ヒントトラックでは、サンプルは、ビデオの個々のフレーム、時間連続的な一連のビデオフレーム、または時間連続的な圧縮されたオーディオのセクションである。ヒントトラックでは、サンプルは、１つ以上のストリーミングパケットの形成を定義する。トラック内の２つのサンプルは、同じタイムスタンプを共有することができない。
【０１０３】
スケーラブルビデオでは、特に空間的および品質スケーラビリティに対して、１つ以上のピクチャ（例、ベースレイヤーピクチャおよび空間的拡張レイヤーピクチャ）が同じタイムスタンプを共有することが可能であるので、トラック内の２つのサンプルは、同じタイムスタンプを共有することができないという上述の制約は適用されない。これらのピクチャが同じサンプル内に作成された場合は、サンプルへの構文解析が常に必要であるので、サーバーがスケーラブル切り捨てを行うには有用でない。
【０１０４】
SVC WD 1.0では、ピクチャは、以下のように定義される。
【０１０５】
ピクチャは、ピクチャのオーダーカウントおよびDependencyIdの同一値を有する一組のNALユニットから復号化される。対応するNALユニットは、ピクチャの全てのマクロブロックのスライスNALユニット、および場合により、追加的なプログレッシブリファインメントスライスNALユニットを含む。
【０１０６】
上述の定義によれば、プログレッシブリファインメントスライス（すなわち、FGSスライス）は、対応するベースレイヤーと同じピクチャ内にある。FGSスライスおよび対応するベースレイヤーが同じサンプル内に作成された場合は、サンプルへの構文解析が非FGSオぺレーションに対しても必要になるので、サーバーがスケーラブル切り捨てを行うには有用でない。したがって、例示的な一実施態様では、各FGS拡張プレーンまたは対応するベースレイヤーは、それ自体のピクチャに分割される。
【０１０７】
サブサンプルは、１つのサンプル内の１つ以上の連続的なNALユニットとして定義される。
【０１０８】
ProfileLevelBox内の予約済みフィールドの最初の8ビットを使用して、以下のような構文になるように、プロファイル互換性情報を含める。
【表７】
2008536420.tif 000010
【０１０９】
profile_compatibilityは、SVCビデオ仕様に定義されているように、シーケンスパラメータセット内のprofile_idcとlevel_idcとの間に生じるバイトと全く同じく定義されたバイトである。
【０１１０】
以下のスケーラビリティ情報タイプは、SVC符号化フォーマットに特有である。
-          DependencyIdおよびTemporalLevel
-          使用済みの初期値パラメータセット
-          バッファ情報
【０１１１】
その情報を格納するために、いくつかの新しいボックスを定義して情報を含めることができ、また必要に応じてそれらをScalabilityInfoEntry内に配置することができる。
【表８】
2008536420.tif 000011
【０１１２】
セマンティックスは、以下の通りである。
【０１１３】
dependency_idおよびtemporal_levelは、SVCビデオ仕様に定義されたDependencyIdおよびTemporalLevelのスケーラブルレイヤーの値をそれぞれ示す。
【０１１４】
numOfSequenceParameterSetsは、スケーラブルレイヤー表現を復号化するための初期の一組のシーケンスパラメータセットとして使用されるシーケンスパラメータセットの数を示す。
【０１１５】
sequenceParameterSetLengthは、SVCビデオ仕様に定義されたシーケンスパラメータセットNALユニットの長さをバイトで示す。
【０１１６】
sequenceParameterSetNALUnitは、SVCビデオ仕様に規定されているように、シーケンスパラメータセットNALユニットを含む。シーケンスパラメータセットは、許容されるギャップを有するパラメータセット識別子の昇順で生じる。
【０１１７】
numOfPictureParameterSetsは、スケーラブルレイヤー表現を復号化するための初期の一組のピクチャパラメータセットとして使用されるピクチャパラメータセットの数を示す。
【０１１８】
pictureParameterSetLengthは、SVCビデオ仕様に定義されたピクチャパラメータセットNALユニットの長さをバイトで示す。
【０１１９】
pictureParameterSetNALUnitは、SVCビデオ仕様に規定されているように、ピクチャパラメータセットNALユニットを含む。ピクチャパラメータセットは、許容されるギャップを有するパラメータセット識別子の昇順で生じる。
【０１２０】
operation_point_countは、オペレーションポイントの数を規定する。SVC HRDパラメータの値は、各オペレーションポイントに対して別々に規定される。operation_point_countの値は、0を超える値である。
【０１２１】
tx_byte_rateは、SVC HRDの符号化されたピクチャバッファ（coded picture buffer：CPB）への入力バイトレート（バイト/秒）を示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、NAL HRDパラメータに対するtx_byte_rateの値の8倍であるBitRateの値によって制約される。VCL HRDパラメータの場合、ビットレートの値は、tx_byte_rateの40/6倍である。tx_byte_rateの値は、0を超える値である。
【０１２２】
cpb_sizeは、符号化されたピクチャバッファの要求サイズをバイトで示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、NAL HRDパラメータに対するcpb_sizeの8倍であるCpbSizeの値によって制約される。VCL HRDパラメータの場合、CpbSizeの値は、cpb_sizeの40/6倍である。
【０１２３】
dpb_sizeは、復号化されたピクチャバッファの要求サイズをバイト単位で示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、Min(16, Floor(post_dec_buf_size) / (PicWidthMbs * FrameHeightInMbs * 256 * ChromaFormatFactor)))であるmax_dec_frame_bufferingの値によって制約される。
【０１２４】
同じオペレーションポイントのtx_byte_rate、cpb_size、およびdpb_sizeの値の内の少なくとも1組は、スケーラブルレイヤー表現のビットストリームのプロファイルおよびレベルによって、制約セットに適合する。
【０１２５】
init_cpb_delayは、第一のアクセスの第一のビットの復号器前のバッファにおける到着時間と、第一のアクセスユニットの復号器前のバッファからの除去時間との間に必要な遅延を示す。90 kHzクロックの単位である。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、init_cpb_delayである符号化されたピクチャバッファ（CPB）、tr,n( 0 )からの第一のアクセスユニットの公称除去時間の値によって制約される。
【０１２６】
init_dpb_delayは、第一の復号化されたピクチャの復号器後のバッファにおける到着時間と、第一の復号化されたピクチャの復号器後のバッファからの除去時間との間に必要な遅延を示す。90 kHzクロックの単位である。スケーラブルレイヤー表現のビットストリームは、クロックティック変数（tc）が1/90,000であると仮定して、SVCビデオ仕様に規定されているように、init_dpb_delayである出力順の第一の復号化されたピクチャに対するdpb_output_delayの値によって制約される。
【０１２７】
以下、ファイルフォーマットまたはビットストリームにおけるスケーラビリティ情報の格納のためのいくつかのモチベーションを示す。
【０１２８】
１つのスケーラブルストリームに対して数百ものトラックが存在する可能性があるので、レイヤーごとに別個のトラックを使用するのではなく、全てのレイヤーを単一のトラックに含めることが好ましい。
【０１２９】
サンプル/ピクチャのスケーラブルレイヤーへのマッピングは、グループ化の概念である。サンプルグループのデザインは、マッピング情報およびスケーラブルレイヤーのスケーラビリティレイヤー情報をシグナリングする簡潔な方法を提供する。
【０１３０】
多くのアプリケーションでは、スケーラブルレイヤーのスケーラビリティ情報の一部が、基本ストリーム全体または最上位のスケーラブルレイヤーと全く同じである。異なるオプションボックス内のスケーラビリティ情報を分類してシグナリングすることによって、それらの情報部分を重複して格納する必要がなくなる。加えて、ボックスを使用することは、より多くのスケーラビリティ情報が必要な場合に、新しいボックスをサンプルグループの記述エントリ内に有することによって前記情報を容易に含めることができる、という点においてフレキシブルである。
【０１３１】
ストリーミングサーバーがプロファイルPおよびレベルLのスケーラブルストリームを格納していると仮定すると、ストリームのスケーラブルレイヤーはプロファイルP1およびレベルL1となり、L1@P1に準拠する復号器の実装要件は、L@Pに準拠する復号器よりも単純になる。サーバーが、L1@P1に準拠する復号器によってビデオコンテンツをクライアントに供給しようとしている場合、サーバーは、L1@P1に準拠するスケーラブルレイヤーが存在するかどうかを、例えば、仮定的な基準復号器を実行することによって、そのストリームをチェックしなければならず、ストリーミングサーバーに対して更なる実装および計算の複雑化を課すことになる。各スケーラブルレイヤーにシグナリングされるプロファイルおよびレベル情報を有することによって、サーバー実装をさらに簡略化した上述のアプリケーションを可能にする。
【０１３２】
ビットレート、フレームレート、およびフレームサイズ情報は、必然的に、ビットレート、時間的および空間的スケーラビリティに必要とされる。領域情報は、N6880に必要とされるような、関心領域（ROI）スケーラビリティのサポートに有用である。
【０１３３】
異なるスケーラブルレイヤー表現の復号化には、異なるバッファサイズおよびバッファ遅延が必要である。バッファ情報が存在することによって、スケーラブルレイヤー表現の受信器/復号器が復号化に割り当てるメモリをより少なくするか、または初期値縁を短くすることができ、これらはいずれもエンドユーザエクスペリエンスの改善に有用である。
【０１３４】
全ての上位レイヤーが特定のスケーラブルレイヤー表現に必要ではないことは分かっているが、デフォルトではどのレイヤーが不要であるのかは分からない。レイヤー依存関係情報によって、ストリーミングサーバーは、複雑な実装を必要とするストリームの分析を行わずに、不必要な下位レイヤーを送信しないようにできる。
【０１３５】
ファイングラニュラリティスケーラビリティを有効にする前記情報は、スケーラブルレイヤーがファイングラニュラリティスケーラブル（FGS）レイヤーであるかどうかを示し、そのビットストリームデータユニットを任意のバイト配列位置において省略することができる。
【０１３６】
AVC（新たなSVC拡張でない）従来の符号化技術を用いて、例えば動作を制約されたスライスグループセットを使用してROIスケーラビリティを達成することができる。しかし、SVCファイルフォーマットをAVCファイルフォーマットと下位互換としなければならないという、要件（N6880の第4節）がある。この要件を満たしてROIスケーラビリティをサポートするには、ベースレイヤー（ROI領域）および拡張レイヤー（残りの領域）を同じサンプルとしなければならないので、サブサンプル情報が必要である。したがって、サブピクチャレイヤーをこのために用いることができる。
【０１３７】
復号化依存関係情報は、スケーラブル拡張レイヤーNALユニットのNALユニットヘッダーに含まれる。いくつかのアプリケーションでは、メディアアウェアネットワーク要素または受信器に、スケーラブルレイヤーを破棄することができる情報を知らせることが望ましい。メディアアウェアネットワーク要素または受信器の不必要なNALユニットの破棄を支援するには、復号化依存関係情報とスケーラブルレイヤー識別子との間のマッピングが必要である。
【０１３８】
スケーラブルレイヤー表現は、ストリーム全体の初期値パラメータセットの全てを使用することができないという事実から、それら全てのパラメータセットを送信すると、特に、一般的に、初期値パラメータが帯域外で確実に送信され、受信の確認応答が使用され、再送信が使用される場合があるので、伝送帯域幅を無駄にしたり、初期設定の遅延が長くなったりする場合がある。各スケーラブルレイヤー表現に対する初期値パラメータセットのシグナリングが、この問題を解決する。また、ビットストリームを分析することによって、サーバーが情報を獲得することも可能である。しかし、この場合、サーバーは、メディアアウェアであり、オンザフライでビットストリーム分析を行うことが必要である。
【０１３９】
伝送および制御プロトコルにおけるシグナリング
【０１４０】
ユニキャストストリーミング（例、3GPP PSS）では、サーバーは、各SDP記述が１つ以上のオルタナティブを含む複数のSDP記述を通じて、または複数のオルタナティブを含む１つのSDP記述を通じて、スケーラビリティ情報に基づいて、同じストリームに対して複数のオルタナティブを作成することができる。受信側端末は、オルタナティブのうちの一つを選択するか、またはいずれも選択しない。１つのオルタナティブを選択すると、サーバーは、どのレイヤーを伝送しなければならないかを承知する。
【０１４１】
マルチキャスト/ブロードキャストアプリケーションでは、異なる機能の受信側端末、または１つのストリームの異なるオルタナティブが異なる受信側端末に理想的となる異なるネットワーク条件が存在する場合がある。この場合、受信器を異なるマルチキャスト/ブロードキャストグループに分割することが可能であり、各グループ内の受信器は同じオルタナティブを共有する。この方法を使用することで、各受信側端末に対する利用可能帯域幅を効率的に用いることが可能である。
【０１４２】
全ての受信器が同じオルタナティブを共有するマルチキャスト/ブロードキャストグループの場合、ユニキャストの場合と同様に、関連するレイヤーがサーバー側から伝送される。
【０１４３】
しかし、２つ以上のマルチキャスト/ブロードキャストグループが存在する場合、サーバーは、各受信器が加入する１つのオルタナティブサービスを選択できるように、サービスアナウンスを通じて、どのオルタナティブが使用可能であるかを示さなければならない。これは、例えば、ユニキャストの場合と同じように、SDPを使用することによって達成することが可能である。
【０１４４】
また、１つの特定のマルチキャスト/ブロードキャストグループでは、複数のレイヤーを有する１つのオルタナティブが伝送され、一方で、受信器はレイヤーの内の１つを復号化して残りを破棄することを選択することが可能である。この方法を使用することで、送信されるストリームが少なくなるので、送信装置の利用可能帯域幅を効率的に用いることが可能である。この場合、同じマルチキャスト/ブロードキャストグループによって、サーバーは、異なる受信側端末の異なるプレファレンスを知る必要はない。しかし、それでもサーバーは、受信器がオルタナティブのうちのいずれかを復号化することができるかどうかを決定することができるように、サービスアナウンスを通じてオルタナティブ情報を示す必要がある。
【０１４５】
上述の２つの方法を互いに適用することもできる。すなわち、複数のマルチキャスト/ブロードキャストグループを存在させることが可能である。いくつかのグループでは、全ての受信器は、同じオルタナティブを復号化することができ、他のグループでは、いくつかの受信器は、受信したビットストリームデータの一部を破棄することが可能である。組み合わせた方法を使用して、サーバー内で利用可能な帯域幅の効率と、受信器内で利用可能な帯域幅の効率との両方をグローバルに最適化することが可能である。
【０１４６】
上述のように、本発明の範囲の実施態様は、コンピュータが実行可能な命令またはそこに格納されるデータ構造を担送または保持するためのコンピュータ可読のメディアを備えたプログラムを含む。当該のコンピュータ可読のメディアは、汎用または専用コンピュータがアクセスできるあらゆる利用可能なメディアとすることができる。一例として、当該のコンピュータ可読のメディアには、RAM、ROM、EPROM、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、所望のプログラムコードをコンピュータが実行可能な命令で担送または格納に使用でき、汎用または専用コンピュータがアクセスできる他のメディアが挙げられる。ネットワークまたは別の通信接続（有線、無線、または有線と無線の組み合わせ）を通じて情報がコンピュータに伝送または提供されるときに、コンピュータは厳密に、その接続をコンピュータ可読のメディアとみなす。したがって、あらゆる当該の接続は、厳密にコンピュータ可読の媒体と呼ばれる。上述のものの組み合わせも、コンピュータ可読のメディアの範囲に含まれる。コンピュータが実行可能な命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに特定の機能または機能グループを実行させる命令およびデータを含む。
【０１４７】
本発明を適用することができるシステムの一実施例を図1に示す。システムは、例えば本発明に基づいて符合化されたメディアストリームを含むファイル103を含む格納メディア102を有する送信サーバー101を備える。ファイル103は、１つ以上の信号としてモバイル通信ネットワークのようなネットワーク104に伝送される。ネットワーク104にはゲートウェイ105を存在させることができ、ファイル103を受信して、例えばMMSC107の制御によって、例えばネットワークの基地局106にそれを転送する。受信器108は、信号を受信して、その信号に含まれるスケーラビリティ情報および他の何らかの情報を複合化することができる。
【０１４８】
本発明は、ネットワーク化された環境内のコンピュータによって実行されるプログラムコードのような、コンピュータが実行可能な命令を含むプログラムによって、一実施態様において実行することが可能な、一般的な方法ステップのコンテキストで記述される。一般的に、プログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み、特定のタスクを実行したり、あるいは特定の抽象的データ型を実現する。コンピュータが実行可能な命令、関連するデータ構造、およびプログラムモジュールは、本願明細書に記載された方法のステップを実行するためのプログラムコードの実施例を示すものである。当該の実行可能な命令または関連するデータ構造の特定のシーケンスは、当該のステップに記載された機能を実行するための対応する動作の実施例を示すものである。
【０１４９】
本発明のソフトウェアおよびウェブ実装は、様々なデータベース検索ステップ、相関ステップ、比較ステップ、および決定ステップを達成するためのルールベースのロジックおよび他のロジックを有する、標準のプログラム技術によって達成することが可能である。また、本願明細書および請求項で使用される用語"コンポーネント"および"モジュール"は、１つ以上のラインのソフトウェアコード、および/またはハードウェア実装、および/または手動入力を受信するための機器を使用した実行を包含することを意図したものであることに留意されたい。
【０１５０】
本発明の実施態様の上述の記述は、図解および説明のために示したものである。本発明を網羅的とする、または開示された厳密な形態に制限することを目的としたものではなく、種々の変更およびバリエーションは、上述の教示に照らして生じうるか、または本発明の実施によって得ることが可能である。これらの実施態様は、本発明のプリンシパルおよびその実用的アプリケーションを説明し、考えられる特定の用途に適したものとして、種々の実施例において、また種々の変更とともに当業者が本発明を利用できるようにするために実施例を選択し、記載したものである。例えば、本発明の実施態様の記述は、主に時間的スケーラビリティに対して示されたものである。しかし、空間的スケーラビリティ、計算スケーラビリティ、および品質（信号対雑音）スケーラビリティのような、あらゆるスケーラビリティに適用可能である。さらに、多数の伝送プロトコルは、本発明を適用することができる。伝送プロトコルのうちのいくつかの限定されない実施例には、セッション記述プロトコル（Session Description Protocol：SDP）、リアルタイムストリーミングプロトコル（Real-Time Streming Protocol：RTSP）、およびセッション開始プロトコル（Session Initilization Protocol：SIP）が挙げられる。
【図面の簡単な説明】
【０１５１】
【図１】本発明を適用することができるシステムを示す図である。
【図２】本発明の例示的な一実施態様における、スケーラブルビットストリームに対する一組の少なくとも１つの特性情報のシグナリングを示す図である。
【図３】本発明の例示的な一実施態様における、符号化デバイスを示す図である。
【図４】本発明の例示的な一実施態様における、変換器デバイスを示す図である。
【図５】本発明の例示的な一実施態様における、復号器デバイスを示す図である。
【図１】
2008536420.tif 000016
【図２】
2008536420.tif 000017
【図３】
2008536420.tif 000018
【図４】
2008536420.tif 000019
【図５】
2008536420.tif 000020
【国際調査報告】
2008536420.tif 000021
2008536420.tif 000022
2008536420.tif 000023