(57)【要約】      （修正有）【課題】効率的な多重記述トランスコーディング方法を提供する。【解決手段】第１の伝送パスと第２の伝送パスの伝送パス特性とに基づいて、データブロックの中で第１の伝送プロトコルを使用して送信されるべき記述と第２の伝送プロトコルを使用して送信されるべき記述にとトランスコーディング・パラメータを決定し、第１の通信プロトコルと第２の通信プロトコルで送信されたときに期待歪みに基づいてトランスコーディング・パラメータを決定するようにさらに動作する最適化ユニットと、トランスコーディング・パラメータに応じて第１の記述に対する第１のパケットのシーケンスと第２の記述に対する第２のパケットのシーケンスとを生成するパケット生成ユニットと、第１の通信プロトコルに従って第１のパケットのシーケンスを送信する第１の送信ユニットと、第２の通信プロトコルに従って第２のパケットのシーケンスを送信する第２の送信ユニットとを備える。【選択図】図１Ｂ
2008193661.tif 000002
【特許請求の範囲】
【請求項１】
多重記述トランスコーディングのためのトランスコーディング・ノード（１３０，１３０’）であって、
第１の伝送パス（１３２）の伝送パス特性（ＮAi，ＰAi）と第２の伝送パス（１３４）の伝送パス特性（ＮBi，ＰBi）とに基づいて、データブロック（１１２）の中の第１の記述（１３３，１３３’）と第２の記述（１３５，１３５’）とのためのトランスコーディング・パラメータ（１４５）を決定するように動作する最適化ユニット（１４２，１４２’）であって、前記第１の伝送パスの前記伝送パス特性（ＮAi，ＰAi）が前記第１の伝送パスの利用可能なパケット数とパケット損失確率のペア（ＮAi，ＰAi）とを含むものであり、前記第２の伝送パス（１３４）の前記伝送パス特性（ＮBi，ＰBi）が前記第２の伝送パスの利用可能なパケット数とパケット損失確率のペア（ＮBi，ＰBi）とを含むものであり、前記第１の記述が第１の伝送プロトコルを使用して第１の個数（ＮA）個のパケットを含む第１のパケットのシーケンスとして送信されるべきものであり、前記第２の記述が前記第１の伝送プロトコルとは異なる第２の伝送プロトコルを使用して第２の個数（ＮB）個のパケットを含む第２のパケットのシーケンスとして送信されるべきものであり、前記最適化ユニットは、前記第１及び第２の通信プロトコルを介して送信されたときに、期待歪みに基づいて前記トランスコーディング・パラメータを決定するようにさらに動作するものであり、前記第１の伝送パス及び前記第２の伝送パスが最適化中に１つの複合伝送パスであるとみなされ、前記期待歪みが１つのパケットがいずれかの伝送パスで失われる確率に基づいて決定され、前記最適化ユニットは、前記第１の伝送パスの前記利用可能なパケットの個数（ＮAi）から前記第１のパケットの個数（ＮA）を決定し、前記第２の伝送パスの前記利用可能なパケットの個数（ＮBi）から前記第２のパケットの個数（ＮB）を決定するように動作するものであり、前記第１の個数（ＮA）のパケットと前記第２の個数（ＮB）のパケットとがトランスコーディング・パラメータ（１４５）である、最適化ユニット（１４２，１４２’）と、
前記トランスコーディング・パラメータ（１４５）に応じて、前記第１の記述に対する前記第１の個数（ＮA）のパケットを含む前記第１のパケットのシーケンスと、前記第２の記述に対する前記第２の個数（ＮB）のパケットを含む前記第２のパケットのシーケンスとを生成するように動作するパケット生成ユニット（１４０，１４０’）と、
前記第１の伝送パス（１３２）を介して前記第１の通信プロトコルに従って前記第１のパケットのシーケンスを送信し、前記第２の伝送パス（１３４）を介して前記第２の通信プロトコルに従って前記第２のパケットのシーケンスを送信するように動作する送信ユニット（１４６）と
を備えている、トランスコーディング・ノード。
【請求項２】
前記データブロック（１１２）の前記期待歪みが最小化されるように、前記最適化ユニット（１４２）が、前記トランスコーディング・パラメータを決定するように動作するものである、請求項１に記載のトランスコーディング・ノード。
【請求項３】
前記第１の記述（１３３，１３３’）と前記第１の伝送パス（１３２）とが第１の通信プロトコルに関連付けられ、前記第２の記述（１３５，１３５’）と前記第２の伝送パス（１３４）とが第２の通信プロトコルに関連付けられ、前記データブロック（１１２）が所与の個数（Ｍ）のデータブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM）を含むものである、請求項１又は２に記載のトランスコーディング・ノード。
【請求項４】
前記最適化ユニットが、トランスコーディング・パラメータとして、前記データブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM）の複数個のデータブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM；Ｌａｙｅｒ1〜Ｌａｙｅｒj）のうちの各データブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM）に関連付けられたセグメントのデータブロック部分固有の数（Ｎ1〜ＮM）を使用するように動作するものであり、
前記パケット生成ユニット（１４０，１４０’）が、前記複数個のデータブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM；Ｌａｙｅｒ1〜Ｌａｙｅｒj）のうちのそれぞれを、前記各データセグメントの前記データブロック部分固有の数（Ｎ1〜ＮM；Ｎ1〜Ｎj）に分割するように動作するものである、
請求項３に記載のトランスコーディング・ノード。
【請求項５】
前記複数個のデータブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM；Ｌａｙｅｒ1〜Ｌａｙｅｒj）のうちの前記データブロック部分は、それぞれがデータブロック部分固有の優先順位に関連付けられ、少なくとも２個のデータブロック部分が異なる優先順位に関連付けられ、
第１の優先順位が第２の優先順位より高いときに、前記第１の優先順位に関連付けられているデータブロック部分に関連付けられているセグメントのデータブロック固有の数（Ｎ1）が、前記第２の優先順位に関連付けられている第２のデータブロック部分（Ｌａｙｅｒ2）に関連付けられているセグメントのデータブロック固有の数（Ｎ2）以下であるように、前記最適化ユニット（１４２，１４２’）がセグメントの前記データブロック固有の数（Ｎ1〜ＮM）を決定するように動作するものである、
請求項４に記載のトランスコーディング・ノード。
【請求項６】
前記最適化ユニットが、トランスコーディング・パラメータとして、前記複数個のデータブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM；Ｌａｙｅｒ1〜Ｌａｙｅｒj）のうちの各データブロック部分に関連付けられているデータブロック部分固有の前方誤り訂正符号（ＦＥＣ1〜ＦＥＣM；ＦＥＣ1〜ＦＥＣj）を使用するように動作するものであり、前記データブロック部分固有の前方誤り訂正符号は、データブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM；Ｌａｙｅｒ1〜Ｌａｙｅｒj）が前記各データブロック部分に属しているデータセグメント（４１１，４１２）及び／又は符号セグメント（４１３，４１４，４１５）の前記データブロック部分セグメント数（Ｎ1〜Ｎj；Ｎ1〜ＮM）のいずれかの組み合わせに基づいて復元され得るように決定され、
前記パケット生成ユニット（１４０，１４０’）が、前記各データブロック部分固有のＦＥＣ符号（ＦＥＣ1〜ＦＥＣM；ＦＥＣ1〜ＦＥＣj）に基づいて、前記複数個のデータブロック部分のそれぞれに対して前記符号セグメントのデータブロック部分固有の数を生成するように動作するものであり、同じデータブロック部分に属している前記データセグメント及び前記符号セグメントが、同じデータブロック部分固有のセグメントサイズ（Ｌ1〜ＬM；Ｌ1〜Ｌj）を有するものである、
請求項５に記載のトランスコーディング・ノード。
【請求項７】
前記最適化ユニットは、前記複数個のデータブロック部分の個数が前記データブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM）の所与の個数未満であるように前記複数個のデータブロック部分（Ｌａｙｅｒ1〜Ｌａｙｅｒj）を選択し、前記第１のパケットのシーケンスを生成するために前記複数個のデータブロック部分のうちのデータセグメント及び／又は符号セグメントだけを使用するように動作するものである、請求項６に記載のトランスコーディング・ノード。
【請求項８】
前記最適化ユニットが、トランスコーディング・パラメータとして、前記第１の記述（１３３，１３３’）に関連付けられている第１のパケットの個数（ＮA）と、前記第２の記述（１３５，１３５’）に関連付けられている第２のパケットの個数（ＮB）とを使用するように動作するものであり、
前記パケット生成ユニット（１４０，１４０’）は、第１のパケットのシーケンス中の各パケットが、前記複数個のデータブロック部分のそれぞれから前記各データブロック部分に属している前記データセグメント又は前記符号セグメントのうちの１つを含むように、前記第１の記述（１３３，１３３’）に関連付けられた均等パケット長を有する第１のパケットのシーケンスを生成するように動作するものであり、前記シーケンスを形成するパケットの個数が前記第１のパケットの個数（ＮA）に等しく、前記パケット生成ユニット（１４０，１４０’）は、前記第２の記述（１３５，１３５’）に関連付けられている均等パケット長（Ｌ）を有する第２のパケットのシーケンスを生成するように動作するものであり、前記第１のシーケンスを形成するパケットの個数が前記第２のパケットの個数に等しい、
請求項６又は７に記載のトランスコーディング・ノード。
【請求項９】
前記パケット生成ユニット（１４０，１４０’）は、前記第２のシーケンス中の各パケットが前記複数個のデータブロック部分のそれぞれから前記各データブロック部分に属している１個のデータセグメント又は符号セグメントを含むように、前記第２の記述（１３５，１３５’）に関連付けられた均等パケット長（Ｌ）を有する前記第２のパケットのシーケンスを生成するように動作するものであり、前記均等パケット長が前記第１のパケットのシーケンスの前記均等パケット長に等しい、請求項６ないし９のいずれか一項に記載のトランスコーディング・ノード。
【請求項１０】
前記最適化ユニット（１４２）が、目的関数：
｛ＮA，ＮB，Ｎ1，Ｎ2，．．．，ＮM｝＝ａｒｇ  ｍｉｎ  ＥＤ（ＮA，ＮB，ＰA，ＰB，Ｎ1，Ｎ2，．．．ＮM）
に従って前記トランスコーディング・パラメータを決定するように動作するものであり、
前記最小化のための制約が、
【数１】
2008193661.tif 000057
【数２】
2008193661.tif 000058
Ｎ1≦Ｎ2≦．．．≦ＮM
ＮM≦ＮA＋ＮB
として定義され、ここで、ＮAは前記第１の記述に関連付けられている前記第１のパケットの個数を表し、ＮBは前記第２の記述に関連付けられている前記第２のパケットの個数を表し、Ｍは前記データブロックが含む前記所与のデータブロック部分の個数を表し、Ｎ1〜ＮMは前記複数個のデータブロック部分のうちのそれぞれが分割されたデータセグメントのデータブロック部分固有の数を表し、ＥＤは期待歪み関数を表し、Ｌは前記均等パケット長を表し、Ｒ1〜ＲMは前記各データブロック部分のデータブロック部分固有の長さを表し、
【数３】
2008193661.tif 000059
は前記第１の伝送パスの全ての可能な第１のパケットの個数（ＮAi）を表し、
【数４】
2008193661.tif 000060
は前記第２の伝送パスの全ての可能な第２の個数（ＮBi）を表す、
請求項８又は９に記載のトランスコーディング・ノード。
【請求項１１】
前記最適化ユニット（１４２）は、前記期待歪みに関する定義：
【数５】
2008193661.tif 000061
を使用するように動作するものであり、ここで、Ｓｏｕｒｃｅ＿Ｄｉｓｔｏｒｔｉｏｎ（Ｌａｙｅｒ1，Ｌａｙｅｒ2，Ｌａｙｅｒ3，．．．，ＬａｙｅｒM）は量子化誤差に起因するデータブロックのソース歪みであり、Ｄ（Ｌａｙｅｒi）は、ｉ＝１，２，．．．Ｍとして、Ｌａｙｅｒiが失われたときの付加的な歪みであり、ＮA＋ＮB個のパケットのうちのｉが失われる確率は、
【数６】
2008193661.tif 000062
であり、Ｐは１個のパケットがいずれかのパスで失われる確率であり、
【数７】
2008193661.tif 000063
によって定義され、また、Ｎ1、Ｎ2、．．．、ＮMは前記データブロック固有のセグメント数である、
請求項１０に記載のトランスコーディング・ノード。
【請求項１２】
前記最適化ユニット（１４２）が、反復ラグランジュ法に基づいて前記データブロック固有のセグメント数（Ｎ1〜ＮM）を決定するように動作するものである、請求項１１に記載のトランスコーディング・ノード。
【請求項１３】
前記最適化ユニット（１４２）が、高速反復ラグランジュ法に基づいて前記データブロック部分固有のセグメント数（Ｎ1〜ＮM）を決定するように動作するものであり、前記データブロック部分固有のセグメント数が、最高の優先順位を有するデータブロック部分のデータブロック部分固有のセグメント数（Ｎ1）の最小化から始めて独立に最小化される、請求項１１に記載のトランスコーディング・ノード。
【請求項１４】
前記最適化ユニット（１４２）が、グリーディ割り当て法に基づいて前記データブロック部分固有のセグメント数（Ｎ1〜ＮM）を決定するように動作する、請求項１１に記載のトランスコーディング・ノード。
【請求項１５】
前記最適化ユニット（１４２）が、前記グリーディ割り当て法のための、
ａ）前記データブロック部分のそれぞれの最小のデータブロックパス固有の数（Ｎ1）を決定するステップと、
ｂ）可変整数ステップサイズをインクリメントすることにより、データブロック部分固有のセグメント数（Ｎi）のあらゆる可能な増分から生じ、Ｄが総歪みであり、Ｌが総レートであり、ｔが反復回数であるとき、
【数８】
2008193661.tif 000064
として定義される勾配値を決定するステップと、
ｃ）前記勾配値を最小化する前記データブロック部分固有のセグメント数（Ｎi）を決定し、前記データブロック部分固有のセグメント数（Ｎi）を対応するステップサイズずつ増加させるステップと、
ｄ）Ｌが前記パケット長であり、Ｌ（反復）＝Ｌまで、ステップｂ）及びｃ）を繰り返すステップと、
を実行するように動作する、請求項１４に記載のトランスコーディング・ノード。
【請求項１６】
前記最適化ユニット（１４２）が、動的グリーディ・アルゴリズムを使用し、切り捨てデータブロック部分（Ｌａｙｅｒj）でデータブロックを切り捨て、動的グリーディ・アルゴリズムのための以下のステップ、
ａ）パケットの総数を可能な総パケット数（Ｎj）の所与の整数倍に設定するステップと、
ｂ）請求項１１に記載された基本アルゴリズムを適用し、優先順位の低い方のデータブロック部分の前記データブロック部分固有の数が前記総パケット数より大きいならば（Ｎj+1＞Ｎ）、切り捨てデータブロック部分としてデータブロック部分を定義することにより、前記切り捨てデータブロック部分を決定するステップと、
ｃ）前記データブロック部分固有のセグメント数（Ｎ1〜ＮM；Ｎ1〜Ｎj）を決定するために請求項１１に記載された基本アルゴリズムを適用するステップと
を実行するように動作するものであり、
前記パケット生成ユニット（１４４）が、前記第１又は第２の記述を生成する優先順位がより低いデータパケット部分（Ｎj+1〜ＮM）のデータセグメント及び／又は符号セグメントを使用しないように動作するものである、
請求項１５に記載のトランスコーディング・ノード。
【請求項１７】
前記最適化ユニット（１４２）が、主歪み及び副歪みによって定義される期待歪みを使用するように動作するものであり、前記主歪みが前記第１及び第２の記述を考慮し、前記副歪みが前記記述のうちの一方だけを考慮している、請求項１ないし１６のいずれか一項に記載のトランスコーディング・ノード。
【請求項１８】
前記最適化ユニット（１４２）が、
期待歪み＝Ｄc＋μ×Ｄs
という式に基づいて前記期待歪みを決定するように動作するものであり、ここで、Ｄcが前記主歪みであり、Ｄsが前記副歪みであり、μが倍率である、
請求項１７に記載のトランスコーディング・ノード。
【請求項１９】
前記最適化ユニット（１４２）が、主歪みと第１の副歪みと第２の副歪みとによって定義された期待歪みを使用するように動作するものであり、前記主歪みが前記第１の記述及び前記第２の記述を考慮し、前記第１の歪みが前記第１の記述だけを考慮し、前記第２の歪みが前記第２の記述だけを考慮する、請求項１ないし１６のいずれか一項に記載のトランスコーディング・ノード。
【請求項２０】
前記最適化ユニット（１４２）が、
期待歪み＝Ｄc＋μ1×Ｄs1＋μ2×Ｄs2
という式に基づいて前記期待歪みを決定するように動作するものであり、ここで、Ｄcは前記主歪みであり、Ｄs1は前記第１の副歪みであり、Ｄs2は前記第２の副歪みであり、μ1は第１の倍率であり、μ2は第２の倍率である、
請求項１５に記載のトランスコーディング・ノード。
【請求項２１】
前記最適化ユニット（１４２’）は、前記第１のパケットの個数（ＮA）と、前記複数個のデータブロック部分（Ｌａｙｅｒ1，Ｌａｙｅｒj）のための前記データブロック部分固有のセグメント数（Ｎ1−Ｎj）及び前記データブロック部分固有の前方誤り訂正符号（ＦＥＣ1−ＦＥＣj）とが、前記第１の伝送パス特性（ＮA，ＰA）だけを考慮して決定されるように、前記トランスコーディング・パラメータを決定し、前記第１の伝送パス特性と前記第２の伝送パス特性とを考慮して、前記第２のパケットの個数（ＮB）と、少なくとも１個の他のデータブロック部分（Ｌａｙｅｒj+1〜ＬａｙｅｒM）のための少なくとも１個の他のデータブロック部分固有のセグメント数（Ｎj+1，ＮM）及び少なくとも１個の他のデータブロック部分固有のＦＥＣ符号（ＦＥＣj+1〜ＦＥＣM）とを決定するようにさらに動作するものであり、
前記パケット生成ユニット（１４４’）が、
前記少なくとも１個の他のデータブロック部分（Ｌａｙｅｒj+1〜ＬａｙｅｒM）のため、前記各データブロック部分固有のＦＥＣ符号（ＦＥＣj+1〜ＦＥＣM）に基づいて、前記符号セグメントのデータブロック部分固有の数（ＮB）を生成するように動作し、同一の少なくとも１個の他のデータブロック部分に属している前記データセグメント及び前記符号セグメントが、同一のデータブロック部分固有のセグメントサイズを有しており、
前記パケット生成ユニット（１４４’）が、
前記第２のシーケンスの各パケットが、前記複数個のデータブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM）のそれぞれから前記各データブロック部分に属している１個の符号セグメントの少なくとも一部分を含み、及び／又は、前記少なくとも１個の他のデータブロック部分（Ｌａｙｅｒj+1〜ＬａｙｅｒM）から前記各少なくとも１個の他のデータブロック部分（Ｌａｙｅｒj+1〜ＬａｙｅｒM）に属している前記データセグメント又は符号セグメントのうちの１つを含むように、前記第２の記述に関連付けられた均等パケット長を有する第２のパケットのシーケンスを生成するように動作するものである、
請求項８に記載のトランスコーディング・ノード。
【請求項２２】
前記最適化ユニット（１４２’）が、全パケットが同じパケット長（Ｌ）を有し、かつ、第２のパケットのシーケンスの各パケットが前記複数個のデータブロック部分（Ｌａｙｅｒ1〜ＬａｙｅｒM）のそれぞれの１個のサブセグメントを含むように、前記複数個のデータブロック部分（Ｌａｙｅｒ1〜Ｌａｙｅｒj）に属している前記データセグメント又は符号セグメントが均等サイズ化されたサブセグメントに分割されるという制約に基づいて、トランスコーディング・パラメータを決定するように動作するものである、請求項２１に記載のトランスコーディング・ノード。
【請求項２３】
前記最適化ユニット（１４２’）が、第１の期待歪み関数に基づいて前記第１の記述を決定し、第２の期待歪み関数に基づいて前記第２の記述を決定するように動作するものである、請求項２２に記載のトランスコーディング・ノード。
【請求項２４】
前記第１の期待歪みが、
【数９】
2008193661.tif 000065
但し、Ｎ（Ｌａｙｅｒi）＝ｍａｘｉｍｕｍ（Ｎi−ｎ＿ｓｅｇｍｅｎｔ（ｉ，ｋ，ｔ，Ｎ（Ｌａｙｅｒi-1））
によって定義され、ここで、ＥＤは前期期待歪みであり、ＮAは前記第１のパケットの個数であり、ＮBは前記第２のパケットの個数であり、Ｄは前記付加的な歪みであり、Ｎiは前記データブロック部分固有のセグメント数であり、ｉは前記データブロック部分のインデックスであり、ｋは加算インデックスであり、ｔは前記第２の記述に追加された前記複数個のデータブロック部分のセグメント数であり、ｎ＿ｓｅｇｍｅｎｔは前記第２の記述の正しく受信されたパケット数である、
請求項２３に記載のトランスコーディング・ノード。
【請求項２５】
前記最適化ユニット（１４２’）が、前記第２の記述のために以下の期待歪み関数、
【数１０】
2008193661.tif 000066
ここで、ＥＤ（ｋ）＝０、ｎ＿ｓｅｇｍｅｎｔ（ｉ，ｋ，ｔ）≧ＮB
さもなければ、
【数１１】
2008193661.tif 000067
を使用するように動作するものである、請求項２３又は２４に記載のトランスコーディング・ノード。
【請求項２６】
前記最適化ユニット（１４２’）が、
（ａ）前記複数個のデータブロック部分の送信されるサブセグメントの個数と、前記少なくとも１個の他のデータブロック部分（Ｌａｙｅｒj+1〜ＬａｙｅｒM）のセグメントの個数とを設定するステップと、
（ｂ）ｉが前記データブロック部分のインデックスであり、ｔ（ｉ）が前記複数個のデータブロック部分のセグメントの前記個数及び前記少なくとも１個の他のデータブロック部分のセグメントの前記個数であり、ＥＤ（ｉ，ｔ）が前記期待歪み関数であり、Ｌ（ｉ，ｔ）が固定パケット長に関して前記セグメント又はサブセグメントによって占められている前記パケットの部分を指示するレートである場合に、データブロック部分毎に、以下の式：
【数１２】
2008193661.tif 000068
によって定義される、前記各サブセグメント又はセグメントを前記第２の記述に追加するコストを決定するステップと、
（ｃ）コスト関数を最大化するサブセグメント又はセグメントをデータブロック部分のための２つの前記第２の記述に追加するステップと、
（ｄ）Ｌがパケット長であるとして、
【数１３】
2008193661.tif 000069
が満たされるまで、ステップ（ｂ）及び（ｃ）を繰り返すステップと
を実行するグリーディ割り当てアルゴリズムに従って、データブロック部分毎にデータブロック部分の個数を決定するように動作するものである、請求項２５に記載のトランスコーディング・ノード。
【請求項２７】
各データブロック部分がデータブロック部分固有のセクション数（Ｋ1〜ＫM）によって表されるように、前記データブロック部分が前記データブロック部分に共通している共通サイズ（ｌ）を有するデータセクションに分割され、
前記最適化ユニット（１４２，１４２’）及び前記パケット生成ユニット（１４０，１４０’）が、最適化及びパケット生成のため前記セクションを使用するように動作するものである、請求項３〜ないし２６のいずれか一項に記載のトランスコーディング・ノード。
【請求項２８】
前記パケット生成ユニット（１４０，１４０’）は、前記第２のパケットのシーケンスの各パケットが前記第１のパケットのシーケンスに含まれないように、前記第２のパケットのシーケンスを生成するようにさらに動作するものである、請求項１ないし２７のいずれか一項に記載のトランスコーディング・ノード（１３０，１３０’）。
【請求項２９】
前記最適化ユニット（１４２）が、前記第１のパスの前記伝送パス特性（ＮAi，ＰAi）と前記第２のパスの前記伝送パス特性（ＮBi，ＰBi）の全部又は複数個の可能な組み合わせに対する前記トランスコーディング・パラメータを決定するように動作するものである、請求項１ないし２８のいずれか一項に記載のトランスコーディング・ノード。
【請求項３０】
前記最適化ユニット（１４２，１４２’）が、前記データブロックが属しているデータブロックタイプに基づいて、又は、前記第１又は第２の伝送プロトコルに基づいて、前記パケット長（Ｌ）を決定するように動作するものである、請求項１ないし２９のいずれか一項に記載のトランスコーディング・ノード。
【請求項３１】
第３の通信プロトコルによって前記データブロック（１１２）を受信するように動作する受信ユニット（１４８）をさらに備えている、請求項１ないし３０のいずれか一項に記載のトランスコーディング・ノード。
【請求項３２】
前記トランスコーディング・パラメータを記憶するように動作するメモリ（１４４）をさらに備え、
前記パケット生成ユニット（１４０，１４０’）が、前記最適化ユニット（１４２，１４２’）又は前記メモリ（１４４）から前記トランスコーディング・パラメータを受信するように動作するものである、
請求項１ないし３１のいずれか一項に記載のトランスコーディング・ノード。
【請求項３３】
前記最適化ユニット（１４２，１４２’）が、データブロック毎に個別に前記トランスコーディング・パラメータを決定するように動作するものである、請求項１ないし３２のいずれか一項に記載のトランスコーディング・ノード。
【請求項３４】
前記最適化ユニット（１４２，１４２’）が、前記第１及び第２のパスの前記伝送パス特性が変化したかどうかをチェックし、前記伝送パス特性が変化したときには前記トランスコーディング・パラメータを決定するように動作するものである、請求項１ないし３３のいずれか一項に記載のトランスコーディング・ノード。
【請求項３５】
前記パケット生成ユニット（１４０，１４０’）が、前記第１又は第２の記述のパケットにヘッダを追加するように動作するものであり、前記ヘッダが、前記データブロックに関連付けられ、かつ、他のデータブロックのデータブロック識別子とは異なるようなデータブロック識別子を含むものである、請求項１ないし３４のいずれか一項に記載のトランスコーディング・ノード。
【請求項３６】
多重記述データを受信する逆トランスコーディング・ノードであって、
第１の通信プロトコルに従ってパケットを受信し、前記パケットの受信が成功したかどうかをチェックし、受信に成功したパケットから第１のパケットのシーケンスを生成するように動作するものである第１の受信ユニット（１６６）と、
前記第１の通信プロトコルとは異なる第２の通信プロトコルに従ってパケットを受信し、前記パケットの受信が成功したかどうかをチェックし、受信に成功したパケットから第２のパケットのシーケンスを生成するように動作するものである第２の受信ユニット（１６７）と、
前記第１のパケットのシーケンス及び前記第２のパケットのシーケンス（１７１，１７２）を受信するように動作するパケットマージユニット（１６０）であって、前記第１のパケットのシーケンス及び前記第２のパケットのシーケンスが、データセグメント及び／又は符号セグメントを含み、前記パケットのそれぞれに含まれる各データセグメント及び／又は各符号セグメントが、データブロックの異なったデータブロック部分と関連付けられている、パケットマージユニット（１６０）とを備えており、
前記パケットマージユニットが、
前記第１のシーケンス中の前記パケット又は前記第２のシーケンス中の前記パケットが同じデータブロックに属しているかどうかを決定し、
データブロック部分固有のセグメントとして、前記同じデータブロックに属しているパケットから前記同じデータブロック部分に関連付けられたデータセグメント及び／又は符号セグメントを取り出し、
前記データブロック部分固有のセグメントの個数がデータブロック部分の所与のデータブロック部分固有数に少なくとも等しいときに、データブロック部分固有の誤り訂正符号に従って前記データブロック部分固有のセグメントを復号化し、
少なくとも１個の前記復号化されたデータブロック部分固有のセグメントに基づいて、復元されたデータブロックを生成するものである、
逆トランスコーディング・ノード。
【請求項３７】
前記第１のシーケンス中のパケット及び前記第２のシーケンス中のパケットがデータブロック識別子を収容するヘッダを含み、
前記パケットマージユニット（１６０）が、前記データブロック識別子に基づいて、前記第１又は前記第２のシーケンス中のパケットが前記同じデータブロックに属しているかどうかを決定するように動作する、
請求項３６に記載の逆トランスコーディング・ノード。
【請求項３８】
第１の伝送パス（１３２）の伝送パス特性（ＮAi，ＰAi）と第２の伝送パス（１３４）の伝送パス特性（ＮBi，ＰBi）に基づいて、データブロック（１１２）の第１の記述（１３３，１３３’）及び第２の記述（１３５，１３５’）に対するトランスコーディング・パラメータ（１４５）を決定するステップであって、前記第１の伝送パスの前記伝送パス特性が、第１の伝送パスの利用可能なパケット数と第１の伝送パスのパケット損失確率のペア（ＮAi，ＰAi）とを含み、前記第２の伝送パスの前記伝送パス特性が、第２の伝送パス（１３４）の利用可能なパケット数と第２の伝送パス（１３４）のパケット損失確率のペア（ＮBi，ＰBi）とを含み、前記第１の記述が、第１の伝送プロトコルを使用して第１の個数（ＮA）のパケットを含む第１のパケットのシーケンスとして送信されるべきものであり、前記第２の記述が、前記第１の伝送プロトコルとは異なる第２の伝送プロトコルを使用して第２の個数（ＮB）のパケットを含む第２のパケットのシーケンスとして送信されるべきものであり、最適化ユニット（１４２）が、前記第１の通信プロトコル及び前記第２の通信プロトコルによって送信されたときに期待歪みに基づいて前記トランスコーディング・パラメータを決定するようにさらに動作し、前記第１の伝送パス及び前記第２の伝送パスが、最適化中において１つの複合伝送パスとしてみなされ、前記期待歪みが１個のパケットがいずれかの伝送パス上で失われる確率に基づいて決定され、前記最適化ユニット（１４２，１４２’）が、前記第１の伝送パスの前記利用可能なパケット数（ＮAi）から前記第１のパケットの個数（ＮA）決定し、前記第２の伝送パスの前記利用可能なパケット数（ＮBi）から前記第２のパケットの個数（ＮB）を決定し、前記第１のパケットの個数（ＮA）及び前記第２のパケットの個数（ＮB）が、トランスコーディング・パラメータ（１４５）である、ステップと、
前記トランスコーディング・パラメータ（１４５）に応じて、前記第１の記述に対する前記第１の個数（ＮA）のパケットを含む第１のパケットのシーケンスと、前記第２の記述に対する前記第２の個数のパケット（ＮB）を含む第２のパケットのシーケンスとを生成するステップと、
前記第１の伝送パス（１３２）を介して前記第１の通信プロトコルに従って前記第１のパケットのシーケンスを送信するステップと、
前記第２の伝送パス（１３４）を介して前記第２の通信プロトコルに従って前記第２のパケットのシーケンスを送信するステップと
を含む、多重記述トランスコーディング方法。
【請求項３９】
第１の通信プロトコルに従ってパケットを受信するステップと、
前記第１の通信プロトコルに従って前記パケットの受信が成功したかどうかをチェックするステップと、
前記第１の通信プロトコルに従って受信に成功したパケットから第１のパケットのシーケンスを生成するステップと、
前記第１の通信プロトコルとは異なる第２の通信プロトコルに従ってパケットを受信するステップと、
前記第２の通信プロトコルに従って前記パケットの受信が成功したかどうかをチェックするステップと、
前記第２の通信プロトコルに従って受信に成功したパケットから第２のパケットのシーケンスを生成するステップと、
前記第１のパケットのシーケンス及び前記第２のパケットのシーケンス（１７１，１７２）を受信するステップであって、前記第１のパケットのシーケンス及び前記第２のパケットのシーケンス（１７１，１７２）が、データセグメント及び／又は符号セグメントを含み、前記パケットのそれぞれに含まれている各データセグメント及び／又は各符号セグメントが、データブロックの異なったデータブロック部分に関連付けられている、ステップと、
前記第１のシーケンス中の前記パケット又は前記第２のシーケンス中の前記パケットが同じデータブロックに属しているかどうかを決定するステップと、
データブロック部分固有のセグメントとして、前記同じデータブロックに属しているパケットから前記同じデータブロック部分に関連付けられているデータセグメント及び／又は符号セグメントを取り出すステップと、
前記データブロック部分固有のセグメントの個数がデータブロック部分の所与のデータブロック部分固有数に少なくとも等しいときに、データブロック部分固有の誤り訂正符号に従って前記データブロック部分固有のセグメントを復号化するステップと、
少なくとも１個の前記復号化されたデータブロック部分固有のセグメントに基づいて、復元されたデータブロックを生成するステップと、
を含む、多重記述符号化データの逆トランスコーディング方法。
【請求項４０】
コンピュータ上で動くときに請求項３８又は３９に記載された本発明の方法を実行するようなプログラム・コードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信ネットワークの分野に関し、特に、ワイヤレス機器へのメディアストリーミングに関する。
【背景技術】
【０００２】
ビデオをあるフォーマットから別のフォーマットへ変換するプロセスであるビデオトランスコーディングは、送信機と受信機との間のリンクの異種性に対処するために徹底的に取り組まれてきた。様々なチャネル要件に適合させるために、トランスコーディングが一部の中間ノードで必要とされる。標準的なトランスコーディング（ＭＰＥＧ２からＨ．２６４へ、Ｈ．２６３からＨ．２６４へなど）、解像度スケーリング（空間的トランスコーディング）、ビットレート変換（品質トランスコーディング）、及びフレームレート変換（時間的トランスコーディング）は、非特許文献１に記載されているように、ビデオトランスコーディングメカニズムの一部の例である。
【０００３】
他方では、多重記述（ＭＤ）ビデオ符号化は、非特許文献２に記載されているように、パスダイバーシチと組み合わされたときに、誤り耐性を提供することが可能である。ビデオソースは、独立したパスで伝送される複数の記述に分解される。各記述は、受信機側で独立に復号化され得る。受信品質は、受信された記述の個数によって決定される。ＭＤビデオ符号化は、非特許文献３に記載されているような様々な方法で実現される。時間的ダウンサンプリング（例えば、フレームの偶数／奇数分離（非特許文献２）、さらに非特許文献４）は、ソースを様々な組に分割し、各組を独立に符号化する。非特許文献５に記載されているような空間的ダウンサンプリングは、ピクセルドメイン又は周波数ドメインにおけるソースを同様に様々な組に分割する。ある種の冗長性又は相関、例えば、非特許文献６及び非特許文献７が、その後に、様々なストリームの間に導入されている。非特許文献８に記載されているようなチャネル符号化もまた同様に、様々な記述の間で不均一誤り保護（unequal error protection）を行うために使用される。
【０００４】
その一方で、多重記述ビデオトランスコーディング（ＭＤＶＴ）についての関連した研究はない。ＭＤビデオトランスコーディングとは、デコーダ−エンコーダの実施を経由することなく、単一記述（ＳＤ）で符号化されたビデオをＭＤビデオストリームに変換することを意味する。
【非特許文献１】Ｙｕｎ  Ｘｉｎ等，「Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｔｒａｎｓｃｏｄｉｎｇ」，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，ｖｏｌ．９３，ｎｏ．１，Ｊａｎ．２００５
【非特許文献２】Ｊ．Ｇ  Ａｐｏｓｔｏｌｏｐｏｕｌｏｓ，「Ｒｅｌｉａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｏｖｅｒ  Ｌｏｓｓｙ  Ｐａｃｋｅｔ  Ｎｅｔｗｏｒｋｓ  ｕｓｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ｓｔａｔｅ  Ｅｎｃｏｄｉｎｇ  ａｎｄ  Ｐａｔｈ  ｄｉｖｅｒｓｉｔｙ」，Ｐｒｏｃ．Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．３９２−４０９，Ｊａｎ．２００１
【非特許文献３】Ｖ．Ｋ  Ｇｏｙａｌ，「Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｃｏｄｉｎｇ：Ｃｏｍｐｒｅｓｓｉｏｎ  ｍｅｅｔｓ  ｔｈｅ  ｎｅｔｗｏｒｋ」，ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇ．，ｖｏｌ．１８，ｎｏ．５，ｐｐ．７４−９３，Ｓｅｐｔ．２００１
【非特許文献４】Ａｕｄｉｏ−Ｖｉｓｕａｌ  Ｓｅｒｖｉｃｅｓ  ｏｖｅｒ  Ｐａｃｋｅｔ  Ｎｅｔｗｏｒｋｓ  Ｃｏｎｆ．，Ａｂｅｒｄｅｅｎ，Ｕ．Ｋ．，１９９７で公開されたＳ．Ｗｅｎｇｅｒ，「Ｖｉｄｅｏ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｏｄｉｎｇ  ｉｎ  Ｈ．２６３＋」
【非特許文献５】Ｗ．Ｊｉａｎｇ，Ａ．Ｏｒｔｅｇａ，「Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｃｏｄｉｎｇ  ｖｉａ  Ｐｏｌｙｐｈａｓｅ  Ｔｒａｎｓｆｏｒｍ  ａｎｄ  Ｓｅｌｅｃｔｉｖｅ  Ｑｕａｎｔｉｚａｔｉｏｎ」，Ｐｒｏｃ．ｏｆ  ＶＣＩＰ  ’９９，Ｓａｎ  Ｊｏｓｅ，ＵＳＡ，Ｊａｎ．１９９９
【非特許文献６】Ｙ．Ｗａｎｇ等，「Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｃｏｄｉｎｇ  ｕｓｉｎｇ  Ｐａｉｒｗｉｓｅ  Ｃｏｒｒｅｌａｔｉｎｇ  Ｔｒａｎｓｆｏｒｍｓ」，ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃ．，ｖｏｌ．１０，ｐｐ．３５１−３６６，Ｍａｒｃｈ  ２００１
【非特許文献７】Ｋ．Ｍａｔｔｙ  ａｎｄ  Ｌ．Ｋｏｎｄｉ，「Ｂａｌａｎｃｅｄ  Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｕｓｉｎｇ  Ｏｐｔｉｍａｌ  Ｐａｒｔｉｔｉｏｎｉｎｇ  ｏｆ  ｔｈｅ  ＤＣＴ  Ｃｏｅｆｆｉｃｉｅｎｔｓ」、ＩＥＥＥ  ＩＣＡＳＳＰ  ２００４
【非特許文献８】Ｒ．Ｐｕｒｉ  ａｎｄ  Ｋ．Ｒａｍｃｈａｎｄｒａｎ，「Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｓｏｕｒｃｅ  Ｃｏｄｉｎｇ  ｔｈｒｏｕｇｈ  Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｒｒｅｃｔｉｏｎ  Ｃｏｄｅｓ」，ｉｎ  Ｐｒｏｃ．３３rd  Ａｓｉｌｏｍａｒ  Ｃｏｎｆ．Ｓｉｇｎａｌｓ，Ｓｙｓｔｅｍ  Ｃｏｍｐ．，ｖｏｌ．１，１９９９，ｐｐ．３４２−３４６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、トランスコーディング・ノードと、逆トランスコーディング・ノードと、より効率的な多重記述トランスコーディング方法とを提供することである。
【０００６】
本発明のさらなる目的は、ネットワーク内における多重記述メディア・トランスコーディング（in-network multiple description media transcoding）の効率的な解決策を提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、請求項１に記載されたトランスコーディング・ノード、請求項３６に記載された逆トランスコーディング・ノード、請求項３８に記載されたトランスコーディング方法、請求項３９に記載された逆トランスコーディング方法、及び、請求項４０に記載されたコンピュータプログラムによって達成される。
【０００８】
本発明は、
第１の伝送パスの伝送パス特性及び第２の伝送パスの伝送パス特性に基づいて、データブロックの中で第１の伝送プロトコルを使用して送信されるべき第１の記述及び前記第１の通信プロトコルとは異なる第２の伝送プロトコルを使用して送信されるべき第２の記述に対するトランスコーディング・パラメータを決定するように動作し、前記第１の通信プロトコル及び前記第２の通信プロトコルによって送信されたときに期待歪みに基づいて前記トランスコーディング・パラメータを決定するようにさらに動作するものである最適化ユニットと、
前記トランスコーディング・パラメータに応じて前記第１の記述に対する第１のパケットのシーケンスと前記第２の記述に対する第２のパケットのシーケンスとを生成するように動作するものであるパケット生成ユニットと、
前記第１の通信プロトコルに従って前記第１のパケットのシーケンスを送信するように動作するものである第１の送信ユニットと、
前記第２の通信プロトコルに従って前記第２のパケットのシーケンスを送信するように動作する第２の送信ユニットと
を備える多重記述トランスコーディングのためのトランスコーディング・ノードを提供する。
【０００９】
本発明は、
第１の通信プロトコルに従ってパケットを受信し、前記パケットの受信が成功したかどうかをチェックし、受信に成功したパケットから第１のパケットのシーケンスを生成するように動作するものである第１の受信ユニットと、
前記第１の通信プロトコルとは異なる第２の通信プロトコルに従ってパケットを受信し、前記パケットの受信が成功したかどうかをチェックし、受信に成功したパケットから第２のパケットのシーケンスを生成するように動作するものである第２の受信ユニットと、
各パケットに含まれる各データセグメント及び／又は各符号セグメントがデータブロックの異なったデータブロック部分に関連付けられているデータセグメント及び／又は符号セグメントを含む前記第１のパケットのシーケンス及び前記第２のパケットのシーケンスを受信し、前記第１のシーケンス中の前記パケット又は前記第２のシーケンス中の前記パケットが同じデータブロックに属しているかどうかを決定し、データブロック部分固有のセグメント（datablock part specific segment）として、前記同じデータブロックに属しているパケットから前記同じデータブロック部分に関連付けられているデータセグメント及び／又は符号セグメントを取り出し、前記データブロック部分固有のセグメントの個数がデータブロック部分の所与のデータブロック部分固有の数（datablock part specific number）に少なくとも等しいときに、データブロック部分固有の誤り訂正符号（datablock part specific error correction code）に従って前記データブロック部分固有のセグメントを復号化し、少なくとも１個の前記復号化されたデータブロック部分固有のセグメントに基づいて復元データブロックを生成するように動作するものであるパケットマージユニットと
を備える、多重記述データを受信する逆トランスコーディング・ノードをさらに提供する。
【００１０】
本発明は、
第１の伝送パスの伝送パス特性及び第２の伝送パスの伝送パス特性に基づいて、データブロックの中で第１の伝送プロトコルを使用して送信されるべき第１の記述と前記第１の通信プロトコルとは異なる第２の伝送プロトコルを使用して送信されるべき第２の記述とに対するトランスコーディング・パラメータを決定するステップであって、最適化ユニットが、前記第１の通信プロトコル及び前記第２の通信プロトコルによって送信されたときに、期待歪みに基づいて前記トランスコーディング・パラメータを決定するようにさらに動作する、ステップと、
前記トランスコーディング・パラメータに応じて前記第１の記述に対する第１のパケットのシーケンス及び前記第２の記述に対する第２のパケットのシーケンスを生成するステップと、
前記第１の通信プロトコルに従って前記第１のパケットのシーケンスを送信するステップと、
前記第２の通信プロトコルに従って前記第２のパケットのシーケンスを送信するステップと
を含む、多重記述トランスコーディング方法を提供する。
【００１１】
本発明は、
第１の通信プロトコルに従ってパケットを受信するステップと、
前記第１の通信プロトコルに従って前記パケットの受信が成功したかどうかをチェックするステップと、
前記第１の通信プロトコルに従って受信に成功したパケットから第１のパケットのシーケンスを生成するステップと、
前記第１の通信プロトコルとは異なる第２の通信プロトコルに従ってパケットを受信するステップと、
前記第２の通信プロトコルに従って前記パケットの受信が成功したかどうかをチェックするステップと、
前記第２の通信プロトコルに従って受信に成功したパケットから第２のパケットのシーケンスを生成するステップと、
前記第１のパケットのシーケンス及び前記第２のパケットのシーケンス（１７１，１７２）を受信するステップであって、前記第１のパケットのシーケンス及び前記第２のパケットのシーケンスが、データセグメント及び／又は符号セグメントを含み、前記パケットのそれぞれに含まれる各データセグメント及び／又は各符号セグメントが、データブロックの異なったデータブロック部分に関連付けられている、ステップと、
前記第１のシーケンス中の前記パケット又は前記第２のシーケンス中の前記パケットが同じデータブロックに属しているかどうかを決定するステップと、
データブロック部分固有のセグメントとして、前記同じデータブロックに属しているパケットから前記同じデータブロック部分に関連付けられているデータセグメント及び／又は符号セグメントを取り出すステップと、
前記データブロック部分固有のセグメントの個数がデータブロック部分の所定のデータブロック部分固有の数に少なくとも等しいときに、データブロック部分固有の誤り訂正符号に従って前記データブロック部分固有のセグメントを復号化するステップと、
少なくとも１個の前記復号化されたデータブロック部分固有のセグメントに基づいて復元データブロックを生成するステップと
を含む、多重記述符号化データを逆トランスコーディングする方法をさらに提供する。
【００１２】
さらに、本発明は、プログラムがコンピュータ上で動くときに、請求項３及び４に記載された発明に係る方法を実行するプログラム・コードを有するコンピュータプログラムを提供する。
【００１３】
本発明は、メディアストリームが、同時に様々な伝送パスを介して、端末、例えば、逆トランスコーディング・ノードへ送信されるときに、かつ、さらには、様々な伝送パスの伝送レート及びパケット損失のようなパス特性が多重記述を決定する際に考慮されるときに、パスダイバーシチを利用するならば、例えば、ユーザのための、より良好な伝送品質が得られるという研究成果に基づいている。
【００１４】
本発明の実施形態では、トランスコーディングは、例えば、無線ネットワーク・コントローラ、又は、ワイヤード−ワイヤレス・インターフェースのようなネットワークノードで行われ、結果としてのビットストリームが様々なパスを介して、例えば、ＵＭＴＳインターフェース（ユニバーサル移動通信システム）を使用する第１のパスと、ＷＬＡＮインターフェース（ワイヤレス・ローカルエリアネットワーク）を使用する第２のパスとを介して送信される。このような平衡していないスキームにより、様々なビットレート又は誤り確率を有するクライアントをサポートするような柔軟性が提供される。受信機端末において、両方の記述が受信されるならば、これらは組み合わされ、さもなければ、一方の受信された記述がそのまま復号化される。
【００１５】
本発明の実施形態は、パスダイバーシチと組み合わされた前方誤り訂正（ＦＥＣ）に基づいて多重記述ビデオトランスコーディング（ＭＤＶＴ）を実行する。
【００１６】
トランスコーディング・ノードでは、受信された各グループ・オブ・ピクチャ（ＧＯＰ）は、２個の別個のパスを介して送信される２個の記述を生成するために独立に処理される。パスの（パケット損失、ビットレート）プロファイルが与えられると、各パスを越えて１個の記述内で送信されるべきパケットの最適な個数と、ＧＯＰからこれらのパケットの１つずつへの各フレームの寄与度とを探索することによって、全体的な歪みが最小化される。
【００１７】
ＦＥＣは、例えば、非特許文献８及び非特許文献９に記載されているように、ＭＤビデオ符号化のため既に研究されている。非特許文献８では、プログレッシブ・ビデオストリームが様々なセクションに分割され、その後に、誤り保護がＮ個の均一な記述を作成するために様々なセクションの全体に分布させられる。最適なＦＥＣ割り当てを決定するために、様々なセクションのレート境界（rate boundary）がレート歪み性能を最大化するよう最適化中に変更されている。レート境界がソースによって固定されているならば、多重記述を生成する同じアプローチが適用され続けるが、結果として得られるのは準最適解（suboptimal solution）である。その上、生成された記述は、２パス伝送のため特別に最適化されていない。非特許文献９では、ソースは、ＦＥＣを適用し、接続されたノード毎に記述の最適な個数を決定する。中間ノードは、エンドユーザのレート及び損失特性と一致するように、符号化されたスケーラブル・ストリームを切り捨てるために配置されている。切り捨て後に、中間ノードは、残りのソースビットストリームと、ＦＥＣ情報の適切な部分とを再パケット化する。この動作を中間ノードで実行することは、送信機での従来型のＦＥＣベースのＭＤＣより性能を低下させるが、送信機からあらゆる受信機への別個のユニキャスト接続を開くことなく、多数の異種受信機を扱うことを可能にさせる。
【非特許文献９】Ｇ．Ｗａｎｇ等，「ＦＥＣ−ｂａｓｅｄ  Ｓｃａｌａｂｌｅ  Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｏｖｅｒｌａｙ  Ｎｅｔｗｏｒｋ  Ｓｔｒｅａｍｉｎｇ」，ＣＣＮＣ  ２００５
【００１８】
これらの制限を解決するために、本発明の実施形態は、ビデオソースとは完全に独立し、かつ、ハイブリッド、スケーラブル、又は、あらゆるその他の従属した、すなわち、優先順位付きのビデオストリームに適用可能である解決策を提供する。トランスコーディング・ノード、例えば、中間ノードは、利用可能な損失特性及びレート特性に依存して、ＦＥＣの最適量と送信されるべきパケットの個数とを決定する。さらに、パスダイバーシチが、２個の記述を送信し、各記述内で送信されるべきパケットの個数を探索することによって利用される。パケット長を制約することにより、パケット化問題は解決され、ビデオストリーム全体で固定されたパケット長が保証される。
【００１９】
後述される多重記述符号化及びトランスコーディングは、誤り耐性を提供しているときに、複数のパスを介してメディアストリームをユーザ端末へ伝送する手段を提供する。通常、多重記述メディア符号化は、メディアソース、すなわち、メディアサーバで行われる。本発明の実施形態は、例えば、ネットワーク内で単一記述復号化ストリームから多重記述メディア・トランスコーディングを実行する方法及びシステムを提供する。
【００２０】
これは、サーバーが多重記述符号化をサポートしていないとき、又は、単にメディアサーバが、メディアストリームをユーザへ配信するオペレータによって制御されていない別のドメインに属しているならば、有利である。
【００２１】
さらに、本発明は、多重記述符号化が複数のパスを介してメディアストリームを送信するために誤り耐性手段を提供する、マルチパス伝送を対象としている。このような状況は、オペレータがＷＬＡＮ、ＵＭＴＳ、ＷＩＭＡＸのようないくつもの異なる伝送パスをユーザに提供する将来のネットワーク環境のため期待されている。利点は、オペレータが自身のリソースをより良く利用し、より良いサービス品質をユーザに提供するために、このパスダイバーシチを利用できることである。
【００２２】
本発明の好ましい実施形態は、添付図面において詳細に説明されている。
【発明を実施するための最良の形態】
【００２３】
以下、多重記述ビデオトランスコーディング、すなわち、単一記述ビデオストリーム（single description video stream）を多重記述ビデオストリームへトランスコーディングする本発明の実施形態が詳細に記載されている。記載されている実施形態は、グループ・オブ・ピクチャ（ＧＯＰ）又は階層ビデオ構造を重点的に取り扱う。それにもかかわらず留意されるべきことは、多重記述トランスコーディングの実施形態が、優先順位を付けられていないデータ構造に適用されるのではなく、特に、優先順位を付けられた、又は、階層的なデータ構造に適用され、ビデオストリームだけに適用されるのではなく、例えば、オーディオストリーム、特に、優先順位を付けられたオーディオストリームに適用され得ることである。
【００２４】
以下、トランスコーディング・ノードの実施形態は、簡単にするために、簡潔にトランスコーディング・ノードと呼ばれることもあり、同様に、逆トランスコーディング・ノードの実施形態は端末と呼ばれることもある。
【００２５】
図１Ａは、ここでは、Ｈ．２６４エンコーダであるソースエンコーダ１１０と、ここでは、Ｈ．２６４デコーダである対応したソースデコーダ１２０との間の完全なパスを示している。図１Ａに示されているように、Ｈ．２６４エンコーダは、単一記述ビデオストリーム１１２を生成し、トランスコーディング・ノード１３０に送信する。トランスコーディング・ノード１３０は、例えば、無線ネットワーク・コントローラ（ＲＮＣ）又はワイヤード−ワイヤレス・インターフェースのようなネットワークノードでもよい。トランスコーディング・ノードの実施形態は、ビデオストリームをＦＥＣ（前方誤り訂正）符号化し、単一記述を、一方の記述がパスＡ１３２を介して送信され、第２の記述がパスＢ１３４を介して送信される２つの記述に分割する。この図でわかるように、トランスコーディング・ノード１３０は、長さＬのＮA個のパケットを含む第１の記述１３３を第１のパス１３２を介して送信し、ＮB個のパケットを含む第２の記述１３５を第２のパス１３４を介して送信する。
【００２６】
パスＡ１３２は、パス１又は第１のパスと呼ばれることもあり、パスＢ１３４は、パス２又は第２のパスと呼ばれる場合もある。
【００２７】
トランスコーディング・パラメータがどのように決定されるか、及び、パケットハンドリングがこれらのトランスコーディング・パラメータに基づいてどのように実行されるかについての詳細は後述されている。
【００２８】
逆トランスコーディング・ノード１５０では、パスＡを介して受信された第１の記述１３３と、パスＢを介して受信された第２の記述１３５とがＦＥＣ復号化され、Ｈ．２６４デコーダ１２０へ与えられる復元ビデオストリーム１５２を生成するためにマージされる。
【００２９】
多重記述トランスコーディングの実施形態は、１５個のフレーム（Ｉ，Ｐ1，Ｂ1．．．Ｐ7，Ｂ7）からなるグループ・オブ・ピクチャ（ＧＯＰ）に関して以下に記載されている。同じ考え方が階層ストリーム（Ｌａｙｅｒ1，．．．，ＬａｙｅｒM）に関して成り立つ。
【００３０】
中間ノードでは、各ＧＯＰは独立に処理される。１つのＧＯＰ内では、フレームはフレームの受信順に処理される。各フレームは、所定のサイズｌの小さなセクションに分割される。この結果、フレームＩに対してＫI個のセクションが得られ、フレームＩの長さ（ＬI）がｌの倍数でないならば、最後のセクションはゼロパディングされる（ゼロを付加して固定長にされる）。ｌが小さい場合、このパディングは無視できる。同様に、フレームＰ1．．．Ｂ7が同じサイズｌの小さなセクションに分割され、それぞれ、ＫP1．．．ＫB7個のセクションが得られる。上記のセクションは、ある種のチャネル符号化、例えば、リードソロモン符号によってさらに保護される。ＲＳ（Ｎi，Ｋi）がフレーム毎に列に関して適用され、ＮI、ＮP1、．．．、ＮB7個のセクションを生じる。送信されるべきＦＥＣの量は、チャネル条件に依存してこのアルゴリズムの次のステップにおいて決定される。この手順は図２に説明されている。
【００３１】
図２は、それぞれのフレーム長がＬI、ＬP1、ＬB1、．．．、ＬP7、ＬB7である各フレームＩ、Ｐ１、Ｂ１、．．．、Ｐ７、Ｂ７の、長さがｌであるＫI、ＫP1、ＫB1、．．．ＫP7、ＫB7のセクションへの分割と、前方誤り訂正符号、例えば、リードソロモン符号を用いた各フレームの保護とを示している。ＦＥＣセクションは、データセクションと同じ長さｌを有する。ＦＥＣセクションの個数が生成され、使用されるべきＦＥＣ符号は最適化アルゴリズムによって決定される。
【００３２】
中間ノードは、２つのパスを介して、例えば、２つのネットワーク又は２つの通信プロトコルを介して、受信機端末に接続されていると仮定されるので、パスダイバーシチをＭＤトランスコーディングスキームと組み合わせることが可能である。したがって、トランスコードされた各ＧＯＰは、パスＡ及びパスＢを介して送信される２つの記述に組み込まれる。各記述は、図１Ａに示されているように、所定のサイズＬからなる多数のパケットで形成されている。
【００３３】
パケットサイズＬは、小さなセグメントサイズｌの整数倍になるように定められる（すなわち、Ｌ＝Ｋ×ｌ，Ｋ∈Ｎ+）。最終的な目標は、次の数を探索することにより受信されたストリームにおける期待歪み（expected distortion）を最小限に抑えることである。
【００３４】
第一に、ＮA及びＮBは、すなわち、パスＡ及びＢによってそれぞれ送信され、各パスのレート及び損失の制約の影響を受けるパケットの個数である。
【００３５】
第二に、（サイズｌの）セクションの個数は、各フレームの（長さＬの）各パケットへの寄与を表す。換言すると、各パケットは、長さがｌであるＫ個のセクションを含み、Ｋ＝ｋ（Ｉ）＋ｋ（Ｐ1）＋．．．＋ｋ（Ｂ7）であり、式中、ｋ（ｉ）は、各パケットに含まれているフレームｉのセクションの個数である。
【００３６】
上記の目標を解決するため、以下の事項が定義される。
【００３７】
トランスコードされるべきストリームは、優先順位付きのストリームである。フレームＩが失われるならば、全ての後続フレームは再構成できない。Ｐiが失われるならば、フレームＰi+1．．．及び対応するＢi．．．フレームは復元できない。しかし、Ｂフレームの損失は、後続のＰフレーム又はＢフレームに影響を与えない。その結果として、以下の優先順位が区別される。
【００３８】
優先順位（Ｉ）＞優先順位（Ｐi）＞優先順位（Ｐi+1）．．．＞優先順位（Ｂi）＝優先順位（Ｂi+1）．．．
【００３９】
ＮA＋ＮB個の送信されたパケットの中から、以下の事項が定義される。
Ｎ0は、フレームＩを復元するために受信されるべきパケットの個数である。
Ｎ1は、フレームＰ1を復元するために受信されるべきパケットの個数である。
Ｎ2は、フレームＰ2を復元するために受信されるべきパケットの個数である。
．．．
Ｎ7は、フレームＰ7を復元するために受信されるべきパケットの個数である。
Ｍ1は、フレームＢ1を復元するために受信されるべきパケットの個数である。
．．．
Ｍ7は、フレームＢ7を復元するために受信されるべきパケットの個数であり、
ここで、さらに上記の優先順位から推論され、
Ｎ7≧Ｎ6≧．．．Ｎ1≧Ｎ0
Ｍ1≧Ｎ1、Ｍ2≧Ｎ2、．．．，Ｍ7≧Ｎ7
であることが定められる。
【００４０】
１番目の不等式は、フレームＩが最初に再構成され、その後に、フレームＰi、Ｐi+1などが続けて再構成されることを表している。２番目の不等式は、フレームＢiを復元するために、その参照フレームＰi及びＰi-1が最初に受信されるべきであることを表している。しかし、フレームＢiの受信は、後続の送信フレームに依存しない。
【００４１】
任意のＮ0個の受信パケットがフレームＩを復元可能であるならば、各パケットはフレームＩの情報のうちの（１／Ｎ0）を含むべきである。例えば、２個のパケットがフレームＩを復元するために要求されるならば、フレームＩの情報の１／２があらゆる送信パケットに含まれるべきである。その結果として、（サイズｌの）
【数１】
2008193661.tif 000003
個のセクションが各パケットに挿入されるべきである。
【００４２】
パケット長は、Ｌ＝Ｋ×ｌ，Ｋ∈Ｎ+として既に定義されている。もし、フレームＩの
【数２】
2008193661.tif 000004
個のセクション、各フレームＰi．．．の
【数３】
2008193661.tif 000005
個のセクション、及び、各Ｂiフレームの
【数４】
2008193661.tif 000006
個のセクションが各パケットに挿入されるならば、結論として、
【数５】
2008193661.tif 000007
である。
【００４３】
一般に、総和がＬ／ｌ以下であるならば、この式は依然として成り立つ。パケットは、このような場合にはゼロパディングされるべきである。
【００４４】
結果として、数Ｎ0．．．Ｍ7が決定されると、パケット化問題も同様に解決され、固定パケット長が保証される。
【００４５】
本願において詳細に記載されているような期待歪みの代わりに、その他の期待歪みの定義又はその他の測定基準が、測定基準のタイプに依存して、トランスコーディング・パラメータを最適化するため、すなわち、目的関数を最小化もしくは最大化するため、例えば、音声品質測定のため知られているユーザに認識された平均オピニオンスコア（ＭＯＳ）と類似した品質測定基準を最適化するため使用され得る。
【００４６】
各パスは（ビットレート、損失）プロファイルによって定義され、すなわち、各パスは様々な損失確率を伴う様々なビットレートをサポートし得る。これは、様々な（ビット誤り率、信号対雑音比）特性を伴う様々な変調スキームと対応し得る。一般性を失うことなく、以下では、パスは、それ自体のパス特性であるパケット損失及びビットレート割当量（bit rate budget）によって表現されている。パケット長Ｌが既知であるとき、ビットレートＲはパケットの個数Ｎ＝Ｒ／Ｌに対応している。最適化の一部として、受信機での期待歪みを最小化できる最適ビットレート選択のための探索が実行される。
【００４７】
【数６】
2008193661.tif 000008
と定義され、式中、各エントリー（ＮAi，ＰAi）及び（ＮBj，ＰBj）は、起こり得る（ＮA，ＰA）及び（ＮB，ＰB）ペア、すなわち、パケット割当量及び損失確率の選択を表している。パケットの個数に関しては、以下の式：
Ｎ＝ＮA＋ＮB
が適用される。
【００４８】
期待歪み（ＥＤ）を最小化する上記の目的は、
｛ＮA，ＮB，Ｎ0，Ｎ1，．．．，Ｎ7，Ｍ1，．．．，Ｍ7｝＝ａｒｇ  ｍｉｎ  ＥＤ（ＮA，ＮB，Ｎ0，Ｎ1，．．．，Ｎ7，Ｍ1，．．．，Ｍ7）
のように定義され、ここで、
【数７】
2008193661.tif 000009
Ｎ7≧Ｎ6≧  ．．．≧Ｎ1≧Ｎ0  かつ  Ｍ1≧Ｎ1，Ｍ2≧Ｎ2，．．．，Ｍ7≧Ｎ7
ＮA＋ＮB≧Ｍi，ｉ＝１．．．７
となる。
【００４９】
受信機での期待歪みを最小限に抑えるために、各記述で送信されるべきパケットの総数を生じる最良ビットレート選択が２つのパスの全体で探索される。レート損失プロファイル（rate loss profile）が与えられると、各フレームを復元するために要求されるパケットの個数を決定する、各パケットにおける（サイズｌの）フレームセクションの最良割り当てプロセスもまた探索される。
【００５０】
１番目の上記制約は、パケット割り当てプロセスを解決する。Ｎ0．．．Ｍ7の値が決定されると、各フレームと所要のＦＥＣの量のセクションが、様々なパケットに割り当てられ得る。この制約は、ＧＯＰ全体に亘る固定パケットサイズも保証する。
【００５１】
２番目の上記制約では、所与の損失確率に対する各パスのレート割当量を満たすパケットの個数ＮA、ＮBが、パスＡ及びＢ上で探索される。
【００５２】
３番目の上記制約は、ＧＯＰの様々なフレームの間での依存性の直接的な結果である。
【００５３】
４番目の上記制約は、両方の記述から完全なＧＯＰを復元することができるように満たされるべきである。すなわち、Ｍi個のパケットが各Ｂiフレームを復元するために必要とされるならば、パケットの総数は少なくともＭiと等しくなるべきである。
【００５４】
【数８】
2008193661.tif 000010
である。ここで、
【数９】
2008193661.tif 000011
は、ＮA＋ＮB個のパケットの中からｉ個のパケットが失われている確率であり、ここで、
【数１０】
2008193661.tif 000012
であり、さらに、
Ｅｎｃ＿Ｄ（Ｉ，Ｐ1，Ｂ1．．．Ｐ7，Ｂ7）＝量子化に起因するＧＯＰの符号化歪みであり、
Ｄ（Ｉ）はフレームＩが失われたときの付加的な歪み（additional distortion）であり、
Ｄ（Ｐi）はフレームＰiが失われたときの付加的な歪みであり、
・・・
Ｄ（Ｂi）はフレームＢiが失われたときの付加的な歪みである。
【００５５】
ある程度の個数のパケット（Ｎ0．．．Ｍ7）が、フレーム（Ｉ．．．Ｂ7）を個々に復元するために受信されるべきである。期待歪み関数中の各項は、受信パケットの個数がフレーム毎に必要とされるパケットの個数より少ないときに、損失を決定する。
【００５６】
Ｅｎｃ＿Ｄ（Ｉ，Ｐ1，Ｂ1．．．Ｂ7，Ｐ7）、Ｄ（Ｉ）、Ｄ（Ｐi）及びＤ（Ｂi）の値は、最適化ステージ中にわかっている。これらの値を計算するために、非特許文献１０によって記載されている技術が採用されている。あるフレーム損失パターンが与えられたときにＧＯＰに関して観察された再構成歪み（reconstruction distortion）を記述する歪み行列が計算され、ビデオビットストリームと共に送信される。行列は、起こり得るフレーム損失毎に受信機における歪みを含む。フレーム損失の場合、最後に復号化されたフレームが失われたフレームの代わりに表示され、対応する歪みが計算される。
【非特許文献１０】Ｗ．Ｔｕ，Ｗ．Ｋｅｌｌｅｒｅｒ，Ｅ．Ｓｔｅｉｎｂａｃｈ，「Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚｅｄ  Ｖｉｄｅｏ  Ｆｒａｍｅ  Ｄｒｏｐｐｉｎｇ  ｏｎ  Ａｃｔｉｖｅ  Ｎｅｔｗｏｒｋ  Ｎｏｄｅｓ」，ｉｎ  Ｐａｃｋｅｔ  Ｖｉｄｅｏ  Ｗｏｒｋｓｈｏｐ  ２００４，Ｉｒｖｉｎｅ，Ｃａｌｉｆｏｒｎｉａ，Ｄｅｃ．２００４
【００５７】
パケット割当量及びパケット損失確率によって定められる２つのパスプロファイルは、中間ノードに知られていることが仮定されている。これらのパスはさらに、パスダイバーシチ利得を有するトランスコーダと受信機との間の仮想パスであるとみなされる。したがって、両方のパス上の総パケット割当量は、平均パケット損失確率を用いて最適化される。結果として得られるパケットは、その後に異なるパス上の２つの記述で受信機へ送信される。パスダイバーシチの詳細な解析は後述されている。
【００５８】
パスプロファイルが与えられると、上記の最適化問題は、制約付きレート歪み問題として定式化される。期待歪み関数は、ＧＯＰの様々なフレームの個別の歪みの総和である。他方で、各パケットへの全てのＧＯＰフレームの寄与度（contribution）の総和はパケット長を超えるべきでない。
【００５９】
【数１１】
2008193661.tif 000013
をフレームＩ、Ｐi及びＢiのそれぞれの寄与度として定義する。
【００６０】
上記割り当て問題は、
【数１２】
2008193661.tif 000014
という条件で、
【数１３】
2008193661.tif 000015
として書き換えられる。
【００６１】
効率的な割り当てアルゴリズムは、非特許文献１１に記載されているように、ラグランジュ緩和を導入することによって取得される。上記の制約付き問題は、したがって、制約なし問題：
【数１４】
2008193661.tif 000016
λ＝ラグランジュ乗数
に変換される。
【非特許文献１１】Ｙ．ＳｈｏｈａｍとＡ．Ｇｅｒｓｈｏ，「Ｅｆｆｉｃｉｅｎｔ  ｂｉｔ  ａｌｌｏｃａｔｉｏｎ  ｆｏｒ  ａｎ  ａｒｂｉｔｒａｒｙ  ｓｅｔ  ｏｆ  ｑｕａｎｔｉｚｅｒｓ」，ＩＥＥＥ  Ｔｒａｎｓ．Ａｃｏｕｓｔ．，Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．３６，ｐｐ．１４４５−１４５３，Ｓｅｐｔ．１９９８
【００６２】
λを０から無限大まで動かすことにより、図３に示されているように、結果として様々な歪み
【数１５】
2008193661.tif 000017
及びレート
【数１６】
2008193661.tif 000018
を生じる様々な（Ｎ1，Ｍi）の組が取得される。
【００６３】
基本的な反復ラグランジュ法の他に、反復ラグランジュ法の高速アプローチもまた、各項を別々に最小化することにより、すなわち、
【数１７】
2008193661.tif 000019
により、制約なし最適化を簡略化することによって適用される。
【００６４】
その一方で、（３）は、各項が独立に最小化され得ることを要求する。その結果として、高速解法が適用できるように、様々なフレームに対応する様々な項の独立性が保証されるべきである。
【００６５】
特別なフレームの損失に起因する受信機での期待歪みは、トランスコーディング点でわかっている。上述されているように、歪み行列は、ビデオストリームに加えて副次的な情報（サイド情報）として送信されている。しかし、特別なフレームの損失の確率は、ＧＯＰのその他のフレームの受信に依存することがある。例えば、Ｂフレームが正確に受信されるべき場合、このＢフレーム及びその参照フレームは同様に受信されなければならない。
【００６６】
この依存性問題を解決するため、ＧＯＰフレームは時間的な優先順に処理される。Ｉフレーム項が最初に最小化され、対応するセクションの個数Ｎ0が決定される。Ｐiフレームの損失に起因する受信機での期待歪みは、フレームＰ１及びＩだけに依存する。Ｎ0がわかると、Ｐ1項が最小化され、対応するセクションの個数Ｎ1が決定される。同様に処理することにより、残りの（Ｎi，Ｍi）値が決定される。
【００６７】
総歪み及び総レートは、個別の歪み及びレートのそれぞれを合計することにより決定される。
【００６８】
上記の問題を解決するために、パケット割当量Ｌ／ｌ以下である最大レートを与えるλ＝λ*の値が探索される。
【００６９】
λ*での総レート及び総歪みを、それぞれ、
【数１８】
2008193661.tif 000020
及び
【数１９】
2008193661.tif 000021
と定義する。
【００７０】
Ｌ（λ*）＝Ｌ／ｌであるならば、制約なし問題に対する解は、制約付き問題に対する解（非特許文献１１）と同一である。
【００７１】
以下、最適化を実現するための条件が検討されている。
【００７２】
各（Ｎi，Ｍi）値は、特別なフレームに関する（Ｄi，Ｌi）の組を生成する。高い（Ｎi／Ｍi）値に対し、より多くのパケットがフレームを復元するために要求される。この結果として、より高い歪み（Ｄi）及びより低いレート（Ｌi）が生じる。低い（Ｎi／Ｍi）値に対しては、逆のことが成り立つ。その結果、各フレームのレート−歪みの組に達する。このことは、文献で研究されている典型的なレート歪み最小化問題と類似している。制約なし問題となると、最適化の要件は各フレームのレート−歪み関数の凸性（convexity）である。
【００７３】
制約なし最適化問題を解法するため、最適なλを探索する反復ラグランジュ法が使用される。非特許文献１１に記載された技術に類似した技術が、Ｌ（λ1）＜Ｌ（λ3）であるような初期値λ1及びλ3を見つけるために使用される。二分探索アルゴリズムがこのとき決定するために使用される。
【００７４】
非特許文献１２で得られるＨ．２６４／ＡＶＣハイブリッド・コーデックを使用するアルゴリズムをテストするために、ある種の実験が行われる。１６個のフレームからなるピクチャのグループが処理されている。以下のシミュレーションでは、フォアマン・テスト・シーケンス（Foreman test sequence）の２０ＧＯＰに対する平均結果がプロットされている。総パケット割当量は、２つの対称的なパスの間で均等に分けられている。両方のパスに接続されている受信機で平均再構成品質が測定される。独立したベルヌーイ・パケット損失ネットワークが、５％、１５％及び３０％のパケット損失レート（ＰＬＲ）を用いて使用された。シミュレーション中、パケット長Ｌは５１２バイトに固定され、セクションサイズｌは１バイトに固定された。ここで、冗長性は、元のビデオストリームを保護するために専用の付加的なオーバーヘッドである。
【非特許文献１２】ｈｔｔｐ：／／ｉｐｈｏｍｅ．ｈｈｉ．ｄｅ／ｓｕｅｈｒｉｎｇ／ｔｍｌ／ｄｏｗｎｌｏａｄ／
【００７５】
図４は、反復ラグランジュ法（ＭＤＶＴアルゴリズム、１６個のＩＢＰＢＰ．．．フレームのＧＯＰ）を使用することによって得られた結果を示している。０％の冗長性の場合、誤り保護は使用されないので、１個のパケットの損失は完全なＧＯＰの損失を招く。冗長性がより高い場合、受信機での期待歪みはビデオストリームのソース歪みまで低下する。
【００７６】
上述されているように、Ｌ（λ*）＝Ｌ／ｌであるならば、制約付き問題と制約なし問題との両方の解は同一であり、よって、反復ラグランジュ法による最適解に達する。
【００７７】
図５は、パケット損失及び冗長性とは無関係に４５０バイトから５５０バイトまでの範囲で平均パケット長Ｌを示している。
【００７８】
制約なし解と最適解との間には小さなギャップが存在する。このギャップは、低い冗長性及び高いパケット損失のときになお一層増大する。
【００７９】
解と最適性との間のギャップは、一般にレート−歪み関数の非凸性に原因がある。図６は、例えば、３０％のＰＬＲでのＰフレームのレート−歪み関数を示している。セクションの個数Ｎiが増加するのにつれて、
【数２０】
2008193661.tif 000022
は減少し、歪み（Ｄi）は増加する。高ＰＬＲ及び高Ｎi値において、歪みは飽和し、Ｒ−Ｄ曲線は凸性を失う。
【００８０】
制約なし反復ラグランジュ法は、Ｒ−Ｄ関数の非凸性に起因して最適解に収束しない。この割り当て問題に対する最適解は、非特許文献１３に記載されているようなダイナミックプログラミング法によって取得される。しかし、複雑さは、任意のトランスコーディングアプローチの重大な制限となる。ダイナミックプログラミング法は、高い複雑さのためこのアプリケーションに適さない。以下では、上記の最適化問題を解法するための高速グリーディ割り当て技術（fast greedy allocation technique）が説明されている。最初に、基本アプローチが説明されている。
【非特許文献１３】Ａ．Ｖ．Ｔｒｕｓｈｋｉｎ，「Ｂｉｔ  ｎｕｍｂｅｒ  ｄｉｓｔｒｉｂｕｔｉｏｎ  ｕｐｏｎ  ｑｕａｎｔｉｚａｔｉｏｎ  ｏｆ  ａ  ｍｕｌｔｉｖａｒｉａｔｅ  ｒａｎｄｏｍ  ｖａｒｉａｂｌｅ」，Ｐｒｏｂｌｅｍｓ  ｏｆ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｒａｎｓｍｉｓｓｉｏｎ，ｖｏｌ．１６，ｐｐ．７６−７９，１９８０
【００８１】
レート制約：
【数２１】
2008193661.tif 000023
を満たしながら、受信機において期待歪みを最小化するために、様々な（Ｎi／Ｍi）値を割り当てる。グリーディ割り当て技術が最適（Ｎi，Ｍi）値を決定するために続けられる。任意の（Ｎi／Ｍi）値を、残りの（Ｎi，Ｍi）値を一定に保ったまま増大させることは、総レートを減少させ、総歪みを増加させる。Ｄ及びＬが総歪み及び総レートのそれぞれであるとして、
【数２２】
2008193661.tif 000024
を定義する。
【００８２】
アルゴリズムは次の通り要約される。
【００８３】
ステップ１：開始点として、各フレームに対し、ＧＯＰの残りのフレームに対する最悪ケースのシナリオを想定して、その個々のフレームの最良可能解に対応する最小（Ｎi／Ｍi）値を決定する。これは、例えば、フレームＩだけを受信したいことを示すことによって行われる。レート制約を満たす最小Ｎ0値を決定する。その結果として、パケット長Ｌ0＞Ｌ／ｌとなる初期的な（Ｎi／Ｍi）の組が得られる。
【００８４】
ステップ２：可能な（Ｎi／Ｍi）の増分毎に得られる勾配を決定する。各（Ｎi／Ｍi）は、有効な勾配を可能にする、可変の整数ステップサイズでインクリメントされる。
【００８５】
ステップ３：勾配を最小化する（Ｎi／Ｍi）値を決定する。この（Ｎi／Ｍi）値をこれに対応するステップサイズずつインクリメントする。
【００８６】
ステップ４：ステップ２及び３を繰り返し、Ｌ（反復）＝Ｌ／ｌとなるときに停止する。
【００８７】
図７は、ターゲットパケット長が５１２バイトであるときに、どのようにグリーディ割り当てアルゴリズムが最適パケット長に収束するかの例を示している。各「*」は反復遷移（iteration transition）に対応している。より長い遷移は、通常は、Ｉフレーム又はＰフレームに対応し、より短い遷移はＢフレームに対応している。
【００８８】
グリーディ割り当てアルゴリズムをテストするために、反復ラグランジュアルゴリズムに関して説明されたような同じシミュレーションが実行される。図８では、ＭＤＶＴグリーディ割り当てアルゴリズム、ＩＢＰＢＰ．．．フレームシーケンス、様々なＰＬＲ（パケット損失レート）におけるグリーディ割り当て技術の出力と反復ラグランジュの出力との比較が示されている。低いＰＬＲ及び高い冗長性のときでは、最適性までの小さなギャップは固定されている。高いＰＬＲ及び低い冗長性における利得は、図９に示されているように高い（ＭＤＶＴグリーディ割り当てアルゴリズム、ＩＢＰＢＰ．．．フレームシーケンス、高いＰＬＲ）。
【００８９】
グリーディ・アルゴリズムの最適性は、最適解に到達するために行われるステップによって決定される。ラグランジュ法と比較することにより、最適解はかなり近似していることがわかる。
【００９０】
優先順位の順にスケーラブル・ストリームと類似しているＩＰＰ．．．フレームシーケンスのケースをさらに考慮することにより、図１０（ＭＤＶＴグリーディ割り当てアルゴリズム、ＩＰＰ．．．フレームシーケンス）を参照する。グリーディ割り当て法によって、同じ利得が依然として達成可能であることがわかる。既に示されているように、Ｐフレームでさえも高いＰＬＲでは凸性を緩めることがある。
【００９１】
この方法の主要な利点は複雑さが低いことであり、トランスコーディングアプローチにおける重要な要件は非常に高速な方法である。
【００９２】
図８、９及び１０からわかることは、平均ＧＯＰ  ｐｓｎｒ（ピーク信号対雑音比）が低冗長性では低いことである。逆に、０％の冗長性の場合、優先順位が高いフレームを保護しながら重要性のより低いフレームをドロップすることは、平均再構成品質を高める可能性がある。重要性のより低いフレームを低いレートで動的にドロップすることができるように、上記のグリーディ・アルゴリズムを修正する。
【００９３】
（Ｎi／Ｍi）のサンプル空間は、最小値１と最大値Ｎとによって制限され、ここで、Ｎは総パケット割当量である。このことは、全パケットを受信することにより、全フレームが復元され得ることを意味している。
【数２３】
2008193661.tif 000025
【００９４】
式（＊）から、（Ｎi／Ｍi）値をインクリメントすることにより、そのレート寄与度が減少し、同時にこのフレームを復元する確率は減少することがわかる。例えば、
もし、Ｍ7→∞であるならば、
【数２４】
2008193661.tif 000026
かつ、フレームＢ7がドロップされる。基本的な考え方は、（Ｎi，Ｍi）のサンプル空間をＮ、２Ｎ、４Ｎ．．．まで増大させることである。
【００９５】
図１１Ａは、このフレームドロップの柔軟性を提供することにより達成される利得を示している。サンプル空間が広くなると、より大きく改良される。逆に、ある点で、例えば、４Ｎ及び８Ｎで、さらに重要な利得は持続されない。これは、サンプル空間をＮのある倍数に制限することを可能にする。
【００９６】
図８における様々なサンプル空間の結果を比較することにより、本アルゴリズムは、さらなるフレームドロップが要求されないときに、同じ点に収束することが認められる。この動的性は、元のグリーディ・アルゴリズムの修正を必要としない。（Ｎi，Ｍi）の許容可能な値の組を増大させることにより、アルゴリズムは、受信機で期待歪みを最小限に抑えるために、最適な（Ｎi，Ｍi）値を決定可能である。
【００９７】
図１２Ａは、一般に、元のアルゴリズムと動的アルゴリズムを比較している。
【００９８】
パスダイバーシチを説明する前に、例えば、ＧＯＰと階層ビデオストリーム（layered video stream）を取り扱う実施形態の類似性を明らかにするために、優先順位Ｐｒｉｏｒｉｔｙ（ｉ）＞Ｐｒｉｏｒｉｔｙ（ｉ＋１），ｉ＝１，．．．，Ｍを用いて階層ビデオストリームの多重記述トランスコーディングを最適化する実施形態が提起されている。
【００９９】
階層ビデオストリームは、レイヤが重要度の降順に組織化されている優先順位付きストリームである。トランスコーディング・ノードの実施形態への入力としてＭレイヤを含む階層ビデオストリームが考慮されている。
【０１００】
Ｌａｙｅｒ1は基本レイヤに対応し、Ｌａｙｅｒ2〜ＬａｙｅｒMはスケーラブル・ビデオストリームのエンハンスメント・レイヤに対応する。中間ノードでは、各グループ・オブ・ピクチャ（ＧＯＰ）は再び独立に処理される。レイヤ境界は、既にソースによって指定されており、Ｌａｙｅｒ1は、Ｉ＝１，２，．．．Ｍとして、Ｒiに等しい固定長を有する。各レイヤを所定サイズｌの小さなセクションに分割することにより、Ｌａｙｅｒ1のためのＫ1個のセクションが得られ、Ｒ1がｌの倍数でないならば、最後のセクションはゼロパディングされる。ｌが小さい場合、このパディングは無視できる。同様に、Ｌａｙｅｒ2〜ＬａｙｅｒMは同じサイズｌの小さなセクションに分割され、それぞれ、Ｋ2〜ＫM個のセクションを生じる。レイヤ毎の上記セクションは、ある種のチャネル符号化、例えば、リードソロモン（ＲＳ）符号によってさらに保護されている。送信されるべきＦＥＣの量は、チャネル条件に依存してアルゴリズムの次のステップにおいて決定される。
【０１０１】
したがって、Ｌａｙｅｒiの長さＲiは、セクション長ｌを１ビットに縮小するとき、セクションの個数Ｋiに対応する。よって、セクションのレイヤ固有の数（layer specific number）Ｋiとレイヤ固有の長さ（layer specific length）Ｒiとの間の関係は、
Ｋi＝Ｒi／ｌ
として表現可能であり、ｌ＝１ビットの場合には、
Ｋi＝Ｒi／１ビット
として表現される。上記アルゴリズムは、例えば、パケットサイズ制約が
【数２５】
2008193661.tif 000027
として記述される場合、長さＲiに基づいて実行されるか、又は、上記アルゴリズムは、最初にデータブロック部分を等しいセクションサイズｌのセクションに分割し、よって、上記のデータブロック長Ｌiと等価な量を表すセクションの個数Ｋiに基づいて実行され、この場合において、パケットサイズ制約は、既に行われているように、
【数２６】
2008193661.tif 000028
として記述される。
【０１０２】
したがって、上記アルゴリズムは、データブロック部分をサイズｌのセクションに分割しない実施形態にも使用され得ることが当業者に明白である。
【０１０３】
したがって、階層型の実施形態をＧＯＰ型の実施形態と比較すると、Ｌａｙｅｒ1はＩフレームを表し、Ｌａｙｅｒ2はＧＯＰ又はその他のハイブリッドコーデックビデオストリームの引き続くＰフレーム及びＢフレームを表す。よって、ＧＯＰ型の実施形態に対する図２に関して、上記階層型の実施例では、フレームＩ，Ｐ1，Ｂ1．．．Ｐ7，Ｂ7のＫI，ＫP1，ＫB1，．．．，ＫP7は、レイヤＬａｙｅｒ1，Ｌａｙｅｒ2，．．．，ＬａｙｅｒMの長さＲ1，Ｒ2，．．．，ＲMに対応する。ＧＯＰ型の実施例について記載されていたものと同様の定義及び制約が適用される。
【０１０４】
トランスコードされるべき階層ビデオストリームは、レイヤが重要度の降順に編成されている優先順位付きストリームである。
【０１０５】
トランスコードされるべきビデオストリームは、レイヤが重要度の降順に編成されている優先順位付きストリームである。例えば、Ｌａｙｅｒ1が失われるならば、全ての後続のレイヤは再構成され得ない。その結果として、以下の優先順位：
Ｐｒｉｏｒｉｔｙ（Ｌａｙｅｒi）＞Ｐｒｉｏｒｉｔｙ（Ｌａｙｅｒj），ｉ＜ｊ，Ｍ  ｊ  ｉ＝１，２，．．．Ｍ
で区別される。
【０１０６】
ＮA＋ＮB個の送信されたパケットから、Ｌａｙｅｒiを復元するために受信されるべきパケットの個数として、Ｎi、但し、Ｎ1≦Ｎ2≦．．．≦ＮMが定められ得る。
【０１０７】
不等式は、Ｌａｙｅｒ1が最初に再構成され、その後、Ｌａｙｅｒ2〜ＬａｙｅｒMが続けられるべきであることを意味している。
【０１０８】
任意のＮ1個の受信されたパケットがＬａｙｅｒ1を復元可能であるならば、各パケットは、Ｌａｙｅｒ1の情報のうちの（１／Ｎ1）を含むべきである。例えば、２個のパケットがＬａｙｅｒ1を復元するために要求されるならば、Ｌａｙｅｒ1の情報のうちの１／２が送信されたパケット毎に含まれるべきである。したがって、Ｎ1は、Ｌａｙｅｒ1の分割の個数を定義し、（長さｌ）の
【数２７】
2008193661.tif 000029
個のセクションが各パケットに挿入されなければならない。
【０１０９】
パケット長は、Ｌ＝Ｋ×Ｌ，Ｋ∈Ｎ+として定義済みである。
【０１１０】
Ｌａｙｅｒ1の
【数２８】
2008193661.tif 000030
個のセクション、Ｌａｙｅｒ2．．．の
【数２９】
2008193661.tif 000031
個のセクション、及び、ＬａｙｅｒMの
【数３０】
2008193661.tif 000032
個のセクションが各パケットに挿入されるならば、結論としては、
【数３１】
2008193661.tif 000033
である。
【０１１１】
一般に、総和がＬ／ｌ以下であるならば、この要件は依然として成り立つ。パケットはこのような場合にはゼロパディングされるべきである。その結果、分割の個数（Ｎ1，Ｎ2，．．．ＮM）が決定されると、パケット化問題もまた解決され、一定のパケット長が保証される。
【０１１２】
各パスは（ビットレート、損失）プロファイルによって定められ、すなわち、各パスは様々な損失確率を用いて様々なビットレートをサポート可能である。これは、様々な（ビット誤り率、信号対雑音比）特性を有する、様々な変調スキームに対応する。一般性を失うことなく、パケット損失確率及びビットレート割当量によってパスが表現される。パケット長が既知であるとき、ビットレートはパケットの個数、すなわち、Ｎ＝Ｒ／Ｌに対応している。最適化の一部として、受信機での期待歪みを最小化する最適ビットレート選択が探索される。
【０１１３】
【数３２】
2008193661.tif 000034
及び
【数３３】
2008193661.tif 000035
を定義することにより、各エントリーが、可能な（パケット割当量、損失確率）選択を表現している。
【０１１４】
期待歪み関数に関して、この場合も、２つの利用可能なパスＡ及びＢが最適化中に１つの仮想パスとして考慮され、受信機での期待歪みは、両方のパスの平均複合チャネルに対して最小化される。期待歪みは、ビデオシーケンスのソース歪みと、ビデオストリームの一部のレイヤが失われたときの付加的な歪みとの総和である。
【０１１５】
期待歪み関数（ＥＤ）は、
【数３４】
2008193661.tif 000036
によって定義される。式中、Ｓｏｕｒｃｅ＿Ｄｉｓｔｏｒｔｉｏｎ（Ｌａｙｅｒ1，Ｌａｙｅｒ2，Ｌａｙｅｒ3，．．．，ＬａｙｅｒM）は量子化誤差を原因とするＧＯＰのソース歪みであり、ｉ＝１，２，．．．Ｍとして、Ｄ（Ｌａｙｅｒi）は、Ｌａｙｅｒiが失われたときの付加的な歪みであり、１個のパケットがいずれかのパスで失われる確率は、
【数３５】
2008193661.tif 000037
によって定義される。ここで、ＮA＋ＮB個のパケットのうちのｉが失われる確率は、
【数３６】
2008193661.tif 000038
であり、式中、（Ｎ1，Ｎ2，．．．，ＮM）の値は、各レイヤの分割を決定し、よって、（Ｌａｙｅｒ1，Ｌａｙｅｒ2，．．．，ＬａｙｅｒM）のそれぞれを復元するために受信されるべきパケットの個数を表している。期待歪み関数の各項は、受信パケットの個数がレイヤ毎に要求されたパケットの個数未満であるときの期待される付加的な歪みを決定する。
【０１１６】
Ｓｏｕｒｃｅ＿Ｄｉｓｔｏｒｔｉｏｎ（Ｌａｙｅｒ1，Ｌａｙｅｒ2，Ｌａｙｅｒ3，．．．，ＬａｙｅｒM）の値及びｉ＝１，２，．．．Ｍとして、Ｄ（Ｌａｙｅｒi）の値は、最適化ステージで必要とされる。これらの値はソースで計算されることがあり、ビデオビットストリームと共に送信されることもある。
【０１１７】
目的関数はこの場合も、
｛ＮA，ＮB，Ｎ1，Ｎ2，．．．，ＮM｝＝ａｒｇ  ｍｉｎ  ＥＤ（ＮA，ＮB，ＰA，ＰB，Ｎ1，Ｎ2，．．．ＮM）
として記述され得る。
【０１１８】
この場合も、以下の制約：
【数３７】
2008193661.tif 000039
が満たされるように最適化される。
【０１１９】
受信機での期待歪みを最小化するために、各記述で送信されるべきパケットの総数を与える、２つのパスに亘る最良ビットレート選択が探索される。ある選択が行われると、各パケットへのレイヤのセクションの最良割り当てプロセスがさらに探索され、各レイヤを復元するために要求されるパケットの個数を決定する。１番目の制約は、パケット割当量制約を表す。送信された各パケットへの様々なレイヤの寄与度は、パケット長を超えるべきでない。この制約は、パケット充填問題をも解決する。（Ｎi，Ｎ2，．．．，ＮM）の値が決定されると、各レイヤのデータ選択とＦＥＣの所要量とが、様々なパケットに割り当てられる。この制約は、階層ビデオストリーム全体での固定パケットサイズをさらに保証する。
【０１２０】
２番目の制約では、所与の損失確率に対する各パスのレート割当量を満たすパスＡ及びＢ上のパケットの個数が探索される。３番目の制約は、ビデオストリームの様々なレイヤ間の依存性の直接的な結果である。４番目の制約は、両方の記述から完全なビデオを復元できるようにするために満たされるべきであり、すなわち、ＮM個のパケットがＬａｙｅｒMを復元するために必要とされるならば、送信されたパケットの総数は少なくともＮMと等しくなければならない。
【０１２１】
動的グリーディ割り当て法を再び参照すると、図８、９及び１９から、平均ＧＯＰ信号対雑音比は、冗長性が低い場合に低いことがわかる。
【０１２２】
逆に、低レートでは、優先順位がより低いレイヤをドロップすることは、より重要なレイヤがより大きな保護を受けることを可能にする。これは、アルゴリズムがあるＬａｙｅｒj，ｊ≦Ｍで階層ストリームを切り捨てることを許容することによって実現される。Ｉフレーム、Ｂフレーム及びＰフレームのハイブリッドビデオコーデックストリームの場合、重要度の低いフレーム（例えば、（既に明らかにされているように）Ｂフレーム）をドロップすることと等価である。したがって、上述されているグリーディ・アルゴリズムは、低レートでは重要度のより低いレイヤを動的にドロップすることができるように修正されている。
【０１２３】
ここまでは、（Ｎ1，Ｎ2，．．．，ＮM）のサンプル空間は、１という最小値と総パケット割当量であるＮという最大値とによって制限されていた。これは、全パケットを正確に受信することにより、全レイヤが復元され得ることを意味している。
【０１２４】
【数３８】
2008193661.tif 000040
式（＊）から、任意のＮi値をインクリメントすることにより、Ｌａｙｅｒiのレート寄与度が減少することがわかる。同時に、これは、より多くのパケットがＬａｙｅｒiを復元するために要求されること、すなわち、このレイヤを復元する確率が減少することを意味する。
【０１２５】
様々なサンプル空間に対し、上述された同じシミュレーションが繰り返される。ＩＢＰ構造を有する１６フレームからなるＧＯＰが考慮されている。図１１Ｂでは、（Ｎ1，Ｎ2，．．．，ＮM）のサンプル空間を増大させることにより達成される利得が示されている。
【０１２６】
Ｎ、２Ｎ及び８Ｎと等しいサンプル空間が考慮されている。サンプル空間を増大させることにより、より重要度の低いフレームは各パケット内でより少ないバイトが割り当てられる。これは、より重要度の高いフレームが優先してより大きく保護されることを可能にさせる。
【０１２７】
換言すると、図１１Ｂは、サンプル空間を増大させることが、より重要度の高いレイヤのためにより大きな保護を割り当てる柔軟性をグリーディ・アルゴリズムに与えることを示している。シミュレーションでは、ＩＢＰの１６フレームからなるグループ・オブ・ピクチャが考慮された。
【０１２８】
より優先順位の低いレイヤをドロップさせる上記の考え方は、今度は階層ビデオ構造のため拡張されている。分析的に、これはサンプル空間を無限大まで増大させることと等価的である。ビデオ符号化の観点から、このことは、Ｌａｙｅｒj，ｊ≦Ｍにおけるビデオストリームの切り捨てを意味している。
【０１２９】
修正アルゴリズムは以下の通り要約される。
【０１３０】
１）（Ｎ1，Ｎ2，．．．，ＮM）のサンプル空間を数Ｎ’＞Ｎ、例えば、Ｎ’＝８Ｎにセットする。
２）切り捨て点を決定：基本アルゴリズムを適用する。Ｎj+1＞Ｎであるならば、Ｌａｙｅｒjでストリームを切り捨てる。レイヤ間の依存性に起因して、全てのＬａｙｅｒk，ｊ＋１≦ｋ≦Ｍがドロップされる。
３）（Ｎ1，Ｎ2，．．．，Ｎj）値を決定するために基本アルゴリズムを適用する。
【０１３１】
同じシミュレーションが修正アルゴリズムをテストするために実行される。ＩＢＰ構造を有する１６フレームとＩＰＰ構造を有する８フレームとからなるＧＯＰが、図１２Ｂ及び１２Ｃのそれぞれで考慮されている。両方のケースにおいて、このフレームドロップの柔軟性を提供することにより実現される利得は、かなり顕著である。さらに、動的アルゴリズムは、さらなるフレームのドロップが要求されないときに元のアルゴリズムと同じ点に収束することがわかる。
【０１３２】
以下では、不均一誤り保護（ＵＥＰ）を用いる多重記述ビデオトランスコーディング（ＭＤＶＴ）アプローチの実施形態が、均一誤り保護（ＥＥＰ）を用いる同じアプローチと比較されている。
【０１３３】
前者では、動的グリーディ・アルゴリズムは誤り保護の最適量を決定する。後者では、全フレームが同数のセクションに分解されている。
【０１３４】
図１３は、様々な冗長性及びＰＬＲでのＵＥＰ利得を示している。これはＦＥＣを用いるＭＤＣを使用する理由を例証している。不均一前向き誤り保護（unequal forward error protection）は、優先順位付けされていないネットワークを介して複数の独立したパケットを送信しながら、優先順位付きビデオストリームの特性を利用するために役立つ。そして、後に続くパスダイバーシチは詳細に説明されている。
【０１３５】
提案されているトランスコーディングアプローチの前に、２つの利用可能なパス上で同時に行われる最適化を示す（図１４Ａ）。総パケット割当量Ｎ＝ＮA＋ＮB及び平均損失確率Ｐが与えられると、様々なフレーム間での誤り保護の最適配分が決定される。パケットは、ＮA個のパケットとＮB個のパケットの２つの記述で送信された。両方のパスに接続されているユーザ（図１４Ｃ）は、両方の記述を組み合わせることが可能であり、結果として生じる歪みは、主歪み（central distortion）Ｄcに等しい。
【０１３６】
しかし、一部のシナリオでは、ユーザは一方のパスだけに接続されることがある。受信機の帯域幅、パス上の遅延、又は、完全なＧＯＰの停止でさえ、一方のパスを利用不可能にさせることがある（図１４Ｄ）。このようなケースでは、受信機での平均歪みは、Ｄcより大きな副歪み（side distortion）Ｄsに等しい。
【０１３７】
ここで、両方のパスを同時に最適化するべきか（図１４Ａ）又は個別に最適化するべきか（図１４Ｂ）という疑問が生じる。個別最適化では、ソースチャネル符号化スキームは両方のパスに適用され、入力ビデオストリームは、誤り保護され、各パス上で別々に送信される。
【０１３８】
図１５Ａ及び１５Ｂでは、受信機の平均副ｐｓｎｒ（図１５Ａ）と平均主ｐｓｎｒ（図１５Ｂ）とを測定することにより、同時最適化と個別最適化が比較されている。両方のリンクは、このシミュレーションでは対称であることが仮定されている。副歪みを測定するとき、一方のリンクはレートＲ−ｏｕｔを用いて利用可能である。主歪みを測定するとき、両方のリンクが利用できるので、出力レートは２倍になる。出力レートであるＲ−ｏｕｔは、ｘ軸上に原ビデオストリームの入力レートであるＲ−ｉｎに応じてプロットされている。ｙ軸上には、ＧＯＰの平均ｐｓｎｒがプロットされている。
【０１３９】
同時最適化を行うとき、主再構成品質は強力であり、一方、副再構成品質は弱い。この場合、受信品質は平均ネットワーク挙動を表している。複合仮想チャネルが十分に良好であるかぎり、良好な受信を保証する。
【０１４０】
一方、個別最適化を行うとき、より優れた副再構成が行われる。しかし、両方のリンクの存在は最適再構成を保証せず、個別最適化として、パケット割当量はリンクの割当量まで削減される。一部のフレームは、良好な副再構成を保証するためにリンク毎にドロップされるので、両方のリンクを組み合わせることは、全フレームの復元を可能にしない。図１５Ｂは、各パスが個別に最適化される従来のアプローチと比較されて、両方のパス上での同時最適化によって達成される利得を示している。
【０１４１】
ピクチャを完全にするため、これらのパスのうちの一方が利用できないという問題が取り扱われる。ネットワーク条件が変化するのに伴って、ある時間間隔でのリンク破損の可能性が存在する。したがって、副再構成と主再構成との間でトレードオフする解法が提唱されている。この目的のため、トランスコーディング点での倍率μは、例えば、受信機での期待歪みが、
期待歪み＝Ｄc＋μ*Ｄs
に等しくなるように導入されている。
【０１４２】
高い値のμは個別最適化の事例に対応し、一方、μをゼロに設定することは同時最適化の事例に対応する。μの選定は、ネットワーク条件に依存してオペレータによってオフラインで決定されてもよい。
【０１４３】
図１６Ａ及び１６Ｂには、様々なμの値に対する受信機での副再構成品質（図１６Ａ）及び主再構成品質（図１６Ｂ）がプロットされている。同図は、副歪みの利得が主歪みにおける損失より大きいある点に到達可能であることを示している。
【０１４４】
倍率μは緩和係数（relaxation factor）とも呼ばれる。
【０１４５】
実際的なシナリオでは、受信機は、異なるレート及び損失特性を伴う２つの不平衡パスを介してトランスコーディング・ノードに接続されている可能性がかなり高い。このセクションでは、不平衡パスのＭＤＶＴアプローチの性能が実証されている。
【０１４６】
２つの不平衡パスを介してデータを送信する１つの方法は、ＧＯＰフレームをフレームの２つの部分集合に分離し、単一記述ビデオトランスコーディング（ＳＤＶＴ）を各部分集合に適用し、別個のパスを介して送信することである（図１７）。これに対して、ＭＤＶＴアプローチでは、２つのパスは１つの仮想パスとして作用し、両方のパスに亘る同時最適化が考慮されている。その後に、結果として得られたパケットストリームが２つのパスに分離される（図１８）。
【０１４７】
換言すると、図１７は、ビデオストリームが奇数フレーム及び偶数フレームに分離される、すなわち、両方の記述が同数のフレームを搬送し、結果としての奇数フレームのストリーム及び結果としての偶数フレームのストリームが、単一記述ビデオトランスコーディング（ＳＤＶＴ）に基づいて、別個にトランスコードされる、アプローチを示している。逆に、図１８に示されているように、多重記述ビデオアプローチの実施形態は、共通の仮想チャネルを介して両方の記述を最適化する。
【０１４８】
図１８は、トランスコーディング・ノード１３０（ＭＤＶＴ）の実施形態を示している。特に、トランスコーディング・ノードが他のノードから入力ビデオストリームを受信するネットワーク内実施では、トランスコーディング・ノードの実施形態は、着信ビデオストリームをバッファリングするバッファをさらに備え、後で多重記述トランスコードされるグループ・オブ・ピクチャ（ＧＯＰ）を構築する。多重記述トランスコーディングは、レートＲ１及びパケット損失レートＰ１によって表されている第１のパス１３２のパス特性に関して、ビットレートＲ２及びパケット損失レートＰ２によって特徴付けられた第２のパス１３４の特性に基づいて、最適化されている。決定されたトランスコーディング・パラメータに基づいて、第１の記述が生成されるとともに第１のパス１３２を介して受信機１５０へ送信され、第２の記述が生成されるとともに第２のパスを介して受信機１５０へ送信される。
【０１４９】
図１７において、奇数フレームが保護され、パス１を介して送信され、偶数フレームが保護され、パス２を介して送信される。これは結果として、ρが冗長性係数であるとき、レートＲ１＝（１＋ρ）Ｒ(oddframes)及びＲ２＝（１＋ρ）Ｒ(evenframes)の２つの不平衡記述を生じる。結果として得られたパスのプロファイル（Ｒ１，Ｐ１）及び（Ｒ２，Ｐ２）が比較のためＭＤＶＴアプローチで使用されている。
【０１５０】
ＩＢＰ．．．構造を有する１６個のフレームからなるＧＯＰが考慮されている。奇数フレームの部分集合は（Ｉ，Ｐ1．．．Ｐ7）フレームを含み、偶数部分集合は（Ｂ1．．．Ｂ8）フレームを含む。２つのパスは、それぞれ、２５％のＰＬＲ（パス１）と１０％のＰＬＲ（パス２）とを含む場合が考慮されている。冗長性係数のさらなる変形が実行されている。図１９及び２０において、２つのテストシーケンスのための両方の方法、すなわち、図１９のフォアマン（３９９フレーム）、及び、図２０のコンテナ（２７９フレーム）が比較される。全体的な冗長性は２０％から１００％まで変化する。４．２ｄＢ及び３．６５ｄＢまでの利得が、図１９及び２０のそれぞれのＭＤＶＴアプローチに関して観測される。改良は、様々な冗長性に関して、かつ、高い冗長性であっても観察可能であり、ソース歪みに達するとき、従来の奇数／偶数分離アプローチよりＭＤＶＴアプローチを使用する利得が依然として存在する。
【０１５１】
換言すると、図２１は、パス１のパケット損失レートが２５％であり、パス２のパケット損失レートが１０％であるＩＰＰフォアマン・テスト・シーケンスを用いる、不平衡パスのための多重記述ビデオトランスコーディングを示し、図２２は、ＩＰＰフォアマン・テスト・シーケンス及び両方のパスのための１５％のパケット損失レートを用いる、不平衡パスのための多重記述ビデオトランスコーディングを示している。図２１及び図２２の両方の場合において、フォアマン・テスト・シーケンス（３９９フレーム）が使用されている。両方の図において、ＭＤＶＴアプローチの利得は、奇数／偶数分割アプローチを上回ることが依然として明白である。
【０１５２】
以下では、より広い範囲に既に取り込まれている一時的なパス停止の問題がより詳細に説明されている。２つのパス（例えば、ＵＭＴＳリンク及びＷＬＡＮリンク）を介してトランスコーディング・ノード（例えば、無線ネットワーク・コントローラ）に接続されているモバイル端末が考慮されている。トランスコーディング・ノードは両方のリンクに亘る再構成品質を最大化する。したがって、両方のリンクが利用可能であるとき、受信機は両方の記述を復号化可能であり、高い受信品質が達成される。しかし、一方のリンクが停止しているならば、一方の記述が復号化され、受信品質は悪い。
【０１５３】
一時的なパス停止の１つの理由はハンドオーバである。ハンドオーバ中に、リンクが数秒間に亘り機能停止することがある。リンクが停止する前に、トランスコーダが既にＧＯＰを処理し始めているならば、トランスコーダは、２つのパスの動作（オペレーション）のため受信機での期待歪みを最小化する。しかし、受信機での歪みは期待されている通りではない。
【０１５４】
この制限を解決するために、停止の場合に１パス受信と２パス受信との間でトレードオフすることができる緩和パラメータが導入される。トランスコーディング・ノードは、停止確率を推定し、それに応じて緩和パラメータを調整可能である。トランスコーディング・ノードにおける停止確率推定値が正確であるかどうかとは無関係に、このことは性能の改善又は低下を招く。
【０１５５】
レート及びパケット損失確率の他に、各リンクの停止性能を特徴付ける第３のパラメータが導入されている（図２３）。
【０１５６】
図２３Ａ〜２３Ｃは、モバイル端末のための様々な受信シナリオを示している。図２３Ａは、両方のパスが利用可能であり、期待歪みがＤcと一致するシナリオを示している。図２３Ｂは、パス１だけが利用可能であり、期待歪みがＤｓ1と一致するシナリオを示し、図２３Ｃは、パス２だけが利用可能であり、期待歪みがＤｓ2と一致するシナリオを示している。
【０１５７】
トランスコーディング・ノードは、
期待歪み＝Ｄc＋μ1＊Ｄｓ1＋μ2＊Ｄｓ2
によって定義された受信機での全体的な歪みを最小化し、式中、Ｄcは、両方のパスが利用可能であるときの期待歪みであり、Ｄｓiは、パスｉだけが利用可能であるときの期待歪みである。
【０１５８】
１つの記述及び２つの記述が受信されたときの、受信機での平均ＰＳＮＲが図２４及び図２５のそれぞれに示されている。平衡化のケースは、μ＝μ1＝μ2及びＰ1＝Ｐ2＝０．０５を用いて考慮されている。出力レート（Ｒ−ｏｕｔ）は、入力ＧＯＰレート（Ｒ−ｉｎ）に応じてｘ軸に沿って変化する。コンテナ・テスト・シーケンス（２７９フレーム）が考慮されている。
【０１５９】
図２４は、１パス品質、すなわち、５％のパケット損失レートの場合のピーク信号対雑音比を示している。様々なμの値は、（１つの記述が受信される）副受信に関してトランスコーディング・ノードにおける様々な動作ポイントを表している。図２５は、２パス品質、すなわち、２つの記述が５％のパケット損失レートの場合に受信されたときのピーク信号対雑音比を示している。様々なμの値は、今度は、主受信の場合のトランスコーディング・ノードにおける様々な動作ポイントを表している。
【０１６０】
トランスコーダは、パス停止確率に関するチャネルフィードバックに基づいて動作（μ1，μ2）を選定する。最良受信性能のため、トランスコーディング・ノードは、パス２上の停止確率が高い場合に（μ1＝０，μ2＝０）から（μ1＝１，μ2＝０）へ切り替わるべきである。代替的に、フィードバック情報が不正確であるか、又は、遅延を伴うとき、トランスコーダは、両極端の間にあるその他の点（μ1，μ2）で動作し得る。これらの機能点のうちの一部が図２７に示されている。
【０１６１】
提案されたアプローチは、３６０ＧＯＰの連結フォアマン・シーケンス（concatenated Foreman sequence）を用いてさらに評価される。各ＧＯＰは１６フレームからなるＩＢＰシーケンスに対応している。２つの不平衡パス、すなわち、レートＲ１＝Ｒ−ｉｎであるパス１、及び、レートＲ２＝１．２×Ｒ−ｉｎであるパス２が考慮され、ここで、Ｒ−ｉｎは入力ビデオストリームのレートである。両方のパスは５％のＰＬＲの影響を受ける。ＧＯＰシーケンスの平均ＰＳＮＲは、パス１及びパス２上の停止確率に応じて図２８及び２９にプロットされている。
【０１６２】
両方の図面で、ｘ軸上の点（０，０）は、停止がいずれのパスにおいても発生しないケースに対応している。このケースでは、両方の記述が正確に受信され、復号化される。様々な（μ1，μ2）の組み合わせに対応する曲線は、停止が無い場合における類似した性能を明らかにしている。これは、両方の記述が受信されたときには信号に十分な冗長性が存在し、最適品質が（μ1，μ2）の対とは無関係に完全に達成されることを示している。
【０１６３】
それにもかかわらず、停止が存在するケースでは状況が異なる。図２８は、パス２が常に利用可能であり、一方、パス１上の停止確率が変化する状況を描いている。このケースでは、μ1＝０及びμ2＝０の組み合わせに対する受信品質は、高帯域幅パス（すなわち、パス２）が常に利用可能であるので、パス１上の停止による影響を僅かに受ける。μ1＝０及びμ2＝０．１をセットすることによるパス２上の副受信の最適化は、平均ＰＳＮＲをさらに増加させる。逆に、パス１に対する最適化、すなわち、μ1＝０．１及びμ2＝０は、パス１上の停止が増加するのにつれて、品質の低下を招く。
【０１６４】
換言すると、図２８は、パス１及びパス２上の停止の確率に応じて平均ピーク信号対雑音比を示し、ここで、低帯域幅パスであるパス１は停止することが多く（高停止確率）、一方、高帯域幅パスであるパス２は常に利用可能である（０という停止確率）。平均品質は、高帯域幅パスが利用可能である限り持続され得る。
【０１６５】
図２９では、反対の状況が考慮され、パス１は常に利用可能であり、高帯域幅パスであるパス２は停止させられる。この場合、主歪みの最適化、すなわち、μ1＝０及びμ2＝０、又は、パス２動作の最適化、すなわち、μ1＝０及びμ2＝０．１は、平均ＰＳＮＲの低下を招く。パス２上の停止確率が増加するのにつれて、パス１上の副再構成品質は平均ＰＳＮＲを改善するために最大化されるべきである。これは、顕著なＰＳＮＲ利得を生じるμ1＝０．１及びμ2＝０に調整することにより実現される。
【０１６６】
換言すると、図２９は、パス１及びパス２上の停止の確率に応じて平均ピーク信号対雑音比を示し、ここで、低帯域幅パスであるパス１は、常に利用可能であり（０％という停止確率）、一方、高帯域幅パスであるパス２は、停止することが多い（高停止確率）。平均ピーク信号対雑音比を改善するために、パス１上の副再構成品質は最大化されるべきである。
【０１６７】
この実験は、緩和パラメータの正確な選定が平均性能の改善の原因となることを示している。実際の性能は、ネットワーク条件の可変性及びチャネル停止推定値の精度に依存している。
【０１６８】
本セクションでは、２つの直接的なパスが送信機と受信機との間に存在する場合が考慮されている。直接的にビデオソースにＭＤＶＴを適用することから生じる柔軟性の検討が行われている。
【０１６９】
両方のパスを介して送信されたビデオの総レートは、ソース符号化レートＲｓｒｃとチャネル符号化レートＲｃｈとの合計に等しい。同時に、受信機での総歪みは、量子化誤差に起因するソース歪みＤｓｒｃ及びパケット消失に起因するチャネル歪みＤｃｈに一致する。ソースレートの増加は、量子化歪みを最小化し、チャネルレートの増加は、パケット損失の確率を最小化する。
【０１７０】
ＭＤＶＴでは、符号化されたビデオストリームは、中間ネットワークノードで２つの記述にトランスコードされる。この場合、Ｒｓｒｃ及びＤｓｒｃは、ビデオソースによって既に固定されている。アルゴリズムは、記述を保護し、Ｄｃｈを最小化するために、付加的な冗長性を使用する。他方、２つの記述が送信機で生成されるとき、ソースは、受信機での総歪み、すなわち、Ｄｃｈ＋Ｄｓｒｃを最小化するために、ＲｓｒｃとＲｃｈとの間でトレードオフを行うことが可能である。図３０では、ビデオストリームは、量子化パラメータを変化させることにより様々な解像度で生成されている。各解像度は、ターゲットソースレートに対応している。
【０１７１】
図３０は、フォアマン・テスト・シーケンスの場合のレート歪み曲線を示している。
【０１７２】
図３１及び３２には、受信機での平均ピーク信号対雑音比（ＰＳＮＲ）が伝送レートに応じてプロットされている。図３１は、様々なソースレートに対する伝送レート及び５％のパケット損失レートに応じて、受信機における再構成品質（ＰＳＮＲ）が示されている。図３２は、様々なソースレートに対する伝送レート及び１５％のパケット損失レートに応じて、受信機における再構成品質（ＰＳＮＲ）が示されている。
【０１７３】
伝送レートは、両方のパス上の総レート、すなわち、Ｒｓｒｃ＋Ｒｃｈである。各曲線は、所与のソースレートＲｓｒｃの場合に適用されたＭＤＶＴアルゴリズムに対応している。ある特定の伝送レートに対し、各曲線は、異なるソースレートとチャネルレートの組み合わせを表している。様々なソースレートの間で選定する柔軟性を与えることにより、ソース符号化とチャネル符号化との間の最適トレードオフが所与のレート割当量に対し決定される。これは最終的には、１つの固定されたレート動作に対する利得が受信機で得られる原因となる。この柔軟性の利得は、受信機でのビデオ歪みを最小化するために送信機とトランスコーディング・ノードとの間のレート適応が重要であることを示している。これは、通常は、フィードバックチャネルが受信品質を最大化し、受信機での連続したプレイアウトを提供するために使用されるストリーミングアプリケーションの事例である。
【０１７４】
以下、ＭＤＶＴの考え方が、マルチユーザＭＤＶＴシナリオに拡張されている。各エンドユーザに個別にサービスするのではなく、ユーザは、典型的に、トランスコーディング・ノードによるサービスを受ける様々なマルチキャストグループに加入する。本シナリオでは、トランスコーディング・ノードへの１パス接続性を有する低帯域幅クライアントと２パス接続性を有する高帯域クライアントとの、２つのタイプのクライアントが考慮されている。低帯域幅ユーザと高帯域幅ユーザとに別々の記述を送信するのではなく、記述１は共通マルチキャストチャネル１を介して全ユーザへ送信され、記述２はマルチキャストチャネル２のみを介して高帯域幅ユーザだけに送信される。これは、最終的に帯域幅の節約をもたらす。２−ユーザ型ＭＤＶＴスキームは、図３３Ａに示されている。
【０１７５】
図３３Ａは、チャネル１を介して第１の記述１３３’を送信し、チャネル２を介して第２の記述１３５’を送信する多重記述トランスコーダ１３０’を示している。チャネル１はビットレートＲ１を有するＷＬＡＮ通信チャネルであり、チャネル２はレートＲ２を有するＵＭＴＳ通信チャネルである。
【０１７６】
ユーザ１  １５０’又は逆トランスコーディング・ノード１５０’が、例えば、ユーザ２  １５０’’又は逆トランスコーディング・ノード１５０’’とは異なる位置にあるとき、両方のユーザは異なるパケット損失確率Ｐにさらされ得る。したがって、ユーザ１に関して、通信チャネル１  １３３’は、レートＲ１及びパケット損失レートＰ１１によって記述される可能性があり、ユーザ２に関して、チャネル１  １３２’’は、パス又はチャネル特性レートＲ１及びパケット損失確率Ｐ１２によって記述され得る。同様に、チャネル２  １３４’’は、パス又はチャネル特性Ｒ２及びパケット損失確率Ｐ２によって記述され得る。
【０１７７】
階層多重記述符号化は、パケット損失環境において異種クライアントにサービスを提供するため既に使用され、例えば、非特許文献１４を参照されたい。サーバーは、階層ビデオストリームを、ボトルネックリンクを介して全ユーザへ送信される複数の記述に符号化する。低帯域幅クライアントは基本レイヤ表現（base layer representation）を受信し、一方、高帯域幅クライアントは基本レイヤ表現とエンハンスメント・レイヤ表現（enhancement representation）との両方を受信する。ＭＤＣの場合と同様に、階層ビデオストリームのレート境界は、受信機側での期待歪みを最小限に抑えるために最適化中に変更される。このスキームは、レイヤ境界が既に固定されているトランスコーディング・ノードにおいてこれ以上最適化されない。
【非特許文献１４】Ｐ．Ｃｈｏｕ，Ｈ．Ｗａｎｇ，Ｖ．Ｐａｄｍａｎａｂｈａｎ、「Ｌａｙｅｒｅｄ  Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｃｏｄｉｎｇ」，Ｉｎ  Ｐｒｏｃ．Ｐａｃｋｅｔ  Ｖｉｄｅｏ  Ｗｏｒｋｓｈｏｐ，Ａｐｒ．２００３、及び、Ｖ．Ｓｔａｎｋｏｖｉｃ，Ｒ．Ｈａｍｚａｏｕｉ，Ｚ．Ｘｉｏｎｇ，「Ｒｏｂｕｓｔ  Ｌａｙｅｒｅｄ  Ｍｕｌｔｉｐｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｃｏｄｉｎｇ  ｏｆ  Ｓｃａｌａｂｌｅ  Ｍｅｄｉａ  Ｄａｔａ  ｆｏｒ  Ｍｕｌｔｉｃａｓｔ」，ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｌｅｔｔｅｒｓ，ｖｏｌ．１２，ｐｐ．１５４−１５７，Ｆｅｂ．２００５
【０１７８】
本発明の実施形態は、例えば、中間ネットワークノードにおいても適用され得る枠組みを提供する。
【０１７９】
トランスコーディング・ノードで、階層ビデオストリーム｛Ｌａｙｅｒ1．．．ＬａｙｅｒM｝は処理される。このストリーム中の一部のレイヤは保護され、第１の記述中で低帯域幅ユーザへ送信される。第２の記述は、より大きな保護を第１の記述で送信されたレイヤに与え、利用可能な割当量及びパケット損失レートに依存して同様にその他のレイヤを含み得る。第２の記述は、高帯域幅ユーザだけに送信される。２ユーザ型ＭＤＶＴシナリオが、図３３Ａに示されているように、後続の分析において考慮されている。それにもかかわらず、このアプローチは、異なるマルチキャストグループに加入している複数の低帯域幅ユーザ及び高帯域幅ユーザにサービスを提供するために拡張される。その場合、このアプローチへの主要な拡張は、ユーザが異なるパケット損失パターンにさらされるとき、マルチキャストグループ１内の複数のユーザのために記述１を最適化し、マルチキャストグループ２内の複数のユーザのために記述２を最適化することである。
【０１８０】
マルチユーザ型多重記述トランスコーディングの方法の実施形態は、２ステップで要約され得る。
【０１８１】
第一に、ユーザ１のための最適性能を見つける。一方のパスがユーザ１のため利用可能であり、記述１が送信される。ＭＤＶＴアルゴリズムは、一方のパス伝送だけを最適化する間に使用され、ビデオストリームは、Ｌａｙｅｒj，ｊ≦Ｍで切り捨てられる。また、Ｌａｙｅｒ1〜Ｌａｙｅｒjは送信され、記述１内で保護されている。
【０１８２】
第二に、ユーザ２に関して、Ｌａｙｅｒ1〜Ｌａｙｅｒjのため必要とされる付加的な保護の量、並びに、記述２へのＬａｙｅｒj+1〜ＬａｙｅｒMのデータ及びＦＥＣ寄与度を決定するために、上記アルゴリズムへの拡張が使用される。これは、２つの記述がユーザ２のため最適化される場合に比較して性能の損失を招く。
【０１８３】
低帯域幅ユーザの場合、ＭＤＶＴアルゴリズムは、Ｌａｙｅｒjでビデオストリームを切り捨て、各パケットへのＬａｙｅｒ1〜Ｌａｙｅｒjの寄与度を決定するために使用される。上述されているように、各パケットへのＬａｙｅｒiの寄与度は、
【数３９】
2008193661.tif 000041
に等しい。図３３Ｂは、Ｎ1＝２、Ｎ2＝３．．．Ｎj＝４及びＫi＝Ｒi、ここで、ＲiはＬａｙｅｒiの長さである、という特殊なケースを示している。レイヤの分割が行われると、データ及びＦＥＣ部分は記述１のパケット全体に適切に割り当てられる。
【０１８４】
図３３Ｂは、第１の記述１３３’で送信されるＬａｙｅｒ1〜Ｌａｙｅｒjの部分を示している。
【０１８５】
高帯域幅ユーザの場合、Ｌａｙｅｒ1〜ＬａｙｅｒjのＦＥＣ部分の残り、及び、Ｌａｙｅｒj+1〜ＬａｙｅｒMのデータ及びＦＥＣ部分は、図３３Ｂに参照符号１３５’によって示されているように、記述２中で送信され得る。
【０１８６】
以下、受信機での期待歪み全体が最小化されるようにこれらの部分を割り当てるアプローチが説明されている。
【０１８７】
マルチユーザ型最適化の場合、以下の定義が提供される。
【０１８８】
ＮA及びＮBは、記述１及び記述２のそれぞれのパケット割当量として定義されている。
【０１８９】
【数４０】
2008193661.tif 000042
毎を、Ｌａｙｅｒiのセグメント、及び、
【数４１】
2008193661.tif 000043
と呼ぶ。Ｌａｙｅｒ1〜Ｌａｙｅｒjのセグメント分割は、記述１の最適化の間に決定された。しかし、記述２に割り当てられるＦＥＣセグメントの個数は、決定されなければならない。
【０１９０】
Ｌａｙｅｒj+1〜ＬａｙｅｒMの場合、これらのレイヤは記述１内でドロップされているので、セグメント分割は指定されなかった。Ｌａｙｅｒmのｓｅｇｍｅｎｔ＿ｌｅｎｇｔｈ（ｍ）は、
【数４２】
2008193661.tif 000044
，ｊ＋１≦ｍ≦Ｍに等しいことが定義されている。これは、ＮB個のセグメントを受信することにより、Ｌａｙｅｒmが復元され得ることを意味している。ここで留意すべき点は、この初期分解は、バイトレベルでも実行可能であるが、収束の速度を低下させることである。記述２へのセグメントの割り当ては、受信機における期待歪みを決定する。様々な初期分解に対する結果は類似していた。
【０１９１】
以下では、レート関数が導入されている。
【０１９２】
各記述の範囲内で、全パケットは独立であり、重要度が等しい。付加的なセグメントが記述２に追加されるとき、付加的なセグメントは種々のパケットの全体で一様に分布させられる。Ｌａｙｅｒi，１≦ｉ≦Ｍのうちの１つのセグメントが記述２に追加されるならば、これは、
【数４３】
2008193661.tif 000045
バイトが記述２のＮB個のパケットのそれぞれに追加されることを意味している。一般に、Ｌａｙｅｒiのｔ個のセグメントが記述２に追加されるならば、
【数４４】
2008193661.tif 000046
バイトが各パケットに割り当てられる。ｔ（ｉ）が記述２に割り当てられたＬａｙｅｒiのセグメントの個数であるならば、パケット長制約は、
【数４５】
2008193661.tif 000047
によって定義され得る。
【０１９３】
最後に、１つずつの歪み関数が定義される。
【０１９４】
レイヤ毎に、パス２上で正確に受信されたセグメントの個数は、送信されたセグメントの個数と受信されたパケットの個数との関数として計算され得る。オフライン行列（offline matrix）が作成され、様々なパケット損失に対し受信されたセグメントの個数を決定するために使用される。
【数４６】
2008193661.tif 000048
ｉ＝レイヤインデックス
ｋ＝パス２上で失われたパケットの個数
ｔ＝パス２上で送信されたセグメントの個数
ｎ＿ｓｅｇｍｅｎｔ＝パス２上で正確に受信されたセグメントの個数
【０１９５】
受信機での全体的な期待歪みを追跡するために、両方のパス上での様々なパケット損失の組み合わせ、ならびに、様々なレイヤ間での依存性が考慮されるべきである。この複雑性を取り扱うために、パス１上の期待歪みが基準として考慮され、この歪みを最小化するためにパス２上でセグメントを割り当てる。期待歪みを決定するために要求される必須ステップは後述されている。
【０１９６】
第一に、任意のＬａｙｅｒi，１≦Ｉ≦ｊ、すなわち、記述１で送信されたレイヤを復元するため、パス１上で送信されたＮA個のパケットの中で正確に受信されるべきパケットの個数としてＮiが既に定義されている。逆に、ｘ個の付加的なセグメントがパス２上で正確に受信されるならば、このことは、パス１上でＮi−ｘ個のパケットを受信することにより、Ｌａｙｅｒiは基準レイヤが復元可能である限り同様に復元可能であることを意味している。受信機での期待歪みは、パス２上の全パケット損失確率を考慮し、対応するパス１上の残りの歪みを決定することによって決定され得る。Ｌａｙｅｒiのｔ個のセグメントが記述２で送信されたときの、Ｌａｙｅｒi，１≦Ｉ≦ｊに対する受信機での期待歪み関数は、
【数４７】
2008193661.tif 000049
によって定義され、ここで、
Ｎ（Ｌａｙｅｒi）＝ｍａｘｉｍｕｍ（Ｎi−ｎ＿ｓｅｇｍｅｎｔ（Ｉ，ｔ，ｋ），Ｎ（Ｌａｙｅｒi-1））
である。
【０１９７】
第二に、任意のＬａｙｅｒi，ｊ＋１≦ｉ≦Ｍ、すなわち、記述２だけで送信されたレイヤを復元するため、パス２上で受信されたセグメントの個数は、データ部分の全部を復元するために十分でなければならない。各レイヤはＮB個のセグメントに分解されているので、正確に受信されたセグメントの個数がＮB個以上であるならば、Ｌａｙｅｒiは復元され得る。この場合、Ｌａｙｅｒiは、Ｌａｙｅｒi-1が復元されているならば、正確に復号化されるので、Ｌａｙｅｒiによって引き起こされる付加的な歪みは存在しない。他方で、受信されたセグメントの個数がＬａｙｅｒiを復元するために十分でないならば、全体的な歪みは低減せず、Ｌａｙｅｒiの損失により生じる期待歪みが計算され得る。Ｌａｙｅｒiのｔ個のセグメントが記述２で送信されたときの、Ｌａｙｅｒi，ｊ＋１≦ｉ≦Ｍに対する受信機での期待歪み関数は、
【数４８】
2008193661.tif 000050
によって定義され、ここで、
ＥＤ（ｋ）＝０，ｎ＿ｓｅｇｍｅｎｔ（ｉ，ｋ，ｔ）≧ＮB
であり、それ以外の場合、
【数４９】
2008193661.tif 000051
である。
【０１９８】
記述２に割り当てられる各レイヤのセグメントの最適な個数は、シングルユーザ型シナリオについて記載されたものに類似したグリーディアプローチで決定される。このアプローチは以下の通り要約され得る。
【０１９９】
１）初期化：全レイヤの送信されたセグメントの個数はゼロに等しい。すなわち、
【数５０】
2008193661.tif 000052
２）レイヤ毎に、セグメントを記述２に追加するコストを決定する。ここで、
【数５１】
2008193661.tif 000053
３）コスト関数を最大化するレイヤのための記述２にセグメントを追加する。
４）ステップ２及び３を繰り返す。
【数５２】
2008193661.tif 000054
であるとき終了する。
【０２００】
以下、上記の最適化及び割り当て法によって得られたシミュレーション結果が説明されている。
【０２０１】
２ユーザ型シナリオでは、ユーザ１の最適ＰＳＮＲは、記述１がユーザ１の損失とレート特性とに関して最適化されたときに達成される。同様に、ユーザ２の最適ＰＳＮＲは、両方の記述がユーザ２の損失とレート特性とに関して最適化されたときに達成され得る。パス１上及びパス２上のレートがそれぞれＲ１及びＲ２に等しいならば、最適割り当ては、２＊Ｒ１＋Ｒ２という総レート割当量を要求する。しかし、２ユーザ型ＭＤＶＴアプローチでは、記述１がマルチキャストパスを介して両方のユーザへ送信されるので、Ｒ１＋Ｒ２という総レート割当量が使用される。２ユーザ型ＭＤＶＴアプローチの性能は、各ユーザの最適受信品質と比較することによってテストされる。最適解はＭＤＶＴアルゴリズムを用いて見つけられ、ユーザ１に対して、１つの記述が１パス型動作のため最適化され、ユーザ２に対して、２つの記述が２パス型動作のため同時に最適化される。ＩＰＰ構造を有する８フレームからなるＧＯＰが考慮されている。低帯域幅ユーザ及び高帯域幅ユーザのパスプロファイルは、
ユーザ１  （Ｒ１＝（１＋ρ1）×Ｒ−ｉｎ，Ｐ１１）
ユーザ２  （Ｒ１＝（１＋ρ1）×Ｒ−ｉｎ，Ｐ１２，Ｒ２，Ｐ２）
によって定義され、ここで、Ｒ−ｉｎはトランスコーディング前に符号化されたビデオストリームのレートであり、ρ1はパス１上の冗長性を決定する。パス２上のレートＲ２はＲ−ｉｎに応じて変化する。
【０２０２】
図３４及び３５において、フォアマン・テスト・シーケンスが考慮されている。結果は２０個のＧＯＰに亘って平均化される。エンドユーザのプロファイルは、ρ1＝０．２、Ｐ１１＝５％、Ｐ１２＝２０％及びＰ２＝３０％によって定義されている。
【０２０３】
換言すると、図３４は、フォアマン・テスト・シーケンスを使用して、かつ、パス特性Ｒ１＝１．２×Ｒ−ｉｎ及びパケット損失確率Ｐ１１＝５％に基づいて、最適ＭＤＶＴ及び２ユーザ型ＭＤＶＴに関して、ユーザ１の品質（ＰＳＮＲ）の比較をパス２上のレートに応じて示している。
【０２０４】
２ユーザ型ＭＤＶＴアプローチは、ユーザ１に対する最適保護を計算することにより開始する。その結果、ユーザ１の受信品質は、両方のアプローチに関して同一である。これは、平均ＰＳＮＲがパス２上のレートに応じてプロットされている図３４に示されている。期待歪みは記述１において低帯域幅ユーザだけに関して最小化されるので、平均ＰＳＮＲは最適であり、パス２上のレートに依存しない。２ユーザ型ＭＤＶＴアプローチでは、高帯域幅ユーザは、両方のユーザのためのマルチキャストパス１を介して送信されたパス１上の記述１と、パス２上の記述２とを受信する。記述２は高帯域幅ユーザの受信品質を高めることを目的としている。図３５は、記載されたアプローチと最適アプローチとを比較している。（１＋ρ1）×Ｒ−ｉｎというレート利得と比較して１ｄＢ未満の性能損失がユーザ２に対して観察される。利益は、複数のユーザがトランスコーディング・ノードによってマルチキャストパスを介してサービス提供されるマルチユーザ型ＭＤＶＴシナリオでは、より一層大きい。
【０２０５】
換言すると図３５は、フォアマン・テスト・シーケンスを使用して、パス２のレートに応じて、最適ＭＤＶＴと２ユーザ型ＭＤＶＴとに対するユーザ２のＰＳＮＲの比較を示している。パス１のパス特性は、ユーザ１のためのレートＲ１＝１．２×Ｒ１−ｉｎ及びパケット損失確率Ｐ１１＝５％と、ユーザ２のためのパケット損失確率Ｐ１２＝２０％とによって定義され、パス２に関しては、パケット損失確率Ｐ２＝３０％によって定義されている。利益は、複数のユーザがトランスコーディング・ノードによってマルチキャストパスを介してサービス提供されるマルチユーザ型ＭＤＶＴシナリオでは、より一層大きい。
【０２０６】
図３６〜４０では、１６ＧＯＰのコンテナ・テスト・シーケンスが考慮されている。
【０２０７】
図３６及び３７では、エンドユーザのプロファイルが、ρ1＝０、Ｐ１１＝１０％、Ｐ１２＝３０％及びＰ２＝３０％によって定義されている。換言すると、図３６は、コンテナ・テスト・シーケンスを使用して、パス２上のレートに応じて、最適ＭＤＶＴと２ユーザ型ＭＤＶＴとに関してユーザ１の品質（ＰＳＮＲ）を比較している。ユーザ１に関してパス１のパス特性は、レートＲ１＝Ｒ−ｉｎ及びパケット損失確率Ｐ１１＝１０％であり、図３７は、コンテナ・テスト・シーケンスを使用して、パス２上のレートに応じて、最適ＭＤＶＴと２ユーザ型ＭＤＶＴとに関してユーザ２の品質（ＰＳＮＲ）を比較している。パス１は、レートＲ１＝Ｒ−ｉｎと、ユーザ１に関するパケット損失確率Ｐ１１＝１０％と、ユーザ２に関するパケット損失確率Ｐ１２＝３０％とによって表される。パス２はパケット損失確率Ｐ２＝３０％によって表される。
【０２０８】
フォアマン・シーケンスについて上述された結果と類似した結果が観察される。その上、図３８及び３９では、エンドユーザのプロファイルがρ1＝０、Ｐ１１＝１５％、Ｐ１２＝１０％及びＰ２＝１０％によって定義されている。
【０２０９】
換言すると、図３８は、コンテナ・テスト・シーケンスを使用して、パス２上のレートに応じて、最適ＰＤＶＴと２ユーザ型ＭＤＶＴとに関してユーザ１の品質（ＰＳＮＲ）を比較している。パス１は、パス特性であるレートＲ１＝Ｒ−ｉｎと、パケット損失確率Ｐ１１＝１５％とによって表される。
【０２１０】
図３９は、コンテナ・テスト・シーケンスを使用して、パス２上のレートに応じて、最適ＭＤＶＴと２ユーザ型ＭＤＶＴとに関してユーザ２の品質（ＰＳＮＲ）を示している。パス１は、レートＲ１＝Ｒ−ｉｎと、ユーザ１に関するパケット損失確率Ｐ１１＝１５％と、ユーザ２に関するパケット損失確率Ｐ１２＝１０％とによって表される。パス２は、パケット損失確率Ｐ２＝１０％によって表される。
【０２１１】
この場合、高帯域幅ユーザは、低帯域幅ユーザより低いパケット損失レートに直面する。より高いパケット損失レートを有するユーザ１のために最適化された記述１には、このようにして、高次レイヤの送信を犠牲にして、低次レイヤのためのより大きな保護が含まれる。この状況でさらに留意すべき点は、高帯域幅ユーザのための２ユーザ型ＭＤＶＴアプローチの性能が最適解から依然として最大でも１ｄＢであることである。
【０２１２】
以下、トランスコーディング・ノード及び逆トランスコーディング・ノードの実施形態が図１Ｂ及び１Ｃに基づいてより詳細に記載されている。
【０２１３】
図１Ｂは、パケット生成ユニット１４０、１４０’と、最適化ユニット１４２、１４２’と、メモリ１４４と、第１の送信機１４６と、第２の送信機１４７と、受信機１４８とを備えている多重記述トランスコーディング・ノードの実施形態を示している。「’」付きの参照符号、例えば、１３０’は、マルチユーザ型実施形態を表している。シングルユーザ型実施形態１３０及びマルチユーザ型実施形態１３０’の設計及び基本機能は同じであり、以下の実施形態の一般的な説明では、シングルユーザ型実施形態のための参照符号だけがより読みやすくするために使用されているが、説明はマルチユーザ型実施形態にも当てはまる。マルチユーザ型実施形態の特有の態様は個別に説明されている。
【０２１４】
パケット生成ユニット１４０は、受信機１４８を介して、データブロック１１２のストリームの、すなわち、シーケンスのデータブロックを受信する。データブロック１１２は、所与の個数のデータブロック部分を含み、優先順位付きデータブロックのための実施形態では、各データブロック部分は、各データブロック部分に優先順位が関連付けられ、優先順位付きデータブロックのうちの少なくとも２個のデータセグメントは、異なる優先順位を有する。ＧＯＰビデオストリーム又は階層ビデオストリームを使用する上述の実施形態に関して、Ｍ個のレイヤのグループ・オブ・ピクチャの全体がデータブロックを形成しているとみなすことができ、様々なフレームＩ、Ｐ１、Ｂ１、．．．、Ｐ７、Ｂ７及び様々なレイヤＬ1、．．．、ＬMは、それぞれに関連付けられた優先順位を有するような、個別のデータブロック部分であると考えられる。
【０２１５】
階層構造に関して、レイヤＬ1〜ＬMのうちの各レイヤは、階層型モデルを導入するときに記載されるように、他のレイヤとは異なる優先順位を有する。グループ・オブ・ピクチャに関して、フレームＩ、Ｐ１、．．．Ｐ７は異なる優先順位を有し、一方、フレームＢ１、．．．Ｂ７は、ＧＯＰ構造を導入するときに説明されるように、全フレームのうちの最低優先順位と同じ優先順位を有する。その他の優先順位のタイプ又は構造も考えられ得る。
【０２１６】
パケット生成ユニット１４０は、データブロック１１２を受信し、最適化ユニット１４２によって供給された多重記述トランスコーディング・パラメータに基づいて固定長Ｌのパケットを生成するように動作する。多重記述トランスコーディング・パラメータは、両方のパスに対するパケット割当量ＮA、ＮBと、割り当てパラメータＮ0、ＮP1、．．．ＮB7と、各フレーム又はレイヤに適用される特有のＦＥＣ符号化のような、既に説明されているパラメータとを含む。
【０２１７】
２個以上のデータブロック部分に同じ優先順位が関連付けられている場合、例えば、データブロックが、全Ｂフレームが同じ優先順位を有するようなグループ・オブ・ピクチャである場合においては、「人為的な」優先順位のように見ることもできる順序が、方法のある種の実施形態を実行するために導入され、例えば、高速反復ラグランジュ法は、本来（ビデオの再構成の重要度に関して）同じ優先順位を有するＢフレームのようなデータブロック部分に対しても、所与のシーケンス又は優先順位に従って、データブロック部分毎に個別にデータブロック部分固有の数（datablock part specific number）を最適化し、あるいは、切り捨てるデータブロック部分が同じ優先順位を有するデータブロック部分のうちの１つ、例えば、Ｂ2フレームであるということもある、より低いデータブロック部分を切り捨てることができる実施形態の場合においては、同じ優先順位を有するデータブロック部分の間の優先順位あるいは順序が、選択された（例えば、Ｂ1フレームやＢ2フレーム）データブロックと、あるデータブロックのうちの切り捨てられるデータブロック部分（例えば、Ｂ3フレーム〜Ｂ7フレーム）とを識別するために導入されなければならない。
【０２１８】
トランスコーディング・ノードがストリームを受信するために作用する通信プロトコルは、固定ネットワーク・プロトコル又はワイヤレス・ネットワーク・プロトコルでもよく、あるいは、その他のプロトコルでもよい。
【０２１９】
パケット生成ユニット１４０は、例えば、Ｌａｙｅｒ1がＮ1個の部分に分割された階層構造、又は、ＧＯＰの場合に、例えば、フレームＩがＮ0個の均等サイズの部分に分割された階層構造について説明されるように、各データブロック部分を、データブロック部分固有の均等サイズ（datablock part specific equal size）を有する所与のデータブロック部分固有の数のデータセグメントに分割するように動作する。
【０２２０】
図２は、各レイヤ又はフレームが固定長ｌの小さなセクションに分割され、小さなセクションは、各データブロック部分が分割されている部分全体に一様に分布している、代替的な実施形態を示している。図２の説明を続けると、フレームＩは、Ｎ0個のデータセグメント上に一様に分布しているＫi個のセクションに分割されている。パケット生成ユニットは、第１の優先順位を有する第１のデータブロック部分に関連付けられている第１のデータブロック部分固有の数が、第２の優先順位を有する第２のデータブロック部分に関連付けられている第２のデータブロック部分固有の数以下であるように、各データブロック部分を所与のデータブロック部分固有の数のデータセグメントに分割するためにさらに動作するものであり、上記第１の優先順位が上記第２の優先順位より高いとき、例えば、フレームＩがＧＯＰ構造の全フレームの中で最高の優先順位を有し、したがって、フレームＩのデータブロック部分固有の数Ｎ0は、例えば、フレームＰ１のデータブロック部分固有の数ＮP1以下でなければならない。
【０２２１】
パケット生成ユニット１４０は、その後、上記データブロック部分毎に、上記各ブロック部分及び所与のデータブロック部分固有の前方誤り訂正符号に基づいて、所与のデータブロック部分固有の数の前方誤り訂正符号セグメント又は符号セクションを生成するように動作する。前方誤り訂正符号セグメント及びセクションは、図４１Ａからわかるように、それぞれのデータブロック部分固有のデータセグメント又はデータセクションと同じサイズを有する。
【０２２２】
パケット生成ユニットの実施形態は、全データブロック部分又は選択されたデータブロック部分だけをデータブロック部分固有の数（Ｎ1〜ＮM個、又は、Ｎ1〜Ｎj個）のそれぞれのデータセグメントに分割し、第１のパケットのシーケンス中の各パケットが、複数のデータブロック部分のそれぞれから、それぞれのデータブロック部分に属するデータセグメント又は符号セグメントの１つを含み、シーケンスを形成するパケットの個数は、上記第１のパケットの個数（ＮA）に等しくなるように、第１の記述（１３３，１３３’）に関連付けられた均等パケット長である第１のパケットのシーケンスを生成し、かつ、第１のシーケンスを形成するパケットの個数が第２のパケットの個数に等しく、第２の記述（１３５，１３５’）に関連付けられた均等パケット長（Ｌ）である第２のパケットのシーケンスを生成するように、さらに動作する。
【０２２３】
選択されたデータブロック部分又はレイヤは、切り捨て点又は切り捨てデータブロック部分（Ｌａｙｅｒj）に基づいて送信のために選択されたデータブロック部分である。切り捨て点は、送信されているデータブロック部分の中で「最低」の優先順位を有するデータブロック部分であり、一方、切り捨てられたデータブロック部分（Ｌａｙｅｒj+1〜ＬａｙｅｒM）は送信されないデータブロック部分である（シングルユーザ型実施形態を参照のこと）。
【０２２４】
データセグメント及び符号セグメントはセグメントと呼ばれることもあり、データセクション及び符号セクションはセクションと呼ばれることもある。
【０２２５】
第１の送信ユニット１４６は、その後に、第１の通信プロトコルに従って第１のパケットのシーケンスを送信するように動作し、第２の送信ユニットは、第２の通信プロトコルに従って第２のパケットのシーケンスを送信するように動作する。
【０２２６】
パケット生成ユニット１４０、１４０’のさらなる実施形態は、第１の記述１３３、１３３’及び第２の記述１３５、１３５’の各パケットに、各パケットに関連付けられているデータブロックを特定する一意データブロック識別子（unique datablock identifier）を含むヘッダを追加するように動作可能である。したがって、逆トランスコーディング・ノードは、各パケットが属しているデータブロックを容易にチェックすることが可能である。トランスコーディング・ノードのさらなる実施形態は、例えば、最適化されたトランスコーディング・パラメータがデータブロック毎に適応させられている場合において、各パケットの割り当てスキームをヘッダにさらに組み入れるように動作可能である。よって、逆トランスコーディング・ノードの実施形態は、様々なデータブロック部分のセグメントが始まる場所と終わる場所とを容易に特定することが可能である。
【０２２７】
パケット生成ユニット１４０、１４０’又は逆トランスコーディング・ノード１５０、１５０’のさらなる実施形態は、例えば、逆トランスコーディング・ノードがＦＥＣ復号化のために受信したパケットを知ることを要求されるか、又は、パケットの重複を検出することを要求される場合において、互いのデータブロックの中の１つのデータブロックに属しているパケットを特定するために、データパケット識別子をさらに追加し、又は、チェックするように動作する。
【０２２８】
トランスコーディング・パラメータを最適化する方法が、重要度又は優先順位のより低いレイヤを切り捨てる可能性を含むような実施形態において、パケット生成ユニット１４０’は、データブロック部分が送信用に選択されている逆トランスコーディング・ノードを通知するために、切り捨て点をヘッダに含むようにも動作可能である。
【０２２９】
第１及び第２の記述という用語と、第１及び第２のパケットのシーケンスという用語は、第１のパケットのシーケンス及び第２のパケットのシーケンスの送信について説明するときに同等の用語として使用される場合がある。
【０２３０】
パケット生成ユニットの実施形態は、セグメントの優先順位に応じて、セグメント（データセグメント及び符号セグメント）を並べるように動作可能である。すなわち、各パケットは、最初に、最高の優先順位を有するデータブロック部分のセグメントを含み、その後に、２番目に高い優先順位を有するデータブロック部分のセグメントを含み、以下同様である。さらに、ヘッダは、使用されているデータブロック構造又はデータブロックタイプの種類、例えば、ＧＯＰ又はレイヤ構造に関する情報を含むことがあり、データセグメントが優先順位に従って順序付けられていない場合、ヘッダは、セグメントのシーケンスもしくは優先順位、又は、それぞれのパケット割り当てを表している場合もある。
【０２３１】
第１の記述がより優先順位の高いレイヤを含むマルチキャスト実施形態の場合、ヘッダは、切り捨て点、及び、第２のパスの割り当てに関するさらなる情報、例えば、記述１に含まれているより重要度の高いレイヤに関して記述２に追加されたセグメントのセグメント長の数、又は、その他の関連情報を含むことが可能である。
【０２３２】
最適化ユニット１４２は、上記の最適化アルゴリズムに基づいて多重記述トランスコーディング・パラメータを決定するように動作する。換言すると、最適化ユニット１４２は、逆トランスコーディング・ノード１５０における期待歪みを最小化するために上記のアルゴリズムを実行するように動作する。
【０２３３】
最適化の実施形態は図１Ｄ〜１Ｆに基づいて後述されている。
【０２３４】
図１Ｄに示されている最適化方法の実施形態はステップ１０１０〜１０５０を含む。
【０２３５】
ステップ１０１０において、最適化ユニットは、後続のステップで実行される多重記述トランスコーディング（ＭＤＴ）のための制約を定義する。定義されるべき制約は、例えば、生成されるべきパケットのパケットサイズＬを含み、データブロック部分が長さｌの小さなセクションに分割される場合、セクション長ｌもまた定義されるべきである。データブロックのタイプはデータブロック部分の優先順位も定義するので、可能なパケット割当量及び損失確率のペア（ＮAi，ＰAi）及び（ＮBi，ＰBi）が、データブロックのタイプ、例えば、ＧＯＰ又は階層ストリームと共に取得されるべきである。
【０２３６】
パス特性は、例えば、逆トランスコーディング・ノードから受信されたメッセージに基づいて取得されることができ、メモリ１４４に記憶される。
【０２３７】
パケットサイズ及びセクションサイズは、例えば、通信プロトコルがサポートしているパケット・ペイロード・サイズに依存して、第１の送信機１４６と第２の送信機１４７とによって使用される通信プロトコルに基づいて決定され得る。これらの制約は、最適化ユニット１４２が最適化のための最適な制約又は少なくとも実現可能な制約を選択できるように、データブロックのタイプによって定義される優先順位の制約と一緒に、メモリ１４４に同様に記憶される。
【０２３８】
ステップ１０２０において、最適化ユニット１４２は、利用可能なパケット割当量からパケット割当量ＮA、ＮBを決定し、パスＡ及びパスＢの損失確率のペアを決定する。
【０２３９】
ステップ１０３０において、最適化ユニット１４２は、パケット割当量ＮA及びＮBに基づいて、上記最適化アルゴリズム、例えば、反復ラグランジュ法、グリーディ・アルゴリズム、又は、さらには動的グリーディ・アルゴリズムに基づくパケットの割り当てを最適化する。換言すると、最適化ユニット１４２は、所与のパケット長Ｌ及びその他の制約、例えば、優先順位に基づいて、アロケーション（allocation）とも呼ばれる、各データブロック部分のためのパケットの最適数Ｎ0，ＮP1，．．．ＮB7を最適化する。よって、同時に、サイズもしくは寄与度Ｒi／Ｎi（セクション無し）、又は、Ｋi／Ｎi（セクション付き）もまた決定される。
【０２４０】
ステップ１０４０において、最適化ユニット１４２は、データブロック部分ｉ毎に、データブロック部分ｉを復元するために、総パケット割当量Ｎ＝ＮA＋ＮBとデータブロック部分固有の最小数Ｎiとに基づいて、データブロック部分固有の前方誤り訂正符号を選択する。したがって、リードソロモン符号ＲＳ（ＮA＋ＮB；Ｎi）のような前方誤り訂正符号は容易に選択され、その理由は、リードソロモン符号ＲＳ（ｎ；ｋ）の主要な利点の１つが、得られたｎ個のシンボル又はパケットの中からいずれかのｋ個に基づいて、元のｋ個のデータシンボル又はパケットが復元され得るように、リードソロモン符号ＲＳ（ｎ；ｋ）がｋ個のデータシンボル又はパケットを、さらなるｎ−ｋ付加的ＦＥＣ符号シンボル（n-k additional FEC code symbol）又はパケットを用いて符号化することにあるためである。同様の能力を備えるその他のＦＥＣ符号もまた使用され得る。
【０２４１】
ステップ１０５０において、最適化ユニット１４２は、多重記述トランスコーディング・パラメータをパケット生成ユニットに提供する。多重記述トランスコーディング・パラメータは、例えば、パスＡ及びＢのためのパケット割当量ＮA、ＮBと、データブロック部分固有のＦＥＣ符号と、たとえ固定されていないとしても、パケット長Ｌと、セクション長ｌとを含む。
【０２４２】
図１Ｅは、ステップ１０１０、１０２５、１０４０及び１０５０を含み、図１Ｄのステップ１０２０及び１０３０が１つのステップに併合されている点だけが、図１Ｄと相違する。もう一度目的関数を参照すると、最適化は、パス特性、すなわち、両方のパスにおけるパケット割当量と損失確率との組み合わせの全ての有望な可能性に関して実行されるべきである。換言すると、パケット割当量の選択は、全体的に最適な多重記述トランスコーディング・パラメータを獲得するために、両方のパスのためのこれらのパス特性の組み合わせのそれぞれについての割り当てを最適化することによって、割り当てパラメータと一緒に反復的に最適化される。
【０２４３】
第３の実施形態では、最適化ユニット１４２は、切り捨て点を決定するように、すなわち、より優先順位の低いデータブロックをドロップすることにより割り当てを最適化するように、さらに動作する。この場合、総パケット割当量Ｎが拡大される倍率、例えば、Ｎ’＝８×Ｎは、ステップ１０１０で定義され、ステップ１０２０、１０２５及び１０３０のために使用されるべきさらなる制約である。よって、さらに、切り捨て点に関する情報、すなわち、依然として送信されるべき最低の優先順位を有するセグメントＬａｙｅｒjは、パケット生成ユニット１４０へ提供されるべきである。その理由は、これらのデータブロック部分だけがパケット生成のために使用されるからである（シングルユーザ型実施形態）。
【０２４４】
例えば、ハンドオーバを取り扱うために倍率又は緩和係数（relaxation factor）μ1及びμ2を使用する第４の実施形態では、これらの制約もまた後続のステップのためにステップ１０１０で定義されるべきである。この場合、上記の多重記述トランスコーディング・パラメータだけが変更されるが、パケットハンドリング・ユニット（packet-handling unit）はこの場合に特有の情報を要求しない。
【０２４５】
図１Ｆは、ステップ１１１０、１１２０、１１３０、１１４０及び１１５０を含むマルチユーザ型多重記述トランスコーディング（ＭＵ−ＭＤＴ）の最適化方法の実施形態を示している。
【０２４６】
図１Ｄ〜１Ｅに記載されている方法と同様に、ステップ１１１０において、マルチユーザ型多重記述トランスコーディングのための制約が定義されている。
【０２４７】
ステップ１１２０において、第１の記述のためのパケット割当量ＮA及びパケット割り当てが、第２のパスの特性とは無関係に最適化される。
【０２４８】
ステップ１１３０において、第２の記述のパケット割当量ＮB及びパケット割り当てが、マルチユーザ型シナリオのための期待歪み関数に応じて最適化される。
【０２４９】
ステップ１１４０において、最適化ユニット１４２は第１及び第２の記述のためのＦＥＣ符号を選択する。
【０２５０】
ステップ１１５０において、最適化ユニット１４０’は、マルチユーザ型多重記述トランスコーディング・パラメータをパケット生成ユニット１４０’に提供する。マルチユーザ型多重記述トランスコーディング・パラメータは、パスＡ及びＢのためのパケット割当量ＮＡ、ＮＢと、第１の記述で送信されるべきデータブロック部分と、第２の記述で送信されるべきデータブロック部分と、データブロック部分及び２つの記述のためのＦＥＣ符号と、データブロック部分毎の最小数Ｎiと、特定のデータブロック部分ｉを復元するために必要な各記述とに関する情報を含む。
【０２５１】
パケット生成ユニット１４０は、データブロック部分毎に、データブロック部分固有の前方誤り訂正符号を使用するように動作する。
【０２５２】
図１Ｃは、第１の受信機１６６と、第２の受信機１６７と、パケットマージユニット１６０、１６０’とを備えている逆トランスコーディング・ノード１５０、１５０’の実施形態を示している。
【０２５３】
第１の受信ユニット１６６は、第１の通信プロトコル１３３、１３３’に従って、パケットを受信し、パケットの受信に成功したかどうかをチェックし、受信に成功したパケットから第１のパケットのシーケンス１７１を生成するように動作し、第２の受信ユニット１６７は、第１の通信プロトコルとは異なる第２の通信プロトコルに従ってパケット１３５、１３５’を受信し、パケットの受信に成功したかどうかをチェックし、受信に成功したパケットから第２のパケットのシーケンス１７２を生成するように動作する。
【０２５４】
パケットマージユニット１６０、１６０’は、第１のシーケンス１７１及び第２のシーケンス１７２の中のパケットがデータセグメント及び／又は符号セグメントを含み、各パケットに収容されているデータセグメント及び／又は符号セグメントのそれぞれはデータブロックのうちの異なるデータブロック部分が関連付けられた、第１のパケットのシーケンス１７１と第２のパケットのシーケンス１７２とを受信し、第１のシーケンス中のパケット又は第２のシーケンス中のパケットが同じデータブロックに属しているかどうかを決定し、データブロック部分固有のセグメントとして、同じデータブロックに属しているパケットから、同じデータブロック部分に関連付けられたデータセグメント及び／又は符号セグメントを取り出し、データブロック部分固有のセグメントの個数がデータブロック部分の所与のデータブロック部分の固有数と少なくとも等しいときに、データブロック部分固有の誤り訂正符号に従ってデータブロック部分固有のセグメントを復号化し、少なくとも１個の復号化されたデータブロック部分固有のセグメントに基づいて復元されたデータブロックを生成するように動作する。
【０２５５】
パケットの受信に成功したかどうかのチェックは、例えば、１つずつの通信プロトコル（ＵＭＴＳ、ＷＬＡＮなど）と、このプロトコル中でサポートされている誤り検出機能とに基づいて実行され得る。
【０２５６】
パケットマージユニットの実施形態は、データブロック識別子に基づいて、第１又は第２のシーケンスのパケットが同じデータブロックに属しているかどうかを決定するために、第１及び第２のシーケンス中のパケットのヘッダ内のデータブロック識別子をチェックするように動作可能である。
【０２５７】
トランスコーディング・ノード及び逆トランスコーディング・ノードの実施形態は、２つのパス、例えば、両方のパスのそれぞれに１つの記述を伴う２つの通信プロトコルに関して説明されたが、トランスコーディング・ノード及び逆トランスコーディング・ノードの代替的な実施形態は、３つ以上のパスのパス特性を考慮し、それに応じてトランスコーディング・パラメータを最適化する方法と、パケット生成の方法と、パケットマージの方法とを適応させて、３つ以上のパス、例えば、ＵＭＴＳと、ＷＬＡＮと、ＷＩＭＡＸのような通信プロトコルをサポートするように動作することも可能である。
【０２５８】
トランスコーディング・ノードの実施形態は、例えば、適応的なフレームサイズを伴うレート適応ビデオコーデックが使用される場合に、データブロック毎にトランスコーディング・パラメータを最適化するように動作可能であり、又は、例えば、フレームが固定長を有する場合、最適化されたトランスコーディング・パラメータを決定し、パケット生成１４０がトランスコーディング・パラメータを最適化ユニット１４２ではなくメモリ１４４から読み出すように、後続のデータブロックのためにメモリ１４４に記憶するように動作可能である。後者の場合、最適化ユニット１４２は、例えば固定数のデータブロック毎、例えば５又は１０データブロック毎、又はパスパラメータの変更に依存して、最適化されたトランスコーディング・パラメータの新しい集合を決定するように動作可能である。
【０２５９】
以下、さらなる実施例が、図１Ａに示されているようなシナリオに関して説明されている。上述されているように、図１Ａに示されている機能要素のそれぞれの役割は以下の通り要約され得る。Ｈ．２６４エンコーダは、単一記述ビデオストリーム（single description video stream）で生成する。トランスコーディング・ノード１３０は、単一記述ビデオストリーム１１２を２つの記述１３３、１３５にトランスコーディングする役割を担うネットワークノードである。最適化パケット及びパケット割り当てが、例えば、グループ・オブ・ピクチャ単位で、このノードによって実行される。逆トランスコーディング・ノード１５０は、２つの受信された記述を復号化し、マージする役割を担っている。Ｈ．２６４デコーダ１２０は、復元されたビデオストリーム１５２を復号化するように動作する。
【０２６０】
最適化及びパケット割り当ては、トランスコーディング・ノードで実行される。一例として、以下のビデオ特性及びネットワーク特性が考慮されている。ビデオストリームに関して、ＧＯＰサイズ＝１６、ＧＯＰ構造＝ＩＢＰ．．．、フレームレート＝３０フレーム／秒、ビット単位のＧＯＰのサイズ＝１２１．６８ｋｂｉｔ、結果としてのビットレート＝２２８ｋｂｐｓ、フレーム幅＝１７６、フレーム高＝１４４、及び、ルミナンス−ＰＳＮＲ＝３７．７５ｄＢである。ネットワーク特性に関して、２つの利用可能なパスの伝送プロファイルが定義されているとみなされる。本例では、パスＡ及びＢの（ビットレート，パケット損失レート）プロファイルは、それぞれ、（１２８ｋｂｐｓ，０．１５）及び（１９２ｋｂｐｓ，０．１）であるとみなされる。
【０２６１】
所与のパケット長に対し、２つのパスは、パケット割当量とパケット損失レートとによって表される。５１２バイトの固定パケット長（Ｌ）が考慮され、５１２バイトのペイロードサイズが考慮され、よって、パケットヘッダ長は無視されている。その結果として、パスＡ及びＢのプロファイルは、（ＮA＝１７，ＰA＝０．１５）及び（ＮB＝２５，ＰB＝０．１）によって定義されている。
【０２６２】
セクション長ｌを１バイトに設定すると、得られるフレームＩ、Ｐ1．．．Ｂ8のセクション（Ｋ1，ＫP1，．．．，ＫB8）の個数は、各フレーム長（Ｌ1，ＬP1，．．．，ＬB8）に等しい。
【０２６３】
上記パラメータを仮定すると、トランスコーダは、送信されたパケット全体でのＧＯＰフレームの（Ｋ1，ＫP1，．．．，ＫB8）セクションの分布と、ビデオストリームを保護するＦＥＣ部分の分布とを決定する。これは、割り当てパラメータの集合（Ｎ0，Ｎ1，．．．，ＭS）を決定することによって行われる。
【０２６４】
ＧＯＰの様々なフレームは、最適化プロセス中に優先順位の降順に分類されている。一例として、Ｌａｙｅｒ1がＩフレームに対応し、Ｌａｙｅｒ2〜Ｌａｙｅｒ8がＰフレームに対応し、Ｌａｙｅｒ9〜Ｌａｙｅｒ16がＢフレームに対応する階層ビデオストリームの場合において、
Ｎ1≦Ｎ1≦．．．≦Ｎ8が得られ、又は、Ｎ1≦Ｎ1≦．．．≦Ｎ8としても表されるＰｒｉｏｒｉｔｙ（Ｌａｙｅｒ1）＞Ｐｒｉｏｒｉｔｙ（Ｌａｙｅｒ2）＞．．．＞Ｐｒｉｏｒｉｔｙ（Ｌａｙｅｒ8）
Ｎ8≦Ｎj，ｊ＝９．．．１６が得られ、又は、Ｎ8≦Ｎj，ｊ＝９．．．１６としても表されるＰｒｉｏｒｉｔｙ（Ｌａｙｅｒ8）＞Ｐｒｉｏｒｉｔｙ（Ｌａｙｅｒ9）＝Ｐｒｉｏｒｉｔｙ（Ｌａｙｅｒ10）＝．．．Ｐｒｉｏｒｉｔｙ（Ｌａｙｅｒ16）
というレイヤの優先順位及びレイヤの分割制約がマークされている。
【０２６５】
割り当てパラメータの集合（Ｎ1，Ｎ2，．．．，Ｎ16）を決定するために、受信機での期待歪みが、両方のパスに亘って、すなわち、（ＮA＋ＮB＝４２）パケットというパケット割当量及び平均パケット損失レート
【数５３】
2008193661.tif 000055
に対して同時に最適化することにより、最小化される。
【０２６６】
セクションの最初に与えられたパラメータに対し、結果として得られる割り当て（Ｎ1，Ｎ2，．．．，Ｎ16）は（３０，３０，３１，３１，３１，３１，３１，３３，３３，３３，３３，３３，３３，３３，３３，３３）に等しく、平均ＰＳＮＲは３５．６６ｄＢに等しい。Ｎ1＝３０は、４３個の送信されたパケットのうち３０個のパケットがＬａｙｅｒ1を復元するために正しく受信されるべきであることを意味する。これは、Ｌａｙｅｒ1を長さが
【数５４】
2008193661.tif 000056
である３０個の均等な部分に分割することによって実施される。これらの部分は、１２個のＦＥＣ部分を結果的に生じるＲＳ（４２，３０）を用いてさらに保護されている。データ及びＦＥＣ部分（総数４２）は、４２個のパケットにわたって配分される。同じ手順がＬａｙｅｒ2〜Ｌａｙｅｒ16に適用される。最適化問題中のパケット長の制約として、パケット充填問題が同様に解決され、すなわち、各パケットに割り当てられているＬａｙｅｒ1〜Ｌａｙｅｒ16のデータ又はＦＥＣ部分の総和がパケット長を超えない（総和は、最適割り当てのためのパケット長、すなわち、５１２バイトに等しくなるべきである）。最適化及びパケット割り当て手順は、以下の概略的な説明においてさらに例証されている。
【０２６７】
簡単にするため、ＮA＝３パケットの記述及びＮB＝２パケットの記述の２つの記述にトランスコードされる３レイヤ型ビデオストリームが考慮されている。トランスコーダは、（Ｎ1，Ｎ2，Ｎ3）に対する最適な割り当て集合（optimal allocation set）を決定する。両方のパスに亘って同時に最適化されるとき、Ｌａｙｅｒiが任意のＮi個の受信されたパケットから、すなわち、パケットがパスＡとパスＢのどちらに由来するパケットであるかとは無関係に、復元され得るように、（Ｎ1，Ｎ2，Ｎ3）の１つの集合が決定される。
【０２６８】
図４１Ａに示されている例では、トランスコーダは、割り当てパラメータ（Ｎ1，Ｎ2，Ｎ3）＝（２，３，４）を決定する。したがって、Ｌａｙｅｒ1  ４１０（データブロック４１０）は、Ｎ1＝２個の均等サイズのデータブロック部分４１２、４１４に分割され、Ｌａｙｅｒ2（データブロック４２０）はＮ2＝３個の均等サイズのデータブロック部分４２１、４２４、４２３に分割され、Ｌａｙｅｒ3はＮ3＝４個の均等サイズのデータブロック部分４３１、４３２、４３３、４３４に分割される。さらに、パケット割当量（ＮA，ＮB）＝（３，２）に基づいて、トランスコーディング・ノードは、リードソロモン符号ＲＳ（ＮA＋ＮB，Ｎi），ｉ＝１，２，３の選択の一般的な定義に基づいて、以下の固有のリードソロモン符号である、Ｌａｙｅｒ1のためのＲＳ（５，２）、Ｌａｙｅｒ2のためのＲＳ（５，３）、及び、Ｌａｙｅｒ3のためのＲＳ（５，４）を決定する。
【０２６９】
したがって、トランスコーディング・ノード、すなわち、パケット生成ユニットは、それぞれのＲＳ符号に基づいて、Ｌａｙｅｒ1のための３個のＳＥＣ符号セグメント４１３，４１４及び４１５と、Ｌａｙｅｒ2のための２個のＳＥＣ符号セグメント４２４、４２５と、Ｌａｙｅｒ3のための１個のＦＥＣ符号セグメント４３５とを生成する。ＦＥＣ符号セグメントは、同じレイヤ又はデータブロック中のそれぞれのデータセグメントと同じ長さ又はサイズを有する。
【０２７０】
図４１Ａは、記述２  １３５の第１のパケット４３４と、第２のパケット４３５と同じ固定長Ｌを有する記述１  １３３の第１のパケット４４１と、第２のパケット４４２と、第３のパケット４４３とを示している。固定パケット長Ｌは、それぞれのデータセグメントへ分割する前に、レイヤ又はデータブロック部分４１０、４２０及び４３０の、Ｒiとも呼ばれる、長さＬiと混同されてはならない。
【０２７１】
図４１Ｂは、固定長ｌのセクションを使用する実施形態を示している。本事例では、各レイヤ、すなわち、Ｌａｙｅｒ1〜Ｌａｙｅｒ3、又は、データブロック部分４１０〜４３０は、セクションに分割されている。よって、Ｌａｙｅｒ1は、長さｌのＫ1個のセクションによって表され、Ｌａｙｅｒ2はＫ2個のセクションによって表され、Ｌａｙｅｒ3はＫ3個のセクションによって表されている。図４１Ａの実施形態と対照的に、データブロック部分は、均等サイズのデータセグメントにそのまま分割されるのではなく、各データブロック部分ｉのＫi個のセクションが、既に説明されたように、均等の個数に分割される。したがって、セクションのデータブロック部分固有の数ｋiは、「パケット１」４６１を構築するデータブロック部分１のための参照符号４１７、データブロック部分２のための参照符号４２７、及び、データブロック部分３のための４３７によって示されているように、各パケットに割り当てられている。
【０２７２】
両方の方法を比較すると、図４１Ｂによる方法は、ゼロパディングを必要としない点で有利であり、これに対し、図４１Ｂに示されているようにセクションを使用する方法は、最適化に関して計算集約性が低いという点で有利である。
【０２７３】
換言すると、図４１Ａでは、割り当て集合（Ｎ1，Ｎ2，Ｎ3）の最適化結果は（２，３，４）に等しい。このことは、最低限の２個、３個及び４個のパケットが、Ｌａｙｅｒ1、Ｌａｙｅｒ2及びＬａｙｅｒ3のそれぞれを復元するために受信されるべきであることを意味している。この条件を充足させるため、各Ｌａｙｅｒiは、第１のＮi個のパケットに割り当てられているＮi個の均等部分に分割される。（ＮA＋ＮB，Ｎi）リードソロモン符号は、送信されたパケットの残りに割り当てられた対応するＦＥＣ部分を生成するために、各レイヤにさらに適用される。上記手順は、第１のリポート（図４１Ｂ）で説明されているように、最初に各レイヤを長さｌのセクションに分解し、ＦＥＣ符号のオフライン行列を構築することによって代替的に実現される。この場合、長さｌのデータセクションは、第１のＮ1個のパケットに割り当てられ、長さｌのＦＥＣセクションが残りのパケットに割り当てられている。
【０２７４】
損失の多い伝送環境では、各記述のパケットの一部が失われ得る。しかし、逆トランスコーディング・ノードは、各記述内の部分的な損失を補償するためにビデオストリーム内の冗長性をそれでもなお使用し得る。逆トランスコーディング・ノードは単一記述ストリームを復元するために以下のステップを実行する。
【０２７５】
ステップ１：逆トランスコーディング・ノードは、プレイアウト前に両方の記述から受信されたパケットを一時的に記憶する。
ステップ２：正しく受信された各パケットは復号化され、各レイヤに対応するデータが取り出される。
ステップ３：ＲＳ符号はＮA＋ＮB個のパケットのうちのＮA＋ＮB−Ｎ1個までの消失を訂正できるので、Ｌａｙｅｒ1はＮ1個のパケットが正しく復号化されたときに復元され得る。
ステップ４：正しくＦＥＣ復号化されたレイヤは、単一記述ビデオストリームを復元するために合成される。ストリームの一部のレイヤが失われている場合、逆トランスコーディング・ノードは適切な誤り隠蔽技術を適用する。例えば、ＩＢＰ．．．というビデオシーケンスの場合、コピー・プリービアス・フレーム誤り隠蔽ストラテジー（copy previous frame error concealment strategy）が提供される。
ステップ５：復元されたビデオストリームはＨ．２６４デコーダへ供給される。
【０２７６】
上記説明を要約すると、消失チャネルによるビデオ通信のための新しいアプローチが提供されている。従来の同時ソースチャネル符号化（ＪＳＣＣ）アプローチでは、ソース符号及びチャネル符号が、送信機と受信機との間の直接的なパスによる伝送のために最適化されている。ＦＥＣベースの多重記述符号化（multiple description coding）は、多重独立記述（multiple independent description）が生成され、所与のチャネルプロファイルのため最適化されるので、このＪＳＣＣのカテゴリーに分類される。その一方で、多重記述符号化の誤り耐性は、多重チャネルを介した伝送によって改善され得ることが示されている。この付加的な誤り頑強性の利益を享受するため、パスダイバーシチを利用し、このバスダイバーシチによってビデオストリームが２パス型伝送に対して最適化されるアプローチが提案されている。実際的な状況では、送信機と受信機との間に直接的な２パス型の接続は存在しない。しかし、マルチメディア・アプリケーションのダイバーシチと、エンドユーザ間の異種性とに起因して、メディア・ゲートウェイが、エンドユーザの帯域幅要件に一致するようにビデオストリームをトランスコードするために、送信機と受信機との間に頻繁に配置されている。リレーノードは、結果として得られたビデオストリームを、多重チャネルを介して、受信機へ転送するためにさらに使用され得る。２つのパスが送信機と受信機との間の任意の点で利用可能になる一般的な場合が対象とされている。この観点から、多重記述ビデオトランスコーディングが、ネットワーク内のあらゆる動作点において多重記述符号化の誤り頑強性から恩恵を受ける新しいスキームとして導入された。
【０２７７】
実施形態では、トランスコーディング・ノードへの入力として階層ビデオストリームが考慮されている。トランスコーダは、別個のパスを介して２つの記述で受信機へ送信するために入力ストリームを保護する。上記の最適化を実行するため、送信機でしばしば適用され、１パス型伝送のため最適化された従来のＦＥＣベースの多重記述符号化技術は、これ以上最適解を生じることがなくなる。ＭＤＣ−ＦＥＣアプローチの限界を解決するため、最適化を実行する新しい方法が、２つの利用可能なパスのチャネルプロファイルに基づいて提案されている。高速かつ動的なグリーディ割り当てアルゴリズムもまた、上記の最適化を解決するために導入されている。この低複雑性はリアルタイムビデオ伝送のための主要な要件である。
【０２７８】
幾つかのＭＤＶＴアプリケーションのシナリオが記載された。最初に、平衡パス動作及び不平衡パス動作のアプローチの性能が実証された。２つの利用可能なパスによる同時最適化は、平衡型と不平衡型の両方の場合に、各パスが別個に最適化されるＪＳＣＣより進んでいることが明らかにされた。一方又は両方のパスが短期間に亘って利用できないパス停止の問題もまた検討されている。主歪みと副歪みとの間でトレードオフを行う緩和パラメータが導入されている。停止が存在する場合、トランスコーディング・ノードによる緩和パラメータの正しい選定はＰＳＮＲの著しい増大をもたらすことが示されている。その後、直接的な２パス型接続が送信機と受信機との間に存在する場合が検討されている。ＭＤＶＴをソースで直接的に適用することにより得られる柔軟性が明らかにされている。したがって、ＭＤＶＴがネットワーク内で実行されるとき、送信機とトランスコーディング・ノードとの間のレート適応が重要であるという結論が出された。
【０２７９】
次に、ＭＤＶＴの考え方がマルチユーザ型ＭＤＶＴのケースを網羅するように拡張されている。このようなシナリオでは、全ユーザがトランスコーディング・ノードとマルチキャストチャネルとを共有する。高帯域幅ユーザは同様に第２の接続からの恩恵も受ける。また、低帯域幅ユーザと高帯域幅ユーザとを伴う２ユーザ型ＭＤＶＴシナリオが検討されている。最適解は、１つの記述を低帯域幅ユーザへ送信し、２つの他の記述を高帯域幅ユーザへ送信することを要求する。しかし、２ユーザ型ＭＤＶＴ法では、共通の基本記述が両方のユーザへ送信され、高帯域幅ユーザはエンハンスメント記述を同様に受信する。低帯域幅ユーザの最適品質を達成可能であり、様々なレート及びパケット損失プロファイルの場合においては、高帯域幅ユーザのための最適品質より１ｄＢ未満しか離れていないということが示された。その一方で、２ユーザ型ＭＤＶＴ法は、少ない記述しか送信されないので、最適解と比較して重大な帯域幅節約を提供する。
【０２８０】
上述のアプローチに対する複数の拡張が可能であり、一部の例は以下で簡単に説明されている。
【０２８１】
第一に、提案されたＭＤＶＴアプローチでは、歪み行列がビデオストリームと一緒に副情報としてトランスコーディング・ノードへ送信されている。この情報は、各記述内で最適ＦＥＣ割り当てを決定するためにトランスコーダによって必要とされるが、付加的なオーバーヘッドを結果として生じる。しかし、この情報の欠如は、準最適解の原因となる。詳細に調べられるべき１つの代替案は、オーバーヘッドを削減するために異なるＧＯＰの歪みプロファイル間の相関を使用することである。図４０では、２０ＧＯＰからなるフォアマン・シーケンスの平均ＰＳＮＲがプロットされている。最適なケースでは、各ＧＯＰの歪みプロファイル（ＤＰ）はビットストリームと共に送られる。図４０は、第１のＧＯＰの歪みプロファイルだけが送信され、第１のＧＯＰの歪みプロファイルがシーケンス内の残りのＧＯＰを最適化するために使用されるならば、最適解に近い解が依然として得られることを示している。
【０２８２】
第二に、このシナリオでは、ユーザは異なる特性を有する２つのパスから２つの記述を受信する。典型的に、受信機は、プレイアウト前に記述を一時的に記憶する。その一方で、両方のパスの遅延差が高いならば、一方の記述だけが表示される。パケット損失レート及びパスのビットレートの他にパス遅延規準を追加することは、２つの選択されたパス上の遅延差が最小限に抑えられるようなパス選択を可能にする。
【０２８３】
２ユーザ型ＭＤＶＴシナリオのアルゴリズム的な実施が示されている。各マルチキャストグループ内で様々なパケット損失レートを有する複数のユーザの最適化のために、アルゴリズムをマルチユーザ型ＭＤＶＴのケースに拡張することも、同様に詳しく調べる価値がある。
【０２８４】
実施作業の観点から、以下の代替案について留意されるべきである。
【０２８５】
第一に、ＩＢＰ構造のケースは、提案されたアプローチの一例として記載されている。Ｈ．２６４−ＳＶＣストリームは別の例として使用される。スケーラブル・ビデオストリームの歪みプロファイルは同様に計算されるべきである。
【０２８６】
第二に、ＭＤＶＴアプローチがビデオ通信のため示されている。それにもかかわらず、ＭＤＶＴアプローチは、一般にマルチメディア通信に適用される。このアプローチを、例えば、オーディオ伝送に適用することは、別の難しい課題である。最終的に、ＭＤＶＴアプローチは、多重記述トランスコーディングを実行する方法を紹介する１つの方法であることが記載されている。別の多重記述符号化法、例えば、２つの記述へのビデオストリームの時間的ダウンサンプリング又は空間的ダウンサンプリングが、同様に使用され得る。特に、レイヤ単位でのＧＯＰの処理に基づく方法は、リアルタイム通信の遅延を減少させることが可能である。
【０２８７】
換言すると、本発明は、並列的に多重伝送パスを介して、例えば、ＵＭＴＳ、ＷＬＡＮ、ＷＩＭＡＸを介してユーザ端末へのメディアの誤り耐性伝送をサポートするために、単一記述で符号化されたメディアから多重記述で符号化されたメディアにトランスコーディングする方法及びシステムについて記載している。よって、「マルチパス伝送のための多重記述メディア・トランスコーディング」及び「マルチパス伝送のためのネットワーク内多重記述メディア・トランスコーディング」の上述の実施形態は、配信及びマルチユーザ混合型アプリケーションのシナリオ向きのマルチメディア通信のクロスレイヤ最適化の方法として考慮され得る。
【０２８８】
本発明の方法のある種の実施要件に依存して、本発明の方法はハードウェア又はソフトウェアで実施され得る。実施は、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働する、デジタル記憶媒体、特に、電子的に読み取り可能な制御信号が記憶されているディスク、ＤＶＤ又はＣＤを使用して実行され得る。したがって、一般に、本発明は、コンピュータ・プログラム・プロダクトがコンピュータ上で動くときに、本発明の方法を実行するために動作するプログラム・コードが機械読み取り可能なキャリアに記憶されているコンピュータ・プログラム・プロダクトである。したがって、換言すると、本発明の方法は、コンピュータがコンピュータで動くときに、少なくとも１つの本発明の方法を実行するプログラム・コードを有するコンピュータ・プログラムである。
【図面の簡単な説明】
【０２８９】
【図１Ａ】トランスコーディング・ノード及び逆トランスコーディング・ノードの実施形態を含む、ソースエンコーダとソースデコーダとの間の完全なパスの概略的な説明図である。
【図１Ｂ】トランスコーディング・ノードの実施形態のブロック図である。
【図１Ｃ】逆トランスコーディング・ノードの実施形態のブロック図である。
【図１Ｄ】トランスコーディング・パラメータを決定する方法の第１の実施形態を表すフローチャートである。
【図１Ｅ】トランスコーディング・パラメータを決定する方法の第２の実施形態を表すフローチャートである。
【図１Ｆ】マルチユーザのシナリオのためのトランスコーディング・パラメータを決定する方法の実施形態を表すフローチャートである。
【図２】グループ・オブ・ピクチャの各フレームを、長さｌ及びリードソロモン符号による保護のあるセクションに分割する実施形態を示す図である。
【図３】反復ラグランジュ法に基づいて決定されたレートプロットの典型的な歪みを示す図である。
【図４】多重記述ビデオトランスコーディングの実施形態に用いられる様々なパケット損失レート及び冗長性値に関するグループ・オブ・ピクチャに対するピーク信号対雑音比を示す図である。
【図５】多重記述ビデオトランスコーディングの実施形態に用いられるパケット損失及び冗長性に依存している５１２バイトのパケット長に対する、反復ラグランジュ法の最適性をプロットするグラフである。
【図６】Ｐ−フレームに対するレート曲線の典型的な歪みを示す図である。
【図７】グリーディ・アルゴリズムの場合のパケット長プロットの歪みのグラフである。
【図８】ラグランジュ及びグリーディ・アルゴリズムを使用する様々な冗長性値及び様々なパケット損失比に対するグループ・オブ・ピクチャのピーク信号対雑音比を示す図である。
【図９】ラグランジュ及びグリーディ・アルゴリズムを使用する高いパケット損失比に対する、グループ・オブ・ピクチャのピーク信号対雑音比をプロットするグラフである。
【図１０】ＩＰＰフレームシーケンスに対するグループ・オブ・ピクチャのピーク信号対雑音比をプロットするグラフである。
【図１１Ａ】ＩＰＰフレームシーケンスを用いる多重記述ビデオトランスコーディンググリーディ割り当てアルゴリズムのフレームドロップ利得を示す図である。
【図１１Ｂ】可変サンプル空間及び種々のパケット損失比に対する、多重記述ビデオトランスコーディングの実施形態のピーク信号対雑音比をプロットするグラフである。
【図１２Ａ】元のグリーディアプローチとフレームドロップ付きの動的アプローチとを比較するグループ・オブ・ピクチャのピーク信号対雑音比をプロットするグラフである。
【図１２Ｂ】１６フレームのＩＰＰ構造を有するグループ・オブ・ピクチャに対する、元のグリーディアプローチのピーク信号対雑音比とフレームドロップ付きの動的アプローチとを比較する図である。
【図１２Ｃ】８フレームのＩＰＰ構造を有するグループ・オブ・ピクチャに対する、元のグリーディアプローチとフレームドロップ付きの動的アプローチのピーク信号対雑音比を比較する図である。
【図１３】多重記述ビデオトランスコーディングのための均一誤り保護及び不均一誤り保護の場合の、グループ・オブ・ピクチャに対するピーク信号対雑音比を示す図である。
【図１４】図１４Ａは同時最適化の場合の多重記述ビデオトランスコーディング最適化のシナリオを示す図である。図１４Ｂは個別最適化の場合の多重記述ビデオトランスコーディング最適化のシナリオを示す図である。図１４Ｃは２つのパスが使用可能である多重記述ビデオトランスコーディング最適化のシナリオを示す図である。図１４Ｄは１つのパスが利用可能である多重記述ビデオトランスコーディング最適化のシナリオを示す図である。
【図１５】図１５Ａは１つのパスだけが利用可能である場合に、同時最適化と個別最適化の結果を比較するグループ・オブ・ピクチャに対する典型的なピーク信号対雑音比を示す図である。図１５Ｂは両方のパスが利用可能（主歪み）である場合に、同時最適化と個別最適化に関して、グループ・オブ・ピクチャに対するピーク信号対雑音比の比較を示す図である。
【図１６】図１６Ａは１つのパスが利用可能であるときに、主再構成と副再構成との間のトレードオフ解のためのグループ・オブ・ピクチャに対するピーク信号対雑音比を示す図である。図１６Ｂは両方のパスが利用可能であるときに、トレードオフ解のためのグループ・オブ・ピクチャに対するピーク信号対雑音比を示す図である。
【図１７】個別単一ビデオ記述トランスコーディングが後に続けられる奇数／偶数フレーム分割を使用して、２つの不平衡パスを介してデータを送信する従来のアプローチの概略図である。
【図１８】両方の記述が共通仮想チャネルを介して最適化される実施形態の概略図である。
【図１９】コンテナ・テスト・シーケンスを使用する不平衡パスのグループ・オブ・ピクチャに対するピーク信号対雑音比をプロットするグラフである。
【図２０】フォアマン・テスト・シーケンスを使用する不平衡パスのグループ・オブ・ピクチャに対するピーク信号対雑音比をプロットするグラフである。
【図２１】ＩＰＰ構造と共にフォアマン・テスト・シーケンスを使用する不平衡パスのためのグループ・オブ・ピクチャのピーク信号対雑音比のプロットを示す図である。
【図２２】両方のパスが同じパケット損失レートを有する場合に、ＩＰＰフォアマン・テスト・シーケンスを用いる不平衡パスのためのグループ・オブ・ピクチャのピーク信号対雑音比のプロットを示す図である。
【図２３】図２３Ａは両方のパスが利用可能である場合に、逆トランスコーディング・ノードの受信シナリオを示す図である。図２３Ｂは第１のパスだけが利用可能である場合に、逆トランスコーディング・ノードの受信シナリオを示す図である。図２３Ｃは第２のパスだけが利用可能である場合に、逆トランスコーディング・ノードの受信シナリオを示す図である。
【図２４】トランスコーディング・ノードの種々の動作点に関して、１つの記述だけが受信された場合に、グループ・オブ・ピクチャに対するピーク信号対雑音比をプロットするグラフである。
【図２５】トランスコーディング・ノードに種々の動作点に関して、２つのパスが利用可能である場合に、グループ・オブ・ピクチャに対するピーク信号対雑音比をプロットするグラフである。
【図２６】様々な最適化規準に関してパス１及び２の停止の確率に応じて平均ピーク信号対雑音比の変動をプロットするグラフである。
【図２７】パス１及び２の停止の確率に応じて様々な機能点を示す図である。
【図２８】低帯域幅パスであるパス１が頻繁に停止し、高帯域幅パスであるパス２が常に利用可能である場合に、パス１及び２の停止の確率に応じて平均ピーク信号対雑音比をプロットするグラフである。
【図２９】低帯域幅パスであるパス１が常に利用可能であり、高帯域幅パスであるパス２が頻繁に停止する場合に、パス１及び２の停止の確率に応じて平均ピーク信号対雑音比をプロットするグラフである。
【図３０】フォアマン・テスト・シーケンスの場合のレート歪み曲線をプロットするグラフである。
【図３１】様々なソースレート及び５％のパケット損失レートの場合に伝送レートに応じて受信機における再生品質をプロットするグラフである。
【図３２】様々なソースレート及び１５％のパケット損失レートの場合に伝送レートに応じて受信機における再生品質をプロットするグラフである。
【図３３】図３３Ａは２ユーザ型多重記述ビデオトランスコーディングのシナリオの実施形態を示す図である。図３３Ｂは記述１が低帯域幅ユーザへ送信されるマルチユーザ型シナリオの場合の多重記述ビデオトランスコーディングの実施形態を示す図である。
【図３４】フォアマン・テスト・シーケンスの記述１だけを受信するユーザ１に対するピーク信号対雑音比をプロットするグラフである。
【図３５】フォアマン・テスト・シーケンスのユーザ２に対するピーク信号対雑音比をプロットするグラフである。
【図３６】１０％のパケット損失レートのコンテナ・テスト・シーケンスの場合に、パス２上のレートに応じて、最適多重記述ビデオトランスコーディングと２ユーザ型多重記述ビデオトランスコーディングとを比較する、ユーザ１に対するピーク信号対雑音比のグラフを示している。
【図３７】３０％のパケット損失レートのコンテナ・テスト・シーケンスを使用して、パス２上のレートに応じて、最適多重記述ビデオトランスコーディングと２ユーザ型多重記述ビデオトランスコーディングとを比較する、ユーザ２に対するピーク信号対雑音比のグラフを示している。
【図３８】１５％のパケット損失レートのコンテナ・テスト・シーケンスを使用して、パス２上のレートに応じて、最適多重記述ビデオトランスコーディングと２ユーザ型多重記述ビデオトランスコーディングとを比較する、ユーザ１に対するピーク信号対雑音比のグラフを示している。
【図３９】１０％のパケット損失レートのコンテナ・テスト・シーケンスを使用して、パス２上のレートに応じて、最適多重記述ビデオトランスコーディングと２ユーザ型多重記述ビデオトランスコーディングとを比較する、ユーザ２に対するピーク信号対雑音比を比較するグラフを示している。
【図４０】歪みプロファイルがシーケンスの第１のグループ・オブ・ピクチャのため送信されたときのピーク信号対雑音比を、２０個のグループ・オブ・ピクチャのフォアマン・シーケンスに対する最適ピーク信号対雑音比だけと比較するグラフを示している。
【図４１】図４１Ａは３層ビデオストリームを２つの記述にトランスコーディングする実施形態を示す図である。図４１Ｂは３層ビデオストリームを固定長セクションに基づくパケットにトランスコーディングする実施形態の概略図である。
【図１Ａ】
2008193661.tif 000070
【図１Ｂ】
2008193661.tif 000071
【図１Ｃ】
2008193661.tif 000072
【図１Ｄ】
2008193661.tif 000073
【図１Ｅ】
2008193661.tif 000074
【図１Ｆ】
2008193661.tif 000075
【図２】
2008193661.tif 000076
【図３】
2008193661.tif 000077
【図４】
2008193661.tif 000078
【図５】
2008193661.tif 000079
【図６】
2008193661.tif 000080
【図７】
2008193661.tif 000081
【図８】
2008193661.tif 000082
【図９】
2008193661.tif 000083
【図１０】
2008193661.tif 000084
【図１１Ａ】
2008193661.tif 000085
【図１１Ｂ】
2008193661.tif 000086
【図１２Ａ】
2008193661.tif 000087
【図１２Ｂ】
2008193661.tif 000088
【図１２Ｃ】
2008193661.tif 000089
【図１３】
2008193661.tif 000090
【図１４】
2008193661.tif 000091
【図１５】
2008193661.tif 000092
【図１６】
2008193661.tif 000093
【図１７】
2008193661.tif 000094
【図１８】
2008193661.tif 000095
【図１９】
2008193661.tif 000096
【図２０】
2008193661.tif 000097
【図２１】
2008193661.tif 000098
【図２２】
2008193661.tif 000099
【図２３】
2008193661.tif 000100
【図２４】
2008193661.tif 000101
【図２５】
2008193661.tif 000102
【図２６】
2008193661.tif 000103
【図２７】
2008193661.tif 000104
【図２８】
2008193661.tif 000105
【図２９】
2008193661.tif 000106
【図３０】
2008193661.tif 000107
【図３１】
2008193661.tif 000108
【図３２】
2008193661.tif 000109
【図３３】
2008193661.tif 000110
【図３４】
2008193661.tif 000111
【図３５】
2008193661.tif 000112
【図３６】
2008193661.tif 000113
【図３７】
2008193661.tif 000114
【図３８】
2008193661.tif 000115
【図３９】
2008193661.tif 000116
【図４０】
2008193661.tif 000117
【図４１】
2008193661.tif 000118
【外国語明細書】
2008193661.tif 000119
2008193661.tif 000120
2008193661.tif 000121
2008193661.tif 000122
2008193661.tif 000123
2008193661.tif 000124
2008193661.tif 000125
2008193661.tif 000126
2008193661.tif 000127
2008193661.tif 000128
2008193661.tif 000129
2008193661.tif 000130
2008193661.tif 000131
2008193661.tif 000132
2008193661.tif 000133
2008193661.tif 000134
2008193661.tif 000135
2008193661.tif 000136
2008193661.tif 000137
2008193661.tif 000138
2008193661.tif 000139
2008193661.tif 000140
2008193661.tif 000141
2008193661.tif 000142
2008193661.tif 000143
2008193661.tif 000144
2008193661.tif 000145
2008193661.tif 000146
2008193661.tif 000147
2008193661.tif 000148
2008193661.tif 000149
2008193661.tif 000150
2008193661.tif 000151
2008193661.tif 000152
2008193661.tif 000153
2008193661.tif 000154
2008193661.tif 000155
2008193661.tif 000156
2008193661.tif 000157
2008193661.tif 000158
2008193661.tif 000159
2008193661.tif 000160
2008193661.tif 000161
2008193661.tif 000162
2008193661.tif 000163
2008193661.tif 000164
2008193661.tif 000165
2008193661.tif 000166
2008193661.tif 000167
2008193661.tif 000168
2008193661.tif 000169
2008193661.tif 000170
2008193661.tif 000171
2008193661.tif 000172
2008193661.tif 000173
2008193661.tif 000174
2008193661.tif 000175
2008193661.tif 000176
2008193661.tif 000177
2008193661.tif 000178
2008193661.tif 000179
2008193661.tif 000180
2008193661.tif 000181
2008193661.tif 000182
2008193661.tif 000183
2008193661.tif 000184
2008193661.tif 000185
2008193661.tif 000186
2008193661.tif 000187
2008193661.tif 000188
2008193661.tif 000189
2008193661.tif 000190
2008193661.tif 000191
2008193661.tif 000192
2008193661.tif 000193
2008193661.tif 000194
2008193661.tif 000195
2008193661.tif 000196
2008193661.tif 000197
2008193661.tif 000198
2008193661.tif 000199
2008193661.tif 000200
2008193661.tif 000201
2008193661.tif 000202
2008193661.tif 000203
2008193661.tif 000204
2008193661.tif 000205
2008193661.tif 000206
2008193661.tif 000207
2008193661.tif 000208
2008193661.tif 000209
2008193661.tif 000210
2008193661.tif 000211
2008193661.tif 000212
2008193661.tif 000213
2008193661.tif 000214
2008193661.tif 000215
2008193661.tif 000216
2008193661.tif 000217
2008193661.tif 000218
2008193661.tif 000219
2008193661.tif 000220
2008193661.tif 000221
2008193661.tif 000222
2008193661.tif 000223
2008193661.tif 000224
2008193661.tif 000225
2008193661.tif 000226
2008193661.tif 000227
2008193661.tif 000228
2008193661.tif 000229
2008193661.tif 000230
2008193661.tif 000231
2008193661.tif 000232
2008193661.tif 000233
2008193661.tif 000234
2008193661.tif 000235
2008193661.tif 000236
2008193661.tif 000237
2008193661.tif 000238
2008193661.tif 000239
2008193661.tif 000240
2008193661.tif 000241
2008193661.tif 000242
2008193661.tif 000243
2008193661.tif 000244
2008193661.tif 000245