(57)【要約】本発明の第１の実施例では、データ伝送の方法を提供する。マルチメディアストリームは、電子媒体を介して受信される。ストリーム内には、複数のベクトルがある。ベクトルに基づいて、複数の誤り保護ユニットがマルチメディアストリームに付加される。
2005518162.tif 000002
【特許請求の範囲】
【請求項１】
電子媒体を介して、複数のベクトルを有するマルチメディアストリームを受信する段階と、
前記ベクトルに基づいて、前記マルチメディアストリームに複数の誤り保護ユニットを付加する段階と、
を有するデータ伝送方法。
【請求項２】
各ベクトルに重要性を割当てる段階を更に有し、
かつ、
前記付加段階は更に、前記重要性に基づいて前記誤り保護ユニットを付加する段階を有する請求項１記載の方法。
【請求項３】
前記誤り保護ユニットを有する前記マルチメディアストリームを電子媒体上で送信する段階を更に有する請求項１記載の方法。
【請求項４】
前記マルチメディアストリームは、ビデオストリームである請求項１記載の方法。
【請求項５】
前記マルチメディアストリームは、ＭＰＥＧ形式にある請求項１記載の方法。
【請求項６】
前記ベクトルは、全エネルギー（又は変動）データ素子、平均又は変動データ素子、大域方向測定データ素子、及び複数の小さなランダム動作データ素子からなるグループからの１つ以上のデータ素子を形成するよう用いられ、
前記誤り保護ユニットは、前記データ素子に基づいて前記マルチメディアに付加される請求項１記載の方法。
【請求項７】
方向に基づいて前記ベクトルから複数の類似するベクトルを選択する段階と、
前記類似するベクトルに基づいて前記誤り保護ユニットを付加する段階と、
を更に有する請求項１記載の方法。
【請求項８】
前記ベクトルに基づいて前記マルチメディアストリームにＵＥＰを付加する段階を更に有する請求項１記載の方法。
【請求項９】
ビデオストリームから１つ以上の動きベクトルを抽出する動きベクトル抽出器と、
前記ビデオストリームを分割するビデオストリーム分割器と、
前記ビデオストリームに誤り保護を付加する誤り保護制御器と、
前記動きベクトルのそれぞれに重要性を割当て、前記割当てられた重要性に基づいて誤り保護を付加するよう前記誤り保護制御器を制御し、また、前記割当てられた重要性に基づいて前記ビデオストリームを分割するよう前記ビデオストリーム分割器を制御する解析ソフトウェアツールと、
前記ビデオストリームを、ある装置に送信する送信器と、
を有するシステム。
【請求項１０】
コンピュータを制御するために動作可能なコンピュータ実行可能処理段階が格納されたコンピュータ可読媒体であって、前記段階は、
電子媒体を介して、複数のベクトルを有するマルチメディアストリームを受信する段階と、
前記ベクトルに基づいて、前記マルチメディアストリームに複数の誤り保護ユニットを付加するコンピュータ可読媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
コンピュータは、例えば、クライアント−サーバネットワーク、又は、ピア−ツー−ピアネットワークのようなネットワークに体系付けることが可能である。両方のタイプのネットワークにおいて、コンピュータは、物理及び／又はワイヤレス接続を介して、互いとデータを交換する。物理接続（例えば、銅線又は光ファイバケーブルで相互接続することによる）を介して伝送されるデータは、ワイヤレス接続（例えば、無線又は赤外線波による）より低い誤り率を有する。例えば、物理接続は、一般的に、１０−３より小さいＢＥＲ（ビット誤り率）を有し、一方、ワイヤレス接続は、１０−１から１０−３ＢＥＲのオーダのより厳しい状態を有する。
【０００２】
マルチメディアは、ネットワークを介して伝送可能なデータタイプの１つである。マルチメディアとは、テキスト、グラフィック、音声、又はビデオを意味する。帯域幅をより効率よく使用するために、マルチメディアは、ネットワークを介して伝送される際に、ビットストリームに圧縮される。一般的に、ビデオ（マルチメディアの１つのタイプである）は、フレームの予測符号化及び可変長符号語を有する圧縮アルゴリズムを用いる。これは、高い圧縮度を得るために用いられる。しかし、圧縮されたビデオビットストリームは、予測符号化はビデオの再構成における誤りを時間的に未来のビデオフレームに伝播させるので、伝送時の誤りにより敏感にもなる。更に、可変長符号語を用いることは、ビット誤りがある場合に、デコーダにエンコーダとの同期を失わせる場合がある。ネットワークを介する伝送に対して、よりビットストリームをロバストにするために、ビデオストリームの様々な部分に誤り保護が付加される。
【０００３】
ビデオを伝送する１つの方法は、ＭＰＥＧ（ムービング・ピクチャーズ・エキスパーツ・グループ）を用いる方法である。ＭＰＥＧ形式は、ビデオを、時間方向におけるフレーム毎の動きを予測し、その後、ＤＣＴ（離散コサイン変換）を用いて空間方向における如何なる冗長性を体系付けることによって、ビデオパケットから構成されるビットストリームに圧縮する。ビデオパケットは、ヘッダで始まり、ヘッダの後には、動き情報、テクスチャ情報、及びスタッフィングビットが続く。ＭＰＥＧは、ビデオを、Ｉフレーム（フレーム内符号化フレーム）、Ｐフレーム（予測符号化フレーム）、又はＢフレーム（双方向予測符号化フレーム）に分割する。
【０００４】
Ｉフレームは、フレーム内で符号化される。Ｉフレームは、他のフレームを参照することなく再構成されることが可能である。Ｐフレームは、最後のＩフレーム又はＰフレームから順方向予測される。Ｂフレームは、最後の／次のＩフレーム又はＰフレームから順方向予測及び逆方向予測される。Ｉフレーム中に存在するオブジェクトは、動きベクトルによってＰ又はＢフレームにおいて予測される。ＭＰＥＧでは、動きベクトルは、水平及び垂直成分を有し、これらは、ＩフレームからＰ又はＢフレームへのオブジェクトに対する動きの大きさ及び方向を示す。
【０００５】
圧縮ビデオストリームを、伝送時に発生する誤りに対しよりロバストであるようにするために、誤りの検出、封じ込め、及びコンシールメントを可能にするための幾つかの誤り補正ツールが用いられる。このようなツールには、再同期マーカ、ヘッダ拡張符号、データパーティショニング、及び可変長符号化が含まれる。ＭＰＥＧに基づくビデオは、ビデオを、ヘッダ、動きベクトル、及びＤＣＴ値といった異なる重要性の部分に分割することによって伝送時に保護されることが可能である。リード・ソロモン消去符号といった誤り補正符号又はフィードバックベースの保護手法（例えば、タイプＩ又はＩＩのハイブリッドＡＲＱ）も、ロバスト性を向上するためにビデオ部分に付加することが可能である。しかし、誤り保護の強度は、データパーティションタイプだけに基づくので、これらの誤り保護方法は、データストリーム中に実際に含まれるデータを無視する。これは、ビデオストリームの非重要部分の符号化のためのオーバヘッドを増加してしまう。
【０００６】
本発明の第１の実施例では、データ伝送の方法を提供する。マルチメディアストリームは、電子媒体を介して受信される。マルチメディアストリーム中には、複数のベクトルがある。ベクトルに基づいて、複数の誤り保護ユニットが、マルチメディアストリームに付加される。
【０００７】
本発明の第２の実施例では、データ伝送の方法を提供する。ビデオストリームは、電子媒体を介して受信される。ビデオストリームは、複数のベクトルを有する。重要性がベクトルに割当てられる。重要性に基づいて、複数の誤り保護ユニットが、ビデオストリームに付加される。更に、重要性に基づいて、ビデオストリームは分割される。
【０００８】
本発明の第３の実施例では、データ伝送の方法を提供する。ビデオ伝送が生成される。ビデオ伝送は、ビデオストリームに変換され、また、ビデオストリームは、複数のベクトルを有する。重要性が、ベクトルのそれぞれに割当てられる。重要性に基づいて、複数の誤り保護ユニットが、ビデオストリームに割当てられる。更に、重要性に基づいて、ビデオストリームは分割される。
【０００９】
本発明の第４の実施例では、システムを提供する。動きベクトル抽出器は、ビデオストリームから、１つ以上の動きベクトルを抽出する。解析ソフトウェアツールは、動きベクトルのそれぞれに重要性を割当てる。解析ソフトウェアツールは、更に、割当てられた重要性に基づいて誤り保護を付加するよう誤り保護制御器を制御し、また、割当てられた重要性に基づいてビデオストリームを分割するようビデオストリーム分割器を制御する。ビデオストリーム分割器は、ビデオストリームを分割する。誤り保護制御機は、ビデオストリームに誤り保護を付加する。送信器が、ビデオストリームを、ある装置に送信する。
【００１０】
本発明の１つの実施例では、ビデオは、符号化されるか、又は、符号化された形式でネットワークを介して到着する。符号化ビデオ内に存在する動きベクトルは取出される。動きベクトルは解析される。解析に基づいて、誤り保護がビデオストリームに付加され、そして、ビデオストリームは分割される。
【００１１】
図１は、本発明の１つの実施例によるシステム１を示すブロック図である。ビデオは、ビデオエンコーダ１００によって符号化される（例えば、ライブビデオ）か、又は、格納されたビデオビットストリーム（例えば、予め圧縮されたビデオ）として到着する。一部の実施例では、格納されたビデオは、クライアント−サーバネットワークにおけるサーバから、又は、ピア−ツー−ピアネットワークにおけるピアから到着する場合もある。
【００１２】
符号化ビデオ又は格納ビデオストリームは、動きベクトル抽出器１００を通過する。ここでは、動きベクトル（ＭＶ）がビデオストリームから抽出される。動きベクトル抽出器は、ビットストリームパーサーとして機能することが好適である。動きベクトルは、ＭＰＥＧ（例えば、ＭＰＥＧ−２及びＭＰＥＧ−４）において用いられ、Ｉフレーム内にあるオブジェクトの動作を、Ｐフレーム又はＢフレームのいずれかに時間の経過で伝播する様子を示す。Ｉ、Ｐ、及びＢフレームにおけるオブジェクトに関連する動きベクトルを図３に示す。
【００１３】
動きベクトルは次に、解析ソフトウェアツール１２０内で解析される。ビデオストリームを構成する特定のフレーム又は特定のフレームの一部は、「重要」とラベル付けされることが好適である。例えば、特定のフレーム（例えば、動きベクトル）のどの部分が最も損失する可能性があるかについて予測がなされる。このような部分は、「重要」とラベル付けされることが可能である。
【００１４】
符号化ビデオは、ビデオストリーム分割器１３０によって分割される。例えば、ビデオストリームは、テクスチャデータ、シーンデータ、及び／又は動きデータに分割されることが可能である。解析ソフトウェアツール１２０から得られる結果を用いて、ビデオストリームに対して行われるパーティショニングのタイプを制御することができる。例えば、解析ソフトウェアツール１２０は、１つのフレームの特定のセクション（例えば、上部）におけるオブジェクトの動きを検出する場合がある。その場合、未来フレームは、その未来フレームにおける同一の特定のセクションが、他のセクション（例えば、フレームの下部）より誤り保護が得られるようパーティショニングされることが可能である。
【００１５】
誤り保護は、誤り保護制御器１４０によって、解析ソフトウェアツール１２０から得られた結果に基づいて、ビデオストリームに付加される。基本的に、誤り保護は、ビデオシーケンス内のデータに依存して全ビデオシーケンスに適用される。従って、重要でないビデオの部分又はタイプに誤り保護を適用することによって帯域幅は無駄にされない。更に、帯域幅は、受信器において、誤り保護無しでコンシールされることが可能なビデオの部分又はタイプに対しても無駄にされない。例えば、ビデオストリームがパケットに分割されると、ＵＥＰ（不均一誤り保護）が、解析の結果に基づいてデータに適用されることが可能である。より多くの誤り保護が、「重要」とラベル付けされたビデオストリームの部分に付加されることが好適である。例えば、「重要」領域におけるパケット又はＭＰＥＧビデオヘッダは、より良好な誤り補正符号（例えば、リード・ソロモン符号）の形でより保護を受けるか、又は、そのデータの部分は、ビデオストリームの別の場所で繰り返される（冗長）ことが可能である。本発明の別の実施例では、解析ソフトウェアツール１２０は、連続的な領域、又は、フレームのシーケンスを線形に動く「ブロブ」を検出することができる。システム１は、その場合、誤り保護のレベル、又は、フレームのシーケンスを伝送する際に用いられる一部のパケットに与えられる優先順位を下げることが可能である。何故なら、受信器（図示せず）が、フレームがないことによって発生する線形動き領域における誤りをコンシールすることが可能だからである。
【００１６】
解析ソフトウェアツール１２０は、動きベクトルに関連するので特定のデータ素子を計算することも可能である。例えば、全エネルギー（又は変動）データ素子、平均又は変動データ素子、大域方向測定素子、連続方向データ素子（例えば、フレームの類似する部分の表現）、又は、ランダムノイズデータ素子を計算することができる。全エネルギーデータ素子は、フレームフィールド全体にあるデータ素子の正味の全体を示すよう用いることができる。平均又は変動データ素子は、特定のオブジェクトの全体の又は指向性の動作を測定するよう用いることができる。大域方向測定データ素子は、カメラのパニングを示すよう用いることができる。連続方向データ素子は、フレーム全体が、同一の方向に動く複数のデータ素子を有すると用いることができる。ランダムノイズデータ素子は、「非重要」ノイズがあることを示すために用いることができる。この場合、ビデオストリームの誤り保護又はパーティショニングは、得られたデータ素子に基づくことが可能である。
【００１７】
送信器１５０は、物理又はワイヤレス媒体を介して、１つ以上の装置（例えば、受信器）にビデオストリームを送信する。これらの装置は、ネットワーク上に配置されることが好適である。フィードバックタイプのプロテクタが用いられる本発明の１つの実施例では、動きベクトル解析は、ネットワークからのフィードバックを処理するために用いることができる。このような実施例では、送信器１５０は、ビデオストリームを、解析ソフトウェアツール１２０に戻すことが可能である。フィードバックは、与えられる誤り保護のタイプに影響を与えるよう用いることもできる。例えば、受信器（図示せず）が、（例えば、誤りによって）動きが正確に再現されていないことを示すデータを、解析ソフトウェアツール１２０にフィードバックすると、システム１は、受信器からのフィードバックとストリーム中の動きベクトルのタイプとの両方に基づいてビデオストリームに与えられる保護のレベルを増加する又は変更することができる。システム１は、更に、特定のタイプのフィードバックを無視するようプログラムされることも可能である。例えば、受信器（図示せず）が、あるパケットがないことを検出し、図１のシステム１に再伝送の要求を伝送する場合、システム１は、その要求を無視するようプログラムされることが可能である。この要求は、受信器が誤りのコンシールメントにおいて容認可能な仕事をするので無視されることができる。従って、システム１は、パケットを再伝送しない。
【００１８】
図２は、ＭＰＥＧビデオのＩフレーム３１０、Ｐフレーム３３０、及びＢフレーム３２０を示し、これらはそれぞれオブジェクト３００を含む。図面から分かるように、オブジェクト３００は、フレームを通して右下方向に動いている。
【００１９】
図３は、Ｐフレーム３３０及びＢフレーム３２０にある第１の動きベクトル４００と第２の動きベクトル４１０を示す。第１の動きベクトル４００は、正の水平方向の大きさと負の垂直方向の大きさを有する。第１の動きベクトル４００は、Ｉフレーム３１０からＰフレーム３３０へのオブジェクト３００の動きを予測するよう用いられる。第２の動きベクトル４１０は、負の水平方向の大きさと正の垂直方向の大きさを有する。第２の動きベクトル４１０は、Ｉフレーム３１０からＢフレーム３２０へのオブジェクト３００の動きを予測するよう用いられる。Ｉフレーム３１０は、オブジェクト３００はＩフレーム３１０内に符号化されるので動きベクトルを含まない。
【００２０】
例えば、オブジェクト又は関心点である「類似する」動きベクトルを有する特定の領域は、類似する動きベクトルを識別することによってフレームにおいて識別することが可能である。例えば、１つのフレームは、全て、同一の大きさで４５度上方を指す動きベクトルのセットを含み得る。これらは、その方向に動くオブジェクトを表す。その場合、誤り保護は、動きベクトルのセットに基づいてデータ（例えば、動きベクトル、ヘッダ、及びテクスチャデータ）に誤り検出又は補正符号を付加することによって実施することが可能である。
【００２１】
上述の明細書において、本発明を、本発明の特定の例示的な実施例を参照して記載した。しかし、請求項に記載する本発明のより広い精神及び範囲から逸脱することなく、その実施例に様々な改修及び変更を行い得ることは明らかであろう。明細書及び図面は、従って、制限的にではなく例示的であるとみなされるべきである。
【図面の簡単な説明】
【００２２】
【図１】本発明の１つの実施例を示すブロック図である。
【図２】ＭＰＥＧビデオのＩフレーム、Ｐフレーム、及びＢフレームを示し、それぞれオブジェクトを含む図である。
【図３】Ｐ及びＢフレームにある第１及び第２の動きベクトルを示す図である。
【図１】
2005518162.tif 000003
【図２】
2005518162.tif 000004
【図３】
2005518162.tif 000005
【国際調査報告】
2005518162.tif 000006
2005518162.tif 000007