(57)【要約】マルチメディアデータのためのクロスメディアエラー保護を提供するシステム及び方法。クロスメディアエラー保護は、マルチメディアデータを各々が複数のフィールドを含む複数の離散パッケージにパッケージングするパッケージングシステム、及びエラー保護データを各パケットの前記複数のフィールドの１つに挿入する挿入システムからなり、前記メディアストリームの各々からのデータセグメントは前記複数のフィールドの相異なるフィールドに配置される。さらに、前記複数のフィールドの各々のサイズは、タイムインターバルにおいて前記複数のメディアストリームの各々のサイズに比例されてもよい。
2004537199.tif 000002
【特許請求の範囲】
【請求項１】
相異なるタイプの複数のメディアストリームを有するマルチメディアデータのクロスメディアエラー保護システムであって：
前記マルチメディアデータを各々が複数のフィールドを含む複数の離散パケットにパッケージングするパッケージングシステム；及び
エラー保護データを各パケットの前記複数のフィールドの１つに挿入する挿入システム；
を有し、前記メディアストリームの各々からのデータセグメントは前記複数のフィールドの相異なるフィールドに配置されることを特徴とするシステム。
【請求項２】
請求項１記載のクロスメディアエラー保護システムであって、前記複数のフィールドの各々のサイズは、前記複数のメディアストリームの各々のサイズに比例することを特徴とするシステム。
【請求項３】
請求項１記載のクロスメディアエラー保護システムであって、前記複数のフィールドの各々のサイズは、所定の比率に設定されることを特徴とするシステム。
【請求項４】
請求項１記載のクロスメディアエラー保護システムであって、前記複数のメディアストリームは、音声、映像、グラフィックス及びテキストからなるグループから選ばれることを特徴とするシステム。
【請求項５】
請求項１記載のクロスメディアエラー保護システムであって、さらに、マルチメディアデータの前記離散パケットを復号化するデコーダを備えることを特徴とするシステム。
【請求項６】
第１メディアストリームタイプと第２メディアストリームタイプを有するマルチメディアデータをパッケージングするエンコーダであって：
前記マルチメディアデータを複数の離散パケットにパッケージングする手段；
を有し、各パケットは、前記第１メディアストリームタイプのセグメントを保持する第１フィールド、前記第２メディアストリームタイプのセグメントを保持する第２フィールド、及びエラー保護データを保持する第３フィールドとを含み、前記第１フィールド及び前記第２フィールドのサイズは、前記第１メディアストリームタイプ及び前記第２メディアストリームタイプのサイズに比例することを特徴とするエンコーダ。
【請求項７】
請求項６記載のエンコーダであって、前記第１メディアストリームタイプ及び前記第２メディアストリームタイプは、音声、映像、グラフィックス及びテキストからなるグループから選ばれることを特徴とするエンコーダ。
【請求項８】
異なるタイプの第１及び第２メディアストリームタイプを有するマルチメディアデータをパッケージ解除するデコーダであって：
複数の離散パケットからマルチメディアデータを読み込む手段；
を有し、各パケットは、前記第１メディアストリームタイプのセグメントを保持する第１フィールド、前記第２メディアストリームタイプのセグメントを保持する第２フィールド、及びエラー保護データを保持する第３フィールドとを含み、前記第１フィールド及び前記第２フィールドのサイズは、前記第１メディアストリームタイプ及び前記第２メディアストリームタイプのサイズに比例することを特徴とするデコーダ。
【請求項９】
請求項８記載のデコーダであって、前記第１メディアストリームタイプ及び前記第２メディアストリームタイプは、音声、映像、グラフィックス及びテキストからなるグループから選ばれることを特徴とするデコーダ。
【請求項１０】
マルチメディアデータのためのクロスメディアエラー保護を提供する方法であって：
相異なるタイプの複数のメディアストリームを有するマルチメディアデータを受信するステップ；
各メディアストリームのサイズを決定するステップ；
前記マルチメディアデータを複数の離散パケットにパッケージングするステップ；及び
エラー保護データを各パケットに挿入するステップ；
を有し、各離散パケットは前記複数のメディアストリームの各々からのデータセグメントを有し、各パケットのサイズは各メディアストリームのサイズに比例することを特徴とする方法。
【請求項１１】
請求項１０記載の方法であって、前記複数の離散パケットの各々は同じサイズであることを特徴とする方法。
【請求項１２】
請求項１０記載の方法であって、さらに、前記複数の離散パケットを送信するステップを有することを特徴とする方法。
【請求項１３】
請求項１２記載の方法であって、さらに、前記複数の離散パケットを前記複数のメディアストリームに復号化するステップを有することを特徴とする方法。
【請求項１４】
マルチメディアデータのためのクロスメディアエラー保護を提供する記録可能媒体に記憶されるプログラムプロダクツであって：
相異なるタイプの複数のメディアストリームを有するマルチメディアデータを受信するよう構成されるプログラムコード；
各メディアストリームのサイズを決定するよう構成されるプログラムコード；
前記マルチメディアデータを複数の離散パケットにパッケージングするよう構成されるプログラムコード；及び
エラー保護データを各パケットに挿入するよう構成されるプログラムコード；
を有し、各離散パケットは前記複数のメディアストリームの各々からのデータセグメントを含み、各パケットのサイズは各メディアストリームのサイズに比例することを特徴とするプログラムプロダクツ。
【請求項１５】
請求項１４記載のプログラムプロダクツであって、各メディアストリームのサイズは、所定のタイムインターバルにおいて決定されることを特徴とするプログラムプロダクツ。
【請求項１６】
請求項１４記載のプログラムプロダクツであって、各メディアストリームのサイズは推定されることを特徴とするプログラムプロダクツ。
【発明の詳細な説明】
【０００１】
本発明は、エラー保護スキームに関し、より詳細には、マルチメディアデータストリームのクロスメディアアラー保護システム及び方法に関する。
【０００２】
エラー保護技術は、電子データや電子情報のエラーからの保護に利用される。保護されうるデータのタイプには、例えば、通常のデータファイル、マルチメディアデータ（例えば、映像及び音声）あるいはウェブページなどが含まれる。エラーは主として送信中に発生するが、記憶装置へのデータの書き込み、あるいは記憶装置からのデータの読み込みのような他のアクションによっても引き起こされる。エラー保護スキームは、データに冗長性を加えることにより機能する。この冗長性は、エラーの検出及び補正の両方に関して利用される。与えられたエラー保護スキームの効果は、一般に加えられる冗長量に依存する。
【０００３】
保護がより重要になりつつある領域には、マルチメディアデータやウェブコンテンツなどが含まれ、その両方が典型的には複数のメディアストリームを含んでいる。例えば、映像プログラムには、１つ以上の映像、音声及びテキストストリームが含まれる。同様に、ウェブページには、音声、映像及びテキストデータが組み込まれている。典型的には、各メディアストリームのサイズや帯域幅は異なっており、一般に映像ストリームが帯域幅のかなりの割合を占有し、次に音声、そしてテキストの順である。本発明のため、「マルチメディア」という用語は、複数のメディアストリームを有する任意のコンテンツを指すとする。
【０００４】
今日の情報環境においては、複数のメディアストリームからなるデータが異なる能力を有する複数の装置に同時に送信されることが多い。例えば、音声、映像及びテキスト表示能力を有するコンピュータやテレビは、すべてのストリームのデコード及び表示が可能である。逆に、オーディオプレーヤーは音声ストリームのみをデコードし、携帯電話やテキスト専用ディスプレイを有するPDA（Personal Digital Assistant）はテキストデータのみをデコードする。従って、このような環境では、個々のストリームすべての保護が等しく重要になってくる。
【０００５】
従来技術によるコンテンツ保護方法は、各メディアストリームを独立に保護する。すなわち、各メディアストリームからのビットパケットは独立にパッケージ化され、あるサイズの冗長ビットが各パケットに加えられる。このため、各々が自らの冗長ビットやエラーチェックビットを有する多数の映像パケット、音声パケット及びテキストパケットが生成されることになる。このような独立的な保護による問題点は、送信エラーが１つのメディアストリーム、例えば、テキストストリームを完全に消去し、その結果、PDAユーザを「スターブさせる（starving）」可能性があるということである。
【０００６】
このスキームの一例が図２に示される。図２では、各々が冗長ビットRと共にパッケージ化される複数のメディアストリーム３０が示される。所定の間隔で、８０ビットのストリーム１（映像V）、３２ビットのストリーム２（音声A）と１６ビットのストリーム３（テキストT）が生成される。図２に示される例では、各ストリームは２０ビット（１６ビットの情報と４ビットの冗長ビットR）のパケットに分割され、エラー保護に対し２５％の冗長性を与えている。例えば、１６映像ビット３２が４冗長ビット３４と共にパッケージ化される。本例では、各々が独立に冗長ビットRにより保護される５つの映像パケット、２つの音声パケット及び１つのテキストパケットがある。
【０００７】
ここで、送信媒体がこれらのパケットの１つに、冗長情報ではその補正に不十分な程度のエラーを発生させたとする。このエラーがテキスト情報３５を搬送するパケットで起これば、当該期間に関するテキスト情報は完全に消失される。テキストパケット３５が完全に消失されると、テキスト情報のみを表示するPDAのような装置は、当該期間において表示すべきデータを所持しない状態となる。この結果、PDAユーザがその期間において情報を受信しない一方で、PCやオーディオプレーヤーのユーザは依然としてその他のストリームの受信及び処理が可能である。
【０００８】
従って、完全なデータ消失やスタベーション（starvation）のリスクがマルチメディアストリームの設定において低減できるシステムの必要性がある。
【０００９】
本発明は、相異なるメディアストリームの一部を各パケットに合成するクロスメディアエラー保護システムを提供することにより、上記問題点及び他の問題点を解消する。各パケットに挿入される各メディアストリームタイプのサイズは、これら相異なるメディアストリームの全体のサイズに比例してもよい。
【００１０】
第１の特徴として、本発明は、相異なるタイプの複数のメディアストリームを有するマルチメディアデータのクロスメディアエラー保護システムであって、前記マルチメディアデータを各々が複数のフィールドを含む複数の離散パッケージにパッケージングするパッケージングシステム、及びエラー保護データを各パケットの前記複数のフィールドの１つに挿入する挿入システムからなり、前記メディアストリームの各々からのデータセグメントは前記複数のフィールドの相異なるフィールドに配置されることを特徴とする。
【００１１】
第２の特徴として、本発明は、第１メディアストリームタイプと第２メディアストリームタイプを有するマルチメディアデータをパッケージングするエンコーダであって、前記マルチメディアデータを複数の離散パケットにパッケージングする手段からなり、各パケットは、前記第１メディアストリームタイプのセグメントを保持する第１フィールド、第２メディアストリームタイプのセグメントを保持する第２フィールド、及びエラー保護データを保持する第３フィールドとを含み、前記第１フィールド及び前記第２フィールドのサイズは、前記第１メディアストリームタイプ及び前記第２メディアストリームタイプのサイズに比例することを特徴とする。
【００１２】
第３の特徴として、本発明は、異なるタイプの第１及び第２メディアストリームを有するマルチメディアデータをパッケージ解除するデコーダであって、複数の離散パケットからマルチメディアデータを読み込む手段からなり、各パケットは、前記第１メディアストリームタイプのセグメントを保持する第１フィールド、第２メディアストリームタイプのセグメントを保持する第２フィールド、及びエラー保護データを保持する第３フィールドとを含み、前記第１フィールド及び前記第２フィールドのサイズは、前記第１メディアストリームタイプ及び前記第２メディアストリームタイプのサイズに比例することを特徴とする。
【００１３】
第４の特徴として、本発明は、マルチメディアデータのためのクロスメディアエラー保護を提供する方法であって、相異なるタイプの複数のメディアストリームを有するマルチメディアデータを受信するステップ、各メディアストリームのサイズを決定するステップ、前記マルチメディアデータを複数の離散パケットにパッケージングするステップ、及びエラー保護データを各パケットに挿入するステップからなり、各離散パケットは前記複数のメディアストリームの各々からのデータセグメントを含み、各パケットのサイズは各メディアストリームのサイズに比例することを特徴とする。
【００１４】
第５の特徴として、本発明は、マルチメディアデータのためのクロスメディアエラー保護を提供する記録可能媒体に記憶されるプログラムプロダクツであって、相異なるタイプの複数のメディアストリームを有するマルチメディアデータを受信するよう構成されるプログラムコード、各メディアストリームのサイズを決定するよう構成されるプログラムコード、前記マルチメディアデータを複数の離散パケットにパッケージングするよう構成されるプログラムコード、及びエラー保護データを各パケットに挿入するよう構成されるプログラムコードからなり、各離散パケットは前記複数のメディアストリームの各々からのデータセグメントを含み、各パケットのサイズは各メディアストリームのサイズに比例することを特徴とする。
【００１５】
本発明の好適な実施例が、添付される図面と共に以下で説明される。ここで、同様の表示は同様の構成要素を示す。
【００１６】
図１を参照するに、クロスメディアエラー保護システム１０が示される。システム１０は、マルチメディアデータ２６を受信し、このデータ２６を追加的なエラー保護データと共に複数の離散パケット２８に符号化するエンコーダ１２を備える。これらパケット２８は、送信チャンネル上に送信され、デコーダ２０により受信され、デコーダ２０はパケットをマルチメディアデータ２９に復号化及び変換する。上述のように、マルチメディアは、複数のデータストリームを含む任意のコンテンツから構成されうる。
【００１７】
エンコーダ１２は、冗長データあるいはエラー保護データと共にマルチメディアデータ２６をパッケージングするパッケージングシステム１４を備える。図３に示され、以下でさらなる詳細が説明されるように、パッケージングシステム１４は、マルチメディアデータの異なるメディアストリームのそれぞれの部分を各パケット２８に挿入する。パッケージングシステム１４はまた、必要なエラー保護データを各パケットに挿入する。本好適な実施例では、各パケットに配置される各メディアタイプのサイズは、所定の期間において受信された異なるメディアストリームのサイズ全体に比例する。従って、典型的なマルチメディアパケットは、映像データセグメントを保持する（比較的大きな）第１フィールド、音声データセグメントを保持する第２フィールド、テキストデータセグメントを保持する（比較的小さな）第３フィールド、及び冗長データセグメントを保持する第４フィールドを含む。
【００１８】
好適な一実施例では、パケットプロポーショニングシステム（packet  proportioning  system）１６が、以下のような各パケットをプロポーショニングする処理を扱う。まず、データストリームが受信され、各メディアストリームのサイズが、特定のタイムインターバルにおいて決定される。次に、メディアストリームの相対的な比率（すなわち、サイズ比）が計算される。最後に、各メディアストリームと冗長ビットのパケットフィールドサイズが割り当てられる。あるタイムインターバルにおいて、第１データタイプの１０００ビットの第１メディアストリームと第２データタイプの５００ビットの第２メディアストリームを有する（すなわち、2:1の比）マルチメディアデータが受信されたとする。さらに、各々が５ビットの冗長ビットを有する２０ビットの離散パケット（従って、メディアデータ用に１５ビットが用意される）が生成されるとする。この２つのメディアストリームの全体の比率を利用して、各パケットには、第１メディアストリームからの１０ビットを保持するための第１フィールドと、第２メディアストリームからの５ビットを保持するための第２フィールドとが配分される。さらに、５ビットの冗長ビットを保持するための第３フィールドが同様にして配分される。ここで説明されるパケットプロポーショニング方法は例示的目的のためであり、本発明の範囲内の他の方法が同様にして利用可能であるということは理解されるであろう。
【００１９】
例えば、各パケットにおけるフィールドサイズは、各フィールドのサイズが各ストリームのサイズに基づき動的に決定されないよう「ハードコード化（hard-coded）」されてもよい。さらに、各メディアストリームのサイズは、典型的な要求に基づき推定されてもよい。
【００２０】
フィールドサイズが決まると、パッケージングシステム１６はそれに従いメディアストリームをパッケージングし、エラー保護ビットがエラー保護システム１８により加えられる。エラー保護を加える様々なシステム及びスキームが当該技術分野において周知である。その後、生成されたパケット２８は送信されるか、あるいはそうでなければ処理され、デコーダ２０により復号化される。デコーダ２０は、パケットが損傷のない状態で受信されたかどうか判断するためにエラー保護ビットをチェックするエラーチェッキングシステム２２を備える。エラーチェッキングシステム２２はまた、パケット内のエラーを補正してもよい。その後、パッケージ解除システム（un-packaging system）２４が各パケットの各フィールドのメディアデータビットのパッケージを解除し、パケットパッケージングシステム１６によるプロポーションスキームを利用して、マルチメディアデータストリーム２９を再構成する。パケットプロポーショニングシステム１６がストリームサイズに基づきフィールドサイズを動的に決定する場合、フィールドサイズは所定のプロトコルを使って、パッケージ解除システム２４に送信される。
【００２１】
図３を参照するに、一例となるクロスメディアパッケージングスキームが、図２に関して説明されたものと同一の仮定によるパケット群２８に対し示される。すなわち、８０ビットのストリーム１（映像V）、３２ビットのストリーム２（音声A）及び１６ビットのストリーム３（テキストT）が生成される所定のタイムインターバルにおいて、２５％の冗長性が必要とされる。しかしながら、本実施例では、各パケットは各メディアストリームからのデータを含んでいる。さらに、各パケットに含まれる各ストリームからのデータ量は、映像、音声及びテキストストリームのサイズに比例して決定される。この場合では、５：２：１となる。図２に関して説明されたケースと同様に、各々が２０ビットからなる８つのパケットが生成される。しかしながら、この場合、各パケットは、１０ビットの映像情報からなる第１セグメント、４ビットの音声情報からなる第２セグメント、２ビットのテキスト情報からなる第３セグメント、及び４ビットの冗長情報からなる第４セグメントを含む４つの配分されたフィールドを備える。
【００２２】
ここで、送信媒体が図２に関し説明されたものと同様のエラー量を引き起こすと仮定すると、すなわちパケットの中の１つが完全に消失されると仮定すると、図３のクロスメディアエラー保護スキームは、当該タイムインターバルにおいてどの装置にもデータのスタベーションを発生させないということを保証する。具体的には、各パケットのデータはすべてのメディアストリームのセグメントを含んでいるので、テキストストリームのごくわずかな部分が消失しても、PDAはテキスト情報を消失はあるが表示することはできる。従って、本実施例では、パケットの消失しても、このデータ消失は希薄化され、すべてのメディアストリームによってシェアされる。その結果、このクロスメディアエラー保護により、送信エラーによる１つのストリームの完全な消失を回避することが可能になり、テキスト及び他の「厚みのない（thin）」ストリームのスタベーション状態からユーザを保護することができる。
【００２３】
ここで説明されたシステム、機能、方法及びモジュールは、ハードウェア、ソフトウェア及びそれらを組み合わせたものにおいて実現されうるということは理解されるであろう。これらは、任意のタイプのコンピュータ、あるいはここで説明された方法を実行するよう適合された他の装置により実現されてもよい。ハードウェアとソフトウェアの典型的な組み合わせとしては、ロード及び実行されると、ここで説明された方法が実行されるよう制御用コンピュータプログラムを備えた汎用コンピュータシステムであってもよい。あるいは、本発明の機能タスクの１つ以上を実行するために特化したハードウェアを備えた特定用途向けコンピュータが利用されてもよい。本発明はまた、ここで説明された方法及び機能の実現を可能にし、コンピュータシステムにロードされると、これらの方法及び機能を実行することが可能なすべての特徴を備えたコンピュータプログラムプロダクツに内蔵されてもよい。ここで、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクツあるいはソフトウェアとは、情報処理能力を有するシステムに特定の機能を直接的に、あるいは以下の少なくとも一方：（a）他の言語、コードあるいは表記への変換、（b）異なる物質形態での再生、の後に特定の機能を実行させることを意図したインストラクションセットの任意の言語、コードあるいは表記での任意の表現を意味する。
【００２４】
例示と説明のため、本発明の好適な実施例の説明が与えられてきた。しかしながら、これらの実施例は、本発明を言い尽くすものでもなく、また本発明を開示された正確な形態に制限することを意図するものでもない。上記教示に従い、明らかに、様々な修正及び変形が可能である。当業者に明らかなそのような修正及び変形は、添付されたクレームにより定義される本発明の範囲内に含まれる。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の好適な一実施例によるクロスメディア保護システムのブロック図を示す。
【図２】図２は、エラー保護を提供する典型的なパッケージングスキームを示す。
【図３】本発明によるクロスメディアパッケージングスキームを示す。
【図１】
2004537199.tif 000003
【国際公開パンフレット】
2004537199.tif 000004
2004537199.tif 000005
2004537199.tif 000006
2004537199.tif 000007
2004537199.tif 000008
2004537199.tif 000009
2004537199.tif 000010
2004537199.tif 000011
2004537199.tif 000012
2004537199.tif 000013
2004537199.tif 000014
2004537199.tif 000015
【国際調査報告】
2004537199.tif 000016
2004537199.tif 000017