(57)【要約】無線ネットワークで符号化された映像を通信する誤り回復力のあるシステム及び方法である。符号化された映像を無線ネットワーク上の送信用のビットストリームにパッケージ化するシステムが記載され、そのシステムは、複数の映像フレームのそれぞれをブロックのグループに分割するシステムと、ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作るシステムと、パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定する不等のエラープロテクトシステムと、前記作られたパケットを前記ビットストリームに供給するシステムとを有する。
2005524356.tif 000002
【特許請求の範囲】
【請求項１】
符号化された映像を無線ネットワーク上の送信用のビットストリームにパッケージ化するパッケージ化システムであって、
複数の映像フレームのそれぞれをブロックのグループに分割する分割システムと、
ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作るシステムと、
パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定する不等のエラープロテクトシステムと、
前記作られたパケットを前記ビットストリームに供給する供給システムと
を有するパッケージ化システム。
【請求項２】
請求項１に記載のパッケージ化システムであって、
前記無線ネットワークが、802.11b無線ローカルエリアネットワークを有するパッケージ化システム。
【請求項３】
請求項１に記載のパッケージ化システムであって、
前記分割システムが、所定のビットサイズに基づいてブロックの各グループを分割するパッケージ化システム。
【請求項４】
請求項１に記載のパッケージ化システムであって、
それぞれの作られた下位レイヤのパケットが、一式のヘッダ情報を有するパッケージ化システム。
【請求項５】
請求項１に記載のパッケージ化システムであって、
前記パケットを供給する供給システムは、全ての下位レイヤのパケットが下位レイヤのビットストリームに連続して配置されることを引き起こし、全ての上位レイヤのパケットが上位レイヤのビットストリームに連続して配置されることを引き起こすパッケージ化システム。
【請求項６】
請求項１に記載のパッケージ化システムであって、
前記パケットを供給する供給システムは、下位レイヤのパケットが、単一レイヤのビットストリームでブロックのグループ毎に関連の上位レイヤのパケットと交互配置されることを引き起こすパッケージ化システム。
【請求項７】
請求項１に記載のパッケージ化システムであって、
前記パケットを供給する供給システムは、フレームの全ての下位レイヤのパケットが、単一レイヤのビットストリームで前記フレームの全ての上位レイヤのパケットと連続的にパッケージ化されることを引き起こすパッケージ化システム。
【請求項８】
符号化された映像を無線ネットワーク上の送信用にパッケージ化する方法であって、
複数の映像フレームのそれぞれをブロックのグループに分割し、
ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作り、
前記パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定し、
前記作られたパケットをビットストリームに供給すること
を有する方法。
【請求項９】
符号化された映像を無線ローカルエリアネットワーク上で通信するシステムであって、
ビットストリームを生成し、
複数の映像フレームのそれぞれをブロックのグループに分割し、ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作るデータ分割システムと、
前記パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定する不等のエラープロテクションシステムと、
前記作られたパケットを前記ビットストリームに供給するシステムと
を有する送信システムと、
前記ビットストリームを受信し、
上位レイヤのパケットと下位レイヤのパケットを合併するシステムと、
前記ビットストリームをデコードするシステムと
を有する受信システムと
を有する通信システム。
【請求項１０】
符号化された映像を無線ローカルエリアネットワーク上で受信する受信システムであって、
前記符号化された映像が、
複数の映像フレームのそれぞれをブロックのグループに分割するシステムと、
ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作るシステムと、
前記パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定するシステムと、
前記作られたパケットをビットストリームに供給するシステムと
を有する送信システムにより生成され、
前記受信システムが、
上位レイヤのパケットと下位レイヤのパケットを合併するシステムと、
前記ビットストリームをデコードするシステムと
を有する受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して無線ネットワーク上での符号化された映像の伝送に関するものであり、特に無線ローカルエリアネットワーク(WLAN)用の誤り回復力のある映像を提供するシステムと方法に関するものである。
【背景技術】
【０００２】
近年は、無線ネットワーク(具体的にはローカルエリアネットワーク(LAN))で伝送される高品質映像の要求が高まってきている。2000年には、802.11bがビジネス用と家庭用の双方で標準的な無線イーサーネットのネットワーク技術になった。2.5-4Mbpsの現実的なスループットを有し、符号化された映像放送を含むほとんどのネットワークアプリケーションに十分な速度である。
【０００３】
しかし、主に帯域の制約と高い誤り率に関する制限のため、高品質無線映像信号を伝送するためには多くの課題が存在する。例えば、送信者と受信者との距離が増加すると、受信信号出力が減少し、それによりチャネルのスループットが減少する。従って、無線ネットワークの固有の性質のため、保証された帯域を提供することは非現実的である。
【０００４】
更に、無線ネットワークは同じ周波数帯域で動作する他の装置から干渉を非常に受けやすいことがあるため、パケット誤り又は損失がしばしば生じることがある。このことは、電子レンジ、コードレス電話及び／又は他の802.11bネットワークにより共有される2.4GHzのISM帯域を利用する802.11b無線LAN環境では、特に当てはまる。802.11bで映像を伝送するその他の課題は、802.11b媒体アクセス(MAC)レイヤが、ビット誤りを有して受信されたパケットを破棄することを必要とし、それにより受信機での誤り訂正の可能性を制限することである。
【０００５】
無線LANでの誤り回復力のある映像伝送を提供する多様な機構が提案されてきた。家庭内のデジタル映像コンテンツは通常はMPEG-2やMPEG-4やH.26Lのような単一レイヤのフォーマットで符号化されているため、室内の無線リンクで映像を伝送する最も簡単な解決策は、映像をそのまま“転送”することである。チャネルが通常の状況で動作している(すなわち、動き又は干渉からの予測不能な劣化が存在しない)場合には、この解決策はうまく機能する。残念なことに、パケット損失が生じた場合、又はチャネルのスループットが単一レイヤの符号化映像を配信するのに必要なものより低く低下した場合には、映像品質がかなり低下する。
【０００６】
パケット損失は、誤り補正があっても映像品質の低下を引き起こし、如何なるパケット損失の影響も、動き予測を通じて他のフレームに伝搬する。従って、チャネルの劣化による映像品質の低下は、誤り補正の許容量まで緩和されるに過ぎない。適切に低均化した映像を提供するために、パケット損失とスループットの減少に対する更なる回復力が必要である。
【０００７】
最も簡単な単一レイヤの映像伝送システムの変形は“レート変換(transrating)”と称されており、伝送前の現在のチャネルのスループットに適するように、入力の単一レイヤの符号化ビットストリームのビットレートが動的に調整される。簡単な固定レートの単一レイヤのシステムと比較して、レート変換はある程度までチャネルのスループットの低下に対処することができる。しかし、単一レイヤの符号化映像は、スループットの適応により除去できないパケット損失に依然としてかなり影響を受けやすいため、特に他の装置からの干渉のもとで予期しないパケット損失が依然として存在する。その結果、急激な映像品質の低下が依然として観測される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
かなりの研究努力を引き付けている単一レイヤの映像伝送に対する代替方法は、ビットレート・スケーラブル映像伝送(bit-rate  scalable  video  transmission)である。ここでは、元の映像がいくつかのサブビットストリームに符号化され、そのそれぞれが自己の動き予測ループを有しており、又は入力の単一レイヤの映像がレート・スケーラブル形式にコード変換される。レート・スケーラブル映像を送信する利点は、下位レイヤがうまく保護されるため、最小限の品質が維持され得ることである。従って、受信映像品質は、上位レイヤが受信されているか否かに依存する。しかし、この解決策に関するいくつかの欠点が存在する。第１に、単一レイヤからスケーラブル映像へのコード変換が必要である。第２に、単一レイヤに比較して同じ品質でパケット損失なく映像を送信するためには、より大きい帯域が必要になる。第３に、デコードの複雑さが単一レイヤより大きくなる。
【０００９】
従って、かなりのオーバーヘッドを受けない無線LANでの映像伝送用の更なる誤り回復力を提供するシステムが必要である。
【課題を解決するための手段】
【００１０】
本発明は、無線ネットワークで符号化された映像を通信する誤り回復力のあるシステム及び方法を提供することにより、前述の課題とその他の課題に対処する。第１の態様において、本発明は、符号化された映像を無線ネットワーク上の送信用のビットストリームにパッケージ化するシステムを提供し、複数の映像フレームのそれぞれをブロックのグループに分割するシステムと、ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作るシステムと、パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定する不等のエラープロテクトシステムと、前記作られたパケットを前記ビットストリームに供給するシステムとを有する。
【００１１】
第２の態様において、本発明は、符号化された映像を無線ネットワーク上の送信用にパッケージ化する方法を提供し、複数の映像フレームのそれぞれをブロックのグループに分割し、ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作り、前記パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定し、前記作られたパケットをビットストリームに供給することを有する。
【００１２】
第３の態様において、本発明は、符号化された映像を無線ローカルエリアネットワーク上で通信するシステムを提供し、(1)ビットストリームを生成する送信システムであって、複数の映像フレームのそれぞれをブロックのグループに分割するシステムと、ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作るシステムと、前記パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定するシステムと、前記作られたパケットを前記ビットストリームに供給するシステムとを有する送信システムと、(2)前記ビットストリームを受信する受信システムであって、上位レイヤのパケットと下位レイヤのパケットを合併するシステムと、前記ビットストリームをデコードするシステムとを有する受信システムとを有する。
【００１３】
第４の態様において、本発明は、符号化された映像を無線ローカルエリアネットワーク上で受信する受信システムを提供し、前記符号化された映像が、複数の映像フレームのそれぞれをブロックのグループに分割するシステムと、ブロックのグループ毎に下位レイヤのパケットと一式の上位レイヤのパケットを作るシステムと、前記パケットの重要度に基づいて、作られたパケット毎にリトライの制限を設定するシステムと、前記作られたパケットをビットストリームに供給するシステムとを有する送信システムにより生成され、前記受信システムが、上位レイヤのパケットと下位レイヤのパケットを合併するシステムと、前記ビットストリームをデコードするシステムとを有する。
【発明を実施するための最良の形態】
【００１４】
本発明の前記及び他の特徴が、添付図面を考慮に入れて本発明の多様な態様の以下の詳細な説明から容易に理解できる。
【００１５】
図面を参照すると、図１は、符号化された映像40を通信する無線ローカルエリアネットワーク(WLAN)システム10を表している。WLANシステム10は送信システム(TS)12と受信システム(RES)30とを有し、例えば802.11bプロトコルを利用してもよい。更に、符号化された映像(CV)40は、何らかの単一レイヤのフォーマット(例えばMPEG-2、MPEG-4、H.26L等)を使用して符号化された一連の映像フレームを有する。以下に説明する通り、本発明は、進歩したデータ分割技術と不等のエラープロテクションを使用して、送信システム12と受信システム30との間で無線伝送(WT)42用の強力な誤り回復力を提供する。
【００１６】
これを達成するために、送信システム12は、データ分割システム(DPS)14と、ビットストリームサーバ(BS)20と、不等エラープロテクト(UEP)システム(UEP  S)22と、リトライシステム(RS)28とを有する。データ分割システム14は、入力の単一レイヤの符号化された映像40を回復力のある伝送に適した形式に処理する。データ分割は、ブロックのグループ(GOB)分割システム(GOB  SS)16と、BL/EL(下位レイヤ/上位レイヤ)パケット化システム(BL/EL  PS)18を使用して動作する。GOB分割システム16は各入力映像フレームをGOBに分割し、それによりグループの各ブロックが事前に選択されたビットサイズ(B)17により定められる近似した数のビットを有する。
【００１７】
次に、BL/ELパケット化システム18は、開始マクロブロックアドレス、動きベクトル、量子化の大きさ、優先ブレークポイント(適応的データ分割用の選択肢)、ヘッダ拡張コード、及び優先ブレークポイントに従うランレングス(run-length)のDCTの対を含む全ての必要なヘッダ情報を備えて、GOB毎に下位レイヤの映像パケットを作る。更に、GOP毎に一式(すなわち１以上)の上位レイヤの映像パケットも作られる。従って、GOP毎に、BL/ELパケット化システム18は下位レイヤの映像パケットと一式の上位レイヤの映像パケットを作る。
【００１８】
ビットストリームサーバ20は、作られたパケットを受信し、無線ネットワーク上に容易に供給されるように包括的な分割映像ビットストリームを形成する。映像ビットストリームは、一例として図2-4に記載された機構を含む何らかの機構を使用して形成され得る。各図面に表されているように、例示的な分割フレームは、３つのGOB(GOB1とGOB2とGOB3)に分割されている。各GOBは下位レイヤのパケット(BL[GOB1]、BL[GOB2]、BL[GOB3])と、１つ以上の上位レイヤのパケットとを有する。この場合、GOB1は２つの上位レイヤのパケット(EL1[GOB1]とEL2[GOB1])を有する。GOB2は１つの上位レイヤのパケット(EL1[GOB2])を有する。GOB3は３つの上位レイヤのパケット(EL1[GOB3]、EL2[GOB3]、LE3[GOB3])を有する。当然のことながら、この分割は例示的なものに過ぎず、より大きい又は小さい分割が使用され得る。
【００１９】
図２に示される第１の選択肢では、マルチレイヤ機構が利用される。すなわち、全ての下位レイヤの映像パケットが下位レイヤのビットストリームに連続して供給され、全ての上位レイヤの映像パケットが下位レイヤのビットストリームに連続して供給される。
【００２０】
図３に示される第２の選択肢では、単一レイヤの手法が採用されており、下位レイヤと上位レイヤのパケットがGOB毎に交互配置されている。従って、各下位レイヤのパケット(例えばBL[GOB1])に続いて、一式の対応する上位レイヤのパケット(例えばEL1[GOB1]、EL2[GOB1])が存在する。
【００２１】
図４に示される第３の選択肢では、単一レイヤの手法が採用されており、下位レイヤと上位レイヤのパケットがフレーム毎に交互配置されている。従って、フレームの全ての下位レイヤのパケットは、フレームの全ての上位レイヤのパケットと連続的にパッケージ化されている。
【００２２】
UEPシステム22は、パケットの重要度に基づいてパケット毎にリトライ制限(RL)26を切り替えることにより、無線伝送42用に不等のエラープロテクトを提供する。重要度の高いパケットに相対的に高いリトライ制限が提供され、重要度の低いパケットに相対的に低いリトライ制限が提供される。重要度システム(IS)24は、各パケットの相対的な重要度を決定し、重要度を決定するための何らかの基準が利用され得る。例えば、一般的に下位レイヤのパケットは上位レイヤのパケットより高い重要度を有するため、リトライシステム28により実装される多数のリトライを受ける。802.11bシステムの当業者に周知のように、リトライシステム28により、送信エラーが生じると、パケットが所定の回数(すなわちリトライ制限)まで再送信される。802.11bシステムでは、新しいパケットを送信するか、又は以前のパケットを再送信するかを決定する前に、媒体アクセス(MAC)ドライバが受信機からの肯定応答を待つ。
【００２３】
通常のチャネル状況のもとでは、全く再送信が必要ないことがあり、又はほとんど再送信が必要ないことがある。従って、高いリトライ制限により映像スループットに損失が生じない。チャネルが劣化すると、重要なパケット(例えば下位レイヤのパケット)に使用される高いリトライ制限は、不可欠でないパケット(例えば上位レイヤのパケット)を犠牲にして、損失に対してより良く伝送をプロテクトする。
【００２４】
受信システム30は、周知の技術を使用して無線伝送42を受信する。合併システム(MS)34は、下位レイヤと上位レイヤのパケットのストリームを一連のフレームに合併し、その一連のフレームがデコードシステム(DS)36によりデコードされて、出力(O)44を作る。
【００２５】
前述の説明から明らかなように、本発明はいくつかの利点を有する。第１に、分割が、ビットストリームを再構成する簡単な動作のみを有するため、複雑性が相対的に小さい。第２に、スケーラブル映像伝送と異なり、単一レイヤの符号化されたビットストリームが最小限の信号オーバーヘッドで単にいくつかの部分に分割されるに過ぎないため、データ分割が高品質伝送の符号化効率の損失を取り入れない。第３に、デコーダシステムの複雑性が、単一レイヤのシステムのものと近い水準に保持され得る。第４に、単一レイヤのシステムと比較して、この解決策はパケット損失に対する回復力が大きい。
【００２６】
当然のことながら、ここに記載されたシステムと機能と機構と方法とアルゴリズムとモジュールは、ハードウェア、ソフトウェア又はハードウェアとソフトウェアの組み合わせで実装され得る。これらは、如何なる種類のコンピュータシステム、又はここに記載された方法を実行するのに適合された他の装置により実装され得る。ハードウェアとソフトウェアの一般的な組み合わせは、コンピュータプログラムを備えた多目的コンピュータであり、コンピュータプログラムがロードされて実行されると、ここに記載された方法を実行するようにコンピュータシステムを制御する。代替として、本発明の１つ以上の機能タスクを実行する専門のハードウェアを有する特殊用途のコンピュータが利用され得る。本発明はまた、コンピュータプログラム製品に埋め込まれることも可能であり、そのコンピュータプログラム製品はここに記載された方法と機能の実施を可能にする全ての機能を有し、コンピュータシステムにロードされると、これらの方法と機能を実行することが可能である。この文脈におけるコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品又はソフトウェアは、直接的に、又は(a)他の言語、コード又は記号への変換、及び／若しくは(b)異なる実体形式の複製のうちの一方若しくは双方の後に、情報処理機能を有するシステムに特定の機能を実行させることを目的とする、一式の命令の如何なる言語、コード又は記号における如何なる表現をも意味する。
【００２７】
本発明の好ましい実施例の前述の説明は、例示目的及び説明目的として提示されたものである。これらは完全であることを意図したものではなく、又は開示された正確な形式に本発明を限定するものではない。前述の教示を考慮すると、明らかに多数の変更と変形が可能である。当業者に明らかなそのような変更と変形は、特許請求の範囲に定められる本発明の範囲に含まれることを意図する。
【図面の簡単な説明】
【００２８】
【図１】本発明による無線通信システムを表したものである。
【図２】本発明による第１の分割ビットストリームを表したものである。
【図３】本発明による第２の分割ビットストリームを表したものである。
【図４】本発明による第３の分割ビットストリームを表したものである。
【図１】
2005524356.tif 000003
【図２】
2005524356.tif 000004
【図３】
2005524356.tif 000005
【図４】
2005524356.tif 000006
【国際調査報告】
2005524356.tif 000007
2005524356.tif 000008