(57)【要約】  本発明は可変帯域送信のためのMPEG-4FGS圧縮ビデオストリームを変調する方法およびシステムに関する。ビデオストリームのソース、およびビデオ圧縮、誤り訂正符号生成、およびシンボルコンステレーションマッピングのうち一つ以上を制御するための制御入力信号を生成する手段を有するディスプレイが与えられる。ソースビデオストリームはMPEG-4FGS圧縮を用いて圧縮され、圧縮された出力ビデオストリームを生成する。ビデオ圧縮はディスプレイからの制御入力信号に基づいてオプションとして実行される。圧縮されたビデオストリームには誤り訂正符合が付加されてもよく、その生成と付加はディスプレイからの制御入力信号に基づいてオプションとして制御されてもよい。結果のビデオシンボルはコンステレーションにマップされ、そのマッピング自体が制御入力信号に基づきオプションとして制御されてもよい。結果の圧縮された出力ビデオストリームはディスプレイに送信される。
2005512418.tif 000002
【特許請求の範囲】
【請求項１】
可変バンド幅送信のために圧縮されたビデオストリームを変調する方法であって、前記圧縮されたビデオストリームは微細粒度スケーラブル（FGS）を使用し、前記方法は
ビデオストリームのソースを設けるステップと、
ビデオ圧縮を制御する制御入力信号を生成する手段を有するディスプレイを設けるステップと、
前記ディスプレイからの前記制御入力信号に基づくFGSを有したビデオ圧縮を用いて前記ソースからの前記ビデオストリームを圧縮し、ベースレイヤーと少なくとも一つのエンハンスメントレイヤーを有する、圧縮された出力ビデオストリームを生成するステップと、
前記圧縮された出力ビデオストリームを送信するステップと、
前記送信された圧縮された出力ビデオストリームを表示するステップと
を含む方法。
【請求項２】
請求項１記載の方法であって、前記ビデオ圧縮はMPEG-4FGSビデオ圧縮であることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記ビデオ圧縮は、最上位ビット（MSB）にマップされる前記ビデオストリームのベースレイヤーの量と、最下位ビット（LSB）にマップされるエンハンスメントレイヤーの量を定め、前記ビデオ圧縮は、前記圧縮されたビデオストリームのMSBにマップされる前期ベースレイヤーの量を変更するための前記ディスプレイからの前記制御入力信号により変更されることを特徴とする方法。
【請求項４】
請求項３記載の方法であって、前記圧縮されたビデオストリームの送信は、前記MSBの送信に強いチャンネル符号化を用い、前記LSBの送信には前記MSBに用いたものよりは強くないチャンネル符号化を用いることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記ビデオストリームの前記ビデオ圧縮は、少なくとも一つのエンハンスされたレイヤーより低いコンステレーションに前記ベースレイヤーをマップすることを含むことを特徴とする方法。
【請求項６】
請求項１記載の方法であって、前記圧縮されたビデオストリームの送信は、前記ベースレイヤーに強いチャンネルコーディングを使用し、少なくとも一つのエンハンスされたレイヤーにベースレイヤーに使用したよりは強くないチャンネルコーディングを使用することを特徴とする方法。
【請求項７】
請求項６記載の方法であって、前記チャンネル符号化は前記送信されたビデオストリームの物理レイヤーの階層的変調により強くおよび強くなくされることを特徴とする方法。
【請求項８】
請求項６記載の方法であって、前記チャンネル符号化は前記送信されたビデオストリームの物理レイヤーの時分割変調により強くおよび強くなくされることを特徴とする方法。
【請求項９】
可変バンド幅送信のための圧縮されたビデオストリームを変調する方法であって、前記圧縮されたビデオストリームはFGSを使用し、前記方法は、
ビデオストリームのソースを設けるステップと、
エラー訂正符号生成を制御する制御入力信号を生成する手段を有するディスプレイを設けるステップと、
圧縮された出力ビデオストリームを生成するためにFGSを伴う圧縮を用いて前記ソースからの前記ビデオ信号を圧縮するステップと、
前記ディスプレイからの制御入力信号に基づき、前記圧縮されたビデオストリームのエラー訂正符号を生成するステップと、
エラー訂正符号つき圧縮された出力ビデオストリームを生成するために、前記生成されたエラー訂正符号を前記圧縮された出力ビデオストリームに付加するステップと、
前記エラー訂正符号つき圧縮された出力ビデオストリームを送信するステップと、
前記送信されたエラー訂正符号つき圧縮された出力ビデオストリームを表示するステップとを含む方法。
【請求項１０】
請求項９記載の方法であって、前記ビデオ圧縮はMPEG-4FGSビデオ圧縮であることを特徴とする方法。
【請求項１１】
可変バンド幅送信のための圧縮されたビデオストリームを変調する方法であって、前記圧縮されたビデオストリームはFGSを使用し、前記方法は、
ビデオストリームのソースを設けるステップと、
ビデオシンボルのコンステレーションへのマッピングを制御するための制御入力信号を生成する手段を有するディスプレイを設けるステップと、
圧縮された出力ビデオストリームを生成するためにFGSを用いた圧縮を使用して前記ソースからの前記ビデオストリームを圧縮するステップと、
前記ディスプレイからの前記制御入力信号に基づいて制御して、ビデオシンボルをコンステレーションにマップするステップと、
前記圧縮された出力ビデオストリームを送信するステップと、
前記送信された圧縮された出力ビデオストリームを表示するステップと
を含む方法。
【請求項１２】
請求項１１記載の方法であって、前記ビデオ圧縮はMPEG-4FGS圧縮であることを特徴とする方法。
【請求項１３】
可変バンド幅送信のために圧縮されたビデオストリームを変調するシステムであって、前記圧縮されたビデオストリームは微細粒度スケーラブル（FGS）を使用し、前記システムは
ビデオストリームのソースと、
ビデオ圧縮を制御する制御入力信号を生成する手段を有するディスプレイと、
前記ディスプレイからの前記制御入力信号に基づき、ビデオストリームの前記ソースからの圧縮された出力ビデオストリームを生成する、FGSを有するビデオ圧縮エンジンと、
前記圧縮された出力ビデオストリームを前記ディスプレイに送信するトランスミッタと
が設けられたシステム。
【請求項１４】
請求項１３記載のシステムであって、前記ビデオ圧縮はMPEG-4FGSビデオ圧縮であるシステム。
【請求項１５】
請求項１３記載のシステムであって、さらに、前記圧縮されたビデオストリームのためにエラー訂正符号を生成するエラー訂正符号ジェネレータが設けられ、前記エラー訂正符号は前記圧縮されたビデオストリームに付加され、前記ディスプレイの前記制御入力信号は前記エラー訂正符号ジェネレータを制御することを特徴とするシステム。
【請求項１６】
請求項１３記載のシステムであって、さらに、前記圧縮されたビデオストリームの送信の前に前記圧縮されたビデオストリームのビデオシンボルをコンステレーションにマップするシンボルマッパーが設けられ、前記ディスプレイの前記制御入力信号は前記シンボルマッパーを制御することを特徴とするシステム。
【請求項１７】
請求項１３記載のシステムであって、前記圧縮されたビデオストリームのチャンネル符号化は、前記圧縮されたビデオストリームの送信の前に物理レイヤーの階層的変調により強くまたは強くなくされることを特徴とするシステム。
【請求項１８】
請求項１３記載のシステムであって、前記圧縮されたビデオストリームのチャンネル符号化は、前記圧縮されたビデオストリームの送信の前に物理レイヤーの時分割変調により強くまたは強くなくされることを特徴とするシステム。
【請求項１９】
可変バンド幅送信のためのMPEG-4FGS圧縮ビデオストリームを変調する方法であって、
ビデオストリームのソースを設けるステップと、
ビデオ圧縮、エラー訂正符号生成、またはシンボルコンステレーションマッピングのうち一以上を制御するための制御入力信号を生成する手段を有するディスプレイを設けるステップと、
圧縮された出力ビデオストリームを生成するために、前記ディスプレイからの前記制御入力信号に基づきオプションとして実行される、FGSを有するビデオ圧縮を用いて前記ソースからの前記ビデオストリームを圧縮するステップと、
前記ディスプレイからの前記制御入力信号に基づきオプションとして制御される、前記圧縮されたビデオストリームのためにエラー訂正符号の生成と付加をするステップと、
前記ディスプレイからの前記制御入力信号に基づきオプションとして制御される、ビデオシンボルのコンステレーションへのマッピングをするステップと、
前記圧縮出力ビデオストリームを送信するステップと、
前記送信された圧縮出力ビデオストリームを表示するステップと
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信されるビデオストリームのレイヤーに基づきMPEG-4FGSの物理レイヤーを最適化する方法およびシステムに関する。特に、本発明は、FGSアルゴリズムのようなスケーラブルなビデオ符号化スキームに特有なソースチャンネル符号化のユニークな形態を用いる。
【発明の詳細な説明】
【０００２】
一般に「MPEG」とは、Moving  Picture  Experts  Groupにより開発されているビデオとオーディオのための進化しつつある一組の標準を表す。使用可能なバンド幅に対比して非圧縮のビットレートを大雑把に見るだけで、デジタル送信のためのモーションビデオ圧縮の必要性は明らかとなる。MPEG-1は、毎秒約1.5百万ビットの送信レートでプログレッシブビデオを符号化するために設計された。具体的にはVideoCDおよびCD-iメディアのために設計されている。MPEG-2は毎秒約4百万ビットの送信レートでインターレースされた画像を符号化するために設計された。デジタルテレビ（DTV）放送、DVD技術、ビデオストレージシステムのような多様なアプリケーションに使用されている。MPEG-4はビットレートが非常に低いアプリケーションのために設計され、インターネット経由のビデオ送信やワイヤレス通信マーケットをターゲットにしてよりフレキシブルな符号化標準を使用している。
【０００３】
MPEG-4ビデオ圧縮標準は、多様な時間的および空間的分解能における任意の形のビデオオブジェクトプレーン（VOP）のコンテントベースのアクセスまたは送信を許容する。MPEG-4はオブジェクトと品質のスケーラビリティを共にサポートしている。微細粒度スケーラビリティ（FGS）は、MPEG-4標準により採用されたスケーラブル符号化スキームの一つである。FGSエンコーディングスキームは、MPEG-4ビットストリームを二つのレイヤーでエンコードすることを許容する。各フレームを固定の低いビットレートでエンコードするベースレイヤーと、オリジナルピクチャーと再構成されたベースレイヤーピクチャーの間の違いをエンコードする一以上のエンハンスメントレイヤーである。エンハンスメントレイヤーはビットプレーン符号化スキームによりエンコードされる。それゆえ、送信バンド幅に応じてエンハンスメントレイヤーの任意の数のビットプレーンをデコーダに送信できるという意味で、エンハンスメントレイヤービットストリームはスケーラブルである。FGS符号化スキームはMPEG-4バージョン４で最終的なものとなった。
【０００４】
MPEG-4デコーダは、ベースレイヤーのみ、またはベースレイヤーとFGSエンハンスメントレイヤーの任意のサブセットをデコードできる。これは、デコード装置が限定されていたりバンド幅が変化したりするとき、またはストレージの目的のために便利である。
微細粒度スケーラビリティ（FGS）プロファイルは、ストリーミングプロファイルとも呼ばれ、ストリーミングアプリケーションのためのビデオ符号化ツールとしてMPEG-4に最近採用された。FGSは2001年3月に国際標準となった。FGSはワイヤレスビデオストリーミングのためのいくつかの利点を有しており、以下の事項を含むがこれに限定されてはいない。
【０００５】
−非常に多数の同時ユニキャスト（オンデマンド）ストリームを出力するとき、ストリーミングサーバに最低限のリアルタイム処理とレートコントロールを実行可能ならしめる（コード変換や同時放送のアプローチとは異なる）。
【０００６】
−レシーバの異質のアクセス技術（例えばGSMなど）やネットワーク条件の動的な変化（例えば輻輳イベントなど）に起因する予測不可能なバンド幅の変化に適応する。
【０００７】
−スケーラブルコンプレッキシティデコーディングを許容し、それにより低消費電力装置（例えば携帯電話）や一般のレシーバ（例えばセットトップボックスやデジタルテレビ）、および高性能のコンピュータに、異なる品質の所望のビデオコンテントをストリームしデコードする機会を与える。
【０００８】
−マルチキャストとユニキャストの両方をサポートする能力を与える。これにより、異なるタイプのアプリケーションを実行可能とするために異なるフォーマットでコンテントを符号化する必要がなくなる。さらに、マルチキャストアプリケーションにおいては、スケーラブルな符号化されたストリームの送信に要するバンド幅はより少ない。
【０００９】
−パケットとビットエラーロスに対する回復を可能ならしめる。これはインターネットやワイヤレス通信では一般的である。
FGSの構成
FGSフレームワークに関するこれ以上の情報は、「The  MPEG-4  Fine-Grained  Scalable  Video  Coding  Method  for  Multimedia  Streaming  over  IP」（IEEE  Transactions  on  Multimedia,  Vol.  3,  No.  1,  March  2001,  by  H.  Radha,  M.  van  der  Schaar,  and  Y.  Chen）に記載されており、ここに文献援用する。
【００１０】
MPEG-4に準拠したスケーラブルでないコーダで符号化されたベースレイヤーに加えて、FGSはプログレッシブ（微細粒度）方式で符号化された単一のエンハンスメントレイヤーから構成されている。
【００１１】
ベースレイヤーは、（時間変化するネットワーク上で）使用可能なバンド幅のビットレートが常にビットレートRBLより高いように（RBL<=Rmin）選択されたビットレートRBLで符号化されている。ここでRminはバンド幅の最小ビットレートである。その後、エンハンスメントレイヤーがビットレート（Rmax−RBL）を用いてエンコーディング時間にオーバーコードされる。ここでRmaxはバンド幅の最大ビットレートである。エンハンスメントレイヤーは、低コンプレッキシティ・ビットプレーン・エンベディッドディスクリートコサイン変換（DCT）アルゴリズムを用いてプログレッシブに（ビットプレーンごとに）符号化される。プログレッシブな順番に、重要度の高いビットプレーンが重要度の低いビットプレーンより先に送信される。エンハンスメントレイヤーフレームがイントラコードされるが、MPEG-4モーション補償スキームがベースレイヤーで用いられるため、時間的冗長性の活用から符号化効率は部分的に保持される。
【００１２】
ストリーミングサーバにおいて、送信時に利用可能なバンド幅をすべて使用して、エンハンスメントレイヤーがベースレイヤービデオに改良を加える。エンハンスメントレイヤーのパケットやビットロスは伝播しないので、ベースレイヤービデオが信頼性が高く配信されている限り、FGS構成が弾力的なビデオ送信を可能とする。
【００１３】
マルチキャストのアプリケーションにおいては、FGSがエンコーディングストリーミングおよびデコーディングプロセスの柔軟なフレームワークも提供する。ユニキャストの場合と同様に、エンコーダは任意のバンド幅の範囲［Rmin=RBL、Rmax=REL］を使用してビデオストリームの内容を圧縮する。ここでRELはエンハンスメントレイヤーのビットレートである。それゆえ、同一の圧縮されたストリームがユニキャストおよびマルチキャストアプリケーションの両方に使用可能である。送信時に、マルチキャストサーバはFGSエンハンスメントレイヤーを、全バンド幅の任意の部分を占めることができる所望の数の「マルチキャストチャンネル」に分割する。デコーダ側においては、レシーバは（例えば、レシーバアクセスバンド幅に応じて）アクセス可能な「ベースレイヤーチャンネル」と任意の数のFGSエンハンスメントレイヤーチャンネルを「購読」することができる。レシーバが購読するFGSエンハンスメントレイヤーチャンネルの数に係りなく、デコーダは単一のエンハンスメントレイヤーのみでコードすればよいことに特に言及することは重要である。
【００１４】
マルチキャストについて、各レシーバは、同一のソースエンコーダからチャンネルの状態に応じて異なる品質のビデオストリームを受け取ることができる。エンコーダは、予測されたチャンネル状態に応じて、ビデオデータをベースレイヤーとエンハンスされたレイヤーとに分割する。
【００１５】
さらに、MPEG-4により標準化されたFGSコーディングスキームは、前述したFGS信号対ノイズ比（SNR）スケーラビリティに加えて、FGSテンポラルスケーラビリティを含む。さらにまた、周知のとおり、空間的スケーラビリティを加えることは容易である。それゆえ、SNR、テンポラル、および空間的次元においてFGSのトレードオフをすることができ、いろいろなレイヤーにいろいろな優先順位を付与することができる。このコンテクストにおいて、個別のエラープロテクションを確保するために異なったレイヤーにいろいろなFECレベルを付与することができる。関係する様々な装置の能力に応じてこのような方法を実行することもできる。
【００１６】
現行のワイヤレス通信システムはこれとは独立に開発された。物理レイヤー、MACレイヤー、ソースコーディングはお互いに独立に開発された。各レイヤーはできる限り効率がよくなるように最適化されている。将来における改良では、レイヤーの壁を乗り越えたアルゴリズムの組み合わせが必要となる。
【００１７】
ワイヤレス送信のためにビデオストリームをよりよく最適化するために、MPEG-4FGSエンコーディングを変調と組み合わせるシステムの方法が望まれている。
【００１８】
本発明の目的と利点は、本発明の実施により学ばれると同様に、以下に説明し、それに続く説明から明らかになるであろう。本発明のその他の利点は、添付した図面からと同様に、以下の説明およびクレームにより特に指摘された方法およびシステムにより、実現および達成されるであろう。
【００１９】
これらおよびその他の利点を達成するため、および本発明の目的により、実施され説明されるように、本発明は可変バンド幅送信のために、微細粒度スケーラブル（FGS）を使用する圧縮されたビデオストリームを変調する方法を含む。最初に、ビデオストリームのソースが設けられ、同様にビデオ圧縮を制御する制御入力信号を生成する手段を有するディスプレイも設けられる。ソースビデオストリームがFGSを有するビデオ圧縮を用いて圧縮され、ベースレイヤーと少なくとも一つのエンハンスメントレイヤーを有する圧縮された出力ビデオストリームが生成される。実行されるビデオ圧縮は、ディスプレイからの制御入力信号に基づく。結果の圧縮された出力ビデオストリームは表示のため送信される。
【００２０】
他の実施形態において、圧縮されたビデオストリームの送信のチャンネル符号化は、送信されたビデオストリームの物理レイヤーの階層的変調により強くまたは強くはなくされる。
【００２１】
さらに他の実施形態において、圧縮されたビデオストリームの送信のチャンネル符号化は、送信されるビデオストリームの物理レイヤーの時分割変調により強くおよび強くはなくされる。
【００２２】
他の実施形態において、本発明は、可変バンド幅送信のための、FGSを使用する圧縮されたビデオストリームを変調する方法を含む。ビデオストリームのソースと、エラー訂正符号生成を制御する制御入力信号を生成する手段を有するディスプレイを設ける。次に、ソースからのビデオストリームがFGSを用いたMPEG-4FGS圧縮等の圧縮を使用して圧縮され、圧縮された出力ビデオストリームを生成する。
【００２３】
エラー訂正符号が圧縮されたビデオストリームから生成され、エラー訂正符号生成の制御はディスプレイからの制御入力信号に基づく。次に、生成されたエラー訂正符号は圧縮された出力ビデオストリームに付加され、エラー訂正符号が付加された圧縮された出力ビデオストリームが生成され、ディスプレイに送信される。
【００２４】
さらに他の実施形態において、本発明は、可変バンド幅送信のために、FGSを使用する圧縮されたビデオストリームを変調する方法を含む。最初に、ビデオストリームのソースと、コンステレーションへのビデオシンボルのマッピングを制御するための制御入力信号を生成する手段を有するディスプレイとが設けられる。次に、ソースからのビデオストリームが、FGSを用いた圧縮を使用して圧縮され、圧縮された出力ビデオストリームが生成される。圧縮されたビデオ出力ストリームのビデオシンボルはコンステレーションへマップされ、マッピングはディスプレイからの制御入力信号に基づく。結果のマップされた圧縮された出力ビデオストリームはディスプレイに送信される。
【００２５】
本発明は、可変バンド幅送信のための、微細粒度スケーラブル（FGS）を使用する圧縮されたビデオストリームを変調するシステムを含む。当該システムは、ビデオストリームのソースと、ビデオ圧縮を制御するための制御入力信号を生成するための手段を有するディスプレイと、ビデオソースストリームから圧縮された出力ビデオストリームを生成するためのFGSを有する、ビデオ圧縮はディスプレイからの制御入力信号に基づき実施されるビデオストリーム圧縮エンジンと、ディスプレイに圧縮された出力ビデオストリームを送信するためのトランスミッタとを含む。
【００２６】
上記の一般的な説明と下記の詳しい説明はいずれも例であり、クレームされた本発明のさらなる説明を与えることを意図したものである。
【００２７】
以下の説明は、当該技術分野における通常の技術を有した者なら誰であっても本発明を実施できるようになされている。当該技術分野における通常の技術を有する者には、好ましい実施形態に多様な修正を加えることができるということは明らかであろう。そして、本発明およびここに添付した請求の範囲の精神と範囲から逸脱することなく、この開示を他の実施形態やアプリケーションに適用することができる。それゆえ、本発明は説明した実施形態に限定されるものではなく、この開示に一致する最も広い範囲と一致するものである。
【００２８】
本発明によると、削減されたバンド幅による送信のための微細粒度スケーラブルビデオストリームを変調するシステムおよび方法が提供される。説明のため、ここに実施形態を示した方法とシステムは、MPEG-4FGS送信の物理レイヤーを最適化するものであるが、本発明はこれに限定されるものではない。MPEG-4圧縮化について言及しているが、本発明の方法とシステムは、現在すでに存在しまたは将来開発される代替的な信号圧縮技術とともに使用することができる。本発明によると、このような最適化は送信されるビデオストリームのレイヤーと、レシーバまたはビデオストリームを表示するディスプレイデバイスからのフィードバックとに基づく。
【００２９】
本発明によるシステムと方法は、変調アルゴリズムのうちの一つを物理レイヤー、MACレイヤー、および／またはソースコーディングレイヤーに、単独でまたは組み合わせて、適用してもよい。この変調は表示装置からの制御信号により、制御されてもよい。
【００３０】
図１は、レシーバ／ディスプレイからの制御入力に基づき送信されたビデオストリームを変調する代表的なシステムとプロセスの図である。
【００３１】
この実施形態によると、ビデオソース１からのビデオストリームはMPEG-4FGS圧縮エンジン２に入力される。例えば、ビデオソース１は、ライブのビデオ供給であっても事前に記録されたビデオであってもよく、フォーマットは問わない。ビデオソース１は標準的なテレビフォーマットでもよく、他のフォーマットでもMPEG-4圧縮エンジン２があればよい。
【００３２】
MPEG-4圧縮エンジン２等は、一般のまたは特別のマイクロプロセッサ上で動作するソフトウェアやファームウェアでもよい。例えば、MPEG-4圧縮エンジン２は、特殊なビデオプロセッシングコンピュータチップあるいはチップセット用にエンコードされていてもよい。同様に、圧縮エンジン２は、代替的に、従来のマイクロコンピュータのような汎用コンピュータチップ上で動作する特殊なソフトウェアとして実施されてもよい。
【００３３】
FGSを用いた典型的なMPEG-4圧縮の結果は、ベースレイヤー３と一以上のエンハンスメントレイヤー４の生成である。ベースレイヤー３とエンハンスメントレイヤー４の目的と一般的な使用は、一部後で説明するが、当該技術分野において周知である。
【００３４】
オプションとして、本発明の好ましい実施形態によると、エラー訂正符号（ECC）５を書く例やーに付加してもよい。ECC５はベースレイヤー３とエンハンスメントレイヤー４のデータに、処理や送信の間にデータが失われたときにオリジナルレイヤーの一部を再構成できるような情報を付加することにより機能する。これにより、ECC５は多少強くなるが、どのくらいのバンド幅をECC５が使用するかによる。ここで使われる「強く」という言葉は当該技術分野において周知であり、一般に、データロスまたは変造から回復する能力または能力がないことを指す。例えば、ECC５を最小限実現する方法は、ECC５が適用される各パケットの終わりに単一のチェックサムビットを置くことである。このレベルのプロテクションでは、失われたデータの一つのビットを再構成できるだけである。より多くのECC５ビットを付加することにより、より多くの失われたデータを再構成することが可能となる。ECC５のこの方法や代替的な他の方法は当該技術分野の当業者にとって周知である。MPEG-4FGS圧縮２について、ECC５を生成し、ベースレイヤー３とエンハンスメントレイヤー４に付加することは、コンピュータソフトウェアやファームウェアを起動させた特殊なまたは一般的なプロセッサの使用を含む、いろいろな方法で実現可能である。ECC５の付加は、本発明の実施には必須ではなく、所望の場合はECC５を省略してもよい。
【００３５】
本発明によるECC５の適用に加えて、またはそれに替えて、本発明の方法とシステムはシンボルマッパー６を含むことができる。ここに説明するように、シンボルマッパー６はベースレイヤー３とエンハンスメントレイヤー４のコンステレーション（以下に説明する）へのマッピングを制御する。シンボルマッパー６は、当該技術分野において周知であるように、多様なハードウェアプラットフォームのいずれかの上で動作するソフトウェアやファームウェア等であってよい。最終的に、圧縮されたストリームは、もしあればECC５とシンボルマッパー６により変更され、送信されるパッケージを形成する。
【００３６】
送信パッケージはトランスミッタ７に送られ、ディスプレイ装置９等（以下「ディスプレイ」）のレシーバ９に送信される（８）。送信は、いかなる通信ラインやネットワーク上でいかなる通信プロトコルにより行われるものでもよい。これにはモバイルセルラー通信ネットワークによるワイヤレス通信や、有線ネットワークやインターネット等による送信も含む。
【００３７】
本発明によると、ディスプレイはMPEG-4FGS圧縮エンジン２、ECC５モジュール、シンボルマッパー６の組み合わせのうち少なくとも一つにフィードバック制御信号１０を生成し送ることができる。フィードバック制御信号１０は、ディスプレイ９に送信されたMPEG-4FGS圧縮ビデオストリームを変調し、最終的に最適化するために生成される。
【００３８】
信号品質インディケータ（SQI）は、トランスミッタを制御するためにディスプレイからフィードバックされる。フィードバックされるあたいは、FGSレイヤーごとの信号ノイズ比（SNR）、ビットエラーレート、またはその他の共通SQIである。
【００３９】
このSQIはトランスミッタにより受信され、シンボルマッパー６、ECC５モジュール、MPEG-4FGS圧縮エンジン２、またはこれらの組み合わせに、所望によって、フィードバックされてもよい。一例として、SQIがよくないとき（すなわち、レシーバで多くのエラーが発生しているとき）、シンボルマッパー６のLSBは固定値に設定してもよく（例えば、エンハンスされたレイヤーはマップされない）、これにより低いレイヤーがより強くなる。
【００４０】
他の例として、SQIがよくないとき、ECC５モジュールはECCを増やし、レイヤーをより強くしてもよい。これらのファクターを変更することにより、MPEG-4FGSストリームのレートを適合させなければならないかもしれない。SQIが良いとき、ECC５モジュールは、ECCを減らし、MPEG-4FGSビットレートはより多くの情報を送るために、増やしてもよい。このように、ディスプレイは送信機システム全体の適合を制御することができる。
【００４１】
一例として、カラービデオを表示する能力のないディスプレイ９（すなわち「白黒」ディスプレイ）は、MPEG-4FGS圧縮エンジン２に、白黒（およびグレイスケール）情報のみをエンコードするように指示するフィードバック制御信号１０を生成することができる。
【００４２】
他の実施形態において、弁度幅の制限の厳しいディスプレイ９や小さなディスプレイは、ECC５モジュールがエンハンスメントレイヤー４のECC５と比較してベースレイヤー３のECC５を高くするようにフィードバック制御信号１０を生成してもよい。
【００４３】
図２はディスプレイレシーバ／ディスプレイ装置からのフィードバックの使用によるビデオストリームの変調の代表的プロセスのフローチャートである。ソースビデオストリーム１１の開始において、ストリームは、前述のとおり、MPEG-4FGS圧縮エンジン等を用いたビデオ圧縮１２をかけられる。圧縮エンジンは、レシーバまたはディスプレイ装置、さらには信号トランスミッタ装置からの制御入力を受け取るように設計されている。しかし、最初に、フィードバック制御信号はまだ生成されていないので、圧縮エンジンは妥当なデフォルトの圧縮パラメータをしようすることができる。同様に、圧縮エンジンは最近使用した圧縮パラメータから開始してもよい。同様に、ストリームが送信されているディスプレイが制御信号を生成することができなければ、本発明の他の態様により、変調を予め与えられたデフォルト値で制御してもよい。
【００４４】
ビデオ圧縮ステップ１２により作られた圧縮されたビデオストリームは、トランスミッタに渡される。トランスミッタは送信（１３）のためにストリームをパッケージし、ビデオ情報１４を含むストリームをディスプレイに送信する。
【００４５】
レシーバおよび／またはディスプレイ装置がビデオを受信し、デコードし、表示する（１５）。レシーバ／ディスプレイ装置は、ビデオ圧縮ステップ（１６）のように、ビデオストリームの変調を制御するためのフィードバック制御信号を生成してもよい。このプロセスはビデオストリームが終わるまで続き、プロセスが終了する。
【００４６】
オプションとして、ECCの付加やシンボルマッピング等の圧縮後のステップがレシーバ／ディスプレイ装置からのフィードバックにより調節されてもよい。
【００４７】
さらに、ディスプレイ９はベースレイヤー３やエンハンスメントレイヤー４がマップされるコンステレーションのマッピングを変更してもよい。シンボルマッパーは、異なるFGSレイヤーから全てのビットストリームをとり、（直行振幅変調（QAM）コンステレーション等の）コンステレーション上にマップする。マッピングとは、FGSベースレイヤーがMSBにマップされ、エンハンスされたレイヤーが高いほど、送信されたシンボルのビットが低くマップされる。
【００４８】
ベースレイヤーデータは送信されたストリームのMSBにマップされ、エンハンスされたレイヤーはLSBにマップされる。異なるレイヤー上のチャンネル符号化は異なってもよい（すなわち、ベースレイヤー上の符号化はより強い）。レイヤーに付加された符号化の結果、レイヤー送信はより強くなるが、トレードオフとしてそのレイヤーのビットレートは低くなる。
【００４９】
ストリームをより強くする方法の一例としてストリームのチャンネル符号化を高め、送信されるシンボルごとのビット数を下げる方法がある（例えば、4QAMは16QAMよりも強い）。ストリームがより強ければ、レシーバにおけるビットエラーがより少なくなり、すなわちパケットエラーが少なくなることと同じであり、スクリーン上でのビデオ落ちが少ないことを意味する。
【００５０】
一例としてQAMコンステレーションを挙げる。必要なビット数とコンステレーションサイズを表１に示す。図３にマルチサイズのコンステレーションを示した。これは階層的変調としても知られている。
表１  コンステレーションごとのビット表示
ビット数    ビット表示                コンステレーション
２            A1A0                      4QAM
４            B1B0A1A0                  16QAM
６            C1C0B1B0A1A0              64QAM
８            D1D0C1C0B1B0A1A0          256QAM
図３は三つのコンステレーションサブセットを有する、本発明の代表的実施形態により使用される64QAMコンステレーションを示す図である。図３の四角形A内の全てのシンボルは同じA1とA0を有する（残りのビットはドントケアである）。図３のコンステレーションには四つのシンボルがある。これはノイズの多い4QAMコンステレーションである。完全なコンステレーションには16個のコンステレーションBサブセットシンボルがある。各コンステレーションサブセットBについてビットA1A0B1B0は同じである。これは16QAMコンステレーションと考えられる。コンステレーションCは完全なコンステレーションであり、各シンボルを使用する。各コンステレーションサブセット間にはユークリッド距離（異なるビットの数）がある。
【００５１】
図３のコンステレーションに基づき、決定装置（スライサ）が受信したシンボルのうちコンステレーションシンボルに最も近いものを選ぶ。これは、受信したシンボルがいずれかのスライスされたサブセットにくるまでコンステレーションをスライスして行くことで達成できる。
【００５２】
例えば、レシーバXはベースレイヤーのみを受信可能であると仮定する（この場合、ベースレイヤーは2ビット（A1A0）にマップされる-4QAM）。レシーバYはエンハンスされたレイヤーのみを受信可能である（ビットの総数は4(A1A0B1B0)-16QAM）。他のレシーバZは二つのエンハンスされたレイヤーを受信可能である（ビット数は6(A1A0B1B0C1C0)-64QAM）。この場合、各レイヤーは毎秒2xビット(bps)のビットレートを有する。ここでxはシンボル数である。図３から、コンステレーションの各点において、レシーバXはAと表示された領域をスライスし、レシーバYはBと表示された領域をスライスし、レシーバZはCと表示された領域をスライスする。コンステレーション内の各シンボルの距離はdである。図３で、各B領域の平均距離は2dであり、各A領域の平均距離は4dである。ゆえに、この例の書くレイヤーは次の例よりも約1.5デシベル強い。本発明の一態様によると、フィードバック制御信号によりコントロールされるので、ビットレートを失っても各レイヤーを独立に符号化した方が強くすることができる。例えば、ベースレイヤーは16QAMの２つのMSBにマップされ、エンハンスメントレイヤーは16QAMコンステレーションの２つのLSBにマップすればよい。レート1/2回旋符号化をいずれかまたは両方のレイヤーに加えることができるが、この場合より強くなるが、ビットレートは半分になる。
【００５３】
代替的に、また本発明の他の態様により、ベースレイヤーはエンハンスされたレイヤーよりも低いレベルのコンステレーションにマップされる（すなわち、ベースレイヤーは４レベルQAMに、エンハンスされたレイヤーは16レベルQAMに）。チャンネル符号化は各レイヤー異なってもよい。これにより強いベースレイヤー送信が得られる。このモードにおいて、ベースレイヤーのビットレートはエンハンスされたレイヤーのビットレートよりも少ない。例えば、図１で示したように、ベースレイヤー３は１シンボルにつき2ビット、エンハンスされたレイヤー４は１シンボルにつき４ビットである。ベースレイヤー３とエンハンスされたレイヤー４はデータストリームに多重化される。例えば、ベースレイヤー2ビットが送られ、その次にエンハンスされたレイヤー１ビットが送られ、これが繰り返される。レシーバはストリームがいつベースレイヤーで、いつエンハンスされたレイヤーかを知り、決定装置（スライサ）のレシーバコンステレーションを適当なコンステレーションに切り替えることができる。
【００５４】
これは時分割多重として知られ、図４と５に示されている。時分割多重は、例えばIEEEE802.11aあるいはIEEE802.11b仕様により設計された、典型的なパケット化されたワイヤレスローカルエリアネットワーク（LAN）にマップしてもよい。
【００５５】
物理レイヤーへの多様なMPEG-4FGSレイヤーの多重化は、説明のため図４に図示した。ベースレイヤーパケットがエンコードされ、比較的高い程度の強さを有する4QAMコンステレーションパケット２６として物理システムに送信される。このパケットには、強さの程度が低い16QAMコンステレーションパケット２７として、物理レイヤーに送信されたエンハンスされたレイヤーパケットが続く。可変な強さの程度を有するエンハンスメントレイヤーがいくつ送信されてもよい。例えば、図４は、次に送信される64QAMコンステレーションエンハンスメントレイヤーパケット２８を示す。最終的には、4QAMコンステレーションパケット２９として図示した、より多くのベースレイヤーパケットと、16QAMコンステレーションパケット３０として図示した、より多くのエンハンスされたレイヤーパケットが送信されてもよい。
【００５６】
図５はMPEG-4FGSレイヤーパケットがどのようにIEEE802.11aLAN物理レイヤー符号化にマップされるかの例である。例として、ベースレイヤーパケット３１が最も強い６Mbps物理レイヤー３２にマップされる。エンハンスされたレイヤー３３は、より強くはない12Mbps３４または他の物理レイヤー（たとえば、図示したように48Mbps３５、54Mbps３６、またはIEEE802.11aにより設けられた他の物理レイヤー）にマップされてもよい。
【００５７】
前述したとおり、圧縮されたビデオストリームは、ビデオ圧縮、ECC生成、および／またはシンボルマッピングも含めて制御信号により変調され、ディスプレイに送信される。
【００５８】
本発明の精神と範囲から逸脱することなく、本発明の方法およびシステムには多様な修正や変更が可能であることは、当該分野の当業者には明らかであろう。それゆえ、本発明は、添付したクレームおよびその均等物の範囲における修正と変更を含むものと意図されている。
【図面の簡単な説明】
【００５９】
添付した図面は本明細書に組み込まれその一部をなし、図解し、本発明の方法とシステムのさらなる理解を提供するために含まれている。図面は、説明と共に本発明の原理を説明するものである。
【図１】本発明の好ましい実施形態による代表的なコンバインされたFGS変調スキームの図である。
【図２】クライアントレシーバ／ディスプレイ装置からのフィードバックを使用してビデオストリームの変調のための、本発明の代表的なプロセスのフローチャートである。
【図３】本発明の第行的な実施形態で使用されるような64QAMコンステレーションを示す図である。
【図４】物理レイヤーに多様なMPEG-4FGSレイヤーを多重化するための本発明の第行的プロセスの概略図である。
【図５】本発明の代表的な実施形態によるIEEE802.11aLAN物理レイヤーエンコーディングへのMPEG-4FGSレイヤーパケットマッピングの一例を示す。
【図１】
2005512418.tif 000003
【図２】
2005512418.tif 000004
【図３】
2005512418.tif 000005
【図４】
2005512418.tif 000006
【図５】
2005512418.tif 000007
【国際調査報告】
2005512418.tif 000008
2005512418.tif 000009
2005512418.tif 000010