(57)【要約】ビデオ通信システムのための再生システム及び方法である。前記ビデオ通信システムは、符号化されたビデオデータをデバイスに送信するための送信器と、前記デバイスからの受信信号を受信するための受信器と、前記受信信号を解析して、前記送信器と前記デバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するための信号解析システムと、前記劣化した信号の状態がもたらされている場合に前記符号化されたビデオデータにおける予測ビデオフレームをイントラ符号化ビデオフレームに変換する再生システムとを有している。
2005503738.tif 000002
【特許請求の範囲】
【請求項１】
符号化されたビデオデータをデバイスに送信するための送信器と、
前記デバイスからの受信信号を受信するための受信器と、
前記受信信号を解析して、前記送信器と前記デバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するための信号解析システムと、
前記劣化した信号の状態がもたらされている場合に前記符号化されたビデオデータにおける予測ビデオフレームをイントラ符号化ビデオフレームに変換する再生システムと
を有するビデオ通信システム。
【請求項２】
前記符号化されたビデオデータはＭＰＥＧフォーマットで符号化され、前記予測ビデオフレームはＰフレームを有し、前記イントラ符号化ビデオフレームはＩフレームを有する請求項１に記載のビデオ通信システム。
【請求項３】
前記デバイスが携帯デバイスを有する請求項１に記載のビデオ通信システム。
【請求項４】
前記デバイスがパーソナルディジタルアシスタントを有する請求項１に記載のビデオ通信システム。
【請求項５】
前記受信信号の強さが所定の閾値よりも減衰している場合に、前記劣化した信号の状態がもたらされていると判断される請求項１に記載のビデオ通信システム。
【請求項６】
前記受信信号が前記デバイスからのエラーメッセージを含む場合に、前記劣化した信号の状態がもたらされていると判断される請求項１に記載のビデオ通信システム。
【請求項７】
前記再生システムがネットワークを介して遠隔アクセス可能である請求項１に記載のビデオ通信システム。
【請求項８】
前記予測ビデオフレームを前記イントラ符号化ビデオフレームに変換する前記システムが一つ又はそれより多くの個々のレイヤで動作し得る請求項１に記載のビデオ通信システム。
【請求項９】
前記予測ビデオフレームが、部分的なイントラリフレッシュ法を使用して符号化される請求項１に記載のビデオ通信システム。
【請求項１０】
実行されるとき、送信器からデバイスに送信される符号化されたビデオデータを再生するためのシステムをもたらす記録可能な媒体に記憶されるプログラムであって、
前記デバイスからの受信信号を解析して、前記送信器と前記デバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するための機能と、
前記劣化した信号の状態がもたらされている場合に前記符号化されたビデオデータにおける予測ビデオフレームをイントラ符号化ビデオフレームに変換する機能と
を有するプログラム。
【請求項１１】
ビデオ通信システムにおいて失われたビデオデータを再生する方法であって、
符号化されたビデオデータを送信器からデバイスに送信するステップと、
前記デバイスからの受信信号を受信するステップと、
前記受信信号を解析して、前記送信器と前記デバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するステップと、
前記劣化した信号の状態がもたらされている場合に前記符号化されたビデオデータにおける予測ビデオフレームをイントラ符号化ビデオフレームに変換するステップと
を有する方法。
【請求項１２】
前記受信信号の強さが所定の閾値よりも減衰している場合に、前記劣化した信号の状態がもたらされている請求項１１に記載の方法。
【請求項１３】
前記受信信号がエラーメッセージを含む場合に、前記劣化した信号の状態がもたらされている請求項１１に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化されたビデオデータの電子通信と、更には特に、デバイス間のビデオデータを再生するシステム及び方法とに関する。
【０００２】
【従来の技術】
無線ビデオ用途品（例えばビデオ電話、携帯デバイス、及びパーソナルディジタルアシスタント等）を用いるデバイスに対する需要が増大しているため、符号化されたビデオデータを効果的に通信し得るシステムを提供する必要性はますます重要となってきている。
【０００３】
【発明が解決しようとする課題】
送信エラーがいつも発生する無線及び他の一時的な通信システム（ｖｏｌａｔｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｓｙｓｔｅｍ）において、データロス（ｄａｔａ  ｌｏｓｓ）は不可避の問題となっている。例えば携帯デバイスを含むモバイル用途品において、山又は他の地理的特徴により信号受信が妨害される場所に受信器が一時的に位置されているときフェ−ディング状態（ｆａｄｉｎｇ  ｃｏｎｄｉｔｉｏｎ）が発生し得る。他の例においては、例えば航空機が上空を通り過ぎるような予測もされない事象によって前記信号が妨害され得ると共に劣化され得る。
【０００４】
当該通信エラーはしばしば十分過酷なので、多くのデータビットが失われ得る（“バーストビットエラー（ｂｕｒｓｔ  ｂｉｔ  ｅｒｒｏｒ）”と称される）。当該エラーは、一つ又はそれより多くのビデオデータのフレームの喪失をもたらし得る。好ましくないことに通常の符号化されたビデオ用途品においては、たとえ後続するフレームが完全に受信されたとしても当該エラーにより、受信デバイスが前記失われたフレームを受信し損じ得るだけでなく、後続するビデオデータフレームのロスがもたらされ得る。
【０００５】
例えばＭＰＥＧ−２ビデオ用途品のような符号化方式において、ビデオフレームはフレーム間の相互依存性を使用して符号化される。従って予測フレーム（例えばＰフレーム）が失われる場合、当該失われたフレームに直接的又は間接的に依存性を有するいかなる後続するフレームも復号化され得ず、それ故にここでも失われ得る。従って前記受信器への送信中にＰフレームが失われる場合、次のＩフレームまで受信される全ての後続するＰフレームは復号化され得ないであろう。Ｐフレームは通常チェーンで発生するという事実によれば、複数のＰフレームが失われる可能性は高い。Ｐフレームのチェーンの長さに依存して、失われたビデオフレームデータの量は非常に増大する。
【０００６】
符号化されたビデオフレームの相互依存的な特性に加えて、エラーは無線（及び他の一時的な）通信チャネルに取り込まれている可能性が高いことから、失われたビデオデータを効率的に再生し得るシステム及び方法に対する必要性が存在する。
【０００７】
【課題を解決するための手段】
本発明は、送信器とビデオ復号化デバイスとの間の劣化した信号の状態を識別して、それから前記ビデオ復号化システムにより更なるロスを防止するためにＰフレームをＩフレームに変換する再生システムを提供することによって、上記の問題に対処しようとするものである。第一の態様において本発明は、符号化されたビデオデータをデバイスに送信するための送信器と、前記デバイスからの受信信号を受信するための受信器と、前記受信信号を解析して、前記送信器と前記デバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するための信号解析システムと、前記劣化した信号の状態がもたらされている場合に前記符号化されたビデオデータにおける予測ビデオフレームをイントラ符号化ビデオフレームに変換する再生システムとを有するビデオ通信システムを有している。
【０００８】
第二の態様において本発明は、実行されるとき、送信器からデバイスに送信される符号化されたビデオデータを再生するためのシステムをもたらす記録可能な媒体に記憶されるプログラムであって、前記デバイスからの受信信号を解析して、前記送信器と前記デバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するための機能と、前記劣化した信号の状態がもたらされている場合に前記符号化されたビデオデータにおける予測ビデオフレームをイントラ符号化ビデオフレームに変換する機能とを有するプログラムを提供する。
【０００９】
第三の態様において本発明は、ビデオ通信システムにおいて失われたビデオデータを再生する方法であって、符号化されたビデオデータを送信器からデバイスに送信するステップと、前記デバイスからの受信信号を受信するステップと、前記受信信号を解析して、前記送信器と前記デバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するステップと、前記劣化した信号の状態がもたらされている場合に前記符号化されたビデオデータにおける予測ビデオフレームをイントラ符号化ビデオフレームに変換するステップとを有する方法を提供する。
【００１０】
第四の態様において本発明は、第一のデバイスから第二のデバイスに、符号化されたビデオのフレームを送信する際の使用のためのビデオ再生システムであって、前記第一のデバイスと前記第二のデバイスとの間に劣化した信号の状態がもたらされているかどうかを判断するためのシステムと、前記劣化した信号の状態がもたらされている場合に予測要素を有するビデオフレームの代わりにイントラ符号化ビデオフレームを送信するシステムとを有するシステムを提供する。
【００１１】
本発明の好ましい実施例が以下添付図面と共に記載されるであろう。この場合同じ名称は同じ構成要素を示している。
【００１２】
【発明の実施の形態】
この場合図を参照すると、図１及び２は、無線デバイス１６に送信される、符号化されたビデオデータのためのデータ再生機能を有するビデオ通信システムの二つの実施例を示している。無線デバイス１６は、ビデオ電話、携帯デバイス、モバイルデバイス、パーソナルディジタルアシスタント、パーソナルコンピュータ、及びテレビジョン等のような、符号化されたビデオデータを受信すると共に表示することが可能ないかなる種類のデバイスを有していてもよい。無線デバイス１６は、送信ビデオデータ１３を受信するための通信システム２１と、ビデオデータを復号化するためのデコーダ１９と、復号化されたビデオデータを表示するためのディスプレイ１７とを含んでいる。送信ビデオデータ１３は、予測ビデオフレーム（ｐｒｅｄｉｃｔｉｖｅ  ｖｉｄｅｏ  ｆｒａｍｅ）を用いるいかなる種類の符号化されたビデオデータ（例えばＭＰＥＧ−２、ＭＰＥＧ−４、及びＨ．２６１等）を含んでいてもよい。デコーダ１９はＭＰＥＧデコーダであってもよい。好ましい実施例が無線通信システムに関連して記載されているが、本発明が、一時的な通信ネットワーク（ｖｏｌａｔｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｎｅｔｗｏｒｋ）（例えばインタネット）を介して、符号化されたデータを通信するいかなる種類の通信システムに対しても適用可能であることは理解されるべきである。
【００１３】
図１を参照すると、再生システム１０と、符号化されたデータ１８を送信するための送信器１２と、無線デバイス１６の通信システム２１によって生成される受信信号（ｒｅｔｕｒｎ  ｓｉｇｎａｌ）１５を受信するための受信器１４とを含む基地局（ｂａｓｅ  ｓｔａｔｉｏｎ）１１を有するビデオ通信システムの第一の実施例が示されている。基地局１１は、ビデオ電話、携帯デバイス、ブロードキャストシステム（ｂｒｏａｄｃａｓｔ  ｓｙｓｔｅｍ）、ビデオサーバ、及び衛星システム等のような、符号化されたビデオ信号を送信し得るいかなるシステムを含んでいてもよい。
【００１４】
通常動作中、基地局１１により、符号化されたデータ１８は送信器１２によって無線デバイス１６に送信され得る。当該無線デバイスにおいて当該データは復号化されると共に表示される。前記ビデオデータは、例えばストリーミングビデオブロードキャスト（ｓｔｒｅａｍｉｎｇ  ｖｉｄｅｏ  ｂｒｏａｄｃａｓｔ）、予め記録されたプログラム（ｐｒｅｒｅｃｏｒｄｅｄ  ｐｒｏｇｒａｍ）、及びマルチメディアデータ（ｍｕｌｔｉｍｅｄｉａ  ｄａｔａ）等のいかなるフォーマットであってもよい。ビデオデータが無線デバイス１６によって受信されている間、無線デバイス１６の通信システム２１は受信信号１５を基地局１１に送信し戻す。当該信号は受信器１４によって受信される。受信信号１５は、無線デバイス１６と基地局１１との間の前記信号の状態を前記基地局に通知するいかなる種類の信号を有していてもよい。例えば、無線デバイス１６は、通信リンク（ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｌｉｎｋ）の状態を前記基地局に継続的に通知し得るビットコード又はビットシーケンスを繰り返し送信しうる。代わりに、受信信号１５は、無線デバイス１６が基地局１１からの信号を受信し損なったときはいつでも送信され得るエラーメッセージを有し得る。継続的な双方向ビデオ通信を含む更に別の例において、受信信号１５は、基地局１１に送信し戻されるビデオデータを有することが可能であり、又は当該ビデオデータに組み込まれることが可能である。
【００１５】
受信されると、受信信号１５は再生システム１０の信号解析システム２２に送られる。当該信号解析システムは前記受信信号を解析して、無線デバイス１６と基地局１１との間にロス状態（ｌｏｓｓ  ｃｏｎｄｉｔｉｏｎ）がもたらされているかどうかを判断する。ロス状態は失われた信号（ｌｏｓｔ  ｓｉｇｎａｌ）、劣化した信号（ｄｅｇｒａｄｅｄ  ｓｉｇｎａｌ）、フェーディング状態、及び誤って受信されたデータ等として検出されてもよい。例えば受信信号のパワーレベルが所定の閾値よりも低下しているかどうか、及び受信ビットシーケンスが受信されていないかどうか等、いかなる基準にも基づいて、信号解析システム２２は前記判断を行い得る。無線デバイス１６から基地局１１に送信されるデータに対してロス状態が検出されている場合、本実施例によれば、基地局１１から無線デバイス１６に送信されるデータに対してもロス状態がもたらされていると判断される。当該判断に基づいて、再生制御部２８は、無線デバイス１６によって受信されていない一つ又は複数のいかなるデータフレームも識別し得る。
【００１６】
上記のように、無線デバイス１６への送信中にビデオデータのＰフレームが失われた場合、次のＩフレームが受信されるまで全ての後続するフレームは無線デバイス１６によって復号化され得ない。それ故に当該後続するＰフレームの全ては無線デバイス１６によって破棄されなければならないであろう。再生システム１０は、当該ロスを回避するために、以下に記載の態様で送信される、前記符号化されたデータに変更を施す。
【００１７】
特にロス状態が検出されている場合、当該検出情報は再生制御部２８に送られる。再生制御部２８はそれから、符号化されたデータ１８内のフューチャ（すなわち直ちに送信されるべき）Ｐフレーム（ｆｕｔｕｒｅ  Ｐ  ｆｒａｍｅ）をＩフレームに自動的に置換するであろう。置換される前記フューチャＰフレームは、当該置換フレームを送信するために必要とされるビット数と、前記デコーダにおけるバッファの空き容量とを見積ることによって決定されてもよい。当該置換により、Ｐフレームのチェーン全体は失われないことが保証される。再生制御部２８は、機能（ｉｎｔｅｌｌｉｇｅｎｃｅ）を変えることにより実現され得る。例えば再生制御部は、ロスが検出されるときはいつでも、Ｉフレームに変換するために次に利用可能なＰフレームを選択し得るのみである。代わりに、再生制御部２８は、当該置換が適したものであるかどうか（例えばＩフレームは送信されるが、置換ステップで障害が発生しないかどうか）を判断するためにフレームのカレントストリーム（ｃｕｒｒｅｎｔ  ｓｔｒｅａｍ）を調べ得る。
【００１８】
ＰフレームをＩフレームに変換するプロセスは、Ｐ／Ｉコンバータ（Ｐ  ｔｏ  Ｉ  ｃｏｎｖｅｒｔｅｒ）２４によって処理される。Ｐ／Ｉコンバータ２４は、当業者に知られているいかなる態様においても実現され得る。当該コンバータは通常、ＰフレームからＩフレームへの変換を容易にするデコーダ２６を含むであろう。前記変換プロセスにおいては、Ｉ及びＰフレームの継続的に正常な復号化が必要とされる。ＰフレームがＩフレームに変換されると、変換前のＩ又はＰフレームに対する依存性は除去される。対応する復号化されたフレームは、ＤＣＴ及び適切なＶＬＣを適用することによって処理される。しかしながら鍵は、新たなＩフレームが、復号化されたＰフレームとあまり異なっていないので、前記デコーダは、特性面で大きなロスをもたらすことなく残留フレームを再生し得るということにある。当該変換は複雑な動作となり得るが、無線デバイス１６はロス状態から再生していることが知られている場合、変換されたＩフレームの送信しか必要とされ得ない。
【００１９】
ＭＰＥＧ−２及びＭＰＥＧ−４によって規定されているベース及びエンハンスメントレイヤのような、符号化され得るビデオシーケンス内のいかなるレイヤ又は全てのレイヤにおいて前記変換プロセスが対象にされてもよいことは理解されるべきである。更に本発明及び変換プロセスは、部分的なイントラリフレッシュ法（ｉｎｔｒａ  ｒｅｆｒｅｓｈ  ｍｅｔｈｏｄ）を使用して符号化されるビデオデータに適用され得る。ここで予測フレームは明確に規定されないが、予測エレメント（ｐｒｅｄｉｃｔｉｖｅ  ｅｌｅｍｅｎｔ）はいくつかのフレーム又は全てのフレームの部分において使用されてもよい。当該システムにおいて、いくつかの予測エレメントを含むいかなるフレームも、予測エレメントの全くない状態で変更されると共に符号化されてもよい（イントラフレーム（ｉｎｔｒａ  ｆｒａｍｅ））。
【００２０】
図２をこの場合参照すると、ビデオ通信システムの第二の実施例が示されている。図１に記載の実施例と同様に、図２に示されている実施例は、符号化されたビデオデータを無線デバイス１６に送信する送信器５２と、無線デバイス１６からの受信信号１５を受信するための受信器５４とを有する基地局３０を含んでいる。送信器５２、受信器５４、及び無線デバイス１６は、図１に記載の機能と同じ機能をもたらす。しかしながら図２の実施例は、前記再生制御システムが基地局３０とネットワークサーバ４０との間に分散されている点で異なっている。
【００２１】
この場合、ビデオデータ４８は、（１）ネットワークサーバ４０にあるエンコーダ４４によって符号化され、（２）ネットワーク３８を介して基地局３０に転送され、送信器５２によって無線デバイス１６に送信される。図１に記載の例と同様に、ロス状態が受信器５４及び信号解析システム３６によって受信され得ると共に識別され得る。しかしながらロス状態の場合には、情報はローカル制御システム（ｌｏｃａｌ  ｃｏｎｔｒｏｌ  ｓｙｓｔｅｍ）３４に転送される。当該ローカル制御システムはネットワーク３８を介して当該情報をネットワークサーバ４０に転送する。ネットワーク制御システム４６はそれから前記状態を用いる。当該ネットワーク制御システムにより、すぐに送信されるＰフレームがネットワークサーバ４０においてＩフレームによって置換され得る。すなわち、Ｐ／Ｉコンバータ４２はＰフレームをＩフレームに変換し、前記変換されたフレームはそれから基地局３０に送信されるフレームのストリームに挿入されるであろう。
【００２２】
前記システム、機能、方法、及び本記載のモジュールが、ハードウエア、ソフトウエア、又はハードウエアとソフトウエアとの組み合わせで実現され得ることは理解される。これらは、本記載の方法を実行するための他の装置又はいかなる種類のコンピュータシステムによって実現されてもよい。ハードウエアとソフトウエアとの通常の組み合わせとしては、ロードされ実行されるとき本記載の方法を実行するようにコンピュータシステムを制御するコンピュータプログラムを備える汎用コンピュータシステムがあり得る。代わりに、本発明の一つ又はそれより多くの機能的なタスクを実行するための専用ハードウエアを含む特定用途向けのコンピュータが用いられ得る。本発明は、本記載の方法及び機能の実現を可能にする全ての特徴を有すると共に、コンピュータシステムにロードされると当該方法及び機能を実行し得るコンピュータプログラムにも組み込まれ得る。本記載のコンピュータプログラム、ソフトウエアプログラム、プログラム、プログラム製品、又はソフトウエアは、情報処理能力を有するシステムが直接的に、又は以下のステップ、すなわち（ａ）他の言語、コード又は記号への変換、及び／又は（ｂ）異なるデータ形態（ｍａｔｅｒｉａｌ  ｆｏｒｍ）での復元（ｒｅｐｒｏｄｕｃｔｉｏｎ）の何れか若しくは両方の後に、特定の機能を実行することを可能にするように意図される命令セットのいかなる言語、コード、又記号におけるいかなる表現も意味している。
【００２３】
本発明の好ましい実施例の上記の記載は、例示及び説明の目的でもたらされている。当該記載は網羅されることを意図するものではなく、又は開示されている重要な形態に本発明を限定することを意図するものではない。更に明らかなことに、上記説明によれば多くの変形例及びバリエーションが可能である。当業者にとって明らかな当該変形例及びバリエーションは従属請求項によって規定される当該発明の範囲内に含まれることが意図されている。
【図面の簡単な説明】
【図１】基地局に組み込まれている再生システムを有するビデオ通信システムを示している。
【図２】ネットワークを介して離れて位置されている再生システムを有するビデオ通信システムを示している。
【図１】
2005503738.tif 000003
【図２】
2005503738.tif 000004
【国際公開パンフレット】
2005503738.tif 000005
2005503738.tif 000006
2005503738.tif 000007
2005503738.tif 000008
2005503738.tif 000009
2005503738.tif 000010
2005503738.tif 000011
2005503738.tif 000012
2005503738.tif 000013
2005503738.tif 000014
2005503738.tif 000015
【国際調査報告】
2005503738.tif 000016
2005503738.tif 000017
2005503738.tif 000018
2005503738.tif 000019