(57)【要約】映像データを映像クライアントに送信するための装置および方法が提供される。映像データは一続きの映像データユニットである。送信される各々の映像データユニットに対してユニークな優先度が割り当てられる。映像データユニットはその後バッファリングされる。前記映像データユニットの第一の部分は未送信であり、前記映像データユニットの第二の部分は再送可能である。実施の形態によれば、前記第一および第二の部分から前記バッファリングされた映像データユニットの一つがその優先度に従って選択され、前記映像クライアントに対して送信される。本実施の形態により、とりわけ、非信頼性リンクを介して圧縮された映像ストリームを送信する際に、優先度を利用して、再送に加えて通常送信をスケジューリングすることにより、映像品質を向上させることが可能となる。
2005506007.tif 000002
【特許請求の範囲】
【請求項１】
映像データを映像クライアントに送信するための装置であって、
前記映像データは一続きの映像データユニットであり、前記装置は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てる優先割当ユニットと、
割り当てられた優先度をそれぞれ有する複数の映像データユニットをバッファリングする送信バッファであって、前記複数の映像データユニットの第一の部分は、未送信の映像データユニットを含んでおり、前記複数の映像データユニットの第二の部分は、再送可能な映像データユニットを含んでいる送信バッファと、
前記第一および第二の部分から、前記バッファリングされた映像データユニットの一つをその優先度に従って選択する送信判断ユニットと、
前記選択された映像データユニットを前記映像クライアントに送信する送信手段と、
を具備する装置。
【請求項２】
前記映像データユニットはパケットデータグラムユニットである、請求項１記載の装置。
【請求項３】
前記映像データはイントラ符号化および予測符号化フレームを含む映像ストリームにて送信され、前記映像データユニットはイントラ符号化または予測符号化フレームでありまたはそのセグメントである、請求項１記載の装置。
【請求項４】
前記映像クライアントからのフィードバックメッセージを受信して、映像データユニットの再送実行のために前記送信判断ユニットを動作させるフィードバック評価ユニットをさらに具備し、
前記送信判断ユニットは、前記データユニットが初めて送信されるものか、再送されるものであるかに関わらず、前記バッファリングされたデータユニットの前記一つを選択するように設けられている、請求項１記載の装置。
【請求項５】
前記優先割当ユニットは、前記ユニークな優先度を前記それぞれの映像データユニットの送信時間、および／または表示時間、および／または送信遅延に従って割り当てるように設けられている、請求項１記載の装置。
【請求項６】
前記送信判断ユニットは、前記映像クライアントからの肯定応答または否定応答メッセージを受けて前記映像データユニットを選択するようトリガされる、請求項１記載の装置。
【請求項７】
前記送信判断ユニットは、前記先に選択された映像データユニットの一つが送信されたことを前記送信手段が示した場合には前記映像データユニットを選択するようトリガされる、請求項１記載の装置。
【請求項８】
前記送信判断ユニットは、前記送信バッファが空いており、最初の映像データユニットを受信した場合には前記映像データユニットを選択するようトリガされる、請求項１記載の装置。
【請求項９】
前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記予測符号化フレームは少なくとも二つの異なる優先度クラスに分けられる、請求項１記載の装置。
【請求項１０】
前記イントラ符号化フレームに対して割り当てられる前記優先度と前記優先度クラスのうち一つのクラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および／または前記優先度クラスの数に依存した分だけ異なる、請求項９記載の装置。
【請求項１１】
一の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度と他の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および／または前記優先度クラスの数に依存した分だけ異なる、請求項９記載の装置。
【請求項１２】
前記映像データユニットはシーケンスに配置され、前記優先割当ユニットは、前記優先度が一のシーケンスから次のシーケンスへと次第に低下するように前記優先度を前記映像データユニットに割り当てるように設けられている、請求項１記載の装置。
【請求項１３】
前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記イントラ符号化フレーム優先度と前記予測符号化フレーム優先度との差は重み付けインターバルの長さを示すパラメータに依存し、前記重み付けインターバルは、前記重み付けインターバル内の最初のシーケンスの前記予測符号化フレーム映像データユニットが前記重み付けインターバル内の最後のシーケンスの前記イントラ符号化フレーム映像データユニットよりも低い優先度を有する幾つかのシーケンスからなるグループである、請求項１２記載の装置。
【請求項１４】
映像データを映像クライアントに送信するための方法であって、
前記映像データは一続きの映像データユニットであり、前記方法は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるステップと、
割り当てられた優先度をそれぞれ有する一またはそれ以上の映像データユニットをバッファリングし、前記映像データユニットの第一の部分は未送信であり、前記映像データユニットの第二の部分は再送可能であるステップと、
前記第一および第二の部分から、前記バッファされた映像データユニットの一つをその優先度に従って選択するステップと、
前記選択された映像データユニットを前記映像クライアントに送信するステップと、
を含む方法。
【請求項１５】
前記映像データユニットはパケットデータグラムユニットである、請求項１４記載の方法。
【請求項１６】
前記映像データはイントラ符号化および予測符号化フレームを含む映像ストリームで送信され、前記映像データユニットはイントラ符号化または予測符号化フレームでありまたはそのセグメントである、請求項１４記載の方法。
【請求項１７】
前記映像クライアントからのフィードバックメッセージを受信するステップと、映像データユニットの再送を実行するステップと、を含むフィードバック評価メカニズムをさらに含み、前記データユニットが初めて送信されるものか、再送されるものであるかに関わらず、前記バッファリングされたデータユニットの前記一つが選択される、請求項１４記載の方法。
【請求項１８】
前記ユニークな優先度の割当は、前記それぞれの映像データユニットの送信時間、および／または表示時間、および／または送信遅延に従って行なわれる、請求項１４記載の方法。
【請求項１９】
前記映像クライアントからの肯定応答または否定応答メッセージを受けて前記映像データユニットの前記選択がトリガされて行なわれる、請求項１４記載の方法。
【請求項２０】
前記先に選択された映像データユニットの一つが送信された場合には前記映像データユニットの前記選択がトリガされて行なわれる、請求項１４記載の方法。
【請求項２１】
映像データユニットが初めてバッファされた場合には前記映像データユニットの前記選択がトリガされて行なわれる、請求項１４記載の方法。
【請求項２２】
前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記予測符号化フレームは少なくとも二つの異なる優先度クラスに分けられる、請求項１４記載の方法。
【請求項２３】
前記イントラ符号化フレームに対して割り当てられる前記優先度と前記優先度クラスのうち一つのクラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および／または前記優先度クラスの数に依存した分だけ異なる、請求項２２記載の方法。
【請求項２４】
一の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度と他の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および／または前記優先度クラスの数に依存した分だけ異なる、請求項２２記載の方法。
【請求項２５】
前記映像データユニットはシーケンスに配置され、前記優先割当は、前記優先度が一のシーケンスから次のシーケンスへと次第に低下するように前記優先度を前記映像データユニットに割り当てるように行われる、請求項１４記載の方法。
【請求項２６】
前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記イントラ符号化フレーム優先度と前記予測符号化フレーム優先度との差は重み付けインターバルの長さを示すパラメータに依存し、前記重み付けインターバルは、前記重み付けインターバル内の最初のシーケンスの前記予測符号化フレーム映像データユニットが前記重み付けインターバル内の最後のシーケンスの前記イントラ符号化フレーム映像データユニットよりも低い優先度を有する幾つかのシーケンスからなるグループである、請求項２５記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを映像クライアントに送信するための装置および方法に関し、とりわけ、無線チャネルなどの信頼性の無いリンクを介しての、例えばＭＰＥＧ−４データの圧縮映像ストリーミングに適用可能である。
【背景技術】
【０００２】
一般に、映像ストリームは、画像それ自体の情報に加えて何らかのメタ情報を含んだフレームと呼ばれるビットパケットのフローにより構成される。メタ情報には、例えば送信時間、すなわちフレームが送信されるべき時間、および表示時間、すなわちフレームが表示されるべき時間が含まれる。
【０００３】
映像圧縮に応じて、フレームには異なるフォーマットの映像情報が含まれる。これらのフレームのうち、あるものは独立で使うことができ、またあるものは先行するフレームに依存する。独立フレームはイントラ符号化フレームまたはＩフレームと呼ばれ、一方で非独立フレームはいわゆる予測符号化フレームまたはＰフレームと呼ばれる。これらの依存性により、フレーム間でそれらの重要性が異なることとなる。Ｐフレームの重要性は、それらに先行するＩフレームに対する分離とともに低下する。
【０００４】
非信頼性リンクを介してリアルタイム映像ストリームを送信する場合、二つの主要な問題が生じる。
【０００５】
第１の問題は、非信頼性チャネルを介して映像フレームを送信するとパケットロスに繋がることである。映像フレーム間の相互依存性の理由から、圧縮された映像ストリームはパケットロスに対してはとりわけ弱い。
【０００６】
このため、パケットロスを減じ、その結果を補償するための幾つかのメカニズムが開発されている。一般的な方法の一つは、単純に受信機から送信機にパケットロスをシグナリングして、送信機にロスのあったパケットを再送させることによる、損失パケットの再送である。これは自動再送要求（ＡＲＱ）と呼ばれる。
【０００７】
非信頼性リンクを介してリアルタイム映像ストリームを送信する場合に生じる第２の問題は、遅延要求の結果および／またはトランスポートチャネルの限られた帯域幅である。全ての映像フレームは送信時間および表示時間の値を有している。表示時間よりも後に受信されたフレームは受信機側では無用のものである。つまり、時としてフレームが無用なものになってしまうほど、チャネルによりフレームが遅延されてしまうことがある。
【０００８】
表示時間を制御し、リアルタイム要求に対処するために、リアルタイムプロトコル（ＲＴＰ）が開発されている。このプロトコルは、ＲＴＰパケットにカプセル化される映像フレームにタイムスタンプおよびシーケンス番号などの幾つかの情報を追加する。この情報は、宛先の映像アプリケーションに対して映像フレ―ムをスケジュールされた時間に送るために用いられる。遅延ジッタやパケットロスの単純統計値などの何らかの測定を受信機において行うことが可能であり、その結果はＲＴＰ制御プロトコル（ＲＴＣＰ）を用いて送信元にシグナリングされる。
【０００９】
上述した再送技術を考慮すると、遅延要求のため、失われた全てのパケットについて再送を行なうことはできない。さらに、異なるデータパケットは異なる重要度を有しているので、ただ単純に何の基準も無くロスのあったパケットを再送してしまうと、重要度のより低いパケットによって他のより重要度の高いパケットの送信が塞がれてしまい、結果として受信された映像ストリームの品質が低下してしまう。
【００１０】
Ｉフレームと後続の複数のＰフレームとを再送することにより受信品質を向上するデータ送信方法および装置がＥＰ １ １３０ ８３９ Ａ１に開示されている。ここで、Ｐフレームの数は、現在のチャネル状況に応じて設定される。すなわち、開示されている技術は再送対象をＩフレームに、またはＩフレームおよび固定数のＰフレームに限定するものではなく、これをチャネル状況に適応させているものである。これにより、利用可能なチャネル帯域幅をより有効に用いることが可能となる。しかしながら、時間要求およびチャネル帯域幅制限を満たしつつ映像ストリーミングアプリケーションの品質をさらに向上させるには、限界がある。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
利用可能な帯域幅を有効に用い、向上した映像品質を得ることのできる、映像データを映像クライアントに送信するための改良装置および方法が提供される。
【課題を解決するための手段】
【００１２】
一実施の形態において、映像データを映像クライアントに送信するための装置が提供される。映像データは一続きの映像データユニットである。本装置は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるための優先割当ユニットを備える。本装置は、割り当てられた優先度をそれぞれ有する複数の映像データユニットをバッファリングするための送信バッファをさらに備える。前記複数の映像データユニットの第一の部分は、未送信の映像データユニットを含んでいる。前記複数の映像データユニットの第二の部分は、再送可能な映像データユニットを含んでいる。本装置は、前記第一および第二の部分から、バッファリングされた映像データユニットの一つをその優先度に従って選択するための送信判断ユニットをさらに備える。本装置は、選択された映像データユニットを映像クライアントに送信するための送信手段をさらに備える。
【００１３】
他の実施の形態において、映像データを映像クライアントに送信するための方法が提供される。映像データは一続きの映像データユニットである。本方法は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるステップと、割り当てられた優先度をそれぞれ有する一またはそれ以上の映像データユニットをバッファリングするステップであって、前記映像データユニットの第一の部分は未送信であり前記映像データユニットの第二の部分は再送可能であるステップと、前記第一および第二の部分から、前記バッファリングされた映像データユニットの一つをその優先度に従って選択するステップと、前記選択された映像データユニットを前記映像クライアントに送信するステップと、を有する。
【発明を実施するための最良の形態】
【００１４】
同様の構成要素および構造には同様の参照番号を付し、図面を参照しながら本発明の例証的な実施の形態について説明する。
【００１５】
図１を参照するに、非信頼性チャネル１３０を介して映像クライアント１２０に繋がれている映像サーバ１１０が記載されている。チャネル１３０は、伝搬遅延および／またはビットエラーを生じるものである場合に信頼性の無いものと考えられる。非信頼性チャネルの例は無線リンクである。
【００１６】
映像サーバ１１０は、チャネル１３０を介して映像クライアント１２０に対して映像データを送信する。映像情報は、映像サーバ１１０のビデオデータソース１３５より、フレームまたはフレームセグメントの形で供給される。フレームまたはフレームセグメントは、パケットデータユニット（ＰＤＵ）にカプセル化される。ＰＤＵは単一のフレームまたはフレームのセグメントを含み得る。
【００１７】
ＰＤＵは重み付けユニット１４０に転送され、そこでは、優先度値、またはウェイトがＰＤＵの期限切れ時間、圧縮タイプ、シーケンス番号などの何らかのＰＤＵメタ情報を用いて割り当てられる。期限切れ時間は、ＰＤＵを送ることのできる最遅時間、すなわち、表示時間とチャネル伝搬遅延の時間差である。
【００１８】
ＰＤＵはそれから送信バッファ１４５に保存される。送信バッファ１４５は、送信バッファ１４５における各ＰＤＵの期限切れ時間を管理し、期限切れとなったＰＤＵを削除する制御ユニット（図示しない）により制御される。送信バッファ１４５は、その優先度（またはウェイト）に従ってそれぞれのＰＤＵを選択することにより何れのＰＤＵを送信、再送、または破棄するかを決定する送信判断ユニット１６０によってさらに制御される。送信判断ユニット１６０が送信（再送）のためのＰＤＵを選択すると、ＰＤＵは、適当なヘッダ情報を付加することによりそれぞれのＰＤＵをＲＴＰ ＰＤＵにカプセル化するカプセル化ユニット１５０に転送される。ＲＴＰ ＰＤＵのヘッダ情報は送信用と再送用とで異なる。
【００１９】
ＲＴＰ ＰＤＵはその後、チャネル情報ブロック１７０により与えられるビットレートで前記ＲＴＰ ＰＤＵを送るトラフィック形成器１５５に転送される。
【００２０】
送信判断ユニット１６０をトリガして送信バッファ１４５における最も優先度の高いＰＤＵを選択させるには幾つかの方法が可能である。
【００２１】
その可能なやり方の一つは、送信判断ユニット１６０が、映像クライアント１２０からのフィードバックを受信し評価するフィードバック評価ユニット１６５により、トリガされることである。映像クライアント１２０からのフィードバックは、再送要求またはＰＤＵが正しく受信されたことを示す肯定応答を含み得る。映像サーバ１１０はその後、再送を行なうか、あるいは肯定応答のあったフレームを送信バッファ１４５から削除するかを決定しなければならない。
【００２２】
送信判断ユニット１６０をトリガする別の可能性は、トラフィック形成器１５５からの制御信号を用いるものである。トラフィック形成器１５５は各ＰＤＵ送信の完了を送信判断ユニット１６０に対してシグナリングし、映像サーバ１１０が現在、送信バッファ１４５からのＰＤＵの送信を続ける準備ができていることを示す。
【００２３】
さらなる可能性は、送信判断ユニット１６０が送信バッファ１４５それ自体からトリガされることである。送信バッファ１４５が空いている場合には、入ってくるＰＤＵを直ちに送信することができる。
【００２４】
どのように送信判断ユニット１６０をトリガするかについて三つの異なる可能性について記載してきたが、他の可能性も存在し得ることは当業者にとって明らかであろう。さらに、一以上のトリガ方式を同時に用いることができることは明らかである。
【００２５】
受信側において、非信頼性チャネル１３０を通ることにより伝搬遅延およびビットエラーの生じたＰＤＵが受信される。検査ユニット１７５では、受信された各ＲＴＰ ＰＤＵのヘッダ情報が検査され、受信統計が更新され、さらに必要であれば再送要求、肯定応答が生成される。生成されるメッセージは、ＡＣＫ（肯定応答）、ＮＡＣＫ（否定応答）またはＭＡＣＫ（多目的肯定応答）メッセージを含み、映像サーバ１１０に対して送り返される。
【００２６】
検査されたＰＤＵはその後受信バッファ１８０に転送され、そこでヘッダが除かれて、フレームが保存される。それから、映像表示アプリケーション１８５は、表示時間に従って受信バッファ１８０からフレームをリリースして、映像情報の実際のディスプレイを行なっていくことができる。
【００２７】
本実施の形態によれば、各ＰＤＵはユニークな優先度を割り当てられる。このため、シーケンスの各フレームは幾つかの優先度グループ乃至はクラスの一つに分類される。シーケンスは、Ｉフレームに始まって、このＩフレームに依存する全てのＰフレームを含めた一続きのフレームである。フレームまたはフレームのセグメントは、ＰＤＵにカプセル化される。各ＰＤＵはそれから、その優先度グループに応じたユニークなウェイト（優先度）を割り当てられる。
【００２８】
優先度グループは、あるタイプのフレームに属するＰＤＵのグループである。本実施の形態においては、三つの優先度グループ（またはフレームのタイプ）が区別される：すなわち、Ｉフレーム（Ｉ）、より重要なＰフレーム（Ｐｍ）、および重要性のより低いＰフレーム（Ｐｌ）である。異なる優先度グループに属するＰＤＵのウェイトは次式に従って計算される。
【数１】
2005506007.tif 000003
【数２】
2005506007.tif 000004
【数３】
2005506007.tif 000005
【００２９】
これらの数式において、Ｇは優先度グループの数、すなわち、本実施の形態ではＧ＝３を表わす。
【００３０】
Ｄはグループ内のＰＤＵの最大数である。
【数４】
2005506007.tif 000006
【００３１】
ここで、ＩｍａｘはＩフレーム優先度グループ内のＰＤＵの最大数であり、Ｐｍ＿ｍａｘはより重要度の高いＰフレーム優先度グループ内のＰＤＵの最大数であり、さらにＰｌ＿ｍａｘはより重要度の低いＰフレーム優先度グループ内のＰＤＵの最大数である。これらの数は全てのシーケンスに対して、シーケンスごとに求められる。
【００３２】
ＳＱＮはシーケンス数である。上述のようにシーケンスは、Ｉフレームに始まって、このＩフレームに依存する全てのＰフレームを含めた一続きのＰＤＵである。
【００３３】
最後に、パラメータＬは重み付けインターバル（weighting interval）の長さを示す値である。重み付けインターバルについては以下にさらに詳細に説明する。
【００３４】
ここで図２を参照するに、グラフは上記式の依存性について例証する。図２のグラフは単に説明のためのものであり、優先度を付与したグループのコンセプトを説明するものである。
【００３５】
フラグメントされていないフレームは非常に大きい場合があるので、効率的な送信のためのより小さなＰＤＵサイズを得るために、これらはフラグメントされる。また、可能な限りほぼ一定のＰＤＵサイズを得るためにフラグメント化が用いられる。全てのシーケンスを考慮して、Ｉフレームは最大で三つのＰＤＵにセグメントされ、Ｐｍフレームは最大で二つのＰＤＵにセグメントされ、Ｐｌフレームも最大で二つのＰＤＵに分けられる。
【００３６】
図２の例においては、映像ストリームは各シーケンスにおいて一つのＩフレームと五つの連続するＰフレームを含んでいる。五つのＰフレームのうち、最初の三つはより重要度の高いＰフレーム優先度グループＰｍに属し、残りの二つはより重要度の低いＰフレーム優先度グループＰｌに属する。
【００３７】
この結果、各優先度グループにおけるＰＤＵの最大数は以下となる。
Imax = 3 x 1 = 3
Pm_max = 2 x 3 = 6
Pl_max= 2 x 2 = 4
【００３８】
したがって、パラメータＤを定義する数式を当てはめると、全ての優先度グループに対するＰＤＵの最大数は、本例においてはＤ＝６となる。
【００３９】
図２においては、各優先度グループのＰＤＵは同じウェイト、すなわち、優先度を有するものとして示されている。しかしながら、各ＰＤＵがユニークなウェイトを有する方が、より望ましいものであることが当業者に理解されよう。そこで、図３を参照しながら、実施の形態についてより詳細に説明する。
【００４０】
この例においては、複数の連続シーケンスにおける各ＰＤＵの優先度の値は次第に減少するものであることが示されている。図３の例において、最大ウェイトＷｍａｘは１６ビットアドレスに対応する一定値６５，５３５に設定されている。個々の優先度の値はさらに次式に従って割り当てられる。
【数５】
2005506007.tif 000007
【数６】
2005506007.tif 000008
【数７】
2005506007.tif 000009
【００４１】
これらの数式において、パラメータＰＮは優先度グループにおけるＰＤＵの数を表わす。各優先度グループの始めにおいては、この数はゼロである。これらの数式を当てはめることにより、各シーケンスのＰＤＵに割り当てられる優先度は以下の表のとおりとなる。
【表１】
2005506007.tif 000010
【００４２】
本実施の形態に係る優先度割当は、より重要なＰＤＵのために、より重要度の低いＰＤＵに対してはより低いウェイトを付与することを意図している。各シーケンスについて、当該シーケンスのＰＤＵがそれに続く五つのシーケンスの後に期限切れとなるものとして、期限切れ時間は五つのシーケンスの長さに対応する値に設定される。例えば、最初のシーケンス（ＳＱＮ＝０）のＰＤＵは、六番目のシーケンス（ＳＱＮ＝５）が始まる前に期限切れとなる。本実施の形態においては、第一番目のシーケンスにおけるＰｍフレームのＰＤＵは、第一番目から第四番目のシーケンスの全てのＩフレームのＰＤＵよりもその重要度を低くされている。このことは、図３において、水平破線により示されている。
【００４３】
このシーケンスのインターバルを以下の記載においては重み付けインターバルと呼ぶこととする。したがって、重み付けインターバルとは、シーケンスｍの重要度の高いＰｍフレームのＰＤＵが、シーケンスｍからシーケンスｍ＋Ｌの全てのＩフレームのＰＤＵよりも低いウェイトを有する間のインターバルとなる。図３の例では、ｍ＝０、Ｌ＝３である。重み付けインターバルの長さ、すなわち、インターバル内のシーケンス数はＬ＋１により与えられ、図３の例ではすなわち４となる。
【００４４】
重み付けインターバルはまた、より重要度の低いＰｌフレームのＰＤＵについても表わすことができる。図３の例においては、第一番目のシーケンス（ＳＱＮ＝０）のＰｌフレームのＰＤＵには第五番目のシーケンス（ＳＱＮ＝４）のＩフレームのＰＤＵよりも低いウェイトが割り当てられているが、第六番目のシーケンス（ＳＱＮ＝５）のＩフレームのＰＤＵよりは高いウェイトが割り当てられているので、より重要度の低いＰｌフレームのＰＤＵに対する重み付けインターバルの長さはＬ＋２と等しく、よって、これはより重要度の高いＰｍフレームのＰＤＵの重み付けインターバル長を一シーケンス分上回ることとなる。
【００４５】
上述の重み付けインターバルを用いることにより、期限切れとなる前にＩフレームのＰＤＵを再送することのできる回数が増える結果、Ｉフレームを受信することのできる可能性も増す。これにより、Ｌ＋１シーケンスに相当する時間に亘って、ＩフレームのＰＤＵの送信または再送を優先して、ＰｍフレームのＰＤＵの送信または再送が遅延されたり、あるいはそれらが破棄されたりすることとなる。したがって、第一番目シーケンスのＰｍフレームＰＤＵの送信または再送は、第四番目シーケンスのＩフレームＰＤＵまでは最も高い優先度を有することが無く、これらのＰＤＵの送信が成功するまでに有する時間は、それらが期限切れとなるまで、すなわち、第六番目のシーケンスの開始までとなる。同様のことは、それらがより重要でないために受信機への送信または再送が成功するのに有する時間はより短いものとなるものの、ＰｌフレームＰＤＵについてもあてはまる。
【００４６】
実施の形態によれば、重み付けインターバルの長さは、ＰＤＵの期限切れ時間および送信時間に従って設定される。例えば、パラメータＬは期限切れ時間ｔｅｘｐ、送信時間ｔｓｅｎｄ、シーケンス継続時間Ｔｓｅｑおよび優先度グループの数Ｇに基づいて、算出することができる。
【数８】
2005506007.tif 000011
【００４７】
Ｔｓｅｑの値は、一つのシーケンスに亘る時間を表し、これは全てのシーケンスについて固定されているものとする。
【００４８】
本実施の形態によれば、ユニークな優先度が各々の映像データユニットに対して割り当てられ、送信のためのデータをスケジューリングするにあたって、この優先度が用いられる。本実施の形態は、再送のためにスケジューリングされるフレームのみならず、初回の、すなわち、通常の送信のためにスケジューリングされるフレームをも考慮することにより、従来技術の限界を克服するものである。さらに、本実施の形態はユニークな優先度をデータに対して割り当て、これにより複数のデータユニットが同じ優先度を有することを避けるものである。何れの時点においても、どのデータユニットを送信のためにスケジューリングすべきかが明確に定義されるので、この割当には利点がある。
【００４９】
本実施の形態によれば、送信することのできる映像データユニットは、その優先度に従って選択（すなわち、スケジューリング）される。この結果、より重要なフレームを優先するために、より重要でないフレームが、ストリーム内のその位置に関わらず、遅延されたり、さらには破棄されたりするといったことが行なわれる。これにより、より重要なフレームの再送のための時間量を増やすこととなるので、この重要フレームを受信できる可能性が上がる。
【００５０】
さらに、本実施の形態は、利用可能な帯域幅を通常送信と再送の両方のために効率的に扱うことが可能となるという点で有利である。通常送信および再送は、リンクの同じ利用可能帯域幅を共有する。帯域幅を初回送信と再送の何れに用いるかは固定されておらず、これはデータユニットに対して割り当てられる優先度、またさらに何れのデータユニットがどの位再送要求されるかに依存している。本実施の形態に係る優先度割当を用いることにより、チャネルが最大限に利用される。
【００５１】
また、本実施の形態には、実際に見られる映像ストリームに突然の改善や漸次的変化が無く映像品質が一定に保たれるような程度に、受信された圧縮映像ストリームの品質が依存する、ということを考慮している点での利点がある。
【００５２】
ユニークな優先度の割当は、望ましくは映像フレームのメタ情報、例えば、送信時間、表示時間、送信遅延、重要度または圧縮タイプすなわち当該フレームがＩフレームであるかＰフレームであるか、に基づいて行なわれる。この情報を用いることで、またさらに例えば利用可能帯域幅および受信統計のような現在のチャネル状況についての付加情報を用いることで、本実施の形態は何れのフレームを送信、再送、破棄すべきかについて、より良く決定を下すことができる。
【００５３】
さらに、本実施の形態は、単一のＰＤＵのみでなく、複数シーケンスの複数ＰＤＵの重み付けインターバルをも考慮する重み付けアルゴリズムを提供する（これについては、以下により詳細に詳述する）。リンク品質における大きな変動があっても、受信された映像ストリームの品質には大きな変動が生じないという点でこの重み付けメカニズムは有利である。
【００５４】
本発明は実際的な実施の形態に即して記載されているものであるが、上記の教示に照らして、さらに添付の特許請求の範囲内で、その発明の本旨および意図された範囲から逸脱すること無く、本発明についての様々な修正、変更、改良が行なわれ得るということは、当業者にとって明らかであろう。また、ここに記載される発明を無用に不明瞭なものとすることのないように、当業者が熟知していると信じられる内容については、ここには記載されていない。したがって、本発明は、具体的に例示された実施の形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定されるものであることが理解される。
【図面の簡単な説明】
【００５５】
【図１】一実施の形態に係る動作を行なう映像サーバおよび映像クライアントの構成を示すブロック図
【図２】一実施の形態に係るシーケンス内の優先度割当を示すグラフ
【図３】他の実施の形態に係る複数シーケンスのデータユニットに対する優先度割当を示すグラフ
【図１】
2005506007.tif 000012
【図２】
2005506007.tif 000013
【図３】
2005506007.tif 000014
【国際公開パンフレット】
2005506007.tif 000015
2005506007.tif 000016
2005506007.tif 000017
2005506007.tif 000018
2005506007.tif 000019
2005506007.tif 000020
2005506007.tif 000021
2005506007.tif 000022
2005506007.tif 000023
2005506007.tif 000024
2005506007.tif 000025
2005506007.tif 000026
2005506007.tif 000027
2005506007.tif 000028
2005506007.tif 000029
2005506007.tif 000030
2005506007.tif 000031
2005506007.tif 000032
2005506007.tif 000033
2005506007.tif 000034
2005506007.tif 000035
【国際公開パンフレット（コレクトバージョン）】
2005506007.tif 000036
【国際調査報告】
2005506007.tif 000037
2005506007.tif 000038
2005506007.tif 000039