(57)【要約】  符号化データ１０３をそれぞれが備えたフレーム１０２の組１０１を送信器１０４から受信器１０５に配信する場合、従属フレーム１０８は復号化するために独立フレーム１０７を必要とし、送信器１０４におけるバッファ１１０からのフレーム１０２の送信１１１は、独立フレーム１０７の後に従属フレーム１０８が送出されるように再配列される。特に、更なるフレーム１２５をバッファリングする（１０９）伝送ポリシーは、更なるフレーム１２５がゼロを必要とする場合、復号化するために組１０１の１つ又は２つのフレーム１０２を考慮に入れ、送信バッファ１１０の第１の位置及び第２の位置１２３にバッファリングされた現行フレーム１０２を考慮に入れる。
2008527889.tif 000002
【特許請求の範囲】
【請求項１】
符号化データをそれぞれが備える、フレームの順序付けられた組を送信器から受信器に配信する方法であって、前記組は独立フレーム及び従属フレームを備えており、前記従属フレームは、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記方法は、
前記送信器におけるバッファに前記独立フレーム及び前記従属フレームを送信前にバッファリングする工程と、
前記送信器における前記バッファからのフレームを前記受信器に送信する工程と、
前記独立フレーム後に前記従属フレームが送出されるように前記送信器における前記バッファからの前記フレームの前記送信を再配列する工程と、
送信される前記フレームの少なくとも一部を前記受信器において受信する工程と、
前記順序付けられた組の順序で出力において前記フレームが受信されるように前記受信器の出力において受信される前記フレームを再配列し、提示する工程とを備える方法。
【請求項２】
請求項１記載の方法であって、前記順序付けられた組が更に、更なる従属フレームを備えており、前記更なる従属フレームは、前記更なる従属フレームにおいて符号化されたデータを復号化するために前記独立フレーム及び前記従属フレームを必要とし、
前記従属フレーム後に前記更なる従属フレームが送出されるように前記送信器における前記バッファからの前記フレームの前記送信を再配列する工程を更に備える方法。
【請求項３】
請求項１又は２の何れか一項に記載の方法であって、
前記受信器によって受信されるフレームについて前記送信器に肯定応答する工程と、
前記独立フレームの肯定応答後に前記従属フレームが送出されるように前記バッファからの前記フレームの前記送信を再配列する工程とを更に備える方法。
【請求項４】
請求項１乃至３の何れか一項に記載の方法であって、
肯定応答されたフレームを前記バッファから除去する工程と、
前記バッファから送信されたフレームを肯定応答されるまで再送信する工程とを更に備える方法。
【請求項５】
請求項１乃至４の何れか一項に記載の方法であって、前記バッファリングする工程は、第１の位置及び第２の位置を有するバッファにおいて行われ、前記バッファリングする工程は、前記送信器への送信のために前記組の更なるフレームをバッファリングする工程を備え、前記更なるフレームをバッファリングする工程は、
前記更なるフレームが、前記更なるフレームに符号化されたデータを復号化するために前記組の２つのフレームを必要とする場合、
前記第１の位置が空きの場合に、前記更なるフレームを前記第１の位置に挿入する工程と、
さもなければ、前記第２の位置が空きの場合に、前記更なるフレームを前記第２の位置に挿入する工程と、
さもなければ、前記第２の位置が、更に別のフレームに符号化されたデータを復号化するために前記組の２つのフレームを必要とする更に別のフレームを保持する場合に、前記第２の位置をクリアし、前記更なるフレームを前記第２の位置に挿入する工程と、
さもなければ、前記更なるフレームを拒否する工程と、
前記更なるフレームが、前記更なるフレームに符号化されたデータを復号化するために前記組の１つのフレームを必要とする場合、
前記第１の位置が空きの場合に、又は、更に別のフレームに符号化されたデータを復号化するために前記組の２つのフレームを必要とする更に別のフレームを保持する場合に、前記第１の位置及び前記第２の位置をクリアし、前記更なるフレームを前記第１の位置に挿入する工程と、
さもなければ、前記第２の位置が空きの場合に、前記更なるフレームを前記第２の位置に挿入する工程と、
さもなければ、前記第２の位置が、更に別のフレームに符号化されたデータを復号化するために前記組の２つのフレームを必要とする更に別のフレームを保持する場合に、前記第２の位置をクリアし、前記更なるフレームを前記第２の位置に挿入する工程と、
さもなければ、前記更なるフレームを拒否する工程と、
前記更なるフレームが、前記更なるフレームに符号化されたデータを復号化するために前記組の0個のフレームを必要とする場合、
前記第１の位置が更に別のフレームに符号化されたデータを復号化するために前記組の0個のフレームを必要とする更に別のフレームを保持する場合に、前記第２の位置をクリアし、前記更なるフレームを前記第２の位置に挿入する工程と、
さもなければ、前記第１の位置をクリアし、前記更なるフレームを前記第１の位置に挿入する工程とを備える方法。
【請求項６】
請求項１乃至５の何れか一項に記載の方法であって、
前記受信器におけるフレームの送信、受信、処理、復号化、出力、又はレンダリングの期限を設ける工程と、
前記期限後に前記フレームを送信し、受信し、処理し、復号化し、出力し、又はレンダリングする工程とを備える方法。
【請求項７】
請求項１乃至６の何れか一項に記載の方法であって、
同じ依存性を有するフレーム間で、一定のサブサンプリングを提供するフレームを優先する工程を更に備える方法。
【請求項８】
請求項１乃至７の何れか一項に記載の方法であって、
系列の別のフレームのバッファリングから生じるジッタよりも少ないジッタを、前記出力におけるフレームの提示が有するようにBフレームの系列における「中央」フレームをバッファリングする工程を更に備える方法。
【請求項９】
符号化データを備えた、フレームの順序付けされた組を送信器から受信器に配信するシステムであって、前記組は独立フレーム及び従属フレームを備えており、前記従属フレームは、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記システムは、
送信前に前記独立フレーム及び前記従属フレームをバッファリングするバッファと、
前記バッファからのフレームを前記受信器に送信するディスパッチャと、
前記フレームの前記送信を再配列する再配列手段と
を備えた前記送信器と、
送信される前記フレームの少なくとも一部を受信する受信手段と、
前記受信器の出力において受信される前記フレームを再配列し、提示する再配列及び提示手段と
を備えた前記受信器とを備えており、
前記送信器は、
前記送信器におけるバッファに前記独立フレーム及び前記従属フレームを送信前にバッファリングし、
前記送信器における前記バッファからのフレームを前記受信器に送信し、
前記独立フレーム後に前記従属フレームが送出されるように前記送信器における前記バッファからの前記フレームの前記送信を再配列する
よう構成されており、
前記受信器は、
送信される前記フレームの少なくとも一部を受信し、
前記順序付けられた組の順序で前記出力において、受信される前記フレームが提示されるように、受信される前記フレームを再配列する
よう構成されたシステム。
【請求項１０】
符号化データをそれぞれが備えた、フレームの順序付けされた組を送信器から受信器に配信する送信器であって、前記組は独立フレーム及び従属フレームを備えており、前記従属フレームは、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記送信器は、
送信前に前記独立フレーム及び前記従属フレームをバッファリングするバッファと、
前記バッファから前記受信器にフレームを送信するディスパッチャと、
前記フレームの前記送信を再配列する再配列手段とを備えており、
前記送信器は、
前記送信器におけるバッファに前記独立フレーム及び前記従属フレームを送信前にバッファリングし、
前記送信器における前記バッファからのフレームを前記受信器に送信し、
前記独立フレーム後に前記従属フレームが送出されるように前記送信器における前記バッファからの前記フレームの前記送信を再配列するよう構成された送信器。
【請求項１１】
送信器からの、符号化データをそれぞれが備える、フレームの順序付けされた組が受信器に配信される受信器であって、前記組は独立フレーム及び従属フレームを備えており、前記従属フレームは、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記受信器は、
送信される前記フレームの少なくとも一部を受信する受信手段と、
前記受信器の出力において受信される前記フレームを再配列し、提示する再配列及び提示手段とを備えており、
前記受信器は、
送信される前記フレームの少なくとも一部を受信し、
前記順序付けられた組の順序で出力において、受信される前記フレームが再配列され、提示されるように、前記受信器の出力において受信される前記フレームを再配列し、提示するよう構成された受信器。
【請求項１２】
符号化データをそれぞれが備えた、フレームの順序付けされた組を送信器から受信器に送信する方法であって、前記組は独立フレーム及び従属フレームを備えており、前記従属フレームは、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記方法は、
送信前に前記送信器において前記独立フレーム及び前記従属フレームをバッファにバッファリングする工程と、
前記送信器における前記バッファからのフレームを前記受信器に送信する工程と、
前記独立フレーム後に前記従属フレームが送出されるように前記送信器における前記バッファからの前記フレームの前記送信を再配列する工程とを備える方法。
【請求項１３】
送信器からの、符号化データをそれぞれが備える、フレームの順序付けされた組を受信器に受信する方法であって、前記組は独立フレーム及び従属フレームを備えており、前記従属フレームは、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記方法は、
送信される前記フレームの少なくとも一部を前記受信器において受信する工程と、
前記順序付けられた組の順序で出力において、受信される前記フレームが提示されるように、前記受信器の出力において受信される前記フレームを再配列し、提示する工程とを備える方法。
【請求項１４】
符号化データを備えたフレーム組を送信器から受信器に配信するコンピュータ・プログラムにおいて、請求項１乃至７、１２、及び１３の何れか一項に記載の方法の工程をプロセッサが実行することを可能にすることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化データをそれぞれが備える順序付けられたフレーム組を送信器から受信器に配信する方法に関し、上記組は独立フレーム及び従属フレームを備えており、従属フレームは、従属フレームにおいて符号化されたデータを復号化するために独立フレームを必要とし、上記方法は、
送信前に送信器におけるバッファに独立フレーム及び従属フレームをバッファリングする工程、
送信器におけるバッファからのフレームを受信器に送信する工程、
送信されるフレームの少なくとも一部を受信器において受信する工程を備える。
【０００２】
本発明は、送信する方法、受信し、提示する方法、システム、送信器、受信器、及び、前述のシステム、送信器又は受信器において用いるコンピュータ・プログラムにも関する。
【背景技術】
【０００３】
符号化データをそれぞれが備えるフレーム組を受信器に配信する手法は周知である。低信頼度のネットワーク（例えば、インターネットのようなパケット・ベースのネットワーク）を用いてフレームが配信された場合、受信フレームの品質は、ネットワークの劣化の悪影響を受ける。
【０００４】
欧州特許第１３６１６９０号明細書には、フレームの再送信の要求を送信器に送出すべきかを受信器において、かつチャネル状態に基づいて決定される手法が開示されている。
【０００５】
無線ネットワーク（IEEE802.11による「ワイファイ」ネットワークなど）に用いるにはより適していないという点がこの既知の手法の欠点である。無線ネットワークでは、妥当な決定を下すにはチャネル状態の監視が遅れ過ぎるようにチャネル状態が経時的に急速に変動するからである。これは、配信されたフレームの比較的低い品質をもたらし、フレームがMPEGストリームの一部の場合、MPEGストリームをレンダリングする際にアーチファクトをもたらす。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、無線ネットワークを介した使用により適した、冒頭の段落に記載した類の方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、従属フレームが独立フレームの後に送出されるように送信器においてバッファからのフレームの送信を再配列する工程と、出力において、順序付けられた組の順序で受信フレームが提示されるように、受信器の出力において受信されるフレームを提示する工程とを備える上記方法において実現される。バッファからのフレームの送信を再配列することによって、復号化が依存する、欠けているフレームによって復号化可能でないフレームが受信される可能性が削減される。フレームの送信に利用可能な帯域幅はよって、実際に復号化できるフレームに費やされる。別の利点は、復号化対象のフレームのデータをバッファリングするためにより少ないメモリを必要とし得ることである。更に、送信器におけるフレームの提供と、受信器において受信されたフレームのデータの復号化との間で経過した時間は、再配列によってより小さいことがあり得る。
【０００８】
別の実施例では、システムは請求項２の特徴を有する。フレームの再配列は、更なる従属フレームにおいて符号化されたデータを復号化するために独立フレーム及び従属フレームを必要とする更なる従属フレームなどの、フレーム間の複数の依存性を考慮に入れることもできる。この方策は、請求項１の方策によって達成される利点を、複数の依存性を備えたフレームにも適用される。
【０００９】
別の実施例では、システムは請求項３の特徴を有する。フレームに肯定応答し、独立フレームの肯定応答後に従属フレームを送信する工程によって、復号化可能でないフレームが受信されるというリスクが更に削減される。復号化可能でないフレームの送信に帯域幅を費やすことも阻止される。この手法は、伝搬遅延が比較的小さい場合に特に有利である。その場合、肯定応答に要する時間は比較的少ないからである。フレームの肯定応答がない場合、フレームを拒否する（すなわち、全く送出しない）か、又は再送信することができる。復号化するために拒否フレームを必要とするフレームも拒否され得る。
【００１０】
別の実施例では、システムは請求項４の特徴を有する。フレームに最終的に肯定応答されることをフレームの再送信は確実にし得る。この手法は、伝搬遅延が比較的小さい場合にも特に有利である。その場合、再送信に要する時間は比較的少ないからである。
【００１１】
別の実施例では、システムは請求項５の特徴を有する。これは、２つの位置を備えたバッファが比較的小さいことがあり得るという利点を有する。単一フレームのバッファリングが既にかなりの量のメモリを必要とし得るので、このことは適切である。データを復号化するために組の0、1又は2個のフレームを必要とする更なるフレーム間で区別することは、復号化可能でないフレームに費やされる帯域幅の更なる削減に有用である。  この特定の送信ポリシーは、TCPやRTP／RTCPのようなリアクティブ型手法を用いるパケット・ベースの無線ネットワークを介してMPEG符号化フレーム・ストリームを送信する場合にアーチファクトを阻止するのに意外に好適であるように思われる。一方、この実施例の方策は、UDPのような予防制御機構にも有利であり得る。
【００１２】
別の実施例では、システムは請求項６の特徴を有する。多くの従来技術の手法では、フレームは、期限を過ぎている場合、送信されない。一見して、このことは意味をなさないようにも思われる。いずれにせよ遅すぎることになるフレームを送信することで帯域幅が台無しになるように思われるからである。しかし、それでも、期限を過ぎてフレームを送信し、受信し、処理し、復号化し、出力し、又はレンダリングすることによって、時間的な歪みが事実上許容され、気になるアーチファクトが阻止され得る。
【００１３】
別の実施例では、システムは請求項７の特徴を有する。一定のサブサンプリングを提供するフレームを優先することは、動きジャダーを減少させる利点を有する。
【００１４】
別の実施例では、システムは請求項８の特徴を有する。フレーム系列におけるフレームの依存性が同じ場合、バッファリングに好適な基準によって、時間的な歪み（例えば、廃棄されたフレームによって生じるジッタから）の最小化が試行される。
【発明を実施するための最良の形態】
【００１５】
本発明の方法１００の前述の目的及び特徴は、添付図面を参照する以下の説明からより明らかになる。
【実施例】
【００１６】
当該技術分野におうて知られているように、ビデオはMPEG標準（例えば、MPEG1、MPEG2、MPEG4）によって符号化することができる。前述の標準によって、Iフレーム、Pフレーム及びBフレーム１０２が区別される。Bフレーム１０２の復号化はIフレーム１０２に依存し、Pフレーム１０２に依存する。Pフレーム１０２の復号化は、先行Pフレーム１０２に依存し、（間接に）直前のIフレームに依存する。Iフレーム１０２の復号化は他のフレーム１０２に対する依存性なしで進む。Iフレームはよって独立フレーム１０７とみなすことができ、Pフレームは従属フレーム１０８とみなすことができ、Bフレームは従属フレーム１０８又は更なる従属フレーム１１６とみなすことができる。
【００１７】
一般に、無線媒体を介して送信する（１１１）場合にフレームが喪失することは頻繁に生じる。望ましくないアーチファクトがその場合、生じ得る。連続したBフレーム１０２及びPフレーム１０２の復号化は、先行Iフレームからのコンテンツに依存するからである。Iフレームが喪失した場合、従属するBフレーム及びPフレーム１０２は、先行Iフレームからのコンテンツに依存し得る。喪失したIフレームより前に送信されたIフレームのコンテンツは、喪失したIフレームのコンテンツとは劇的に異なり得る。ここでの目的は、送信されたビデオを視るユーザによって、非常に気がかりであると認識される、続いて起こるアーチファクトを阻止することである。本発明によれば、送信ビデオ・データ１０３の量は、媒体の利用可能な伝送容量に自動的に適合させられる。
【００１８】
本発明によるシステム２００は、フレームの生成、送信、受信及び表示間のわずかな遅延のみを維持する一方で、アーチファクトを実質的に阻止するか、又は、完全に阻止する。本願提案のシステム２００は他の提案とは（例えば、指定された表示時間を過ぎてもフレーム１０２が復号化され、表示されるという意味で）異なる。
【００１９】
図１には、通常のピクチャ群（GOP）の構造を示す。この特定の例では、１つのIフレーム及びそれに続く３つのPフレームを有するGOPが存在している。２つのPフレーム１０２それぞれの間に、かつ、連続するIフレーム１０２とPフレーム１０２との間に、２つのBフレーム１０２が存在している。矢印は、フレーム１０２間の依存性を示す。B3(B4)からP1への矢印は、完全な図を表すために、B3(B4)が、P1からのデータを必要とすることを意味する。B3(B4)はP1のコンテンツの前に表示されるが、フレ―ムB3（B4）を復号化し、表示することができる前にフレームP1を受信し、復号化する必要がある。したがって、P1はB3（B4）より前に復号器に、かつ通信リンクを介して送出される。送信及び復号化の順序を図１の下半分に示す。
【００２０】
劣化が（例えば、無線リンク上で）生じた場合、これは、パケット喪失及びフレーム喪失につながり得るが、利用可能な帯域幅の削減にもつながり得る。例えば、無線媒体のMAC層におけるパケットの再送信時に、利用可能な帯域幅が削減される。利用可能な帯域幅の削減は、秒毎にリンクを介して送信可能なフレーム１０２がより少ないことを意味する。本発明による方法１００では、削減された利用可能な帯域幅の状況において、送出する送信器１０４のバッファ１１０のサイズに応じて、アーチファクトが生じないか又は大きく削減されるような順序でまずBフレーム１０２が拒否され、次いでPフレーム１０２が拒否され、Iフレーム１０２も拒否される。Bフレーム１０２の除去によって、GOP例の場合、既に、５０％の帯域幅変動が吸収される。
【００２１】
例えば、I1、B1及びB2が正しく送信されており、利用可能な帯域幅における急な減少が生じると仮定する。
【００２２】
本発明によれば、フレームP1の送信が始まっているが、フレーム１０２のB3及びB4を送信する必要がある場合、フレームP1の送信が代わりに続けられる。フレームP2は、P1の完全な送信後に送信され、P3の送信が続く（フレーム１０２のB5、B6、B7及びB8が犠牲になる）。図２の上部には、I1、P1、P2、P3及びI2のみが送信され、表示されるやり方を示す。
【００２３】
この特定の例では、その結果、フレームI1の表示が５回繰り返され、続いて、フレーム１０２の2個分の遅延を伴ってP1が表示される。P1の表示は、P2の到着まで繰り返される（一フレームの遅延を伴って表示される）。最後に、P3が到着し、一フレームの遅延を伴って表示される。その後、通常の帯域幅状態が回復させられ、I2がやがて表示される。
【００２４】
図２の下部には、別のシナリオ（なお通常の帯域幅状態下で一部のBフレーム１０２が送信されている）を示す。B１、B2、I1、P1及びB3の送信後、B4の送信の時間がもう残っていないほど無線リンクが劣化する。P2はB3の送信後に送出され、次いで、送信状態が改善し、P3及びB8がやがて送信されるが、B7に残った時間はない。このシナリオでは、本発明によるシステム２００の挙動は、Bフレームの喪失にしかつながらず、アーチファクトは何ら生じない。受信フレーム１０２は全て、復号化に必要なデータ１０３全てへのアクセスを有する。このシナリオでは、かつ、25フレーム/秒を前提とすれば、ピクチャは、最大200msの間しかとどまらないようにレンダリングすることができる。これは、既知のシステム２００によってレンダリングされた場合のアーチファクトよりもずっと好ましい。
【００２５】
本発明によるシステム２００において、かつ、既知の送信手法と対照的に、Pフレーム１０２はなお送信されるが、元の表示時間で表示するには遅すぎる。図２の例では、P1フレームは、元々、5番目の時間スロットにおいて表示されるべきであったが、7番目の時間スロットにおいて表示される。他の伝送プロトコルでは、フレームP1は遅れて送出されるのではなく、拒否される。
【００２６】
図３には、更に劣化した帯域幅状態で、Pフレーム１０２の送出も割愛することができることを示す。Pフレーム１０２を送出しないことによって、５０％より大きな帯域幅変動に対応することができる。図３の上部では、更に劣化した帯域幅状態によってP１も喪失され、システム２００はP2しか送信していない。この場合、アーチファクトが（例えば、喪失したP1フレームがI1に関する多くの他の動きベクトルをもたらす場合）レンダリングされる有限の確率が存在している。I1に含まれる画像は、25フレーム/秒を前提とすれば、280ms中に表示される。
【００２７】
図３の下部では、帯域幅状態は異なっており、フレームP2は喪失している。この場合、動きベクトルがフレームP2において再規定され、アーチファクトが生成され得るものであり、これに依存するフレームP3に影響する。その結果、やはり２５フレーム/秒を前提とすれば、240ms中にフレームP1内の画像がディスプレイ上にあり得る。
【００２８】
P1とP3との間のP2の喪失、又はI1とP2との間のP1の喪失の代わりに、一般に、まずP3が喪失され、次いでP2が喪失され、最後にP1が喪失されるほうが好適である。好ましくは、喪失したPフレーム１０２に依存するBフレームはレンダリングされない。これを達成するために、受信器１０５は、喪失したPフレームに依存するBフレームのその出力２１５における提示（１１５）を抑制するよう構成することができる。
【００２９】
図４には、この改良された挙動を示す。図４のシナリオにおいて本発明によるシステム２００によってアーチファクトは全て阻止される。フレームB2及びB3は、存在しているI1に依存する。フレームP1は、図４の上部における送信I1フレームにしか依存しない。下部では、フレームP2は、フレームI1を必要とするフレームP1を必要とする。必要なフレーム１０２は全て送信され、アーチファクトは何ら生成されない。
【００３０】
なお劣悪な帯域幅状態下では、完全なGOPが喪失し得る。例えば、図３の下部に関して、連続するフレーム１０２全てが喪失するように、フレームP1の送信後に送信が完全に停止するものとする。次のフレームは、GOP  n（例えば、I19によって表すn＝１９）のIフレームになる。このI１９は、I１９の表示時間とI２０の表示時間との間にある時点で表示される。１２０後の挙動はその場合、前述の例全てにおいて示す挙動と同様である。
【００３１】
シーンの切り換えはIフレームと一致し得る。一部の符号器は、シーンの切り換えが生じた際にIフレームを生成する。全ての符号器がこのことを行う訳でない。例えば、シーンの切り換えがフレームB3において生じ得る。B3はその場合、完全なピクチャを含み、連続するB4及びP2も同様である。B3及びB4の喪失は他の画像に影響を及ぼさない。しかし、新たなシーンを含むフレームP2は、Iフレームとしてふるまい、表示を必要とする。I2までの連続するフレーム１０２は全て、それに依存するからである。新たなシーン、又はシーンの切り換えを含むPフレーム１０２は、システム２００によってIフレームとして扱うことができる。符号器が前述のPフレームに通知するか、又は、送信器１０４によって（例えば、Pフレームのサイズが閾値を超えているかを判定することによって、若しくは、先行Iフレームに対する動きベクトルの数が閾値を超えているかを判定することによって、又は、一般に、フレーム１０２の特性の関数が閾値を超えているかを判定することによって）検出することができる。前述の、PフレームがIフレームのようにふるまうことの通知又は検出、及びIフレームとしての後の扱いは、阻止しない場合に、前述のPフレームを廃棄することによってもたらされたであろうアーチファクトを阻止することができる。
【００３２】
送信ポリシーは例えば、次のように実現することができる。
【００３３】
1.  送信器１０４において（例えば、シングル・ホップ無線接続の場合、送信器１０４と受信器１０５とを結合する無線リンクのリンク・レベルにおいて）  無線標準によれば、受信器１０５は肯定応答を戻す。これによって、フレームを収容するパケットに全て肯定応答された場合、受信器１０５によってフレームが完全に受信されることを送信器１０４が判定することが可能になる。
【００３４】
2.  IETFの伝送制御プロトコル（TCP）の伝送レベルにおけるソースにおいて  TCPによって、受信器１０５によってフレームが完全に受信されているか否かをソースが分かるように宛先からソースに肯定応答が戻される。
【００３５】
何れの場合にも、望ましい挙動は、現在送出されているフレームを含めるための送出バッファ１１０と、送出する対象の次のフレームを含めるための待ちバッファ１１０とによって実現することができる。一フレームのみが送出バッファ１１０に収まり、一フレームのみが待ちバッファ１１０に収まる。
【００３６】
送出バッファ１１０は、現在送信されているフレームに属するパケット全てを含む。待ちバッファ１１０は、送出バッファ１１０におけるフレームの送信の直後の送信が意図されたフレームに属するパケット全てを含む。この解決策によって、ビデオ・フレーム１０２をバッファリングする（１１０）のに必要な合計メモリ量が比較的低いことが確実になる。
【００３７】
フレームが送出バッファ１１０から送出され、フレームの受信に肯定応答されると、待ちバッファ１１０はフレームを保持し、次いで、フレームが待ちバッファ１１０から除去され、送出バッファ１１０に挿入される。あるいはこの転送は、待ちバッファ１１０を表すポインタ内の値及び送出バッファ１１０を表すポインタ内の値を交換することによって達成可能である。
【００３８】
提供されるフレーム１０２全てを送信するために利用可能な帯域幅が十分大きい場合の通常の伝送条件下で、送出バッファ１１０が空き状態の場合、待ちバッファ１１０は空き状態である。
【００３９】
一方、提供されるフレーム１０２全てを送信するために利用可能な帯域幅が十分大きくない場合、本発明によるアルゴリズムによって、前述の通り、フレーム１０２が好ましい順序で除去されることが確実にされる。新たなフレーム１０２は、符号器によって要求される周波数で（例えば、毎秒２５フレームで）提供されるものとする。通常の帯域幅状態下では、送信するために新たなフレームが利用可能にされる都度、送出バッファ１１０及び待ちバッファ１１０は空き状態である。フレーム１０２は生成されるよりも速く送出されるからである。削減された帯域幅の状態下では、フレーム１０２が、前述のアルゴリズムによって除去される。
【００４０】
アルゴリズムは以下に、以下の表記を用いて説明する。
【００４１】
xはタイプxのフレームを意味する。xはI、P又はBである。Iは標準Iフレームを表し得るが、あるいは、前述の通り、シーンの切り換えを伴った標準的なIフレーム又はPフレームを表し得る。
【００４２】
W()及びS()は、空き状態の待ちバッファ１１０、及び空き状態の送出バッファ１１０を表す。
【００４３】
W(x)は、待ちバッファ１１０がフレームｘを含むことを表す。
【００４４】
S(x)は、送出バッファ１１０がフレームxを含むことを表す。
【００４５】
フレームが送出され、フレームの受信に肯定応答されると、バッファ１１０はクリアされる。Sをクリアした後、フレームはWにおいて待ち、次いで、フレームがWから除去され、Sに挿入される。
アルゴリズム1                                                              500
新たなフレームが生成され、送信に提供される                                  501
新たなフレームがタイプBの場合には、                                        510
S()の場合（IF  S()）、フレームをSに挿入する                              511
さもなければ、W()の場合（ELSEIF  W()）、フレームをWに挿入する              512
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する                        513
さもなければ（ELSE）  新たなフレームを除去する                            516
新たなフレームがタイプPの場合には、                                        520
IF  S()又はS(B)、Sをクリアし、フレームをSに挿入し、Wをクリアする    521、529
ELSEIF  W()、フレームをWに挿入する                                  522、528
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する                        523
ELSE  新たなフレームを除去する                                            526
新たなフレームがタイプIの場合は、                                          530
IF  S(I)、Wをクリアし、フレームをWに挿入する                            540
ELSE  Sをクリアし、Wをクリアし、フレームをSに挿入する                  548  
前述のアルゴリズムは、図２及び図３に示す挙動を実現する。実施例を図５においてフローチャートとして示し、前述の右列の番号は、図５のフローチャート内の項目に対応する。
【００４６】
別の実現形態例では、Pフレームが一度喪失すると、Bフレーム１０２もPフレーム１０２ももう送出されないことを確実にするようブ―ルの「P-frame-lost」が導入される。新たなフレームがタイプPのフレームであり、拒否されると、ブールのP-frame-lostは真にセットされる（１０１）。新たなフレームがタイプBのフレームであるか、又はタイプPのフレームであり、P-frame-lostが真の場合、新たなフレームは拒否される。新たなフレームがタイプIのフレームの場合、P-frame-lostは偽にセットされる（１０１）。
【００４７】
より多くのメモリが利用可能な場合、待ちバッファ１１０は2つ以上のフレームを含むことができ、バッファは、FIFOの原理原則によってWとの間で挿入及び除去が行われる。その場合、アルゴリズム２になるようにアルゴリズムを変えることができる。
【００４８】
アルゴリズム2
新たなフレームが生成され、送信に提供される
新たなフレームがタイプBの場合、
IF  S()、フレームをSに挿入する
ELSEIF  W()、フレームをWに挿入する
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する
ELSE  新たなフレームを除去する
新たなフレームがタイプPの場合、
IF  S()又はS(B)、Sをクリアし、フレームをSに挿入し、Wをクリアする
ELSEIF  W()、フレームをWに挿入する
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する
ELSEIF  W（少なくとも１つのP）、フレームをWに追加する
新たなフレームがタイプIの場合、
IF  S(I)、Wをクリアし、フレームをWに挿入する
ELSE  Sをクリアし、Wをクリアし、フレームをSに挿入する
上記アルゴリズムによって、Pフレーム及びBフレーム１０２よりも高い優先度をIフレーム１０２に与え、Bフレーム１０２よりも高い優先度をPフレーム１０２に与えることによって、（無線）ネットワークを介したストリーミングに対して非常にリアクティブな（時間的）スケーラビリティが可能になる。ネットワーク・インタフェースのバックプレッシャの場合、より高い優先度のフレーム１０２を優先して、より低い優先度のフレーム１０２が廃棄される。これは、ストリームの時間的サンプリング（しかし、気になるブロッキング・アーチファクトはない）につながる。限定された帯域幅の場合、リフレッシュ・レート（すなわち、実際のフレーム・レート）は削減されるが、ブロッキング・アーチファクトは生じず、時間的スケーラビリティがもたらされる。前述の方策は、パケットのスケジューリングが行われるまで送信の決定を遅延させることができ、非常に高速な帰還ループが提供されるという更なる利点を有する。
【００４９】
上記アルゴリズムの更なる発展形によって、Bフレーム１０２間の更なる優先順位付けがもたらされる。この発展形の実施例において、かつ、利用可能な帯域幅が、Iフレーム１０２全部及びPフレーム１０２全部を送出するのに十分であるが、Bフレーム１０２の部分集合１０２だけを送出するのに十分である場合、元のビデオ・コンテンツの一定のサブサンプリングを提供する（高優先度の）Bフレーム１０２が、一定のサブサンプリングを提供しないBフレーム１０２に優先される。M=4のGOP構造の例では、「中央」のBフレーム１０２は、「左」のBフレーム１０２及び「右」のBフレーム１０２よりも高い優先度を得る。「左」のBフレーム１０２及び「右」のBフレーム１０２を廃棄するが、「中央」のBフレーム１０２を廃棄しないことは、元のストリームの半分の一定のフレーム・レートにつながり、よって、状況を前提とすれば、最小の動きジャダーにつながる。
【００５０】
大半のストリームは一定のGOP構造を有しており、これはあまり頻繁に変わらない（MPEG標準はそうでないことを許容するが）。GOP構造は、GOP内のアンカー・フレーム１０２全てが同じ距離Mを有しており、GOP全てが同じ構造（N,M）を有しているという意味で一定である。例えば、
IBPBPBPBPBPBPBPB  N=16、  M=2
IBBPBBPBBPBBPBB  N=15、  M=3
IBBBPBBBPBBBPBBB  N=16、  M=4
この構造によって、ストリームの一定のサブサンプリングが可能になる。例えば、N=15、M=3の25Hzの元のストリームの場合、Bフレーム１０２全ての廃棄は、8.33Hzの一定のリフレッシュ・レートにつながり、Pフレーム及びBフレーム１０２全ての廃棄は、1.667Hzの（低いが）一定のリフレッシュ・レートにつながる。
【００５１】
一定のフレーム・レート（すなわち、比較的低い動きジャダー）を維持するために、帯域幅が、Bフレーム１０２全てのうちの一部しか廃棄しなくてよいような前述の例（N=16、M=4）では、「左」のBフレーム１０２及び「右」のBフレーム１０２よりも「中央」のBフレーム１０２を優先すべきである。例えば、系列I1B2B3B4P5B6B7B8P9B10BnB12P13B14B15B16I17では、B3、B7、B11、B15を維持する一方でB2、B6、B10、B14及びB4、B8、B12、B16を廃棄することは、12.5Hzのリフレッシュ・レートを備えた好適な一定のサブサンプリングにつながる。これは、「左」及び「右」のBフレーム１０２よりも高い優先度を「中央」のBフレーム１０２に与えることによって達成することが可能である。これは、パケット・スケジューラに何の影響ももたらさないことがあり得るが、パケット・タガーに対して多少の修正を必要とし得る。
【００５２】
図７は、フレーム１０２（又は、より厳密には、フレーム１０２の一部を含むパケット（UDP又はTCP））に、パケット・タッガーによって優先度（1=最高、4=最低）が割り当てられるやり方を示す。パケット・スケジューラは前述の優先度を用いて、より低い優先度のフレーム１０２よりも、より高い優先度のフレーム１０２を優先する。図７に表す例では、優先度４を有するフレーム１０２は全て、ピリオド「.」によって示すように廃棄されるが、優先度３を有するフレーム１０２は全て残る。
【００５３】
より大きなM又はより小さなMを備えたGOP構造に、同様な議論があてはまるが、構造は、常に完全に一定な訳でない。
【００５４】
Bフレーム１０２の一定のサブサンプリングの方策は一般に、圧縮領域における主プロファイルMPEGストリームの時間的サブサンプリングに適用可能である。これは、ネットワーク・インタフェースのバックプレッシャに基づいたサーバー側のトランスコーディングに限定されない。別のアプリケーションは、クライアントからのネットワーク・スループット・フィードバックに反応する（例えば、RTCPに基づく）、サーバー側トランスコーダである。更に別のアプリケーションには、Lu  及び  Christensenによる「Using  Selective  Discard  to  Improve  Real-Time  Video  Quality  on  Ethernet（登録商標）  Local  Area  Network,  Int.  J.  Network  Mgmt  9,  -117  (1999)」に開示されたような、フレーム１０２の延着に対処するための、（例えば、クライアント側の復号器の）フレーム廃棄手法がある。更なるアプリケーションは、復号器の処理帯域幅における制限に対処することである。このアプリケーションは、局所記憶装置からの再生にも用いることができる。これは、例えば、請求項の語と、局所記憶装置からの再生を行うシステム２００とのマッピングによって明らかである。前述の一マッピングでは、送信器１０４は、ファイル・システム２００やファイル・サーバのような局所データ１０３のソースに対してマッピングされ、受信器１０５は、データ１０３のシンク（ファイル・ハンドル又はファイル消費のストリーム・エンド・ポイントのような）を備えたアプリケーションに対してマッピングされる。フレーム１０２は前述の場合、ディスクやソリッドステート・メモリのような局所記憶装置から、消費アプリケーションへ配信される。
【００５５】
図６は、符号化データ１０３を備えたフレーム１０２の順序付けられた組１０１を配信するシステム２００を示す。システム２００は、空気、バス、インターネット、家庭内ネットワークのような、送信器１０４と受信器１０５との間の媒体を備え得るものであり、有線又は無線（例えば、PC又はデータ処理装置１０３内のバス、イーサネット（登録商標）LAN、ワイファイ・リンク、ブルートゥース接続、ジグビー・ホップ(Zigbee  hop)、アドホック無線ネットワーク）であり得る。組１０１はシステム２００において送信器１０４から受信器１０５に配信される。組１０１は独立フレーム１０７及び従属フレーム１０８を備える。従属フレーム１０８は、従属フレーム１０８において符号化されたデータ１０３を復号化するために独立フレーム１０７を必要とする。従属フレーム１０８は、通常、MPEG符号器の出力２１５におけるフレーム１０２で生じるように、送信器１０４に、独立フレーム１０７が利用可能になる前に利用可能になり得る。
【００５６】
送信器１０４は、送信前に独立フレーム１０７及び従属フレーム１０８をバッファリングする（１０９）バッファ１１０を有する。バッファ１１０は、汎用コンピュータの主メモリの割り当てられた部分に過ぎないことがあり得るが、専用キャッシュでもあり得る。送信器１０４は、バッファ１１０からのフレーム１０２を受信器１０５にディスパッチするディスパッチャ２１０を有する。ディスパッチャ２１０は、IPパケットのような１つ又は複数のパケットにおいて各フレームをディスパッチするよう構成することができる。送信器１０４は、フレーム１０２の送信１１１を再配列する（１１４）再配列手段２１３を備える。再配列手段２１３は、２つのポインタ変数における値を交換するソフトウェア・ルーチンにおいて実現することができるが、２つのレジスタの内容を交換するハードウェアにおいて実現することもできる。送信器１０４は、従属フレーム１０８が独立フレーム１０７後に送出されるように送信器１０４におけるバッファ１１０からのフレーム１０２の送信１１１を再配列する（１１４）よう更に構成される。これは、組１０１におけるフレーム１０２の依存性構造の解析を備え得るものであり、Iフレームとして用いるPフレームの検出を備え得る。
【００５７】
受信器１０５は、送信されるフレーム（１０２）の少なくとも一部を受信する（１１３）受信手段（２０６）を有する。配信の信頼度が低いことがあり得るので、一般に、ディスパッチされるフレーム１０２全てが受信される訳でない。受信器１０５は、受信されるフレーム１０２を提示するための出力２１５を有する。出力２１５は、物理コネクタ若しくはピン、又は、表示画面を備えたレンダリング装置を備え得るが、ストリーミング・エンド・ポイント、データ・シンク、ファイル・ハンドル、ポート若しくはソケットのようなソフトウェア・オブジェクトも備え得る。受信器１０５は、受信されるフレーム１０２を再配列し、提示する（１１５）、再配列及び提示手段２１４を有する。再配列及び提示手段２１４は、受信されるフレーム１０２をバッファリングする（１０９）メモリを備え得る。受信器１０５は、受信されるフレーム１０２を再配列する（１１４）よう更に構成される。再配列１１４は、受信されるフレーム１０２が、順序付けられた組１０１の順序で出力２１５において提示されるように行われる。MPEGストリームの場合、タイムスタンプをアクセスしてフレーム１０２を適切に再配列することができる。他の多くのやり方を、フレーム１０２の適切な順序を得るよう施すことができる。
【００５８】
前述の実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱しない限り別の多くの実施例を当業者が企図することができるであろう。例えば、効率性の理由で、別の実現形態は、バッファ１１０  Sを全くクリアしないことがあり得るものであり、送信が始まった何れのフレームも送信し続ける。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「comprise」の語及びその活用形を用いていることは、特許請求の範囲記載の構成要素又は工程以外の構成要素又は工程が存在することを排除するものでない。要素に先行して不定冠詞「a」又は「an」を用いていることは、前述の要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することが可能である。いくつかの手段を列挙したシステム２００又は装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することが可能である。単に特定の方策が互いに別々の従属請求項に記載されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。
【００５９】
「コンピュータ・プログラム」は、コンピュータ読み取り可能な媒体（フロッピー（登録商標）・ディスクなど）に記憶されているか、ネットワーク（インターネットなど）を介してダウンロード可能であるか、又は、何れかの他のやり方で流通可能な何れかのソフトウェアを意味するものとする。
【図面の簡単な説明】
【００６０】
【図１】特定のGOPのフレーム１０２の視覚化順序及び送信順序の例を示す図である。
【図２】Bフレーム１０２の一部又は全部の喪失の例を示す図である。
【図３】Bフレーム１０２及びPフレーム１０２の一部又は全部の喪失の例を示す図である。
【図４】Pフレームの喪失の例を示す図である。
【図５】本発明による方法１００を示すフローチャートである。
【図６】本発明によるシステム２００を示すブロック図である。
【図７】一定のサブサンプリングを得る例を示す図である。
【図１】
2008527889.tif 000003
【図２】
2008527889.tif 000004
【図３】
2008527889.tif 000005
【図４】
2008527889.tif 000006
【図５】
2008527889.tif 000007
【図６】
2008527889.tif 000008
【図７】
2008527889.tif 000009
【国際調査報告】
2008527889.tif 000010
2008527889.tif 000011
2008527889.tif 000012