(57)【特許請求の範囲】
【請求項１】
符号化データをそれぞれが備える、フレームの順序付けられた組を送信する方法であって、前記順序付けられた組は、タイプＩのフレームである独立フレーム、従属フレーム、後続従属フレーム、及び更なる従属フレームを備えており、前記従属フレームは、タイプＰのフレームであり、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記後続従属フレームは、タイプＰのフレームであり、前記後続従属フレームにおいて符号化された前記データを復号化するために前記従属フレームを必要とし、前記更なる従属フレームは、タイプＢのフレームであり、前記更なる従属フレームにおいて符号化された前記データを復号化するために前記独立フレーム及び前記従属フレームを必要とし、前記送信する方法は、
次に送出する対象のフレームが待ちバッファにバッファリングされる一方で、送出する対象のフレームを送出バッファに送信前にバッファリングする工程と、
後続独立フレームが送信のために提供される場合でない限り、前記独立フレームの受信の肯定応答の受信後に前記従属フレームが前記送出バッファから送出されるように前記フレームを前記送出バッファから送信する工程であって、前記従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記従属フレームは廃棄される工程と、
後続従属フレーム又は後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記更なる従属フレームを前記送出バッファから送信する工程であって、
前記更なる従属フレームが前記送出バッファに入っている間に前記後続従属フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続従属フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続従属フレームが前記送出バッファから送信され、それにより、前記後続従属フレームの方を選んで前記更なる従属フレームは廃棄され、
前記更なる従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記更なる従属フレームは廃棄される工程と
を含む、送信する方法。
【請求項２】
請求項１記載の送信する方法であって、前記送信する方法は、
後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記後続従属フレームを前記送出バッファから送信する工程を更に含み、
前記後続従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記後続従属フレームは廃棄される工程を更に含む方法。
【請求項３】
送信器であって、前記送信器は、符号化データをそれぞれが備える、フレームの順序付けられた組を前記送信器から受信器に送信し、前記順序付けられた組は、タイプＩのフレームである独立フレーム、従属フレーム、後続従属フレーム、及び更なる従属フレームを備えており、前記従属フレームは、タイプＰのフレームであり、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記後続従属フレームは、タイプＰのフレームであり、前記後続従属フレームにおいて符号化された前記データを復号化するために前記従属フレームを必要とし、前記更なる従属フレームは、タイプＢのフレームであり、前記更なる従属フレームにおいて符号化された前記データを復号化するために前記独立フレーム及び前記従属フレームを必要とし、前記送信器は、
送信前に前記独立フレーム及び前記従属フレームをバッファリングするバッファと、
前記バッファからのフレームを前記受信器に送信するディスパッチャと、
前記フレームの前記送信を再配列する再配列手段とを備えており、前記送信器は、
次に送出する対象のフレームを待ちバッファにバッファリングする一方で、送出する対象のフレームを送出バッファに送信前にバッファリングする機能と、
後続独立フレームが送信のために提供される場合でない限り、前記独立フレームの受信の肯定応答の受信後に前記従属フレームが送出されるようにフレームを前記送出バッファから前記受信器に送信する機能と
を行うよう構成され、前記従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記従属フレームは廃棄され、前記送信器は更に、
後続従属フレーム又は後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記更なる従属フレームを前記送出バッファから送信する機能を行うよう構成され、
前記更なる従属フレームが前記送出バッファに入っている間に前記後続従属フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続従属フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続従属フレームが前記送出バッファから送信され、それにより、前記後続従属フレームの方を選んで前記更なる従属フレームは廃棄され、
前記更なる従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記更なる従属フレームは廃棄される送信器。
【請求項４】
請求項３記載の送信器であって、前記送信器は、
後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記後続従属フレームを前記送出バッファから送信する機能を行うよう更に構成され、
前記後続従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記後続従属フレームは廃棄される送信器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化データをそれぞれが備える順序付けられたフレーム組を送信器から受信器に配信する方法に関し、上記組は独立フレーム及び従属フレームを備えており、従属フレームは、従属フレームにおいて符号化されたデータを復号化するために独立フレームを必要とし、上記方法は、
送信前に送信器におけるバッファに独立フレーム及び従属フレームをバッファリングする工程、
送信器におけるバッファからのフレームを受信器に送信する工程、
送信されるフレームの少なくとも一部を受信器において受信する工程を備える。
【０００２】
本発明は、送信する方法、受信し、提示する方法、システム、送信器、受信器、及び、前述のシステム、送信器又は受信器において用いるコンピュータ・プログラムにも関する。
【背景技術】
【０００３】
符号化データをそれぞれが備えるフレーム組を受信器に配信する手法は周知である。低信頼度のネットワーク（例えば、インターネットのようなパケット・ベースのネットワーク）を用いてフレームが配信された場合、受信フレームの品質は、ネットワークの劣化の悪影響を受ける。
【０００４】
欧州特許第１３６１６９０号明細書には、フレームの再送信の要求を送信器に送出すべきかを受信器において、かつチャネル状態に基づいて決定される手法が開示されている。
【０００５】
無線ネットワーク（IEEE802.11による「ワイファイ」ネットワークなど）に用いるにはより適していないという点がこの既知の手法の欠点である。無線ネットワークでは、妥当な決定を下すにはチャネル状態の監視が遅れ過ぎるようにチャネル状態が経時的に急速に変動するからである。これは、配信されたフレームの比較的低い品質をもたらし、フレームがMPEGストリームの一部の場合、MPEGストリームをレンダリングする際にアーチファクトをもたらす。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、無線ネットワークを介した使用により適した、冒頭の段落に記載した類の方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、従属フレームが独立フレームの後に送出されるように送信器においてバッファからのフレームの送信を再配列する工程と、出力において、順序付けられた組の順序で受信フレームが提示されるように、受信器の出力において受信されるフレームを提示する工程とを備える上記方法において実現される。バッファからのフレームの送信を再配列することによって、復号化が依存する、欠けているフレームによって復号化可能でないフレームが受信される可能性が削減される。フレームの送信に利用可能な帯域幅はよって、実際に復号化できるフレームに費やされる。別の利点は、復号化対象のフレームのデータをバッファリングするためにより少ないメモリを必要とし得ることである。更に、送信器におけるフレームの提供と、受信器において受信されたフレームのデータの復号化との間で経過した時間は、再配列によってより小さいことがあり得る。
【０００８】
別の実施例では、システムは請求項２の特徴を有する。フレームの再配列は、更なる従属フレームにおいて符号化されたデータを復号化するために独立フレーム及び従属フレームを必要とする更なる従属フレームなどの、フレーム間の複数の依存性を考慮に入れることもできる。この方策は、請求項１の方策によって達成される利点を、複数の依存性を備えたフレームにも適用される。
【０００９】
別の実施例では、システムは請求項３の特徴を有する。フレームに肯定応答し、独立フレームの肯定応答後に従属フレームを送信する工程によって、復号化可能でないフレームが受信されるというリスクが更に削減される。復号化可能でないフレームの送信に帯域幅を費やすことも阻止される。この手法は、伝搬遅延が比較的小さい場合に特に有利である。その場合、肯定応答に要する時間は比較的少ないからである。フレームの肯定応答がない場合、フレームを拒否する（すなわち、全く送出しない）か、又は再送信することができる。復号化するために拒否フレームを必要とするフレームも拒否され得る。
【００１０】
別の実施例では、システムは請求項４の特徴を有する。フレームに最終的に肯定応答されることをフレームの再送信は確実にし得る。この手法は、伝搬遅延が比較的小さい場合にも特に有利である。その場合、再送信に要する時間は比較的少ないからである。
【００１１】
別の実施例では、システムは請求項５の特徴を有する。これは、２つの位置を備えたバッファが比較的小さいことがあり得るという利点を有する。単一フレームのバッファリングが既にかなりの量のメモリを必要とし得るので、このことは適切である。データを復号化するために組の0、1又は2個のフレームを必要とする更なるフレーム間で区別することは、復号化可能でないフレームに費やされる帯域幅の更なる削減に有用である。  この特定の送信ポリシーは、TCPやRTP／RTCPのようなリアクティブ型手法を用いるパケット・ベースの無線ネットワークを介してMPEG符号化フレーム・ストリームを送信する場合にアーチファクトを阻止するのに意外に好適であるように思われる。一方、この実施例の方策は、UDPのような予防制御機構にも有利であり得る。
【００１２】
別の実施例では、システムは請求項６の特徴を有する。多くの従来技術の手法では、フレームは、期限を過ぎている場合、送信されない。一見して、このことは意味をなさないようにも思われる。いずれにせよ遅すぎることになるフレームを送信することで帯域幅が台無しになるように思われるからである。しかし、それでも、期限を過ぎてフレームを送信し、受信し、処理し、復号化し、出力し、又はレンダリングすることによって、時間的な歪みが事実上許容され、気になるアーチファクトが阻止され得る。
【００１３】
別の実施例では、システムは請求項７の特徴を有する。一定のサブサンプリングを提供するフレームを優先することは、動きジャダーを減少させる利点を有する。
【００１４】
別の実施例では、システムは請求項８の特徴を有する。フレーム系列におけるフレームの依存性が同じ場合、バッファリングに好適な基準によって、時間的な歪み（例えば、廃棄されたフレームによって生じるジッタから）の最小化が試行される。
【発明を実施するための最良の形態】
【００１５】
本発明の方法１００の前述の目的及び特徴は、添付図面を参照する以下の説明からより明らかになる。
【実施例】
【００１６】
当該技術分野において知られているように、ビデオはMPEG標準（例えば、MPEG1、MPEG2、MPEG4）によって符号化することができる。前述の標準によって、Iフレーム、Pフレーム及びBフレームが区別される。Bフレームの復号化はIフレームに依存し、Pフレームに依存する。Pフレームの復号化は、先行Pフレームに依存し、（間接に）直前のIフレームに依存する。Iフレームの復号化は他のフレームに対する依存性なしで進む。Iフレームはよって独立フレームとみなすことができ、Pフレームは従属フレームとみなすことができ、Bフレームは従属フレーム又は更なる従属フレームとみなすことができる。
【００１７】
一般に、無線媒体を介して送信する場合にフレームが喪失することは頻繁に生じる。望ましくないアーチファクトがその場合、生じ得る。連続したBフレーム及びPフレームの復号化は、先行Iフレームからのコンテンツに依存するからである。Iフレームが喪失した場合、従属するBフレーム及びPフレームは、先行Iフレームからのコンテンツに依存し得る。喪失したIフレームより前に送信されたIフレームのコンテンツは、喪失したIフレームのコンテンツとは劇的に異なり得る。ここでの目的は、送信されたビデオを視るユーザによって、非常に気がかりであると認識される、続いて起こるアーチファクトを阻止することである。本発明によれば、送信ビデオ・データの量は、媒体の利用可能な伝送容量に自動的に適合させられる。
【００１８】
本発明によるシステム２００は、フレームの生成、送信、受信及び表示間のわずかな遅延のみを維持する一方で、アーチファクトを実質的に阻止するか、又は、完全に阻止する。本願提案のシステム２００は他の提案とは（例えば、指定された表示時間を過ぎてもフレームが復号化され、表示されるという意味で）異なる。
【００１９】
図１には、通常のピクチャ群（GOP）の構造を示す。この特定の例では、１つのIフレーム及びそれに続く３つのPフレームを有するGOPが存在している。２つのPフレームそれぞれの間に、かつ、連続するIフレームとPフレームとの間に、２つのBフレームが存在している。矢印は、フレーム間の依存性を示す。B3(B4)からP1への矢印は、完全な図を表すために、B3(B4)が、P1からのデータを必要とすることを意味する。B3(B4)はP1のコンテンツの前に表示されるが、フレ―ムB3（B4）を復号化し、表示することができる前にフレームP1を受信し、復号化する必要がある。したがって、P1はB3（B4）より前に復号器に、かつ通信リンクを介して送出される。送信及び復号化の順序を図１の下半分に示す。
【００２０】
劣化が（例えば、無線リンク上で）生じた場合、これは、パケット喪失及びフレーム喪失につながり得るが、利用可能な帯域幅の削減にもつながり得る。例えば、無線媒体のMAC層におけるパケットの再送信時に、利用可能な帯域幅が削減される。利用可能な帯域幅の削減は、秒毎にリンクを介して送信可能なフレームがより少ないことを意味する。本発明による方法では、削減された利用可能な帯域幅の状況において、送出する送信器１０４のバッファ１１０のサイズに応じて、アーチファクトが生じないか又は大きく削減されるような順序でまずBフレームが拒否され、次いでPフレームが拒否され、Iフレームも拒否される。Bフレームの除去によって、GOP例の場合、既に、５０％の帯域幅変動が吸収される。
【００２１】
例えば、I1、B1及びB2が正しく送信されており、利用可能な帯域幅における急な減少が生じると仮定する。
【００２２】
本発明によれば、フレームP1の送信が始まっているが、フレームのB3及びB4を送信する必要がある場合、フレームP1の送信が代わりに続けられる。フレームP2は、P1の完全な送信後に送信され、P3の送信が続く（フレームのB5、B6、B7及びB8が犠牲になる）。図２の上部には、I1、P1、P2、P3及びI2のみが送信され、表示されるやり方を示す。
【００２３】
この特定の例では、その結果、フレームI1の表示が５回繰り返され、続いて、フレームの2個分の遅延を伴ってP1が表示される。P1の表示は、P2の到着まで繰り返される（一フレームの遅延を伴って表示される）。最後に、P3が到着し、一フレームの遅延を伴って表示される。その後、通常の帯域幅状態が回復させられ、I2がやがて表示される。
【００２４】
図２の下部には、別のシナリオ（なお通常の帯域幅状態下で一部のBフレームが送信されている）を示す。B１、B2、I1、P1及びB3の送信後、B4の送信の時間がもう残っていないほど無線リンクが劣化する。P2はB3の送信後に送出され、次いで、送信状態が改善し、P3及びB8がやがて送信されるが、B7に残った時間はない。このシナリオでは、本発明によるシステム２００の挙動は、Bフレームの喪失にしかつながらず、アーチファクトは何ら生じない。受信フレームは全て、復号化に必要なデータ全てへのアクセスを有する。このシナリオでは、かつ、25フレーム/秒を前提とすれば、ピクチャは、最大200msの間しかとどまらないようにレンダリングすることができる。これは、既知のシステムによってレンダリングされた場合のアーチファクトよりもずっと好ましい。
【００２５】
本発明によるシステム２００において、かつ、既知の送信手法と対照的に、Pフレームはなお送信されるが、元の表示時間で表示するには遅すぎる。図２の例では、P1フレームは、元々、5番目の時間スロットにおいて表示されるべきであったが、7番目の時間スロットにおいて表示される。他の伝送プロトコルでは、フレームP1は遅れて送出されるのではなく、拒否される。
【００２６】
図３には、更に劣化した帯域幅状態で、Pフレームの送出も割愛することができることを示す。Pフレームを送出しないことによって、５０％より大きな帯域幅変動に対応することができる。図３の上部では、更に劣化した帯域幅状態によってP１も喪失され、システム２００はP2しか送信していない。この場合、アーチファクトが（例えば、喪失したP1フレームがI1に関する多くの他の動きベクトルをもたらす場合）レンダリングされる有限の確率が存在している。I1に含まれる画像は、25フレーム/秒を前提とすれば、280ms中に表示される。
【００２７】
図３の下部では、帯域幅状態は異なっており、フレームP2は喪失している。この場合、動きベクトルがフレームP2において再規定され、アーチファクトが生成され得るものであり、これに依存するフレームP3に影響する。その結果、やはり２５フレーム/秒を前提とすれば、240ms中にフレームP1内の画像がディスプレイ上にあり得る。
【００２８】
P1とP3との間のP2の喪失、又はI1とP2との間のP1の喪失の代わりに、一般に、まずP3が喪失され、次いでP2が喪失され、最後にP1が喪失されるほうが好適である。好ましくは、喪失したPフレームに依存するBフレームはレンダリングされない。これを達成するために、受信器１０５は、喪失したPフレームに依存するBフレームのその出力２１５における提示（１１５）を抑制するよう構成することができる。
【００２９】
図４には、この改良された挙動を示す。図４のシナリオにおいて本発明によるシステム２００によってアーチファクトは全て阻止される。フレームB2及びB3は、存在しているI1に依存する。フレームP1は、図４の上部における送信I1フレームにしか依存しない。下部では、フレームP2は、フレームI1を必要とするフレームP1を必要とする。必要なフレームは全て送信され、アーチファクトは何ら生成されない。
【００３０】
なお劣悪な帯域幅状態下では、完全なGOPが喪失し得る。例えば、図３の下部に関して、連続するフレーム全てが喪失するように、フレームP1の送信後に送信が完全に停止するものとする。次のフレームは、GOP  n（例えば、I19によって表すn＝１９）のIフレームになる。このI１９は、I１９の表示時間とI２０の表示時間との間にある時点で表示される。１２０後の挙動はその場合、前述の例全てにおいて示す挙動と同様である。
【００３１】
送信ポリシーは例えば、次のように実現することができる。
【００３２】
1.  送信器１０４において（例えば、シングル・ホップ無線接続の場合、送信器１０４と受信器１０５とを結合する無線リンクのリンク・レベルにおいて）  無線標準によれば、受信器１０５は肯定応答を戻す。これによって、フレームを収容するパケットに全て肯定応答された場合、受信器１０５によってフレームが完全に受信されることを送信器１０４が判定することが可能になる。
【００３３】
2.  IETFの伝送制御プロトコル（TCP）の伝送レベルにおけるソースにおいて  TCPによって、受信器１０５によってフレームが完全に受信されているか否かをソースが分かるように宛先からソースに肯定応答が戻される。
【００３４】
何れの場合にも、望ましい挙動は、現在送出されているフレームを含めるための送出バッファ１１０と、送出する対象の次のフレームを含めるための待ちバッファ１１０とによって実現することができる。一フレームのみが送出バッファ１１０に収まり、一フレームのみが待ちバッファ１１０に収まる。
【００３５】
送出バッファ１１０は、現在送信されているフレームに属するパケット全てを含む。待ちバッファ１１０は、送出バッファ１１０におけるフレームの送信の直後の送信が意図されたフレームに属するパケット全てを含む。この解決策によって、ビデオ・フレームをバッファリングする（１１０）のに必要な合計メモリ量が比較的低いことが確実になる。
【００３６】
フレームが送出バッファ１１０から送出され、フレームの受信に肯定応答されると、待ちバッファ１１０はフレームを保持し、次いで、フレームが待ちバッファ１１０から除去され、送出バッファ１１０に挿入される。あるいはこの転送は、待ちバッファ１１０を表すポインタ内の値及び送出バッファ１１０を表すポインタ内の値を交換することによって達成可能である。
【００３７】
提供されるフレーム全てを送信するために利用可能な帯域幅が十分大きい場合の通常の伝送条件下で、送出バッファ１１０が空き状態の場合、待ちバッファ１１０は空き状態である。
【００３８】
一方、提供されるフレーム全てを送信するために利用可能な帯域幅が十分大きくない場合、本発明によるアルゴリズムによって、前述の通り、フレームが好ましい順序で除去されることが確実にされる。新たなフレームは、符号器によって要求される周波数で（例えば、毎秒２５フレームで）提供されるものとする。通常の帯域幅状態下では、送信するために新たなフレームが利用可能にされる都度、送出バッファ１１０及び待ちバッファ１１０は空き状態である。フレームは生成されるよりも速く送出されるからである。削減された帯域幅の状態下では、フレームが、前述のアルゴリズムによって除去される。
【００３９】
アルゴリズムは以下に、以下の表記を用いて説明する。
【００４０】
xはタイプxのフレームを意味する。xはI、P又はBである。Iは標準Iフレームを表し得るが、あるいは、前述の通り、シーンの切り換えを伴った標準的なIフレーム又はPフレームを表し得る。
【００４１】
W()及びS()は、空き状態の待ちバッファ１１０、及び空き状態の送出バッファ１１０を表す。
【００４２】
W(x)は、待ちバッファ１１０がフレームｘを含むことを表す。
【００４３】
S(x)は、送出バッファ１１０がフレームxを含むことを表す。
【００４４】
フレームが送出され、フレームの受信に肯定応答されると、バッファ１１０はクリアされる。Sをクリアした後、フレームはWにおいて待ち、次いで、フレームがWから除去され、Sに挿入される。
アルゴリズム1                                                              500
新たなフレームが生成され、送信に提供される                                  501
新たなフレームがタイプBの場合には、                                        510
S()の場合（IF  S()）、フレームをSに挿入する                              511
さもなければ、W()の場合（ELSEIF  W()）、フレームをWに挿入する              512
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する                        513
さもなければ（ELSE）  新たなフレームを除去する                            516
新たなフレームがタイプPの場合には、                                        520
IF  S()又はS(B)、Sをクリアし、フレームをSに挿入し、Wをクリアする    521、529
ELSEIF  W()、フレームをWに挿入する                                  522、528
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する                        523
ELSE  新たなフレームを除去する                                            526
新たなフレームがタイプIの場合は、                                          530
IF  S(I)、Wをクリアし、フレームをWに挿入する                            540
ELSE  Sをクリアし、Wをクリアし、フレームをSに挿入する                  548  
前述のアルゴリズムは、図２及び図３に示す挙動を実現する。実施例を図５においてフローチャートとして示し、前述の右列の番号は、図５のフローチャート内の項目に対応する。
【００４５】
別の実現形態例では、Pフレームが一度喪失すると、BフレームもPフレームももう送出されないことを確実にするようブ―ルの「P-frame-lost」が導入される。新たなフレームがタイプPのフレームであり、拒否されると、ブールのP-frame-lostは真にセットされる。新たなフレームがタイプBのフレームであるか、又はタイプPのフレームであり、P-frame-lostが真の場合、新たなフレームは拒否される。新たなフレームがタイプIのフレームの場合、P-frame-lostは偽にセットされる。
【００４６】
より多くのメモリが利用可能な場合、待ちバッファ１１０は2つ以上のフレームを含むことができ、バッファは、FIFOの原理原則によってWとの間で挿入及び除去が行われる。その場合、アルゴリズム２になるようにアルゴリズムを変えることができる。
【００４７】
アルゴリズム2
新たなフレームが生成され、送信に提供される
新たなフレームがタイプBの場合、
IF  S()、フレームをSに挿入する
ELSEIF  W()、フレームをWに挿入する
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する
ELSE  新たなフレームを除去する
新たなフレームがタイプPの場合、
IF  S()又はS(B)、Sをクリアし、フレームをSに挿入し、Wをクリアする
ELSEIF  W()、フレームをWに挿入する
ELSEIF  W(B)、Wをクリアし、フレームをWに挿入する
ELSEIF  W（少なくとも１つのP）、フレームをWに追加する
新たなフレームがタイプIの場合、
IF  S(I)、Wをクリアし、フレームをWに挿入する
ELSE  Sをクリアし、Wをクリアし、フレームをSに挿入する
上記アルゴリズムによって、Pフレーム及びBフレームよりも高い優先度をIフレームに与え、Bフレームよりも高い優先度をPフレームに与えることによって、（無線）ネットワークを介したストリーミングに対して非常にリアクティブな（時間的）スケーラビリティが可能になる。ネットワーク・インタフェースのバックプレッシャの場合、より高い優先度のフレームを優先して、より低い優先度のフレームが廃棄される。これは、ストリームの時間的サンプリング（しかし、気になるブロッキング・アーチファクトはない）につながる。限定された帯域幅の場合、リフレッシュ・レート（すなわち、実際のフレーム・レート）は削減されるが、ブロッキング・アーチファクトは生じず、時間的スケーラビリティがもたらされる。前述の方策は、パケットのスケジューリングが行われるまで送信の決定を遅延させることができ、非常に高速な帰還ループが提供されるという更なる利点を有する。
【００４８】
上記アルゴリズムの更なる発展形によって、Bフレーム間の更なる優先順位付けがもたらされる。この発展形の実施例において、かつ、利用可能な帯域幅が、Iフレーム全部及びPフレーム全部を送出するのに十分であるが、Bフレームの部分集合だけを送出するのに十分である場合、元のビデオ・コンテンツの一定のサブサンプリングを提供する（高優先度の）Bフレームが、一定のサブサンプリングを提供しないBフレームに優先される。M=4のGOP構造の例では、「中央」のBフレームは、「左」のBフレーム及び「右」のBフレームよりも高い優先度を得る。「左」のBフレーム及び「右」のBフレームを廃棄するが、「中央」のBフレームを廃棄しないことは、元のストリームの半分の一定のフレーム・レートにつながり、よって、状況を前提とすれば、最小の動きジャダーにつながる。
【００４９】
大半のストリームは一定のGOP構造を有しており、これはあまり頻繁に変わらない（MPEG標準はそうでないことを許容するが）。GOP構造は、GOP内のアンカー・フレーム全てが同じ距離Mを有しており、GOP全てが同じ構造（N,M）を有しているという意味で一定である。例えば、
IBPBPBPBPBPBPBPB  N=16、  M=2
IBBPBBPBBPBBPBB  N=15、  M=3
IBBBPBBBPBBBPBBB  N=16、  M=4
この構造によって、ストリームの一定のサブサンプリングが可能になる。例えば、N=15、M=3の25Hzの元のストリームの場合、Bフレーム全ての廃棄は、8.33Hzの一定のリフレッシュ・レートにつながり、Pフレーム及びBフレーム全ての廃棄は、1.667Hzの（低いが）一定のリフレッシュ・レートにつながる。
【００５０】
一定のフレーム・レート（すなわち、比較的低い動きジャダー）を維持するために、帯域幅が、Bフレーム全てのうちの一部しか廃棄しなくてよいような前述の例（N=16、M=4）では、「左」のBフレーム及び「右」のBフレームよりも「中央」のBフレームを優先すべきである。例えば、系列I1B2B3B4P5B6B7B8P9B10BnB12P13B14B15B16I17では、B3、B7、B11、B15を維持する一方でB2、B6、B10、B14及びB4、B8、B12、B16を廃棄することは、12.5Hzのリフレッシュ・レートを備えた好適な一定のサブサンプリングにつながる。これは、「左」及び「右」のBフレームよりも高い優先度を「中央」のBフレームに与えることによって達成することが可能である。これは、パケット・スケジューラに何の影響ももたらさないことがあり得るが、パケット・タガーに対して多少の修正を必要とし得る。
【００５１】
図７は、フレーム（又は、より厳密には、フレームの一部を含むパケット（UDP又はTCP））に、パケット・タッガーによって優先度（1=最高、4=最低）が割り当てられるやり方を示す。パケット・スケジューラは前述の優先度を用いて、より低い優先度のフレームよりも、より高い優先度のフレームを優先する。図７に表す例では、優先度４を有するフレームは全て、ピリオド「.」によって示すように廃棄されるが、優先度３を有するフレームは残る。
【００５２】
より大きなM又はより小さなMを備えたGOP構造に、同様な議論があてはまるが、構造は、常に完全に一定な訳でない。
【００５３】
Bフレームの一定のサブサンプリングの方策は一般に、圧縮領域における主プロファイルMPEGストリームの時間的サブサンプリングに適用可能である。これは、ネットワーク・インタフェースのバックプレッシャに基づいたサーバー側のトランスコーディングに限定されない。別のアプリケーションは、クライアントからのネットワーク・スループット・フィードバックに反応する（例えば、RTCPに基づく）、サーバー側トランスコーダである。更に別のアプリケーションには、Lu  及び  Christensenによる「Using  Selective  Discard  to  Improve  Real-Time  Video  Quality  on  Ethernet（登録商標）  Local  Area  Network,  Int.  J.  Network  Mgmt  9,  -117  (1999)」に開示されたような、フレームの延着に対処するための、（例えば、クライアント側の復号器の）フレーム廃棄手法がある。更なるアプリケーションは、復号器の処理帯域幅における制限に対処することである。このアプリケーションは、局所記憶装置からの再生にも用いることができる。これは、例えば、請求項の語と、局所記憶装置からの再生を行うシステム２００とのマッピングによって明らかである。前述の一マッピングでは、送信器１０４は、ファイル・システム２００やファイル・サーバのような局所データ１０３のソースに対してマッピングされ、受信器１０５は、データ１０３のシンク（ファイル・ハンドル又はファイル消費のストリーム・エンド・ポイントのような）を備えたアプリケーションに対してマッピングされる。フレーム１０２は前述の場合、ディスクやソリッドステート・メモリのような局所記憶装置から、消費アプリケーションへ配信される。
【００５４】
図６は、符号化データ１０３を備えたフレーム１０２の順序付けられた組１０１を配信するシステム２００を示す。システム２００は、空気、バス、インターネット、家庭内ネットワークのような、送信器１０４と受信器１０５との間の媒体を備え得るものであり、有線又は無線（例えば、PC又はデータ処理装置１０３内のバス、イーサネット（登録商標）LAN、ワイファイ・リンク、ブルートゥース接続、ジグビー・ホップ(Zigbee  hop)、アドホック無線ネットワーク）であり得る。組１０１はシステム２００において送信器１０４から受信器１０５に配信される。組１０１は独立フレーム１０７及び従属フレーム１０８を備える。従属フレーム１０８は、従属フレーム１０８において符号化されたデータ１０３を復号化するために独立フレーム１０７を必要とする。従属フレーム１０８は、通常、MPEG符号器の出力２１５におけるフレーム１０２で生じるように、送信器１０４に、独立フレーム１０７が利用可能になる前に利用可能になり得る。
【００５５】
送信器１０４は、送信前に独立フレーム１０７及び従属フレーム１０８をバッファリングする（１０９）バッファ１１０を有する。バッファ１１０は、汎用コンピュータの主メモリの割り当てられた部分に過ぎないことがあり得るが、専用キャッシュでもあり得る。送信器１０４は、バッファ１１０からのフレーム１０２を受信器１０５にディスパッチするディスパッチャ２１０を有する。ディスパッチャ２１０は、IPパケットのような１つ又は複数のパケットにおいて各フレームをディスパッチするよう構成することができる。送信器１０４は、フレーム１０２の送信１１１を再配列する（１１４）再配列手段２１３を備える。再配列手段２１３は、２つのポインタ変数における値を交換するソフトウェア・ルーチンにおいて実現することができるが、２つのレジスタの内容を交換するハードウェアにおいて実現することもできる。送信器１０４は、従属フレーム１０８が独立フレーム１０７後に送出されるように送信器１０４におけるバッファ１１０からのフレーム１０２の送信１１１を再配列する（１１４）よう更に構成される。これは、組１０１におけるフレーム１０２の依存性構造の解析を備え得るものであり、Iフレームとして用いるPフレームの検出を備え得る。
【００５６】
受信器１０５は、送信されるフレーム（１０２）の少なくとも一部を受信する（１１３）受信手段（２０６）を有する。配信の信頼度が低いことがあり得るので、一般に、ディスパッチされるフレーム１０２全てが受信される訳でない。受信器１０５は、受信されるフレーム１０２を提示するための出力２１５を有する。出力２１５は、物理コネクタ若しくはピン、又は、表示画面を備えたレンダリング装置を備え得るが、ストリーミング・エンド・ポイント、データ・シンク、ファイル・ハンドル、ポート若しくはソケットのようなソフトウェア・オブジェクトも備え得る。受信器１０５は、受信されるフレーム１０２を再配列し、提示する（１１５）、再配列及び提示手段２１４を有する。再配列及び提示手段２１４は、受信されるフレーム１０２をバッファリングする（１０９）メモリを備え得る。受信器１０５は、受信されるフレーム１０２を再配列する（１１４）よう更に構成される。再配列１１４は、受信されるフレーム１０２が、順序付けられた組１０１の順序で出力２１５において提示されるように行われる。MPEGストリームの場合、タイムスタンプをアクセスしてフレーム１０２を適切に再配列することができる。他の多くのやり方を、フレーム１０２の適切な順序を得るよう施すことができる。
【００５７】
前述の実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱しない限り別の多くの実施例を当業者が企図することができるであろう。例えば、効率性の理由で、別の実現形態は、バッファ１１０  Sを全くクリアしないことがあり得るものであり、送信が始まった何れのフレームも送信し続ける。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「comprise」の語及びその活用形を用いていることは、特許請求の範囲記載の構成要素又は工程以外の構成要素又は工程が存在することを排除するものでない。要素に先行して不定冠詞「a」又は「an」を用いていることは、前述の要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することが可能である。いくつかの手段を列挙したシステム２００又は装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することが可能である。単に特定の方策が互いに別々の従属請求項に記載されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。
【００５８】
「コンピュータ・プログラム」は、コンピュータ読み取り可能な媒体（フロッピー（登録商標）・ディスクなど）に記憶されているか、ネットワーク（インターネットなど）を介してダウンロード可能であるか、又は、何れかの他のやり方で流通可能な何れかのソフトウェアを意味するものとする。
【図面の簡単な説明】
【００５９】
【図１】特定のGOPのフレーム１０２の視覚化順序及び送信順序の例を示す図である。
【図２】Bフレーム１０２の一部又は全部の喪失の例を示す図である。
【図３】Bフレーム１０２及びPフレーム１０２の一部又は全部の喪失の例を示す図である。
【図４】Pフレームの喪失の例を示す図である。
【図５】本発明による方法１００を示すフローチャートである。
【図６】本発明によるシステム２００を示すブロック図である。
【図７】一定のサブサンプリングを得る例を示す図である。
【図１】
0005149628.tif 000002
【図２】
0005149628.tif 000003
【図３】
0005149628.tif 000004
【図４】
0005149628.tif 000005
【図５】
0005149628.tif 000006
【図６】
0005149628.tif 000007
【図７】
0005149628.tif 000008