(57)【特許請求の範囲】
【請求項１】
復号すべきピクチャを受信するためのバッファを具えているビデオデコーダにて、復号する前に、ビットレートがＲoldの第１符号化ピクチャシーケンスからビットレートがそれよりも低いＲnewの第２符号化ピクチャシーケンスに切り替える方法において、
前記第２符号化ピクチャシーケンスの最初に伝送されるピクチャ（Ｎ1）の最初のビットが前記最初に伝送されるピクチャを復号する時刻の前にデコーダのバッファにて費やさなければならない期間vbv（Ｎ1）が、前記第１符号化ピクチャシーケンスの最初に置換するピクチャ（０3）の最初のビットが該ピクチャそのものを復号する前に前記バッファにて費やさなければならない同様な期間vbv（０3）よりも大きい場合に、
前記第２符号化ピクチャシーケンスの前記最初に伝送されるピクチャのビットレートを、前記期間vbv（Ｎ1）が前記期間vbv（０3）にせいぜい等しい値にまでそれ相当に低減されるようにする値Ｒintにまで少なくとも増大させることを特徴とする符号化画像シーケンスの切り替え方法。
【請求項２】
ビットレートの帯域幅が制限される場合に、
（ａ）前記最初に伝送されるピクチャＮ1のビットレートを、次の２つの値、即ち、前記制限帯域幅に対応する最大ビットレートの値と、前記期間vbv（Ｎ1）を前記期間vbv（０3）にせいぜい等しい値にまで対応して低減させる値Ｒintのうちの低い方の値にまで増大させ、
（ｂ）前記低い方の値が前記制限帯域幅に相当する最大ビットレートの値となる場合にのみ、前記（ａ）の動作を前記第２符号化ピクチャシーケンスの次のピクチャに対して繰り返し、
（ｃ）前記低い方の値が前記最大ビットレートの値である場合にのみ，前記動作（ａ）を第２符号化ピクチャシーケンスの後続ピクチャＮ3，Ｎ4．．．に対して同様に繰り返すことを特徴とする請求項１に記載の方法。
【請求項３】
前記最大ビットレートの値Ｒintが前記ビットレートＲoldに等しく、且つ前記値Ｒintが次式、即ち、
Ｒint＝（vbv（Ｎ1）・Ｒnew）/vbv（０3）
によって表わされることを特徴とする請求項２に記載の方法。
【請求項４】
請求項１〜３のいずれかに記載の方法により切り替えを行うための装置であって、
復号すべきピクチャを受信するためのバッファを具えているビデオデコーダであって、復号する前に、ビットレートがＲoldの第１符号化ピクチャシーケンスからビットレートがそれよりも低いＲnewの第２符号化ピクチャシーケンスに切り替えを行うように構成したビデオデコーダを備える装置において、
前記第２符号化ピクチャシーケンスの最初に伝送されるピクチャ（Ｎ1）の最初のビットが前記最初に伝送されるピクチャを復号する時刻の前にデコーダのバッファにて費やさなければならない期間vbv（Ｎ1）が、前記第１符号化ピクチャシーケンスの最初に置換するピクチャ（０3）の最初のビットが該ピクチャそのものを復号する前に前記バッファにて費やさなければならない同様な期間vbv（０3）よりも大きい場合に、
前記第２符号化ピクチャシーケンスの前記最初に伝送されるピクチャのビットレートを、前記期間vbv（Ｎ1）が前記期間vbv（０3）にせいぜい等しい値にまでそれ相当に低減されるようにする値Ｒintにまで少なくとも増大させることを特徴とする装置。
【請求項５】
前記切り替え方法は、できるだけ少ないビット数で符号化したピクチャシーケンスを前記第１符号化ピクチャシーケンスと前記第２符号化ピクチャシーケンスとの間に挿入する第２の切り替え方法との組み合わせからなることを特徴とする、請求項４に記載の装置。
【発明の詳細な説明】
発明の分野
本発明は、復号すべきピクチャを受信するためのバッファを備えているビデオデコーダにて、ピクチャを復号する前に、ビットレートがＲoldの第１符号化ピクチャシーケンスからビットレートがそれよりも低いＲnewの第２符号化ピクチャシーケンスに切り替える方法及びこの切り替え方法を実施するための対応する装置に関するものである。
発明の背景
例えば文献“MPEG  video  coding：a  basic  tutorial  introduction”，ＢＢＣ  report  RD  1996／3に記載されているように、MPEGタイプの圧縮ビデオシーケンスはピクチャのグループ（又はＧＯＰ）に細分割され、これらのグループそのものは次のような種々のタイプの符号化ピクチャ（GOPの例を図１で説明する）を含むものである。即ち、
−他の画面を参照することなく符号化されるイントラ符号化ピクチャ（Ｉ−ピクチャ）；
−過去の画面を参照する予測を用いて符号化される予測符号化ピクチャ（Ｐ−ピクチャ）；
−過去及び/又は未来の画面を参照する予測を用いて符号化される両方向予測符号化ピクチャ（Ｂ-ピクチャ）（矢印は各Ｐ-ピクチャ又はＢ-ピクチャに対するそれぞれの参照画面を示す）。
種々のタイプの予測により、それぞれのピクチャは多少有効に符号化され、これにより得られるビット数は一定ではない。さらに、MPEG仕様によると、ピクチャは各ピクチャの周期Ｔv毎に瞬時的に復号すべきものとするので、符号化ピクチャの最初のビットはデコーダのバッファにて同じ時間を費やすことはない。MPEGシンタクスにて規定されるこの可変時間はvbv遅延（vbv=ビデオ  バッファリング  ベリファイヤ）と称される。一定のビットレートで符号化され、しかもピクチャをピクチャ周期Ｔv毎に瞬時的に復号する或るストリームに対するデコーダのバッファの充満度の例を、それぞれのvbv遅延がvbv（Ｉ0），vbv（Ｉ1），．．．，vbv（Ｉ4），．．．の連続ピクチャＩ0〜I4に対して図２に示してある（時間ｔに対するデコーダのバッファの充満度S（t））。或るピクチャに対するビットレートは傾斜によって与えられ、充満度（又はデコーダのバッファ状態）は各周期Tvに対する最高点によって与えられる。
図３によると、或るピクチャIjがデコーダのバッファから移される時点ｔd（Ij）に復号したこのピクチャIjのサイズd（Ij）は：
d（Ij）＝Ｓ-（Ij）-Ｓ+（Ij）      （１）
に等しく、ここにＳ-（Ij）及びＳ+（Ij）は、時間ｔd-（Ij）（＝ピクチャIjをデコーダのバッファから移す直前の時間）及び時間ｔd+（Ij）（＝ピクチャIjをデコーダのバッファから移した直後の時間）におけるデコーダのバッファ状態をそれぞれ示す。このピクチャIjに対し、そのvbv遅延vbv（Ij）と、ビデオストリームのビットレートＲと、デコーダのバッファ状態Ｓ-（Ij）との関係は次式によって与えられる。即ち、
Ｓ-（Ij）=vbv（Ij）・R      （２）
また、次式も成立する。即ち、
Ｓ+（Ij）＝Ｓ-（Ij＋１）-R・Tv      （３）
上記式（２）、（１）、（３）の関係から、復号されたピクチャIjのサイズd（Ij）を提供する（ビットで）もっと正確な関係を推論することができる。即ち、
d（Ij）=R・（vbv（Ij）-vbv（Ij+1）+Tv）      （４）
この加減モデルによると、２つの圧縮（符号化）ビデオシーケンス間の簡単な切り替えは常に行えることではない。即ち、各周期Tvで復号されるピクチャとの切り替えは、最初に伝送される新規のピクチャのvbv遅延が、最初の置き換えられる旧のピクチャのvbv遅延よりも大きい場合には行うことができない。この状態を図４に示してあり、この場合には新規シーケンスのピクチャN1のvbv遅延vbv（N1）が旧のシーケンスのピクチャ０3のvbv遅延vbv（０3）よりも大きいから、旧のシーケンス（Ｏ1，Ｏ2，Ｏ3）のピクチャＯ3を新規のシーケンス（Ｎ1，Ｎ2）のピクチャN1によって置き換えることができない。
MPEG-２標準（例えば、欧州特許出願EP０６９２９１１に記載されているような）にて、“スプライシング  ポイント”と称される特別なアクセス点を用いることによって、ビデオの切り替えが促進されることは既知であり、この切り替えは、旧と新の双方のビデオシーケンスに同じスプライシング  ポイントがある場合にのみ行うことができる。
発明の概要
本発明の目的は、スプライシング  ポイントの生成を強制することなくビデオシーケンスを切り替えることができる方法を提供することにある。
このために本発明は冒頭にて述べたような方法において、前記第２符号化ピクチャシーケンスの最初に伝送されるピクチャ（Ｎ1）の最初のビットが、前記最初に伝送されるピクチャを復号する時刻の前にデコーダのバッファにて費やさなければならない期間vbv（Ｎ1）が、前記第１符号化ピクチャシーケンスの最初に置換するピクチャ（０3）の最初のビットが該ピクチャそのものを復号する前に前記バッファにて費やさなければならない同様な期間vbv（０3）よりも大きい場合に、前記第２符号化ピクチャシーケンスの前記最初に伝送されるピクチャのビットレートを、前記期間vbv（Ｎ1）が前記期間vbv（０3）にせいぜい等しい値にまでそれ相当に低減されるようにする値Ｒintにまで少なくとも増大させることを特徴とする。
この際、切り替えはスプライシング  ポイントなしで行うことができる。本発明によれば、最初に置き換えられる旧のピクチャと、最初に伝送される新のピクチャのそれぞれのvbv遅延がコンパチブルであり、従って切り替え操作を行うのにスプライシング  ポイントを最早必要としないようにビットレートを局所的に増大させる。
しかしながら常にビットレートを或る適当なvbv遅延値に達するまで漠然と増やすことはできない。例えば、ビデオシーケンスは他のエレメンタリーストリームと多重して、多重トランスポートストリームを形成することができるが、この場合に、上述した方法は前記多重トランスポートストリームにて使用可能な帯域幅によって制限される。
本発明によれば、上述した方法を改善するために、ビットレートの帯域幅が制限される場合に：
（ａ）前記最初に伝送されるピクチャＮ1のビットレートを、次の２つの値、即ち、前記制限帯域幅に対応する最大ビットレートの値と、前記期間vbv（Ｎ1）を前記期間vbv（０3）にせいぜい等しい値にまで対応して低減させる値Ｒintのうちの低い方の値にまで増大させ；
（ｂ）前記低い方の値が前記制限帯域幅に相当する最大ビットレートの値となる場合にのみ、前記（ａ）の動作を前記第２符号化ピクチャシーケンスの次のピクチャに対して繰り返し；
（ｃ）先の動作の終了時における前記低い方の値が前記最大ビットレートの値である場合にのみ、前記動作（ａ）を第２符号化ピクチャシーケンスの後続ピクチャＮ3，Ｎ4，．．．に対して同様に繰り返すようにする。
ビットレートの増大に対して帯域幅の制限がある場合には、前記帯域幅の制限による制約があるにも拘らず、第２符号化ピクチャシーケンスのできるだけ多くのピクチャに必要なビットレートを連続的に増やすことによって当該最初のピクチャのvbv遅延をできるだけ多く減らすようにして、上述した方法を改善する。
本発明の特徴及び利点を以下添付図面を参照して明らかにする。
本発明の原理は、トランジションにて新規シーケンスのビットレートを局所的に増やして、vbv（Ｎ1）を、vbv（０3）にせいぜい等しいか、又はそれよりもずっと低い値（この値をこの場合には（vbv’（Ｎ1）によって示す）にまで減らすことにある。この状態は図５に相当し、この図は、Ｎ1及び０3のvbv遅延を（図４と比較して）この際如何にして、Ｎ1に関連するビットレートの変換後にコンパチブルにさせるかを示している。ピクチャＮ1によりピクチャ０3を置換した後のグローバルなデコーダのバッファの進展を図６に示してあり、この図は本発明の原理により切り替えを行う場合に得られるストリームを示している。
式（２）から、
Ｒnew＝新規ビデオシーケンスのビットレート
Ｒint＝本発明による方法を実施する場合の中間ビットレート
とすると、次式の関係を推論することができる。即ち、
Ｒint=（vbv（Ｎ1）・Ｒnew）/vbv（０3）      （５）
図５から明らかなように、中間ビットレートＲintは切り替えが要求されるや否や、即ち新規のピクチャＮ1の最初のビットがデコーダのバッファに入る時点ｔswにストリームに供給される（Ｒoldは旧のビデオシーケンスのビットレートを示す）。図６にて明らかなように、この時点ｔswにはピクチャ０1はまだ復号されておらず、その最終ビットはデコーダのバッファに中間ビットレートRintで導入されることになる。このピクチャ０1を復号する際に、このピクチャＯ2の最終ビットはデコーダのバッファに完全には導入されず、この導入もＲintにて成される。ピクチャＯ2を復号する場合にも同様に、（０3に置き換える）Ｎ1の最終ビットはデコーダのバッファにまだ完全には導入されず、この導入はまだＲintにて行われる。Ｎ1を復号する際には、後続する全てのvbv遅延（Ｎ2等の）がコンパチブルになり、後続ピクチャ（Ｎ2等）を導入するためのビットレートは、この際新規のビデオシーケンスのビットレートＲnewになる。
本発明は上述した実施例のみに限定されるものでなく、発明の範疇を逸脱することなく変更を加え得ることは明らかである。例えば、中間ビットレートＲintが旧のビットレートＲoldよりも高くなる場合には、トランジションにてオーバフローが出現しないように注意しなければならない。
第２として、N1のビットレートは必ずしも常に漠然と或る適当なvbv遅延値に達するまで増やすことはできない。即ち、一般にビデオシーケンスは他のエレメンタリーストリームと多重して、多重トランスポートストリームを形成するが、この場合にビットレートを局所的に変更する方法は、前記多重トランスポートストリームに使用できる帯域幅によって制限される。図７及び図８は、切り替え問題（vbv（Ｎ1）がvbv（０3）よりも大きい場合に、切り替え操作を行うことができない）及び前述したような切り替え方法の実施をそれぞれ示したものであり、vbv（Ｎ1）は新規シーケンスの最初に伝送されるピクチャN1のビットレートを増やすことによって減少している。使用可能な帯域幅が制限されている場合に、N1のビットレートを増やすことは、ｖｂｖ（Ｎ1）の値をvbv（０3）に匹敵する値にするのには十分でない。図面の簡単化のために、ここでは旧のシーケンスのビットレートＲoldを（ピクチャN1に対する）Ｒnewの増加に対する帯域制限に相当するものとする。図８に示したように、Ｎ1のビットレートが０3に対応するビットレートに等しい値にまで増大した後の値vbv（Ｎ1）は、実際には（この図面では）まだvbv（０3）よりも大きい（次の図９及び図11における二重の線は前記ピクチャＮ1のビットレートの変更前のピクチャＮ1に対応するものである）。
図９から明らかなように、本発明に従って、新規シーケンスの後続ピクチャＮ2に対するビットレート増やすようにする場合には、デコーダのバッファが部分的に空になり、vbv（N1）が再度低下するが、今度は、この低下量はＮ1及び０3のvbv遅延をコンパチブルにするのに十分である。さらに一般的には、必要ならば（即ち、前記量がＮ1及び０3のvbv遅延をコンパチブルにするのに十分でない場合には）、ビットレートを第１番目、次いで第２番目の新規ピクチャで増やすだけでなく、後続する各ピクチャでも、前記vbv遅延のコンパチビリティを得るのに十分な程度にまで順次増やすことを提案することができる。
前記一般論はもっと正確に調べることができ、斯様な汎用ビットレートの変更後のバッファの新規の状態及びvbv遅延についての算定数値を提案することができる。
この研究に対しては次のようなことを仮定する。即ち、
（a）指標“ｂ”を有する変数の表記法はいずれもビットレートの変更前の変数を示す；
（ｂ）指標“a”を有する変数の表記法はいずれもビットレートの変更後の変数を示す；
（ｃ）本発明の実施は旧のストリームのピクチャに無関係な新規のストリームに関連するだけであるから、新規のシーケンスの或る画像Ｎkを考慮する表記法はいずれもこの画像の指標ｋに要約する；
（ｄ）復号時間ｔd（ｋ）及びピクチャサイズd（k）は処理中は変更されない。
まだ説明してない使用する他の表記法は次の通りである。
-ｔｓ（Ｉ）＝ピクチャＩの最初のビットがデコーダバッファに入る時間；
-ｔsa（１），．．．，ｔsa（I），．．．，ｔsa（ｎ）＝ｔs（Ｉ）と同様な時間であるも、ビットレートの変更後で、新規シーケンスのピクチャ１，．．．，ｉ，．．．，ｎに対する時間；
-d（1），．．．，d（ｉ），．．．．d（n）＝ピクチャ１，．．．，ｉ，．．．，ｎのビットサイズ。
ビットレートの変更はピクチャｎ（ｎの値をどの程度にしなければならないかについては後に説明する）を復号するまで行うものとする。従って、ｔsa（1）〜ｔd（n）の間の時間ｔの間はビットレートがＲoldに等しくなり、ｔd（n）よりも高い時間ｔの間は、ビットレートがＲnewに等しくなる。ｔd（n）後にはバッファの充満度は変わらず、ｋ＞ｎに対して、Ｓ-a（k）＝Ｓ-b（k）及びＳ+a（k）＝Ｓ+b（k）となる。時間ｔd-（n）におけるバッファ状態はＳ-b（n）である。この場合、時間ｔ-d（n-1）における新たなバッファ状態は次のように推論することができる。
Ｓ-a（n-1）＝Ｓ-b（n）−Ｒold・Ｔv+d（n-1）      （６）
さらに、
Ｓ-b（n-1）＝Ｓ-b（n）−Ｒnew・Ｔv+d（n-1）      （７）
従って、次式を推論することができる。
Ｓ-a（n-1）＝Ｓ-b（n-1）−（Ｒold-Ｒnew）・Ｔv      （８）
同様に、次のように表わすことができる。
Ｓ-a（n-2）＝Ｓ-b（n-2）−（Ｒold−Ｒnew）・２Ｔv      （９）
そして、帰納的には、［０，．．．，ｎ-１］におけるｋに対しては、次のようになる。
Ｓ-a（n-k）＝Ｓ-b（n-k）−（Ｒold-Ｒnew）・ｋＴv      （１０）
同様に、［０，．．．，ｎ-１］におけるｋに対して次のように表わすことができる。
Ｓ+a（n-k）＝Ｓ+b（n-k）−（Ｒold-Ｒnew）・ｋＴv      （１１）
新規のvbv遅延も［０，．．．，ｎ-１］におけるｋに対して、次のように計算することができる。
ｖbva（n-k）＝Ｓ-a（n-k）/Ｒold      （１２）
式（10）から、ｉ＝［０，．．．，ｎ-１］におけるｋに対して、次式を推論することができる。
ｖbva（n-k）＝（Ｓ-b（n-k）/Ｒnew）・（Ｒnew/Ｒold）−ｋＴv・（１-Ｒnew/Ｒold）      （13）
従って、［０，．．．，ｎ-１］におけるｋに対しては次のようになる。
ｖbva（n-k）＝vbvb（n-k）/Ｒnew）・（Ｒnew/Ｒold）−ｋＴv・（１-Ｒnew/Ｒold）      （14）
なお、式（10）及び（11）から、ＲoldはＲnewよりも高くなるから、局所ビットレートの増加後には、本来のバッファの充満度が低くなることに留意しなければならない。従って、このようなことを留意しないと、アンダーフローが生じることになる。アンダーフローを生じなくする条件によって、ｎの値をどの程度にし得るかが決定される。
局所ビットレートの増大後のバッファの充満度を迎合的なものとするには、ｋ＝［０，．．．，ｎ-１］に対して次のような条件を満足させるようにしなければならない。即ち、
Ｓ+a（n-k）>0      （１５）
これは式（11）から［０，．．．，ｎ-１］におけるｋに対して、次のようになる。
Ｓ+b（n-ｋ）＞ｋTv・（Ｒold-Ｒnew）・ｋＴv      （１６）
Vbv遅延に対する条件も式であらわすことができ、［０，．．．，ｎ-１］におけるｋに対して次のような場合に、バッファはアンダーフローを生じなくなる。即ち、
Vbvb（n）＞Ｔv      （１７）
これは式（14）から、［０，．．．，ｎ-１］におけるｋに対して次のようになる。
ｖbva（n-k）＞Ｔv・（Ｒold-Ｒnew＋ｋ（Ｒold/Ｒnew−１）      （１８）
アンダーフローの問題がない場合には、vbv遅延は最小可能遅延値ｄ（1）/Ｒoldに達することになる。
図１０〜図１２はｎ＝２の場合にアンダーフローが生じる場合の例を示し、図10は最初のストリームを表わし、図11はピクチャＮ1を復号するまでのビットレートの増加を示し、図12はピクチャＮ2を復号するまでのビットレートの増加を示す（前述したように、二重の線は、ピクチャＮ1，Ｎ2のビットレートの変更前のこれらのピクチャＮ1，Ｎ2に相当する。この最後の場合には、アンダフローが生じるも、Ｎ1を復号するまでしかビットレートが増大しない場合には、アンダーフローは生じない。このことが結局はアンダーフローを生じさせない条件であり、これによりビットレートを何ら問題なく増加させることができる新規シーケンスのピクチャ数が決定されることになる。
しかしながら、本発明による方法によってvbv遅延を低減させたの後に、vbv遅延がまだコンパチブルにならない状態のままであることが時々ある。このような場合には、前記方法を、1997年５月27日に出願した欧州特許出願第９７４１１６０．３（ＰＨＦ９９７５５７）に記載されているような、所謂最小ピクチャの挿入に基づく第２の方法と組み合わせることができる。前記文献による方法はビットレートを最早変更せず、その代わりに、新規のビデオシーケンスをｋ個の或る所定数のピクチャによって遅延させ、且つｋ個の最小ピクチャ、即ち、できるだけ低いビット数で符号化され、しかも復号処理に迎合的なピクチャを旧と新のシーケンス間の復旧スペース内に挿入する。図13及び図１４は上述したようにビットレートを局所的に変更させる装置及び前述した２つの方法を組み合わせて行う装置にてそれぞれ実行させる主要なステップを線図的に示したものである。図１４におけるＲ（of_min）はオーバフローを起こさない最小のビットレートを示す。
【図面の簡単な説明】
図１は異なるタイプの符号化ピクチャを含むGOPの例を示し；
図２は、一定のビットレートで符号化し、且つピクチャを規則的な時刻に瞬時的に復号するストリームに対するデコーダバッファの時間に対する充満度の例を示し；
図３は図２のデコーダバッファの充満度の表現を用いるとピクチャIjの主要な有効パラメータを識別できることを示し；
図４は旧のシーケンスと新のシーケンスとの切り替えを行うことができない状態を示し；
図５は本発明による方法の原理を示し；
図６は前記原理に従って切り替えを行う場合に得られるストリームを示し；
図７及び図８は本発明による方法の制限、即ち図７では観測できない切り替え問題を図８に示すような本発明の実施によっては完全には解決されないことを示し；
図９は前記制限を解決すべく本発明を改善した方法の原理を示し；
図１０〜図１２は、アンダーフローが生じる状態を示し；
図１３及び図１４は、上述した方法を実施するための切替え装置及びこの装置の他の例にて行われるそれぞれのステップを示す。
【図１】
0004275746.tif 000002
【図２】
0004275746.tif 000003
【図３】
0004275746.tif 000004
【図４】
0004275746.tif 000005
【図５】
0004275746.tif 000006
【図６】
0004275746.tif 000007
【図７】
0004275746.tif 000008
【図８】
0004275746.tif 000009
【図９】
0004275746.tif 000010
【図１０】
0004275746.tif 000011
【図１１】
0004275746.tif 000012
【図１２】
0004275746.tif 000013
【図１３】
0004275746.tif 000014
【図１４】
0004275746.tif 000015