(57)【特許請求の範囲】
【請求項１】
デコーダが、対応する最小デコーダバッファサイズ（Ｂｄ）を持ち、且つ特定のデコード時刻に前記デコーダから前記フレームを各々送出するための手段を具え、エンコーダと前記デコーダとの間で随時接続又は開放を行うスイッチを介して通信が随時実行される、デコーダへの通信のためのフレームをエンコードするためのエンコーダであって、
該エンコーダは、前記フレームを含むことができるエンコーダバッファを具え、前記フレームがデータエレメントからなり、バッファ中のデータエレメントの総数がエンコーダバッファのオキュパンシィと呼ばれ、
エンコーダバッファからデコーダへ一つの転送レートでデータエレメントを転送し、それによりエンコーダバッファのオキュパンシィをその転送レートで減少させる転送手段を具え、
前記エンコーダバッファのオキュパンシィをオキュパンシィ下限（ＥＬＢ（ｔ）、ＥＵＢ（ｔ）−Ｂｄ）とオキュパンシィ上限（ＥＵＢ（ｔ））との間になるように制御する手段を具え、及び、
前記フレームの間の結合点を識別する手段を具え、前記結合点がエントリー点、エグジット点又はエントリーエグジット点で特徴付けられ、
前記エントリー点はスイッチがエンコーダをデコーダに接続する点として定義され、
前記エグジット点はスイッチがエンコーダをデコーダから開放する点として定義され、
前記エントリーエグジット点はスイッチがエンコーダとデコーダとの間を接続又は開放する点として定義され、
前記結合点及びエンコーダバッファオキュパンシィは、スイッチが結合点でエンコーダとデコーダとの間を接続又は開放する場合に、デコーダ中のデータエレメントの数が最小デコーダバッファサイズを超えないようにし、及び、各フレームに対応する全てのデータエレメントが、各フレームの特定のデコード時刻にデコーダに通信される
エンコーダにおいて、
フレームのエンコードと、次のデコードの間であって、かつエグジットのみの結合点の前又はエントリーエグジットの結合点の前の時間デルタ（Δ）の間におけるオキュパンシィ下限（ＥＬＢ（ｔ））は少なくとも部分的に一定であり、かつエグジットのみの結合点又はエントリーエグジットの結合点において、又はその後におけるオキュパンシィ上限レベル（ＥＵＢ（ｔ））は、前記時間の直前において、オキュパンシィ上限レベル（ＲΔ）に等しいことを特徴とするエンコーダ。
【請求項２】
前記オキュパンシィ下限の前記増加が公称結合レートと転送レートとの間の差に依存し、前記公称結合レートが転送レートより大きい請求項１に記載のエンコーダ。
【請求項３】
前記フレームがＭＰＥＧビデオフレームであり、前記公称結合レートがＭＰＥＧ最大結合レート（ＭＳＲ）である請求項２に記載のエンコーダ。
【請求項４】
デコーダが、対応する最小デコーダバッファサイズを持ち、且つ特定のデコード時刻に前記デコーダから前記フレームを各々送出するための手段を具え、エンコーダと前記デコーダとの間で随時接続又は開放を行うスイッチを介して通信が随時実行される、デコーダへの通信のためのフレームをエンコードするためのエンコーダであって、
前記フレームを含むことができるエンコーダバッファを具え、前記フレームがデータエレメントからなり、バッファ中のデータエレメントの総数がエンコーダバッファのオキュパンシィと呼ばれ、
バッファからデコーダへ一つの転送レートでデータエレメントを転送し、それによりバッファのオキュパンシィをその転送レートで減少させる手段を具え、
前記エンコーダバッファのオキュパンシィをオキュパンシィ下限とオキュパンシィ上限との間になるように制御する手段を具え、及び、
前記フレームの間の結合点を識別する手段を具え、前記結合点がエントリー点、エグジット点又はエントリーエグジット点で特徴付けられ、
前記エントリー点はスイッチがエンコーダをデコーダに接続する点として定義され、
前記エグジット点はスイッチがエンコーダをデコーダから開放する点として定義され、
前記エントリーエグジット点はスイッチがエンコーダとデコーダとの間を接続又は開放する点として定義され、
前記結合点及びエンコーダバッファオキュパンシィは、スイッチが結合点でエンコーダとデコーダとの間を接続又は開放する場合に、デコーダ中のデータエレメントの数が最小デコーダバッファサイズを超えないようにし、及び、各フレームに対応する全てのデータエレメントが、各フレームの特定のデコード時刻にデコーダに通信される
エンコーダにおいて、
フレームのエンコードと、そのフレームの次のデコードの間で、かつエントリーのみの結合点の前、又はエントリーエグジット結合点の前で定義される時間デルタ（Δ）の間におけるオキュパンシィ下限（ＥＬＢ（ｔ））は少なくとも部分的に一定であり、さらに、エントリのみの結合点又はエントリーエグジットの結合点において、又はその後におけるオキュパンシィ上限（ＥＵＢ（ｔ））は、この時間の直前におけるオキュパンシィ上限（ＲΔ）に等しいことを特徴とするエンコーダ。
【請求項５】
前記オキュパンシィ下限の前記減少が転送レートと公称結合レートとの間の差に依存し、前記公称結合レートが転送レートより小さい請求項４に記載のエンコーダ。
【請求項６】
前記フレームがＭＰＥＧビデオフレームであり、前記公称結合レートがＭＰＥＧ最大結合レート（ＭＳＲ）である請求項４に記載のエンコーダ。
【請求項７】
デコーダが、対応する最小デコーダバッファサイズを持ち、且つ特定のデコード時刻に前記デコーダから前記フレームを各々送出するための手段を具え、エンコーダと前記デコーダとの間で随時接続又は開放を行うスイッチを介して通信が随時実行される、デコーダへの通信のためのフレームをエンコードするためのエンコーダであって、
前記フレームを含むことができるエンコーダバッファを具え、前記フレームがデータエレメントからなり、バッファ中のデータエレメントの総数がエンコーダバッファのオキュパンシィと呼ばれ、
バッファからデコーダへ一つの転送レートでデータエレメントを転送し、それによりバッファのオキュパンシィをその転送レートで減少させる手段を具え、
前記エンコーダバッファのオキュパンシィをオキュパンシィ下限とオキュパンシィ上限との間になるように制御する手段を具え、及び、
前記フレームの間の結合点を識別する手段を具え、前記結合点がエントリー点、エグジット点又はエントリーエグジット点で特徴付けられ、
前記エントリー点はスイッチがエンコーダをデコーダに接続する点として定義され、
前記エグジット点はスイッチがエンコーダをデコーダから開放する点として定義され、
前記エントリーエグジット点はスイッチがエンコーダとデコーダとの間を接続又は開放する点として定義され、
前記結合点及びエンコーダバッファオキュパンシィは、スイッチが結合点でエンコーダとデコーダとの間を接続又は開放する場合に、デコーダ中のデータエレメントの数が最小デコーダバッファサイズを超えないようにし、及び、各フレームに対応する全てのデータエレメントが、各フレームの特定のデコード時刻にデコーダに通信される
エンコーダにおいて、
エントリーのみの結合点及びエントリーエグジット結合点の時間的に後で、オキュパンシィ下限（ＥＬＢ（ｔ））が減少されることを特徴とするエンコーダ。
【請求項８】
前記オキュパンシィ下限の前記減少が転送レートと公称結合レートとの間の差に依存し、前記公称結合レートが転送レートより小さい請求項７に記載のエンコーダ。
【請求項９】
前記フレームがＭＰＥＧビデオフレームであり、前記公称結合レートがＭＰＥＧ最大結合レート（ＭＳＲ）である請求項７に記載のエンコーダ。
【請求項１０】
デコーダが、対応する最小デコーダバッファサイズを持ち、且つ特定のデコード時刻に前記デコーダから前記フレームを各々送出するための手段を具え、エンコーダと前記デコーダとの間で随時接続又は開放を行うスイッチを介して通信が随時実行される、デコーダへの通信のためのフレームをエンコードするためのエンコーダであって、
前記フレームを含むことができるエンコーダバッファを具え、前記フレームがデータエレメントからなり、バッファ中のデータエレメントの総数がエンコーダバッファのオキュパンシィと呼ばれ、
バッファからデコーダへ一つの転送レートでデータエレメントを転送し、それによりバッファのオキュパンシィをその転送レートで減少させる手段を具え、前記転送レートがエンコーダによって制御可能であり、
前記エンコーダバッファのオキュパンシィをオキュパンシィ下限とオキュパンシィ上限との間になるように制御する手段を具え、及び、
前記フレームの間の結合点を識別する手段を具え、前記結合点がエントリー点、エグジット点又はエントリーエグジット点で特徴付けられ、
前記エントリー点はスイッチがエンコーダをデコーダに接続する点として定義され、
前記エグジット点はスイッチがエンコーダをデコーダから開放する点として定義され、
前記エントリーエグジット点はスイッチがエンコーダとデコーダとの間を接続又は開放する点として定義され、
前記結合点及びエンコーダバッファオキュパンシィは、スイッチが結合点でエンコーダとデコーダとの間を接続又は開放する場合に、デコーダ中のデータエレメントの数が最小デコーダバッファサイズを超えないようにし、及び、各フレームに対応する全てのデータエレメントが、各フレームの特定のデコード時刻にデコーダに通信される
エンコーダにおいて、
前記デコーダバッファサイズが最大転送レートを決定し、前記最大転送レートが公称結合レートより大きく、
転送レートが、各エントリーのみの結合点及び各エントリーエグジット結合点がスイッチにある時に公称結合レート以下であり、各エグジットのみの結合点がスイッチにある時に最大転送レート以下である
ことを特徴とするエンコーダ。
【請求項１１】
前記上限及び下限が各フレームについて最大フレームサイズを決定し、公称結合レート及び最大転送レートが、結合点の前のフレームについての所望の最大フレームサイズ及び結合点の後のフレームについての所望の最大フレームサイズに依存して決定される請求項１０に記載のエンコーダ。
【請求項１２】
前記フレームがＭＰＥＧビデオフレームであり、前記最大転送レートが最小デコーダバッファサイズ（Ｂｄ）をＭＰＥＧ結合デコード遅延（ＳＤＤ）で除した値に等しい請求項１０に記載のエンコーダ。
【請求項１３】
前記フレームがＭＰＥＧビデオフレームであり、前記公称結合レートがＭＰＥＧ最大結合レート（ＭＳＲ）である請求項１０に記載のエンコーダ。
【請求項１４】
前記最大転送レートがデコーダバッファサイズに依存する請求項１０に記載のエンコーダ。
【発明の詳細な説明】
〔発明の背景〕
１．発明の分野
本発明は、ＭＰＥＧ画像をエンコーダからデコーダへ通信するための方法及び装置に関し、特に、一方でデコードバッファのオーバーフロー又はアンダーフローを防ぎつつ、充分に効率的なデータ転送を行うためのエンコーダバッファの管理に関する。特別な対象は、他のエンコーダ又はデコーダが視覚上の乱れを起こすことなくストリーム中にスイッチされるストリーム中の点であるＭＰＥＧ結合点の領域におけるエンコーダバッファの管理である。
２．関連技術の説明
ＭＰＥＧ標準は、連続的なビデオ画像を、これらの画像をデコードし且つオリジナルのエンコードされない画像と同一順序及び同一レートで画像を再生するために充分なタイミング情報と共に、圧縮されたフォーマットでエンコードするためのデータフォーマットを定義している。連続的なビデオ画像はフレームからなり、各フレームは、通常、固定された時間間隔でエンコードされ、次に、エンコードの時刻に対して同一の固定された時間間隔だけ遅れてデコードされ、表示される。
この技術において用語「フィールド」も同様に連続的にエンコードされた各画像に関して用いられるが、画像がインターレース形式で表示される場合に用いられることが多い。同様に用語「ピクチャ」もエンコードされた各画像に関して用いられる。分かり易くするために、ここでは、エンコードされた各画像に関して用語「フレーム」を一般的に用いる。同様に用語ＭＰＥＧは、ここでは公式のデータフォーマット仕様と、この仕様及びその実現から導かれ当業者には既知の知識の実体との両者について一般的に用いる。
各ＭＰＥＧフレームは、それぞれのサイズが異なり、それぞれが画像コンテンツ及び他のフレームのコンテンツに依存する圧縮率を持つ。異なるサイズのフレームで一定のエンコードレート及びデコードレートを実現するため、エンコーダ及びデコーダにデータバッファが具えられる。画像は固定されたフレームレートでフレームにエンコードされてエンコーダバッファに格納され、フレームを構成するビットは実質的にフレームレートとは独立で通常は一定のビットレートでエンコーダバッファからデコーダバッファに送られ、フレームは固定されたフレームレートでデコーダバッファからアンロードされる。バッファが一時に保持できるビット数がバッファサイズと呼ばれ、所定の時刻に実際にバッファが保持しているビット数がバッファオキュパンシィと呼ばれる。バッファを用いることによって、異なるサイズのフレームを連続的に転送し、続いて一定のフレームレートでデコードすることを可能にすることにより、最適な情報転送を行うことができる。
エンコーダのオキュパンシィが特定のエンコーダ限界の中に制御されると、デコーダのオキュパンシィが必然的に所定のデコーダ限界の組の中に入ることを示すことができる。デコーダにおけるアンダーフロー又はオーバーフローを防ぐためには、デコーダオキュパンシィを、それぞれ零とバッファサイズ（Ｂｄ）との限界の中に保たなければならない。これらのデコーダ限界を保証するために必要なエンコーダの限界は、
0004224139.tif 000002
である。ここで、ＥＵＢ（ｔ）は時刻ｔにおけるエンコーダバッファオキュパンシィの上限であり、ＥＬＢ（ｔ）は時刻ｔにおけるエンコーダバッファオキュパンシィの下限である。デルタ（Δ）は、フレームのエンコードとそれに続くデコードとの間の時間であり、表示レートを一定に保つために所定のエンコーダ−デコーダシステムについて一定である。転送レートｒは変数又は定数である。転送レートが一定の値Ｒを持つシステムについては、ＥＵＢ（ｔ）＝ＲΔ及びＥＬＢ（ｔ）＝ＲΔ−Ｂｄである。これらの限界201、202が図2Ａに示されている。フレーム毎にエンコードされるので、得られるエンコーダバッファオキュパンシィがこれらの限界の中に含まれるようにするため、エンコードのサイズは零フィル又はトランケートになる。
これらの限界はＭＰＥＧに特別なことではないことに注意すべきである。ＭＰＥＧはここでは、一連のビデオ画像の通信のために用いられる特別な標準に関するものとして用いられる。しかしながら、当業者には明らかなように、ここで記述される原理及び技術は、それぞれがバッファを具えるエンコーダ及びデコーダを含むシステムを介して行われるどのようなフォーマットのストリームのスイッチングにも適用できる。同様に、ここに含まれる例はビデオ画像のフレームに関するものであるが、ここで記述される原理及び技術は、オーディオ作品、データパケット、その他のフレームに等しく適用できる。
ＭＰＥＧ標準は、シームレス結合点を、デコードされた画像中に不完全フレームのような視覚的な加工物が存在することなしに、デコーダへの入力が、一つのエンコーダからのフレームのストリームから他のエンコーダからのフレームのストリームにスイッチされる点として定義している。この標準は、同様に、スイッチングが実際に起きるか否かに無関係に、デコーダバッファのアンダーフロー及びオーバーフローが避けられることを要求している。即ち、エンコーダバッファ限界は、このエンコーダのストリームが続くか又は他のエンコーダのストリームがスイッチされるかにかかわらず、デコーダバッファがオーバーフロー又はアンダーフローしないように定められるべきである。
図１は、デコーダ150及び複数のエンコーダ110、120、130を含む通信システムを示す図である。スイッチ140はデコーダ150に接続される一つのエンコーダを選択し、それにより、デコーダへのフレームの連続的なストリームのソースエンコーダが定まる。各ＭＰＥＧストリームは、ストリーム中に、スイッチ140がソースエンコーダとして対応付けられているエンコーダの選択又は開放を実行する点についての適当なマークを含む。ストリーム中のこれらのマークされた点は結合点と呼ばれる。ＭＰＥＧ標準は、シームレス結合点を形成するために、結合デコード遅延（ＳＤＤ）及び最大結合レート（ＭＳＲ）の二つのパラメータを定義している。これらのパラメータは所定の最小デコーダバッファサイズに対応し、それにより、エンコーダがこれらのパラメータに合致する場合には、この最小バッファサイズのデコーダバッファが、オーバーフローしないことが保証される。この最小バッファサイズは、ＭＳＲ＊ＳＤＤより大きくなるように規定されている。ＳＤＤは、結合時刻と結合点の後における最初のフレームのデコードの時刻との間の時間である。ＭＳＲは、一つのエンコーダがその結合点からその結合点の後ＳＤＤの期間動作することができる最大転送レートである。
エンコーダ間のシームレススイッチングを可能にするために、第１ソースエンコーダからのフレームの終期が、新たに選択された第２ソースエンコーダからのフレームの始期で起きなければならない。一定のエンコード−デコード遅延Δを持つ所定のエンコーダ−デコーダシステムについて、必要なエンコード−結合間遅延Ｅは、従って、Δ−ＳＤＤに等しいように見える。適当なエンコード−結合間遅延を保証するためには、結合点の直前のフレームの最後のビットと結合点の直後のフレームの最初のビットとが、適切な時刻にスイッチされるように、各エンコーダのオキュパンシィ限界が制限されることが必要である。米国特許出願第08/829,124号に示されているように、転送レートＲの一定ビットレートシステムにおいては、結合点の後の最初のフレームのエンコードの直前の時刻におけるエンコーダオキュパンシィが、レートＲのＥ倍に等しくなければならない。これは図２Ｂに205で示されている。最後のフレームのエンコードの前のビットは同じレートＲでバッファからアンロードされるので、オキュパンシィが時刻ＴeにＲ＊Ｅであるようにバッファオキュパンシィが充分に低いことを保証するために、この結合点の前のフレームが、図２Ｂの上限線分211で示されるように限定されなければならない。即ち、線分211はレート−Ｒの傾斜を有する。Ｒは、エンコーダバッファからビットがアンロードされるレートを表す。結合点の直前のフレームは、結合点でオキュパンシィＲ＊Ｅ205になることが必要であり、更にレートＲでエンコーダバッファからアンロードされるので、Ｒ＊（Ｆ＋Ｅ）206に等しいオキュパンシィを持たなければならない。Ｆはフレーム周期即ち各フレームのエンコード間の時間である。
エンコーダの転送レートは、更に、デコーダバッファがロードされるレートでもある。上記の米国特許出願第08/829,124号で述べたように、デコーダバッファは、他のエンコーダから異なるレートでフレームを受信している間、一つのエンコーダからの残りのフレームを含むことがある。デコーダバッファがオーバーフローしないことを保証するために、各エンコーダが上記のＭＰＥＧ仕様に合致する必要があり、他のエンコーダが異なるレートで動作することがあるという事実に対応して各エンコーダのバッファ限界が制御される必要がある。エンコーダのレートが最大許容レートＭＳＲに等しい場合は制御が不要である。エンコーダのレートがＭＳＲより大きい場合は、ＭＰＥＧ仕様に合致するように減らし、バッファ限界の減少の結果が、上記の式１及び２に合致し、図２Ｃの線分221、222、223及び224で表されるようにする必要がある。エンコーダのレートがＭＳＲより小さい場合は、結合点の後で他のエンコーダにより、ＭＳＲに増加させることを考え、バッファ限界の増加の結果が、上記の式１及び２に合致し、図２Ｄの線分231及び232で表されるようにする必要がある。図２Ｂに示された線分211は図２Ｃ及び２Ｄ中の線分221及び231より低く、従って、線分211がエンコーダのオキュパンシィの実際の上限を形成することに注意すべきである。
通常、ＭＳＲは最小デコーダバッファサイズＢｄに正比例して選択され、更にＭＰＥＧによって規定される。バッファオーバーフローを防ぐため、ＭＳＲは、ＭＳＲ＊ＳＤＤ≦Ｂｄでなければならない。許容できる転送レートを最大にするため、ＭＳＲは、ＭＳＲ＊ＳＤＤ＝Ｂｄになるように選択される。図２Ｅは、理想的なＭＰＥＧ結合点について得られたエンコーダバッファ限界を示す。ここではＭＳＲ＊ＳＤＤ＝Ｂｄであり、エンコーダレートＲはこの最大化されたＭＳＲに等しい。図から分かるように、理想的な場合、結合点の前の上限211は厳しい限界である。結合点の後の上限は、それの正規のＲ＊Δ限界に戻り、下限は主として平坦を保つ。
従って、明らかなように、シームレス結合点のＭＰＥＧ定義は、エンコーダオキュパンシィ限界の更に厳密な組を必要とする。フレームのエンコードが下限又は上限それぞれに合致するために零フィル又はトランケートによって修正される必要がある度毎に、品質の非能率及び／又は損失が生じる。上限に合致させるためにフレームのトランケートを行う場合、エンコードされたフレーム中の細部の省略が必要である。零フィルは情報を含まないので、零フィルされたフレームを送出すると全体の情報転送レートが減少する。更に、バッファ中の利用可能なスペースがこれらの零フィルされたビットによって消費されるために後続のフレームがトランケートされなければならない場合は、品質の損失が起きる可能性がある。オキュパンシィについての限界が厳しいほど、この効率の損失及び画像品質の劣化を招く確率が高くなる。
シームレス結合点のＭＰＥＧ定義は、更に、規定されたＭＳＲがエンコーダの公称転送レートＲより低い場合に、エンコーダに対してＳＤＤに等しい周期について結合点におけるレートを低下させることにより、各結合点における効率の損失をもたらす。この非効率は、低い転送レートの場合に後続のフレームをトランケートしなければならない可能性が増加するので、更に、品質の損失をもたらす可能性がある。
特定の結合点で実際にストリームが結合されると否とにかかわらず、上記の非効率及び品質劣化が起きることに注意すべきである。これらの理由により、全て潜在的に有用な結合点が生成されるとは限らず、高度に結合可能なＭＰＥＧストリームを持つことによって得られる利点及び柔軟性が達成されない。
〔本発明の要約〕
本発明の目的は、結合点についてのエンコーダオキュパンシィに対する制約に起因する、情報転送の非効率及び品質の損失を最小にすること、及び、各結合点についての転送レートの制約に起因する、情報転送の非効率を最小にすることにある。
ここで、結合点は、エントリー点、エグジット点、又はエントリー点及びエグジット点両者で特徴付けることができることに注意すべきである。エントリー点は、エンコーダストリームがデコーダのストリームにスイッチされる点、即ちデコーダに接続される点である。エグジット点は、エンコーダストリームがデコーダストリームからスイッチされる点、即ちデコーダから開放される点である。明白にエントリー点又はエグジット点と呼ばれなくても、ここでは、結合点は、ＭＰＥＧ標準の定義に従い、デコーダストリームに対するエントリー及びエグジットが制限されない点として定義される。
本発明によれば、結合点は、エンコーダ転送レートの限界及びバッファオキュパンシィの限界を適切に制御することにより、情報転送非効率及び品質の損失を最小にするように定めることができるエントリー点又はエグジット点のいずれかであるとして特徴付けられることが示される。
ここに説明するように、種々の状態において、従来のエンコーダバッファ限界をエントリーのみの点及びエグジットのみの点について緩和することができる。ここに開示された条件を前提として、結合点についてのエンコーダオキュパンシィ限界は、エントリーのみの点及びエグジットのみの点について緩和することができ、エグジットのみの点についてレートの低下を避けることができる。本発明によれば、限界の制約を少なくすることにより、ＭＰＥＧシームレス結合点の規定された要求に従いつつ、改良された情報転送効率及び改良された表示画像品質の高い可能性をもたらす。
更に、本発明によれば、結合点のそれぞれの分類に固有の結合点パラメータＭＳＲ及びＳＤＤを適切に定め且つ用いることにより、エンコーダバッファ限界及び転送レートにおける最適化を達成することができる。即ち、エントリー点についてＭＳＲ−In値を、エグジット点についてＭＳＲ−Out値を、それぞれ用いることにより、この最適化を達成することができる。
更に、本発明によれば、スプライサーにおいてバッファ同期をとることによって、エンコーダバッファ限界及び転送レートにおける最適化を達成することができる。
【図面の簡単な説明】
図１は、デコーダ、複数のエンコーダ、及びデコーダに対するソースエンコーダを選択するスイッチを含む通信システムを示す図である。
図２Ａ−２Ｅは、ＭＰＥＧストリームの結合点において、デコーダバッファがオーバーフロー又はアンダーフローを生じることなく、シームレス結合を可能にするために必要な従来のエンコーダ転送レート及びバッファオキュパンシィ限界を示す図である。
図３は、本発明により、ＭＰＥＧストリームのエグジットのみの点において、デコーダバッファがオーバーフロー又はアンダーフローを生じることなく、シームレス結合を可能にするために必要なエンコーダ転送レート及びバッファオキュパンシィ限界を示す図である。
図４は、本発明により、ＭＰＥＧストリームのエントリーのみの点において、デコーダバッファがオーバーフロー又はアンダーフローを生じることなく、シームレス結合を可能にするために必要なエンコーダ転送レート及びバッファオキュパンシィ限界を示す図である。
図５Ａ−５Ｅは、本発明により、結合パラメータＭＳＲ−In及びＭＳＲ−Outを用いて、ＭＰＥＧストリームの結合点におけるシームレス結合を可能にするために必要なエンコーダ転送レート及びバッファオキュパンシィ限界を示す図である。
〔好ましい実施例の説明〕
例えば、スポーツイベントのようなテレビジョンチャンネルを通して送信されるビデオシーンのＭＰＥＧエンコードを考える。この場合、イベントの間に選択された点で、同様にＭＰＥＧでエンコードされた一又は複数のコマーシャルが挿入されるとする。エンコードはリアルタイムで又は記録前に行われる。図１のエンコーダ110はスポーツイベントのＭＰＥＧエンコーダを表し、エンコーダ120はコマーシャルのＭＰＥＧソースを表すといえる。スイッチ140は、テレビジョンチャンネルのプロバイダーによって制御され、プロバイダーが、イベントからコマーシャルへ及びその逆に切替えることができる。デコーダ150は、結果として得られるＭＰＥＧフレームのストリームを受信し、フレームがエンコードされたレートと同一のレートでデコードされたフレームをディスプレイ装置に供給するためのシステムを表す。ＭＰＥＧフレームにエンコードされるビデオ画像のオリジナルソースは、コンピュータグラフィックスプログラム又は前もって従来のアナログビデオ又はＭＰＥＧフォーマットで記録された画像のソースであってもよい。ディスプレイ装置は、例えば、ＮＴＳＣ放送送信機のような従来のビデオフレームの送信機又は他のコマーシャルを加えることができる他のエンコーダ−デコーダシステムであってもよい。
スポーツイベントのビデオフレームをエンコードする際、選択点が、例えば、それぞれのプレーが完結した後のように、コマーシャルを挿入するのに適する点として認識される。この点において、スイッチ140が、コマーシャル120のソースをデコーダに供給されるべきストリームに切替えることができる。コマーシャルのエンコード中には、スイッチ140が、イベントのソース又は例えばスポーツアナウンサーをカバーするカメラのような他のソース130へ戻すことができる点として認識される複数の点がある。例えば、コマーシャルは、15秒、30秒及び60秒間隔で定められた結合点を持つように制作することができ、スポーツイベントのプレーの間に費やされる時間に依って、サービスのプロバイダーが定められた結合点のいずれかでコマーシャルから切り離すことができる。各々のエンコーダが異なる転送レート及び異なるフレームレートで動作することができ、更に、エンドツーエンドエンコード対デコード遅延Δが各デコーダについて異なることがあり得ることに注意すべきである。
上記のように、各々のこれらのＭＰＥＧストリーム中の結合点の従来のＭＰＥＧエンコードは、各々のこれらの結合点において、エンコーダ転送レートがＭＰＥＧで規定されるＭＳＲを超えないこと、及び結合点の後の最初のフレームが結合時刻より期間ＳＤＤ後にデコードされるようにスケジュールされることが必要である。これらの制限により、エンコーダバッファオキュパンシィが上記及び図２Ａ−２Ｅに表された限界に合致することが必要である。特に、規定されたＭＳＲを超える転送レートを持つエンコーダは、各結合点において転送レートをＭＳＲに減らし、ＳＤＤの時間この減少したレートを維持しなければならず、更に、規定されたＭＳＲより小さい転送レートを持つエンコーダは、各結合点においてそのバッファオキュパンシィ上の下限を増やさなければならないことに注意すべきである。
エグジットのみの結合点
しかしながら、スポーツイベントの各プレーの終点に生成された結合点を考える。通常は、プレーの終点の直後にスポーツイベントをデコーダストリームに結合することはないので、この結合点はエグジットのみの結合点と定義される。本発明によれば、結合点をエグジットのみの点として分類することにより、転送レート及びバッファ限界制限に関する従来のＭＰＥＧが緩和され、それにより、改良された効率及び品質を具えることができる。図２Ｃに示された従来のエンコーダの転送レート及びバッファ限界、及び、エンコーダの公称転送レートＲが、ＭＰＥＧに規定されたＭＳＲより高く、デコーダバッファサイズＢｄが、デコード遅延時間の間この高いレートの使用に耐えられる程充分に大きい場合、即ちＢｄ≧Ｒ＊ＳＤＤに対応して図３で繰り返し示されている場合を考える。各ＭＰＥＧソースは、上記のように、他のソースが動作する場合の最大レートに依って結合点におけるその限界を調整しなければならないので、従来のＭＰＥＧに従うエンコーダは、デコーダバッファが高いレートＲをサポートするのに充分なサイズを持っている場合であっても、各結合点においてそのレートをＭＳＲに減らさなければならない。即ち、ＭＰＥＧ仕様に合致するために、ＭＳＲより高いレート240で動作するエンコーダは、250で示されるように、その転送レートをＭＳＲに減らさなければならない。時間ＳＤＤの後、255で示されるように、その高いレートを回復することができる。式２によれば、レートの減少は必然的に、221、222、223及び224で示されるように、エンコーダバッファオキュパンシィの上限及び下限の低下をもたらす。ＭＰＥＧ仕様によって必要とされる転送レートの減少により、転送効率が低下し、この減少に伴って信号品質の潜在的な劣化を生じる。例えば、結合点205の前の最後のフレームのエンコードの直後では、次のフレームの最大サイズ228は、明らかに、低い上限223のために減少する。
結合点がエグジットのみの点である場合は、結合点では二つの変更、即ちソースがデコードストリームから外れるか又はソースがデコードストリームに留まるか、いずれかのみが可能である。即ち、ソースはこの点ではストリームに入ることはない。結合点でＭＳＲより高いレートを持つソースがデコードストリームから外れる場合は、その高いレートは他のソースからのストリームに対して効力を持たない。結合点でＭＳＲより高いレートを持つソースがデコードストリーム中に留まる場合は、基本的には、単に一定のレートでの転送を続けるに過ぎない。即ち、勿論バッファがこの高いレートに適応できる適切なサイズを持つ（Ｂｄ≧Ｒ＊ＳＤＤ）と仮定すれば、エグジットのみの結合点でソースが外れるか否かにかかわりなく、その転送レートを減らす必要はない。そのレートは低下しないので、その限界は、従来の限界221-224のように減少することはない。本発明によるエグジットのみの結合点について必要なバッファ限界は図３に示されている。分かり易くするために、従来のＭＰＥＧ結合点転送レート250及び限界221-224は、図２Ｃに示されたそれらに対応して点線で示されている。従来のＭＰＥＧストリームは結合点でそのレート250を減らさなければならないので、従来のＭＰＥＧストリームエンコーダ限界221-224は上記の式１及び２に従って低下する。図から分かるように、従来のＭＰＥＧ結合点の場合と同様に、結合点の前の最後のフレームが結合時刻にはエンコーダバッファから外れることを保証するため、エンコーダバッファオキュパンシィの上限が211で減少しているとはいえ、結合点205の後の最初のフレームの最大サイズ328は、図２Ｃの228で示されるそれより明らかに大きい。これは、323で示されるように、結合点の後のエンコーダ限界がＲ＊Δに留まるためである。図３の240で見ることができるように、本発明によるエンコーダは、結合時刻周期を通して高い転送レートを保持し、それにより、その転送レート効率を保持し、高い品質能力を維持する。
エントリーのみの結合点
次に、即時再生セグメントのために生成される結合点を持つスポーツイベントの記録を考える。即時再生セグメントのスタートは、通常はそのようなイベントのスタートでデコードストリームからソースを開放することはないので、エントリーのみの結合点として特徴付けることができる。本発明によれば、結合点をエントリーのみの点として分類することにより、従来の転送レート及びバッファ限界制限に関するＭＰＥＧが緩和され、それにより、改良された効率及び品質を具えることができる。図４に示され、且つ図２Ｄに示されるように、エンコーダの公称転送レートＲ241がＭＰＥＧで規定されたＭＳＲより低い場合に対応する、従来のエンコーダ転送レート及びバッファ限界を考える。上記のように、従来の図２Ｄによれば、従来のＭＰＥＧエンコーダは、結合時刻に、他のエンコーダが更に高いＭＳＲで動作している確率を考慮に入れなければならないので、結合点205の前でエンコーダバッファの下限を増加232させなければならない。
結合点がエントリーのみの結合点の場合は、結合点では二つの変更、即ちソースがデコードストリームに入るか又はソースがデコードストリームに留まるか、いずれかのみが可能である。即ち、ソースはこの点ではストリームから外れることはなく、換言すれば、この結合点で他のソースが入ることはできない。この結合点でこのエンコーダのレートより高いレートのソースがデコードストリームに入ることはできないので、その高いレートはこのエンコーダからのストリームに影響しない。この結合点で、低いレートのエンコーダがデコードストリーム中に留まる場合は、基本的には、単に一定のレートでの転送を続けるに過ぎない。即ち、エントリーのみの結合点において、デコードストリームにソースが新たに入るか又はデコードストリーム中で続くかにかかわりなく、更に高いレートのソースに適応するために下限を制限する必要はない。本発明によれば、結合点の前でエンコーダバッファの下限432を上げる必要はない。下限を432で示されるように保持することにより、結合点の前の潜在的なフレームのサイズ438は、結合点の領域における従来のＭＰＥＧエンコードから得られる潜在的なサイズ238より大きくなり、それにより、改良された画像品質が得られる。
ＭＳＲ−In、ＭＳＲ−Outパラメータ
ＭＰＥＧ仕様は、最大結合レート（ＭＳＲ）パラメータのような一つの値に関するものである。許容可能の転送レートを最大にするため、従来のＭＳＲはＭＳＲ＊ＳＤＤ＝Ｂｄになるように規定している。図２Ｃ及び図２Ｄに示されるように、ＭＳＲとは異なる転送レートＲを持つエンコーダは、他のエンコーダがこのＭＳＲで動作する確率を考慮して、その限界及び／又はレートを制御することが必須とされる。
上記のように、エントリーのみの結合点及びエグジットのみの結合点の転送レート及び限界は、従来のＭＰＥＧ結合点に課された制約に従う必要はない。エグジットのみの結合点は、規定された最小デコーダバッファサイズＢｄによって制限を受ける。上記のように、このバッファサイズはＢｄ≧Ｒ＊ＳＤＤである。換言すれば、結合点でデコーダストリームから外れるエンコーダの転送レートが、Ｂｄ／ＳＤＤ以下でなければならない。これは、デコーダから外れる点での最大結合レートであり、ここではＭＳＲ−Outと呼び、Ｂｄ／ＳＤＤに等しい。エグジットのみの結合点におけるエンコーダの転送レートがＭＳＲ−Out以下の場合は、エンコーダはそのレートを従来のＭＰＥＧのＭＳＲに減らす必要はない。同様に、従来のＭＰＥＧのＭＳＲレートは、結合点でデコーダストリームに入るエンコーダに適用することのみが必要であることが分かる。ＭＳＲ−Outレートと対照的に、ＭＳＲ−Inレートは、デコーダストリームに入る際の最大結合レートとして定義される。このＭＳＲ−Inレートは、例えば19.4Mb/s又は38.8Mb/sのディジタルＴＶのＡＴＳＣ放送サービスの標準レートとして、ＭＰＥＧで規定されているデコーダバッファサイズとは独立に定義されて通常用いられる通信レートである。バッファサイズに依存して定められるＭＳＲ−Out及びそれより低い共通のＭＳＲ−Inレートを規定する場合、共通のレートで動作するエンコーダに対して僅かな制限が課される。他方、エグジットのみの結合点においては、高速のエンコーダが厳しくない限界を許容される。エントリー点又はエグジット点のいずれかである結合点、即ち、従来のＭＰＥＧ結合点は、これらの二つの規定されたＭＳＲ値の最小値に従わなければならない。これは、通常はＭＳＲ−Inの値である。
パラメータＭＳＲ−Out及びＭＳＲ−Inの組を定めることにより、デコーダバッファ限界は、これらのパラメータとエンコーダ転送レートとの関係に従って、更に結合点がエントリー点か又はエグジット点か又はエントリー−エグジット点かに従って、図５Ａ−５Ｅに示されるようになる。結合点におけるエンコーダオキュパンシィの上限は、結合点の直前のオキュパンシィに比例し、結合点の直後のフレームの最大サイズを決定することに注意すべきである。エントリー点及びエントリー−エグジット点については、結合点におけるオキュパンシィのスパンはＭＳＲ−In＊ＳＤＤに等しいので、明らかなように、ＭＳＲ−Inが最大フレームサイズを決定する。エグジットのみの点については、結合点の直後の最大フレームサイズはＭＳＲ−Outによって決定される。更に、図２Ｅに示されたエンコーダレートが単一のＭＳＲレートに等しい理想的なＭＰＥＧ結合点のエンコーダ限界とは対照的に、異なるＭＳＲを規定することにより、ＭＳＲ−InとＭＳＲ−Outとの関係に依存して、エンコーダオキュパンシィの下限を制御することができることに注意すべきである。例えば、図２Ｅにおいて、結合点205の前の各フレームの最大サイズ281は、転送レートと結合点の前のフレーム間隔の数との積に等しい。従って、結合点の直前のフレームは最小の情報を含む。逆に、図５Ｃにおいて、結合点205の前のフレームのサイズ581は、ＭＳＲ−InレートとＭＳＲ−Outレートとの差に比例する。従って、ＭＳＲ−Inレート及びＭＳＲ−Outレートを選択して、これらのフレームの最大サイズを割当てることができる。例えば、結合点の前のフレームのサイズに比べて結合点の後のフレームのサイズを大きくすることが必要と思われる場合は、結合点の前後のフレームサイズを適切にするために、ＭＳＲ−Outに対してＭＳＲ−Inを適切に定めることにより、エンコーダバッファのオキュパンシィ限界を最適化すればよい。
上記においては、単に、本発明の原理を説明したに過ぎない。当業者においては、ここで明白に説明又は図示されていないとしても、本発明の原理を実施するための装置、従って本発明の精神及び範囲に含まれる種々の装置を実現し得ることは明らかである。
【図１】
0004224139.tif 000003
【図２Ａ】
0004224139.tif 000004
【図２Ｂ】
0004224139.tif 000005
【図２Ｃ】
0004224139.tif 000006
【図２Ｄ】
0004224139.tif 000007
【図２Ｅ】
0004224139.tif 000008
【図３】
0004224139.tif 000009
【図４】
0004224139.tif 000010
【図５Ａ】
0004224139.tif 000011
【図５Ｂ】
0004224139.tif 000012
【図５Ｃ】
0004224139.tif 000013
【図５Ｄ】
0004224139.tif 000014
【図５Ｅ】
0004224139.tif 000015