(57)【特許請求の範囲】
【請求項１】
各々２以上の画像を具えるセグメントの形態のディジタルビデオ信号を、符号化段及びエンコーダバッファを有するエンコーダ装置において符号化する方法であって、
−セグメントの画像を所定のコード体系に従って順次に符号化するステップと、
−符号化された画像をバッファに読み込むステップと、
−バッファから符号化されたセグメントをほぼ一定のビットレートで読み出すステップと、
を具えた符号化方法において、
該エンコーダバッファの占有値が所定のバッファ占有値に徐々に近づくように、該セグメントのＫ個の最終画像に対して１画像当たりのビット数を制御して、セグメントの最終画像がバッファに読み込まれた瞬時に、前記所定のバッファ占有値にほぼ等しいエンコーダバッファの占有値を発生するように画像を符号化するのに使用するための目標ビット数を制御可能に変化させることを特徴とする符号化方法。
【請求項２】
符号化段は複数の量子化レベルで画像を符号化し、使用する量子化レベルを設定された目標レベルに応じて選択することを特徴とする請求の範囲１記載の方法。
【請求項３】
符号化画像のビット数が目標値より少ない場合には、符号化段は１以上の零値ビットを符号化画像に付加して目標ビット数にすることを特徴とする請求の範囲１記載の方法。
【請求項４】
セグメントの画像をＭＰＥＧ標準に従って符号化することを特徴とする請求の範囲１記載の方法。
【請求項５】
各々２以上の画像を具えるセグメントの形態のディジタルビデオ信号を符号化する装置であって、
セグメントの順次の画像を受信し、これらの画像を所定のコード体系に従って符号化する符号化段と、
該符号化段に結合され該符号化段から符号化された順次の画像を受信するバッファとを具えるディジタルビデオ信号エンコーダ装置において、
前記符号化段は、画像を制御可能な可変ビット数で符号化しうるように構成され、且つ当該装置は、更に、前記符号化段の出力を監視し、その結果に基づいて符号化段の１画像当たりのビット数を、セグメントの最終画像がバッファに読み込まれた瞬時に、所定のバッファ占有値を発生するように制御する目標設定手段を具え、該セグメントのＫ個の最終画像に対して１画像当たりのビット数が、該エンコーダバッファの占有値が前記所定のバッファ占有値に徐々に近づくように制御されることを特徴とするエンコーダ装置。
【請求項６】
前記符号化手段は、所定のコード体系が画像の符号化のために前記目標設定手段により指定されたビット数より少ないビット数を必要とする場合に、符号化された画像に零値ビットを目標設定手段により決定されたビット数になるまで付加するように構成されていることを特徴とする請求の範囲５記載の装置。
【発明の詳細な説明】
本発明はオーディオ及びビデオ信号の符号化及び編集方法に関するものであり、特にオンザフライ式に一緒に接合しうるオーディオ及びビデオ資料のセグメントを発生する方法に関するものである。
２つのビデオクリップを順に再生する必要がある場合には、代表的には、デコーダを第２クリップの復号化前に出発状態にリセットする必要がある。その結果、デコーダ自身が再初期設定し次のクリップの復号化を開始する間ユーザはスクリーン上に固定された第１クリップの最終フレームを見ることになる。この再初期設定は通常オーディオの消音を伴う。このタイプのタイトル動作がユーザに押しつけられ、タイトルに熱中するフィーリングを減少する。
従って、一つのクリップの終了と次のクリップの開始との間の遷移がデコーダに認識し得ないシームレス接合が必要とされる。このことは、ユーザから見て、視聴フレームレートに知覚可能な変化が生ぜず、且つオーディオが中断することなく連続するようにすることを意味する。シームレスビデオに関するアプリケーションは多数ある。ＣＤ−ｉの幾つかの例はスプライト（コンピュータ発生画像）に対するビデオ系列バックグラウンドを含み、この技術の代表的な使用例はＭＰＥＧ符号化ビデオ系列の前を走行するアニメーション文字である。他の例は、短いシームレスクリップとして提示される文字−ユーザインタラクションの系列であり、コンピュータの場合にはインタラクションの結果によりどのクリップを次に出現させるか決定される。これを更に発展させたものが、ユーザ（視聴者）がストーリーラインに影響を与えることができる対話型映画である。ユーザが対話型映画中において選択を行うパス上の分岐点がシームレスに現れるようにする必要があり、さもなければユーザは鑑賞中の映画と関連する疑惑の一瞬を失うことになる。
従って、本発明の目的はビデオフレーム系列を、知覚しうる妨害を生ずることなく接合しうるように符号化しうる符号化方法を提供することにある。
本発明は、各々２以上の画像を具えるセグメントの形態のディジタルビデオ信号を、符号化段及びエンコーダバッファを有するエンコーダ装置において符号化する方法であって、セグメントの画像を所定のコード体系に従って順次に符号化するステップと、符号化された画像をバッファに読み込むステップと、バッファから符号化されたセグメントをほぼ一定のビットレートで読み出すステップとを具えた符号化方法において、
所定のバッファ占有値を定め、且つ画像を符号化するのに使用する目標ビット数を、セグメントの最終画像がバッファに読み込まれた瞬時に、前記所定のバッファ占有値にほぼ等しいエンコーダバッファの占有値を発生するように制御可能に変化させることを特徴とする。
すべてのセグメントに対しバッファ占有値をそれらの長さと無関係に目標設定することにより、任意のセグメントの開始点における占有値がほぼ同一になるので、セグメントの接合がかなり簡単なタスクになる。
セグメントの最終画像に対してではなく、セグメントのＫ個の最終画像の各々に対してそれぞれの目標ビット数を定めることができる（ここでＫは整数）。これにより複数の画像に亘って変化を導入して、セグメントの最終画像にのみ大きな変化を与える必要がある場合に発生しうる可視歪みを避けることができる。
符号化段は画像をＭＰＥＧ標準に従って符号化し、使用する量子化レベルが設定された目標レベルに応じて選択されるものとするのが好ましい。必要に応じ、例えば、符号化画像のビット数が目標値より少ない場合には、符号化段が１以上の零値ビットを符号化画像に付加して目標ビット数にすることができる。
本発明は、更に、各々２以上の画像を具えるセグメントの形態のディジタルビデオ信号を符号化する装置であって、セグメントの順次の画像を受信し、これらの画像を所定のコード体系に従って符号化する符号化段と、該符号化段に結合され該符号化段から符号化された順次の画像を受信するバッファとを具えるディジタルビデオ信号エンコーダ装置において、
前記符号化段が画像を制御可能な可変ビット数で符号化するよう動作し、且つ当該装置は、更に、前記符号化段の出力を監視し、その結果に基づいて符号化段の１画像当たりのビット数を、セグメントの最終画像がバッファに読み込まれた瞬時に、所定のバッファ占有値を発生するように制御する目標設定手段を具えていることを特徴とする。
目標設定手段は、上述したように、セグメントのＫ個の最終画像に対し１画像当たりのビット数を制御するように構成するのが好適であり、且つ符号化手段は符号化された画像に零値ビットを目標設定手段により決定されたビット数になるまで付加するように構成するのが好適である。
本発明は、更に、上述した方法により符号化されたディジタルビデオイメージセグメントを提供するものであり、且つ請求の範囲に限定された複数の符号化セグメントを担持する光ディスクを提供するものである。
次に、図面を参照して本発明の好適実施例を説明する。図面において、
図１はＭＰＥＧエンコーダ／デコーダ関係の理想的なモデルを示し、
図２は画像系列に対するエンコーダとデコーダの内容を示し、
図３は２つの系列の接合部におけるエンコーダ及びデコーダバッファの内容を示し、
図４は本発明を具体化するエンコーダ装置のブロック図である。
以下の記載はＭＰＥＧ標準（ＭＰＥＧ１に対するＩＳＯ１１１７２−２及びＭＰＥＧ２に対するＩＳＯ１３８１８−２）に従って動作するビデオコーダにつき検討するが、当業者であれば、本発明はＭＰＥＧ標準に従わない他のビデオコード体系にも適用することができること明らかである。
いかなる符号化標準も、エンコーダ及びデコーダを互いにインタフェースするモデルを用いて開発する必要がある。エンコーダの動作につれて、デコーダ内で起こることをモデル化し、エンコーダがデコーダを決してイリーガル状態（オーバフロー又はアンダーフロー）にしないようにする必要がある。同様に、デコーダはエンコーダの使用モデルと同一のモデルを維持してデコーダがリーガル状態を維持し、予定のエンコーダ出力を発生するようにする必要がある。ＭＰＥＧはこの規則の例外ではない。ＭＰＥＧ内のデコーダのモデルはビデオバッファリング検査装置（ＶＢＶ）と称されている。
図１はＭＰＥＧエンコーダ／デコーダ関係の理想モデルを示す。システムはリアルタイムで動作するとともに、チャネル遅延は無視しうるものと仮定すると、次の系列のイベントが生ずる。
１．ディジタル化されたフレームが一定のフレームレートＦでエンコーダに供給される。
２．エンコーダがこれらのフレームを符号化するとともにｔc秒の可変遅延を導入する。
３．符号化されたフレームが一定のビットレートＲでデコーダに転送される。
４．デコーダがこれらのフレームを復号化するとともにｔd秒の可変遅延を導入する。
５．復号化されたフレームが同一のフレームレートＦで表示される。
ここで、上述のシステムを動作させるためには、エンコーダ−デコーダサイクルに導入される遅延を一定にしてデコーダの出力において一定のフレームレートを維持しうるようにする必要がある。これは、次の式（１）で要約される。
ｔc＋ｔd＝Ｔ                                                              （１）
ここで、Ｔは定数である。
図２はバッファ占有値Ｂを時間ｔに対し示すグラフであり、エンコーダ及びデコーダバッファがどのように関連するかを示す。以下においてＰビットを含む肉太線で示す画像に注目して説明する。Ｐは符号化された系列内の任意の画像であり、この画像が導入されるとき、バッファは空でなく、まだ完全にフラッシュされてないでバッファ内に存在する前画像を表す複数ビットを含むものとする。
最初にエンコーダバッファを取り扱うに当たり、ソフトウエアエンコーダに使用されるモデルはエンコーダが画像をその出力バッファに瞬時に導入するとともにバッファは一定のＲビット／秒でフラッシュされるものとする。画像Ｐを考察すると、エンコーダは画像Ｐをバッファに導入し、Ｂcビットの占有値を取り、バッファはＲビット／秒で空にされ、所定の時間ｔc後に、画像Ｐ内の全ビットがバッファから除去される。これは図２の瞬時ｔeで起こる。従って、画像Ｐに対するエンコーダバッファ遅延はバッファ占有値及びエンプティ速度から算出することができる。
瞬時ｔeまでに、画像Ｐを構成する全ビットがエンコーダバッファから出て、デコーダバッファに入る。画像が除去されてからデコーダバッファに全ビットが入るまでに遅延ｔdがある。Ｂdを画像Ｐが除去された後のデコーダバッファ占有値であるものとすると、デコーダバッファ遅延もバッファ占有値及びエンプティ速度から計算することができる。
これらの遅延式を式（１）に代入すると、
ｔc＋ｔd＝Ｔ＝Ｂc／Ｒ＋Ｂd／Ｒ                                            （２）
が得られる。
Ｔの値を求めるために、ｔdが零に近づくものとする。この場合にはｔcがその最大値になるはずであり、Ｔに等しくなる。図２を見れば、最大値（ｔc.max）は、
ｔc.max＝Ｔ＝Ｂmax／Ｒ                                                    （３）
である。ここで、Ｂmaxはエンコーダにより使用される最大バッファサイズである。
式（２）及び式（３）から、
Ｂmax＝Ｂc＋Ｂd                                                           （４）
が得られる。
式（４）は画像の導入終了時におけるエンコーダバッファの状態と同じ画像の除去終了時におけるデコーダバッファの状態との関係を示す。これは相補バッファ関係として既知である。
ＭＰＥＧ標準（ＩＳＯ１１１７２−２）は、セクション２．４．３．４において、ＶＢＶ遅延を、ＶＢＶバッファをその初期空状態から現画像がバッファから除去される直前の正しいレベルに目標ビットレートＲで充填するのに必要な時間として規定している。図２を参照すると、ＶＢＶ遅延は２つの値τとｔdの和と考えることができること明らかである。ｔdは既知であり、τは画像Ｐを構成するビットをビットレートＲで転送するのに要する時間であることを考慮すると、ＶＢＶ遅延は次式で与えられる。
τ＋ｔd＝ＶＢＶdelay＝（Ｐ＋Ｂd）／Ｒ                                     （５）
これはＶＢＶ遅延のＩＳＯ定義に対応する。別の考え方では、ＶＢＶ遅延はバッファにおいて導入される遅延＋画像を構成するビットを転送するのに要する時間である。
図３は、画像系列Ａが終了し、別の画像系列Ｂが開始するときにエンコーダ及びデコーダのバッファ状態がどのようになるかを示すグラフである。ＬＡは系列Ａの最終画像を示し、ＦＢは系列Ｂの第１画像を示す。系列Ａから系列Ｂへの転送データの変化がバッファ占有ラインの太さの変化で示され、鎖線が系列Ａからの画像を示す。時点ｔxにおいて、系列Ａに対する全データが転送され終わり（即ちエンコーダバッファからクリアされ）、デコーダバッファがＢxビットの占有値を有する。この時点からデコーダバッファに転送される全てのデータは系列Ｂに対するものとなる。系列Ａの終了から幾つかの画像がまだバッファ内に存在するが、バッファがＢ1ビットの占有値を有する時点ｔ1までにはこれらの画像がすべて除去される。
ここでは、エンコーダがＶＢＶバッファ内に所定の占有値を達成することを試みる際に実行するプロセスに関連して目標設定なる語を使用する。目標設定プロセス中に、エンコーダは符号化された第１画像をバッファに入れる際にＶＢＶバッファが目標占有値を有するようにする。これは第１画像のサイズの上限を定める。符号化動作の終了時に、エンコーダは、次の系列に対する第１画像がバッファから除去される直前の時点におけるＶＢＶ占有値（図１の点Ｂt）を目標とする。エンコーダは最終画像又は最終の数画像を符号化するにつれて、この状態を目標にしてこれらの画像のサイズを変化させる。
目標設定されたＶＢＶ状態を用いてビデオの符号化ピースを発生する際にエンコーダが実行するプロセスを以下に説明する。図３に示す例では、エンコーダはデコーダバッファに対し状態Ｂtを目標とするように設定されているものとする。この状態は新しい系列の第１画像が除去される直前の時点におけるＶＢＶバッファ占有値を表す。前系列が同一のビットレート及びフレームレートで処理されるものとすると、前系列の最終画像の除去直後の時点におけるバッファ占有値は次式で与えられる。
Ｂl＝Ｂt−ＲＴ                                                            （６）
ここで、Ｂ1及びＢtは図３に示す通りであり、Ｒはビットレート、及びＴはフレーム周期である。
式（４）を用いて、Ｂ1及びＢtに関しエンコーダ出力バッファにおける対応する状態を得ることができる。
Ｂtc＝Ｂmax−Ｂt                                                          （７）
Ｂ1c＝Ｂmax−Ｂ1                                                          （８）
一定のビットレートＲのために、これらの状態と関連する遅延は、
ｔtc＝Ｂtc／Ｒ                                                            （９）
ｔ1c＝Ｂ1c／Ｒ                                                          （１０）
である。
エンコーダの動作中、通常デコーダとは別個に、ＶＢＶバッファ状態への変換及びからの変換ではなくその出力バッファ状態に基づいて画像サイズを管理する。従って、以下の考察はバッファレベルＢtc及びＢ1c（図３）に関する。
開始状態を目標設定する際、エンコーダは第１画像の導入時にそのバッファ内に所定の占有値を有しているものとする。このバッファ占有値は式（７）から導入されるＢtcビットであり、これは前系列の終了後の残留ビットを表す。これらのビットの存在は第１画像の最大サイズをＢtビットに制限し、全ビットが除去されるまで（時点ｔtc）、後続画像のサイズの限界値に影響を与えつづける。
エンコーダの点からすると、開始状態の目標設定は極めて簡単である。その理由は、このためにはその初期占有値を空である慣例の開始状態ではなくＢtcビットに設定する必要があるだけであるためである。
エンコーダはセグメントの終了に近づくと、点Ｂtcを目標にする。換言すれば、エンコーダは最終画像のサイズを、これをバッファに入れると占有値がＢ1cビットに増大するようなサイズせしめる。正しい画像サイズに到達させることは次の反復処理により達成することができる。
１．エンコーダが画像の最初の符号化を実行する。
２．画像が大きすぎる場合にはエンコーダが増大した量子化ステップで再符号化する。
３．画像が小さすぎるときはエンコーダが零バイトを詰め込むことができる。
多量のサイズ修正が必要とされ且つそのすべてが最終画像において生ずる場合には、低品質の画像を発生することが認識される。これを避けるために、エンコーダはセグメント内の最終ＧＯＰ（画像グループ）に対し目標ビット数を有するとともにＧＯＰ内のＫ画像の各々に対し目標ビット数を有することができる。これによりエンコーダは所望のバッファ状態に徐々に近づくことが可能になる。
バッファ占有目標値は十分大きくして、目的値を構成する画像に対し、画像量子化が画質に悪影響を与えるような大きな値にならないようにする。また、目標値は十分大きくしてエンコーダがバッファアンダーフローを発生することなくバッファにフィットする画像を実際に構成しうるようにする必要がある。
デコーダバッファ目標のサイズは、バッファが目標値に到達するのに要する時間に比例する。その理由は、モデルではバッファが一定ビットレートで動作するためである。幾つかのインタラクティブ用途においては、充填時間が重要である。その理由は、この時間はクリップに再生開始とスクリーン上における画像の出現との間の遅延であるためである。ユーザインタラクションに対するリアクション速度の点からすると、目標値が小さいほど良好である。実験の結果、最大充填度の約７５％のＶＢＶ占有値を目標設定すると良好な結果が得られることが確かめられた。これは制約つきシステムパラメータストリーム（ＣＤアプリケーションをカバーするＭＰＥＧ標準のサブセット）に従う代表的な系列に対し約２４５７６０ビットに換算される。しかし、実際には、もっと低いレベル、代表的には２０４０００ビットに目標設定することができる。
エンコーダの概略構成図を図４に示す。（一定のフレームレートＦで）受信されるビデオ信号はＭＰＥＧ標準に従って符号化する符号化段１０に供給される。入ビデオ信号のフレームカウントＦＣも目標設定段１２に入力される。目標設定段は符号化段１０により現画像に与えるべき量子化レベル（又はスタッフ零ビットの量）を決定してセグメントの終了時にバッファ占有値Ｂ1cを達成させる。制御されたビット割当を有するＧＯＰの形態の符号化信号がエンコーダバッファ１６に読み出され、伝送チャネルにデータ伝送速度Ｒで出力される。エンコーダ出力端子から目標設定段１２への帰還路１４により、目標レベルが達成されているか確認することができる。
以上の説明を読めば、他の変更が当業者に明らかになる。このような変更には、オーディオ及び／又はビット信号の編集方法及び装置並びにその構成要素において既知の特徴であってここに記載された特徴に代えて、又は加えて使用しうる他の特徴が含まれる。特許請求の範囲は構成要素の組合せとして記載されているが、本発明で解決すべき技術的な問題の一部又は全部を解決する、しないかかわらず、本明細書に開示された新奇な構成又は構成要素の組合せも本発明の範囲に含まれる。
【図１】
0003758676.tif 000002
【図２】
0003758676.tif 000003
【図３】
0003758676.tif 000004
【図４】
0003758676.tif 000005