(57)【特許請求の範囲】
【請求項１】
符号化段と、エンコーダバッファと、符号化したビデオ信号を少なくとも１つの他の信号とインタリーブさせてシステムストリームを形成するインタリービング手段とを有しているエンコーダ装置にて、ディジタルビデオ信号を各々が２つ以上の画像を含むセグメント形態に符号化する方法であって、各セグメントに対して該方法が：
−セグメントの画像を予定したコード構成に従って順次符号化する過程と；
−符号化した画像をバッファに読み込む過程と；
−符号化したセグメントをほぼ一定のビットレートにてバッファから読み取る過程と；
−バッファの出力信号をシステムストリーム内にインタリーブする過程と
を含むディジタルビデオ信号符号化方法において、
第１セグメントの最終画像がエンコーダバッファに読み込まれた瞬時におけるエンコーダバッファの占有値が、デコーダバッファの占有レベルに関連する第１予定レベルとなるように制御され、デコーダバッファを一定のビット速度にて前記デコーダバッファの占有レベルにまで満たすのに要する時間を導出し、且つ次のセグメントのローディングが開始した後の時点に前記次のセグメントの第１画像をデコーダバッファから読み出すべき旨を示すタイムスタンプを前記次のセグメントのシステムストリーム内に挿入することを特徴とするディジタルビデオ信号符号化方法。
【請求項２】
第１セグメントの画像を符号化するのに用いられる目標ビット数が、前記エンコーダバッファの占有レベルに達するように制御自在に変えられることを特徴とする請求項１に記載の方法。
【請求項３】
エンコーダバッファの最大占有レベルが指定され、且つデコーダバッファの占有レベルが、第１セグメントの最終画像をエンコーダバッファに読み込んだ後の１フレーム期間を前記最大レベルとエンコーダバッファの占有レベルとの差として規定されることを特徴とする請求項１に記載の方法。
【請求項４】
各セグメントの最後のＫ個の各画像に対するそれぞれの目標ビット数が指定され、ここにＫを整数とすることを特徴とする請求項２に記載の方法。
【請求項５】
各セグメントの画像がＭＰＥＧ標準規格に従って符号化されることを特徴とする請求項１に記載の方法。
【請求項６】
各セグメントが２つ以上の画像を含んで映像セグメントの符号化用に構成したディジタルビデオ信号符号化装置であって、該装置が：
各セグメントの連続画像を受け取って、これらの画像を予定したコード構成に従って符号化すべく構成した符号化段と；
前記符号化段からの連続符号化画像を受け取るべく結合され、且つ符号化セグメントをほぼ一定のビットレートにて出力すべく構成したバッファと；
前記バッファの出力および少なくとも１つの他の信号を受信すべく結合され、且つこれらをシステムストリーム内にインタリーブすべく構成したマルチプレクサと；
を具えているディジタルビデオ信号符号化装置において、
前記符号化段がセグメントの画像を制御可能な可変ビット数に符号化すべく作動することができ、前記符号化装置がさらに、第１セグメントの最終画像がエンコーダバッファに読み込まれる瞬時に、エンコーダによって用いられるビット数を、予定したエンコーダバッファの占有値を生成するように制御すべく構成した目標設定手段と、前記予定した占有値に基づいてタイミング値を導出すると共に、デコーダバッファ内への次のセグメントのローディングが開始した時点からのタイミング値によって与えられる遅延に引き続いて、前記次のセグメントの第１画像をデコーダバッファから読み出すべき旨を示すタイムスタンプを前記次のセグメントのシステムストリーム内に挿入すべく作動し得るタイムスタンプ手段とを具えていることを特徴とするディジタルビデオ信号符号化装置。
【請求項７】
前記目標設定手段が、各セグメントのＫ個の最終画像に対して前記符号化段用の１画像当たりのビット数を制御すべく作動し得るようにしたことを特徴とする請求項６に記載の装置。
【発明の詳細な説明】
本発明はオーディオ及びビデオ信号の符号化に関するものであり、特にオンザフライ式に一緒に接合し得るオーディオ及びビデオ資料のセグメントの生成に関するものである。
通常は、２つのビデオクリップを順に再生する必要がある場合に、デコーダを第２クリップの復号化前に開始状態にリセットする必要がある。このリセット期間中、ユーザはスクリーン上に固定された第１クリップの最終フレームを、それに付随する可聴音を消して見ることになる。このようなとぎれはユーザに不快感を与える。
従って、１つのクリップの終了個所と次のクリップの開始個所との間の遷移がデコーダに認識されないようにビデオクリップをシームレスに接合する必要がある。このことは、ユーザの観点からすると、視聴フレームレートに知覚できる変化がなくて、しかもオーディオが中断せずに連続することを意味する。シームレスビデオのアプリケーションは多数ある。ＣＤ−ｉ透視の例に、コンピュータ生成キャラクタ用のホト−リアルバックグラウンドを用いるものがある。この技法の使用例ではアニメーションのキャラクタをＭＰＥＧ符号化ビデオ系列の前に走行させる。他の例として、視聴者が利用可能な他のシナリオを選択することによって映画の筋の展開を変えることのてきる対話式映画のような一連のキャラクタ−ユーザインタラクションがある。ユーザが対話式映画にて選択を行う筋書の分岐点はシームレス個所に現われるようにすべきであり、そのようにしないと、ユーザは鑑賞中の映画に関連する疑惑のサスペンスを失うことになる。
ビデオ信号のセグメントを符号化するのに、デコーダの再初期設定を必要としない方法は、本出願人による１９９４年１２月２日出願の“ビデオ編集バッファの管理”なる名称の英国特許出願第９４２４４３６．５号に開示されている。この方法では、デコーダのバッファレベルを目標値に定めて、各ビデオクリップの終了時におけるデコーダバッファの占有値に一貫性を持たせると共に連続するクリップをデコーダバッファにオーバフロー又はアンダーフローを生じることなく直接接合し得るように各セグメントの開始点を予測し得るようにする。
上述した方法は、ビデオフレームの系列にとっては好適であるも、この方法は通常ビデオフレームに付随する他の情報、例えばオーディオサウンドトラックについては何等考慮していない。ビデオ信号は一般に他の情報と一緒にシステムストリームと称される単一のストリーム内にインタリーブされ、このストリームはデコーダ／ディスプレイ装置に与えられるデータ（例えば、コンパクトディスクから読取られるデータストリーム又はケーブルネットワークを経て伝送されるデータストリーム）を構成する。
従って、本発明の目的はシステムストリームのセグメントをシームレスに接合すると共にデコーダバッファのオーバフロー又はアンダーフローをなくすことにある。
本発明は、符号化段と、エンコーダバッファと、符号化したビデオ信号を少なくとも１つの他の信号とインタリーブさせてシステムストリームを形成するインタリービング手段とを有しているエンコーダ装置にて、ディジタルビデオ信号を各々が２つ以上の画像を含むセグメント形態に符号化する方法であって、各セグメントに対して該方法が：セグメントの画像を予定したコード構成に従って順次符号化する過程と；符号化した画像をバッファに読み込む過程と；符号化したセグメントをほぼ一定のビットレートにてバッファから読み取る過程と；バッファの出力信号をシステムストリーム内にインタリーブする過程とを含むディジタルビデオ信号符号化方法において、第１セグメントの最終画像がエンコーダバッファに読み込まれた瞬時におけるエンコーダバッファの占有値が、デコーダバッファの占有レベルに関連する第１予定レベルとなるように制御され、デコーダバッファを一定のビット速度にて前記デコーダバッファの占有レベルにまで満たすのに要する時間を導出し、且つ次のセグメントのローディングが開始した後の時点に前記次のセグメントの第１画像をデコーダバッファから読み出すべき旨を示すタイムスタンプを前記次のセグメントのシステムストリーム内に挿入することを特徴とする。
後に立証するように、受信したセグメントの復号化をデコーダが開始する瞬時を導出することによりセグメントをシステムストリームのレベルでスムースに接合することができる。又、デコーダバッファの目標レベルは、エンコーダバッファの内容に基づいて計算したレベルであるので、復号化を開始する前にデコーダバッファをできるだけいっぱいに満さなければならない通常の技法は避けられる。
好ましくは共通のデコーダバッファレベル（従って、タイムスタンプの位置付け）を用意する。これは第１セグメントの画像を符号化するのに用いられる目標ビット数を設定すると共に、符号化中の各画像当りの割当てビット数を可制御的に変えて、セグメントの終了時に前記エンコーダバッファの占有レベルに達するようにすることにより達成することができる。
後に説明するように、デコーダバッファのレベルを規定するためには、エンコーダバッファの最大占有レベルが指定され、且つデコーダバッファの占有レベルが、第１セグメントの最終画像をエンコーダバッファに読み込んだ後の１フレーム期間を前記最大レベルとエンコーダバッファの占有レベルとの差として規定されるようにするのが好適である。
本発明はさらに、各セグメントが２つ以上の画像を含む映像セグメントの符号化用に構成したディジタルビデオ信号符号化装置であって、該装置が：各セグメントの連続画像を受け取って、これらの画像を予定したコード構成に従って符号化すべく構成した符号化段と；前記符号化段からの連続符号化画像を受け取るべく結合され、且つ符号化セグメントをほぼ一定のビットレートにて出力すべく構成したバッファと；前記バッファの出力および少なくとも１つの他の信号を受信すべく結合され、且つこれらをシステムストリーム内にインタリーブすべく構成したマルチプレクサと；を具えているディジタルビデオ信号符号化装置において、前記符号化段がセグメントの画像を制御可能な可変ビット数に符号化すべく作動することができ、前記符号化装置がさらに、第１セグメントの最終画像がエンコーダバッファに読み込まれる瞬時に、エンコーダによって用いられるビット数を、予定したエンコーダバッファの占有値を生成するように制御すべく構成した目標設定手段と、前記予定した占有値に基づいてタイミング値を導出すると共に、デコーダバッファ内への次のセグメントのローディングが開始した時点からのタイミング値によって与えられる遅延に引き続いて、前記次のセグメントの第１画像をデコーダバッファから読み出すべき旨を示すタイムスタンプを前記次のセグメントのシステムストリーム内に挿入すべく作動し得るタイムスタンプ手段とを具えていることを特徴とする。
目標設定手段は、上述したようにセグメントのＫ個の最終画像に対し１画像当りのビット数を制御するように構成するのが好適であり、又符号化段は画像を符号化するのに特定ビット数よりも少ないビット数を必要とする場合にゼロ値のビットを詰め込むように構成するのが好適である。
本発明にはさらに、上述した方法によって符号化されるディジタルビデオ映像信号並びにこのような信号を別々にアドレスし得るセグメント形態にて包含する光ディスクを提供するものである。
次に本発明を図面を参照し説明する。
図１は２つのビデオクリップの接合部におけるエンコーダ及びデコーダバッファの内容を示し、
図２はデコーダビデオバッファの占有値とシステムバッファの占有値との関係を示し、
図３〜図５は通常のシステムで、しかも目標としたクリップの最初と最後におけるデコーダビデオバッファの内容及びシステムバッファの内容をそれぞれ示し、
図６及び図７は目標としたオーディオクリップの最初と最後におけるオーディオバッファの内容をそれぞれ示し、
図８及び図９はエンコーダ及びデコーダ装置をそれぞれ概略的に示したものである。
以下の説明はＭＰＥＧ標準規格に従って作動するエンコーダ及びデコーダに関するものであり、以後これらの標準規格による通常の用語を用いるものとする。しかし、本発明の用途がＭＰＥＧ標準規格に制約されないことは当業者に明らかである。
いずれの符号化標準規格も、エンコーダ及びデコーダを如何にして互いにインタフェースさせるかのモデルを用いて開発する必要がある。エンコーダは作動し続けるので、エンコーダはこれがデコーダを決してイリーガルな状態にしないように、デコーダにて起ることをモデル化する必要がある。同様に、デコーダはエンコーダにて用いられるモデルと同じものをサポートして、このエンコーダがリーガル状態に留まり、しかも出力を所定のエンコーダへ発生する必要がある。ＭＰＥＧはこうした規則に従うものである。
先ず、シームレスに接合し得るビデオデータだけのセグメントの生成法につき考察する。このセグメント生成の好適な方法は本出願人による前記英国特許願第９４２４４３６．５号に記載されており、この方法を以下図１を参照して手短に説明する。図１は時間ｔに対するバッファの占有値Ｂの特性を示したものであり、これは１つのビデオフレーム（画像）系列Ａが終了して、別のビデオフレーム系列Ｂが開始するときに起生するエンコーダ及びデコーダのバッファ状態を示している。ＬＡは系列Ａの最終画像を示し、ＦＢは系列Ｂの第１画像を示す。系列Ａから系列Ｂへのデータの転送変化をバッファ占有ラインの太さの変化で示し、鎖線は系列Ａからの画像を示す。或る時間ｔxにて、系列Ａに対する全てのデータが転送し終り、ＶＢＶ（ビデオバッファリング検証装置−ＭＰＥＧデコーダモデル）はＢxビットの占有値を有する。この時点からバッファへ転送される全てのデータは系列Ｂに対するものとなる。なお、系列Ａの終了後にバッファ内にはまだ幾つかの画像を存在するが、これらの画像はバッファがＢ1ビットの占有値を有する時点までには全て除去される。
エンコーダは、それがＶＢＶバッファに所定の占有値を達成させるようとする際に、目標設定として既知のプロセスを実行する。この目標設定のプロセス中に、エンコーダはそれが符号化した第１画像をバッファに格納する際に、ＶＢＶバッファが所定の目標占有値を有するようにする。これは第１画像の大きさに上限値を定める。符号化の実行終了時にエンコーダは、次の系列に対する第１画像がバッファから除去される直前の時点、つまり図１の時点ＢxにおけるＶＢＶ占有値を目標に定める。エンコーダはそれが画像を符号化する際に、最終画像又は最後の数画像の大きさを変えることによってこの状態を目標設定する。
図１に示す例では、エンコーダは状態Ｂtを目標設定する。この状態は新規の系列の第１画像が除去される直前の時点におけるＶＢＶバッファの占有値を示す。エンコーダが動作する際、このエンコーダは一般にデコーダとは直接係わりがないため、ＶＢＶバッファ状態への及びそれからの変換というよりもむしろ、その出力バッファに基いて画像の大きさを管理する。従って、下記の記載はＢtc及びＢ1cに関するものである（図１の上部のエンコーダ占有値参照）。
開始状態を目標に定める場合に、エンコーダはそれが第１画像を取り入れる時点にそのバッファに所定の占有値をとらせるものとする。このバッファ占有値がＢtcビットであり、これは前の系列の終了時点からの残留ビットを表わす。こうした残留ビットの存在はＢtビットとすべき第１画像の最大の大きさを制限し、時間ｔtcの後に全てのビットが除去されるまでの後の画像の大きさに影響を及ぼし続ける。
エンコーダの観点からして、開始状態で目標を定めることは極めて簡単なことであり、これはエンコーダの初期占有値を通常の空の開始状態と云うよりむしろＢtcビットに設定するだけで済むからである。
エンコーダの処理が或る系列の終りに近づくと、このエンコーダは最終画像をバッファ内に格納する際に占有値がＢ1cビットに増加するような大きさにその最終画像の大きさを定めることにより点Ｂ1cを目標に定めようとする。エンコーダは、最終画像に対する大きさだけを大きくしようとする場合には品質の極めて劣る画像を生成することになる。こうしたことをなくすために、エンコーダには最終ＧＯＰ（画像のグループ）に対する目標ビット数及びＧＯＰ内のＫ個の各画像に対する目標ビット数を持たせて、エンコーダが漸次正しい状態に近づくようにするのが好適である。
システム層について考察するに、これはマルチプレクサがビデオ、オーディオ及び他の基本ストリームを１つのシステムストリームに合成する際に生成される。システムストリームはインタリーブされた基本ストリーム及びタイミング情報をシステムクロックレファレンス（ＳＣＲ）、プレゼンテーションタイムスタンプ（ＰＴＳ）及びデコーディングタイムスタンプ（ＤＴＳ）の形態にて包含する。
マルチプレクサの作動は、データをシステムストリームからデコーダのバッファへ、これらのバッファが決して完全には空にならないような十分な速さで、しかも前記バッファが決してオーバフローしないような速度にて転送することにある。ＭＰＥＧ標準規格はディジタル記憶媒体（ＤＳＭ）からデコーダへのデータの転送をモデル化するのに用いられるシステム目標デコーダ（ＳＴＤ）と称するバッファを規定している。このバッファの目的は、データをインイリーブするために、デコーダへのデータの転送がバースト単位で行われるも、デコーダのパフォーマンスモデルが一定のビットレートを呈すると云うことをマスクすることにある。ビデオ及びオーディオストリームを多重化するための通常の戦略は、例えばＳＴＤバッファをできるだけいっぱいに満たすことによって開始する。こうして作った最終パックのＳＣＲは適当な値に設定され、この時点にバッファから第１画像が除去されるようにする。次に、前のパックのＳＣＲが正しい値に設定され、これはこれらのＳＣＲがやがて前記最終パックの先頭に達するからである。最終的に、バッファは基本ストリームからのデータが全て消費されるまでできるだけいっぱいの状態に維持される。
多重動作は多少複雑となり、これはマルチプレクサが多重ストリームとジャッグルしなければならないからである。又、マルチプレクサはそれが目標プラットホームを規定しているので、システムストリームの明細を満たすのに必要とされるいずれの追加の特徴も支援する必要がある。
ＳＴＤバッファは図２に示すようにＶＢＶバッファを囲むものと想定することができる。この図はＳＴＤとＶＢＶとの関係を簡単に示したものである。図２にはＶＢＶバッファを囲むＳＴＤバッファの占有値（太線）を示してある。ここで注意すべき点は、ＳＴＤバッファの占有値の線の傾斜がＶＢＶの線の傾斜よりも大きいことである。これはＤＳＭのビットレートが符号化ビデオ信号のビットレートよりも速いからである。Ｑで示した時間にはＳＴＤにデータが転送されないことも明らかである。こうしたことが起る理由は、ＤＳＭの帯域幅が他の基本ストリームによって引継がれるか、或いはバッファ管理が行われるためにマルチプレクサがデータをＳＴＤへ転送しなくしたりするからである。
図３は通常の、即ち目標設定しないストリームの復号化開始時にＶＢＶ及びＳＴＤの占有値がどのようになるかを示したグラフである。このグラフでは判り易くするために、画像が２つのバッファから除去される時間（システム−ティック）を互いに同期をとって示してある。ＶＢＶはデータ転送開始時間のコンセプトを有さず、ＶＢＶ遅延に基づく画像除去時間のコンセプトを有するだけである。グラフを並べるために、この図ではＶＢＶのサンプル時間に一定のオフセットを与えてある。
図３から明らかなように、マルチプレクサ及びエンコーダはクリップの開始時には同じような戦略に従う。即ち、それらのバッファには上述したように第１画像が除去される前はできるだけ多くのデータが満たされている。この場合に、ＳＴＤバッファの占有値を示す線が常にＶＢＶの占有値を包含していることも明らかである。この規則に対する例外は開始期間にあり、これはＤＳＭのデータ速度がＶＢＶのデータ速度よりも速くて、ＳＴＤへの伝送がＶＢＶの後に開始するからである。
互いに鎖状につなぐことのできるシステムストリームの生成に転じるに、先ずビデオデータを包含しているシームレスのシステムストリームの生成につき考察する。図１に戻るに、系列Ａの終了時点から全てのビットを除去するのにかかる時間は、系列Ａのデータ転送が終了する時点にバッファ内にどれだけ多くの画像があるかに依存する。この時間はソース資料及び使用するエンコーダに依存する。従って、時間ｔxにおけるバッファの占有値はクリップ毎に変化する。このために、マルチプレクサは、通常計算に利用できる情報、即ちビットレートや、フレームレートや、Ｂtがどのようなものであるかに基づいてｔx及びＢtがどのようになるのかを計算することができない。
上述した全ての未知の問題を回避するために、系列Ａの転送が終了する際にバッファにおけるデータが、Ｂtビットを一定の速度で転送するのに要する時間を十分にカバーするようにする。このようにすると、多重ストリームの開始時にＢtビットを転送する最大時間を次のように設定し得ることを認識した。即ち、
ｔt＝Ｂt／Ｒ                      （１）
ここに、ｔtは図１に示したような時間であり、Ｒは転送速度である。
この時間はマルチプレクサにとって重要であり、その理由はこの時点にてＳＣＲの時間を設定することができるからであり、又この時点は第１画像をＳＴＤバッファから除去すべき時点である。従って、マルチプレクサはＳＴＤバッファを少なくともＢtビットに満たすべくセットされ、且つＳＣＲをセットして、この時点にて第１画像が除去されるようにする。なお、この点は第１画像を除去する時点にバッファにできるだけ多くのデータを満たしておく通常の技法とは相違する。
ここで注意すべきことは、ＳＴＤバッファの方がＶＢＶバッファよりも大きいと云うことにある。
条件付きのシステムパラメータの場合には、ＳＴＤバッファを最大４０ＫバイトのＶＢＶの大きさに比べて４６Ｋバイトまでとすることができる。この特別なスペースがあるために、マルチプレクサは種々の基本ストリームを１つのシステムストリーム内にインタリーブして、デコーダへのまばらな転送をなくすことができる。
図４は目標設定した多重動作の開始時にＶＢＶ及びＳＴＤバッファの状態がどのようになるのかを示すグラフである。このグラフは図３と同様に時間ｔに対する占有値Ｂ（ビット）をシステムティック（クロックパルス）の形態にて示したものである。なお、ＶＢＶ及びＳＴＤバッファの占有値は第１画像がバッファから除去される時点に同じとなる。この時点からＳＴＤバッファの占有値はＶＢＶバッファのそれに追いつき始め、これはデータ転送速度が速いからである。
マルチプレクサはＳＴＤバッファの終了状態までは制御しない。この終了状態はエンコーダによって制御されるバッファ内にまだ存在する画像の大きさに依存する。好ましくは、マルチプレクサがデータをＳＴＤにできるだけ早く転送して、ＳＣＲのオーバラップとして既知の問題、つまり最初のクリップからの全てのデータが転送し終わらない時にデータが次のクリップに対する期限となることに対処するようにする。このようなことに対して提案されているマルチプレクサ戦略は、データがどんなに小さくてもＳＴＤバッファがデータを受入れることができる時は常にデータパケットを作製することにある。
図５はクリップの終了時におけるＶＢＶ及びＳＴＤの状態を示すグラフである。これから明らかなように、ＳＴＤへのデータの転送はＶＢＶへの転送前に終了する。これはＳＴＤバッファの方が大きく、しかも受信するビットレートが速いからである。クリップの終了に向けて２つのグラフは再び収束する。これは双方のバッファへのデータ転送が終了して、これらのデータがクリップの端部を成す画像だけを含む時点である。こうした端部画像をバッファから除去するのに要する時間は、そのクリップの第１画像を除去する前にバッファを次のクリップからのデータで満たすのに利用できる時間である。この充填時間を図１に時間ｔtとして示してある。
オーディオ信号について考察すると、オーディオ信号に対してはＶＢＶバッファに等価なものは存在せず、シームレスオーディオの生成はビデオの場合よりも遙かに簡単である。その理由は、オーディオ信号は一定のビットレートで符号化されるからである。換言するに、同じように符号化される全てのオーディオフレームは同じ大きさ（１バイト以内）であるが、ビデオフレームの大きさはフレームのタイプ及び複雑性に依存して変化するからである。しかし、マルチプレクサはＳＴＤのバッファ状態を、第１オーディオフレームがビデオフレームと同様に除去される時点に目標設定することができる。
図６は目標オーディオ多重処理の開始のグラフを示す。この場合には、マルチプレクサはＳＴＤの状態を第１オーディオフレームが除去される時点に２０４８バイト（１６３８４ビット）に目標設定する。充填時間は図１のｔtに相当し、同じような特性を有し、この時間はデータ転送の終了時のバッファ内のオーディオフレームにより表わされる時間より大きくしてはならない。マルチプレクサがその目標値に到達し、第１オーディオフレームが除去される場合には、ＳＴＤのバッファをできるだけいっぱいの状態に維持する戦略をそのままとる。グラフの大きな増大傾斜はオーディオパケットの転送を表わす。この場合におけるオーディオパケットは約２Ｋバイトの大きさとする。これは、そのケットがＣＤ−ｉ再生に対して約２ＫバイトのＣＤ−ｉセクタと多重されているからである。
図７はオーディオクリップの終了時にＳＴＤに起生する状態を示している。データ転送の終了時にバッファ内のオーディオフレームを示す占有値の規則正しい段階的な減少が開始する。これらの残留オーディオフレームは１つのオーディオクリップの終了から次のオーディオクリップへの切り換えをマスクする。これらの残留オーディオフレームはフレーム数に依存する有限時間継続するが、図６から明らかなように、ＳＴＤのバッファをその目標値に充填するのに要する時間は残留フレームによりマスクされる時間に比べて遙かに短いために、ＤＳＭのビットレートがオーディオビットレートよりも相当高いものと仮定すると、ＳＴＤのアンダーフローは生じなくなる。実験の結果、オーディオ信号に対しては、ＳＴＤのバッファをフル状態の約５０％に目標設定すると容認できる結果が得られることを確かめた。
図８はそれぞれビデオ信号Ｖ及びオーディオ信号Ａ用の別個のエンコーダ段１０，１２を有するエンコーダ装置を示す。ビデオ信号内のフレームを（例えば、系列の第１画像及び最終画像に対する相対位置により）識別するフレーム基準信号ＦＣ用の他の入力端子が目標設定段１４に接続され、この目標設定段は系列の画像に対するビット割当を指定する。なお、オーディオエンコーダには対応する目標設定段は存在しない。これは上述したように、符号化されたオーディオフレームの大きさが一定であるために不要である。
各エンコーダ段１０，１２からの出力は図示のようにそれぞれのバッファ１６，１８に供給される（実際にはこれらのバッファはそれぞれのエンコーダ段の一部を構成する）。ビデオエンコーダ段１０の出力から目標設定段１４への帰還路２０により、設定目標が符号化したグループ内の１画像当りの所要バット数になったかどうかを検査することができる。
バッファされた出力はマルチプレクサ２２によりインタリーブされる。このマルチプレクサはタイムスタンプも挿入して単一データストリームＤＳ（システムストリーム）を形成し、次いでこのストリームをデコーダに伝送するか、又はコンパクトディスクのような適当な媒体に記憶することができる。
デコーダ（図９）では、デマルチプレクサ２４が入力ストリームを監視する検出器２６を参照して、ストリームＤＳをビットチャネル及びオーディオチャネルに分離する。分離したビデオ及びストリームはそれぞれのバッファ２８，３０へ供給され、そこからそれぞれのデコーダ段３２，３４に供給され、復号化されて出力信号Ｖout，Ａoutを出力する。これらのバッファは実際にはそれぞれのデコーダ段の一部を構成するが、これらはＳＴＤモデルを明瞭に示すために分離して示してある。
以上の説明から、他の様々な変更は当業者に明らかである。このような変更には、オーディオ及び／又はビット信号の編集方法および装置並びにその構成要素において既知であって、ここに記載した特徴に代えて、又はそれに加えて使用し得る他の特徴が含まれる。特許請求の範囲は構成要素の組合せとして記載してあるが、本発明で解決すべき技術的な問題の一部又は全部を解決するか、しないかに拘らず、本明細書に開示した新規な構成又は構成要素の組合せも本発明の範囲に含まれるものである。
【図１】
0003758677.tif 000002
【図２】
0003758677.tif 000003
【図３】
0003758677.tif 000004
【図４】
0003758677.tif 000005
【図５】
0003758677.tif 000006
【図６】
0003758677.tif 000007
【図７】
0003758677.tif 000008
【図８】
0003758677.tif 000009
【図９】
0003758677.tif 000010