(57)【要約】【課題】  複数のビデオのビットストリームを結合する際に、デコーダバッファを破綻させずにシームレスな結合を可能とする。【解決手段】  符号化装置１０からの第１のビットストリームの後に符号化装置２０からの第２のビットストリームを結合する場合に、符号化部１２は、端子１４からの制御信号に応じて、第１のビットストリームの終端付近で第２のビットストリームのスタートアップに必要なデコーダバッファ量を確保するための制限を加えて符号化し、符号化部２２は、端子２４からの制御信号に応じて、第２のビットストリームの先頭付近で第２のビットストリームのスタートアップに必要なデコーダバッファ量を確保するための制限を加えて符号化する。【選択図】  図１
2005204334.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル信号のビットストリームを符号化するディジタル信号符号化方法において、
圧縮符号化された複数のビットストリームを結合する場合の時間的に前となる第１のビットストリームの終端付近でのバッファ占有量に対して、所定の制限を設けて符号化する
ことを特徴とするディジタル信号符号化方法。
【請求項２】
上記所定の制限は、結合される時間的に後の第２のビットストリームのスタートアップに必要なバッファ量を確保するための制限である
ことを特徴とする請求項１記載のディジタル信号符号化方法。
【請求項３】
上記所定の制限としては、結合される時間的に後の第２のビットストリームのスタートアップに必要なバッファ量をα、符号化ビットレートをＲＢ、上記第１のビットストリームの最後の画像のバッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ）の時刻からバッファ占有量の制限が開始され、この時刻をｔ＝０とするときのバッファ占有量をＢＯ(t) とし、バッファの全容量をＢＦとするとき、ＢＯ(t)＝ＢＦ−ＲＢ×ｔ となるような制限を加えて上記第１のビットストリームの終端付近を符号化する
ことを特徴とする請求項１記載のディジタル信号符号化方法。
【請求項４】
ディジタル信号のビットストリームを符号化するディジタル信号符号化方法において、
圧縮符号化された複数のビットストリームを結合する場合の時間的に後となる第２のビットストリームの先頭付近でのバッファ占有量に対して、所定の制限を設けて符号化する
ことを特徴とするディジタル信号符号化方法。
【請求項５】
上記所定の制限は、結合される時間的に後の上記第２のビットストリームのスタートアップに必要なバッファ量を確保するための制限である
ことを特徴とする請求項４記載のディジタル信号符号化方法。
【請求項６】
上記所定の制限としては、結合される時間的に後の第２のビットストリームの先頭の画像のバッファからの引き抜き時刻をＴ’とし、フレームレートをＲＦとするとき、Ｔ’−１／ＲＦの時刻におけるバッファ占有量βが、上記第２のビットストリームのスタートアップに必要なバッファ量αに対して、β＜αとなるような制限を加えて上記第２のビットストリームの先頭付近を符号化する
ことを特徴とする請求項４記載のディジタル信号符号化方法。
【請求項７】
複数のディジタル信号をそれぞれ圧縮符号化して得られた複数のビットストリームを結合して出力するディジタル信号編集方法において、
結合される時間的に前の第１のビットストリームの終端付近でのバッファ占有量に対して、所定の制限を設けて符号化し、
結合される時間的に後の第２のビットストリームの先頭付近でのバッファ占有量に対して、所定の制限を設けて符号化する
ことを特徴とするディジタル信号編集方法。
【請求項８】
上記第１のビットストリームの終端付近でのバッファ占有量に対する所定の制限は、結合される時間的に後の上記第２のビットストリームのスタートアップに必要なバッファ量を確保するための制限であり、
上記第２のビットストリームの先頭付近でのバッファ占有量に対する所定の制限は、結合される時間的に後の上記第２のビットストリームのスタートアップに必要なバッファ量を確保するための制限である
ことを特徴とする請求項７記載のディジタル信号編集方法。
【請求項９】
上記第１のビットストリームの終端付近でのバッファ占有量に対する所定の制限としては、結合される時間的に後の上記第２のビットストリームのスタートアップに必要なバッファ量をα、符号化ビットレートをＲＢ、上記第１のビットストリームの最後の画像のバッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ）の時刻からバッファ占有量の制限が開始され、この時刻をｔ＝０とするときのバッファ占有量をＢＯ(t) とし、バッファの全容量をＢＦとするとき、ＢＯ(t)＝ＢＦ−ＲＢ×ｔ となるような制限を加えて上記第１のビットストリームの終端付近を符号化し、
上記第２のビットストリームの先頭付近でのバッファ占有量に対する所定の制限としては、結合される時間的に後の第２のビットストリームの先頭の画像のバッファからの引き抜き時刻をＴ’とし、フレームレートをＲＦとするとき、Ｔ’−１／ＲＦの時刻におけるバッファ占有量βが、上記第２のビットストリームのスタートアップに必要なバッファ量αに対して、β＜αとなるような制限を加えて上記第２のビットストリームの先頭付近を符号化する
ことを特徴とする請求項７記載のディジタル信号編集方法。
【請求項１０】
上記制限を加えて符号化された上記第１のビットストリームと上記第２のビットストリームとを結合する際に、
上記第１のビットストリームの最後に付加されているsequence_end_code を削除し、
上記バッファ量α、βに対して、（α−β）及び削除された上記sequence_end_code 分の充填ビットをビットストリームに加えて結合する
ことを特徴とする請求項７記載のディジタル信号編集方法。
【請求項１１】
ディジタル信号のビットストリームを符号化して出力し伝送するディジタル信号伝送方法において、
圧縮符号化された複数のビットストリームを結合するための１つのビットストリームの終端付近で、バッファ占有量に対して第１の所定の制限を設けて符号化するとともに、該ビットストリームの先頭付近で、バッファ占有量に対して第２の所定の制限を設けて符号化する
ことを特徴とするディジタル信号符号化方法。
【請求項１２】
上記第１の所定の制限としては、結合される時間的に後の他のビットストリームのスタートアップに必要なバッファ量をα、符号化ビットレートをＲＢ、現ビットストリームの最後の画像のバッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ）の時刻からバッファ占有量の制限が開始され、この時刻をｔ＝０とするときのバッファ占有量をＢＯ(t) とし、バッファの全容量をＢＦとするとき、ＢＯ(t)＝ＢＦ−ＲＢ×ｔ となるような制限を加えて現ビットストリームの終端付近を符号化し、
上記第２の所定の制限としては、現ビットストリームの先頭の画像のバッファからの引き抜き時刻をＴ’とし、フレームレートをＲＦとするとき、Ｔ’−１／ＲＦの時刻におけるバッファ占有量βが、当該ビットストリームのスタートアップに必要なバッファ量αに対して、β＜αとなるような制限を加えて当該ビットストリームの先頭付近を符号化する
ことを特徴とする請求項１１記載のディジタル信号伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号及び音響信号等を、例えば光磁気ディスクや磁気テープ等の記録媒体に記録し、これを再生してディスプレイに表示したり、テレビ会議システム、テレビ電話システム、放送用機器等、動画像信号及び音響信号等を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合等に用いて好適なディジタル信号符号化方法、編集方法、及び伝送方法に関する。
【背景技術】
【０００２】
近年において、例えば、画像信号や音響信号を、所定の標準規格の圧縮方式を用いて圧縮してディジタルのビットストリームデータを生成し、必要に応じてこれらを多重化して伝送することが行われる。
【０００３】
上記標準規格の具体例としては、ＭＰＥＧ（Moving Picture Coding Experts Group ）規格を挙げることができる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ29（International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 / SuＢCommittee 29：国際標準化機構／国際電気標準会議  合同技術委員会１／専門部会２９）の蓄積用動画像符号化の検討組織の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1及びISO13818-1が、映像の項目でISO11172-2及びISO13818-2が、また音声の項目でISO11172-3及びISO13818-3がそれぞれ標準化されている。
【０００４】
ここで、画像圧縮符号化規格としてのISO11172-2又はISO13818-2においては、画像信号を、画像（フレーム又はフィールド）単位で、画像の時間および空間方向の相関を利用して、圧縮符号化を行うものである。
【０００５】
このような画像信号を圧縮符号化して、ディジタルの符号化ビットストリームを生成し、記録媒体あるいは伝送媒体などのメディアを介して、得られたビットストリームを復号するために用いられる装置全体の概略構成を、図５に示している。
【０００６】
この図５において、入力端子１０１に供給された画像信号は、上述したいわゆるＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部１０２に送られて圧縮符号化される。この場合に、各画像が圧縮の単位となるが、この圧縮符号化された画像データの大きさは一定ではないので、出力段に送信バッファ１０３を設けて、このバッファの占有量を符号化装置にフィードバックさせることによって、送信バッファ１０３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。また、この符号量の調節によって、送信バッファ１０３の出力段からは、安定したビットレートでのビットストリームが出力される。
【０００７】
出力された符号化ビットストリームは、伝送媒体や蓄積媒体等のメディア１０５を介して、復号側に送られる。復号側では、符号化と全く逆の操作を行う。すなわち、一定レートで送られてきたビットストリームを受信バッファ１０６が受け取り、復号装置１０７が受信バッファ１０６から符号化単位である符号化画像データ（アクセスユニット：ＡＵ）単位で読み出しを行う。従って、受信バッファ１０６からの読み出しは間欠的になる。この読み出された画像データは、復号装置１０７によって元の画像データに復元され、出力端子１０８より取り出される。
【０００８】
次に、図６は、上記図５の復号側の受信バッファ（デコーダバッファ）１０６の動作を説明するための図である。この図６は、受信バッファ１０６に入力された画像ビットストリームの占有率を図示したものである。この受信バッファ１０６には、一定レートで画像データが入力され、この一定レートの入力が右上がりの直線で示されている。それぞれの画像データＰ1,Ｐ2,Ｐ3,…は、基本的には、予め決められた各々の復号時刻ｔ１,ｔ２,ｔ３,…に、符号化単位（アクセスユニット単位：ＡＵ単位）でバッファから引き抜かれる。このため、バッファ占有量は、図６に示すように鋸歯状の軌跡を描くことになる。
【０００９】
このようなデコーダバッファをオーバーフローやアンダーフローさせないように符号化する、という内容が、上記規格ISO11172-2又はISO13818-2のAnnex C に規定されるＶＢＶ（Video Buffer Verifier） の規定である。この内容は、ビットストリームが上記ＭＰＥＧの条件を満足していると認定されるための必要条件となる。
【００１０】
【非特許文献１】ISO13818-2規格書
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、上述したようなＭＰＥＧ１（ISO11172-2）、ＭＰＥＧ２（ISO13818-2）の規格に基づいて符号化された画像信号を複数扱う場合に、別々の系で独立に符号化されたビットストリームを結合することは、一般的に困難である。特に、結合点において、連続して画像が静止（フリーズ）せずに結合される、いわゆるシームレスな結合というのは、何ら制限を加えないで生成したビットストリームでは殆ど不可能である。
【００１２】
図７は、単純に２つのビットストリームを結合した例を示している。この図７の例においては、時間的に前の第１のビットストリームＢＳ１の表示終了の直後に、次の第２のビットストリームＢＳ２の復号を開始した場合を示している。一般にビットストリームの先頭では、バッファにある程度のデータを蓄積してから復号を開始するためのスタートアップディレイという待ち時間が必要である。このため、結合点Ｊでは、このディレイの分、次の復号画像の復号／表示が遅れることになり、表示フレームが数フレーム分静止（フリーズ）するという現象が生じる。従って、このような場合、いわゆるシームレスな再生が行えない。なお、この図７において、図中の時点ｘ１でデータ供給が停止して、結合点Ｊで第１のビットストリームＢＳ１の最後のピクチャが引き抜かれ、時点ｘ２でフレームをフリーズ（静止）してビットストリームを結合し、次の時点ｘ３で第２のビットストリームＢＳ２の最初のピクチャが引き抜かれている。
【００１３】
次に、図８は、上記図７と同様なビットストリームをシームレスに再生するために、上記スタートアップディレイの分だけバッファへのデータ入力を前倒しした例を示している。この図８の例では、シームレスな再生を優先したため、時間的に後のビットストリームＢＳ２の先頭の画像の復号が、時間的に前のビットストリームＢＳ１の最後の画像の復号（図８中の結合点Ｊ）から、１／ＦＲ分（ただし、ＦＲはフレームレート）の時間後（図８中の時点ｘ２）  に復号されるようになっている。この場合、ビットストリームＢＳ１の最後の画像（結合点Ｊで引き抜かれるピクチャ）の復号より前（図８中の時点ｘ１）  に、ビットストリームＢＳ２がバッファに入力されるために、ビットストリームＢＳ１の最後の画像の復号時（結合点Ｊ）に、デコーダバッファの占有量がオーバーフローを引き起こすことになる。
【００１４】
すなわち、従来の符号化方法で符号化された画像信号のビットストリームをシームレスに結合することは、一般的にほぼ不可能であった。
【００１５】
本発明は、上述したような実情に鑑みてなされたものであり、２つの画像信号のビットストリームを結合する場合に、デコーダバッファの占有量がオーバーフローやアンダーフローすることなく、また静止画を挟むことなくシームレスに結合が行えるようなディジタル信号符号化方法、編集方法、及び伝送方法の提供を目的とするものである。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明は、ディジタル信号のビットストリームを符号化して出力する場合に、圧縮符号化された複数のビットストリームを結合する場合の時間的に前となる第１のビットストリームの終端付近のデコーダバッファ占有量に対して、第１の所定の制限を設けて符号化することを特徴としている。
【００１７】
また、本発明は、圧縮符号化された複数のビットストリームを結合する場合の時間的に後となる第２のビットストリームの先頭付近のデコーダバッファ占有量に対して、第２の所定の制限を設けて符号化することを特徴とする。
【００１８】
ここで、上記第１、第２の制限は、結合される時間的に後の上記第２のビットストリームのスタートアップに必要なデコーダバッファ量を確保するための制限である。より具体的には、上記第１の所定の制限としては、結合される時間的に後の第２のビットストリームのスタートアップに必要なバッファ量をα、符号化ビットレートをＲＢ、上記第１のビットストリームの最後の画像のバッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ）の時刻からバッファ占有量の制限が開始され、この時刻をｔ＝０とするときのバッファ占有量をＢＯ(t) とし、バッファの全容量をＢＦとするとき、ＢＯ(t)＝ＢＦ−ＲＢ×ｔとなるような制限を加えて上記第１のビットストリームの終端付近を符号化する。また、上記第２の所定の制限としては、結合される時間的に後の第２のビットストリームの先頭の画像のバッファからの引き抜き時刻をＴ’とし、フレームレートをＲＦとするとき、Ｔ’−１／ＲＦの時刻におけるバッファ占有量βが、上記第２のビットストリームのスタートアップに必要なバッファ量αに対して、β＜αとなるような制限を加えて上記第２のビットストリームの先頭付近を符号化する。
【００１９】
また、本発明は、制限を加えて符号化された上記第１のビットストリームと上記第２のビットストリームとを結合する際に、上記第１のビットストリームの最後に付加されているsequence_end_code （シーケンスエンドコード）を削除し、上記バッファ量α、βに対して、（α−β）及び削除された上記sequence_end_code 分の充填ビットをビットストリームに加えて結合することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、複数のビットストリームを結合する場合に、結合点の前の第１のビットストリームの終端付近のデコーダバッファ占有量に対して、第１の所定の制限を設けて符号化し、また、結合点の後の第２のビットストリームの先頭付近のデコーダバッファ占有量に対して、第２の所定の制限を設けて符号化しているため、シームレスな結合をバッファの破綻無く行うことができる。
【００２１】
ここで、第１、第２の制限は、第２のビットストリームのスタートアップに必要なデコーダバッファ量を確保するための制限であり、このような制限を加えて符号化された第１、第２のビットストリームを結合することにより、ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）を用いて圧縮符号化された２本のビデオのビットストリームを、ＶＢＶ（Video Buffer Verifier） の規定を守り、かつ画像の表示がフリーズ（静止）などを伴わずに連続してビットストリームの結合が行える。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
図１は、本発明の実施の形態を説明するための図である。この図１に示す実施の形態においては、入力端子１１に供給された第１の画像信号を符号化装置１０で符号化して得られた第１のビットストリームの後に、入力端子２１に供給された第２の画像信号を符号化装置２０で符号化して得られた第２のビットストリームを結合する場合を想定している。
【００２４】
図１の符号化装置１０の入力端子１１に供給された第１の画像信号は、上述したいわゆるＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部１２に送られて圧縮符号化され、第１のビットストリームとして取り出される。この場合に、各画像が圧縮の単位となるが、この圧縮符号化された画像データの大きさは一定ではないので、出力段に送信バッファ１３を設けて、このバッファの占有量を符号化にフィードバックさせることによって、送信バッファ１３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。このとき、上記第１の画像信号を符号化して得られる第１のビットストリームの終端付近のデコーダバッファ占有量に対して制限を設けて符号化しており、特に、第１のビットストリームの後に連結される第２のビットストリームのスタートアップに必要とされるデコーダバッファ量を確保するための制限を、第１のビットストリームの終端付近のバッファ占有量に対して設けている。この制限については、端子１４からの制御信号に応じて施されるものであるが、その内容については図２を参照しながら後述する。
【００２５】
また、符号化装置２０の入力端子２１に供給された第２の画像信号は、上述と同様にＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部２２に送られて圧縮符号化され、第２のビットストリームとされるが、出力段に送信バッファ２３を設けて、このバッファの占有量を符号化装置にフィードバックさせることによって、送信バッファ２３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。このとき、第２のビットストリームの終端付近のバッファ占有量に対して制限を設けており、特に、上記第２のビットストリームのスタートアップに必要とされるバッファ量を確保するための制限を、第２のビットストリームの終端付近のバッファ占有量に対して設けている。この制限については、端子２４からの制御信号に応じて施されるものであるが、その内容については図３を参照しながら後述する。
【００２６】
これらの符号化装置１０からの第１のビットストリーム及び符号化装置２０からの第２のビットストリームは、ビットストリーム結合部３０において第１のビットストリームの後に第２のビットストリームの順に結合され、出力端子３６より取り出される。この結合については、図４を参照しながら後述する。
【００２７】
すなわち、結合部３０で結合する第１、第２のビットストリームの時間的に前の第１のビットストリームの終端近傍でのバッファ占有量にある制限を設けて符号化装置１０で符号化しておき、なおかつ時間的に後ろの第２のビットストリームの先頭部分でのバッファ占有量にある制限を設けて符号化装置２０で符号化しておくことによって、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier） の規定を守り、かつシームレスに、すなわち画像の表示がフリーズ等を伴わず連続して行えるように結合するわけである。
【００２８】
これは、結合点においてシームレスな結合を行った場合、上述した従来例に説明したようなデコーダバッファのオーバーフローが起きる可能性があるため、シームレス結合に必要なスタートアップに必要とされるバッファ量を予め見込んで、結合点の前後における符号化制御を行うものである。
【００２９】
具体的には、結合点Ｊの前に位置する第１のビットストリームＢＳ１の終わり付近のビットレートを、図２に示すように制限する。ここで、予め決められた、連結される後ろの第２のビットストリームをシームレスに連結した場合のスタートアップに必要なバッファ量をαとする。このバッファ量αは、現実の運用において適当な値を設定する。符号化ビットレートをＲＢで表し、バッファの全容量をＢＦとし、最後の画像のバッファからの引き抜き時刻をＴとする。
【００３０】
この場合、結合点Ｊの時刻をＴとすると、バッファ占有量の制限としては、
Ｔ−（α／ＲＢ）
の時刻から開始され、この時刻をｔ＝０として、時間が進む方向を正とし、バッファの占有量はｔの関数として表されるため、これをＢＯ(t) とすると、
ＢＯ(t)＝ＢＦ−ＲＢ×ｔ
となるような制限を加えて、結合よりも時間的に前のビットストリームの終端近傍を符号化する。これが結合点の前における第１のビットストリームＢＳ１への制限となる。図１においては、端子１４からの制御信号が符号化部１２に与えられることにより、ビットストリームの終端付近の符号化の際に、上述したような制限が加えられる。
【００３１】
同様に、結合点Ｊの後ろに位置する第２のビットストリームＢＳ２の先頭付近のビットレートを、図３に示すように制限する。最初のフレームの表示時刻の１／ＲＦ前のバッファ占有量が上記αより小さいように、スタートアップ時のビットレートを制限しておくわけである。すなわち、後ろの第２のビットストリームＢＳ２の先頭のピクチャのバッファからの引き抜き時刻をＴ’とし、フレームレートをＲＦとした場合に、（Ｔ’−１／ＲＦ）の時刻におけるバッファ占有量βが、予め決められた第２のビットストリームＢＳ２をシームレスに連結した場合のスタートアップに必要なバッファ量αに対して、β＜αとなるような制限を加えて、後ろの第２のビットストリームＢＳ２の先頭部分を符号化する。図１においては、端子２４からの制御信号が符号化部２２に与えられることにより、ビットストリームの先頭付近の符号化の際に、上述したような制限が加えられる。
【００３２】
この図３中のＶＢＶ_dilayとは、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier） の規定により、デコーダ側のバッファにおいて引き抜かれるピクチャに対して必要とされるバッファ蓄積量を時間で示したものであり、デコーダにビットストリームが供給が開始されてＶＢＶ_dilayの期間が経過した時刻（Ｔ’）に、最初の表示単位のピクチャがバッファから引き抜かれ、復号される。
【００３３】
以上の図２、図３と共に説明したような制限が加えられて符号化された第１、第２のビットストリームを、図１のビットストリーム結合部３０に送って結合する場合の具体例について、図４を参照しながら説明する。
【００３４】
図４は、上述した条件に従ってエンコードしたものを結合した具体例を示している。この場合、前の第１のビットストリームＢＳ１の最後の部分では、上記αの分のバッファ占有量と、これを時間換算したα／ＲＢの分のスタートアップディレイをマージンとして持っているために、後ろの第２のビットストリームＢＳ２を結合しても、バッファのオーバーフローを引き起こすことはない。また、実際の結合では、前の第１のビットストリームＢＳ１の最後の部分のsequence_end_code （シーケンスエンドコード）を削除し、削除されたsequence_end_code と（α−β）の分については、ビット充填（bit stuffing）を行うことで、整合性の保たれた結合が可能となる。
【００３５】
すなわち、第１のビットストリームＢＳ１の最後のレートコントロールを、上記αを用いたオーバーフローレベルＢＯ(t) に抑え込むように第１の符号化装置１０で符号化し、第２のビットストリームＢＳ２の先頭で、時刻（Ｔ’−１／ＲＦ）でのバッファ占有量βが上記αより小さくなる（β＜α）ように第２の符号化装置２０で符号化することにより、シームレスな結合を行ってもバッファがオーバーフローしないことが保証され、αとβとの差分及び上記削除された第１のビットストリームＢＳ１び終端の部分のsequence_end_code については、無効データ（例えば０等）を充填することで、ＭＰＥＧのＶＢＶ（Video Buffer Verifier） の規定の整合性を保ったままでビットストリームの結合を実現している。
【００３６】
ここで、図１のビットストリーム結合部３０においては、符号化装置１０からの第１のビットストリームＢＳ１の最後の部分のsequence_end_code をデマルチプレクサ３１で検出してＣＰＵ３５に送っており、符号化装置２０からの第２のビットストリームＢＳ２の先頭の部分のsequence_start_code （シーケンススタートコード）をデマルチプレクサ３２で検出してＣＰＵ３５に送っている。これらのデマルチプレクサ３１、３２からの第１、第２のビットストリームＢＳ１、ＢＳ２は、切換スイッチ３４の被選択端子ａ，ｂにそれぞれ送られており、切換スイッチ３４の第３の被選択端子ｃには、ビット充填回路３３からの充填用ビットが供給されている。この切換スイッチ３４は、ＣＰＵ３５からの制御信号により切換制御されており、ＣＰＵ３５は、デマルチプレクサ３１、３２からの第１のビットストリームＢＳ１の最後の部分のsequence_end_code や、第２のビットストリームＢＳ２の先頭の部分のsequence_start_code に基づいて、切換スイッチ３４を被選択端子ａからｃを介してｂに順次切換接続することにより、第１のビットストリームＢＳ１の最後の部分のsequence_end_code を削除すると共に、このsequence_end_code と上記α−βの分を、ビット充填回路３３からの充填ビット（スタッフィングビット）ＳＴで補充して、第２のビットストリームＢＳ２に連結している。切換スイッチ３４からの出力ビットストリームは、出力端子３６を介して取り出される。
【００３７】
ところで、以上は符号化装置１０から出力された第１のビットストリームの後に符号化装置２０から出力された第２のビットストリームを連結した場合の例であるが、符号化装置２０から出力されたビットストリームの後に符号化装置１０から出力されたビットストリームを結合する場合には、符号化装置２０から出力されるビットストリームの終端付近で上記バッファ量αに基づくオーバーフローレベルＢＯ(t) に抑え込むように符号化装置２０での符号化を制限し、符号化装置１０から出力されるビットストリームの先頭で、時刻（Ｔ’−１／ＲＦ）での上記バッファ占有量βが上記αより小さくなる（β＜α）ように符号化装置１０での符号化を制限すればよい。この場合には、ビットストリーム結合部３０は、デマルチプレクサ３２が符号化装置２０から出力されたビットストリームの終端の部分のsequence_end_code を検出してＣＰＵ３５に送り、デマルチプレクサ３１が符号化装置１０から出力されたビットストリームの先頭の部分のsequence_start_code を検出してＣＰＵ３５に送ることになる。これらの情報に基づいて、ＣＰＵ３５は、切換スイッチ３４の被選択端子ｂからｃを経てａの順に切換制御し、符号化装置２０から出力されたビットストリームの終端の部分のsequence_end_code を削除して、ビット充填回路３３からの充填ビットをこのsequence_end_code と（α−β）の分だけ充填した後に、符号化装置１０から出力されたビットストリームを連結して、出力端子３６に送る。
【００３８】
また、符号化装置１０から出力される１つのビットストリームについて、当該ビットストリームの先頭部分に上記図３の制限を加えた符号化を施し、該ビットストリームの終端部分に上記図２の制限を加えた符号化を施すことにより、当該ビットストリームの前後にそれぞれ他のビットストリームを結合することができるようになる。
【００３９】
上述したような図１の構成が適用されるシステムの具体例としては、例えば放送衛星等を介してメインの放送局とローカルの放送局とが結ばれて成るような放送ネットワークを挙げることができる。この放送ネットワークにおいて、メインの放送局からの番組を符号化装置１０で符号化して各ローカル局に提供し、各ローカル局では、それぞれの地域毎のローカルニュースやＣＭ等を符号化装置２０で符号化したものを結合して出力端子３６より取り出し、それぞれの地域内に送出する。このとき、メインの局からの放送番組のビットストリームの終端部分については、バッファ占有量が上記図２と共に説明したＢＯ(t)＝ＢＦ−ＲＢｔ を越えない制限が加えられた符号化が施されており、この後に結合されるローカル局からの信号のビットストリームの先頭部分については、上記図３と共に説明したように、上記時刻（Ｔ’−１／ＲＦ）でのバッファ占有量βが上記バッファ量αを越えない（β＜α）ような制限が加えられた符号化が施されており、これらが結合部３０でビット充填を含めてシームレスに結合されて得られたビットストリームについては、デコード時にバッファの破綻がない、すなわちバッファのオーバーフローやアンダーフローが生じない。
【００４０】
以上説明したような実施の形態によれば、画像信号を上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）を用いて圧縮符号化された２本のビデオのビットストリームを結合する場合に、上記ＶＢＶ（Video Buffer Verifier） の規定を守り、かつ画像の表示がフリーズ（静止）などを伴わずに連続して行えるようなシームレスに結合することがができる。
【００４１】
上述したような本発明の実施の形態によれば、複数のビットストリームを結合する場合に、結合点の前の第１のビットストリームの終端付近のデコーダバッファ占有量に対して、第１の所定の制限を設けて符号化し、また、結合点の後の第２のビットストリームの先頭付近のデコーダバッファ占有量に対して、第２の所定の制限を設けて符号化しているため、シームレスな結合をバッファの破綻無く行うことができる。
【００４２】
ここで、第１、第２の制限は、第２のビットストリームのスタートアップに必要なデコーダバッファ量を確保するための制限であり、このような制限を加えて符号化された第１、第２のビットストリームを結合することにより、ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）を用いて圧縮符号化された２本のビデオのビットストリームを、ＶＢＶ（Video Buffer Verifier） の規定を守り、かつ画像の表示がフリーズ（静止）などを伴わずに連続してビットストリームの結合が行える。
【００４３】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態を説明するための２系統の符号化装置からのビットストリームを結合するシステムの概略構成を示すブロック図である。
【図２】本発明の実施の形態における結合点の前の第１のビットストリームの符号化の際の制限を説明するための図である。
【図３】本発明の実施の形態における結合点の後の第２のビットストリームの符号化の際の制限を説明するための図である。
【図４】本発明の実施の形態における第１のビットストリームと第２のビットストリームとの結合を説明するための図である。
【図５】画像信号符号化装置及び復号装置から成るシステムの概略構成を示すブロック図である。
【図６】受信バッファ（デコーダバッファ）のバッファ占有量の変化を示す図である。
【図７】２つのビットストリームのフレームのフリーズ（静止）を伴う結合の例を説明するための図である。
【図８】２つのビットストリームをシームレスに結合する場合の例を説明するための図である。
【符号の説明】
【００４５】
１０，２０  符号化装置、  １２，２２  符号化部、  １３，２３  送信バッファ、  ３０  ビットストリーム結合部、  ３１，３２  デマルチプレクサ、  ３３  ビット充填回路、  ３４  切換スイッチ、  ３５  ＣＰＵ
【図１】
2005204334.tif 000003
【図２】
2005204334.tif 000004
【図３】
2005204334.tif 000005
【図４】
2005204334.tif 000006
【図５】
2005204334.tif 000007
【図６】
2005204334.tif 000008
【図７】
2005204334.tif 000009
【図８】
2005204334.tif 000010
【手続補正書】
【提出日】平成17年4月5日(2005.4.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディジタル信号を圧縮符号化し、圧縮符号化された複数のビットストリームを結合する編集方法において、
時間的に前となる第１のビットストリームの制限開始時刻から終端までの送信バッファに設定されるデコーダバッファ占有量に第１の制限を設け、上記バッファ占有量を符号化部にフィードバックすることにより上記第１の制限を守るように該符号化部で符号化される画像の符号量を調整するようにし、
上記第１のビットストリームに結合される時間的に後の符号化された第２のビットストリームの最初のＶＢＶ_delayに必要な上記デコーダバッファのバッファ占有量を１フレーム後に確保するためのバッファ量をαとし、
上記制限開始時刻は、符号化ビットレートをＲＢ  とし、上記第１のビットストリームの最後の画像の上記送信バッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ  ）であり、
上記第１の制限は、上記デコーダバッファの全容量をＢＦとするとき、上記第１のビットストリームの制限開始時刻をｔ＝０とするときの終端までの上記送信バッファのバッファ占有量の制限値ＢＯ(t) として、ＢＯ(t)＝ＢＦ−ＲＢ  ×ｔ 以下とし、
上記第２のビットストリームの先頭での送信バッファに設定される上記デコーダバッファ占有量に対して、上記第２のビットストリームの最初の画像の上記デコーダバッファからの引き抜き時刻の１フレーム前のバッファ占有量を上記αより少ないβとする第２の制限を設け、上記送信バッファのバッファ占有量を符号化部にフィードバックすることにより上記第２の制限を守るように該符号化部で符号化される画像の符号量を調整する
ことを特徴とする編集方法。
【請求項２】
上記第１のビットストリームの最後に付加されているsequence_end_code （シーケンスエンドコード）を削除し、上記バッファ占有量α、βに対して、（α−β）及び削除された上記sequence_end_code 分の充填ビットをビットストリームに加えて上記第２のビットストリームを結合することを特徴とする請求項１記載の編集方法。
【請求項３】
ディジタル信号を圧縮符号化し、圧縮符号化された複数のビットストリームを結合して伝送する伝送方法において、
時間的に前となる第１のビットストリームの制限開始時刻から終端までの送信バッファに設定されるデコーダバッファ占有量に第１の制限を設け、上記バッファ占有量を符号化部にフィードバックすることにより上記第１の制限を守るように該符号化部で符号化される画像の符号量を調整するようにし、
上記第１のビットストリームに結合される時間的に後の符号化された第２のビットストリームの最初のＶＢＶ_delayに必要な上記デコーダバッファのバッファ占有量を１フレーム後に確保するためのバッファ量をαとし、
上記制限開始時刻は、符号化ビットレートをＲＢ  とし、上記第１のビットストリームの最後の画像の上記送信バッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ  ）であり、
上記第１の制限は、上記デコーダバッファの全容量をＢＦとするとき、上記第１のビットストリームの制限開始時刻をｔ＝０とするときの終端までの上記送信バッファのバッファ占有量の制限値ＢＯ(t) として、ＢＯ(t)＝ＢＦ−ＲＢ  ×ｔ 以下とし、
上記第２のビットストリームの先頭での送信バッファに設定される上記デコーダバッファ占有量に対して、上記第２のビットストリームの最初の画像の上記デコーダバッファからの引き抜き時刻の１フレーム前のバッファ占有量を上記αより少ないβとする第２の制限を設け、上記送信バッファのバッファ占有量を符号化部にフィードバックすることにより上記第２の制限を守るように該符号化部で符号化される画像の符号量を調整する
ことを特徴とする伝送方法。
【請求項４】
上記第１のビットストリームの最後に付加されているsequence_end_code （シーケンスエンドコード）を削除し、上記バッファ占有量α、βに対して、（α−β）及び削除された上記sequence_end_code 分の充填ビットをビットストリームに加えて上記第２のビットストリームを結合することを特徴とする請求項３記載の伝送方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、動画像信号及び音響信号等を、例えば光磁気ディスクや磁気テープ等の記録媒体に記録し、これを再生してディスプレイに表示したり、テレビ会議システム、テレビ電話システム、放送用機器等、動画像信号及び音響信号等を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合等に用いて好適なディジタル信号の編集方法及び伝送方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明は、上述したような実情に鑑みてなされたものであり、２つの画像信号のビットストリームを結合する場合に、デコーダバッファの占有量がオーバーフローやアンダーフローすることなく、また静止画を挟むことなくシームレスに結合が行えるようなディジタル信号の編集方法及び伝送方法の提供を目的とするものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上記の課題を解決するために、本発明は、ディジタル信号を圧縮符号化し、圧縮符号化された複数のビットストリームを結合する編集方法において、時間的に前となる第１のビットストリームの制限開始時刻から終端までの送信バッファに設定されるデコーダバッファ占有量に第１の制限を設け、上記バッファ占有量を符号化部にフィードバックすることにより上記第１の制限を守るように該符号化部で符号化される画像の符号量を調整するようにし、上記第１のビットストリームに結合される時間的に後の符号化された第２のビットストリームの最初のＶＢＶ_delayに必要な上記デコーダバッファのバッファ占有量を１フレーム後に確保するためのバッファ量をαとし、上記制限開始時刻は、符号化ビットレートをＲＢ  とし、上記第１のビットストリームの最後の画像の上記送信バッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ  ）であり、上記第１の制限は、上記デコーダバッファの全容量をＢＦとするとき、上記第１のビットストリームの制限開始時刻をｔ＝０とするときの終端までの上記送信バッファのバッファ占有量の制限値ＢＯ(t) として、ＢＯ(t)＝ＢＦ−ＲＢ  ×ｔ 以下とし、上記第２のビットストリームの先頭での送信バッファに設定される上記デコーダバッファ占有量に対して、上記第２のビットストリームの最初の画像の上記デコーダバッファからの引き抜き時刻の１フレーム前のバッファ占有量を上記αより少ないβとする第２の制限を設け、上記送信バッファのバッファ占有量を符号化部にフィードバックすることにより上記第２の制限を守るように該符号化部で符号化される画像の符号量を調整することを特徴としている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
上記第１のビットストリームの最後に付加されているsequence_end_code （シーケンスエンドコード）を削除し、上記バッファ占有量α、βに対して、（α−β）及び削除された上記sequence_end_code 分の充填ビットをビットストリームに加えて上記第２のビットストリームを結合することが好ましい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明は、ディジタル信号を圧縮符号化し、圧縮符号化された複数のビットストリームを結合して伝送する伝送方法において、時間的に前となる第１のビットストリームの制限開始時刻から終端までの送信バッファに設定されるデコーダバッファ占有量に第１の制限を設け、上記バッファ占有量を符号化部にフィードバックすることにより上記第１の制限を守るように該符号化部で符号化される画像の符号量を調整するようにし、上記第１のビットストリームに結合される時間的に後の符号化された第２のビットストリームの最初のＶＢＶ_delayに必要な上記デコーダバッファのバッファ占有量を１フレーム後に確保するためのバッファ量をαとし、上記制限開始時刻は、符号化ビットレートをＲＢ  とし、上記第１のビットストリームの最後の画像の上記送信バッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ  ）であり、上記第１の制限は、上記デコーダバッファの全容量をＢＦとするとき、上記第１のビットストリームの制限開始時刻をｔ＝０とするときの終端までの上記送信バッファのバッファ占有量の制限値ＢＯ(t) として、ＢＯ(t)＝ＢＦ−ＲＢ  ×ｔ 以下とし、上記第２のビットストリームの先頭での送信バッファに設定される上記デコーダバッファ占有量に対して、上記第２のビットストリームの最初の画像の上記デコーダバッファからの引き抜き時刻の１フレーム前のバッファ占有量を上記αより少ないβとする第２の制限を設け、上記送信バッファのバッファ占有量を符号化部にフィードバックすることにより上記第２の制限を守るように該符号化部で符号化される画像の符号量を調整することを特徴としている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
上記第１のビットストリームの最後に付加されているsequence_end_code （シーケンスエンドコード）を削除し、上記バッファ占有量α、βに対して、（α−β）及び削除された上記sequence_end_code 分の充填ビットをビットストリームに加えて上記第２のビットストリームを結合することが好ましい。