(57)【特許請求の範囲】
【請求項１】
旧ストリームの出口ポイントが旧ストリームの最後の画像に関係したトランスポートストリームTSのデータパケットの終わりに対応し、新ストリームの入口ポイントが新ストリームの最初の画像に関係したデータパケットの始まりに対応している切替ストリームを獲得するため、旧データストリームから新データストリームに切り替える方法であって、
旧プログラムクロック基準PCRold及び新プログラムクロック基準PCRnewがそれぞれ上記出口ポイント及び上記入口ポイントに関係したクロック時点であり、
旧復号化タイムスタンプDTS_next_AUold及び新復号化タイムスタンプDTS_first_AUnewがそれぞれ旧ストリームの最後の画像に続く画像の復号化の計算上の時点及び新ストリームの最初の画像の復号化の計算上の時点に対応し、
DTS_next_AUold−PCRoldとDTS_first_AUnew−PCRnew
の比較が行なわれ、
DTS_next_AUold−PCRold＜DTS_first_AUnew−PCRnew
であるならば、
第１の段階において、旧ストリームの最後から１枚以上の画像のデータ及び／又は新ストリームの最初から１枚以上の画像のデータは、PCRold及び／又はPCRnewの新しい値が関係式、
DTS_next_AUold−PCRold≧DTS_first_AUnew−PCRnew
を満たすように、より数の少ない１枚以上の予め符号化された画像のデータによって置換され、
第２の段階において、DTS_next_AUold−PCRoldとDTS_first_AUnew−PCRnewとが一致しない場合に、TSスタッフパケットが、復号化の時点DTS_next_AUoldとDTS_first_AUnewを一致させるように、上記出口ポイントと上記入口ポイントの間に挿入され、
DTS_next_AUold−PCRold＞DTS_first_AUnew−PCRnew
であるならば、TSスタッフパケットが、復号化の時点DTS_next_AUoldとDTS_first_AUnewを一致させるように、上記出口ポイントと上記入口ポイントの間に挿入されることを特徴とする方法。
【請求項２】
旧ストリームの出口ポイントが旧ストリームの最後の画像に関係したトランスポートストリームTSのデータパケットの終わりに対応し、新ストリームの入口ポイントが新ストリームの最初の画像に関係したデータパケットの始まりに対応している切替ストリームを獲得するため、旧データストリームから新データストリームに切り替える方法であって、
旧プログラムクロック基準PCRold及び新プログラムクロック基準PCRnewがそれぞれ上記出口ポイント及び上記入口ポイントに関係したクロック時点であり、
旧復号化タイムスタンプDTS_next_AUold及び新復号化タイムスタンプDTS_first_AUnewがそれぞれ旧ストリームの最後の伝送画像に続く画像の復号化の計算上の時点及び新ストリームの最初の画像の復号化の計算上の時点に対応し、
DTS_next_AUold−PCRoldとDTS_first_AUnew−PCRnewが比較され、
DTS_next_AUold−PCRold＜DTS_first_AUnew−PCRnew
であるならば、
第１の段階において、新ストリームの最初の画像の復号化の時点DTS_first_AUnewの値は、ｎが
１＋INT[((DTS_first_AUnew−PCRnew)−（DTS_next_AUold−PCRold）)／（画像期間）]
で表わされ、INTが整数部を表わすときに、DTS_next_AUoldと画像期間のｎ倍の和の値に変更され、
第２の段階において、必要に応じて、TSスタッフパケットは、復号化の時点DTS_next_AUoldとDTS_first_AUnewが画像期間をモジュロとして一致するように、上記出口ポイントと上記入口ポイントの間に挿入され、
DTS_next_AUold−PCRold＞DTS_first_AUnew−PCRnew
であるならば、TSスタッフパケットが、復号化の時点DTS_next_AUoldとDTS_first_AUnewを一致させるように、上記出口ポイントと上記入口ポイントの間に挿入されることを特徴とする方法。
【請求項３】
新ストリームの画像の復号化の時点の変更は対応したオフセットを新ストリームに対するDTSタグ及びPCRクロックに割り付けることにより行なわれることを特徴とする請求項２記載の方法。
【請求項４】
予め符号化されたｎ枚の画像が新ストリームの最初の画像の前に挿入され、上記挿入された画像のサイズ及び割り付けられたタグは、新ストリームの最初の画像によって省略されたDTS時点の間に、上記挿入された画像を復号化させることを特徴とする請求項３記載の方法。
【請求項５】
スタッフパケットが上記挿入された画像の復号化の時点を省略されたDTS時点に一致させるようストリームに挿入されることを特徴とする請求項４記載の方法。
【請求項６】
予め符号化された画像は予測誤差がゼロであることを特徴とする請求項１乃至４のうちいずれか一項記載の方法。
【請求項７】
予め符号化された画像はイントラタイプの画像であることを特徴とする請求項１乃至４のうちいずれか一項記載の方法。
【請求項８】
新ストリームにおける予め符号化された画像による置換のコストは、時点PCRnewと時点DTS_first_AUnew−（画像期間）の間に復号器のメモリに入る新ストリームのビット数が、時点PCRoldと時点DTS_next_AUold−（画像期間）の間にメモリに蓄積される旧ストリームのビット数以下になるようなコストであることを特徴とする請求項１記載の方法。
【請求項９】
旧ストリーム内の置換画像と上記旧ストリームの元の画像の間のコスト差が適宜考慮されることを特徴とする請求項８記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、MPEGストリーム、特に、MPEG(Motion Picture Expert Group)標準に従って符号化されたビデオシーケンス若しくはプログラムセグメントを切り替える方法に関する。
【０００２】
【従来の技術】
近年、フィルムシーケンス若しくはビデオシーケンスは、一般的に、必要なメモリ容量を削減するため圧縮形式で蓄積される。シーケンスの切替は、ベースバンドでは行なわれず、MPEG符号化データストリームに基づいて直接的に行なわれる。したがって、連続的なビデオシーケンスが放送され、或いは、１個のシーケンスが圧縮形式で蓄積されたデジタルデータを用いて別のシーケンスに挿入される。第１の画像シーケンスに対応し、旧ストリームと呼ばれる第１の圧縮ビデオデータシーケンスは、切替ポイントと呼ばれる所定のポイントで、第２の画像シーケンスに対応し、新ストリームと呼ばれる第２の圧縮ビデオデータシーケンスが後に続く。
【０００３】
MPEG標準に従って符号化された一方のデータストリームから同じMPEG標準に従って符号化された別のデータストリームへの切替は、切替ポイントの領域に多数の問題を生じる。
【０００４】
MPEG標準では、復号器のバッファメモリの管理が仮想メモリと呼ばれるモデリングに基づいて行なわれる。実際上、シーケンスを構成する各画像の符号化は一定コストでは行なわれず、符号器の出力側のバッファメモリは一定平均ビットレートでデータストリームを配信するため使用される。復号器側で、バッファメモリは、一定ビットレートデータストリームから可変コスト画像を配信するため要求される。復号器のバッファメモリの管理は、特に、符号器によってデータストリームで伝送されたクロックと、伝送画像に割り付けられ、復号器のメモリから送出される時点を定義するタグとに基づいて行なわれ、画像が符号器のメモリに蓄積された時点と復号器のメモリから読み出される時点との間の時間間隔は、各画像に対し一致させる必要がある。
【０００５】
このために、MPEG標準におけるプログラムクロック基準を表わすPCRクロックが関係する。PCRクロックはデータストリームで伝送される時間キューであり、この時間キューに基づいて復号器の同期が行なわれる。
【０００６】
また、MPEG標準における復号化タイムスタンプを表わすDTSタグが関係し、DTSタグはストリームで伝送されるフィールドであり、画像が復号器で復号化されるべき時点を示す。
【０００７】
復号器のメモリの管理する第１の問題は、１画像（又は１フレーム）当たりのビット数が一定ではないことによって生じる。バッファメモリの状態は、時間と共に切り替えの際に変化し、このメモリを管理するため新ストリームによって考慮されるべき要素は、旧ストリームに対応した実際の状態とは異なるメモリの使用状態に対応する。このため、たとえば、コマ止めフレームを作成する画像の損失若しくはメモリの空きを伴うメモリの飽和が生じる。
【０００８】
第２の問題は、画像の復号化と表示に関する同期の問題である。データストリームに含まれるタグは、各ストリームに固有のクロック（すなわち、特定のPCR）に関係し、画像の復号化と表示の時点は再同期されなければならない。
【０００９】
別の問題は、画像の正しい符号化に関する。MPEG標準に要求される複数の符号化のタイプは以下の通りである。
・イントラ符号化（Ｉ画像）：先行画像又は後続画像を参照しない。
・予測タイプのインタ符号化（Ｐ画像）：先行基準画像を必要とする。
・双方向タイプのインタ符号化（Ｂ画像）：先行基準画像及び／又は後続基準画像を必要とする。
【００１０】
画像は、グループ・オブ・ピクチャ(GOP)と称されるグループに分けられる。伝送順序に関して、GOPの先頭は、イントラタイプであり、最初の数枚のタイプＢの連続画像は、ある同じGOPの画像、すなわち、クローズGOPを要求し、或いは、同じGOP及び先行するGOPの画像、すなわち、オープンGOPを要求する。
【００１１】
切替ポイントの後に続くデータストリームがオープンGOPで始まるときに問題が生じる。なぜならば、第２のストリームの最初のGOPの圧縮画像の復号化は、その圧縮画像がオープンGOPである場合には、先行GOPの画像を利用する必要とするからである。先行GOPは別のシーケンスのデータストリームに対応し、このオープンGOPに対応した復号化画像は欠陥を生じる。これらの欠陥は、一般的に非常に視覚的に認識されやすく、第２のシーケンスの最初の数枚のＢタイプの画像を復号化するためには、符号化のため使用された異なる基準画像を利用するべきである。オープンGOPの画像を構成し、双方向モードで符号化された画像ブロックは、同じ画像シーケンスに対する先行GOPのＰタイプ基準画像又はＩタイプ基準画像に基づいてインタモードで符号化された画像ブロックである。インタモードで符号化されたブロック、切替ポイント後の最初の数枚の双方向タイプの画像に対する残留分若しくは予測誤差を含むブロックの復号化は、インタ符号化された残留ブロックを計算するため役立つブロックとは異なるブロックを利用する。復号化レベルで考慮された基準画像は、実際上、旧ストリームの画像であるので、符号化レベルで考慮された画像とは異なる。したがって、誤りを含む画像ブロックを表示させる非常に煩わしいブロック効果は、第２のシーケンスの最初の数枚の画像に現れる。
【００１２】
上記問題に対する部分的な解決法が存在し、MPEGII標準（パート１：システム、第２．４節及び付録K）に記載されている。この解決法は、転送ストリームが好ましい特性を有する実現可能な切替ポイント（標準では接続ポイント(splicing point)と呼ばれている）に関する情報をシステムレイヤ内に組み込むことであり、これにより、（たとえば、クローズGOPを用いて）上記の欠陥を含まない画像の復号化が可能である。これらのポイントだけで切替を行なうことが可能である。もちろん、この情報は、画像の符号化の直後にデータストリームに組み込む必要があり、データの新たな伸長及び圧縮を行なわない限り、この情報を後から組み込むことは不可能である。
【００１３】
許可された切替ポイントは、GOPの先頭で、このGOPの最初の数枚の画像の符号化に関して制約を加える。すなわち、これらの画像を双方向モードで符号化する場合を考える。GOPはクローズGOPでなければならないので、これらの画像は、基準画像として先行画像を使用できず、後続画像しか使用できない。したがって、符号化モードは強制的に一方向モードにされる。
【００１４】
クローズGOPを使用し、Ｉ画像に続く最初の２枚のＢ画像を後続のＰ画像(符号化の順序)と１枚のＩ画像（先行GOPの先行Ｐ画像ではない）とに基づいて符号化する場合、これらのＢ画像はＰ画像であるとみなすことができ、バッファメモリの状態に基づいて符号器の調節を行ない、符号化コストの上昇を考慮して画像の品質を低下させる。定量的に示すならば、Ｐタイプの画像の符号化コストはＢタイプの画像の符号化コストよりも約２倍高い。
【００１５】
ストリーム切替と互換性のあるMPEG  II方式の符号化は、本来、フィルム若しくはビデオシーケンスを使用するために使用されない。この符号器レベルのビットレート調節に関して課される制約は障害になるため、現在、クローズGOPを切替の必要条件とする市販品は非常に少ない。また、クローズGOPがデータストリーム内のどこに存在すべきであるかに関する先験的な判定、すなわち、シーケンス内のどこにカットが存在するかについての予測は、このシーケンスを将来使用することを想定している。さもなければ、使用したいGOPの数が非常に少ない場合でも、クローズGOPだけを生成することが必要である。
【００１６】
【発明が解決しようとする課題】
この従来の解決法による欠点は、以下の通りである。
・切替が所定の切替ポイント（又は接続ポイント）に制限されるので、フレキシビリティが不足する。
・殆どのポイントが利用されない場合でも、最小限のフレキシビリティを得るためにデータストリーム中に充分な数が存在しなければならない切替ポイントの挿入に起因してビデオデータの圧縮レートが低減する。
・最初にストリーム切替互換性が無いデータストリームに要求される復号化及び記録は、再蓄積、画質などに関連した全ての問題を伴う。
・多数の切替ポイントが導入された場合に、画質が失われる程度にビットレート調節に関する厳しい制約が課される危険性がある。
【００１７】
本発明は、これらの従来技術の欠点を解消することを目的とする。
【００１８】
【課題を解決するための手段】
本発明は、旧ストリームの出口ポイントが旧ストリームの最後の画像に関係したTSストリームのデータパケットの終わりに対応し、新ストリームの入口ポイントが新ストリームの最初の画像に関係したデータパケットの始まりに対応している切替ストリームを獲得するため、旧データストリームから新データストリームに切り替える方法であって、
旧プログラムクロック基準PCRold及び新プログラムクロック基準PCRnewがそれぞれ上記出口ポイント及び上記入口ポイントに関係したクロック時点であり、
旧復号化タイムスタンプDTS_next_AUold及び新復号化タイムスタンプDTS_first_AUnewがそれぞれ旧ストリームの最後の画像に続く画像の復号化の計算された時点及び新ストリームの最初の画像の復号化の計算された時点に対応し、
DTS_next_AUold−PCRold＜DTS_first_AUnew−PCRnew
であるならば、
第１の段階において、旧ストリームの最後から１枚以上の画像のデータ及び／又は新ストリームの最初から１枚以上の画像のデータは、PCRold及び／又はPCRnewの新しい値が関係式、
DTS_next_AUold−PCRold≧DTS_first_AUnew−PCRnew
を満たすように、より数の少ない１枚以上の予め符号化された画像のデータによって置換され、
第２の段階において、TSスタッフパケットは、復号化の時点DTS_next_AUoldとDTS_first_AUnewが一致するように、出口ポイントと入口ポイントの間に挿入されることを特徴とする。
【００１９】
また、本発明は、旧ストリームの出口ポイントが旧ストリームの最後の画像に関係したTSストリームのデータパケットの終わりに対応し、新ストリームの入口ポイントが新ストリームの最初の画像に関係したデータパケットの始まりに対応している切替ストリームを獲得するため、旧データストリームから新データストリームに切り替える方法であって、
旧プログラムクロック基準PCRold及び新プログラムクロック基準PCRnewがそれぞれ上記出口ポイント及び上記入口ポイントに関係したクロック時点であり、
旧復号化タイムスタンプDTS_next_AUold及び新復号化タイムスタンプDTS_first_AUnewがそれぞれ旧ストリームの最後の伝送画像に続く画像の復号化の計算された時点及び新ストリームの最初の画像の復号化の計算された時点に対応し、
DTS_next_AUold−PCRold＜DTS_first_AUnew−PCRnew
であるならば、
第１の段階において、新ストリームの最初の画像の復号化の時点DTS_first_AUnewの値は、ｎが
１＋INT[((DTS_first_AUnew−PCRnew)−（DTS_next_AUold−PCRold）)／（画像期間）]
で表わされるときに、DTS_next_AUoldと画像期間のｎ倍の和の値に変更され、
第２の段階において、TSスタッフパケットは、復号化の時点DTS_next_AUoldとDTS_first_AUnewが画像期間をモジュロとして一致するように、出口ポイントと入口ポイントの間に挿入されることを特徴とする。
【００２０】
本発明の具体的な実施例によれば、上記方法は、新ストリームの画像の復号化の時点の変更が対応したオフセットを新ストリームに対するDTSタグ及びPCRクロックに割り付けることにより行なわれることを特徴とする。
【００２１】
具体的な実施例によれば、上記方法は、ｎ枚の予め符号化された画像が新ストリームの最初の画像の前に挿入され、挿入された画像のサイズ及び割り付けられたタグは、新ストリームの最初の画像によって省略されたDTS時点の間に挿入された画像を復号化させることができる。
【００２２】
具体的な実施例によれば、スタッフパケットは挿入された画像の復号化の時点を省略されたDTS時点に一致させるようストリームに挿入される。
【００２３】
具体的な一実施例によれば、予め符号化された画像で新ストリームを置き換えるコストは、時点PCRnewと時点DTS_first_AUnew−（画像期間）の間に復号器のメモリに入る新しいストリームのビット数が、時点PCRoldと時点DTS_next_AUold−（画像期間）の間にメモリに蓄積されたであろう旧ストリームのビット数以下になるようなコストである。
【００２４】
【発明の実施の形態】
本発明によれば、ストリーム切替が簡単に実現され、切替ポイントを追加することによってMPEGデータストリームがこのような切替に互換性が無い場合でも、あるシーケンスから別のシーケンスへの正確な遷移がベースバンドで得られる。したがって、たとえば、広告などを挿入する際にこのような切替を行なうために高コストの装置を使用する必要はない。
【００２５】
高いフレキシビリティと高品質の切替が切替ポイントに関して実現される。
【００２６】
切替互換性の無いデータストリームの正確なストリーム切替を実現するため従うべき主要な条件は以下の項目に関係する。
・旧ストリームのカットオフポイント又は出口ポイントの位置と、新ストリームの入口ポイントの位置
・画像を途切れることなく表示させたい場合の信号及びクロックの同期
・オーバーフロー又は空になることを防止するための復号器のメモリの使用状態の管理
・切替ポイントの位置
・新しいストリームの入口のポイントに関係する条件：
GOPがクローズGOPである場合、GOPの先頭はすべて入口ポイントであると考えられ得る。その理由は、この場合、復号化されるべき最初の画像はイントラ符号化画像であり、後続のタイプＢの画像は先行GOP内にある基準画像に基づいて符号化されないからである。
【００２７】
GOPがオープンGOPである場合、入口ポイントは、GOPの先頭になり得る。トランスポートストリームTS内で、先行GOP内にある基準画像に基づいて符号化された画像に対応するパケットがこれらの画像とは無関係である符号化に対応した新しいパケットによって置換される（タイプＢの画像の置換については後述する）。本願と同一出願人によって1998年8月14日に出願された仏国特許出願第9810432号には、このような処理が説明されている。
【００２８】
勿論、いずれかのGOPの先頭にアクセスしたい場合には、GOPの先頭をシーケンスに連結する必要がある。実際上、たとえば、画像のフォーマット（４／３若しくは１６／９）、圧縮比などを知るため、このシーケンスを構築するGOPを復号化できるようにするためには、シーケンスヘッダを復号化する必要がある。一つの解決法は、MPEG符号化方式に従って、GOP毎に１個のシーケンスを模擬的に作成すること、すなわち、GOP毎に１個のシーケンスヘッダを導入することであり、これにより、ビットレートが僅かに増加するが、ランダムアクセスポイントの個数を増やすことができる。
・旧ストリームの出口ポイントに関係する条件
出口ポイントはタイプＩ画像の前又はタイプＰ画像の前に存在する必要がある。その理由は、これらの場合には、この出口ポイントよりも先行する全ての画像は表示され、表示されていない符号化画像を受信する危険性が無く、復号器のバッファメモリに画像が残されていないからである。逆の状況が生じるのは、最後の伝送画像に続く符号化画像が、たとえば、Ｐ符号化画像の後のカット中に、符号化の順序ではなく表示の順序に関して先行する画像に対応する場合である。
【００２９】
［信号の同期］
以下、MPEG標準ではプログラムクロック基準と称されるPCRは、データストリーム、すなわち、シーケンスに関係したクロック基準を示すために使用される。トランスポートストリームTSに存在するPCRキューは、時間を計算するため復号器によって使用される。PCRは、符号器側の時間基準系を配信する。
【００３０】
また、復号化タイムスタンプDTSは、画像に割り当てられた時間タグを示すため使用される。DTSは復号タイムスロット、すなわち、画像が復号器のバッファメモリから読み出され、復号化されるべき時点を与える。
【００３１】
PCRキュー及びDTSキューは、それぞれ、トランスポートストリームTSの１８８バイトのパケットヘッダ及びパケット式基本ストリームPES(Packetized Elementary Streams)で伝達され、最初のパケット生成段階はトランスポートストリームTSを作成するため必要である。
【００３２】
プレゼンテーションタイムスタンプPTSは、画像の表示時点に対応し、復号化後に画像を記録することができる。PTSはストリームPESのパケットヘッダに存在する。
【００３３】
PCR、DTS、PES及びPTSは、旧ストリーム若しくは新ストリームのいずれに属するかを示すために添字が付けられる。
【００３４】
図１の（ａ）には、旧データストリーム１が示されている。矢印で示された出口ポイントは、旧ストリームの出口ポイントを表わし、時点PCRoldと関連付けられる。このキューPCRoldは、旧ストリームの未だ伝送されていない最初の画像の最初のバイトに対応する。このポイントから先で、（未だ伝送されていない）旧ストリームは、たとえば、旧ストリームによって伝送された最後の画像の後に続く（未伝送）画像の復号化の時点に関係した場所（DTS_next_AUold）のように点線で示される。
【００３５】
図１の（ｂ）には、新ストリーム２が示されている。矢印で示された入口ポイントは、時点PCRnewに関係した新ストリームの入口ポイントを表わす。このキューPCRnewは、新ストリームの最初の画像の最初のパケットによって輸送され、この最初の画像の最初のバイトに対応する。矢印で示された時点DTS_first_AUnewは、対応した基準系において、すなわち、クロックPCRnewに関して、新ストリームの最初の画像の復号化の時点を表わす。
【００３６】
欠陥の無い切替が望まれる場合、新ストリームの最初の画像は、旧ストリームの最後の画像の復号化の時点から４０ｍｓ経過した時点DTSで復号化されなければならない。ここで、２個のストリームは非同期であり、先験的には４０ｍｓ後に復号化を行なう理由はない。
【００３７】
以下の解決法は、同期を実現するために提案される。
【００３８】
図２は、切替後の切替ストリーム５を得るため、旧ストリーム３から新ストリーム４への切替時におけるストリームの同期を説明する図である。
【００３９】
同図の（ｃ）にDTSspliceとして加えられた切替ストリームの値DTSは、欠陥の無い切替を実現するため、旧ストリームのDTS_next_AUoldと一致しなければならない。
【００４０】
この同期は、可能な場合には、新ストリームへの切替の前に、すなわち、時点PCRoldと時点PCRnewの間にアイドル時間Δｔを設けること、或いは、新ストリームの時点PCRnewを時点PCRoldに対して、DTS_next_AUold−PCRoldとDTS_first_AUnew−PCRnewの比較に基づいて配置することによって行なわれる。
【００４１】
１番目の式DTS_next_AUold−PCRoldは、旧ストリームに関する切替時点PCRoldと、切替前に伝送された最後の画像の後に続く画像の復号化の時点、すなわち、値DTS_next_AUoldの間隔に対応する。
【００４２】
２番目の式DTS_first_AUnew−PCRnewは、新ストリームに関する切替時点PCRnewと、新ストリームの最初の画像の復号化の時点、すなわち、値DTS_first_AUnewの間隔に対応する。これは、実際には、画像の最初のバイトの記憶及び蓄積の時点から最初の画像の復号化の時点まで新ストリームの最初の画像が復号器のメモリに存在する間隔である（このモデルでは、画像の瞬時の復号化が前提とされている）。
【００４３】
・第１のケース
DTS_next_AUold−PCRold≧DTS_first_AUnew−PCRnew
等しい場合を特別に措置することなく、等しくない場合にはアイドル時間を加えることによって、同期した切替を行なうことができる。このアイドル時間は、旧ストリームの（未だ伝送されていない）次の画像のDTSが新ストリームの伝送された最初の画像のDTSと対応付けられるように計算される。
【００４４】
このアイドル時間は、時点PCRoldと時点PCRnewの間にTSスタッフパケットを挿入することによって生成される。アイドル時間に対応させるため要求されるスタッフパケットの個数が計算される。誤りはパケット間隔未満であり、１０Mビットのオーダーのビットレートに対し数百マイクロ秒に対応し、４０ｍｓと比較すると無視することができる。
【００４５】
DTSspliceが新ストリームの最初の画像の復号化の時点に対応し、PCRspliceが新ストリームの最初の画像の最初のバイトの受信の時点に対応する場合、
DTSsplice＝DTS_next_AUold
PCRsplice＝PCRnew＋DTS_next_AUold−DTS_first_AUnew
として表わされる。
【００４６】
時間基準系に関して、切替ストリームにおける旧ストリームの基準系から新ストリームの基準系への推移は、スタッフパケットの受信後、したがって、新ストリームの最初の画像で、
・スタッフパケットの最後に得られたPCR値(PCRsplice)から値PCRnewに移行させることができるPCRブレーク標識を用いて行なわれるか、或いは、
・スタッフパケットの最後に得られたPCR値(PCRsplice)に、値PCRnewと値PCRspliceの差に等しいオフセットを割り当てることによって行なわれる。
【００４７】
・第２のケース
DTS_next_AUold−PCRold＜DTS_first_AUnew−PCRnew
この場合、新ストリームの最初の画像の復号化の時点は、旧ストリームの（伝送されていない）次の画像の復号化の時点後に限り起こり得るので、同期が実現できないように思われる。
【００４８】
ここで提案する解決法は、１個以上の復号化時点DTSを省略し、時点DTS_next_AUoldではなく、時点DTS_next_AUoldに画像期間の倍（４０ｍｓ）を加えた時点に新ストリームの最初の画像を復号化することである。
【００４９】
２個の連続したDTSの値が１画像期間分だけ離れている場合、復号化時点DTSspliceは、
DTSsplice＝DTS_next_AUold＋｛１＋INT[[(DTS_first_AUnew−PCRnew)−(DTS_next_AUold−PCRold)]／（画像期間）]｝×（画像期間）
となるように選択される。式中、INTは除算の商の整数部分を表わす。
【００５０】
したがって、PCRspliceの値は、
PCRsplice＝PCRnew＋DTS_next_AUold−DTS_first_AUnew
となる。
【００５１】
新ストリームの最初の画像の復号化の時点を、時点DTS_next_AUoldに対してｎ画像期間だけ移動させることによって、スタッフパケットで充填され得るアイドル時間が生成される。本発明のアイデアは、予め符号化された画像をストリームに挿入することにより、各画像期間で画像を復号化できるようにして、切替欠陥を除去することである。これらの予め符号化された画像は、新ストリームの最初の画像によって省略された時点DTSで復号化される。スタッフパケットは、時点DTSで同期が得られるように上述のケースと同様に追加される。
【００５２】
挿入された画像の符号化は、利用可能なアイドル時間に依存する。たとえば、黒画像、青画像、若しくは、タイプＰ画像、すなわち、シーケンス中の１枚以上の画像の内容を参照しない特定のモードに従って予め符号化された画像の符号化が関係する。
【００５３】
上記の解決法と組み合わせることができる別の解決法は、符号化時点DTSを省略するのではなく、新ストリーム若しくは旧ストリームの画像を、元の画像よりも符号化コストが低い予め符号化された画像によって置換する。たとえば、新ストリームのタイプＢの最初の数枚の画像は、シーケンスとは無関係に予め符号化されたタイプＢ画像によって置換される。これらの置換はTSレイヤのレベルで行なわれる。たとえば、イントラ画像の繰り返しを必然的に伴う予測動きベクトルがゼロである前方予測のような特定の符号化モードが使用される。これにより、さらに、タイプＰ画像が符号化のために先行GOPの基準画像を獲得するためのオープンGOPの問題を解決することができる。かくして符号化されたＢタイプ画像はタイプＰ画像と等価である。
【００５４】
この技術は、不必要になった多数のTSパケットを除去することによって、式DTS_first_AUnew−PCRnewによって表わされた時間間隔を減少させることができ、予め符号化された画像の符号化コストは元の画像の符号化コストよりも低い。
【００５５】
この処理は、大小関係が逆転して第１のケースの状況になるまで続けられる。
【００５６】
スタッフパケットは、欠陥の無い同期、すなわち、旧ストリームのDTSを新ストリームのDTSに一致させる同期を実現するため、既に説明したように新ストリームに加えられる。
【００５７】
次に、上記の操作と類似した操作が旧ストリームに対し実行される。旧ストリームの中のタイプＢの最後の数枚の画像は、シーケンスとは無関係に予め符号化されたタイプＢの画像によって置換される。これらの置換は、TSレイヤのレベルで行なわれる。上述したモードと同じ符号化モードが使用される。
【００５８】
この操作の結果は、不必要になった多数のTSパケットを除去することによって、式DTS_next_AUold−PCRoldによって表現された時間間隔を増加させ、予め符号化された画像の符号化コストは元の画像の符号化コストよりも低い。
【００５９】
上記の両方の操作は、最も好ましいケース、すなわち、第１のケースに常に戻すため組み合わされる。
【００６０】
［復号器のバッファメモリの使用状態］
復号器のメモリの使用状態は、空状態やオーバーフロー状態が画像の表示に欠陥を生じさせるので、監視する必要がある。
【００６１】
Roldが急ストリームのビットレートを表わし、Rnewが新ストリームのビットレートを表わすことにする。
【００６２】
［第１のケース］
Rold(DTS_next_AUold−（画像期間）−PCRold)≧
Rnew(DTS_first_AUnew−（画像期間）−PCRnew)
すなわち、DTS_next_AUold−（画像期間）が復号器のバッファメモリから旧フレームの最後の画像を読み出す時点Toutであるならば、復号器のメモリに蓄積された新ストリームのビット数、すなわち、時点PCRnewと時点Toutの間隔は、このストリームが伝送され続けた場合に時点PCRoldと時点Toutの間に蓄積されたであろう旧ストリームのビット数以下である。
【００６３】
したがって、オーバーフローの危険性はない。
【００６４】
［第２のケース］
Rold(DTS_next_AUold−（画像期間）−PCRold)＜
Rnew(DTS_first_AUnew−（画像期間）−PCRnew)
新ストリームの中の最初から１枚乃至数枚の画像は、より小さいサイズの予め符号化された画像によって置換されるので、有効データに対応した新ストリームのビットレートは減少する。したがって、Tout−PCRnewに対応した時間間隔の間に復号器に入る有効ビットは、旧ストリームが伝送され続けたときに時点Toutと時点PCRoldの間に入ったであろう有効ビットよりも多くないと考えられる。
【００６５】
この操作は、既に説明したような同期の問題のために行なわれない場合、或いは、上記の条件が確実には保証されないような場合に実行され、より符号化コストの低い画像が選択されるべきである。この操作は、オープンGOPの問題を解決することができる操作と同じ操作である。
【００６６】
復号器のバッファメモリの使用状態は、一般的に、GOPの最後では高いレベルであり、符号化ビットに関して高価であるＩ画像の復号化が直ぐになされることがわかる。その結果として、オーバーフローの危険性を抑えるため、切替ポイントの前にメモリの使用状態レベルを下げることが可能である。これにより、別の解決法は、先に説明した解決法と組み合わされ、旧ストリームのタイプＢの最後の数枚の画像を、符号化ビットに関してあまり高価ではない新しい予め符号化された画像を置換する。予め符号化された画像の選択、或いは、復号器のメモリに伝送された有用ビットの個数の削減は、Rold(DTS_next_AUold−（画像期間）−PCRold)と、Rnew(DTS_first_AUnew−（画像期間）−PCRnew)の差に依存する。旧ストリームの画像を置換することにより実現された符号化ビットに関する節約は、実際上、この差を補償することが可能である。これは、この操作が同期の問題のために実行されなかった場合、或いは、この操作が充分では無い場合にも同様である。
【００６７】
最後に、この解決法は、新ストリームの最初の画像の符号化の時点を時点DTS_next_AUoldに対しｎ画像期間ずつオフセットさせ、アイドル時間を発生し、予め符号化された画像をストリームに挿入することによって、各画像期間に確実に画像を復号化する。この解決法は、復号器のバッファメモリの使用状態の監視を実現するため必要であることが判明した。
【００６８】
本発明の適用分野には、プログラムの伝送及び蓄積、並びに、広告の挿入、又は、地域的若しくは局部的なハンドオーバーが含まれる。
【図面の簡単な説明】
【図１】旧ストリームと新ストリームを示す図である。
【図２】旧ストリームから新ストリームへの切替時のストリームの同期を説明する図である。
【符号の説明】
１，３    旧ストリーム
２，４    新ストリーム
５    切替ストリーム
【図１】
0004659179.tif 000002
【図２】
0004659179.tif 000003