(57)【特許請求の範囲】
【請求項１】
複数の連続的に符号化した画像を有するデジタルビデオビットストリームを符号化するに当たり、
以下の式（１）によって表現される制約に従って継目のないインポイントを構成し、
（１）ｄｄf_ip≦ｍｉｎｉｍｕｍ｛ＤＤthe_ip，（Ｂd/ｒn_ip）｝
この場合、ｄｄn_ipが、前記継目のないインポイントの後の前記デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表し、Ｂdを前記デコーダバッファのサイズとし、ｒn_ipを、前記デジタルビデオビットストリームが通常、前記継目のないインポイントで符号化されるビットレートとし、ＤＤthr_ipが、前記継目のないポイントに対する予め設定された最小復号化遅延しきい値を表し、前記ＤＤthr_ipが以下の式（２）によって規定され、
（２）ＤＤthr_ip＝（（ＭＳＲ/ｒn_ip）＊ＳＤＤ）＋Ｔp_i＊（１−（ＭＳＲ/ｒn_ip））
この場合、Ｔp_iを、前記継目のないインポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とし、ＳＤＤを、予め設定されたスプライス復号化遅延とし、ＭＳＲを、予め設定された最大スプライスレートとするステップと、
他のデジタルビットストリームを前記デジタルビデオビットストリームにスプライスすることができるデジタルビットストリームのポイントに前記継目のないインポイントを挿入するステップとを有することを特徴とするデジタルビデオビットストリーム符号化方法。
【請求項２】
ＭＳＲ＞ｒn_ipの場合を決定するステップと、
ＭＳＲがｒn_ipより大きいことを決定した場合に値≦ＳＤＤを有するようにｄｄf_ipを選択するステップと、
ＭＳＲがｒn_ipより大きくない場合に以下の式（３）によって規定した値を有するようにｄｄf_ipを選択するステップとを更に有することを特徴とする請求の範囲１記載のデジタルビデオビットストリーム符号化方法。
（３）ｄｄf_ip＝（ＭＳＲ/ｒn_ip）＊ＳＤＤ
【請求項３】
ｒn_ip＞ＭＳＲとすることを特徴とする請求の範囲１記載のデジタルビデオビットストリーム符号化方法。
【請求項４】
ｄｄf_ipを、以下の式（３）によって規定した値を有するように選択することを特徴とする請求の範囲１記載のデジタルビデオビットストリーム符号化方法。
（３）ｄｄf_ip＝（ＭＳＲ/ｒn_ip）＊ＳＤＤ
【請求項５】
ＭＳＲ及びＳＤＤを、以下の式（４）によって表現される制約を満足する値を有するように選択することを特徴とする請求の範囲１記載のデジタルビデオビットストリーム符号化方法。
（４）ＭＳＲ＊ＳＤＤ＜Ｂd
【請求項６】
ＳＤＤ及びＭＳＲを、符号化基準に従う特性値を有するように選択することを特徴とする請求の範囲１記載のデジタルビデオビットストリーム符号化方法。
【請求項７】
複数の連続的に符号化した画像を有するデジタルビデオビットストリームを符号化するに当たり、
以下の式（１）によって表現される制約に従って継目のないアウトポイントを構成し、
（１）ＤＤthr_op≦ｄｄf_op≦（Ｂd/ｒn_op）
この場合、ｄｄf_opが、前記継目のないアウトポイントの後の前記デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表し、Ｂdを前記デコーダバッファのサイズとし、ｒn_opを、前記デジタルビデオビットストリームが通常、前記継目のないアウトポイントで符号化されるビットレートとし、ＤＤthr_opが、前記継目のないポイントに対する予め設定された最小復号化遅延しきい値を表し、前記ＤＤthr_opが以下の式（２）によって規定され、
（２）ＤＤthr_op＝（（ＭＳＲ/ｒn_op）＊ＳＤＤ）＋Ｔp_o＊（１−（ＭＳＲ/ｒn_op））
この場合、Ｔp_oを、前記継目のないアウトポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とし、ＳＤＤを、予め設定されたスプライス復号化遅延とし、ＭＳＲを、予め設定された最大スプライスレートとするステップと、
他のデジタルビットストリームを前記デジタルビデオビットストリームにスプライスすることができるデジタルビットストリームのポイントに前記継目のないアウトポイントを挿入するステップとを有することを特徴とするデジタルビデオビットストリーム符号化方法。
【請求項８】
ＭＳＲ＞ｒn_opの場合を決定するステップと、
ＭＳＲがｄｄf_op＊ｒn_op＜Ｂdの制約内のｒn_opより大きいことを決定した場合に値≧ＳＤＤを有するようにｄｄf_opを選択するステップと、
ＭＳＲがｒn_opより大きい場合に以下の式（３）によって規定した値を有するようにｄｄf_opを選択するステップとを更に有することを特徴とする請求の範囲７記載のデジタルビデオビットストリーム符号化方法。
（３）ｄｄf_op＝（ＭＳＲ/ｒn_op）＊ＳＤＤ
【請求項９】
ｒn_op＞ＭＳＲとすることを特徴とする請求の範囲７記載のデジタルビデオビットストリーム符号化方法。
【請求項１０】
ｄｄf_opを、以下の式（３）によって規定した値を有するように選択することを特徴とする請求の範囲７記載のデジタルビデオビットストリーム符号化方法。
（３）ｄｄf_op＝（ＭＳＲ/ｒn_op）＊ＳＤＤ
【請求項１１】
ＭＳＲ及びＳＤＤを、以下の式（４）によって表現される制約を満足する値を有するように選択することを特徴とする請求の範囲７記載のデジタルビデオビットストリーム符号化方法。
（４）ＭＳＲ＊ＳＤＤ＜Ｂd
【請求項１２】
複数の連続的に符号化した画像を有する第１デジタルビデオビットストリームのアウトポイントを第２デジタルビデオビットストリームのインポイントにスプライスするに当たり、
ｄｄf_opを測定するステップであって、ｄｄf_opが、前記アウトポイントの後の前記第１デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表すステップと、
ｄｄf_ipを測定するステップであって、ｄｄf_ipが、前記インポイントの後の前記第２デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表すステップと、
ｄｄf_op−ｄｄf_ipに等しい差Ｗを算出するステップと、
前記アウトポイントからの切替を行うステップと、
前記アウトポイントからの切替後に、次の手順（ａ）：
（ａ）Ｗに等しい持続時間の期間中に、第１レートＲW≦ｒn_opで前記第２デジタルビデオビットストリームを流し、ｒn_opを、前記第１デジタルビデオビットストリームが通常、前記アウトポイントで符号化されるビットレートとし、
その後の持続時間ｄｄ’f_ipの第２期間中に、ｄｄ’f_ip＝ｄｄf_ip−Ｔp_oとした場合に、以下の式：
Ｒsp_in＝（（ｒn_ip＊ｄｄ’f_ip）−（ＲW＊Ｗ））/ｄｄ’f_ip
によって規定された第２レートＲsp_inで前記第２デジタルビデオビットストリームを流し、ｒn_ipを、前記第２デジタルビデオビットストリームが通常、前記インポイントで符号化されるビットレートとし、Ｔp_oを、前記アウトポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とする手順；
または次の手順（ｂ）：
（ｂ）以下の式：
Ｒsp_op＝（ｄｄf_ip/ｄｄf_op）＊ｒn_ip
に従ってストリームビットレートＲsp_opを算出し、
Ｒsp_op≦ｒn_opであるか否かを判定し、
Ｒsp_op≦ｒn_opであることを判定した場合に、ｄｄf_opの持続時間中にレートＲsp_opで前記第２デジタルビデオビットストリームを流し、
Ｒsp_op＞ｒn_opであることを判定した場合に、次の可能な手順（ｉ）：
（ｉ）Ｗに等しい時間量の待機をし、インポイントへの切替を行う手順；
または手順（ａ）のいずれかを選択して実行する手順
の一方を選択するステップとを具えることを特徴とするビデオビットストリームスプライス方法。
【請求項１３】
前記待機ステップを、待機時間Ｗの持続時間中ヌルパケットを送信することによって実行することを特徴とする請求の範囲１２記載のビデオストリームスプライス方法。
【請求項１４】
前記インポイントを継目のないインポイントとするとともに、前記アウトポイントを継目のないアウトポイントとして、前記切替を、以下の２制約が満足される場合には継目なく行うことを特徴とする請求の範囲１２記載のビデオストリームスプライス方法。
ａ）ｄｄf_op＞ｄｄf_ip
ｂ）ｒn_op＞ｒn_ip
【請求項１５】
前記インポイントを継目のあるインポイントとするとともに、前記アウトポイントを継目のあるアウトポイントとして、前記切替を、以下の２制約が満足される場合には継目なく行うことを特徴とする請求の範囲１２記載のビデオストリームスプライス方法。
ａ）ｄｄf_op＞ｄｄf_ip
ｂ）ｒn_op＞ｒn_ip
【請求項１６】
前記インポイントを継目のあるインポイントとするとともに、前記アウトポイントを継目のないアウトポイントとして、前記切替を、以下の２制約が満足される場合には継目なく行うことを特徴とする請求の範囲１２記載のビデオストリームスプライス方法。
ａ）ｄｄf_op＞ｄｄf_ip
ｂ）ｒn_op＞ｒn_ip
【請求項１７】
複数の連続的に符号化した画像を有するデジタルビデオビットストリームを符号化するエンコーダであって、
以下の式（１）によって表現される制約に従って継目のないインポイントを構成し、
（１）ｄｄf_ip≦ｍｉｎｉｍｕｍ｛ＤＤthr_ip，（Ｂd/ｒn_ip）｝
この場合、ｄｄf_ipが、前記継目のないインポイントの後の前記デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表し、Ｂdを前記デコーダバッファのサイズとし、ｒn_ipを、前記デジタルビデオビットストリームが通常に前記継目のないインポイントで符号化されるビットレートとし、ＤＤthr_ipが、前記継目のないポイントに対する予め設定された最小復号化遅延しきい値を表し、前記ＤＤthr_ipが以下の式（２）によって規定され、
（２）ＤＤthr_ip＝（（ＭＳＲ/ｒn_ip）*ＳＤＤ）＋Ｔp_i*（１-（ＭＳＲ/ｒn_ip））
この場合、Ｔp_iを、継目のないインポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とし、ＳＤＤを、予め設定されたスプライス復号化遅延とし、ＭＳＲを、予め設定された最大スプライスレートとする手段と、
他のデジタルビットストリームを前記デジタルビデオビットストリームにスプライスすることができるデジタルビットストリームのポイントに前記継目のないインポイントを挿入する手段を有することを特徴とするエンコーダ。
【請求項１８】
複数の連続的に符号化した画像を有するデジタルビデオビットストリームを符号化するエンコーダであって、
以下の式（１）によって表現される制約に従って継目のないアウトポイントを構成し、
（１）ＤＤthr_op≦ｄｄf_op≦（Ｂd/ｒn_op）
この場合、ｄｄf_opが、前記継目のないアウトポイントの後の前記デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表し、Ｂdを前記デコーダバッファのサイズとし、ｒn_opを、前記デジタルビデオビットストリームが通常に前記継目のないアウトポイントで符号化されるビットレートとし、ＤＤthr_opが、前記継目のないアウトポイントに対する予め設定された最小復号化遅延しきい値を表し、前記ＤＤthr_opが以下の式（２）によって規定され、
（２）ＤＤthr_op＝（（ＭＳＲ/ｒn_op）*ＳＤＤ）+Ｔp_o*（１-（ＭＳＲ/ｒn_op））
この場合、Ｔp_oを、継目のないアウトポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とし、ＳＤＤを、予め設定されたスプライス復号化遅延とし、ＭＳＲを、予め設定された最大スプライスレートとする手段と、
他のデジタルビットストリームを前記デジタルビデオビットストリームにスプライスすることができる前記デジタルビットストリームのポイントに前記継目のないアウトポイントを挿入する手段とを有することを特徴とするエンコーダ。
【請求項１９】
複数の連続的に符号化した画像を有する第１デジタルビデオビットストリームのアウトポイントを第２デジタルビデオビットストリームのインポイントにスプライスするスプライサであって、
ｄｄf_opを測定するとともにｄｄf_ipを測定する手段であって、ｄｄf_opが、前記アウトポイントの後の前記第１デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表し、ｄｄf_ipが、前記インポイントの後の前記第２デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表す手段と、
ｄｄf_op−ｄｄf_ipに等しい差Ｗを算出する手段と、
Ｗに等しい持続時間の期間中に、第１レートＲW≦ｒn_opで前記第２デジタルビデオビットストリームを流した後、持続時間ｄｄ’f_ipの第２期間中に、ｄｄ’f_ip＝ｄｄf_ip−Ｔp_oとした場合に、以下の式:
Ｒsp_in＝（（ｒn_ip＊ｄｄ’f_ip）−（ＲW＊Ｗ））/ｄｄ’f_ip
によって規定された第２レートＲsp_inで前記第２デジタルビデオビットストリームを流す手段であって、ｒn_opは、前記第１デジタルビデオビットストリームが通常、前記アウトポイントで符号化されるビットレートであり、ｒn_ipは、前記第２デジタルビデオビットストリームが通常、前記インポイントで符号化されるビットレートであり、Ｔp_oは、前記アウトポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間である手段と、
以下の式：
Ｒsp_op＝（ｄｄf_ip/ｄｄf_op）＊ｒn_ip
に従ってストリームビットレートＲsp_opを算出する手段と、
Ｒsp_op≦ｒn_opであるか否かを判定する手段と、
前記アウトポイントからの切替を行う手段と、
Ｒsp_op≦ｒn_opであることを判定した場合に、ｄｄf_opの持続時間中にレートＲsp_opで前記第２デジタルビデオビットストリームを流す手段と、
Ｒsp_op＞ｒn_opであることを判定した場合に、次の可能な手順（ｉ）：
（ｉ）Ｗに等しい時間量の待機をし、インポイントへの切替を行う手順；
または手順（ｉｉ）：
（ｉｉ）（Ａ）Ｗに等しい持続時間の第１期間中に第１レートＲW≦ｒn_opで前記第２デジタルビデオビットストリームを流した後、（Ｂ）ｄｄ’f_ip＝ｄｄf_ip−Ｔp_oとした場合に以下の式：
Ｒsp_in＝（（ｒn_ip＊ｄｄ’f_ip）−（ＲW＊Ｗ））/ｄｄ’f_ip
によって規定された第２レートＲsp_inで前記第２デジタルビデオビットストリームを流す手順
のいずれかを選択して実行する手段と
を具えることを特徴とするスプライサ。
【発明の詳細な説明】
発明の背景
本発明は、一般にデジタルビデオ信号の符号化に関するものであり、特に、（ＭＰＥＧ−２に従うビデオビットストリームのような）デジタルビデオビットストリームを符号化するのに用いることができるビデオレートの上限及び下限の制約を最小にする継目のないスプライスポイントの構成の新規のアプローチに関するものであり、これによって、現在既知の技術に比べて画像品質を著しく向上させる。
圧縮ビデオストリーム（すなわち、「デジタルビデオビットストリーム」）の切替は、将来のデジタルテレビション製作及び分配サービスにとって重要な動作となると予測される。しかしながら、デジタルビデオビットストリームの切替には、現在のアナログに基づくＴＶシステムに存在しない技術的な課題がある。これら課題を処理する方法を一つは、所望のストリームを分解し、切替動作をベースバンドで実行し、結果的に生じる切り替えられた信号を再圧縮することである。しかしながら、このアプローチは、特に放送品質ストリームに対して顕著な劣化が生じるおそれがある。また、デジタルベースバンドで切替を行うことは、特に複数の番組を同時に切り替える際にコスト的な解決を必要とする。
圧縮ビデオ信号の切替に対する他のアプローチは、継目のないスプライス可能なストリームを形成することであり、これは、ベースバンドに行く必要なくある圧縮ビデオストリームから別の圧縮ビデオストリームへの切替が容易となる。継目のないスプライス可能なストリームの形成は、（ＭＰＥＧ−２システムドキュメントで要点を述べたもののような）継目のないスプライシングパラメータの仕様及び規格を必要とする。これらスプライシングパラメータは、継目のないスプライスポイントを構成するのに用いられる。継目のないスプライスポイント（ＳＳＰ）は、スプライスに機会を提供するビットストリームのロケーションである。切替が所望される場合、切替装置は、ＭＰＥＧ−２に従うレシーバで任意のデコーダバッファのアンダーフロー又はオーバーフローを発生させることなく、あるストリームのあるＳＳＰから他のストリームの他のＳＳＰに切り替えることができる。ＭＰＥＧ−２に従うストリームの任意のポイント（すなわち、ＳＳＰでない。）からＭＰＥＧ−２に従うストリームの他の任意のポイントに切り替えることによってデコーダバッファにアンダーフロー又はオーバーフローイベントを発生させるおそれがあることは重要である。したがって、このような「任意のポイント切替」は「継目がない」わけではない。
ＭＰＥＧ−２において、スプライスポイントの存在は、ビットストリーム中のスプライス＿フラグフィールド及びスプライス＿カウントダウンフィールドによって表される（スプライスポイントが「構成される」。）。スプライスポイントにおけるストリームの一部の特性は、２個のスプライスパラメータ：スプライス＿復号化＿遅延（ＳＤＤ）及び最大＿スプライス＿レート（ＭＳＲ）によって規定される。ＭＰＥＧ−２によれば、ＳＳＰを構成するとき、以下の制約が課される必要がある。ＳＳＰの後のＭＰＥＧ−２に従うストリームの第１バイトが符号化前にデコーダバッファに滞在する必要がある時間量（ｄｄf）は、以下のように規定される。
ｄｄf＝ＳＤＤ
デコーダバッファオーバーフローイベントを防止するために、ＳＳＰが制約される際に以下の制約を被る必要がある。
ＳＳＰの前に画像を形成する際に仮定する必要があるビットレート（ｒa）をＭＳＲとする必要がある。
ｒa＝ＭＳＲ
ＳＳＲの後に用いる必要があるビットレート（ｒu）をＭＳＲ未満にする必要がある。
ｒu≦ＭＳＲ
ＭＰＥＧ−２スプライシングのＳＭＰＴＥ委員会は、ＭＰＥＧ−２の継目のないスプライシングワークを行うとともに、一般にスプライシング制約及びツールを規格化するとともに特に特定のＳＤＤ値及びＭＳＲ値を規格化するための新たな努力を開始した。ＳＭＰＴＥ委員会は、２タイプのスプライスポイント：インポイント（ＩＰ）及びアウトポイント（ＯＰ）を規定する。ＳＭＰＴＥ草案規格によれば、インポイントを、「スプライス装置が入力することができるＰＩＤストリーム中のポイント」とする。（ＰＩＤストリームを、ビデオストリーム、音声ストリーム等とすることができる。）。同様に、アウトポイントは、「スプライス装置が入力することができるＰＩＤストリーム中のポイント」として規定される。
また、ＳＭＰＴＥ技術によれば、継目のないビデオインポイントの各々は、継目のないビデオアウトポイントの全ての制約に適合する必要がある（用語継目のないビデオインポイント及び継目のないビデオアウトポイントを、以後「継目のないインポイント」及び「継目のないアウトポイント」と称する。）しかしながら、継目のないインポイントは追加の制約を有する必要がある。主要な（ビデオに関連する）制約は、継目のないインポイントの後の第１画像を内部符号化（Ｉ）画像（Ｉｎｔｒａ−ｃｏｄｅｄ  ｐｉｃｔｕｒｅ）とする必要がある。したがって、ＳＭＰＴＥ委員の技術に基づいて、（既に説明した）ＳＤＤ及びＭＳＲに関連する制約の全てを、継目のないインポイント及び継目のないアウトポイントを構成する際に課す必要がある。
その結果、現在既知の技術は、継目のないビデオインポイント及びアウトポイントの構成に以下の制約を課す。
ｄｄr＝ＳＤＤ
ｒa＝ＭＳＲ
ｒu≦ＭＳＲ
規定されたビットレートｒaをスプライシングポイント前に仮定するとともにスプライシングポイント後に用いられるビットレートｒuを制限するという制約によって、継目のないスプライシングポイントを構成する際に良好な画像品質を維持するのが困難になる。これは、継目のないスプライスポイントを挿入する必要があるストリームの通常のビットレート（ｒu）がＭＳＲと非常に異なる場合に特にそうである。
図１は、出願人の同時係属である米国特許出願第０８／８２９，１２４号の技術によるこれら制約を図形的に示す。図において、ｔsp−Δを、エンコーダの境界が変化しはじめるときとし、Δを、境界間遅延（すなわち、エンコーダバッファ遅延及びデコーダバッファ遅延）とし、ｔeを、「第１画像」の符号化時とし、ｔspを、「第１画像」の第１バイトがデコーダバッファに入力するときとし、ｔsp＋ＳＤＤを、「第１画像」の復号化時とする。この図は、継目のないインポイント又は継目のないアウトポイントを構成する際、継目のないスプライスポイントを挿入する必要があるストリームの通常のビットレート（ｒn）がＭＳＲよりも小さい（ブロック１０）又はＭＳＲよりも大きい（ブロック１１）際に課される必要がある下側エンコーダバッファ境界１及び上側エンコーダバッファ境界２の一例を示す。この図は、「通常の」下側（３）及び上側（４）エンコーダ境界、すなわち、ＳＳＰを構成する必要がないときにエンコーダによって通常課される必要があるエンコーダ境界も示す。本例で示したように、ＳＳＰを構成する際にエンコーダに厳格なバッファ制約を課す必要がある。参照番号１２は、制約ｄｄf＝ＳＤＤが従来と同一であることを示す。
これら厳格な制約の一部を除去するように継目のないインポイント及びアウトポイントを構成する方法は、譲受人に譲り受けた本願の共同発明者の一人であるＨａｙｄｅｒ  Ｒａｄｈａによって１９９７年１１月２５日に出願した発明の名称がＭＰＥＧストリームの継目のないスプライシングに対するビデオバッファ（Ｖｉｄｅｏ  Ｂｕｆｆｅｒ  ｆｏｒ  Ｓｅａｍｌｅｓｓ  Ｓｐｌｉｃｉｎｇ  ｏｆ  ＭＰＥＧ  Ｓｔｒｅａｍ）の同時係属出願である米国特許出願に提案されており、参照することによってその開示を個々に組み込む。継目のないインポイント及びアウトポイントを構成するためにこの方法の使用の一例を図２に図形的に示し、これは、下側（１）及び上側（２）境界がアウトポイント（ＯＰ）及びインポイント（ＩＰ）を制約することを示す。インポイント及びアウトポイント（ＩＯＰ）であるポイントに対する厳格な制約は、このアプローチによって除去されない。これを、従来の方法を表すブロック１３によって示す。図２でわかるように、ｒn＞ＭＳＲに対する制約（ブロック１４）及びｒn＜ＭＳＲに対する制約（ブロック１５）はこの場合さほど厳格でない。参照番号１０（ｒn＜ＭＳＲの場合のアウトポイント）及び１１（ｒn＞ＭＳＲの場合のインポイント）によって表した一部の継目のないインポイント及びアウトポイントにおいて、厳格な制約は、このアプローチを用いて除去されない。図１の場合のように、制約ｄｄf＝ＳＤＤは従来と同一である（ブロック１２参照）。
上記に基づいて、通常のビットレートに等しいビットレートを使用し及び仮定しながら継目のないアウトポイント及び継目のないインポイントをエンコーダによって構成して、現在の技術を用いて除去することができるな主要な継目のないスプライシング制約を除去し、その結果、現在の技術に比べて継目のないインポイントと継目のないアウトポイントの周辺の画像品質を著しく向上させることができる継目のないアウトポイント及び継目のないインポイントを構成する新規の方法が従来必要であることは、当業者には理解される。本発明の従来のこの要件を満足する。
発明の要約
したがって、本発明の目的の一つは、通常のビットレートを仮定し及び使用しながら継目のないインポイント及びアウトポイントをエンコーダによって構成できるようにすることである。用語「通常のビットレート」は、エンコーダがスプライスポイントの挿入動作に悪影響を及ぼすことなく「通常」用いるビットレートを意味する。本発明の目的は、エンコーダが通常の方法で動作し、したがって、スプライスポイントをストリーム中に挿入する必要があるときの制約を最小にすることができるようにすることである。この目的を以下のように表現することができる。
ｒa＝ｒn及びｒu＝ｒn
ここで，ｒaを、仮定したビットレートとし、ｒnを通常のビットレートとし、ｒuを、実際に用いられるビットレートとする。
この及び他の目的を達成するために、本発明は、その一態様において、複数の連続的に符号化した画像を有するデジタルビデオビットストリームを符号化するに当たり、
以下の式（１）によって表現される制約に従って継目のないインポイントを構成し、
（１）ｄｄf_ip≦ｍｉｎｉｍｕｍ｛ＤＤthr_ip，（Ｂd／ｒn_ip）｝
この場合、ｄｄf_ipが、前記継目のないインポイントの後の前記デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表し、Ｂdを前記デコーダバッファのサイズとし、ｒn_ipを、前記デジタルビデオビットストリームが通常に前記継目のないインポイントで符号化されるビットレートとし、ＤＤthr_ipが、前記継目のないポイントに対する予め設定された最小復号化遅延しきい値を表し、前記ＤＤthr_ipが以下の式（２）によって規定され、
（２）ＤＤthr_ip＝（（ＭＳＲ/rn_ip）*ＳＤＤ）+Ｔp_i*（１-（ＭＳＲ/rn_ip））
この場合、Ｔp_iを、継目のないインポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とし、ＳＤＤを、予め設定されたスプライス復号化遅延とし、ＭＳＲを、予め設定された最大スプライスレートとするステップと、
他のデジタルビットストリームを前記デジタルビデオビットストリームにスプライスすることができるデジタルビットストリームのポイントに前記継目のないインポイントを挿入するステップとを有することを特徴とするデジタルビデオビットストリーム符号化方法に範囲が及ぶ。
デコーダは、例えば、ＭＰＥＧビットストリームのｖｂｖ＿遅延フィールド、ＰＣＲフィールド（プログラムクロック基準）又はＤＴＳフィールド（表示時間スタンプ）から復号化遅延ｄｄf_ip及びｄｄf_opを取り出すことができる。
本発明は、他の態様において、複数の連続的に符号化した画像を有するデジタルビデオビットストリームを符号化するに当たり、
以下の式（３）によって表現される制約に従って継目のないアウトポイントを構成し、
（３）ＤＤthr_op≦ｄｄf_op≦（Ｂd／ｒn_op）
この場合、ｄｄf_opが、前記継目のないアウトポイントの後の前記デジタルビデオビットストリームの最初のバイトが復号化前にデコーダバッファに滞在する必要がある時間量を表し、Ｂdを前記デコーダバッファのサイズとし、ｒn_opを、前記デジタルビデオビットストリームが通常に前記継目のないアウトポイントで符号化されるビットレートとし、ＤＤthr_opが、前記継目のないポイントに対する予め設定された最小復号化遅延しきい値を表し、前記ＤＤthr_opが以下の式（４）によって規定され、
（４）ＤＤthr_op＝（（ＭＳＲ/rn_op）*ＳＤＤ）+Ｔp_o*（１−（ＭＳＲ/rn_op））
この場合、Ｔp_oを、継目のないアウトポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とし、ＳＤＤを、予め設定されたスプライス復号化遅延とし、ＭＳＲを、予め設定された最大スプライスレートとするステップと、
他のデジタルビットストリームを前記デジタルビデオビットストリームにスプライスすることができるデジタルビットストリームのポイントに前記継目のないアウトポイントを挿入するステップとを有することを特徴とするデジタルビデオビットストリーム符号化方法に範囲が及ぶ。
本発明は、他の態様において、アウトポイントの第１デジタルビデオビットストリームをインポイントの第２デジタルビデオビットストリームにスプライスするに当たり、
ｄｄf_opを測定するステップと、
ｄｄf_ipを測定するステップと、
ｄｄf_op−ｄｄf_ipに等しい差Ｗを算出するステップと、
アウトポイントからの切替を行うステップと、
アウトポイントからの切替後、Ｗに等しい時間量の待機をし、インポイントへの切替を行うステップとを具えることを特徴とするビデオビットストリームスプライス方法に範囲が及ぶ。
他の態様において、本発明は、アウトポイントの第１デジタルビデオビットストリームをインポイントの第２デジタルビデオビットストリームにスプライスするに当たり、
ｄｄf_opを測定するステップと、
ｄｄf_ipを測定するステップと、
ｄｄf_op−ｄｄf_ipに等しい差Ｗを算出するステップと、
アウトポイントからの切替を行うステップと、
Ｗに等しい持続時間の期間中、第１レートＲW≦ｒn_opで前記第２デジタルビデオビットストリームを流すステップと、
持続時間ｄｄ’f_ipの第２期間中、ｄｄ’f_ip＝ｄｄf_ip−Ｔp_0とした場合に以下の式によって規定された第２レートＲsp_inで第２デジタルビデオビットストリームを流すステップとを有することを特徴とするデジタルビデオビットストリームスプライス方法に範囲が及ぶ。
Ｒsp_in=（（rn_ip*dd’f_ip）-（RW*W））/dd’f_ip
他の態様によれば、本発明は、アウトポイントの第１デジタルビデオビットストリームをインポイントの第２デジタルビデオビットストリームにスプライスするに当たり、
ｄｄf_opを測定するステップと、
ｄｄf_ipを測定するステップと、
ｄｄf_op−ｄｄf_ipに等しい差Ｗを算出するステップと、
以下の式（１）に従ってストリームビットレートＲsp_opを算出するステップと、
（１）Ｒsp_op＝（ｄｄf_ip／ｄｄf_op）＊ｒn_ip
Ｒsp_op≦ｒn_opの場合を決定するステップと、
Ｒsp_op≦ｒn_opであることを決定した場合、アウトポイントからの切替を行うとともに、ｄｄf_opの持続時間中にレートＲsp_opで第２デジタルビデオビットストリームを流すステップと、
Ｒsp_op＞ｒn_opであることを決定した場合、アウトポイントからの切替を行うとともに、以下のあり得る２手順
（ｉ）Ｗに等しい時間の待機と、その後に行われるインポイントへの切替
（ii）（Ａ）Ｗに等しい持続時間の第１期間中に第１レートＲW≦ｒn_opで第２デジタルビデオビットストリームを流し、（Ｂ）その後に行われる、ｄｄ’f_ip＝ｄｄf_ip−Ｔp_0とした場合に以下の式（２）によって規定された第２レートＲsp_inで第２デジタルビデオビットストリームを流すことのうちの選択したものを実行するステップとを有することを特徴とするデジタルビデオビットストリームスプライス方法に範囲が及ぶ。
他の態様において、本発明は、本発明の任意の１個以上の符号化方法によって符号化されたデジタルビデオビットストリームを有するビデオ信号、本発明のスプライス方法のうちの任意のものによって互いにスプライスされる第１及び第２デジタルビデオビットストリームを有するビデオ信号並びに本発明の符号化方法のうちの任意のものを実現するエンコーダに範囲が及ぶ。
【図面の簡単な説明】
本発明の上記及び他の目的、構成及び効果を、添付図面を参照して以下詳細に説明する。
図１は、同時係属出願である米国特許出願番号第０８／８２９，１２４号の技術によって継目のない接続（Ｉｎ又はＯｕｔ）ポイントを構成するエンコーダによって用いられる方法のフローチャートと図形描写を組み合わせたものである。
図２は、１９９７年１１月２５日に出願されたＭＰＥＧストリームの継目のないスプライシングを行うビデオバッファという名称の同時係属である米国出願の技術によって継目のない接続（Ｉｎ又はＯｕｔ）ポイントを構成するエンコーダによって用いられる方法のフローチャートと図形描写を組み合わせたものである。
図３は、本発明の好適な実施の形態によって継目のない接続（Ｉｎ又はＯｕｔ）ポイントを構成するエンコーダによって用いられる方法のフローチャートと図形描写を組み合わせたものである。
発明の詳細な説明
本発明による継目のないイン及びアウトポイントを構成する方法のフローチャートを、本発明の使用の一例を説明するグラフとともに図３に示す。この図の同様な参照番号を、図１及び２のブロックと同様に付すものとする。
従来のアプローチによれば、継目のないアウトポイントを構成する際、通常のエンコーダビットレートｒn_opがＭＳＲより小さい場合、エンコーダは、より高いＭＳＲレート、すなわち、ｒa＝ＭＳＲ＞ｒn_opを仮定する必要がある。
本発明の一態様によれば、エンコーダは、以下の式（１）によって表現される制約に適合するように（ＳＤＤより大きい）復号化遅延ｄf_opの値を選択することによって、継目のないアウトポイントを構成する際に通常のビットレートｒn_opを仮定することができる。
（１）ＤＤthr_op≦ｄｄf_op≦（Ｂd／ｒn_op）
この場合、Ｂdをデコーダバッファサイズとし、ＤＤthr_opを、以下の式（２）によって規定された値を有する継目のないアウトポイントに対する復号化遅延しきい値とする。
（２）DDthr_op=（（MSR/rn_op）*SDD）Tp_o*（（MSR/rn_op-1）
ここで、Ｔp_oを、継目のないアウトポイントの直前の画像の復号化時に表示を開始する画像の表示に必要な時間である。
したがって、本発明によれば、エンコーダは、上記式（１）及び（２）で明記された制約に適合する復号化遅延ｄｄf_opに対する値を選択することによって、通常のエンコーダビットレートｒn_opがＭＳＲより小さいときに継目のないアウトポイントを構成することができる。これによって、エンコーダは、より高いビットレートＭＳＲを仮定することなく通常のビットレートｒn_opを仮定することができ、したがって、継目のないアウトポイントの周辺で構成される画像の品質を著しく向上させる。
常に上記式（１）及び（２）で表現された制約に適合するｄｄf_opに対する特定の値を、式（３）によって規定する。
（３）ｄｄf_op＝（ＭＳＲ／ｒn_op）＊ＳＤＤ
したがって、本発明によれば、エンコーダは、式（３）によって規定された符号化遅延ｄｄf_opに対する特定の値を選択することによって、通常のレートｒn_opがＭＳＲより小さいときに継目のないアウトポイントを構成することができる。これによって、エンコーダは、より高いビットレートＭＳＲを仮定することなく通常のビットレートｒn_opを仮定することができ、その結果、継目のないアウトポイントの周辺で構成した画像品質を著しく向上させることができる。式（３）によって規定したｄｄf_opの選択ステップを、図３において１６を付す。対応するバッファ境界制約をブロック１７によって示す。ＭＳＲがｒn_opより大きくない場合、エンコーダは、値≧（２６を付した）ＳＤＤを選択するためのデコーダ遅延ｄｄf_opのオプションを有する。対応するバッファ境界制約をブロック２７によって示す。
式（３）が常に式（１）及び（２）によって表される制約を満足し、かつ、（ＭＳＲ＊ＳＤＤ≦Ｂd）となるように常にＭＳＲ及びＳＤＤを選択しているので、式（３）を用いてｄｄf_opに対する特定の値を規定することによって、以下に列挙する利点を提供する。
１．量Ｂdｒn_op，ＭＳＲ及びＳＤＤの間の関係を評価する必要なく継目のないアウトポイントの構成を確実にする。
２．式（２）で表現したような復号化遅延しきい値ＤＤthr_opを評価するときにＴp_oの値を知る必要がなくなる。これは、可変画像表示時間を有するビデオシーケンスに対して有用となる。
３．以下展開するように、スプライサでのバッファリングの必要が少なくなる。
４．産業上の広い規格（例えば、ＳＭＰＴＥ又はＭＰＥＧ）における指定が更に容易になる。
従来のアプローチによれば、通常のエンコーダビットレートｒn_ipがＭＳＲよりも大きいときに継目のないインポイントを構成すると、エンコーダは、継目のないインポイントの後にＳＤＤに等しい時間量に対してより低いＭＳＲレート、すなわち、ｒu＝ＭＳＲ＜ｒn_ipを用いる必要がある。
本発明によれば、エンコーダは、以下の式（４）によって表現された制約に適合するようにＳＤＤより小さい復号化遅延ｄｄf_ipの値を選択することによって、継目のないインポイントを構成する際に通常のビットレートｒn_ipを用いることができる。
（４）ｄｄf_ip≦ｍｉｎｉｍｕｍ｛ＤＤthr_op，（Ｂd／ｒi_ip）｝
ここで、Ｂdをデコーダバッファサイズとし、ＤＤthr_ipを、以下の式（５）によって規定される値を有するインポイントに対する復号化遅延しきい値とする。
（５）ＤＤthr_ip=（MSR/rn_ip）*SDD）+Tp_i*（1-（MSR/rn_ip）
ここで、Ｔp_iを、継目のないインポイントの直前の画像を復号化するときに表示を開始する画像を表示するのに必要な時間とする。
したがって、本発明によれば、エンコーダは、式（４）及び（５）で表現される制約を満足する復号化遅延ｄｄf_ipに対する値を選択することによって、エンコーダビットレートｒn_ipがＭＳＲより大きいときに継目のないインポイントを構成することができる。これによって、エンコーダは、より低いビットレートＭＳＲを使用することなく通常のビットレートｒn_ipを用いることができ、したがって、継目のないインポイントの周辺で構成された画像の品質を著しく向上させる。
式（４）及び（５）で表現される制約に常に適合するｄｄf_ipに対する特定の値は、以下の式（６）によって規定される。
（６）ｄｄf_ip＝（ＭＳＲ／ｒn_ip）＊ＳＤＤ
したがって、本発明によれば、エンコーダは、式（６）によって規定された復号化遅延ｄｄf_ipに対する特定の値を選択することによって、通常のエンコーダビットレートｒn_ipがＭＳＲより大きいときに継目のないインポイントを構成することができる。これによって、エンコーダは、より小さいビットレートＭＳＲを用いることなく通常のビットレートｒn_ipを用いることができ、したがって、継目のないインポイントの周辺で構成した画像の品質を向上させる。式（６）によって規定されたｄｄf_ipを選択するステップには、図３で１８を付す。対応するバッファ境界制約をブロック１９によって示す。ＭＳＲがｒn_ipより大きい場合、エンコーダは、（２８を付した）値≦ＳＤＤを選択するために復号化遅延ｄｄf_ipに対するオプションを有する。対応するバッファ境界制約をブロック２９によって示す。
式（６）が式（４）及び（５）によって表現された制約を常に満足し、かつ、（ＭＳＤ＊ＳＤＤ≦Ｂd）となるように常にＭＳＲ及びＳＤＤを選択するので、式（６）は、以下に列挙した利点を提供する。
１）量Ｂdｒn_op，ＭＳＲ及びＳＤＤの間の関係を評価する必要なく継目のないアウトポイントの構成を確実にする。
２）式（５）で表現したような復号化遅延しきい値ＤＤthr_opを評価するときにＴp_oの値を知る必要がなくなる。これは、可変画像表示時間を有するビデオシーケンスに対して有用となる。
３）以下展開するように、スプライサでのバッファリングの必要が少なくなる。
４）産業上の広い規格（例えば、ＳＭＰＴＥ又はＭＰＥＧ）における指定が更に容易になる。
本発明によって構成した継目のないスプライスポイント（ＳＳＰi）を有するデジタルビデオビットストリーム上で動作するスプライサは、継目のないスプライシングを達成するために（すなわち、デコーダバッファがアンダーフロー又はオーバーフローすることなく）以下の手順を用いることができる。
１）継目のないアウトポイントの復号化遅延（ｄｄf_op）を測定する。
２）継目のないインポイントの復号化遅延（ｄｄf_ip）を測定する。
３）２個の復号化遅延間の差（Ｗ）を以下の式（７）に従って演算する。
（７）Ｗ＝ｄｄf_op−ｄｄf_ip
４）継目のないアウトポイントから切り替えた後、スプライサは、以下の手順ａ，ｂ又はｃのうちの任意のものを用いることができる（所望の手順を、ユーザによって又はソフトウェア制御の下で自動的に選択することができる。）。
ａ）継目のないインポイントに切り替える前にＷに等しい時間量の待機。例えば、スプライサは、Ｗの持続時間の間ＮＵＬＬパケットを送信することができる。
ｂ）以下のステップの使用
ｉ）以下の式（８）によって表現されるような、Ｗの持続時間中にアウトポイントレート（すなわち、ｒn_op）以下のレート（Ｒｗ）でのインポイントストリーム（すなわち、第１デジタルビデオビットストリーム）の流れ。
（８）Ｒｗ≦ｒn_op
ii）その後における、以下の式（９）によって規定されたレートＲsp_inでの持続時間ｄｄ’f_ip中のインポイントストリームの流れ。
（９）Ｒsp_in＝（（ｒn_ip＊ｄｄ’f_ip）−（ＲW＊Ｗ））／ｄｄ’f_ip
この場合、ｄｄ’f_ip＝ｄｄf_ip−Ｔp_0
ｃ）以下のステップの使用。
ｉ）以下の式（１０）によるビットレートＲsp_opの計算。
（１０）Ｒsp_op＝（ｄｄf_ip／ｄｄf_op）＊ｒn_ip
ii）Ｒsp_op≦ｒopの場合、
レートＲsp_opにおける持続時間ｄｄf_op中のインポイントストリームの流れ。
そうでない場合、上記手順（ａ）又は（ｂ）の使用。
既知の技術によって構成した継目のないスプライスポイント（ＳＳＰ）と本発明によって構成した継目のないスプライスポイント（ＳＳＰi）との間で継目のないスプライシングが可能であることは、当業者によって理解される。同様に、ＳＳＰiと他のＳＳＰiとの間のスプライシングに対する本発明によるスプライシングの上記方法を用いて、ＳＳＰからＳＳＰi、ＳＳＰiからＳＳＰ及びＳＳＰから他のＳＳＰへのスプライスを行うこともできることも理解される。（最後の場合にはＷを零にする。）さらに、本発明のスプライシング技術を用いて、継目のある（ｎｏｎ−ｓｅａｍｌｅｓｓ）インポイントとアウトポイントとの間又は非ＳＳＰとＳＳＰ（又はＳＳＰi）との間でスプライスすることができるが、これらの場合、以下の制約を満足しないときにはスプライスは継目なしでないことを認識すべきである。
ｄｄr_op＞ｄｄf_ip及びｒn_op＞ｒn_ip
また、本発明を実現するスプライサで必要なバッファのサイズ（Ｂsp）を、以下の式（１１）に従って、持続時間Ｗが有することができる最大値Ｗmaxから算出することができる。
（１１）Ｂsp＝Ｗmax・Ｒmax
この場合、Ｒmaxを、スプライサが受信することができる最大ビットレートとする。
式（３）及び（６）を、継目のないインポイント及びアウトポイントを本発明によって構成するのに用いる場合、Ｗmaxを以下の式（１２）によって表現することができる。
Ｗmax＝Ｗmax 1
＝（（ＭＳＲ／ｒmin_op）−（ＭＳＲ／ｒmax_ip））＊ＳＤＤ
（１２）＝ＭＳＲ＊ＳＤＤ＊（（１／ｒmin_op）−（１／ｒmax_ip））
≦Ｂd＊（（１／ｒmin_op）−（１／ｒmax_ip））
しかしながら、式（１）／（２）及び式（４）／（５）を、本発明によって継目のないインポイント及びアウトポイントを本発明によって構成するのに用いる場合、Ｗmaxを以下の式（１３）によって表現することができる。
（１３）Ｗmax＝Ｗmax_2＝Ｂd／ｒmin_op
式（１２）及び（１３）を比較することによって、Ｗmax_2が常にＷmax_1より大きいことは明らかである。したがって、既に説明したように、継目のないインポイント及びアウトポイントを構成するために式（３）及び（６）を用いることによって、式（１）／（２）及び（４）／（５）のより一般的なしきい値を用いて継目のないインポイント及びアウトポイントを構成するときに必要なバッファサイズと比べたときにスプライサで必要なバッファのサイズを減少させる。
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
【図１】
0004242459.tif 000002
【図２】
0004242459.tif 000003
【図３】
0004242459.tif 000004