(57)【要約】ビデオストリームのスプライシングのための方法及び装置が提供される。装置は、仮想基準デコーダパラメータによりスプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器（１６００）を有する。他の装置は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって、スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐスプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器（１６００）を有する。
2010516103.tif 000002
【特許請求の範囲】
【請求項１】
仮想基準デコーダパラメータによりスプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器を有する装置。
【請求項２】
前記スプライスドビデオストリームのスプライシング位置は帯域内又は帯域外を示される、請求項１記載の装置。
【請求項３】
前記スプライシング位置はネットワークアブストラクションレイヤユニットにより示される、請求項２記載の装置。
【請求項４】
前記ネットワークアブストラクションレイヤユニットは、付加拡張情報メッセージ、又はストリームネットワークアブストラクションレイヤユニットの端部である、請求項３記載の装置。
【請求項５】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間は、前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて計算される、請求項１記載の装置。
【請求項６】
前記時間オフセットは、ピクチャタイミング付加拡張情報メッセージにあるcpb_removal_delayフィールドで伝えられる、請求項５記載の装置。
【請求項７】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間は、該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて計算される、請求項１記載の装置。
【請求項８】
前記時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項７記載の装置。
【請求項９】
前記時間オフセットは、dpb_output_delay構文要素及び他の時間オフセットの和に等しく、該dpb_output_delay構文要素は、ピクチャタイミング付加拡張情報メッセージに置かれている、請求項８記載の装置。
【請求項１０】
前記他の時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項９記載の装置。
【請求項１１】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項１０記載の装置。
【請求項１２】
前記他の時間オフセットは付加拡張情報メッセージで伝えられる、請求項９記載の装置。
【請求項１３】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項１２記載の装置。
【請求項１４】
少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって、スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐよう前記スプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器を有する装置。
【請求項１５】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにcpb_removal_delay構文要素を有する、請求項１４記載の装置。
【請求項１６】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにdpb_output_delay構文要素を有する、請求項１４記載の装置。
【請求項１７】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、バッファリング期間付加拡張情報メッセージにinitial_cpb_removal_delay構文要素を有する、請求項１４記載の装置。
【請求項１８】
前記スプライスドビデオストリーム発生器は、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４提言に準拠するビットストリームを作る、請求項１４記載の装置。
【請求項１９】
仮想基準デコーダパラメータによりスプライスドビデオストリームを作るステップを有する方法。
【請求項２０】
前記スプライスドビデオストリームのスプライシング位置は帯域内又は帯域外を示される、請求項１９記載の方法。
【請求項２１】
前記スプライシング位置はネットワークアブストラクションレイヤユニットにより示される、請求項２０記載の方法。
【請求項２２】
前記ネットワークアブストラクションレイヤユニットは、付加拡張情報メッセージ、又はストリームネットワークアブストラクションレイヤユニットの端部である、請求２１記載の方法。
【請求項２３】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間は、前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて計算される、請求項１９記載の方法。
【請求項２４】
前記時間オフセットは、ピクチャタイミング付加拡張情報メッセージにあるcpb_removal_delayフィールドで伝えられる、請求項２３記載の方法。
【請求項２５】
前記時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項２４記載の方法。
【請求項２６】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間は、該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて計算される、請求項１９記載の方法。
【請求項２７】
前記時間オフセットは、dpb_output_delay構文要素及び他の時間オフセットの和に等しく、該dpb_output_delay構文要素は、ピクチャタイミング付加拡張情報メッセージに置かれている、請求項２６記載の方法。
【請求項２８】
前記他の時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項２７記載の方法。
【請求項２９】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項２８記載の方法。
【請求項３０】
前記他の時間オフセットは付加拡張情報メッセージで伝えられる、請求項２７記載の方法。
【請求項３１】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項３０記載の方法。
【請求項３２】
少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって、スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐ前記スプライスドビデオストリームを作るステップを有する方法。
【請求項３３】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにcpb_removal_delay構文要素を有する、請求項３２記載の方法。
【請求項３４】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにdpb_output_delay構文要素を有する、請求項３２記載の方法。
【請求項３５】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、バッファリング期間付加拡張情報メッセージにinitial_cpb_removal_delay構文要素を有する、請求項３２記載の方法。
【請求項３６】
前記スプライスドビデオストリームは、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４提言に準拠するよう作られる、請求項３２記載の方法。
【請求項３７】
スプライスドビデオストリームに係る仮想基準デコーダパラメータを受け取って、該仮想基準デコーダパラメータにより前記スプライスドビデオストリームを再生するスプライスドビデオストリーム発生器を有する装置。
【請求項３８】
前記スプライスドビデオストリームのスプライシング位置は帯域内又は帯域外を示される、請求項３７記載の装置。
【請求項３９】
前記スプライシング位置はネットワークアブストラクションレイヤユニットにより示される、請求項３８記載の装置。
【請求項４０】
前記ネットワークアブストラクションレイヤユニットは、付加拡張情報メッセージ、又はストリームネットワークアブストラクションレイヤユニットの端部である、請求項３９記載の装置。
【請求項４１】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間は、前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて計算される、請求項３７記載の装置。
【請求項４２】
前記時間オフセットは、ピクチャタイミング付加拡張情報メッセージにあるcpb_removal_delayフィールドで伝えられる、請求項４１記載の装置。
【請求項４３】
前記時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項４２記載の装置。
【請求項４４】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間は、該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて計算される、請求項３７記載の装置。
【請求項４５】
前記時間オフセットは、dpb_output_delay構文要素及び他の時間オフセットの和に等しく、該dpb_output_delay構文要素は、ピクチャタイミング付加拡張情報メッセージに置かれている、請求項４４記載の装置。
【請求項４６】
前記他の時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項４５記載の装置。
【請求項４７】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項４６記載の装置。
【請求項４８】
前記他の時間オフセットは付加拡張情報メッセージで伝えられる、請求項４５記載の装置。
【請求項４９】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項４８記載の装置。
【請求項５０】
スプライスドビデオストリームに対応する少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の変更された標準値を受け取って、前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の前記変更された標準値により前記スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぎながら前記スプライスドビデオストリームを再生するスプライスドビデオストリーム発生器を有する装置。
【請求項５１】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにcpb_removal_delay構文要素を有する、請求項５０記載の装置。
【請求項５２】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにdpb_output_delay構文要素を有する、請求項５０記載の装置。
【請求項５３】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、バッファリング期間付加拡張情報メッセージにinitial_cpb_removal_delay構文要素を有する、請求項５０記載の装置。
【請求項５４】
前記スプライスドビデオストリーム発生器は、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４提言に準拠するビットストリームを作る、請求項５０記載の装置。
【請求項５５】
スプライスドビデオストリームに係る仮想基準デコーダパラメータを受け取るステップと、
前記仮想基準デコーダパラメータにより前記スプライスドビデオストリームを再生するステップと
を有する方法。
【請求項５６】
前記スプライスドビデオストリームのスプライシング位置は帯域内又は帯域外を示される、請求項５５記載の方法。
【請求項５７】
前記スプライシング位置はネットワークアブストラクションレイヤユニットにより示される、請求項５６記載の方法。
【請求項５８】
前記ネットワークアブストラクションレイヤユニットは、付加拡張情報メッセージ、又はストリームネットワークアブストラクションレイヤユニットの端部である、請求５７記載の方法。
【請求項５９】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間は、前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて前の計算から決定される、請求項５５載の方法。
【請求項６０】
前記時間オフセットは、ピクチャタイミング付加拡張情報メッセージにあるcpb_removal_delayフィールドで受け取られる、請求項５９記載の方法。
【請求項６１】
前記時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項６０記載の方法。
【請求項６２】
前記スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間は、該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて前の計算から決定される、請求項５５記載の方法。
【請求項６３】
前記時間オフセットは、dpb_output_delay構文要素及び他の時間オフセットの和に等しく、該dpb_output_delay構文要素は、ピクチャタイミング付加拡張情報メッセージから決定される、請求項６２記載の方法。
【請求項６４】
前記他の時間オフセットは、前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、請求項６３記載の方法。
【請求項６５】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項６４記載の方法。
【請求項６６】
前記他の時間オフセットは付加拡張情報メッセージから決定される、請求項６３記載の方法。
【請求項６７】
前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい、請求項６６記載の方法。
【請求項６８】
スプライスドビデオストリームに対応する少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の変更された標準値を受け取るステップと、
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の前記変更された標準値により前記スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぎながら前記スプライスドビデオストリームを再生するステップと
を有する方法。
【請求項６９】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにcpb_removal_delay構文要素を有する、請求項６８記載の方法。
【請求項７０】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、ピクチャタイミング付加拡張情報メッセージにdpb_output_delay構文要素を有する、請求項６８記載の方法。
【請求項７１】
前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素は、バッファリング期間付加拡張情報メッセージにinitial_cpb_removal_delay構文要素を有する、請求項６８記載の方法。
【請求項７２】
前記スプライスドビデオストリームは、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４提言に準拠するよう再生される、請求項６８記載の方法。
【請求項７３】
当該スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐスプライスドビデオストリームを有し、
前記スプライスドビデオストリームは、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって作られる、
ビデオエンコードのためのビデオ信号構造。
【請求項７４】
エンコードをされているビデオ信号データを有する記憶媒体であって、
当該スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐスプライスドビデオストリームを有し、
前記スプライスドビデオストリームは、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって作られる、記憶媒体。
【請求項７５】
仮想基準デコーダパラメータにより作られるスプライスドビデオストリームを有する、ビデオエンコードのためのビデオ信号構造。
【請求項７６】
エンコードをされているビデオ信号データを有する記憶媒体であって、
仮想基準デコーダパラメータにより作られるスプライスドビデオストリームを有する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本原理は、概して、ビデオエンコード及びデコード、より具体的に、ビデオストリームのスプライシング（splicing）のための方法及び装置に関する。
【背景技術】
【０００２】
ビデオストリームのスプライシングは、頻繁に用いられるプロシージャである。ストリーム・スプライシングの典型的な用途には、例えば、ビデオ編集、並列エンコード、及び広告挿入等がある。
【０００３】
圧縮ビデオストリームは、しばしばチャネルを通って送信されるので、ビットレートの変化は、エンコーダ及びデコーダでのバッファリングメカニズムを用いて平滑化される必要がある。物理バッファのサイズは有限であり、従って、エンコーダは、無理にビットレートの変化をバッファ限界の範囲内に合わせなければならない。ビデオエンコード標準は、特定のエンコーダ又はデコーダバッファリングメカニズムを要求せず、所与のバッファサイズの仮想基準デコーダ（ＨＲＤ（Hypothetical  Reference  Decoder））がバッファのオーバーフロー又はアンダーフローに苦しむことなくビデオビットストリームをデコードするようにエンコーダがビットレートの変動を制御することを定める。
【０００４】
仮想基準デコーダは理想的なデコーダモデルに基づく。仮想基準デコーダの目的は、符号化されているストリームでの時間にわたるビットレートの変化に必要最小限のバッファリング制約を課すことである。かかる制約は、より高いレイヤがストリームをマルチプレクスし、費用効果的なデコーダが実時間でストリームをデコードすることを可能にする。仮想基準デコーダの適合性は、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４提言（以下、「ＭＰＥＧ−４  ＡＶＣ標準」）の規範部分であり、従って、如何なるソースＭＰＥＧ−４  ＡＶＣ標準準拠のストリームも、本質的に、仮想基準デコーダに必要条件を満足する。ＭＰＥＧ−４  ＡＶＣ標準に準拠するビデオストリーム（以下、「ＭＰＥＧ−４  ＡＶＣ標準ストリーム」）をスプライシングする大きな課題の１つは、２つの独立したソースストリームをつなぎ合わせたストリームが、ＭＰＥＧ−４  ＡＶＣ標準によって定義されるように、依然として仮想基準デコーダの必要条件を満足することを確かにすることである。しかし、現在の仕様を用いると、予めＨＲＤに準拠するソースストリームによって結合されるストリームが依然としてＨＲＦに準拠するであろう保証はない。従って、ＭＰＥＧ−４  ＡＶＣ標準ストリームのスプライシングは、単にカットアンドペースト動作ではない。
【０００５】
仮想基準デコーダは、ＭＰＥＧ−４  ＡＶＣ標準で仕様を定められている。そこで定義されるように、仮想基準デコーダモデルは、順次にエンコードされているＭＰＥＧ−４  ＡＶＣストリームがデコーダでバッファオーバーフロー又はアンダーフローを引き起こすことを防ぐ。しかし、我々は、スプライスドストリームが仮想基準デコーダに適合することを妨げる現在の仮想基準デコーダモデルにおける３つの課題を確認している。これらの課題は：
１．連結点の後での第１のピクチャの符号化ピクチャバッファからのリムーバル（removal）に係る不正確な時間；
２．異なる初期復号化ピクチャバッファ遅延を有してソースストリームと連結する場合の不正確なピクチャ出力タイミング；
３．バッファのアンダーフロー又はオーバーフローを引き起こしうる、式Ｃ−１５及びＣ−１６の違背。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、本原理に従って、ここで提供される方法及び装置は、先行技術の少なくとも上記欠点を解決して、スプライスドストリームが仮想基準デコーダに適合することを確かにする。
【課題を解決するための手段】
【０００７】
ここで、本原理に関連する幾つかの用語及びその対応する定義を与える。
【０００８】
ｔｒ，ｎ（ｎ）：アクセスユニットｎの公称リムーバル時間。すなわち、符号化ピクチャバッファ（ＣＰＢ）からアクセスユニットｎを除くための公称時間。
【０００９】
ｔｒ（ｎ）：アクセスユニットｎの実際のリムーバル時間。すなわち、符号化ピクチャバッファからアクセスユニットｎを除き、即座にデコードするための実際の時間。
【００１０】
ｔａｉ（ｎ）：アクセスユニットｎの最初の到達時間。すなわち、アクセスユニットｎの最初のビットが符号化ピクチャバッファに入り始める時間。
【００１１】
ｔａｆ（ｎ）：アクセスユニットｎの最終の到達時間。すなわち、アクセスユニットｎの最後のビットが符号化ピクチャバッファに入る時間。
【００１２】
ｔｏ，ｄｐｂ（ｎ）：デコードされたピクチャバッファ（ＤＢＰ）の出力時間。すなわち、アクセスユニットｎが復号化ピクチャバッファから出力される時間。
【００１３】
num_units_in_tickは、クロックチック・カウンタの１インクリメント（クロックチックと呼ばれる。）に対応する周波数time_scaleＨｚ（ヘルツ）で動作するクロックの時間ユニットの数を特定するシーケンスパラメータ設定での構文要素である。num_units_in_tickは０より大きくなければならない。クロックチックは、符号化データで表され得る最小時間間隔である。例えば、ビデオ信号のクロック周波数が６０００÷１００１Ｈｚである場合に、time_scaleは６０，０００に等しく、num_units_in_tickは１００１に等しい。
【００１４】
time_scaleは、１秒間に過ぎる時間ユニットの数である。例えば、２７ＭＨｚクロックを用いて時間を測定する時間座標系は、２７００００００のtime_scaleを有する。time_scaleは０より大きくなければならない。
【００１５】
ピクチャタイミングＳＥＩメッセージ：例えば、cpb_removal_delayや、dpb_output_delay等のピクチャタイミング情報を格納する構文構造。
【００１６】
バッファリング期間ＳＥＩメッセージ：例えば、initial_cpb_removal_delay等のバッファリング期間情報を格納する構文構造。
【００１７】
バッファリング期間：デコード順でのバッファリング期間付加拡張情報メッセージの２つのインスタンスの間のアクセスユニットの組。
【００１８】
SchedSelldx：仮想基準デコーダパラメータのどの組（送信レート、バッファサイズ、及び初期バッファ充填率）が選択されるかを示すインデックス。ビットストリームは、仮想基準デコーダパラメータの複数の組に適合することができる。
【００１９】
［スプライシング点でのcpb_removal_delayの不正確な値］
現在の仮想基準デコーダ要件では、cpb_removal_delayは、ピクチャタイミング付加拡張情報メッセージに関連するデータをアクセスユニットから除く前に、つい最近のバッファリング期間付加拡張情報メッセージと関連するアクセスユニットの符号化ピクチャバッファからのリムーバルの後で幾つのクロックチックを待つべきかを特定する。符号化ピクチャバッファからのアクセスユニットｎの公称リムーバル時間は、下記の式によって特定される：
ｔｒ，ｎ（ｎ）＝ｔｒ，ｎ（ｎｂ）＋ｔｃ＊cpb_removal_delay（ｎ）      （Ｃ−８）
ここで、変数ｔｃは、下記の式：
ｔｃ＝num_units_in_tick＊time_scale          （１）
によって導出され、クロックチックと呼ばれる。
【００２０】
バッファリング期間の第１のアクセスユニットに関して、ｔｒ，ｎ（ｎｂ）は、前のバッファリング期間の第１のアクセスユニットの公称リムーバル時間である。このことは、それが、ピクチャタイミング付加拡張情報メッセージでcpb_removal_delayを正確に設定するために前のバッファリング期間の長さの認識を必要とすることを意味する。ソースストリームが独立してエンコードされる場合に、ソースストリームの単純な連結は、問題のある符号化ピクチャバッファリムーバルタイミングを作る。一例が図１に示される。
【００２１】
図１を参照すると、不正確なcpb_removal_delayによって引き起こされる、例となる問題のあるエンコードタイミングシナリオが、概して、参照符号１００で示されている。
【００２２】
図１のシナリオでは、我々は、ソースストリーム１からセグメントＡを、更に、ソースストリーム２からセグメントＤを取り出す。ストリーム１及びストリーム２の夫々は、独立してＨＲＤに従うストリームである。セグメントＡ及びセグメントＤは、新しいストリームを形成するよう連結される。セグメントの夫々は、セグメントの開始から始まる唯１つのバッファリング期間を有するとする。スプライスドストリームで、セグメントＤの第１のアクセスユニットの公称リムーバル時間は、それがセグメントＣから得られるcpb_removal_delayと共にセグメントＡでの第１のアクセスユニットの公称リムーバル時間から得られることから、問題がある。
【００２３】
［合致しない初期dpb_output_delay］
ＭＰＥＧ−４  ＡＶＣ標準の現在のバージョンで、復号化ピクチャバッファからのピクチャ出力タイミングは、以下のように定義される。
【００２４】
ピクチャｎの復号化ピクチャバッファ出力時間は、下記の式：
ｔｏ，ｄｐｂ（ｎ）＝ｔｒ（ｎ）＋ｔｃ＊dpb_output_delay（ｎ）      （Ｃ−１２）
から得られる。ここで、dpb_output_delayは、デコードされたピクチャが復号化ピクチャバッファから出力され得る前に、符号化ピクチャバッファからのアクセスユニットリムーバルの後で幾つのクロックチックを待つべきかを特定する。
【００２５】
ストリームの第１のアクセスユニットのdpb_output_delayは、初期dpb_output_delayである。最小初期dpb_output_delayは、デコード及び出力の因果関係を確かにするために使用される。初期dpb_output_delayの最小限の要件は、シーケンス全体でのピクチャ並べ替え関係に依存する。
【００２６】
一例として、ＧＯＰタイプＩＩＩＩＩ．．．．によりエンコードされるシーケンスに関して、初期dpb_output_delayの最小限の要件は、図２に示されるように、０フレームである。図２を参照すると、ストリームＡの例となるデコードタイミングと表示タイミングとの間の関係が、概して、参照符号２００で示されている。特に、デコードタイミングは参照符号２１０で示され、表示タイミングは参照符号２２０で示されている。
【００２７】
当然のことながら、図２乃至６で、塗り潰しハッチングはＩピクチャを示し、斜線ハッチングはＰピクチャを示し、平行線ハッチングはＢピクチャを示す。
【００２８】
他の例として、ＧＯＰタイプＩｂＰｂＰ．．．によりエンコードされるシーケンスに関して、それは、図３に示されるように、最低１フレームのdpb_output_delayを必要とする。図３を参照すると、ストリームBの例となるデコードタイミングと表示タイミングとの間の関係が、概して、参照符号３００で示されている。特に、デコードタイミングは参照符号３１０で示され、表示タイミングは参照符号３２０で示される。
【００２９】
ストリーム・スプライシングで、全てのソースストリームの初期dpb_output_delayは同一である必要がある。さもなければ、初期dpb_output_delayの不一致は、例えば、２つのフレームが同じ間で出力されること（重複）や、余分の空隙がフレーム間に挿入されること等の、出力タイミングの問題を引き起こす。
【００３０】
図４を参照すると、ストリームＡ及びストリームＢの連結の例となるデコードタイミングと表示タイミングとの間の関係は、概して、参照符号４００で示されている。特に、デコードタイミングは参照符号４１０で示され、表示タイミングは参照符号４２０で示されている。
【００３１】
図５を参照すると、ストリームＢ及びストリームＡの他の連結の例となるデコードタイミングと表示タイミングとの間の関係は、概して、参照符号５００によって示されている。特に、デコードタイミングは参照符号５１０で示され、表示タイミングは参照符号５２０で示されている。
【００３２】
図４及び図５は、初期dpb_output_delayの不一致の値に伴う出力タイミングの問題を表す。
【００３３】
因果関係を満足するよう、全てのソースストリームの初期dpb_output_delayの値は、図６に示されるように、全てのソースストリームの最大初期dpb_output_delayより小さくなく且つ同じでなければならない。
【００３４】
図６を参照すると、最大初期dpb_output_delayより小さく同じ値の初期dpb_output_delayを有する全てのソースストリームの例となるデコードタイミングと表示タイミングとの間の関係は、概して、参照符号６００で示されている。特に、デコードタイミングは参照符号６１０で示され、表示タイミングは参照符号６２０で示されている。
【００３５】
［式Ｃ−１５／Ｃ−１６の違背］
現在の仮想基準デコーダは、以下のように、バッファリング期間付加拡張情報メッセージでのinitial_cpb_removal_delayに制約を設定する。
【００３６】
ｎ＞０を有して、バッファリング期間ＳＥＩメッセージと関連して、ｔｇ，９０（ｎ）が
Δｔｇ，９０（ｎ）＝９００００＊（ｔｒ，ｎ（ｎ）−ｔａｆ（ｎ−１））    （Ｃ−１４）である各アクセスユニットｎについて、
・cbr_flag[SchedSelldx]が０に等しい場合は、
initial_cpb_removal_delay[SchedSelldx]＜＝Ceil(Δtg,90(n))    （Ｃ−１５）
・他の場合（cbr_flag[SchedSelldx]が１に等しい場合）は、
Floor(Δtg,90(n))＜＝initial_cpb_removal_delay[SchedSelldx]＜＝Ceil(Δtg,90(n))
（Ｃ−１６）。
【００３７】
ソースストリームが独立してエンコードされる場合に、スプライスドストリームは、後のソースストリームのinitial_cpb_removal_delayに課された制約（Δｔｇ，９０（ｎ））が変更されるので、容易にこれらの条件を破る。図７を参照すると、initial_cpb_removal_delayの制約を破るスプライスドストリームの例が、概して、参照符号７００で示されている。特に、第１のソースストリームは参照符号７１０で示され、第２のソースストリームは参照符号７２０で示されている。
【００３８】
例えば、国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−２標準（以下、「ＭＰＥＧ−２  ＡＶＣ標準」）のような従前のビデオ符号化標準規格で、ストリーム・スプライシングは課題ではない。これは、ＭＰＥＧ−２ビデオバッファベリファイア（ＭＰＥＧ−４  ＡＶＣ標準での仮想基準デコーダに類似する概念）の挙動が、実施において、及び最終的にＭＰＥＧ−４  ＡＶＣ標準での仮想基準デコーダからの最終結果において相違するためである。ＭＰＥＧ−４  ＡＶＣ標準に関してＨＲＤ動作によって引き起こされる問題は、以下の理由により、ＭＰＥＧ−２標準に関するビデオ実施には存在しない：
１．ピクチャのデコード時間が前のピクチャのタイプによって導出され、従って、デコード時間は単純な連結に伴う問題を有さない；
２．ピクチャ出力タイミングに関する必要条件はない；
３．initial_cpb_removal_delayの制限はない。初期バッファ充填率は、夫々のピクチャとともに送信されるvbv_delayに基づく。バッファのアンダーフロー及びオーバーフローは、零スタッフィングビット又は余分の待機時間を挿入することによって防がれる。
【００３９】
ＭＰＥＧ−２エレメンタリストリームは、また、伝送のためにトランスポートストリームに詰め込まれ得る。米国映画テレビ技術者協会（ＳＭＰＴＥ）は、ＭＰＥＧ−２トランスポートストリームのスプライシングを標準化した。基本的な考えは、ＭＰＥＧ−２トランスポートストリームに含まれるパケット化されたエレメンタリストリーム（ＰＥＳ）のパケットのペイロードを変更することなしにスプライシングすることが可能なＭＰＥＧ−２トランスポートストリームに対する制約を定義することである。
【００４０】
なお、ＭＰＥＧ−４  ＡＶＣストリームのスプライシングのための解決法は存在せず、上記のそれに関連する問題を解決することはできない。
【００４１】
［本発明の概要］
先行技術のこれらの及び他の欠点及び不都合が本原理によって扱われる。本原理は、ビデオストリームのスプライシングのための方法及び装置を対象とする。
【００４２】
本原理の様相に従って、装置が提供される。当該装置は、仮想基準デコーダパラメータによりスプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器を有する。
【００４３】
本原理の他の様相に従って、装置が提供される。当該装置は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって、スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐよう前記スプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器を有する。
【００４４】
本原理の更なる他の様相に従って、方法が提供される。当該方法は、仮想基準デコーダパラメータによりスプライスドビデオストリームを作るステップを有する。
【００４５】
本原理の更なる他の様相に従って、方法が提供される。当該方法は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって、スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐ前記スプライスドビデオストリームを作るステップを有する。
【００４６】
本原理の更なる様相に従って、装置が提供される。当該装置は、スプライスドビデオストリームに係る仮想基準デコーダパラメータを受け取って、該仮想基準デコーダパラメータにより前記スプライスドビデオストリームを再生するスプライスドビデオストリーム発生器を有する。
【００４７】
本原理の更なる様相に従って、装置が提供される。当該装置は、スプライスドビデオストリームに対応する少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の変更された標準値を受け取って、前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の前記変更された標準値により前記スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぎながら前記スプライスドビデオストリームを再生するスプライスドビデオストリーム発生器を有する。
【００４８】
本原理の更なる様相に従って、方法が提供される。当該方法は、スプライスドビデオストリームに係る仮想基準デコーダパラメータを受け取るステップを有する。当該方法は、更に、前記仮想基準デコーダパラメータにより前記スプライスドビデオストリームを再生するステップを有する。
【００４９】
本原理の更なる様相に従って、方法が提供される。当該方法は、スプライスドビデオストリームに対応する少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の変更された標準値を受け取るステップを有する。当該方法は、更に、前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の前記変更された標準値により前記スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぎながら前記スプライスドビデオストリームを再生するステップを有する。
【００５０】
本原理のこれらの及び他の様相、特徴及び利点は、添付の図面に関連して読まれるべきである例となる実施形態に係る以下の詳細な記載から明らかになるであろう。
【図面の簡単な説明】
【００５１】
【図１】先行技術に従って、不正確なcpb_removal_delayによって引き起こされる例となる問題のあるデコードタイミングシナリオを示す図である。
【図２】先行技術に従って、ストリームＡの例となるデコードタイミングと表示タイミングとの間の関係を示す図である。
【図３】先行技術に従って、ストリームＢの例となるデコードタイミングと表示タイミングとの間の関係を示す図である。
【図４】先行技術に従って、ストリームＡ及びストリームＢの連結の例となるデコードタイミングと表示タイミングとの間の関係を示す図である。
【図５】先行技術に従って、ストリームＢ及びストリームＡの他の連結の例となるデコードタイミングと表示タイミングとの間の関係を示す図である。
【図６】先行技術に従って、最大初期dpb_output_delayより小さくない同じ値の初期dpb_output_delayを有する全てのソースストリームに係る例となるデコードタイミングと表示タイミングとの間の関係を示す図である。
【図７】先行技術に従って、initial_cpb_removal_delayの制約を破るスプライスドビデオの例を示す図である。
【図８】本原理の実施例に従う、本原理が適用される例となるビデオエンコーダのブロック図である。
【図９】本原理の実施例に従う、本原理が適用される例となるビデオデコーダのブロック図である。
【図１０】本原理の実施例に従う例となるＨＲＤ適合性ベリファイアのブロック図である。
【図１１Ａ】本原理の実施例に従ってスプライシング付加拡散情報（ＳＥＩ）メッセージを挿入する例となる方法のフロー図である。
【図１１Ｂ】本原理の実施例に従ってスプライシング付加拡散情報（ＳＥＩ）メッセージを挿入する他の例となる方法のフロー図である。
【図１２】本原理の実施例に従ってスプライシング付加拡散情報（ＳＥＩ）メッセージをデコードする例となる方法のフロー図である。
【図１３】本原理の実施例に従って公称リムーバル時間ｔｒ，ｎ（ｎ）を導出する例となる方法のフロー図である。
【図１４Ａ】本原理の実施例に従って復号化ピクチャバッファ（ＤＰＢ）出力時間ｔｏ，ｄｐｂ（ｎ）を導出する例となる方法のフロー図である。
【図１４Ｂ】本原理の実施例に従って復号化ピクチャバッファ（ＤＰＢ）出力時間ｔｏ，ｄｐｂ（ｎ）を導出する他の例となる方法のフロー図である。
【図１５Ａ】本原理の実施例に従って付加拡散情報（ＳＥＩ）メッセージを挿入する更なる他の例となる方法のフロー図である。
【図１５Ｂ】本原理の実施例に従って付加拡散情報（ＳＥＩ）メッセージをデコードする他の例となる方法のフロー図である。
【図１６】本原理の実施例に従う例となるスプライスドストリーム発生器のブロック図である。
【図１７】本原理の実施例に従ってスプライスドビデオストリームを生成する例となる方法のフロー図である。
【図１８】本原理の実施例に従ってスプライスドビデオストリームを再生する例となる方法のフロー図である。
【図１９】本原理の実施例に従ってスプライスドビデオストリームを生成する他の例となる方法のフロー図である。
【図２０】本原理の実施例に従ってスプライスドビデオストリームを再生する他の例となる方法のフロー図である。
【発明を実施するための形態】
【００５２】
本原理は、添付の図面に従ってより良く理解され得る。
【００５３】
本原理は、ビデオストリームのスプライシングのための方法及び装置を対象とする。
【００５４】
本明細書は、本原理について説明するものである。よって、明らかなように、当業者は、たとえここで明示的に記載又は図示されていなくとも、本開示の原理を具現し且つその精神及び適用範囲の中に包含される様々な配置を考え出すことができる。
【００５５】
ここに挙げられている全ての例及び条件付きの用語は、当該技術の促進に発明者によって寄与される開示及び概念の原理を理解する際に読み手を助ける教育的な目的を対象とし、このような具体的に挙げられている例及び条件に限定されないと考えられるべきである。
【００５６】
更に、ここで本原理の原理、様相及び実施形態並びにそれらの具体例を挙げる全ての記述は、構造上及び機能上の両方でそれらと等価なものを包含するよう意図される。更に、かかる等価なものは、現在知られているもの及び将来開発されるもの、すなわち、構造に関わらず同じ機能を実行する開発されたあらゆる要素を含むことが意図される。
【００５７】
よって、例えば、当業者には明らかなように、ここで提示されるブロック図は、本原理を具現する例となる回路の概念図を表す。同様に、如何なるフローチャート、フロー図、状態遷移図及び擬似コード等も、実質的にコンピュータ読取可能な媒体で表され且つコンピュータ又はプロセッサによって（かかるコンピュータ又はプロセッサが明示的に示されていようとなかろうと）そのように実行される様々な処理を表すことは明らかである。
【００５８】
図示される様々な要素の機能は、専用のハードウェア及び、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアの使用を通して提供されてよい。プロセッサによって提供される場合に、かかる機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、又は複数の個別プロセッサ（これらの幾つかは共有されてよい。）によって提供されてよい。更に、用語“プロセッサ”又は“コントローラ”の明示的な使用は、排他的にソフトウェアを実行可能なハードウェアをいうと解釈されるべきではなく、暗に、制限なく、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、ソフトウェアを記憶する読出専用メモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、及び不揮発性記憶装置を含みうる。
【００５９】
従来の及び／又はカスタムの他のハードウェアも含まれてよい。同様に、図示される如何なるスイッチも単なる概念に過ぎない。それらの機能は、プログラムロジックの演算を通して、専用ロジックを通して、プログラム制御及び専用ロジックの相互作用を通して、又は手動で、実行されてよい。具体的な技術は、文脈からより具体的に理解されるように、実施者によって選択可能である。
【００６０】
本願の特許請求の範囲で、特定の機能を実行する手段として表される如何なる要素も、例えば、ａ）その機能を実行する回路要素の組合せ、又はｂ）あらゆる形態をとり、従って、ファームウェアや、マイクコード等を含むソフトウェアであって、機能を実行するためにそのソフトウェアを実行する適切な回路と組み合わされるソフトウェアを含め、その機能を実行するあらゆる方法を包含するよう意図される。特許請求の範囲によって定義される本原理は、様々な列挙されている手段によって提供される機能性が、特許請求の範囲が要求するように組み合わされて１つにされるという事実にある。よって、それらの機能性を提供することができる如何なる手段も、ここに示されるものと等価であると考えられる。
【００６１】
明細書における本原理の“一実施形態”又は“実施例”との参照は、その実施形態に関連して記載される特定の機能、構成及び特性等が本原理の少なくとも１つの実施形態に含まれることを意味する。よって、明細書の全体を通して様々な場所に現れる“一実施形態で”又は“実施例で”というフレーズの出現は、必ずしも全て同じ実施形態を参照しているわけではない。
【００６２】
当然のことながら、例えば、“Ａ及び／又はＢ”といった場合のように、語“及び／又は”の使用は、最初に挙げられている選択肢（Ａ）の選択、次に挙げられている選択肢（Ｂ）の選択、又は両方の選択肢（Ａ）及び（Ｂ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ、及び／又はＣ”の場合に、かかる言い回しは、最初に挙げられている選択肢（Ａ）の選択、２番目に挙げられている選択肢（Ｂ）の選択、３番目に挙げられている選択肢（Ｃ）の選択、最初及び２番目に挙げられている選択肢（Ａ及びＢ）の選択、最初及び３番目に挙げられている選択肢（Ａ及びＣ）の選択、２番目及び３番目に挙げられている選択肢（Ｂ及びＣ）の選択、又は３つ全ての選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、当該及び関連する技術で通常の知識を有する者によって容易に理解されるように、挙げられている項目の数だけ広げられ得る。
【００６３】
更に、当然のことながら、本原理の１又はそれ以上の実施形態は、ＭＰＥＧ−４  ＡＶＣ標準に関してここでは記載されるが、本原理は、単にこの標準にのみ限定されず、よって、本原理の精神を保ちながら、他のビデオ符号化標準規格、推奨、及びＭＰＥＧ−４  ＡＶＣ標準の拡張を含むそれらの拡張に関して利用されてよい。
【００６４】
図８を参照すると、本原理が適用され得る例となるビデオエンコーダが、概して、参照符号８００で示されている。
【００６５】
ビデオエンコーダ８００は、結合器８８５の非反転入力と通信を行う出力を有するフレーム順序付けバッファ８１０を有する。結合器８８５の出力は、変換器及び量子化器８２５の第１入力と通信接続されている。変換器及び量子化器８２５の出力は、エントロピ符号器８４５の第１入力並びに逆変換器及び逆量子化器８５０の第１入力と通信接続されている。エントロピ符号器８４５の出力は、結合器８９０の第１非反転入力と通信接続されている。結合器８９０の出力は、出力バッファ８３５の第１入力と通信接続されている。
【００６６】
エンコーダ制御器８０５の第１出力は、フレーム順序付けバッファ８１０の第２入力、逆変換器及び逆量子化器８５０の第２入力、ピクチャタイプ決定モジュール８１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール８２０の第１入力、イントラ予測モジュール８６０の第２入力、デブロッキングフィルタ８６５の第２入力、モーション補償器８７０の第１入力、モーション推定器８７５の第１入力、並びに基準ピクチャバッファ８８０の第２入力と通信接続されている。
【００６７】
エンコーダ制御器８０５の第２出力は、付加拡張情報（ＳＥＩ（Supplemental  Enhancement  Information））挿入器８３０の第１入力、変換器及び量子化器８２５の第２入力、エントロピ符号器８４５の第２入力、出力バッファ８３５の第２入力、並びにシーケンスパラメータ設定（ＳＰＳ（Sequence  Parameter  Set））及びピクチャパラメータ設定（ＰＰＳ（Picture  Parameter  Set））挿入器８４０の入力と通信接続されている。
【００６８】
ピクチャタイプ決定モジュール８１５の第１出力は、フレーム順序付けバッファ８１０の第３入力と通信接続されている。ピクチャタイプ決定モジュール８１５の第２出力は、マクロブロックタイプ決定モジュール８２０の第２入力と通信接続されている。
【００６９】
シーケンスパラメータ設定（ＳＰＳ）及びピクチャパラメータ設定（ＰＰＳ）挿入器８４０の出力は、結合器８９０の第３非反転入力と通信接続されている。
【００７０】
逆量子化器及び逆変換器８５０の出力は、結合器８１９の第１非反転入力と通信接続されている。結合器８１９の出力は、イントラ予測モジュール８６０の第１入力及びデブロッキングフィルタ８６５の第１入力と通信接続されている。デブロッキングフィルタ８６５の出力は、基準ピクチャバッファ８８０の第１入力と通信接続されている。基準ピクチャバッファ８８０の出力は、モーション推定器８７５の第２入力と通信接続されている。モーション推定器８７５の第１出力は、モーション補償器８７０の第２入力と通信接続されている。モーション推定器８７５の第２出力は、エントロピ符号器８４５の第３入力と通信接続されている。
【００７１】
モーション補償器８７０の出力は、スイッチ８９７の第１入力と通信接続されている。イントラ予測モジュール８６０の出力は、スイッチ８９７の第２入力と通信接続されている。マクロブロックタイプ決定モジュール８２０の出力は、スイッチ８９７の第３入力と通信接続されている。スイッチ８９７の第３入力は、（制御入力、すなわち、第３入力と比較される）スイッチの“データ”入力がモーション補償器８７０又はイントラ予測モジュール８６０によって提供されるべきか否かを決定する。スイッチ８９７の出力は、結合器８１９の第２非反転入力及び結合器８８５の反転入力と通信接続されている。
【００７２】
フレーム順序付けバッファ８１０の第１入力及びエンコーダ制御器８０５の入力は、入力ピクチャ８０１を受け取るために、エンコーダ８００の入力部として利用可能である。更に、付加拡張情報（ＳＥＩ）挿入器８３０の第２入力は、メタデータを受け取るために、エンコーダ８００の入力部として利用可能である。出力バッファ８３５の出力は、ビットストリームを出力するために、エンコーダ８００の出力部として利用可能である。
【００７３】
図９を参照すると、本原理が適用され得る例となるビデオデコーダが、概して、参照符号９００で示されている。
【００７４】
ビデオデコーダ９００は、エントロピデコーダ９４５の第１入力及び付加拡張情報（ＳＥＩ）パーサー（parser）９０７の第１入力と通信接続される出力を有する入力バッファ９１０を有する。エントロピデコーダ９４５の第１出力は、逆変換器及び逆量子化器９５０の第１入力と通信接続されている。逆変換器及び逆量子化器９５０の出力は、結合器９２５の第２非反転入力と通信接続されている。結合器９２５の出力は、デブロッキングフィルタ９６５の第２入力及びイントラ予測モジュール９６０の第１入力と通信接続されている。デブロッキングフィルタ９６５の第２出力は、基準ピクチャバッファ９８０の第１入力と通信接続されている。基準ピクチャバッファ９８０の出力は、モーション補償器９７０の第２入力と通信接続されている。
【００７５】
エントロピデコーダ９４５の第２出力は、モーション補償器９７０の第３入力及びデブロッキングフィルタ９６５の第１入力と通信接続されている。エントロピデコーダ９４５の第３出力は、デコーダ制御器９０５の第１入力と通信接続されている。ＳＥＩパーサー９０７の出力は、デコーダ制御器９０５の第２入力と通信接続されている。デコーダ制御器９０５の第１出力は、エントロピデコーダ９４５の第２入力と通信接続されている。デコーダ制御器９０５の第２出力は、逆変換器及び逆量子化器９５０の第２入力と通信接続されている。デコーダ制御器９０５の第３出力は、デブロッキングフィルタ９６５の第３入力と通信接続されている。デコーダ制御器９０５の第４出力は、イントラ予測モジュール９６０の第２入力、モーション補償器９７０の第１入力及び基準ピクチャバッファ９８０の第２入力と通信接続されている。
【００７６】
モーション補償器９７０の出力は、スイッチ９９７の第１入力と通信接続されている。イントラ予測モジュール９６０の出力は、スイッチ９９７の第２入力と通信接続されている。スイッチ９９７の出力は、結合器９２５の第１非反転入力と通信接続されている。
【００７７】
入力バッファ９１０の入力は、入力ビットストリームを受け取るために、デコーダ９００の入力として利用可能である。デブロッキングフィルタ９６５の第１出力は、出力ピクチャを出力するために、デコーダ９００の出力として利用可能である。
【００７８】
上述されるように、本原理は、ビデオストリームのスプライシングのための方法及び装置を対象とする。本原理は、主に、ＭＰＥＧ−４  ＡＶＣ標準に準拠する１又はそれ以上のストリームに対するストリーム・スプライシングに関して記載されている。なお、当然のことながら、本原理は、ＭＰＥＧ−４  ＡＶＣ標準に準拠するストリームに限定されず、本原理の精神を保ちながら、ＭＰＥＧ−４  ＡＶＣ標準に伴って生ずる先行技術のストリーム・スプライシングと同様の問題を抱える他のビデオ符号化標準及び推奨と共に用いられてよい。
【００７９】
仮想基準デコーダ（ＨＲＤ）適合性は、ＭＰＥＧ−４  ＡＶＣ標準の規範的部分である。ＭＰＥＧ−４  ＡＶＣ標準に伴って生ずるストリーム・スプライシングにおける主たる問題は、独立してＨＲＤに従うソースストリームによりスプライシングされるストリームが依然としてＨＲＤに従うという保証がないことである。
【００８０】
従って、本原理は、スプライスドストリームがＭＰＥＧ−４  ＡＶＣ標準に従うことを確かにしながらスプライスドストリームを作ることができる方法及び装置を提供する。本原理に従う方法及び装置は、仮想基準デコーダ（ＨＲＤ）に従うソースストリームによって作られるストリームが依然としてＨＲＤに従うことを確かにする。１又はそれ以上の実施形態で、このことは、バッファリング期間付加拡張情報（ＳＥＩ）メッセージ及びピクチャタイミング付加拡張情報メッセージに置かれている仮想基準デコーダパラメータを変更することによって、及び／又はＭＰＥＧ−４  ＡＶＣ標準で定められている仮想基準デコーダの動作をストリーム・スプライシングをサポートするよう変更することによって、行われる。
【００８１】
以下、ここで用いられる様々な用語に関して定義する。
【００８２】
インポイント：スプライシング境界直後のアクセスユニット。インポイントはＩＤＲピクチャでなければならず、それに関連するバッファリング期間ＳＥＩメッセージがなければならない。
【００８３】
アウトポイント：スプライシング境界直前のアクセスユニット。
【００８４】
スプライスタイプ：２つのタイプのスプライシング、すなわち、シームレスなスプライシング及びシームレスでないスプライシングがある。シームレスなスプライシングは、ストリームのクリーンな瞬時切替を可能にする。スプライシングをされるビデオストリームは、適合した仮想基準デコーダバッファ特性を接合部で有するよう作られる。古いストリームが終わり、最後の古いピクチャがデコードされるときの間の時間は、正確に、新しいストリームのスタートアップ遅延に満たない１フレームでなければならない。シームレスでないスプライシングは、２つのストリームの間に短い不感時間を挿入することによって、デコーダバッファのオーバーフローを回避する。これは、新しいストリームが空のバッファから始まることを確かにする。スプライシング装置は、デコーダのバッファが空であることを確実にしてオーバーフローの機会を防ぐよう、新しいストリームを挿入するまえに待機する。デコーダのピクチャは、新しいストリームのスタートアップ遅延の間は停止すべきである。
【００８５】
以下、本原理に従うビデオストリームのスプライシングのための方法について記載する。
【００８６】
この方法に従って、後述される新しい仮想基準デコーダは、ストリーム・スプライシング動作を単純化することができる。
【００８７】
現在のバージョンのＭＰＥＧ−４  ＡＶＣ標準での仮想基準デコーダと比べて、ここに記載される仮想基準デコーダは、連結の位置を示す新しい構文要素と、スプライシングのタイプ（すなわち、シームレスな又は非シームレスなスプライシング）に基づいて新しいストリームの第１のアクセスユニットの符号ピクチャバッファ（ＣＰＢ（Coded  Picture  Buffer））からのリムーバルの時間を導出する新しい規則と、スプライスドストリームでの復号ピクチャバッファ（ＤＰＢ（Decoded  Picture  Buffer））を導出する新しい規則とを加えることを有する／伴う。
【００８８】
インポイントの位置を示し且つデコード及び出力タイミングを得るために用いられるパラメータは、例えば、帯域内又は帯域外で、ストリームの部分として高レベル構文を通して伝えられる。
【００８９】
かかる構文要素の１つの実施例は、スプライシングのために新しいタイプの付加拡張情報（ＳＥＩ）メッセージを加えることである。スプライシング付加拡張情報（ＳＥＩ）メッセージの存在は、新しいソースストリームの開始を示す。スプライシング付加拡張情報メッセージは、スプライシング装置によってインポイント・アクセスユニットに加えられる。
【００９０】
以下、かかる方法の実施例について記載する。
【００９１】
スプライシング付加拡張情報メッセージの構文は表１に示される。
【００９２】
【表１】
2010516103.tif 000003
dpb_output_delay_offsetは、ピクチャタイミング付加拡張情報メッセージでdpb_output_delayと組み合わせて復号ピクチャバッファ出力遅延を特定するために使用される。
【００９３】
この実施例で、dpb_output_delay_offsetは明示的に送信される。
【００９４】
欠点は、スプライシング装置が、dpb_output_delay_offsetの値を得るためにソースストリームを構文解析する必要があることである。これは、スプライシング装置に更なる作業負荷を加える。よって、或る状況では、それは、オンラインの又は生のスプライシングにとって最良の選択でないことがある。
【００９５】
次に、かかる方法の他の実施例について記載する。
【００９６】
スプライシング付加拡張情報メッセージの構文は表２に示される。
【００９７】
【表２】
2010516103.tif 000004
この実施例で、dpb_output_delay_offsetは送信されず、暗に得られる。
【００９８】
利点は、スプライシング装置がソースストリームを構文解析する必要がないことである。dpb_output_delay_offsetの値はデコーダ側で導出される。
【００９９】
上記の方法に関して、仮想基準デコーダの対応する挙動について記載する。
【０１００】
目下の仮想基準デコーダと比較して、仮想基準デコーダの挙動は、後述されるように、スプライスドストリームに対して変更されている。
【０１０１】
インポイントでのピクチャの公称リムーバル時間が導出される。アクセスユニットがインポイントである場合に、cpb_removal_delayは、ピクチャタイミングＳＥＩメッセージに関連するアクセスユニットをバッファから除く前に、前のアクセスユニットのＣＰＢからのリムーバルの後で幾つのクロックチックを待つべきかを定める。
【０１０２】
cpb_removal_delay(ns)は、以下のように導出される：
【０１０３】
【数１】
2010516103.tif 000005
この場合に、ｎｓはインポイントである。
【０１０４】
この導出は、式（Ｃ−１５）又は（Ｃ−１６）が乱されないことを保証する。
【０１０５】
連結は、cpb_removal_delay(ns)＝NumClockTSである場合にシームレスであり、そうでない場合は非シームレスである点に留意すべきである。
【０１０６】
復号ピクチャバッファ出力時間は、スプライシング付加拡張情報メッセージから導出される。スプライスドストリームで、アクセス時間の復号ピクチャバッファ出力時間は、以下のように導出される：
【０１０７】
【数２】
2010516103.tif 000006
この場合に、ｎｓは最も近い前のインポイントである。
【０１０８】
上記の方法の最初の実施例が適用される場合は、dpb_output_delay_offsetは、付加拡張情報メッセージで構文要素によって伝えられる。
【０１０９】
dpb_output_delay_offsetは、以下のようにスプライシング装置によって導出される：
【０１１０】
【数３】
2010516103.tif 000007
この場合に、max_initial_delayは、全てのインポイントのdpb_output_delayの最大値に劣らない。
【０１１１】
上記の方法の第２の実施例が適用される場合は、dpb_output_delay_offsetは、以下のように導出される：max_initial_delayを０に初期化；各インポイントで、max_initial_delay＜dpb_output_dalayである場合に、max_initial_delay＝dpb_output_delay；dpb_output_delay_offset(ns)＝max_initial_delay−dpb_output_delay(ns)。
【０１１２】
max_initial_delayが全てのインポイントのdpb_output_delayの最大値に劣らない値で初期化される場合は、スプライシングはシームレスである点に留意すべきである。
【０１１３】
このように、目下の仮想基準デコーダに従って、スプライスドストリームが依然としてＨＲＤに従おうとする保証はない。
【０１１４】
これは以下の理由による：現在の標準でのcpb_removal_delayのセマンティクスは、独立した符号ソースストリームのスプライシングと互換性がないこと；異なるソースストリームでの不一致の初期復号ピクチャバッファ出力遅延は不正確な出力タイミングを引き起こしうること；及び、initial_cpb_removal_delayは式Ｃ−１５／Ｃ−１６の違背を引き起こしうること。
【０１１５】
本原理に従って、我々は、ビデオのスプライシングをサポートするよう現在の仮想基準デコーダを改良する。スプライシング点で新たな付加拡張情報メッセージを加えることによってスプライスドストリームの仮想基準デコーダ適合性を確保する解決法が提案されている。現在の仮想基準デコーダによって引き起こされる問題は解決され得、ストリーム・スプライシング動作は単純化される。
【０１１６】
以下、本原理に従うビデオストリーム・スプライシングのための他の方法について記載する。
【０１１７】
cpb_removal_delay及びdpb_output_delayによって引き起こされる問題は、最終のスプライスドストリームについてcpb_removal_delay及びdpb_output_delayを再計算し、スプライスドストリームが作られた後に然るべくバッファリング期間付加拡張情報メッセージ及びピクチャタイミング付加拡張情報メッセージを変更することによって、解決され得る。
【０１１８】
しかし、この方法は、全てのソースストリームの開始時のバッファリング期間付加拡張情報メッセージと、ほとんど全てのピクチャタイミング付加拡張情報メッセージとを置換／変更することを要する。これは、スプライシング装置にピクチャの全てを構文解析することを求める。方法は、スプライシング装置でより高い複雑性を必要とし、実時間ビデオスプライシング用途には適さない。
【０１１９】
initial_cpb_removal_delayによって引き起こされる問題を対象とする如何なる解決法も、式Ｃ−１５／Ｃ−１６で課される条件を満たすよう単にバッファリング期間付加拡張情報メッセージでinitial_cpb_removal_delayの値を変更することによっては機能しない。
【０１２０】
initial_cpb_removal_delayを減じることは、続くピクチャの最終到達時間の遅延及びバッファのアンダーフローを引き起こしうる。また、これは、続くバッファリング期間で式Ｃ−１５／Ｃ−１６の新たな違背となりうる。
【０１２１】
図１０を参照すると、第１の方法に対応する例となるＨＲＤ適合性ベリファイアが、概して、参照符号１０００で示されている。
【０１２２】
ＨＲＤ適合性ベリファイア１０００は、ＣＰＢ到達及びリムーバル時間計算器１０５０の第１入力と通信接続される第１出力を有するシーケンスメッセージフィルタ１０１０を有する。ピクチャ及びバッファリングメッセージフィルタ１０２０の出力は、ＣＰＢ到達及びリムーバル時間計算器１０５０の第２入力と通信接続されている。ピクチャサイズ計算器１０３０の出力は、ＣＰＢ到達及びリムーバル時間計算器１０５０の第３入力と通信接続されている。スプライシングメッセージフィルタ１０４０の出力は、ＣＰＢ到達及びリムーバル時間計算器１０５０の第４入力と通信接続されている。
【０１２３】
ＣＰＢ到達及びリムーバル時間計算器１０５０の第１出力は、制約チェッカ１０６０の第１入力と通信接続されている。ＣＰＢ到達及びリムーバル時間計算器１０５０の第２出力は、制約チェッカ１０６０の第２入力と通信接続されている。ＣＰＢ到達及びリムーバル時間計算器１０５０の第３出力は、制約チェッカ１０６０の第３入力と通信接続されている。
【０１２４】
シーケンスメッセージフィルタ１０１０の第２出力は、制約チェッカ１０６０の第４入力と通信接続されている。
【０１２５】
シーケンスメッセージフィルタ１０１０、ピクチャ及びバッファリングメッセージフィルタ１０２０、ピクチャサイズ計算器１０３０、並びにスプライシングメッセージフィルタ１０４０の各入力は、入力ビットストリームを受け取るために、ＨＲＤ適合性ベリファイア１０００への入力として利用可能である。
【０１２６】
制約チェッカ１０６０の出力は、適合性インジケータを出力するために、ＨＲＤ適合性ベリファイア１０００の出力として利用可能である。
【０１２７】
図１１Ａを参照すると、スプライシング付加拡張情報（ＳＥＩ）メッセージを挿入する例となる方法が、概して、参照符号１１００で示されている。
【０１２８】
方法１１００は開始ブロック１１０５を有する。開始ブロック１１０５は、制御を決定ブロック１１１０へ渡す。決定ブロック１１１０は、このアクセスポイントがインポイントであるか否かを決定する。アクセスポイントがインポイントである場合は、制御は機能ブロック１１１５へ渡される。アクセスポイントがインポイントでない場合は、制御は終了ブロック１１４９へ渡される。
【０１２９】
機能ブロック１１１５は、dpb_output_delay_offset(ns)を（max_initial_delay−dpb_output_delay(ns)）に等しく設定し、制御を機能ブロック１１２０へ渡す。機能ブロック１１２０は、スプライシング付加拡張情報（ＳＥＩ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットをビットストリームに書き込み、制御を終了ブロック１１４９へ渡す。
【０１３０】
図１１Ｂを参照すると、スプライシング付加拡張情報（ＳＥＩ）メッセージを挿入する他の例となる方法が、概して、参照符号１１５０で示されている。
【０１３１】
方法１１５０は開始ブロック１１５５を有する。開始ブロック１１５５は、制御を決定ブロック１１６０へ渡す。決定ブロック１１６０は、このアクセスポイントがインポイントであるか否かを決定する。アクセスポイントがインポイントである場合は、制御は機能ブロック１１６５へ渡される。アクセスポイントがインポイントでない場合は、制御は終了ブロック１１９９へ渡される。
【０１３２】
機能ブロック１１６５は、スプライシング付加拡張情報（ＳＥＩ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットをビットストリームに書き込み、制御を終了ブロック１１９９へ渡す。
【０１３３】
図１２を参照すると、スプライシング付加拡張情報（ＳＥＩ）メッセージをデコードする例となる方法が、概して、参照符号１２００で示されている。
【０１３４】
方法１２００は開始ブロック１２０５を有する。開始ブロックは、制御を機能ブロック１２１０へ渡す。機能ブロック１２１０は、ビットストリームからネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを読み出し、制御を決定ブロック１２１５へ渡す。決定ブロック１２１５は、ＮＡＬユニットがスプライシング付加拡張情報（ＳＥＩ）メッセージであるか否かを決定する。ＮＡＬユニットがスプライシングＳＥＩメッセージである場合は、制御は機能ブロック１２２０へ渡される。ＮＡＬユニットがスプライシングＳＥＩメッセージでない場合は、制御は機能ブロック１２２５へ渡される。
【０１３５】
機能ブロック１２２０は、アクセスポイントをインポイント・アクセスポイントと指定し、制御を終了ブロック１２９９へ渡す。
【０１３６】
機能ブロック１２２５は、アクセスポイントを非インポイント・アクセスポイントと指定し、制御を終了ブロック１２９９へ渡す。
【０１３７】
図１３を参照すると、公称リムーバル時間tr,n(n)を導出する例となる方法が、概して、参照符号１３００で示されている。
【０１３８】
方法１３００は開始ブロック１３０５を有する。開始ブロック１３０５は、制御を決定ブロック１３１０へ渡す。決定ブロック１３１０は、現在のアクセスユニットがインポイント・アクセスユニットであるか否かを決定する。現在のアクセスユニットがインポイント・アクセスユニットである場合は、制御は機能ブロック１３１５へ渡される。現在のアクセスユニットがインポイント・アクセスユニットでない場合は、制御は機能ブロック１３２５へ渡される。
【０１３９】
機能ブロック１３１５は、cpb_removal_delay(ns)をMax(DeltaTfiDivisor,Ceil((initial_cpb_removal_delay[SchedSelldx].*90000)＋taf(ns−1)−tr,n(ns−1).*tc)に等しく設定し、制御を機能ブロック１３２０へ渡す。機能ブロック１３２０は、tr,n(n)をtr,n(n−1)＋tc*cpb_removal_delay(n)に等しく設定し、制御を終了ブロック１３９９へ渡す。
【０１４０】
機能ブロック１３２５は、ビットストリームからcpb_removal_delay(n)を読み出し、制御を機能ブロック１３３０へ渡す。機能ブロック１３３０は、tr,n(n)をtr,n(nb)＋tc*cpb_removal_delay(n)に等しく設定し、制御を終了ブロック１３９９へ渡す。
【０１４１】
図１４Ａを参照すると、復号ピクチャバッファ（ＤＰＢ）出力時間to,dpb(n)を導出する例となる方法が、概して、参照符号１４００で示されている。
【０１４２】
方法１４００は開始ブロック１４０５を有する。開始ブロック１４０５は、制御を決定ブロック１４１０へ渡す。決定ブロック１４１０は、現在のアクセスユニットが最初のアクセスユニットであるか否かを決定する。現在のアクセスユニットが最初のアクセスユニットである場合は、制御は機能ブロック１４１５へ渡される。現在のアクセスユニットが最初のアクセスユニットでない場合は、制御は決定ブロック１４２０へ渡される。
【０１４３】
機能ブロック１４１５は、dpb_output_delay_offset(ns)を０に等しく設定し、制御を決定ブロック１４２０へ渡す。決定ブロック１４２０は、現在のアクセスポイントがインポイント・アクセスポイントであるか否かを決定する。現在のアクセスポイントがインポイント・アクセスポイントである場合は、制御は機能ブロック１４２５へ渡される。現在のアクセスポイントがインポイント・アクセスポイントでない場合は、制御は機能ブロック１４３０へ渡される。
【０１４４】
機能ブロック１４２５は、スプライシング付加拡張情報（ＳＥＩ）からdpb_output_delay_offset(ns)を読み出し、制御を機能ブロック１４３０へ渡す。
【０１４５】
機能ブロック１４３０は、to,dpb(n)をtr(n)＋tc*(dpb_output_delay(n)＋dpb_output_delay_offset(ns))に等しく設定し、制御を終了ブロック１４４９へ渡す。
【０１４６】
図１４Ｂを参照すると、復号ピクチャバッファ（ＤＰＢ）出力時間to,dpb(n)を導出する他の例となる方法が、概して、参照符号１４５０で示されている。
【０１４７】
方法１４５０は開始ブロック１４５５を有する。開始ブロック１４５５は、制御を決定ブロック１４６０へ渡す。決定ブロック１４６０は、現在のアクセスユニットが最初のアクセスユニットであるか否かを決定する。現在のアクセスユニットが最初のアクセスユニットである場合は、制御は機能ブロック１４６５へ渡される。現在のアクセスユニットが最初のアクセスユニットでない場合は、制御は決定ブロック１４７０へ渡される。
【０１４８】
機能ブロック１４６５は、max_initial_delayを０に等しく且つdpb_output_delay_offset(ns)を０に等しく設定し、制御を決定ブロック１４７０へ渡す。
【０１４９】
決定ブロック１４７０は、現在のアクセスユニットがインポイント・アクセスユニットであるか否かを決定する。現在のアクセスユニットがインポイント・アクセスユニットである場合は、制御は決定ブロック１４７５へ渡される。現在のアクセスユニットがインポイント・アクセスユニットでない場合は、制御は機能ブロック１４９０へ渡される。
【０１５０】
決定ブロック１４７５は、max_initial_delayがdpb_output_delay(n)より小さいか否かを決定する。max_initial_delayがdpb_output_delay(n)より小さい場合は、制御は機能ブロック１４８０へ渡される。max_initial_delayがdpb_output_delay(n)より小さくない場合は、制御は機能ブロック１４８５へ渡される。
【０１５１】
機能ブロック１４８０は、max_initial_delayをdpb_output_delay(n)に等しく設定し、制御を機能ブロック１４８５へ渡す。
【０１５２】
機能ブロック１４８５は、dpb_output_delay_offset(ns)をmax_initial_delay−dpb_output_delay(n)に等しく設定し、制御を機能ブロック１４９０へ渡す。機能ブロック１４９０は、to,dpb(n)＝tr(n)＋tc*(dpb_output_delay(n)＋dpb_output_delay_offset(ns))と設定し、制御を終了ブロック１４４９へ渡す。
【０１５３】
図１５Ａを参照すると、付加拡張情報（ＳＥＩ）メッセージを挿入するための例となる方法が、概して、参照符号１５００で示されている。
【０１５４】
方法１５００は開始ブロック１５０５を有する。開始ブロック１５０５は、制御を決定ブロック１５１０へ渡す。決定ブロック１５１０は、いずれかのＨＲＤ規則が違反されているか否かを決定する。ＨＲＤ規則が違反されている場合は、制御は機能ブロック１５２０へ渡される。ＨＲＤ規則が違反されていない場合は、制御は終了ブロック１５４９へ渡される。
【０１５５】
機能ブロック１５２０は、cpb_removal_delay及びdpb_output_delayについて新しい値を計算し、制御を機能ブロック１５２５へ渡す。機能ブロック１５２５は、ピクチャタイミングＳＥＩメッセージを置き換え、制御を機能ブロック１５３０へ渡す。機能ブロック１５３０は、initial_cpb_removal_delay及びinitial_cpb_removal_delay_offsetについて新しい値を計算し、制御を機能ブロック１５３５へ渡す。機能ブロック１５３５は、バッファリング期間ＳＥＩメッセージを置き換え、制御を終了ブロック１５４９へ渡す。
【０１５６】
図１５Ｂを参照すると、付加拡張情報（ＳＥＩ）メッセージをデコードするための例となる方法が、概して、参照符号１５５０で示されている。
【０１５７】
方法１５５０は開始ブロック１５５５を有する。開始ブロック１５５５は、制御を機能ブロック１５６０へ渡す。機能ブロック１５６０は、新しいピクチャタイミングＳＥＩメッセージから変更されたcpb_removal_delay及びdpb_output_delayを読み出し、制御を機能ブロック１５６５へ渡す。機能ブロック１５６５は、新しいバッファリング期間ＳＥＩメッセージから変更されたinitial_cpb_removal_delay及びinitial_cpb_removal_delay_offsetを読み出し、制御を終了ブロック１５９９へ渡す。
【０１５８】
図１６を参照すると、例となるスプライスドストリーム発生器が、概して、参照符号１６００で示されている。スプライスドストリーム発生器１６００は、ビットストリーム１乃至ｎを受け取る入力部１乃至ｎを有する。スプライスドストリーム発生器１６００は、スプライスドストリームを出力する出力部を有する。
【０１５９】
各入力ビットストリーム（１乃至ｎ）は、例えば図８のエンコーダ８００のようなエンコーダの出力ビットストリームに対応する。スプライスドストリーム発生器１６００によって供給される出力ビットストリームは、コンプライアンス確認のために、例えば図１０のＨＲＤ適合性ベリファイア１０００のようなＨＲＤベリファイアへ入力され、及び／又は、例えば図９のデコーダ９００のようなデコーダへ入力される。
【０１６０】
図１７を参照すると、スプライスドビデオストリームを生成する例となる方法が、概して、参照符号１７００で示されている。
【０１６１】
方法１７００は開始ブロック１７０５を有する。開始ブロック１７０５は、制御を機能ブロック１７１０へ渡す。機能ブロック１７１０は、前のアクセスユニットのリムーバル時間及び時間オフセットに基づいて、スプライスドストリームを形成する少なくとも２つのストリームのうちの少なくとも１つのアクセスユニットのリムーバル時間を計算し、制御を機能ブロック１７１５へ渡す。時間オフセットは、ピクチャタイミングＳＥＩメッセージに含まれるcpb_removal_delayフィールドで伝えられても、且つ／あるいは、スプライスドビデオストリームをデコードする対応するデコーダで計算されてもよい。
【０１６２】
機能ブロック１７１５は、アクセスユニットのリムーバル時間及び所与の時間オフセットに基づいてアクセスユニットの出力時間を計算し、制御を機能ブロック１７２０へ渡す。所与の時間オフセットは、dpb_output_delay構文要素及び他の時間オフセットの和に等しくても、且つ／あるいは、スプライスドビデオストリームをデコードする対応するデコーダで計算されてもよい。他の時間オフセットは、max_initial_delay構文要素とdpb_output_delay構文要素との間の差に等しくても、ＳＥＩメッセージで伝えられても、且つ／あるいは、スプライスドビデオストリームをデコードする対応するデコーダで計算されてもよい。
【０１６３】
機能ブロック１７２０は、機能ブロック１７１０及び１７１５で計算されたような仮想基準デコーダパラメータを用いてスプライスドビデオストリームを生成し、制御を機能ブロック１７２５へ渡す。
【０１６４】
機能ブロック１７２５は、帯域内及び／又は帯域外でスプライスドビデオストリームのスプライシング位置を示し、制御を終了ブロック１７９９へ渡す。
【０１６５】
図１８を参照すると、仮想基準デコーダパラメータを用いてスプライスドビデオストリームを再生する例となる方法が、概して、参照符号１８００で示されている。
【０１６６】
方法１８００は開始ブロック１８０５を有する。開始ブロック１８０５は、制御を機能ブロック１８１０へ渡す。機能ブロック１８１０は、帯域内及び／又は帯域外でスプライスドビデオストリームのスプライシング位置を受け取り、制御を機能ブロック１８１５へ渡す。
【０１６７】
機能ブロック１８１５は、前のアクセスユニットのリムーバル時間及び時間オフセットに基づく先の計算から、スプライスドストリームを形成する少なくとも２つのストリームのうちの少なくとも１つのアクセスユニットのリムーバル時間を決定し、制御を機能ブロック１８２０へ渡す。時間オフセットは、ピクチャタイミングＳＥＩメッセージに含まれるcpb_removal_delayフィールドから決定されても、且つ／あるいは、スプライスドビデオストリームをデコードする対応するデコーダで計算されてもよい。
【０１６８】
機能ブロック１８２０は、アクセスユニットのリムーバル時間及び所与の時間オフセットに基づく先の計算からアクセスユニットの出力時間を決定し、制御を機能ブロック１８２５へ渡す。所与の時間オフセットは、dpb_output_delay構文要素及び他の時間オフセットの和に等しくても、且つ／あるいは、スプライスドビデオストリームをデコードする対応するデコーダで計算されてもよい。他の時間オフセットは、max_initial_delay構文要素とdpb_output_delay構文要素との間の差に等しくても、ＳＥＩメッセージで受け取られても、且つ／あるいは、スプライスドビデオストリームをデコードする対応するデコーダで計算されてもよい。
【０１６９】
機能ブロック１８２５は、機能ブロック１８１５及び１８２０で決定及び／又は別な方法で取得されたような仮想基準デコーダパラメータを用いてスプライスドビデオストリームを再生し、制御を終了ブロック１８９９へ渡す。
【０１７０】
図１９を参照すると、スプライスドビデオストリームを生成する他の例となる方法が、概して、参照符号１９００で示されている。
【０１７１】
方法１９００は開始ブロック１９０５を有する。開始ブロック１９０５は、制御を機能ブロック１９１０へ渡す。機能ブロック１９１０は、別々のビットストリームを連結させることによってスプライスドビデオストリームを生成し、制御を機能ブロック１９１５へ渡す。
【０１７２】
機能ブロック１９１５は、スプライスドビットストリームに関連するその後のデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐためにスプライスドビットストリームにおいて仮想基準デコーダパラメータ構文値を調整し、制御を終了ブロック１９９９へ渡す。
【０１７３】
図２０を参照すると、スプライスドビデオストリームを再生する他の例となる方法が、概して、参照符号２０００で示されている。
【０１７４】
方法２０００は開始ブロック２００５を有する。開始ブロック２００５は、制御を機能ブロック２０１０へ渡す。機能ブロック２０１０は、スプライスドビットストリームを構文解析し、それから取り出される仮想基準デコーダパラメータを受け取り、制御を機能ブロック２０１５へ渡す。
【０１７５】
機能ブロック２０１５は、仮想基準デコーダ適合性を確かめ、制御を終了ブロック２０９９へ渡す。
【０１７６】
ここで、本発明の多くの付随する利点／特徴の幾つかについて記載する。これらの一部は上述されている。例えば、１つの利点／特徴は、仮想基準デコーダパラメータによりスプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器を有する装置である。
【０１７７】
他の利点／特徴は、スプライスドビデオストリームのスプライシング位置が帯域内又は帯域外を示される、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１７８】
更なる他の利点／特徴は、上記のようにスプライスドビデオストリームのスプライシング位置が帯域内又は帯域外を示される、前述のスプライスドビデオストリーム発生器を有する装置であって、このスプライシング位置がネットワークアブストラクションレイヤユニットにより示される装置である。
【０１７９】
更なる他の利点／特徴は、上記のようにスプライシング位置がネットワークアブストラクションレイヤユニットにより示される、前述のスプライスドビデオストリーム発生器を有する装置であって、ネットワークアブストラクションレイヤユニットが付加拡張情報メッセージ、又はストリームネットワークアブストラクションレイヤユニットの端部である装置である。
【０１８０】
更に、他の利点／特徴は、スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間が前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１８１】
更に、他の利点／特徴は、上記のようにスプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間が前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置であって、時間オフセットがピクチャタイミング付加拡張情報メッセージにあるcpb_removal_delayフィールドで伝えられる装置である。
【０１８２】
また、他の利点／特徴は、スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間が該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１８３】
加えて、他の利点／特徴は、上記のようにスプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間が該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置であって、時間オフセットが前記スプライスドビデオストリームをデコードする対応するデコーダで計算される装置である。
【０１８４】
更に、他の利点／特徴は、上記のように時間オフセットが前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、前述のスプライスドビデオストリーム発生器を有する装置であって、時間オフセットが、ピクチャタイミング付加拡張情報メッセージに置かれているdpb_output_delay構文要素と他の時間オフセットとの和に等しい装置である。
【０１８５】
更に、他の利点／特徴は、上記のように時間オフセットが、ピクチャタイミング付加拡張情報メッセージに置かれているdpb_output_delay構文要素と他の時間オフセットとの和に等しい、前述のスプライスドビデオストリーム発生器を有する装置であって、他の時間オフセットが前記スプライスドビデオストリームをデコードする対応するデコーダで計算される装置である。
【０１８６】
また、他の利点／特徴は、上記のように他の時間オフセットが前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、前述のスプライスドビデオストリーム発生器を有する装置であって、前記他の時間オフセットがmax_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい装置である。
【０１８７】
加えて、他の利点／特徴は、上記のように時間オフセットが、ピクチャタイミング付加拡張情報メッセージに置かれているdpb_output_delay構文要素と他の時間オフセットとの和に等しい、前述のスプライスドビデオストリーム発生器を有する装置であって、他の時間オフセットが付加拡張情報メッセージで伝えられる装置である。
【０１８８】
更に、他の利点／特徴は、上記のように他の時間オフセットが付加拡張情報メッセージで伝えられる、前述のスプライスドビデオストリーム発生器を有する装置であって、前記他の時間オフセットは、max_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい装置である。
【０１８９】
更に、他の利点／特徴は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の標準値を変更することによって、スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぐよう前記スプライスドビデオストリームを作り出すスプライスドビデオストリーム発生器を有する装置である。
【０１９０】
また、他の利点／特徴は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素がピクチャタイミング付加拡張情報メッセージにcpb_removal_delay構文要素を有する、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１９１】
加えて、他の利点／特徴は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素がピクチャタイミング付加拡張情報メッセージにdpb_output_delay構文要素を有する、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１９２】
更に、他の利点／特徴は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素がバッファリング期間付加拡張情報メッセージにinitial_cpb_removal_delay構文要素を有する、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１９３】
更に、他の利点／特徴は、スプライスドビデオストリーム発生器（１６００）が国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４提言に準拠するビットストリームを作る、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１９４】
また、他の利点／特徴は、スプライスドビデオストリームに係る仮想基準デコーダパラメータを受け取って、該仮想基準デコーダパラメータにより前記スプライスドビデオストリームを再生するスプライスドビデオストリーム発生器を有する装置である。
【０１９５】
加えて、他の利点／特徴は、スプライスドビデオストリームのスプライシング位置が帯域内又は帯域外を示される、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１９６】
更に、他の利点／特徴は、上記のようにスプライスドビデオストリームのスプライシング位置が帯域内又は帯域外を示される、前述のスプライスドビデオストリーム発生器を有する装置であって、スプライシング位置がネットワークアブストラクションレイヤユニットにより示される装置である。
【０１９７】
更に、他の利点／特徴は、上記のようにスプライシング位置がネットワークアブストラクションレイヤユニットにより示される、前述のスプライスドビデオストリーム発生器を有する装置であって、ネットワークアブストラクションレイヤユニットが付加拡張情報メッセージ、又はストリームネットワークアブストラクションレイヤユニットの端部である装置である。
【０１９８】
また、他の利点／特徴は、スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間が前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置である。
【０１９９】
加えて、他の利点／特徴は、上記のようにスプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットのリムーバル時間が前のアクセスユニットのリムーバル時間と時間オフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置であって、時間オフセットがピクチャタイミング付加拡張情報メッセージにあるcpb_removal_delayフィールドで伝えられる装置である。
【０２００】
更に、他の利点／特徴は、上記のように時間オフセットがピクチャタイミング付加拡張情報メッセージにあるcpb_removal_delayフィールドで伝えられる、前述のスプライスドビデオストリーム発生器を有する装置であって、時間オフセットが前記スプライスドビデオストリームをデコードする対応するデコーダで計算される装置である。
【０２０１】
更に、他の利点／特徴は、スプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間は、該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置である。
【０２０２】
また、他の利点／特徴は、上記のようにスプライスドビデオストリームを形成する少なくとも２つのストリームのうち少なくとも１つのアクセスユニットの出力時間は、該アクセスユニットのリムーバル時間とタイミングオフセットとに基づいて計算される、前述のスプライスドビデオストリーム発生器を有する装置であって、時間オフセットが、ピクチャタイミング付加拡張情報メッセージに置かれているdpb_output_delay構文要素と他の時間オフセットとの和に等しい装置である。
【０２０３】
加えて、他の利点／特徴は、上記のように時間オフセットが、ピクチャタイミング付加拡張情報メッセージに置かれているdpb_output_delay構文要素と他の時間オフセットとの和に等しい、前述のスプライスドビデオストリーム発生器を有する装置であって、他の時間オフセットが前記スプライスドビデオストリームをデコードする対応するデコーダで計算される装置である。
【０２０４】
更に、他の利点／特徴は、上記のように他の時間オフセットが前記スプライスドビデオストリームをデコードする対応するデコーダで計算される、前述のスプライスドビデオストリーム発生器を有する装置であって、他の時間オフセットがmax_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい装置である。
【０２０５】
更に、他の利点／特徴は、上記のように時間オフセットが、ピクチャタイミング付加拡張情報メッセージに置かれているdpb_output_delay構文要素と他の時間オフセットとの和に等しい、前述のスプライスドビデオストリーム発生器を有する装置であって、他の時間オフセットが付加拡張情報メッセージで伝えられる装置である。
【０２０６】
また、他の利点／特徴は、上記のように他の時間オフセットが付加拡張情報メッセージで伝えられる、前述のスプライスドビデオストリーム発生器を有する装置であって、他の時間オフセットがmax_initial_delay構文要素と前記dpb_output_delay構文要素との間の差に等しい装置である。
【０２０７】
加えて、他の利点／特徴は、スプライスドビデオストリームに対応する少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の変更された標準値を受け取って、前記少なくとも１つの仮想基準デコーダに関連する高レベル構文要素の前記変更された標準値により前記スプライスドビデオストリームに関連するデコーダバッファのオーバーフロー及びアンダーフロー状態を防ぎながら前記スプライスドビデオストリームを再生するスプライスドビデオストリーム発生器を有する装置である。
【０２０８】
更に、他の利点／特徴は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素がピクチャタイミング付加拡張情報メッセージにcpb_removal_delay構文要素を有する、前述のスプライスドビデオストリーム発生器を有する装置である。
【０２０９】
更に、他の利点／特徴は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素がピクチャタイミング付加拡張情報メッセージにdpb_output_delay構文要素を有する、前述のスプライスドビデオストリーム発生器を有する装置である。
【０２１０】
また、他の利点／特徴は、少なくとも１つの仮想基準デコーダに関連する高レベル構文要素がバッファリング期間付加拡張情報メッセージにinitial_cpb_removal_delay構文要素を有する、前述のスプライスドビデオストリーム発生器を有する装置である。
【０２１１】
加えて、前記スプライスドビデオストリーム発生器が国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ標準／国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４提言に準拠するビットストリームを作る、前述のスプライスドビデオストリーム発生器を有する装置である。
【０２１２】
本原理のこれらの及び他の特徴及び利点は、本願の教示に基づいて当業者により容易に確かめられ得る。当然のことながら、本原理の教示は、様々な形態のハードウェア、ソフトウェア、ファームウェア、特別の目的のプロセッサ、又はそれらの組合せで実施されてよい。
【０２１３】
最も望ましくは、本原理の教示はハードウェア及びソフトウェアの組合せとして実施される。更に、ソフトウェアは、プログラム記憶ユニットで具体的に現されるアプリケーションプログラムとして実施されてよい。アプリケーションプログラムは、何れかの適切なアーキテクチャを有する機械にアップロードされて、その機械によって実行されてよい。望ましくは、機械は、１又はそれ以上の中央処理ユニット（“ＣＰＵ”）、ランダムアクセスメモリ（“ＲＡＭ”）、及び入出力（“Ｉ／Ｏ”）インターフェース等のハードウェアを有するコンピュータプラットフォームに実装される。コンピュータプラットフォームは、また、オペレーティングシステム及びマイクロインストラクションコードを有してよい。ここに記載される様々な処理及び機能は、ＣＰＵによって実行され得るマイクロインストラクションコードの部分若しくはアプリケーションプログラムの部分の何れか一方又はそれらの何らかの組合せであってよい。更に、補助データ記憶ユニット及び印刷ユニット等の様々な他の周辺ユニットがコンピュータプラットフォームへ接続されてよい。
【０２１４】
更に、当然のことながら、添付の図面に表されている構成システム要素及び方法の幾つかは望ましくはソフトウェアで実施されるので、システム要素又は処理機能ブロックの間の実際の接続は、本原理がプログラムされる方法に依存して異なることがある。本願の教示を鑑み、当業者は、本原理のこれらの及び類似する実施又は構成を意図することができるであろう。
【０２１５】
例となる実施形態が添付の図面を参照して記載されてきたが、当然のことながら、本原理はこれらの厳密な実施形態に限られず、且つ、様々な変更及び修正は、本原理の適用範囲又は精神から外れることなく当業者によってそれらの実施形態において行われ得る。全てのかかる変更及び修正は、添付の特許請求の範囲に挙げられている本原理の適用範囲内に包含されるよう意図される。
【０２１６】
［関連出願の相互参照］
本願は、２００７年６月８日に出願した米国仮出願第６０／８８３，８５２号に基づく優先権を主張するものであり、同米国出願の全内容を本願に参照により援用する。
【図１】
2010516103.tif 000008
【図２】
2010516103.tif 000009
【図３】
2010516103.tif 000010
【図４】
2010516103.tif 000011
【図５】
2010516103.tif 000012
【図６】
2010516103.tif 000013
【図７】
2010516103.tif 000014
【図８】
2010516103.tif 000015
【図９】
2010516103.tif 000016
【図１０】
2010516103.tif 000017
【図１１Ａ】
2010516103.tif 000018
【図１１Ｂ】
2010516103.tif 000019
【図１２】
2010516103.tif 000020
【図１３】
2010516103.tif 000021
【図１４Ａ】
2010516103.tif 000022
【図１４Ｂ】
2010516103.tif 000023
【図１５Ａ】
2010516103.tif 000024
【図１５Ｂ】
2010516103.tif 000025
【図１６】
2010516103.tif 000026
【図１７】
2010516103.tif 000027
【図１８】
2010516103.tif 000028
【図１９】
2010516103.tif 000029
【図２０】
2010516103.tif 000030
【国際調査報告】
2010516103.tif 000031
2010516103.tif 000032
2010516103.tif 000033
2010516103.tif 000034