(57)【要約】GDRランダムアクセスポイントが使用されるストリーム切り換えにおいて使用される信号通知方法および装置。ビットストリームにおけるGDR切り換えポイントを表すために、同期サンプルボックスに包含される同期サンプル情報ボックスが使用され、斯かるGDR切り換えポイントの情報が提供される。上記情報は、もしスライスグループが符号化において適用されるなら、どのスライスグループが分離領域であり且つどのスライスグループが残余領域であるかに関する情報も含む。上記信号通知方法はリアルタイムトランスポートプロトコル(RTP)を用いるビデオ・データ伝送において使用され得ると共に、ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)を使用し得る。
2006527927.tif 000002
【特許請求の範囲】
【請求項１】
複数のビットストリーム間におけるストリーム切り換えで使用される信号通知方法であって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、信号通知方法において、該方法は、
上記ビットストリームに関連付けて上記少なくとも1つの切り換えポイントに関する情報を提供して上記ストリーム切り換えを実施可能にすることであって、上記切り換えポイントは上記回復ポイントとは異なっていることにより特徴付けられる、信号通知方法。
【請求項２】
各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
当該方法は、提供される情報が上記分離領域を更に表すことを特徴とする、
請求項１記載の信号通知方法。
【請求項３】
前記複数のビットストリームはストリーミングネットワークにおいてサーバ装置からクライアント装置へと伝達され、
当該方法は、前記ストリーム切り換えが上記サーバ装置により開始されることを特徴とする、請求項１記載の信号通知方法。
【請求項４】
前記複数のビットストリームはストリーミングネットワークにおいてサーバ装置からクライアント装置へと伝達され、
前記方法は、前記ストリーム切り換えが上記クライアント装置により開始されることを特徴とする、請求項１記載の信号通知方法。
【請求項５】
前記信号通知方法はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項１記載の信号通知方法。
【請求項６】
前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項５記載の信号通知方法。
【請求項７】
前記ストリーム切り換えは、ストリーミングネットワークにおけるサーバ装置とクライアント装置との間における伝送状態に基づき、ビデオデータの伝送において実施される、請求項１記載の信号通知方法。
【請求項８】
複数のビットストリーム間においてストリームを切り換え得るストリーミングサーバ装置であって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、ストリーミングサーバ装置において、該ストリーミングサーバ装置は、
伝送のために上記第1ビットストリームを選択するストリーム選択器と、
上記ビットストリームに関連付けて上記少なくとも1つの切り換えポイントに関する情報を提供して、切り換えポイントに基づき伝送のために上記ストリーム選択器が上記第2ビットストリームを選択するのを許容する手段であって、上記切り換えポイントは上記回復ポイントとは異なるという手段と、
により特徴付けられる、ストリーミングサーバ装置。
【請求項９】
各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
提供される情報は上記分離領域を更に表す、請求項８記載のストリーミングサーバ装置。
【請求項１０】
提供される情報はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項８記載のストリーミングサーバ装置。
【請求項１１】
前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項１０記載のストリーミングサーバ装置。
【請求項１２】
前記ストリーム選択器は、ストリーミングネットワークにおけるストリーミングサーバ装置とクライアント装置との間における伝送状態に基づきストリーム切り換えのために前記第2ビットストリームを選択する、請求項８記載のストリーミングサーバ装置。
【請求項１３】
複数のビットストリーム間においてストリームを切り換え得るストリーミングシステムであって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、ストリーミングシステムにおいて、該ストリーミングシステムは、
少なくとも1つのストリーミングクライアントと；
伝送されたビットストリームに基づき上記ストリーミングクライアントがビデオフレームを再構成するのを許容すべく該ストリーミングクライアントに対して複数のビットストリームの内の1つのビットストリームを伝送する少なくとも一台のストリーミングサーバであって、
伝送のために上記第1ビットストリームを、且つ、上記第2ビットストリームを更に選択するストリーム選択器と、
上記ビットストリームに関連付けて上記少なくとも1つの切り換えポイントに関する情報を提供して、切り換えポイントに基づき伝送のために上記ストリーム選択器が上記第2ビットストリームを選択するのを許容する手段であって、上記切り換えポイントは上記回復ポイントとは異なるという手段と、により特徴付けられる、ストリーミングシステム。
【請求項１４】
各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
提供される情報は上記分離領域を更に表す、請求項１３記載のストリーミングシステム。
【請求項１５】
前記ストリーム切り換えは前記ストリーミングサーバにより開始される、請求項１３記載のストリーミングシステム。
【請求項１６】
前記ストリーム切り換えが前記ストリーミングクライアントにより開始される、請求項１３記載のストリーミングシステム。
【請求項１７】
提供される情報はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項１３記載のストリーミングシステム。
【請求項１８】
前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項１７記載のストリーミングシステム。
【請求項１９】
前記ストリームは、前記ストリーミングサーバと前記ストリーミングクライアントとの間における伝送状態に基づきストリーム切り換えのために前記第2ビットストリームを選択する、請求項１３記載のストリーミングシステム。
【請求項２０】
ビデオ入力信号をビデオデータへと変換するビデオ符号化器と、
上記ビデオデータに応答し、該ビデオデータを複数のビットストリームへと符号化する手段とにより特徴付けられる、請求項１３記載のストリーミングシステム。
【請求項２１】
複数のビットストリーム間におけるストリーム切り換えのためのストリーミングシステムにおいて使用されるソフトウェアプログラムであって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、コンピュータプログラムにおいて、該コンピュータプログラムは、
上記切り換えポイントを決定するコードと、
上記ビットストリームに関連付けて提供された情報において上記切り換えポイントを表すことにより、切り換えポイントに基づきストリーミングサーバがストリーム切り換えを実施することを許容するコードであって、上記切り換えポイントは上記回復ポイントとは異なるというコードと、
により特徴付けられる、ソフトウェアプログラム。
【請求項２２】
各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
提供される情報は上記分離領域を更に表す、請求項２１記載のソフトウェアプログラム。
【請求項２３】
提供される情報はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項２１記載のソフトウェアプログラム。
【請求項２４】
前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項２３記載のソフトウェアプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概略的にビデオストリーミングに関し、より詳細には、変動する伝送条件に従うストリーム適合化方法(stream adaptation)に関する。
【背景技術】
【０００２】
ビデオストリーミングまたはビデオオンデマンドのサービスにおいてはネットワーク状態が動的であるが故に、サーバとクライアントとの間における端末相互間伝送特性は頻繁に変動し得る。たとえば、伝送ビットレートが減少し得る。ストリーミングセッションの連続性を維持しサービスの品質を最大化するためにサーバは、伝送されるストリームを、変動する伝送状態に対して適合させねばならない。このプロセスはストリーム適合化方法と称される。
【０００３】
ストリーム適合化方法は、マルチエンコード(multi-encoding)式またはトランスコード(transcodeing)式のいずれかである。マルチエンコード式のストリーム適合化方法において、サーバは同一のビデオコンテンツを、異なる形態の又は異なるパラメータによる複数の符号化ストリームで記憶し、各符号化ストリームにおいて伝送されるデータは異なるストリーム間で切り換わり得る。トランスコード式のストリーム適合化方法において、サーバは、ストリームを異なる形態へと又は異なるパラメータによりトランスコードするトランスコーダを含む。
【０００４】
ひとつのビットストリームから他のビットストリームへの切り換えを可能とするためには、切り換えの後において容認可能な復号化品質のイメージデータをクライアント側デコーダが依然として受信し得るように、切り換え後のビットストリームが切り換えポイントを含まねばならない。切り換えポイントは、ランダムアクセスポイントまたは非ランダムアクセスポイントであり得る。非ランダムアクセスポイントにおけるストリーム切り換えに対しては、SP/SIピクチャを使用し得る。それに対して、ランダムアクセスポイントは、自然な切り換えポイントである。
【０００５】
ランダムアクセスとは、復号器が、ストリームの開始ポイントではなく該ストリームの或るポイントにて該ストリームの復号を開始し、且つ、復号されたピクチャの厳密なもしくは近似的な表現を回復し得ることをいう。このように、ランダムアクセスポイントとは、追随する任意の符号化ピクチャの復号を開始し得る切り換えポイントである。
【０００６】
ランダムアクセスポイントおよび回復ポイント(recovery point)がランダムアクセス動作を特徴付ける。出力順序において回復ポイントにまたはそれに引き続いて配置された復号化ピクチャの全ては、内容が正しいかまたは近似的に正しい。もしランダムアクセスポイントが回復ポイントと同一であれば、ランダムアクセス動作は即時的復号化リフレッシュ(Instantaneous Decoding Refresh)(IDR)であり、そうでなければ漸進的復号化リフレッシュ(Gradual Decoding Refresh)である。ビデオストリームにおけるIDRポイントは早送りおよびランダムアクセスにおいて使用し得るが、エラーの復元および回復に対しても使用し得る。IDRはまた、特にサーバ側でストリーム切り換えによりビットレート適合化に用いられる。
【０００７】
IDRピクチャとは他のピクチャに対する一切の参照なしで符号化されるピクチャであり且つ復号化順序においてIDRピクチャに追随する全てのピクチャは復号化順序において上記IDRピクチャに先行する一切のピクチャを参照することなく符号化される一方、GDRは本明細書において後に記述される如く分離領域(isolated region)と称される技術を用いて実現し得る。GDRランダムアクセスポイントにおけるピクチャはGDRピクチャと称される。GDRピクチャから回復ポイントまでの期間は、該回復ポイントを含め、GDR期間と称される。
【０００８】
ランダムアクセスポイントは、ローカル的に記憶されたビデオストリームにおけるシーク動作を可能にする。ビデオオンデマンドまたはストリーミングにおいてサーバはシーク要求に対し、シーク動作の要求目標に最も近いランダムアクセスポイントから開始するデータを伝送することにより応答する。異なるビットレートの符号化ストリーム間の切り換えは、伝送ビットレートと期待されるネットワークのスループットとを整合させるべく且つネットワークにおける輻輳を回避すべくインターネットにおけるユニキャストストリーミングにおいて一般的に使用される方法である。別のストリームへの切り換えは、ランダムアクセスポイントにおいて可能である。更に、ランダムアクセスポイントは、ブロードキャストもしくはマルチキャストへの同調を可能とする。これに加えてランダムアクセスポイントは、ソースシーケンスにおけるシーンカットに対する応答として、または、内部的ピクチャ更新要求に対する応答として符号化し得る。
【０００９】
ファイルフォーマット
MPEG-4パート12は、ISO(国際標準化機構)に基づくメディアファイルフォーマットの仕様を定めている。それは、メディアの交換、管理、編集およびプレゼンテーションを促進する融通性の高い拡張可能なフォーマットとされたプレゼンテーション用の時的メディア情報を含むべく設計される。このプレゼンテーションは、該プレゼンテーションを含むシステムに対して‘ローカル的’であるか、または、ネットワークまたは他のストリーム配信機構を介して実施し得る。上記ファイル構造はオブジェクト指向的である、と言うのも、ファイルを構成オブジェクトへと分解し得ると共に、各オブジェクトの構造をそれらの種類から直接的に推察し得るからである。上記ファイルフォーマットは、概略的には特定のネットワークプロトコルに対する効率的なサポートを可能とし乍らも、それらに依存しない様に設計される。ISO式メディアファイルフォーマットは、MP4ファイルフォーマット(MPEG-4パート14)とAVC(Advanced Video Coding)ファイルフォーマット(MPEG-4パート15)とに対する基礎として用いられる。AVCファイルフォーマットは、ISO式メディアファイルフォーマットによりAVCコンテンツが如何にして記憶されるかの仕様を定めている。それは通常は、AVCビデオの使用を許容するISO式メディアファイルフォーマットから導出されるMP4ファイルフォーマットなどの仕様に関して用いられる。
【００１０】
現在のAVCファイルフォーマットの設計態様において、SP/SIピクチャにより形成された切り換えピクチャは、切り換え元トラックおよび切り換え先トラックとは別個のトラックである切り換えトラック内に記憶される。切り換えトラックは、そのトラックにおいて特に必要とされるトラック参照先の存在により識別され得る。また切り換えピクチャは、宛先トラックにおけるサンプルの代替物であって厳密に同一の復号化時間を有する代替物である。
【００１１】
各IDRランダムアクセスポイントは、同期サンプルボックス(Sync Sample Box)において表される同期サンプルに対応する。同期サンプルボックスの設計態様はISO式メディアファイルフォーマットにおいて以下の如く仕様を定められている：
定義
ボックス形式(Box Type)：‘stss’
コンテナ(Container)：サンプルテーブルボックス(‘stbl’)
必須事項(Mandatory)：なし
値(Quantity)：０または１
このボックスは、ストリーム内におけるランダムアクセスポイントのコンパクトなマーキングを提供する。該テーブルは、厳密にサンプル番号の昇順に配置される。もし同期サンプルボックスが存在しなければ、全てのサンプルがランダムアクセスポイントである。
【００１２】
構文：
aligned(8) class SyncSampleBox
extends FullBox('stss', version = 0,0) ｛
unsigned int(32) entry_count;
int i;
for (i=0; i < entry_count; i++) ｛
unsigned int(32) sample_number;
｝
｝
【００１３】
語義
versionは、該ボックスのバージョンを特定する整数である。
【００１４】
entry_countは、追随するテーブルにおけるエントリの個数を与える整数である。もしentry_countがゼロなら、そのストリーム内にランダムアクセスポイントは無く、追随するテーブルは空である。
【００１５】
sample_numberは、そのストリームにおけるランダムアクセスポイントである各サンプルの夫々の番号を与える。
【００１６】
分離領域
分離領域技術は、GDR(漸進的復号化リフレッシュ)(JVT-C074)、エラー復元および回復(JVT-C073)、関心領域の符号化および優先順位付け、ピクチャインピクチャ機能、および、マスクされたビデオシーン遷移(masked video scene transition)の符号化(JVT-C075)などの、多くのアプリケーションに対する洗練された解決策を提供する。GDRは分離領域に基づくことから、受信器に対するメディアチャネル切り換え、サーバに対するビットストリーム切り換え、および、マルチキャストストリーミングに対する新規参加者の許容は、より平滑化されたビットレートにより即時的なランダムアクセスと同じくらい容易である。
【００１７】
ピクチャにおける分離領域は任意のマクロブロックを包含し得ると共に、ピクチャはゼロ個または１個の分離領域、または、重なり合わない更に多くの分離領域を包含し得る。残余領域(leftover region)とは、ピクチャの一切の分離領域により覆われない該ピクチャの領域である。残余領域は、同一ピクチャの各分離領域から予測し得る。
【００１８】
符号化されて分離された領域は、符号化された同一ピクチャの他の一切の分離領域または残余領域の存在なしで復号化され得る。残余領域の前に、ピクチャの全ての分離領域を復号化することが必要とされることもある。分離領域は、少なくとも一個のスライス(slice)を包含する。
【００１９】
当該複数のピクチャの各分離領域が相互に予測されるという複数のピクチャは、ひとつの分離領域ピクチャグループへとグループ分けされる。ひとつの分離領域は、同一の分離領域ピクチャグループにおける各先行ピクチャにおける対応分離領域と連結し得る。分離領域は、同一の分離領域ピクチャグループにおける対応分離領域から相互予測し得る。但し、ひとつの分離領域を他の各分離領域から相互予測することは許容されない。対照的に、残余領域は任意の分離領域から相互予測されることもある。連結された各分離領域の形状、箇所およびサイズは、分離領域ピクチャグループにおけるピクチャ毎に発展し得る。
【００２０】
分離領域の符号化は、AVC符復号器適用スライスグループにおいて実現し得る。各GDRランダムアクセスポイントは、回復ポイントの補足的増進情報(Supplemental Enhancement Information)(SEI)メッセージにより特徴付けられる。分離領域の符号化はスライスグループを用いずにAVC符復号器または他の標準的な符復号器においても実現し得るが、スライスグループを使用する符号化と比較して効率は低くなりこともある。
【００２１】
SP/SIピクチャ
AVCコード化規格は、SP/SIピクチャをサポートする。P-スライスのみを包含するストリーム切り換えにおいて復号器は、イメージ再構成に必要な正しく復号された基準フレームを有さないことは知られている。この問題は、符号化シーケンスに規則的時的間隔でI-スライスを挿入することで解決し得る。但し、I-スライスはP-スライスよりも更に多くの符号化データを含み易い。その故に、符号化ビットレートにおけるピークは各切り換えポイントに帰着する。SP-スライスおよびSI-スライスは、I-スライスの大きなビットレートの不利益なしで切り換えをサポートすべく設計される。
【００２２】
SP/SIピクチャは、異なる基準ピクチャ(reference picture)を用いる別のSP/SIピクチャが厳密に同一的に再構成されたピクチャを有し得る如き様式で符号化される。SP/SIピクチャは、ビットストリーム切り換え、スプライシング(splicing)、ランダムアクセス、早送り、早戻し、および、エラー復元／回復に対して適用し得る。たとえば、同一のビデオシーケンスに由来する異なるビットレートの２つのビットストリームbs1およびbs2が在ると仮定する。bs1においてはSPピクチャ(s1)が符号化され、bs2における同一箇所においては別のSPピクチャ(s2)が符号化される。bs1においては、厳密にs2と同一的に再構成されたピクチャを有する付加的なSPピクチャ(s12)が符号化される。s1およびs2は(夫々、bs1およびbs2からの)異なる基準ピクチャを使用する。故に、bs1からbs2への切り換えは、切り換え箇所においてs1の代わりにs12を伝送することにより実施し得る。s12は厳密にs2と同一的な再構成を有することから、切り換えの後で再構成されたピクチャはエラーが無い。SPピクチャs12は、AVCファイルフォーマットにおける切り換えトラックに記憶される切り換えピクチャと称される。
【００２３】
ストリーミングシステム
先に言及された如く、マルチエンコード式のストリーム適合化方法においてサーバは同一のビデオコンテンツを複数の符号化ストリームにより記憶するが、伝送に対しては各符号化ストリームの内の唯一個の符号化ストリームが選択される。図１は、トランスコーダまたはマルチストリーム生成器または記憶デバイス12からの複数のストリームを受信し得るサーバ20を含む伝送システム10を示している。示された如く、ストリーミングサーバ20は符号化ストリーム1〜nの内から１個の符号化ストリームを選択するストリーム選択器22を備える。選択された符号化ストリームは、パケット化器24によりパケットへと分割されると共に、伝送のためにチャネル符号化器26において符号化される。ストリーミングセッションの連続性を維持すべく且つサービスの品質を最大化すべく上記サーバは概略的に、可能な最良の符号化ストリームを選択する。たとえば、伝送状態が変化したときに上記サーバはビットレートを増大または減少し得る。故に上記ストリーム選択器は、切り換えポイントにおいて異なる符号化ストリームを選択することにより、ストリームを切り換える。しかしながら、クライアント側において復号器は、該復号器が受信した伝送データを単純に復号するのみである。図２に示された如く、基本的にストリーミングクライアントデバイス40は、チャネル復号器42と、パケット分解器44と、表示のためにディスプレイ48に対して復号ビデオ信号を提供する復号器46とを備える。但しクライアント主導のストリーム適合化方法をサポートするストリーミングシステムにおいて、ストリーミングクライアントデバイスは、ストリームの切り換えを要求する要求信号をサーバに対して送信し得る。上記ストリーミングシステムは、ネットワーク60を介したストリーミングサーバ20とストリーミングクライアント40との間の接続を示す図３に示される。
【００２４】
即時的／漸進的復号化リフレッシュ
先に言及された如く、ランダムアクセスポイントとは、復号を開始し得る任意のピクチャである。斯かるアクセスポイントにては、回復ポイントにおいて又はそれに引き続いて復号化される全てのピクチャは内容が正しくまたは近似的に正しい。本開示において“内容が正しい”という表現は、復号されたスライスまたはピクチャが、ストリームの開始から復号が開始された場合と厳密に同一であることを意味し、且つ、“内容が近似的に正しい”という表現は、復号されたスライスまたはピクチャが、ビットストリームの開始から復号が開始された場合と近似的に同一であることを意味することを銘記されたい。図４ａに示された如く、回復ポイントが切り換えポイントと同一である場合、内容が正しいかまたは近似的に正しいというピクチャは切り換えポイントにおいて開始する。その故に、ランダムアクセス動作は即時的復号化リフレッシュ(IDR)と称される。IDRランダムアクセスポイントは、IスライスまたはSIスライスのみを包含する。
【００２５】
対照的に、漸進的復号化リフレッシュ(GDR)ランダムアクセスポイントは任意の種類のスライス(I, P, SI, SP)を包含し得る。但し図４ｂに示された如く、そのピクチャにおける内容は、出力順序において切り換えポイントに続く或るピクチャから正しいか又は近似的に正しい。回復ポイントと切り換えポイントとの間のピクチャは視覚的に煩わしく或いは視認に対しては受け入れられないこともある。
【００２６】
現在、ファイルフォーマットにおいて使用されるべきGDR切り換えポイントをシグナリングする効率的な方法は無い。上記ファイルフォーマットの例はAVCファイルフォーマットであり、これは、ストリームスィッチングをサポートすべくGDR式ビデオ符号化によるストリーミング内容を包含するサーバファイルに対して重要である。AVCファイルフォーマットで記憶されたAVCコンテンツに対してGDR切り換えポイントは、AVC規格において仕様を定められた如くアクセス単位(access unit)が回復ポイントSEIメッセージを包含するときにのみ識別され得る。この方法は、回復ポイントSEIメッセージが在るか否かを調べるために各AVCアクセス単位がチェックされることを必要とする。
【発明の開示】
【００２７】
本発明は、ファイルフォーマットにおけるGDR切り換えポイントに対する効率的な信号通知方法およびデバイスを提供する。また、更に高速なストリーム切り換えおよびビットレートの減少を達成すべく、分離領域を用いてGDRが如何に符号化されているかに関する情報も信号通知される。本発明の信号通知方法によれば、IDRおよびSP/SI切り換えポイントなどの他の切り換えポイントと同じくらい容易に、GDR切り換えポイントを識別し得る。これに加え、もし指定されたならばサーバは、GDR切り換えポイントから当該回復ポイントを含めて回復ポイントまでのアクセス単位に対して分離領域のみを伝送することを選択することで、更に高速なGDRスィッチングおよびビットレートの減少を達成し得る。
【００２８】
故に、本発明の第１の形態に依れば、複数のビットストリーム間におけるストリーム切り換えで使用される信号通知方法であって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも一個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも一個の回復ポイントと、を備える信号通知方法が提供される。該方法は、上記複数のビットストリームにおいて上記切り換えポイントを表す情報を提供して該提供された情報に基づいて上記ストリーム切り換えを実施可能にすることを具備し、上記回復ポイントは上記切り換えポイントとは異なっていることにより特徴付けられる。
【００２９】
更に、上記ビデオフレームは、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、且つ、上記提供された情報は上記分離領域を更に表しても表さなくても良い。
【００３０】
上記ストリーム切り換えは、ストリーミングネットワークにおけるサーバ装置とクライアント装置との間の伝送状態に基づき、上記サーバ装置により開始され得るか、上記クライアント装置により要求され得る。
【００３１】
上記信号通知方法はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用され、且つ、上記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される。
【００３２】
本発明の第２の形態によれば、複数のビットストリーム間においてストリームを切り換え得るストリーミングサーバ装置であって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも一個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備えるというストリーミングサーバ装置が提供される。該ストリーミングサーバ装置は、
伝送のために上記第1ビットストリームを選択するストリーム選択器と、
上記切り換えポイントを表す情報を上記複数のビットストリーム内に提供して提供された情報に基づき伝送のために上記ストリーム選択器が上記第2ビット・ストリームを選択するのを許容する手段であって、上記回復ポイントは上記切り換えポイントとは異なるという手段と、
により特徴付けられる。
【００３３】
本発明の第３の形態に依れば、複数のビットストリーム間においてストリームを切り換え得るストリーミングシステムであって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備えるというストリーミングシステムが提供される。該ストリーミングシステムは、
少なくとも1つのストリーミングクライアントと；
伝送されたビットストリームに基づき上記ストリーミングクライアントがビデオフレームを再構成するのを許容すべく該ストリーミングクライアントに対して複数のビットストリームの内の1つのビットストリームを伝送する少なくとも一台のストリーミングサーバであって、
伝送のために上記第1ビットストリームを、且つ、上記第2ビットストリームを更に選択するストリーム選択器と、
上記切り換えポイントを表す情報を上記複数のビットストリーム内に提供して、提供された情報に基づき伝送のために上記ストリーム選択器が上記第2ビットストリームを選択するのを許容する手段であって、上記回復ポイントは上記切り換えポイントとは異なるという手段と、
を備えるストリーミングサーバと；により特徴付けられる。
【００３４】
上記ストリーミングシステムは、
ビデオ入力信号をビデオデータへと変換するビデオ符号化器と、
上記ビデオデータに応答し、該ビデオデータを複数のビットストリームへと符号化する手段と、
により特徴付けられる。
【００３５】
本発明の第４の形態に依れば、複数のビットストリーム間におけるストリーム切り換えのためのストリーミングシステムにおいて使用されるソフトウェアプログラムであって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備えるというコンピュータプログラムが提供される。該コンピュータプログラムは、
上記切り換えポイントを決定するコードと、
上記複数のビットストリーム内に提供された情報において上記切り換えポイントを表すことにより、提供された情報に基づきストリーミングサーバがストリーム切り換えを実施することを許容するコードであって、上記回復ポイントは上記切り換えポイントとは異なるというコードと、
により特徴付けられる。
【００３６】
本発明は、図５乃至図７に関する記述を読破すれば明らかとなろう。
【００３７】
発明の詳細な説明
本発明によれば、切り換え可能なGDRピクチャに関する情報は、ランダムアクセスポイントを(故に切り換えポイントを)表すべく同期サンプルボックス内に包含された同期サンプル情報ボックス(ssif)に含まれる。更に、分離領域を実現すべくスライスグループが使用されるなら、該スライスグループは、ssifにおける分離領域と残余領域とに対して関係付けられる必要がある。この情報を用い、ストリーミングサーバはGDRピクチャを用いてストリームを正しく切り換え得る。切り換えにおいてGDRピクチャを用いると、切り換えポイントにおけるピクチャの情報をIDRピクチャに対するよりも更に高速に伝送し得る、と言うのも、GDRピクチャにおける残余領域を送信する必要がないからである。切り換えに対してGDRピクチャを用いるとユーザは開始時にはピクチャ領域の一部のみしか参照し得ないが、ユーザは可及的に早く一定内容を参照し得るので更に満足できる。これに加え、GDR切り換えポイントから当該回復ポイントを含めて回復ポイントまでのピクチャにおける残余領域は、送信する必要がない。その故に、分離領域および残余領域の両方が送信される場合と比較して、伝送速度の減少が達成される。
【００３８】
AVCファイルフォーマットにおける本発明の実施方式は、各ランダムアクセスポイントが切り換えポイントであることを特徴とする。本発明の実施方式の第１実施例は以下の如くである。
【００３９】
IDRランダムアクセスポイント(IDRアクセス単位)およびGDRランダムアクセスポイント(1または2に等しい構文要素changing_slice_group_idcによる回復ポイントSEIメッセージを含むアクセス単位)の両方を含むランダムアクセスポイントの全ては、同期サンプルボックス内にマークされる。これに加え、(同期サンプルボックス内に包含された)同期サンプル情報ボックス(Sync Sample Information Box)は以下の如く定義される：
【００４０】
定義
ボックス形式：‘ssif’
コンテナ：同期サンプルボックス(‘stss’)
必須事項：なし
値：０または１
このボックスは、ストリームにおけるランダムアクセスポイントの情報を提供する。該情報は、ランダムアクセスポイントがGDRランダムアクセスポイントであるかIDRランダムアクセスポイントであるかに関する情報を包含する。ランダムアクセスポイントがGDRポイントであれば、上記情報は、どのスライス・グループが分離領域でありどのスライス・グループが残余領域であるかに関する情報も含む。同期サンプルボックスが同期サンプル情報ボックスを含まなければ、同期サンプルボックスによりマークされた全ての同期サンプルはIDRランダムアクセスポイントである。
【００４１】
構文：
aligned (8) class SyncSampleInformationBox
extends FullBox('ssif', version = 0,0) ｛
int i;
for (i=0; i < entry_count; i++) ｛
unsigned int(2) random_access_point_idc;
bit(6) reserved = '111111'b;
｝
｝
【００４２】
語義
versionは、該ボックスのバージョンを特定する整数である。
【００４３】
random_access_point_idc：
0は、ランダムアクセスポイントがIDRランダムアクセスポイントであることを表し；
1は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、残余領域はスライスグループ1によりカバーされる一方で分離領域はスライスグループ0によりカバーされることとを表し；
2は、ランダムアクセスポイントがGDRランダムアクセス・ポイントであり、GDR期間内で、残余領域はスライスグループ0によりカバーされる一方で分離領域はスライスグループ1によりカバーされることとを表し；
3は、許容されない。
【００４４】
本発明の実施方式の第２実施例は以下の如くである。
【００４５】
IDRランダムアクセスポイント(IDRアクセス単位)およびGDRランダムアクセスポイント(回復ポイントSEIメッセージを含むアクセス単位)の両方を含むランダムアクセスポイントの全ては、同期サンプルボックス内にマークされる。これに加え、(同期サンプルボックス内に包含された)同期サンプル情報ボックスは以下の如く定義される：
【００４６】
定義
ボックス形式：‘ssif’
コンテナ：同期サンプルボックス(‘stss’)
必須事項：なし
値：０または１
このボックスは、ストリームにおけるランダムアクセスポイントの情報を提供する。該情報は、ランダムアクセスポイントがGDRランダムアクセスポイントであるかIDRランダムアクセスポイントであるかに関する情報を包含する。もしランダムアクセスポイントがGDRピクチャであれば、上記情報は、GDR期間内のピクチャを符号化する上でスライスグループが適用されるか否かに関する情報を含む。ランダムアクセスポイントがGDRピクチャであり且つGDR期間内にピクチャを符号化する上でスライスグループが適用されるのであれば、上記情報は、GDR期間内で、どのスライスグループが分離領域をカバーし且つどのスライスグループが残余領域をカバーするかに関する情報も含む。同期サンプルボックスが同期サンプル情報ボックスを含まなければ、同期サンプルボックスによりマークされた全ての同期サンプルはIDRランダムアクセスポイントである。
【００４７】
構文：
aligned (8) class SyncSampleInformationBox
extends FullBox('ssif', version = 0,0) ｛
int i;
for (i=0; i < entry_count; i++) ｛
unsigned int(2) random_access_point_idc;
bit(6) reserved = '111111'b;
｝
｝
【００４８】
語義
versionは、該ボックスのバージョンを特定する整数である。
【００４９】
random_access_point_idc：
0は、ランダムアクセスポイントがIDRランダムアクセスポイントであることを表し；
1は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、残余領域はスライスグループ1によりカバーされる一方で分離領域はスライスグループ0によりカバーされることとを表し；
2は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、残余領域はスライスグループ0によりカバーされる一方で分離領域はスライスグループ1によりカバーされることとを表し；
3は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、どのスライスが分離領域をカバーし且つどのスライスが残余領域をカバーするかが特定されないことを表す。
【００５０】
本発明に係る上記信号通知方法によれば、全ての切り換えポイントを明示的にマークし得ることから、ストリームサーバは切り換えポイントを見出す上で各ピクチャを解析する必要はない。もしGDR切り換えポイントが無ければ、(同期サンプルボックス内に包含された)同期サンプル情報ボックスを使用する必要はない。
【００５１】
代表的な同期サンプルボックスは図５に示され、且つ、代表的な同期サンプル情報ボックスは図６に示される。
【００５２】
本発明に依れば、同期サンプルボックスに包含された同期サンプル情報ボックス内の切り換え可能なGDRピクチャに関する情報を提供するためにストリーミングシステムにおいてコンピュータプログラムが用いられる。この情報は、切り換えポイントを含む。これに加えて該コンピュータプログラムは、もし情報が入手可能であれば、分離領域と残余領域とに関係付けられたスライスグループも指定する。斯かるコンピュータプログラムは、図７に示された如く参照番号16により示される。コンピュータプログラム16は、符号化されたビデオ入力信号とGDR関連情報とをマルチストリームトランスコーダ／生成器12に対して提供するビデオコーダ14の一部である。ストリームサーバ20は、ネットワーク60における動的ネットワーク状態に基づき、符号化されたストリームの内のひとつのストリームを伝送のために選択し得る。ストリーミングサーバ20とストリーミングクライアント40との間の端末相互間伝送特性が変化したなら、ストリーミングサーバ20は同期サンプル情報ボックス内に提供されたGDR関連情報に従い、別の符号化ストリームを選択してストリーム切り換えを開始する。代替的に、ストリーミングクライアント40がネットワーク60における伝送状態の変化を検出したなら、該ストリーミングクライアント40はストリーミングサーバ20に対して要求信号を送信し、異なる伝送ストリームを要求しても良い。
【００５３】
本発明に係るGDR信号通知方法はリアルタイムトランスポートプロトコル(Real-time Transport Protocol)(RTP)を用いるビデオ・データ伝送に使用し得ると共に、セッション記述プロトコル(Session Description Protocol)(SDP)は、ストリーム切り換えにおいてビットストリームの特性を表す情報を伝達すべく使用し得る。公知の如くRTPは、マルチキャストまたはユニキャストのネットワークサービスによりオーディオ、ビデオまたはシミュレーションデータなどのリアルタイムデータを伝送するアプリケーションに適した端末相互間ネットワーク用トランスポート機能を提供する。RTPは、リソース確保に対処しておらず、リアルタイムサービスに対してサービス特性(QoS)を保証しない。データ転送は制御プロトコル(RTCP)により増強されることで、大規模なマルチキャストネットワークに対してスケーラブルな様式でデータ配信の監視を許容し、且つ、最小限の制御および識別機能性を提供する。RTPおよびRTCPは、下層に位置するトランスポート層およびネットワーク層から独立して設計される。上記プロトコルは、RTPレベルのトランスレータおよびミキサの使用をサポートする。セッション記述プロトコル(SDP)は、セッション通知、セッション勧誘、および、他の形態のマルチメディアセッション開始を目的としてマルチメディアセッションを記述することが意図される。SDPはたとえばサーバが使用することで、ビットストリームのどのビットレート代替物が利用可能であるかをクライアントに対して知らせ得る。
【００５４】
本発明に係るGDR信号通知方法は、ジョイントビデオチーム(JVT)により開発された(MPEG-4パート10またはAVCとしても知られる)ビデオコード化規格ITU-T H.264に対して適用可能である。但し、本発明の適用は上述のAVC規格に限られない。本発明は、他のビデオ符号化規格およびデバイスに対しても適用され得る。たとえばH.263およびMPEG-4パート2などの、スライスの符号化をサポートする他のビデオ符号化規格に対し、分離領域はGDRピクチャにおけるマクロブロックの第1行をカバーし得ると共に、他の行の全てのマクロブロックは残余領域によりカバーされる。引き続くピクチャにおいて分離領域は、それが回復ポイントピクチャにおけるピクチャ領域全体をカバーするまで、(同時に残余領域が同一速度で減少し乍ら)行毎に１個のマクロブロックの速度にて大きくなる。GDR期間における各ピクチャ内の分離領域は、一個以上のスライスとして符号化され得る。先に記述された如き分離領域の符号化制限は、符号化プロセスの間にも適用される。斯かる場合または他の同様の場合において、本発明に係るGDR信号通知方法が適用可能である。
【００５５】
故に本発明はその好適実施例に関して記述されたが、当業者であれば、本発明の有効範囲から逸脱することなく上記形態およびその詳細における上記のおよび種々の他の変更、省略および改変が為され得る。
【図面の簡単な説明】
【００５６】
【図１】ストリーム切り換えをサポートするストリーミングサーバを示すブロック図である。
【図２】ストリーミングクライアントを示すブロック図である。
【図３】ストリーミングシステムの概略図である。
【図４ａ】即時的デコーダリフレッシュピクチャを用いるストリーム切り換えを示す概略図である。
【図４ｂ】漸進的デコーダリフレッシュピクチャを用いるストリーム切り換えを示す概略図である。
【図５】同期サンプルボックスのブロック図である。
【図６】本発明に係る同期サンプル情報ボックスを示すブロック図である。
【図７】本発明に係るストリーミングシステムを示す概略図である。
【図１】
2006527927.tif 000003
【図２】
2006527927.tif 000004
【図３】
2006527927.tif 000005
【図４ａ】
2006527927.tif 000006
【図４ｂ】
2006527927.tif 000007
【図５】
2006527927.tif 000008
【図６】
2006527927.tif 000009
【図７】
2006527927.tif 000010
【国際調査報告】
2006527927.tif 000011