(57)【要約】【解決手段】ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を符号化することを含むビデオ符号化方法。さらに、再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信すること、受信されたビットストリームを復号すること、および再同期点情報に基づいてビットストリーム内の再同期点を突き止めることを含むディジタルビデオ復号方法。【選択図】      図３
2008537373.tif 000002
【特許請求の範囲】
【請求項１】
ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を符号化すること、および
前記符号化された再同期点情報を送信することを含むビデオ符号化方法。
【請求項２】
複数の候補位置についてレートゆがみコストを計算すること、および
前記計算されたレートゆがみコストに基づいて前記候補位置のうちの少なくとも１つを前記再同期点の前記位置となるように選択することをさらに含む請求項１に記載の方法。
【請求項３】
サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバである、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択することをさらに含む請求項１に記載の方法。
【請求項４】
マクロブロックの先頭である、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択することをさらに含む請求項１に記載の方法。
【請求項５】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項１に記載の方法。
【請求項６】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項１に記載の方法。
【請求項７】
インバンドアプリケーションメッセージ、ユーザ固有プライベートデータメッセージ、補足拡張情報メッセージおよびＭＰＥＧユーザデータメッセージのうちの１つであるデータメッセージ内の前記再同期点情報を符号化することをさらに含む請求項１に記載の方法。
【請求項８】
前記ビットストリームを復号するための前記情報が、前記ビットストリームが前記再同期点の後に続く文脈に関する情報を含む、請求項１に記載の方法。
【請求項９】
ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を符号化する手段と、
前記符号化された再同期点情報を送信する手段とを含むビデオ符号化装置。
【請求項１０】
複数の候補位置についてレートゆがみコストを計算する手段と、
前記計算されたレートゆがみコストに基づいて前記候補位置のうちの少なくとも１つを前記再同期点の前記位置となるように選択する手段とをさらに含む請求項９に記載の装置。
【請求項１１】
サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバである、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択する手段をさらに含む請求項９に記載の装置。
【請求項１２】
マクロブロックの先頭である、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択する手段をさらに含む請求項９に記載の装置。
【請求項１３】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項９に記載の装置。
【請求項１４】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項９に記載の装置。
【請求項１５】
インバンドアプリケーションメッセージ、ユーザ固有プライベートデータメッセージ、補足拡張情報メッセージおよびＭＰＥＧユーザデータメッセージのうちの１つであるデータメッセージ内の前記再同期点情報を符号化する手段をさらに含む請求項９に記載の装置。
【請求項１６】
前記ビットストリームを復号するための前記情報が、前記ビットストリームが前記再同期点の後に続く文脈に関する情報を含む、請求項９に記載の装置。
【請求項１７】
ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を符号化すること、および
前記符号化された再同期点情報を送信することを制御するように構成されたビデオ符号化プロセッサ。
【請求項１８】
複数の候補位置についてレートゆがみコストを計算すること、および
前記計算されたレートゆがみコストに基づいて前記候補位置のうちの少なくとも１つを前記再同期点の前記位置となるように選択することを制御するようにさらに構成される請求項１７に記載のプロセッサ。
【請求項１９】
サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバである、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択することを制御するようにさらに構成される請求項１７に記載のプロセッサ。
【請求項２０】
マクロブロックの先頭である、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択するようにさらに構成される請求項１７に記載のプロセッサ。
【請求項２１】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項１７に記載のプロセッサ。
【請求項２２】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項１７に記載のプロセッサ。
【請求項２３】
インバンドアプリケーションメッセージ、ユーザ固有プライベートデータメッセージ、補足拡張情報メッセージおよびＭＰＥＧユーザデータメッセージのうちの１つであるデータメッセージ内の前記再同期点情報を符号化することを制御するようにさらに構成される請求項１７に記載のプロセッサ。
【請求項２４】
前記ビットストリームを復号するための前記情報が、前記ビットストリームが前記再同期点の後に続く文脈に関する情報を含む、請求項１７に記載のプロセッサ。
【請求項２５】
ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号化するための情報を含む再同期点情報を符号化するための符号器と、
前記符号化された再同期点情報を送信するように構成された通信器とを含むビデオ符号化装置。
【請求項２６】
サブマクロブロック、マクロブロック、スライス、フレームおよびフレームシーケンスからなるグループのメンバである、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択するためのセレクタをさらに含む請求項２５に記載の装置。
【請求項２７】
マクロブロックの先頭である、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択するためのセレクタをさらに含む請求項２５に記載の装置。
【請求項２８】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項２５に記載の装置。
【請求項２９】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項２５に記載の装置。
【請求項３０】
前記符号器が、インバンドアプリケーションメッセージと、ユーザ固有プライベートデータメッセージと、補足拡張情報メッセージと、ＭＰＥＧユーザデータメッセージとからなるグループのメンバであるデータメッセージ内の前記再同期点情報を符号化する、請求項２５に記載の装置。
【請求項３１】
前記符号器が可変長符号化を使用して前記再同期点情報を符号化する、請求項２５に記載の装置。
【請求項３２】
セレクタと、
複数の候補位置についてレートゆがみコストを計算するための計算器とをさらに含み、
前記セレクタが前記計算されたレートゆがみコストに基づいて前記候補位置のうちの少なくとも１つを前記再同期点の前記位置となるように選択する、請求項２５に記載の装置。
【請求項３３】
ビデオ符号化方法を使用するコンピュータ読取り可能媒体であって、前記方法が、
ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を符号化すること、および
前記符号化された再同期点情報を送信することを含む、コンピュータ読取り可能媒体。
【請求項３４】
前記方法がさらに、
複数の候補位置についてレートゆがみコストを計算すること、および
前記計算されたレートゆがみコストに基づいて前記候補位置のうちの少なくとも１つを前記再同期点の前記位置となるように選択することを含む、請求項３３に記載のコンピュータ読取り可能媒体。
【請求項３５】
前記方法が、サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバである、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択することをさらに含む、請求項３３に記載のコンピュータ読取り可能媒体。
【請求項３６】
前記方法が、マクロブロックの先頭である、前記ビデオビットストリームの前記セクション内の前記再同期点の前記位置を選択することをさらに含む、請求項３３に記載のコンピュータ読取り可能媒体。
【請求項３７】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項３３に記載のコンピュータ読取り可能媒体。
【請求項３８】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項３３に記載のコンピュータ読取り可能媒体。
【請求項３９】
前記方法が、インバンドアプリケーションメッセージ、ユーザ固有プライベートデータメッセージ、補足拡張情報メッセージおよびＭＰＥＧユーザデータメッセージのうちの１つであるデータメッセージ内の前記再同期点情報を符号化することをさらに含む、請求項３３に記載のコンピュータ読取り可能媒体。
【請求項４０】
前記ビットストリームを復号するための前記情報が、前記ビットストリームが前記再同期点の後に続く文脈に関する情報を含む、請求項３３に記載のコンピュータ読取り可能媒体。
【請求項４１】
再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を含む復号されたビットストリームを受信すること、および
前記受信されたビットストリームを復号することを含むビデオデータ復号方法。
【請求項４２】
前記再同期点情報に基づいて前記ビットストリーム内の前記再同期点を突き止めることをさらに含む請求項４１に記載の方法。
【請求項４３】
前記ビットストリームを復号するための前記情報が、前記再同期点の後に続く前記ビットストリームが復号される文脈に関する情報を含む、請求項４１に記載の方法。
【請求項４４】
前記復号されたビットストリームの現在の文脈を再同期点情報に含まれた前記受信された文脈情報と比較すること、および
前記比較が現在の文脈と前記受信された文脈情報が同じでないことを示す場合、前記ビットストリームの復号を中断し、前記再同期点で前記ビットストリームの復号を再開することをさらに含む請求項４３に記載の方法。
【請求項４５】
前記再同期点の前記位置が、サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバから選択されたビデオセクション内にある、請求項４１に記載の方法。
【請求項４６】
前記再同期点の前記位置がマクロブロックの先頭である、請求項４１に記載の方法。
【請求項４７】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項４１に記載の方法。
【請求項４８】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項４１に記載の方法。
【請求項４９】
前記方法がさらに、
インバンドアプリケーションメッセージと、ユーザ固有プライベートデータメッセージと、補足拡張情報メッセージと、ＭＰＥＧユーザデータメッセージとからなるグループのメンバであるデータメッセージ内の前記再同期点情報を受信することを含む請求項４１に記載の方法。
【請求項５０】
可変長符号を使用して符号化された前記再同期点情報を受信することをさらに含む請求項４１に記載の方法。
【請求項５１】
前記方法がさらに、
前記ビットストリームの誤りを検出すること、
前記ビットストリームの前記復号を中断すること、および
前記突き止められた再同期点で復号を継続することを含む請求項４１に記載の方法。
【請求項５２】
再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信する手段と、
前記受信されたビットストリームを復号する手段とを含むビデオ復号装置。
【請求項５３】
前記再同期点情報に基づいて前記ビットストリーム内の前記再同期点を突き止める手段をさらに含む請求項５２に記載の装置。
【請求項５４】
前記ビットストリームを復号するための前記情報が、前記再同期点の後に続く前記ビットストリームが符号化される文脈に関する情報を含む、請求項５２に記載の装置。
【請求項５５】
前記復号されたビットストリームの現在の文脈を前記再同期点情報に含まれた前記受信された文脈情報と比較する手段と、
前記比較が現在の文脈と前記受信された文脈情報が同じでないことを示す場合、前記ビットストリームの復号を中断し、前記再同期点で前記ビットストリームの復号を再開する手段とをさらに含む請求項５４に記載の装置。
【請求項５６】
前記再同期点の前記位置が、サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバから選択されたビデオセクション内にある、請求項５２に記載の装置。
【請求項５７】
前記再同期点の前記位置がマクロブロックの先頭である、請求項５２に記載の装置。
【請求項５８】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項５２に記載の装置。
【請求項５９】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項５２に記載の装置。
【請求項６０】
インバンドアプリケーションメッセージと、ユーザ固有プライベートデータメッセージと、補足拡張情報メッセージと、ＭＰＥＧユーザデータメッセージとからなるグループのメンバであるデータメッセージ内の前記再同期点情報を受信する手段をさらに含む請求項５２に記載の装置。
【請求項６１】
可変長符号を使用して符号化された前記再同期点情報を受信する手段をさらに含む請求項５２に記載の装置。
【請求項６２】
前記ビットストリームの誤りを検出する手段と、
前記ビットストリームの前記復号を中断する手段と、
前記突き止められた再同期点で復号を継続する手段とをさらに含む請求項５２に記載の装置。
【請求項６３】
再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信すること、および
前記受信されたビットストリームを復号することを制御するように構成されるビデオ復号プロセッサ。
【請求項６４】
前記再同期点情報に基づいて前記ビットストリーム内の前記再同期点を突き止めることを制御するようにさらに構成される請求項６３に記載のプロセッサ。
【請求項６５】
前記ビットストリームを復号するための前記情報が、前記再同期点の後に続く前記ビットストリームが符号化される文脈に関する情報を含む、請求項６３に記載のプロセッサ。
【請求項６６】
前記復号されたビットストリームの現在の文脈を前記再同期点情報に含まれた前記受信された文脈情報と比較すること、および
前記比較が現在の文脈と前記受信された文脈情報が同じでないことを示す場合、前記ビットストリームの復号を中断し、前記再同期点で前記ビットストリームの復号を再開することを制御するようにさらに構成される請求項６４に記載のプロセッサ。
【請求項６７】
前記再同期点の前記位置が、サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバから選択されたビデオセクション内にある、請求項６３に記載のプロセッサ。
【請求項６８】
前記再同期点の前記位置がマクロブロックの先頭である、請求項６３に記載のプロセッサ。
【請求項６９】
前記ビットストリームを復号するための前記情報が、近隣のビデオセクションに関する情報を含む請求項６３に記載のプロセッサ。
【請求項７０】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項６３に記載のプロセッサ。
【請求項７１】
インバンドアプリケーションメッセージ、ユーザ固有プライベートデータメッセージ、補足拡張情報メッセージおよびＭＰＥＧユーザデータメッセージからなる前記グループのメンバであるデータメッセージ内の前記再同期点情報を受信することを制御するようにさらに構成される請求項６３に記載のプロセッサ。
【請求項７２】
前記方法がさらに、
可変長符号を使用して符号化される前記再同期点情報を受信することを含む、請求項６３に記載のプロセッサ。
【請求項７３】
前記方法がさらに、
前記ビットストリームの誤りを検出すること、
前記ビットストリームの前記復号を中断すること、および
前記突き止められた再同期点で復号を継続することをさらに含む、請求項６３に記載のプロセッサ。
【請求項７４】
再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信するための受信機と、
前記受信されたビットストリームを復号する復号器とを含むビデオ復号装置。
【請求項７５】
前記復号器が、前記再同期点情報に基づいて前記ビットストリーム内の前記再同期点を突き止めるようにさらに構成される、請求項７４に記載の装置。
【請求項７６】
前記ビットストリームを復号するための前記情報が、前記再同期点の後に続く前記ビットストリームが符号化される文脈に関する情報を含む、請求項７４に記載の装置。
【請求項７７】
前記復号器がさらに、
前記復号されたビットストリームの現在の文脈を前記再同期点情報に含まれた前記受信された文脈情報と比較し、
前記比較が現在の文脈と前記受信された文脈情報が同じでないことを示す場合、前記ビットストリームの復号を中断し、前記再同期点で前記ビットストリームの復号を再開するように構成される、請求項７６に記載の装置。
【請求項７８】
前記再同期点の前記位置が、サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバから選択されたビデオのセクション内にある、請求項７４に記載の装置。
【請求項７９】
前記再同期点の前記位置がマクロブロックの先頭である、請求項７４に記載の装置。
【請求項８０】
前記ビットストリームを復号するための前記情報が、近隣のビデオセクションに関する情報を含む請求項７４に記載の装置。
【請求項８１】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項７４に記載の装置。
【請求項８２】
前記受信機が、インバンドアプリケーションメッセージと、ユーザ固有プライベートデータメッセージと、補足拡張情報メッセージと、ＭＰＥＧユーザデータメッセージとからなるグループのメンバであるデータメッセージ内の前記再同期点情報を受信するようにさらに構成される、請求項７４に記載の装置。
【請求項８３】
前記復号器が、
前記ビットストリームの誤りを検出し、
前記ビットストリームの前記復号を中断し、
前記突き止められた再同期点で復号を継続するようにさらに構成される、請求項７４に記載の装置。
【請求項８４】
ビデオ復号方法を実施するコンピュータ読取り可能媒体であって、前記方法が、
再同期点の位置を識別する情報と、前記再同期点の後に続く前記ビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信すること、および
前記受信されたビットストリームを復号することを含む、コンピュータ読取り可能媒体。
【請求項８５】
前記方法がさらに、
前記再同期点情報に基づいて前記ビットストリーム内の前記再同期点を突き止めることを含む、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項８６】
前記ビットストリームを復号するための前記情報が、前記再同期点の後に続く前記ビットストリームが符号化される文脈に関する情報を含む請求項８４に記載のコンピュータ読取り可能媒体。
【請求項８７】
前記方法がさらに、
前記復号されたビットストリームの現在の文脈を再同期点情報に含まれた前記受信された文脈情報と比較すること、および
前記比較が現在の文脈と前記受信された文脈情報が同じでないことを示す場合、前記ビットストリームの復号を中断し、前記再同期点で前記ビットストリームの復号を再開することを含む、請求項８６に記載のコンピュータ読取り可能媒体。
【請求項８８】
前記再同期点の前記位置が、サブマクロブロックと、マクロブロックと、スライスと、フレームと、フレームシーケンスとからなるグループのメンバから選択されたビデオセクション内にある、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項８９】
前記再同期点の前記位置がマクロブロックの先頭である、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項９０】
前記ビットストリームを復号するための前記情報が近隣のビデオセクションに関する情報を含む、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項９１】
前記ビットストリームを復号するための前記情報が、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含む、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項９２】
前記方法がさらに、
インバンドアプリケーションメッセージと、ユーザ固有プライベートデータメッセージと、補足拡張情報メッセージと、ＭＰＥＧユーザデータメッセージとからなるグループのメンバであるデータメッセージ内の前記再同期点情報を受信することを含む、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項９３】
前記方法がさらに、
可変長符号を使用して符号化された前記再同期点情報を受信することを含む、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項９４】
前記方法がさらに、
前記ビットストリームの誤りを検出すること、
前記ビットストリームの前記復号を中断すること、および
前記突き止められた再同期点で復号を継続することを含む、請求項８４に記載のコンピュータ読取り可能媒体。
【請求項９５】
再同期点データを符号化すること、および
前記再同期点データをマルチメディアストリームのスライスに挿入することを含むマルチメディアデータ符号化方法。
【請求項９６】
前記スライス内の再同期点の位置を選択することをさらに含み、挿入が、
前記選択された位置に前記再同期点を挿入することを含む、請求項９５に記載の方法。
【請求項９７】
選択が、
複数の候補位置についてレートゆがみコストを計算すること、および
前記レートゆがみコストに基づいて少なくとも１つの候補位置を選択することを含む、請求項９６に記載の方法。
【請求項９８】
前記再同期点が前記マルチメディアデータの文脈情報を含む、請求項９５に記載の方法。
【請求項９９】
再同期点データを符号化する手段と、
前記再同期点データをマルチメディアストリームのスライスに挿入する手段とを含むマルチメディアデータ符号化装置。
【請求項１００】
前記スライス内の再同期点の位置を選択する手段をさらに含み、挿入が、
前記再同期点を前記選択された位置に挿入する手段を含む、請求項９９に記載の装置。
【請求項１０１】
前記選択手段が、
複数の候補位置についてレートゆがみコストを計算する手段と、
前記レートゆがみコストに基づいて少なくとも１つの候補位置を選択する手段とを含む、請求項１００に記載の装置。
【請求項１０２】
前記再同期点が前記マルチメディアデータの文脈情報を含む、請求項９９に記載の装置。
【請求項１０３】
マルチメディアストリームのスライス内の再同期点データを受信すること、および
前記再同期点データに基づいてマルチメディアデータを復元することを含むマルチメディアストリーム処理方法。
【請求項１０４】
前記再同期点が前記マルチメディアデータの文脈情報を含む、請求項１０３に記載の方法。
【請求項１０５】
マルチメディアストリームのスライス内の再同期点データを受信する手段と、
前記再同期点データに基づいてマルチメディアデータを復元する手段とを含むマルチメディアストリーム処理装置。
【請求項１０６】
前記再同期点が前記マルチメディアデータの文脈情報を含む、請求項１０５に記載の装置。
【発明の詳細な説明】
【米国法典第３５編１１９条に基づく優先権の主張】
【０００１】
本特許出願は、両方ともが本願の譲受人に譲渡され、また参照により本明細書に明示的に組み込まれている、２００５年３月１０日に出願した米国仮出願第６０／６６０８７９号、「Ｃｏｎｔｅｎｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｆｏｒ  Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ」、および２００５年９月１日に出願した米国仮出願第６０／７１３２０７号、「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｅｒｒｏｒ  Ｒｅｃｏｖｅｒｙ  Ｕｓｉｎｇ  Ｉｎｔｒａ−Ｓｌｉｃｅ  Ｒｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  Ｐｏｉｎｔｓ」の優先権を主張するものである。
【技術分野】
【０００２】
本発明は、誤り管理方式を備えたディジタルデータ符号化および復号のための方法および装置に関する。
【背景技術】
【０００３】
移動体通信システムにおけるより高いデータ転送速度およびより高いサービス品質の需要は、急速に増大している。しかし、制限された送信電力、制限された帯域幅、およびマルチパスフェージングなどの要因は、実用システムによって対処されるデータ転送速度を制限し続ける。マルチメディア通信において、特に誤りが生じやすい環境では、送信されたメディアの誤り耐性は、復号された単一の値の誤りでも、空間的かつ時間的に伝搬する復号アーティファクトを引き起こすことがあるので、所望のサービス品質の提供において極めて重要である。必要なデータ転送速度を維持しながら誤りを最小限に抑えるために様々な符号化手段が使用されてきたが、しかし、これらの技術のすべてに、復号器側に生じる誤りについての問題がある。
【０００４】
ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（まとめてＭＰＥＧ−ｘと呼ばれる）、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３およびＨ．２６４（まとめてＨ．２６ｘと呼ばれる）などのハイブリッド符号化規格は、固定長または可変長のソース符号化技術を使用するビデオ、オーディオおよび他の情報の圧縮および配信によく適したデータ処理および操作技術（本明細書ではハイブリッド符号化と呼ばれる）について記述している。具体的には、上記で参照された規格、ならびに他のハイブリッド符号化規格および技術は、例示すると、フレーム内エントロピー符号化技術（たとえばランレングス符号化、ハフマン符号化など）、ならびにフレーム間符号化技術（たとえば順方向および逆方向予測符号化、動き補償など）を使用してビデオ情報を圧縮する。具体的には、ビデオ処理システムの場合には、ハイブリッドビデオ符号化システムは、フレーム内および／またはフレーム間動き補償符号化を用いた予測に基づくビデオフレームの圧縮符号化を特徴とする。
【０００５】
エントロピー符号化は、ランダムな情報源によって生成されたシンボルの非常に効率的な可逆表現を可能にする。したがって、それは、可逆と不可逆の両方のデータ圧縮方式の不可欠な構成要素である。エントロピー符号化は、圧縮効率への利益が非常に大きいが、復号プロセスを複雑にもする。エントロピー符号化への異なるすべての手法の共通の特徴は、単一のソースシンボルまたはそのシーケンスが、シンボル尤度が減少するにつれて長さが増加する２値パターン、すなわちコードワードとして知られている１と０のシーケンスに関連付けられ、またそれで表されることである。したがって、より尤度の高いシンボルにはよりコンパクトな表現が割り当てられて、概して、簡単なシンボルアルファベットサイズに基づく固定長の表現に比べてかなりの節約が可能となる。
【０００６】
ビットストリーム、すなわち情報源のアウトプットのエントロピー符号化された表現の次のシンボルに何ビット消費するかについてのあいまい性は、復号器にとって複雑なことである。しかし、遥かに重要なことには、ビットストリームに誤りが生じる場合、可変サイズのコードワードを（誤りによる）反転ビットと併せて使用すると、不正確なコードワード長のエミュレーションがしばしば生じることがあり、その結果、解析／復号プロセスがビットストリームとの同期を失うことがあり、すなわちコードワード境界の正確な識別、したがってビットストリームの正確な解釈が失敗し始めることがある。
【０００７】
基本レベルの誤り検出手段を実装する復号器が、ビットストリームを復号する際に問題に遭遇し、同期を失うと仮定する。最終的に復号器は、構文違反すなわち無効のコードワード、または意味論的な失敗、たとえば無効のパラメータ値または予想されないビットストリームオブジェクトのせいで問題を認識するようになり、それ自体をビットストリームと再同期させるために必要な措置を講じ得る。これは、最初にデータ損失のきっかけとなった破損を遥かに超えた程度にまでデータ損失を引き起こすことがある。データ損失は、ディジタル圧縮のために使用される空間予測により、フレーム全体にわたって空間的に広がることがある。またデータ損失は、失われたデータが、動き補償された予測領域のための参照フレームの一部である場合には悪化し、時間的誤差の伝搬を引き起こす。
【０００８】
ＭＰＥＧ−ｘおよびＨ．２６ｘのハイブリッド符号化規格は一般に、ＮＡＬＵ（ネットワーク抽象化層ユニット：Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ  Ｕｎｉｔ）の境界で再同期点（ＲＳＰ：ｒｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  ｐｏｉｎｔ）を提供し、最も一般的なＮＡＬＵがスライスである。スライスは、ラスタースキャン順の連続したマクロブロックの一群であってもよく、ただしマクロブロックは、１６×１６ピクセルで構成される。ピクセルは、輝度値（Ｙ）および２つの色差値（ＣｒおよびＣｂ）によって定義される。Ｈ．２６４では、Ｙ、ＣｒおよびＣｂ成分は、ＣｒおよびＣｂ成分がＸおよびＹ方向に２でダウンサンプリングされる、４：２：０形式で格納される。したがって、それぞれのマクロブロックは、２５６個のＹ成分と、６４個のＣｒ成分と、６４個のＣｂ成分とからなる。Ｈ．２６４は、スライス群および柔軟なマクロブロック順序（ＦＭＯ：ｆｌｅｘｉｂｌｅ  ｍａｃｒｏｂｌｏｃｋ  ｏｒｄｅｒｉｎｇ）の導入によってスライスの概念を一般化している。スライス群およびＦＭＯによって、スライスおよびマクロブロックの関連付けは完全に任意のものとなることができ、連続したマクロブロックの従来の構造を遥かに超える柔軟性がもたされる。スライスは、接頭符号として知られているＲＳＰで始まる。ＲＳＰ接頭符号は、長さが約３バイトである、バイトアラインされ、予約されたビット列コードワードである。真の再同期点として働くために、すべてのインター符号化予測チェーンは、ＲＳＰの前のデータ参照を回避する。接頭符号バイトに生じるオーバーヘッド、ならびに予測符号化チェーンの中断または劣化によって失われる符号化効率は、スライスを頻繁に使用すること、すなわち短いスライスを使用することの欠点であり、この欠点は、誤り耐性のサポートにおけるその利点と比較検討されるべきである。これらの問題に基づくと、フレーム全体が単一のスライスとして符号化されることは、省略時の符号器振舞いとしては珍しいことではない。普及している別のより短いスライス構造では、各マクロブロック行にスライスを構成させている。マクロブロック行よりも短いスライスは、遥かに少ない頻度で使用され、それらが採用される場合、たいていその理由は、スライスサイズ（ビット数）を必要なトランスポートパケットサイズに一致させることである。
【０００９】
従来のスライスベースの再同期方式では、たとえば意味または構文誤りなど、データの誤りが復号器で検出される場合、誤りの後に生じるスライス全体が役に立たなくなる。これは、特にフレーム全体などのより長いスライスにとっては、望ましい条件でない。
【特許文献１】米国仮出願第６０／６６０８７９号
【特許文献２】米国仮出願第６０／７１３２０７号
【発明の開示】
【００１０】
損なわれたスライスに含まれるビデオデータの一部を復旧する（ｓａｌｖａｇｅ）ことが可能であり得るイントラスライス再同期点（ＩＳ−ＲＳＰ：ｉｎｔｒａ−ｓｌｉｃｅ  ｒｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  ｐｏｉｎｔ）が求められている。さらに、ＩＳ−ＲＳＰは、オーバーヘッドを減少させながら誤り耐性を最大にするように知的に配置されることが求められている。
【００１１】
ビデオ符号化方法および装置が、ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を符号化し、符号化された再同期点情報を送信するための方法および装置を含む。
【００１２】
別の態様では、ビデオ符号化装置が、ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を符号化するための符号器と、符号化された再同期点情報を送信するように構成された通信器とを含む。
【００１３】
上記の諸態様では、ビデオ符号化方法および装置はさらに、複数の候補位置についてレートゆがみコストを計算し、計算されたレートゆがみコストに基づいて候補位置のうちの少なくとも１つを再同期点の位置となるように選択するための方法または手段を含んでもよい。ビデオ符号化方法および装置はさらに、サブマクロブロックと、マクロブロックと、スライスと、フレームとフレームシーケンスとからなるグループのメンバである、ビデオビットストリームのセクション内の再同期点の位置を選択するための方法または手段を含んでもよい。ビデオ符号化方法および装置はさらに、マクロブロックの先頭である、ビデオビットストリームのセクション内の再同期点の位置を選択するための方法または手段を含んでもよい。
【００１４】
ビットストリームを復号するための情報は、近隣のビデオセクションに関する情報を含んでもよい。ビットストリームを復号するための情報は、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含んでもよい。ビットストリームを復号するための情報は、ビットストリームが再同期点に続く文脈に関する情報を含んでもよい。
【００１５】
ビデオ符号化方法および装置はさらに、インバンドアプリケーションメッセージ、ユーザ固有のプライベートデータメッセージ、補足の拡張情報メッセージおよびＭＰＥＧユーザデータメッセージのうちの１つであるデータメッセージ内の再同期点情報を符号化するための方法または装置を含んでもよい。ビットストリームを復号するための情報は、ビットストリームが再同期点に続く文脈に関する情報を含んでもよい。
【００１６】
別の態様では、復号方法および装置が、再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信し、受信されたビットストリームを復号するための方法または手段を含む。
【００１７】
さらなる態様では、ビデオ復号装置が、再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信するための受信機と、受信されたビットストリームを復号するための復号器とを含む。
【００１８】
上記では、この復号方法および装置はさらに、再同期点情報に基づいてビットストリーム内の再同期点の位置を突き止めるための方法または手段を含んでもよい。ビットストリームを復号するための情報は、再同期点の後に続くビットストリームが符号化される文脈に関する情報を含んでもよい。復号方法および装置はさらに、復号されたビットストリームの現在の文脈を再同期点情報に含まれる受信された文脈情報と比較し、その比較が現在の文脈と受信された文脈情報が同じでないと示す場合にはビットストリームの復号を中断し、再同期点でビットストリームの復号を再開するための方法または手段を含んでもよい。再同期点の位置は、サブマクロブロックと、マクロブロックと、スライスと、フレームとフレームシーケンスとからなるグループのメンバから選択されたビデオのセクション内にあってもよい。再同期点の位置は、マクロブロックの先頭であってもよい。
【００１９】
ビットストリームを復号するための情報は、ビデオの近隣のセクションに関連する情報を含んでもよい。ビットストリームを復号するための情報は、量子化パラメータと、空間予測モード識別子と、複数の非ゼロ係数とからなるグループのメンバを含んでもよい。
【００２０】
この復号方法および装置はさらに、帯域内アプリケーションメッセージと、ユーザ固有のプライベートデータメッセージと、補足の拡張情報メッセージと、ＭＰＥＧユーザデータメッセージとからなるグループのメンバであるデータメッセージ内の再同期点情報を受信する手段を含んでもよい。この復号方法および装置は、可変長符号を使用して符号化される再同期点情報を受信するための方法または手段をさらに含んでもよい。この復号方法および装置は、ビットストリームの誤りを検出し、ビットストリームの復号を中断し、突き止められた再同期点で復号を継続するための方法または手段をさらに含んでもよい。
【００２１】
別の態様では、マルチメディアデータ符号化方法および装置が、再同期点データを符号化し、再同期点データをマルチメディアストリームのスライスに挿入するための方法または手段を含む。この符号化方法および装置は、スライス内の再同期点の位置を選択するための方法または手段をさらに含んでもよく、挿入が、選択された位置に再同期点を挿入することを含む。選択するための方法および手段は、複数の候補位置についてレートゆがみコストを計算し、レートゆがみコストに基づいて少なくとも１つの候補位置を選択することを含んでもよい。再同期点は、マルチメディアデータの文脈情報を含んでもよい。
【００２２】
さらなる態様では、マルチメディアストリーム処理方法および装置が、マルチメディアストリームのスライス内の再同期点データを受信し、再同期点データに基づいてマルチメディアデータを復元するための方法または手段を含む。再同期点は、マルチメディアデータの文脈情報を含んでもよい。
【００２３】
上記の態様では、この方法および／または装置は、方法および装置の機能を実施するように構成されたコンピュータ読取り可能媒体および／またはプロセッサを使用して実装されてもよい。
【発明を実施するための最良の形態】
【００２４】
たとえばスライスなど、ビデオビットストリームのセクション内に改良型の再同期点を提供する方法および装置について述べる。符号器は、再同期点を突き止めるために使用される情報、ならびに再同期点の後に続くビットストリームを復号するために使用される情報を含む再同期点情報を提供してもよい。再同期点がビデオビットストリームのセクション内で突き止められるので、復号器は、セクション内の残りのデータを犠牲にせずに再同期点で再同期することができる。実施例が、ビデオ、オーディオ、またはビデオとオーディオの両方のデータに当てはまる。下記の説明では、諸実施形態についての完全な理解を提供するために、具体的な詳細が示される。しかし、諸実施形態は、これらの具体的な詳細なしに実施され得ることが当業者には理解されよう。たとえば、電気構成要素は、諸実施形態を不必要な詳細で不明瞭にしないためにブロック図で示されてもよい。他の場合では、こうした構成要素、他の構造および技術は、諸実施形態についてさらに説明するために詳細に示されてもよい。
【００２５】
諸実施形態は、流れ図（ｆｌｏｗｃｈａｒｔ、ｆｌｏｗ  ｄｉａｇｒａｍ）、構造図またはブロック図として示される、プロセスとして述べてもよいことにも留意されたい。流れ図は、操作を順次プロセスとして示し得るが、操作の多くは並列にまたは同時に実施することができ、またプロセスは繰り返すことができる。さらに、操作の順序は、並べ換えてもよい。プロセスは、その操作が完了されるときに終了する。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、その終了は、関数が呼出し関数または主関数に戻ることに対応する。
【００２６】
図１は、ストリーミングビデオ配信のための通信システムの一例を示す図である。システム１００は、符号器装置１０５と復号器装置１１０とを含む。符号器装置１０５はさらに、変換器／量子化器コンポーネント１１５と、エントロピー符号器コンポーネント１２０と、ＩＳ−ＲＳＰ位置決め器コンポーネント１２５と、メモリコンポーネント１３０と、プロセッサコンポーネント１３５と、通信コンポーネント１４０とを含む。プロセッサ１３５は、他のコンポーネントのプロセスを実施するためのコンピューティングプラットフォームを提供する。変換器／量子化器コンポーネント１１５は、ビデオデータを空間領域から別の領域に、たとえばＤＣＴ（ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ：離散コサイン変換）の場合の周波数領域などに変換する。変換されているデータは、実際のビデオデータが変換される、イントラ符号化されたデータとすることができ、あるいは動きベクトルおよび残余誤差が変換される、インター符号化されたデータであり得る。他のディジタル変換には、アダマール変換、ＤＷＴ（離散ウェーブレット変換：Ｄｉｓｃｒｅｔｅ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）、およびたとえばＨ．２６４で使用される整数変換が含まれる。
【００２７】
変換器／量子化器コンポーネント１１５は、変換された各係数を表すためのビット数を割り当てる。変換された係数の量子化は、マクロブロックごとに変更することができる。エントロピー符号器コンポーネント１２０は、文脈適応形可変長符号化（ＣＡＶＬＣ：ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ  ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）方式を使用して残余ブロックデータを符号化し、また他の可変長符号化ユニットは、Ｅｘｐ−Ｇｏｌｏｍｂ符号を使用して符号化される。残余ブロックデータは、予測と、符号化されている元のブロックピクセル情報との差である。スライス層の上で、構文エレメントが固定または可変長の２進コードとして符号化される。スライス層およびその下で、エレメントは、可変長コード（ＶＬＣ：ｖａｒｉａｂｌｅ−ｌｅｎｇｔｈ  ｃｏｄｅ）を使用して符号化される。Ｈ．２６４規格は、エントロピー符号化方式として文脈ベースの適応型２進算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）をもサポートする。ここに論じる例示的な方法は、ＣＡＶＬＣエントロピー符号化方式を扱っているが、類似の方法が、ＣＡＢＡＣエントロピー符号化で使用されることもできる。ＩＳ−ＲＳＰ位置決め器コンポーネント１２５は、ＩＳ−ＲＳＰとして使用することができるスライス内の１組のマクロブロック境界を識別するために使用される計算を実施する。ある方式では、レートゆがみコスト最適化解析が、ＩＳ−ＲＳＰにとって最良の位置を探索する際に実施される。メモリコンポーネント１３０は、符号化される生ビデオデータ、送信される符号化されたビデオデータ、または様々な符号器コンポーネントによる操作を受けている中間データなどの情報を格納するために使用される。
【００２８】
通信コンポーネント１４０、たとえば受信機は、符号化されるデータを外部のソース１４５から受信するために使用される回路および／または論理を含む。外部のソース１４５は、たとえば外部メモリ、インターネット、ライブビデオおよび／またはオーディオフィードとすることができ、データの受信は、有線および／または無線の通信を含んでもよい。通信コンポーネント１４０は、符号化されたデータをネットワーク１５０を介して送信する（Ｔｘ）ための回路および／または論理、たとえば送信機をも含む。ネットワーク１５０は、電話、ケーブル、光ファイバなどの有線システム、または無線システムの一部であってもよい。無線通信システムの場合には、ネットワーク１５０は、たとえば、符号分割多元接続（ＣＤＭＡ：ｃｏｄｅ  ｄｉｖｉｓｉｏｎ  ｍｕｌｔｉｐｌｅ  ａｃｃｅｓｓまたはＣＤＭＡ２０００）通信システムの一部を含むことができ、あるいは、このシステムは、周波数分割多元接続（ＦＤＭＡ：ｆｒｅｑｕｅｎｃｙ  ｄｉｖｉｓｉｏｎ  ｍｕｌｔｉｐｌｅ  ａｃｃｅｓｓ）システム、ＧＳＭ／ＧＰＲＳ（Ｇｅｎｅｒａｌ  Ｐａｃｋｅｔ  Ｒａｄｉｏ  Ｓｅｒｖｉｃｅ：汎用パケット無線サービス）／ＥＤＧＥ（ｅｎｈａｎｃｅｄ  ｄａｔａ  ＧＳＭ  ｅｎｖｉｒｏｎｍｅｎｔ：拡張データＧＳＭ環境）またはＴＥＴＲＡ（Ｔｅｒｒｅｓｔｒｉａｌ  Ｔｒｕｎｋｅｄ  Ｒａｄｉｏ：地上基盤無線）サービス産業向け移動電話技術などの時分割多元接続（ＴＤＭＡ：ｔｉｍｅ  ｄｉｖｉｓｉｏｎ  ｍｕｌｔｉｐｌｅ  ａｃｃｅｓｓ）、広帯域符号分割多元接続（ＷＣＤＭＡ：ｗｉｄｅｂａｎｄ  ｃｏｄｅ  ｄｉｖｉｓｉｏｎ  ｍｕｌｔｉｐｌｅ  ａｃｃｅｓｓ）、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、あるいは一般に技術の組合せを使用する任意の無線通信システムであってもよい。符号器装置１０５の１つまたは複数のエレメントは、省略され、再編成されかつ／または組み合わされてもよい。たとえば、プロセッサコンポーネント１３５は、符号器装置１０５の外部にあってもよい。
【００２９】
復号器装置１１０は、逆変換器／逆量子化器１５５と、エントロピー復号器コンポーネント１６０と、誤り回復コンポーネント１６５と、メモリコンポーネント１７０と、通信コンポーネント１７５と、プロセッサコンポーネント１８０とを含む符号器装置１０５に類似のコンポーネントを含む。復号器装置１１０は、ネットワーク１５０を介して、または外部記憶装置１８５から送信された、符号化されたデータを受信する。通信コンポーネント１７５は、符号化されたデータをネットワーク１５０と共に受信する（Ｒｘ）ために使用される回路および／または論理、たとえば受信機、ならびに符号化されたデータを外部記憶装置１８５から受信するための論理を含む。外部記憶装置１８５は、たとえば、外部ＲＡＭまたはＲＯＭ、あるいはリモートサーバであり得る。イントラ符号化されたデータはまず、エントロピー復号コンポーネント１６０によって復号される。エントロピー復号の後、データは、逆変換／逆量子化コンポーネント１５５によって逆量子化され逆変換され、表示コンポーネント１９０に表示することができる復号された画像がもたらされる。
【００３０】
インター符号化されたデータは、その予測元となった参照フレーム（または複数の参照フレーム）が復号された後に復号されてもよい。データは、エントロピー復号器コンポーネント１６０によって復号され、量子化され変換された残余誤差係数がもたらされる。残余誤差係数は、逆変換／逆量子化コンポーネント１５５によって逆量子化され逆変換され、復号された残余誤差がもたらされる。次いで、残余誤差は、受信された動きベクトル情報を使用して識別された参照フレーム（または複数の参照フレーム）からの最もよく一致するマクロブロック（または複数のマクロブロック）と組み合わされる。復号されたフレームは、表示コンポーネント１９０で表示され、外部記憶装置１８５内に格納され、またはプロセッサコンポーネント１８０の内部メモリ内に格納することができる。表示コンポーネント１９０は、表示画面を含めてビデオ表示ハードウェアおよび論理などの部品を含む、復号装置の統合された部分とすることができ、あるいはそれは外部の周辺機器であり得る。通信コンポーネント１７５は、復号されたフレームを外部記憶装置コンポーネント１８５または表示コンポーネント１９０に通信するために使用される論理をも含む。
【００３１】
エントロピー復号器コンポーネント１６０は、様々な構文および意味チェックを実施するための論理をも含む。構文および意味チェックは、複数の規則のうちのいずれかに違反する、損なわれたコードワードを識別するために使用される。ビットストリームが損なわれていると決定される場合、誤り回復コンポーネント１６５は、復号の継続を可能にするために、ビットストリーム内の次に最も近い、損なわれていないＩＳ−ＲＳＰを突き止める。ＩＳ−ＲＳＰ位置決め器コンポーネント１２５および誤り回復コンポーネント１６５によって実施されたプロセスの詳細について、以下で論じる。符号器装置１１０の１つまたは複数のエレメントは、省略され、再編成されかつ／または組み合わされてもよい。たとえば、プロセッサコンポーネント１８０は、符号器装置１０５の外部にあってもよい。
【００３２】
Ｈ．２６４の文脈適応形可変長符号化（ＣＡＶＬＣ）を導入すると、再同期の問題が複雑になる。Ｈ．２６４では、多くのシンボルがある文脈で符号化され、各シンボルの確率は、それが符号化される文脈、すなわちシンボルの前に何が処理されたかによって変化する。この文脈依存性のために、シンボルの損失によって同期の損失のリスクが生じるだけでなく、シンボルが符号化された文脈を決定する他のデータの損失によっても同期損失のリスクが生じることになる。したがって、ＣＡＶＬＣビットストリーム内に再同期点（ＩＳ−ＲＳＰ）を設けるために、復号器は、ビットストリーム内のどこを見るべきかについての位置を必要とし得るだけでなく、後続のシンボルが依存する文脈情報をも必要とし得る。
【００３３】
Ｈ．２６４文脈適応形可変長ビットストリーム内の再同期を可能にするにはＩＳ−ＲＳＰ内にどんな情報が必要であるかを示す一例について、次に論じる。図２は、１６×１６ピクセルマクロブロックおよび近隣の１６×１６マクロブロックの一例を示している。マクロブロック２００は、１６個の４×４ピクセルブロック２０１〜２１６を含んでいる。この例では、マクロブロック２００は、イントラ符号化されたマクロブロックであると仮定する。イントラ符号化されたマクロブロックとインター符号化されマクロブロックの文脈依存性は、それぞれ異なる。イントラ符号化されマクロブロック２００の文脈適応形符号化は、近隣のマクロブロック２２０および２３０のパラメータに依存する。マクロブロック２００の符号化および復号は、近隣の４つの４×４ピクセルブロック２２１〜２２４および近隣の４つの４×４ピクセルブロック２３１〜２３４内の非ゼロ係数（Ｙ、ＣｒおよびＣｂ係数）の数に依存する。マクロブロック２００の符号化および復号は、マクロブロック２２０の符号化のために使用された量子化パラメータ値に、また場合によってはブロック２２１〜２２４およびブロック２３１〜２３４のイントラ予測モードにも依存する。ブロック２００のＣＡＶＬＣ符号化されたシンボルを復号する間にマクロブロック２２０または２３０の文脈パラメータが失われる場合、デコーダは、さらなる復号を進めることができず、再同期が必要である。Ｈ．２６４では、再同期のためにＮＡＬＵ接頭符号を使用すると、マクロブロック２００を含むスライスの残りの部分が失われることがある。しかし、マクロブロック２００が再同期点である場合、復号は、以下に論じられるようにＩＳ−ＲＳＰが近隣のブロックに関する必要な文脈パラメータを含むので、マクロブロック２２０および２３０の状態に関係なく続行することができる。
【００３４】
再同期点は、ビデオビットストリームのセクション内の再同期点の位置を識別する情報を含む再同期点情報を符号化すること、および再同期点の後に続くビットストリームを復号するために使用される情報を符号化することによって形成されてもよい。
【００３５】
たとえば、マクロブロック２００を再同期点にするために、ＩＳ−ＲＳＰメッセージは、ＩＳ−ＲＳＰマーカ２４０を突き止め、したがってマクロブロック２００を突き止めるために復号器によって使用される情報を付けて符号化されることができる。堅牢な再同期点を提供するためにＩＳ−ＲＳＰメッセージは、復号器がマクロブロック２００を復号するのに必要な近隣ＭＢの情報（すなわちマクロブロック２００の復号に必要な依存性情報）、ならびにフレーム内のマクロブロックの位置に関する情報、およびビットストリーム内のマクロブロックの位置に関する情報を含んでもよい。
【００３６】
一例として、イントラ符号化されたマクロブロック２００がたとえばＨ．２６４で再同期点として使用されるために、ＩＳ−ＲＳＰパケットは、下記のＨ．２６４固有のパラメータを含んでいてもよい。
【００３７】
・ビットストリーム内のＩＳ−ＲＳＰマクロブロックの先頭の位置を提供するＭＢビットオフセット。
【００３８】
・ＩＳ−ＲＳＰマクロブロックの空間位置を識別するＭＢアドレスオフセットまたはインデックス。
【００３９】
・ＩＳ−ＲＳＰマクロブロックの上および左側の８つの８つの４×４ブロックの非ゼロ係数の数。
【００４０】
・ＩＳ−ＲＳＰマクロブロック上および左側の８つの４×４ブロックについてのイントラ予測モード（ＩＳ−ＲＳＰが、イントラ１６×１６モードで符号化されたマクロブロックを指す場合、この情報は省略され得る）。
【００４１】
・ＩＳ−ＲＳＰマクロブロックの左側のＭＢの量子化パラメータ（ＱＰ：ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ）値。
【００４２】
ただし、最後の３つのアイテムは、上記で論じられた文脈適応パラメータを識別する。
【００４３】
再同期点として使用されるインター符号化されたマクロブロックは、同じＭＢビットオフセットとＭＢアドレスオフセット情報とを有することができるが、近隣のマクロブロックまたは他の文脈適応依存性に関するそれぞれ異なる情報を有してもよい。インター符号化されたＭＢの文脈適応パラメータは、下記の情報を含む。
【００４４】
・近隣ＭＢのモード（上および下のマクロブロック）。
【００４５】
・近隣４×４ブロックの非ゼロ係数の数。
【００４６】
・近隣４×４ブロックの動きベクトルおよび参照画像インデックス。
【００４７】
ある実施例では、ＩＳ−ＲＳＰデータは、「ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ」補足拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）メッセージで送信され、それによって、Ｈ．２６４ビットストリームのコンプライアンスを維持してもよい。上記実施例はＨ．２６４規格に特有のものであるが、ＩＳ−ＲＳＰの基本原理は、ＭＰＥＧ−ｘおよびＨ．２６ｘなどの他のハイブリッドビデオ符号化規格に容易に適用することができる。これは、これらのすべての規格の構文が、Ｈ．２６４のＳＥＩメッセージやＭＰＥＧ−２のユーザデータなどのインバンドアプリケーション／ユーザ固有プライベートデータを運ぶための規定を何らかのやり方で定めているので当てはまる。ＩＳ−ＲＳＰデータは、符号化効率を向上させるために圧縮符号化技術を使用して符号化することもできる。たとえばＩＳ−ＲＳＰがフレーム内で空間的に互いの近くに位置する場合、ＩＳ−ＲＳＰデータは、符号化効率を向上させるために空間予測技術を使用して符号化され得る。
【００４８】
イントラスライス再同期点、すなわちＩＳ−ＲＳＰは、スライス以外のビデオセクションに拡張することができる。スライス、すなわちブロック群は、ＭＰＥＧ−ｘ規格において知られているように、Ｈ．２６４またはＭＰＥＧ−ｘビデオシーケンス階層の分割された多くのセクションのうちの１つである。Ｈ．２６４階層は、画像が１つまたは複数のスライスで構成されており、またスライスが１つまたは複数のマクロブロックで構成されている、１つまたは複数の画像（またはフレーム）で構成されるシーケンスを含む。マクロブロックは、様々なサイズのサブマクロブロックにさらに分割されてもよい。再同期点は、イントラシーケンス、イントラフレームならびにイントラスライスなど、分割されたビデオの任意のレベルの同期を可能にする情報を含んでもよい。たとえば、スライスヘッダ情報が損なわれる場合、損なわれたスライス上の再同期を可能にするＲＳＰは、このスライスヘッダ情報を必要とし、またＲＳＰは事実上、イントラフレームＲＳＰである。
【００４９】
ＩＳ−ＲＳＰは、莫大な量のオーバーヘッドデータを伴うのでマクロブロックごとに送信される必要はない。符号器装置は、ＩＳ−ＲＳＰを配置するところを知的に選択するために、下記に述べられるものなどのアルゴリズムを使用してもよい。後述のアルゴリズムは、誤り耐性を向上させながらオーバーヘッドを最小限に抑えるための方法の一例である。
【００５０】
再同期点は、符号化プロセスによって生成され、チャネルの障害に（後述のトレードオフ関係に基づいて可能な限り頻繁に）対処するために復号プロセスで使用できるようにされてもよい。また再同期点は、ビットストリーム内で一意に識別可能であり得る。さらに、それらの構造によって、ノイズに起因するエミュレーションに対して、また（統計学的な意味で）信頼できる検出を不可能にする程度にまでノイズにより変更されることに対してかなりのレベルの耐性がもたらされ得る。再同期点は、すべての予測子を、将来の空間および／または時間予測がＩＳ−ＲＳＰの前にマクロブロックを参照しないように制約を加える適切な省略値に初期化することによって、予測符号化の依存性の伝搬を止める働きをしてもよい。
【００５１】
イントラスライス再同期点の識別のための符号器プロセスの包括的で適切な設計は、１）チャネルモデル、２）アプリケーション固有の帯域幅および品質（ゆがみ）の制約、および３）フレームコンテンツを考慮に入れてもよい。
【００５２】
アプリケーションによっては、コンテンツ依存性が望ましいことがある。あり得る１つのアプリケーションでは、特定のスライスについてイントラスライス再同期点が不在であることを使用して、復号器に、そのスライスに誤りおよび結果のデータ損失が生じる場合には、復号器と符号器の両方に知られている適切な（空間または時間）隠蔽アルゴリズムが非常にうまく機能し得ることを示唆することができる。
【００５３】
コンテンツ適応性の形を組み込む例示的なＩＳ−ＲＳＰ符号化方式が、以下に提示される。この方式は、再同期点の位置を識別する符号器によって採用される一般的なフレームワークおよび原理を示すのに役立つこともできる。
【００５４】
図３は、ＩＳ−ＲＳＰの符号化のための例示的なプロセスの一例を示している。プロセス３００は、複数の候補位置から最適なまたはほぼ最適なＩＳ−ＲＳＰ位置を識別するための反復ループを含む。これによって、ＩＳ−ＲＳＰの位置を可変にまたは適応的に選択することが可能となる。この可変性または適応性によって、連続した再同期点が固定距離離れて配置され、たとえば１００個のマクロブロックごとに再同期点が存在する方法論にまさる利点がもたらされる。図１のＩＳ−ＲＳＰ位置決めコンポーネント１２５などの符号化手段は、プロセッサ１３５と共に、プロセス３００を実施することができる。符号器（またはセレクタ）は、ステップ３０５で、ＩＳ−ＲＳＰの候補位置を選択する。ＩＳ−ＲＳＰの候補位置を選択する方法の詳細について以下に論じる。たとえばレートゆがみコストなどの測定値が、ステップ３１０で計算される。以下に論じるレートゆがみコストなど、ステップ３１０で使用される測定値は、ＩＳ−ＲＳＰにより追加されるビット数と、予想された誤りによって引き起こされる潜在的なゆがみとの間のトレードオフ関係を測定する。候補位置についてのレートゆがみコストの比較が、ＩＳ−ＲＳＰ位置の選択３１５のために使用される。（コスト計算３１０に基づいて）選択された位置は、メモリに格納されてもよい。判断ブロック３２０は、テストされるさらなる候補位置があるかどうかテストし、さらなる候補が存在する場合にはステップ３０５、３１０および３１５を繰り返し、さらなる候補が存在しない場合には、ステップ３２５で、ＩＳ−ＲＳＰ情報を符号化することによってプロセス３００を終了する。プロセス３００の１つまたは複数のエレメントが省略され、再編成されかつ／または組み合わされてもよい。
【００５５】
図４は、誤り伝搬がＩＳ−ＲＳＰを使用することによって制御されるビデオフレームを示している。フレーム４００は、単一のスライスと、マクロブロック（図示せず）で構成された６個の行４２０ａ〜４２０ｆとで構成されたイントラ符号化フレームを表す。図３に示されるものなどの符号化プロセスは、フレーム４００内に多数のＩＳ−ＲＳＰ  ４０５を配置している。上記で論じ、図２に示したように、イントラ符号化された各マクロブロックの復号は、復号されるマクロブロックの左および上側の近隣マクロブロックに含まれる知識に依存する。フレーム４００内にＩＳ−ＲＳＰ  ４０５が含まれていないならば、誤り４１０は、誤りが生じた後に復号されたフレーム全体にわたって伝搬するであろう。復号器が次のスライス（次のＮＡＬＵ接頭符号）で再同期することを強いられるので、これによって、第２の行４２０ｂの大部分および行４２０ｃ〜４２０ｆのすべてが損失することになる。図示するようにＩＳ−ＲＳＰ  ４０５を配置することによって、誤り伝搬は、ＩＳ−ＲＳＰ  ４０５ｂの左および下側に位置するエリア４１５に限定される。再同期点、ＩＳ−ＲＳＰ  ４０５ｂの後、行４２０ｂでは、行の残りの部分は復号することができる。行４２０ｃでは、損なわれたマクロブロックより下のマクロブロックは、上の近隣マクロブロックに依存しているので、次の再同期点、ＩＳ−ＲＳＰ  ４０５ｃまで復元することができない。行４２０ｃ内のＩＳ−ＲＳＰ  ４０５ｃが行４２０ｂ内ＩＳ−ＲＳＰ  ４０５ｂの左に配置されているので、行４２０ｃ内の誤り４１５は、より早く抑えられる。これは、スライス再同期ＮＡＬＵによって提供されるものより遥かに望ましいゆがみの状態である。
【００５６】
図５は、候補ＩＳ−ＲＳＰ位置を識別するためのＩＳ−ＲＳＰ符号化方法の一例である。フレーム５００は、それぞれの行５０５がスライスを構成する、複数の行５０５で構成される。この例では、符号器は、マクロブロックの狭い領域内にスライス当たり２つのＩＳ−ＲＳＰを各々提供するものである。第１の領域は３つのマクロブロック位置５１０、５１５および５２０を含み、第２の領域は、３つのマクロブロック位置５２５、５３０および５３５を含む。図示するようにスライスの中心に位置する部分にスライスを配置することによって、誤り伝搬が減少されてもよい。
【００５７】
以下に提示されるレートゆがみ（Ｒ−Ｄ：ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ）最適化の問題は、下記の命名法、量および表記法を使用してもよい。ＩＳ−ＲＳＰの適切な位置を求めて最小化される量として以下の数式、  
【数１】
2008537373.tif 000003
【００５８】
によって与えられたＲ−Ｄコスト関数の一般的な（複合）式を仮定する。
【００５９】
ＲおよびＤは、特定の符号化モードの選択に関連するレート（ＩＳ−ＲＳＰの符号化に必要なビット数）およびゆがみ（復元誤差）をそれぞれ表し、またλは、特定のＲ−Ｄ最適化設定において確立されるレートとゆがみの間のトレードオフ関係を示すラグランジェ乗数である。したがって、コスト関数は、再同期点の符号化の追加コスト発生と、ゆがみ減少の削減とのトレードオフ関係を評価する。
【００６０】
ハイブリッドビデオ符号器で実施される標準のＲ−Ｄ最適化は、マクロブロック符号化モードの決定のために使用されるものである。これは一般に、再同期点によって課される制約がないものと仮定して多数のパラメータを有するベクトル量である。ｉ∈｛５１０，５１５，５２０｝またはｉ∈｛５２５，５３０，５３５｝として、位置ｉのすぐ右のマクロブロックについての符号器の標準Ｒ−Ｄ最適化公式化の解によって、レートおよびゆがみとしてそれぞれＲｓ，ｉおよびＤｓ，ｉがもたらされる。したがって、再同期点挿入がなく、またデータ損失がないと仮定して総コストは、以下の数式によって与えられる。  
【数２】
2008537373.tif 000004
【００６１】
信頼性の低いチャネルについては、数式２（データ損失がないと仮定）は、不適切であり、改訂されなければならない。適切ないずれの公式化もランダムなチャネル振舞いを明らかにしなければならず、したがって、総コストは、上記の数式［２］で計算されるような決定論的な量ではなく、予想される量（確率的平均）になり得る。
【００６２】
損失を認識したより現実的な解析は、標準Ｒ−Ｄ最適化問題への解決策を選択しながら、誤りによる予想コストを連想してもよい（すなわち、位置ｉで再同期点が挿入されないが、損失はあり得る）。誤っているスライスの確率が決定されることができ、ｐｅで表されると仮定する。スライスが誤っているときに、単一の点で、数ビットの範囲にわたって破損が生じているとも仮定する。これらの２つの仮定は実際、特にディジタル無線通信の場合のように、適切な（データ／シンボル）インターリービング技術を使用することによって非常に正確なものとなり得る。単純化の最後の部分として、スライスが誤っている場合、そのスライス内の正確な誤り位置は、マクロブロックユニットに関して一様に分散されると仮定する。より正確なモデルでは、そのスライス内の各マクロブロックの符号化された表現のサイズ（ビット数）も明らかになっているであろう。上記の仮定の下では、再同期点挿入が行われないことに関する、予想されるチャネル認識型総コストは、以下のように改訂することができる。  
【数３】
2008537373.tif 000005
【００６３】
ただし、数式［３］の新しく導入されたパラメータについては図６に示される。図６は、最良の候補ＩＳ−ＲＳＰ位置を識別するためのレートゆがみ解析で使用される誤り確率および関連したゆがみの一例を示している。条件付き確率ｐｉ（６１０）は、スライス内に誤りがある（ただしｐｅは、誤りのある確率である）ことを考慮して、位置「ｉ」（６０５）の前に誤りがある確率である。ＤＬ，ｂ（６２０）は、誤り６１５により将来挿入される候補の前に失われたスライスデータに関連するゆがみである。ＤＬ，ａは、将来の挿入される候補ＩＳ−ＲＳＰの後に失われるスライスデータに関連するゆがみである。
【００６４】
位置「ｉ」（６０５）について考慮された候補再同期点の後にスライスが損なわれる可能性があると、この候補再同期点を挿入することは、役に立たないので好ましくない。したがって、不公平なバイアスを回避するために、位置「ｉ」（６０５）の右で生じる、あり得る誤りによってもたらされるスライスデータ損失による数式［３］のゆがみ寄与が存在しない。
【００６５】
位置「ｉ」（６０５）にイントラスライス再同期点が存在することによって、誤り位置（６１０）と位置「ｉ」（６０５）の間に生じるスライスデータ損失は回避されない。したがって、候補再同期点の前に誤りがある場合には、スライスデータのこのセグメントの損失によってもたらされ得るゆがみＤＬ，ｂ（６２０）は確実である。したがって、ＤＬ，ｂ（６２０）は、「ｉ」（６０５）に再同期点を挿入するかどうかの選択肢を評価するために使用される予想総コスト関数に含まれる。
【００６６】
量ＤＬ，ａ（６２５）は、復号器に使用可能な適切な空間または時間隠蔽アルゴリズムの影響を減少させるゆがみを考慮に入れる。「隠蔽なし」と「完全な隠蔽」の２つの極端なケースを考慮することは興味深く有用であり、それについて以下に論じる。
【００６７】
望ましくは、量ＤＬ，ａ（６２５）は、その将来の使用に関して先見情報がある場合には、同じスライス内の後続のＩＳ−ＲＳＰの影響を減少させるゆがみをも反映する。
【００６８】
次のステップは、位置「ｉ」（６０５）にＩＳ−ＲＳＰを実際に挿入することに関連する、予想される「チャネル認識型」Ｒ−Ｄコストを、（ある実施例ではレートゆがみ計算器コンポーネントを使用して）計算することである。符号器は、再同期点のすぐ後に（すなわちその右側の）マクロブロックを処理している間、上記で論じたように同期の実現をサポートする符号化制約（たとえば、すべての予測子を適切な省略値に初期化すること）を守らなければならない。これらの制約の下で、符号器は、上記で論じた標準のＲ−Ｄ最適化問題に非常に類似した以下の式のＲ−Ｄ最適化問題を公式化し解決していると仮定する。  
【数４】
2008537373.tif 000006
【００６９】
数式［４］で、ＲＲ，ｉおよびＤＲ，ｉはそれぞれ、再同期点マクロブロックのために選択された制約付きの符号化モードに関連するレートおよびゆがみ（復元誤差）であり、またＲｏ，ｉは、ビットストリームに含まれる必要なオーバーヘッド情報（たとえば、ＳＥＩメッセージに含まれるＩＳ−ＲＳＰ情報）に関連するレートである。上記に論じたように、数式［４］のＲ−Ｄコスト表現はチャネル認識型ではなく、チャネル認識を取り入れるように以下のように修正することができる：  
【数５】
2008537373.tif 000007
【００７０】
復号が位置「ｉ」（６０５）で再開されてもよいので、ゆがみＤＬ，ａ（６２５）は、ゼロにセットすることができる。再同期点を位置「ｉ」に挿入させることに関連した、結果として生じる「チャネル認識型の」予想Ｒ−Ｄコストは、以下の数式によって与えられる。  
【数６】
2008537373.tif 000008
【００７１】
したがって、ＩＳ−ＲＳＰを配置するために適切なマクロブロック位置を識別するための全体的なアルゴリズムは、ＩＳ−ＲＳＰなしの場合について数式［３］で与えられたＲ−Ｄコスト（下記の数［７］を参照）を、ＩＳ−ＲＳＰを含む場合について定式［６］で与えられたＲ−Ｄコスト（下記の定式［８］を参照）と比較する。符号器は、以下の２つの量を計算してもよい。  
【数７】
2008537373.tif 000009
【００７２】
数式［７］および［８］は、図５の∀ｉ∈（５１０，５１５，５２０）または∀ｉ∈（５２５，５３０，５３５）を含むＩＳ−ＲＳＰ位置決めのためのすべての候補位置について計算されてもよい。これらの候補位置の少なくとも１つにおいて、不等式ＣＲＳＰ，ｉ＜ＣＮｏ＿ＲＳＰ，ｉが満たされる場合、符号器は、ＩＳ−ＲＳＰを挿入することを決定する。不等式ＣＲＳＰ，ｉ＜ＣＮｏ＿ＲＳＰ，ｉが２つ以上の候補位置で満たされる場合は、符号器は、（図３のステップ３１５で示されるように）選択を行わなければならず、それは、ＣＲＳＰ，ｉの最小値につながる位置を優先するものである。これは、左の隣接物からの水平予測が満足な性能を既に提供できておらず、したがって望ましくない垂直エッジなど、適切な画像特徴に再同期点が位置合わせされるときには、再同期点に関連する符号化制約の重要性が遥かに減少し得るので、あるレベルのコンテンツ適応性を可能にする。これらの状況では、ＲＲ，ｉおよびＤＲ，ｉは、それぞれＲＳ，ｉおよびＤＳ，ｉに値が非常に接近することがあり、十分な柔軟性を有する符号化のＲ−Ｄ性能利点が減少し、ゆがみ成分（ｐｅ．ｐｉ．ＤＬ，ａ）によるＣＲＳＰ，ｉとＣＮｏ＿ＲＳＰ，ｉとの差が広がり、それによってＩＳ−ＲＳＰ挿入の可能性が高まる。
【００７３】
ゆがみに関するかなり大きい問題を反映するアプリケーションおよび一致する符号器設計について考慮し、すなわちゼロから離れて有界であるλの値を仮定する場合、興味深い状況が生じる。また、チャネルについてのｐｅが無視できないと仮定する。復号器で「隠蔽が行われない」極端な場合では、総信号損失を表すゆがみ成分ＤＬ，ａは、非常に大きく、項（ｐｅ．ｐｉ．ＤＬ，ａ）を支配項にし、（数式［７］で与えられた）ＣＮｏ＿ＲＳＰ，ｉが（数式［８］で与えられた）ＣＲＳＰ，ｉより大きくなり、したがって再同期点挿入が示唆され得る。もう一方の極端な例では、（成功した隠蔽アルゴリズムおよび適切な画像コンテンツによってうまく近似される）「完全な隠蔽」を仮定すると、スライスデータ損失から生じるすべてのゆがみ成分（ＤＬ，＊）は、（それぞれ数式［７］および［８］からの）以下のコストを残して消え得る。  
【数８】
2008537373.tif 000010
【００７４】
ＩＳ＿ＲＳＰを識別するためのオーバーヘッド情報に割り当てられる必要がある追加のレートＲｏ，ｉ、ならびに再同期点によって課された制約の下で実行された符号化のやや最適な性能は、ＣＲＳＰ，ｉ＞ＣＮｏ＿ＲＳＰ，ｉにつながり、再同期点の使用の回避が示唆され得る。この２つの極端な場合の間にある他のケースについて、数式［７］および［８］は、イントラスライス再同期点を配置するために使用するための単純であるが有用なフレームワークを提供する。
【００７５】
図７は、ＩＳ−ＲＳＰを使用する復号器プロセスの一例を示す図である。プロセス７００は、図１の復号器装置１１０などの復号器手段によって実施することができる。まず復号器装置は、ステップ７０５で、上記の諸実施例で論じたようにＩＳ−ＲＳＰを付けて符号化された、符号化ビデオビットストリームを受信する。図１の通信コンポーネント１７５など受信手段は、行為７０５を実施することができる。復号器装置は、ビットストリームを符号化するために使用されたＨ．２６ｘおよびＭＰＥＧ−ｘなどの規格で概説された方法を使用して、ステップ７１０で、受信されたビットストリームを復号する。図１の逆変換／逆量子化コンポーネント１５５などの復号手段は、行為７１０を実施することができる。Ｈ．２６ｘおよびＭＰＥＧ−ｘ規格もまた、規格に準拠した符号器および復号器が従わなければならない意味および構文ガイドラインについて詳しく述べている。復号器は、ビットストリームが損なわれているかどうか認識するために、ステップ７１５で、復号された変数の値を意味および構文規則によって設定された値の範囲と比較する。図１のエントロピー復号コンポーネント１６０および誤り回復コンポーネント１６５などの比較手段は、ステップ７１５の意味および構文比較チェックを実施することができる。意味比較チェックは、それだけに限らないが、以下を含む。  
・ＮＡＬユニットヘッダバイト構文エレメント。  
・ＳＰＳ（シーケンスパラメータセット）構文エレメント。  
・ＰＰＳ（画像パラメータセット）構文エレメント。  
・スライスヘッダ構文エレメント。  
・スライスレベルアクセスユニットディスクリプタ。  
・復号されたマクロブロックの総数。  
・マクロブロックレベル構文エレメント。  
・使用可能性フラグ（文脈依存のやり方）。  
・復号の継続を可能にするビットストリームバッファ内の不十分なデータ。  
・現在のすなわちアクティブなＳＰＳ含意に対する、外部供給された参照フレームバッファ（サイズおよび数）。
【００７６】
構文の比較チェックは、ＣＡＶＬＣエントロピーコードワードの復号に関連する復号の失敗を含む。いずれかの意味または構文規則に違反し、あるいは誤ったビットがいずれかの他のやり方で検出される場合は、ステップ７２０は、これらの失敗を検出し、再同期を開始する。ステップ７２０で規則に違反していない場合は、ステップ７２５で、復号すべきさらなるデータがあるかどうかチェックする。図１の誤り回復コンポーネント１６５などの復号手段は、ステップ７２０および７２５の行為を実施する。さらなるデータが存在する場合は、データが存在しなくなるまでステップ７０５から７２５（および恐らく７３０）が継続され、プロセスは終了する。
【００７７】
誤ったビットが検出される場合は、再同期が実施される。再同期するために復号器は、ステップ７３０でビットストリーム内の損なわれていない次のＩＳ−ＲＳＰを突き止め、復号を再開し、突き止められた損なわれていない次のＩＳ−ＲＳＰから、ステップ７０５から７３０を繰り返す。図１の誤り回復コンポーネント１６５などの位置特定手段は、ステップ７３０の位置特定の行為を実施する。復号器は、ステップ７０５で、ビットストリーム内のＩＳ−ＲＳＰ情報を受信している可能性がある。ある実施例では、ＩＳ−ＲＳＰ情報は、Ｈ．２６４のＳＥＩメッセージやＭＰＥＧ２のユーザデータメッセージなど、インバンドアプリケーションメッセージまたはユーザ固有のプライベートデータメッセージ内に含まれ得る。このメッセージは、上記に論じたように、ビデオフレーム内のＩＳ−ＲＳＰマクロブロックの位置に関する情報、ならびにビットストリーム内のＩＳ−ＲＳＰの位置に関する情報を含む。このメッセージは、上記に論じたように、ＩＳ−ＲＳＰと識別されたマクロブロック位置で復号器が復号ステップ７１０を再開するのに必要なデータをも含む。プロセス７００の１つまたは複数のエレメントは、省略され、再編成されかつ／または組み合わされてもよい。
【００７８】
図８は、ＩＳ−ＲＳＰを使用する復号器プロセスの別の例を示す図である。プロセス８００は、図７のプロセス７００と類似のステップを含むが、図７に示すようにビットストリーム内の破損を検出し、次いでＩＳ−ＲＳＰを突き止めるのではなく、以前には検出されていない破損ビットストリームを識別するやり方で使用される。ステップ８０５、８１０および８２０は、図７のステップ７０５、７１０および７２５にそれぞれ類似する。ビットストリームの復号の間に、復号器は、ＩＳ−ＲＳＰ情報メッセージ内でＩＳ−ＲＳＰと識別される点に遭遇することがある。復号器は、ステップ８１５でこのようにＩＳ−ＲＳＰを突き止める場合は、現在のビットストリームの文脈を、ＩＳ−ＲＳＰメッセージに含まれた文脈情報と比較する８２５。文脈が一致しない場合は、意味および構文規則によって設定された値の範囲の比較チェック（図示せず）が、ビットストリーム内の現在のデータとＩＳ−ＲＳＰ内に含まれているデータの両方について実施される。復号器は、現在のビットストリームに含まれたデータ、およびＩＳ−ＲＳＰに含まれたデータの値を、意味および構文規則によって許容された値の範囲と比較することによって、現在のビットストリームおよび／またはＩＳ−ＲＳＰデータが損なわれているかどうか判断することができる。ステップ８３０でビットストリームが損なわれていると見られる場合は、復号器は、その現在の復号を中断し、ステップ８３５で、それがちょうど突き止めたＩＳ−ＲＳＰで復号を再開し、ステップ８０５へと続く。ビットストリームではなくＩＳ−ＲＳＰが損なわれていると決定される場合は、プロセスは、ステップ８０５で継続する。ビットストリームとＩＳ−ＲＳＰの両方が損なわれていると決定される場合は（図示せず）、次のＩＳ−ＲＳＰが突き止められることができ、プロセスは８０５で継続されてもよい。さらに、現在の文脈と、ＩＳ−ＲＳＰに含まれた文脈との文脈比較が一致を示す場合は、破損は識別されず、プロセスは、ステップ８０５で継続する。図１のエントロピー復号コンポーネント１６０および誤り回復コンポーネント１６５などの比較手段は、ステップ８２５の文脈ならびに／または意味および構文比較チェックを実施することができる。プロセス８００の１つまたは複数のエレメントは、省略され、再編成されかつ／または組み合わされてもよい。
【００７９】
上記で述べた諸実施例は、ＩＳ−ＲＳＰのために１６×１６ピクセルマクロブロックを使用している。他のブロックサイズもまた、上記で論じたＩＳ−ＲＳＰ方法のために使用され得ることが当業者には認識されよう。
【００８０】
図９は、ビデオ符号化のための１つの例示的な方法９００を示している。方法９００は、ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を符号化すること９１０、および符号化された再同期点情報を送信すること９２０を含む。図１０は、例示的なビデオ符号化装置１０００を示している。装置１０００は、ビデオビットストリームのセクション内の再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を符号化するように構成された符号化モジュール１０１０と、符号化された再同期点情報を送信するように構成された送信モジュール１０２０とを含む。
【００８１】
図１１は、１つの例示的なビデオデータ復号方法１１００を示している。方法１１００は、再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信すること１１１０、および受信されたビットストリームを復号すること１１２０を含む。図１２は、例示的なビデオ復号装置１２００を示している。装置１２００は、再同期点の位置を識別する情報と、再同期点の後に続くビットストリームを復号するための情報とを含む再同期点情報を含む符号化されたビットストリームを受信するように構成された受信機モジュール１２１０と、受信されたビットストリームを復号するように構成された復号モジュールとを含む。
【００８２】
図１３は、例示的なマルチメディアデータ符号化方法１３００を示している。方法１３００は、再同期点データを符号化すること１３１０、およびマルチメディアストリームのスライスに再同期点データを挿入すること１３２０を含む。この方法は、スライス内の再同期点の位置を選択することをさらに含んでもよく、挿入が、選択された位置に再同期点を挿入することを含む。選択は、複数の候補位置についてレートゆがみコストを計算すること、およびレートゆがみコストに基づいて少なくとも１つの候補位置を選択することを含んでもよい。図１４は、マルチメディアデータの符号化を実装するための例示的な装置１４００を示している。装置１４００は、再同期点データを符号化するように構成された符号化モジュール１４１０と、マルチメディアストリームのスライスに再同期点データを挿入するように構成された挿入モジュール１４２０とを含む。
【００８３】
図１５は、例示的なマルチメディアストリーム処理方法１５００を示している。方法１５００は、マルチメディアストリームのスライス内の再同期点データを受信すること１５１０、および再同期点データに基づいてマルチメディアデータを復元すること１５２０を含む。図１６は、例示的なマルチメディアストリーム処理装置１６００を示している。装置１６００は、マルチメディアストリームのスライス内の再同期点データを受信するように構成された受信モジュールと、再同期点データに基づいてマルチメディアデータを復元するように構成された復元モジュールとを含む。
【００８４】
上記で述べた諸実施例は、ビデオを一例として使用しているにすぎない。上記で述べた諸方法および装置は、オーディオ、グラフィックス、画像、テキストおよびその組合せを含めて、ストリーミングデータの他の形のために使用することもできる。
【００８５】
情報および信号は、様々な異なる技術および技法のいずれかを使用して表現してもよいことが当業者には理解されよう。たとえば、上記の説明全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボルおよびチップは、電圧、電流、電磁波、磁場または磁粒子、光場または光粒子、あるいはその組合せで表現されてもよい。
【００８６】
本明細書で開示した実施例に関連して述べた様々な例示的な論理ブロック、モジュール、およびアルゴリズムステップは、電子ハードウェア、コンピューターソフトウェアまたはその組合せとして実装されてもよいことが当業者にはさらに理解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路およびステップが、一般にその機能に関して上記で述べられている。こうした機能がハードウェアで実装されるか、それともソフトウェアで実装されるかは、システム全体に課された特定のアプリケーションおよび設計上の制約によって決まる。当業者は、特定の各アプリケーションについて様々なやり方で上記機能を実装してもよいが、こうした実装の決定は、開示された諸方法の範囲からの逸脱を生じさせるものと解釈すべきでない。
【００８７】
本明細書で開示された諸実施例に関連して述べた様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、または他のプログラマブル論理デバイス、個別のゲートまたはトランジスタ論理、個別のハードウェアコンポーネント、あるいは本明細書で述べた諸機能を実施するように設計されたその任意の組合せで実装されまたは実施されてもよい。汎用プロセッサはマイクロプロセッサとすることができるが、代替案ではプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラまたは状態マシンであってもよい。プロセッサは、コンピューティング装置の組合せ、たとえばＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと併せた１つまたは複数のマイクロプロセッサ、あるいは他のこうした任意の構成として実装されることもできる。
【００８８】
本明細書で開示された諸実施例に関連して述べた方法またはアルゴリズムの諸ステップは、ハードウェアで直接に、プロセッサによって実行されたソフトウェアモジュールで、あるいはその２つの組合せで実施されてもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭ、または当技術において知られている他の任意の形の記憶媒体に常駐してもよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出し、そこに情報を書き込むことができるようにプロセッサに結合される。代替案では、記憶媒体は、プロセッサの一部を構成し得る。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に常駐してもよい。ＡＳＩＣは、無線モデム内に常駐してもよい。代替案では、プロセッサおよび記憶媒体は、無線モデム内の個別部品として常駐してもよい。
【００８９】
開示された諸実施例についての前記説明は、開示された諸方法および装置を当業者が作成しまたは使用できるようにするために提供されている。これらの実施例への様々な修正が当業者には容易に明らかになり、本明細書で定められた諸原理は、開示された諸方法および装置の精神または範囲から逸脱せずに他の実施例に適用されてもよい。
【００９０】
したがって、復号器が再同期点を突き止め、再同期点の後に続くビットストリームを復号することを可能にするビデオビットストリームのセクション内の再同期点を提供する方法および装置について述べた。
【図面の簡単な説明】
【００９１】
【図１】図１は、ストリーミングビデオ配信のための通信システムの一例を示す図である。
【図２】図２は、１６×１６ピクセルマクロブロックおよび近隣の１６×１６マクロブロックの一例を示す図である。
【図３】図３は、ＩＳ−ＲＳＰを符号化するためのプロセスの一例を示す図である。
【図４】図４は、ＩＳ−ＲＳＰの使用によって誤り伝搬が抑えられるビデオフレームを示す図である。
【図５】図５は、最良の候補ＩＳ−ＲＳＰ位置を識別するためのＩＳ−ＲＳＰ符号化シナリオの一例を示す図である。
【図６】図６は、最良の候補ＩＳ−ＲＳＰ位置を識別するためのレートゆがみ解析で使用される誤りの確率および関連するゆがみの一例を示す図である。
【図７】図７は、ＩＳ−ＲＳＰを使用する復号器プロセスの一例を示す図である。
【図８】図８は、ＩＳ−ＲＳＰを使用する復号器プロセスの別の一例を示す図である。
【図９】図９は、例示的なＩＳ−ＲＳＰ符号化方法および装置を示す図である。
【図１０】図１０は、例示的なＩＳ−ＲＳＰ符号化方法および装置を示す図である。
【図１１】図１１は、例示的な復号方法および装置を示す図である。
【図１２】図１２は、例示的な復号方法および装置を示す図である。
【図１３】図１３は、例示的なＩＳ−ＲＳＰ符号化方法および装置を示す図である。
【図１４】図１４は、例示的なＩＳ−ＲＳＰ符号化方法および装置を示す図である。
【図１５】図１５は、例示的なマルチメディアストリーム処理方法および装置を示す図である。
【図１６】図１６は、例示的なマルチメディアストリーム処理方法および装置を示す図である。
【図１】
2008537373.tif 000011
【図２】
2008537373.tif 000012
【図３】
2008537373.tif 000013
【図４】
2008537373.tif 000014
【図５】
2008537373.tif 000015
【図６】
2008537373.tif 000016
【図７】
2008537373.tif 000017
【図８】
2008537373.tif 000018
【図９】
2008537373.tif 000019
【図１０】
2008537373.tif 000020
【図１１】
2008537373.tif 000021
【図１２】
2008537373.tif 000022
【図１３】
2008537373.tif 000023
【図１４】
2008537373.tif 000024
【図１５】
2008537373.tif 000025
【図１６】
2008537373.tif 000026
【国際調査報告】
2008537373.tif 000027
2008537373.tif 000028