(57)【要約】本発明は、エンコードされたデジタル像及びビデオに関して破壊されたコードストリームと、特に、改善されたエラー耐性特性を備えたＪＰＥＧ２０００コードストリームとを復号化するための方法を提供する。これらの復号化技術は、典型的には画像の様々な空間セクションの復号化を可能にするために、基礎画像からのデータが分割される、符号化アルゴリズムのクラスに適用する。また、複数の分割セット内の依存性と、場合によっては分割セット間の依存性とを管理する規則は既知である。破壊されたコードストリームは、以下の段階によって改善した画像品質を備えるように復号化される。その段階とは、基礎アルゴリズムによって課された分割を観察する段階２００、分割セット内のエラーを検知する段階２０２、これら分割内の依存性と、場合によっては分割間の依存性とを分析する段階２０４、この分割セット内のエラーに続くエンコードされたデータのどのセクションを回収できるかを決定する段階２０６、及びそれらのセクションを復号化する段階２０８である。たとえ特定の分割内にエラーがあったとしても、その分割の部分は、コードストリームの生成中に用いたあるモード即ち「スイッチ」によっては、まだ完全に又は部分的に復号化可能であるかもしれない。
2006506904.tif 000002
【特許請求の範囲】
【請求項１】
破壊されたコードストリームを復号化する方法であって、
基礎デジタル画像からのデータを分割セットに分割してエンコーダによってエンコードすると共に、前記分割セット内の前記データの依存性を管理する規則が既知である復号化方法であり、
前記エンコーダによって課された複数の分割を観察する段階と、
分割セット内のエラーを検知する段階と、
前記分割セット内の前記依存性を分析する段階と、
前記分割セット内の前記エラーに続くエンコードされたデータのどのセクションを回収できるかを決定する段階と、
前記分割セット内のエンコードされた画像データの前記セクションを復号化する段階とを含む、復号化方法。
【請求項２】
前記デジタル画像の様々な空間セクションの符号化を可能にするように、或いは非静止の送信元（原語：non-stationary
sources）に対してより効率的な圧縮を可能にするように、前記データを分割する、請求項１に記載の方法。
【請求項３】
エンコード中に設定されたあるスイッチの状態に従って前記依存性を分析する、請求項１に記載の方法。
【請求項４】
前記スイッチの前記状態と前記エラーの発生とに従って、回収可能なデータを決定する、請求項３に記載の方法。
【請求項５】
前記スイッチの前記状態に基づいて、前記エラーがどのように前記コードストリーム内を伝播するかを決定する段階と、
前記エラーによって影響されない前記コードストリームのセクションを復号化する段階とを更に含む、請求項４に記載の方法。
【請求項６】
前記コードストリームに内の前記エラーの位置に関する外部情報が利用不可能である、請求項５に記載の方法。
【請求項７】
外部エラー検知が、データセクション内にあるエラーの位置に関する情報を提供する、請求項５に記載の方法。
【請求項８】
ＪＰＥＧ２０００コードストリーム内で前記デジタル画像をエンコードする、請求項１に記載の方法。
【請求項９】
ＪＰＥＧ２０００コードストリームを含んでいるファイルフォーマットでデジタル画像のシーケンスをエンコードする、請求項８に記載の方法。
【請求項１０】
前記ファイルフォーマットがモーションＪＰＥＧ２０００である、請求項９に記載の方法。
【請求項１１】
前記規則が更に分割セット間の依存性を管理すると共に、依存する分割セット内のどのデータを回収できるかを、前記分割セット内の前記エラーの発生に基づいて決定する段階を更に含む、請求項１に記載の方法。
【請求項１２】
破壊されたＪＰＥＧ２０００コードストリームを復号化する方法であって、基礎デジタル画像からのデータを分割セットに分割してＪＰＥＧ２０００エンコーダによって有意性伝播、有意区別、及び一掃パスにエンコードすると共に、分割セット内の依存性を管理する規則が既知である復号化方法であり、
前記ＪＰＥＧ２０００エンコーダによって課された任意の分割を観察する段階と、
分割セット内のエラーを検知する段階と、
エラーがどのように前記有意性伝播、有意区別、及び一掃パスの間で前記コードストリーム内を伝播するかを決定するために、RESETスイッチの状態及びBYPASSスイッチの状態に従って前記分割セット内の前記依存性を分析する段階と、
前記分割セット内の前記エラーに続くエンコードされた画像データのどのセクションを回収できるかを決定する段階と、
前記分割セット内のエンコードされた画像データの前記セクションを復号化する段階とを含む、復号化方法。
【請求項１３】
前記分割セットがコードブロックである、請求項１２に記載の方法。
【請求項１４】
前記データをパケットによって与えられた分割セットに更に分割すると共に、前記規則が更に分割セット間の依存性を管理し、どの依存する分割セットを完全に又は部分的に回収できるかを、前記分割セット内の前記エラーの発生に基づいて決定する段階を更に含む、請求項１３に記載の方法。
【請求項１５】
外部エラー検知が、前記コードストリーム内の前記エラーの位置に関する情報を提供する、請求項１２に記載の方法。
【請求項１６】
以下の段階によって、前記依存性を分析すると共に、エンコードされたデータの回収可能なセクションを決定する方法であって、
所与のコードブロックの任意の有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の破壊されていない部分に従って、次の有意区別パス１個の部分を復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の有意区別符号化パスを全て破棄する段階と、他の２種類の符号化パスを復号化する段階と、
所与のコードブロックの前記一掃パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て廃棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、次の有意性伝播パス１個及び次の一掃パス１個を部分的に復号化する段階と、次の有意区別パス１個を完全に復号化する段階と、もう１個の有意区別パスを部分的に復号化する段階と、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、次の有意性伝播パスの部分及び次の有意区別パスの部分を復号化する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、それ以降の全ての符号化パスの部分を復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、それ以降の全ての符号化パスの部分を復号化する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、もう１個の有意区別パスを完全に復号化する段階と、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、残りの符号化パスの部分を復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、それ以降の全ての符号化パスの部分を復号化する段階とによって、分析及び決定を行う、請求項１５に記載の方法。
【請求項１７】
前記コードストリーム内の前記エラーの位置に関する外部情報が利用不可能である、請求項１２に記載の方法。
【請求項１８】
以下の段階に従って、前記依存性を分析すると共に、エンコードされたデータの回収可能なセクションを決定する方法であって、
所与のコードブロックの任意の有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の有意区別符号化パスを全て破棄する段階と、他の２種類の符号化パスを復号化する段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て廃棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、それ以降の有意性伝播及び一掃パスを全て破棄する段階と、次の有意区別パスを復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、今後の有意性伝播及び一掃パスを破棄する段階と、もう１個の有意区別パスを復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階とに従って、分析及び決定を行う、請求項１７に記載の方法。
【請求項１９】
前記規則が、前記依存性を管理するCAUSALスイッチを更に含む、請求項１２に記載の方法。
【請求項２０】
破壊されたＪＰＥＧ２０００コードストリームを復号化する方法であって、エラーの位置に関する外部情報が利用不可能であると共に、基礎デジタル像からのデータを分割セットに分割して有意性伝播、有意区別、及び一掃パスにエンコードすると共に、前記分割セット内の依存性及び前記分割セット間の依存性を管理する規則がRESET及びBYPASSスイッチの状態によって定義されると共に、以下の段階を含む復号化方法であり、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の有意区別符号化パスを全て破棄する段階と、他の２種類の符号化パスを復号化する段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て廃棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、それ以降の有意性伝播及び一掃パスを全て破棄する段階と、次の有意区別パスを復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、今後の有意性伝播及び一掃パスを破棄する段階と、もう１個の有意区別パスを復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、それ以降の符号化パスを全て破棄する段階とを含む、復号化方法。
【請求項２１】
前記規則が、前記依存性を管理するCAUSALスイッチを更に含む、請求項２０に記載の方法。
【請求項２２】
破壊されたＪＰＥＧ２０００コードストリームを復号化する方法であって、
エラーの位置に関する外部情報が利用可能であると共に、基礎デジタル像からのデータを分割セットに分割して有意性伝播、有意区別、及び一掃パスにエンコードすると共に、前記分割セット内の依存性及び前記分割セット間の依存性を管理する規則がRESET及びBYPASSスイッチの状態によって定義されると共に、以下の段階を含む復号化方法であり、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、次の有意区別パス１個の部分を復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の有意区別符号化パスを全て破棄する段階と、他の２種類の符号化パスを復号化する段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝偽、BYPASS＝偽である場合には、前記コードブロック内において、それ以降の符号化パスの全てを廃棄する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、次の有意性伝播パス１個及び次の一掃パス１個を部分的に復号化する段階と、次の有意区別パス１個を完全に復号化する段階と、もう１個の有意区別パスを部分的に復号化する段階と、それ以降の符号化パスを全て破棄する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝偽、BYPASS＝真である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、次の有意性伝播パスの部分及び次の有意区別パスの部分を復号化する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、それ以降の全ての符号化パスの部分を復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝偽である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、それ以降の全ての符号化パスの部分を復号化する段階と、
所与のコードブロックの前記有意性伝播パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、もう１個の有意区別パスを完全に復号化する段階と、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、残りの符号化パスの部分を復号化する段階と、
所与のコードブロックの前記有意区別パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、現在及び全ての今後の符号化パスを復号化し続ける段階と、
所与のコードブロックの任意の一掃パス内でエラーが起き、RESET＝真、BYPASS＝真である場合には、前記コードブロック内において、κｓｉｇ及びσ［ｊ］の前記破壊されていない部分に従って、それ以降の全ての符号化パスの部分を復号化する段階とを含む復号化方法。
【請求項２３】
前記規則が、前記依存性を管理するCAUSALスイッチを更に含む、請求項２２に記載の方法。
【請求項２４】
画像データを伝送する方法であって、
RESTARTスイッチが可能状態になっているＪＰＥＧ２０００互換エンコーダを用いて、前記画像データをＪＰＥＧ２０００コードストリームへエンコードする段階と、
エラーに影響されやすい通信路上で前記ＪＰＥＧ２０００コードストリームを伝送する段階と、
１つのＪＰＥＧ２０００デコーダを用いて、破壊されたコードストリームを復号化する段階とを含む、伝送方法であり、前記ＪＰＥＧ２０００デコーダが、前記ＪＰＥＧ２０００エンコーダによって課された分割を観察し、有意性伝播、有意区別、及び一掃パスの間で前記コードストリーム内をエラーがどのように伝播するかを決定するために、前記RESET及びBYPASSスイッチの状態に従って前記分割セット内の依存性を分析し、
エラーが起きる場合には、前記分割セット内の前記エラーに続くエンコードされた画像データのどのセクションを回収できるかを決定し、
前記セクションを復号化するように構成されている、伝送方法。
【請求項２５】
前記ＪＰＥＧ２０００コードストリームが複数のパケットを含むと共に、
サーバーに前記パケットを格納する段階と、
エンドユーザの要求に応じて、前記エンドユーザ要求を満たすためにのみ必要な前記コードストリームの追加パケットを抽出する段階と、
エラーに影響されやすい前記通信路上で前記パケットを伝送する段階と、
破壊されたパケットを復号化する段階とを更に含む、請求項２４に記載の方法。
【請求項２６】
ＪＰＥＧ２０００コードストリーム形式のコンテンツを生成するために用いられる、１つ又は複数のＪＰＥＧ２０００互換画像エンコーダと
各画像の任意のＪＰＥＧ２０００コードストリームを格納するサーバーと、
エラーに影響されやすい通信路を含んでいる配布ネットワークと、
ＪＰＥＧ２０００デコーダを備えた１台又は複数の表示装置とを含む、ＪＰＥＧ２０００画像処理システムであって、前記ＪＰＥＧ２０００デコーダが、
前記ＪＰＥＧ２０００エンコーダによって課された分割を観察し、有意性伝播、有意区別、及び一掃パスの間で前記コードストリーム内をエラーがどのように伝播するかを決定するために、RESET及びBYPASSスイッチの状態に従って分割セット内の依存性を分析し、エラーが起きる場合には、前記分割セット内の前記エラーに続くエンコードされた画像データのどのセクションを回収できるかを決定し、前記セクションを復号化するように構成されている、ＪＰＥＧ２０００画像処理システム。
【請求項２７】
前記デコーダが、第２次市場のダウンロード可能なプラグ・インによって上述のように構成されている、請求項２６に記載のシステム。
【請求項２８】
ＪＰＥＧ２０００エンコーダによって課された前記分割を観察し、前記有意性伝播、有意区別、及び一掃パスの間で前記コードストリーム内をエラーがどのように伝播するかを決定するために、前記RESET及びBYPASSスイッチの前記状態に従って前記分割セット内の前記依存性を分析し、エラーが起きる場合には、前記分割セット内の前記エラーに続くエンコードされた画像データのどのセクションを回収できるかを決定し、それらのセクションを復号化するように構成されているＪＰＥＧ２０００デコーダを含む、表示装置。
【請求項２９】
前記デコーダが、分割セット間の前記依存性を分析すると共に、エラーが起きる場合には、どの依存する分割セットを回収できるかを決定する、請求項２８に記載の表示装置。
【発明の詳細な説明】
【関連出願への引用】
【０００１】
本願は、２００２年１１月１５日付けで提出された「破壊されたＪＰＥＧ２０００コードストリームを復号化する方法」という名称の米国特許暫定出願第６０／４２６，８３号に対して３５Ｕ．Ｓ．Ｃ．１１９（ｅ）の下での優先権の利益を主張し、その全体を参照して本明細書に援用する。
【背景技術】
【０００２】
技術分野
本発明は、画像符号化のエラー耐性特性に関し、詳細にはＪＰＥＧ２０００画像符号化アルゴリズムに関し、より具体的にはデジタル画像、ＪＰＥＧ２０００画像及び画像ビデオシーケンスにおけるエラー耐性性能を改善する方法に関する。
【０００３】
関連技術の説明
デジタル像を利用するアプリケーションが発展し続けるにつれて、作成・処理されたデジタル像の量は急速に増加している。この増加に拍車を掛ける重要な技術の内の１つは画像圧縮である。画像ではデータ量がかなり大きくなりえるので、圧縮せずに画像を伝送したり格納したりすることはまずない。画像圧縮では、所望レベルの品質を保ちつつ、できる限り少数ビットで画像を表わすことを目標とする。圧縮を用いることで、画像の伝送に必要なチャンネル帯域幅或いは格納要件を減少できる。
【０００４】
おそらく、最も成功した画像圧縮標準は、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）との合同委員会によって開発されたＪＰＥＧ（写真専門家合同委員会）標準であろう。この委員会からの最新の標準は、ＪＰＥＧ２０００と呼ばれる。ＩＳＯ／ＩＥＣ  １５４４４−１：２００４年「ＪＰＥＧ２０００画像符号化システム」、或いはＤ．Ｓ．タウブマン及びＭ．Ｗ．マーセリンのＪＰＥＧ２０００：画像圧縮基本、実施方法及び標準（クルーワー・アカデミック出版社、ボストン市、２００２年）、或いはＭ．Ｊ．ゴーミッシュ、Ａ．ビルゲン及びＭ．Ｐ．ボーリエックの「ＪＰＥＧ−２０００の概観」（２０００年３月ユタ州スノーバード市でのデータ圧縮会議、５２３乃至５４１ページ）を参照されたい。本明細書全体に用いた表記法及び用語は、タウブマン及びマーセリンの本にならって作成した。
【０００５】
モーションＪＰＥＧ２０００は、ビデオを扱うためのＪＰＥＧ２０００標準の一部である。モーションＪＰＥＧ２０００はそれ自体、ＪＰＥＧ２０００画像、オーディオ、タイミング情報及びメタデータの、１つ又は複数のモーションシーケンスを含んでいる、ファイルフォーマットを定義する。モーションＪＰＥＧ２０００は、フレーム間符号化を使用しない。ＪＰＥＧ２０００を用いて、このビデオシーケンスの各画像を符号化する。他のビデオフォーマットを用いて、ＪＰＥＧ２０００画像のシーケンスを扱ってもよい。
【０００６】
ＪＰＥＧ２０００で最小の幾何学構造は「コードブロック」である。コードブロックは、画像コンポーネントのウェーブレット変換からの係数のサブバンドを分割することで形成される。特定の解像度のコードブロックを集めて「プリシンクト」を形成する。ビットプレーン符号器を用いて、個々に各コードブロックを圧縮する。このビットプレーン符号器は、１つのコードブロックの各ビットプレーン上に３つのパスを作成する。これらのパスを「符号化パス」と呼ぶ。各コードブロックからの圧縮データは、組み込んだコードブロック・ビットストリームと見なすことができる。その後、任意の所望の基準に基づいて、個々それぞれのコードブロック・ビットストリームから異なる数の符号化パスを含むように、ＪＰＥＧ２０００コードストリームを生成する。
【０００７】
エラー耐性
コンテキストベースの算術ビットプレーン符号器を使用して、ＪＰＥＧ２０００でのエントロピー符号化を達成する。使用したこの特定の算術符号器をＭＱ符号器と呼ぶ。この符号器の動作は、システムの状態に大きく依存する。また、エンコーダとデコーダとの間の同期を維持することは重要である。このビットストリームの算術符号化したセグメント内のシングルビットエラーが、この同期を壊すことがあり、また、誤った解凍を引き起こす可能性がある。この問題を解決するために、ＪＰＥＧ２０００内に幾つかのエラー耐性ツールが提供されている。
【０００８】
コードストリームを異なる分割セットに分割することは、防御の第一線である。エラー耐性に関しては、この分割は、１つの分割セット内で起きたエラーをこの分割セット内に隔離することと、分割セット境界を渡るエラー伝播（原語：propagation）を防ぐこととを目標とする。コードストリームを階層的方法で組織するので、この隔離は幾つかのレベルで生じる。具体的には、エラーは、一般に、タイル境界、プリシンクト境界、及び／又はコードブロック境界にわたって伝播する必要がない。これらの境界を渡る伝播を避けるためには、エラー検知及び再同期を行わねばならない。ＪＰＥＧ２０００は、全てのパケットからパケットヘッダを抽出可能で且つタイル部分ヘッダ或いはそのメインヘッダに格納可能なメカニズムを提供する。これは、「パックしたパケットヘッダ」と呼ばれる。これらメイン及びタイル部分ヘッダを可逆的な方法で伝送できれば、パックしたパケットヘッダは、エラー耐性に関して著しい利点をもたらすことができる。これらパケットヘッダが、そのパケット内にある全ての符号化パスの、バイト単位による長さ情報を含んでいるので、デコーダは、この情報を利用してエラーを隔離できる。
【０００９】
ＪＰＥＧ２０００のエラー検知及び再同期メカニズムのうちの幾つかは、モードスイッチによって可能な状態になる。コーデックのデフォルトモードに対するこれらの選択肢は、圧縮効率の多少の低下と引き換えに、機能を追加できる。これらのモードスイッチは、表１に示されるが、これら全てがエラー耐性を強化するように意図されているわけではない。
【００１０】
【表１】
2006506904.tif 000003
【００１１】
このRESETモードを用いる場合には、これらのコンテキスト状態を各符号化パスの終わりでそれらの初期値にリセットする。このRESETスイッチが指定されていなければ、各コードブロックの第１符号化パスに先立ってのみこの初期化が起きる。このモードは圧縮効率を少し低下させるが、並行処理アプリケーションにおいて有用である。
【００１２】
このRESTARTスイッチによって、各符号化パスの初めでＭＱ符号器が再開する。従って、このモードを利用する場合には、全ての符号化パスは、それ自身のＭＱ符号語セグメントを備えている。これらのセグメントの各々の長さをそのパケットヘッダにおいて信号で示す。従って、このモードは、圧縮効率を低下させ、オーバーヘッドの時間を増加させる。しかしながら、このRESTARTモードは、デコーダのデータ回復能力を増加させるので、エラー耐性に非常に有用である。
【００１３】
このBYPASSモードの目標は、圧縮効率の損失を少なくしつつ、複雑さを大幅に減らすことである。このモードを選択している場合には、第１（有意性（原語：significance）伝播）符号化パス及び第２（有意区別（原語：magnitude
refinement）符号化パスの間でＭＱ符号器をバイパスする。このモードは、各コードブロックの第１０符号化パスの後でのみ作動する。第１０符号化パスの後では、初めの２つの符号化パスからの記号が、殆どの画像に対して大きく歪んでいる確率（原語：highly
skewed probabilities）を示さないので、このモードでは、圧縮効率がかなり低下するようなことは通常ない。このＭＱ符号器をバイパスする場合には、未変換（原語：raw）セグメントにバイナリ記号を格納する。これら未変換セグメントの内部の区切りマーカーコードの出現を避けるために、単純なビットスタッフィング手続きを採用する。未変換セグメントをビットストリーム内に挿入するためには、以前にＭＱ符号化したセグメントを終了させる必要がある。これら未変換セグメントは、あるＭＱセグメント（一掃（原語：clean-up）符号化パス）の開始に先立って同様に終了する必要がある。同様にRESTARTモードを選択していれば、各符号化パスの終わりで終了が起こる。全ての終了したセグメントの長さ情報は、関連パケットヘッダ内において信号で示されるはずである。
【００１４】
この標準によって定義される別のモードとしては、SEGMARKモードがある。このモードが使用可能となっていれば、各ビットプレーンの終わりに４つの記号コード（「１０１０」）が挿入される。ビットエラーがどの符号化パス内にあってもこれらの記号の少なくとも１つを破壊しうるので、デコーダは、エラーが起きたことを検知でき、誤った符号化パスを廃棄できる。
【００１５】
この標準は、エンコーダによる採用が必要な特定の符号語終了方針を定義しない。一般に、エンコーダは、正確な復号化が可能であれば如何なる方法でも制限なく用いて符号語を終了してよい。しかしながら、ERTERMモードを利用する場合には、このエンコーダは、各ＭＱ及び／又は未変換の符号語セグメントに対して予測可能な終了方針を採用する。従って、デコーダは、エラーが特定の符号化パス内で起きたことを検知できる。
【００１６】
この標準は、符号化パスの並行処理を可能にするためにCAUSALモードを定義している。このCAUSALモードを利用する場合には、コンテキスト形成処理を僅かに修正する。CAUSALモードでは、現在の４つのサンプルを持つ縞の中にあるサンプルは、今後の縞の値に依存せずにエンコードされる。従って、コンテキストを形成する場合には、今後の縞からの全てのサンプルを非有意なものとして扱う。
【００１７】
特定の符号化パス内でエラーを検知した場合には、ＪＰＥＧ２０００コードストリームを使った現在の実施方法は、コードブロックに関して現在及び今後の符号化パスを廃棄することである。上述のように、ＭＳＢからＬＳＢまで開始して、各コードブロックのビットプレーンを圧縮する。各コードブロックに関して３つの符号化パスを実行する。デコーダが特定の符号化パス内のエラーを検知すれば、初期の符号化パスから復元したビットプレーンが維持され、また、現在のコードブロックに属する、現在及び今後の符号化パスが廃棄される。他のコードブロックが影響されることはない。これによって、このコードブロックにより影響を受けた領域に関して、この復元された画像の品質が低くなってしまう。この実施方法が全ての既存のソフトウェア実装に採用している。これらの実装には、２００１年のＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１  Ｎ２１６５の「ＪＰＥＧ２０００検証モデル９．１（技術的説明）」、Ｄ．タウブマンの「Ｋａｋａｄｕ：ＪＰＥＧ２０００開発者のための包括的で極度に最適化された完全準拠のソフトウェアツールキット」（kakadusoftware.comのウェブサイトを参照）、Ｍ．Ｄ．アダムズの「ＪａｓＰｅｒ」（www.ece.ubc.ca/~mdadams/jasperにて入手可能）、及び「ＪＪ２０００：ジャバで書かれたＪＰＥＧ２０００標準の実装」（ハイパーテキスト伝送プロトコルhttp://jj2000.epfl.ch）が含まれる。また、このアプローチの代案は、文献には一つも無い。
【００１８】
発明の概要
上記の問題に鑑みて、本発明は、エンコードされたデジタル像／ビデオを表す破壊されたコードストリームと、特に、改善されたエラー耐性特性を備えたＪＰＥＧ２０００コードストリームとを復号化する復号化技術を提供する。
【００１９】
これらの復号化技術は、データ内の既知の依存性を取り入れるようにして基礎画像を符号化するＪＰＥＧ２０００といった符号化アルゴリズムのクラスに適用する。これらの依存性を例えば有限の空間領域に制限するために、データをｎ個の分割セットに分割する。ｎ＝１でありうることは、全てのデータを含む１個の分割セットに一致する。ある分割セット内でエラーが起きる場合には、このエラーに続くその分割セット内の残りのデータの幾つかを回収するか、全てを回収するか、或いは全く回収しないかは、各分割セット内の依存性によって決定する。更に、ある分割セット内でエラーが起きる場合には、分割セット間の依存性によって、他の依存するセット内のデータを回収するか否かを決定する。
【００２０】
破壊されたコードストリームは、以下の段階によって改善した画像品質を備えるよう復号化される。その段階とは、分割セット内のエラーを検知する段階、これら分割セット内の依存性と、場合によっては分割セット間の依存性とを分析する段階、エラーが起きる場合にデータのどのセクションを回収できるかを決定する段階、及びそれらのセクションを復号化する段階である。利用可能であれば、エラーの位置に関する外部情報を使用する。これは、以下の観察に基づいて達成される。その観察とは、たとえ特定の分割セット内にエラーがあるかもしれなくても、そのセット（及び他の依存セット）の部分が、（時として）コードストリームの生成中に用いたあるモード即ち「スイッチ」によっては、まだ完全に又は部分的に復号化可能であるかもしれないという観察である。
【００２１】
ＪＰＥＧ２０００では、圧縮したコードストリームを多くのレベルで分割する。最初にこのコードストリームをタイルストリームに分割する。タイルストリームをパケットに分割し、また、パケットは、様々なコードブロックからの符号化パスを含んでいる。エントロピー符号化を各コードブロックにおいて独立して実行する。この符号化をビットプレーンのコンテキスト依存型バイナリ算術符号化として実行する。コードブロックの各ビットプレーンに亘って３つのパスを実行し、また、各コードブロックに関して個別のビットストリームを生成する。所与のビットをどのパスにて符号化するかについての決定は、そのビットの位置の有意性と周囲の位置の有意性とに基づいて行われる。これらのパスをそれぞれ「有意性伝播パス」、「有意区別パス」、及び「一掃パス」と名づける。これらの復号化技術は、たとえ初期の符号化パス内にエラーがあったとしても、幾つかの（或いは全ての）今後の符号化パスが、コードストリームの生成中に用いたあるモードスイッチ（RESET、BYPASS及びCAUSAL）によっては、また、エラーの位置に関して外部情報が利用可能であるか否かによっては、まだ完全に又は部分的に復号化可能であるかもしれないという観察に基づいている。たとえ復号化可能かもしれない今後の符号化パスが、同じコードブロックから来ていても、それらの符号化パスを多数のパケット間で分割できる。エラーがコードストリーム内で起きる場合には、デコーダは、これらのスイッチの状態に基づいて、このエラーがどのようにコードストリーム内を伝播するかを慎重に決定する。このエラーによって影響されないコードストリームのセクションを廃棄するのではなく復号化する。
【００２２】
本発明のこれらの及び他の特徴及び利点は、以下の好適な実施形態の詳細な説明を添付した図面と合わせて考慮すれば当業者に明白になるはずである。
【発明を実施するための最良の形態】
【００２３】
本発明は、エンコードされたデジタル像及びビデオシーケンスに対して破壊されたコードストリームと、特に、改善されたエラー耐性特性を備えたＪＰＥＧ２０００コードストリームとを復号化する復号化技術を提供する。モーションＪＰＥＧ２０００ファイルフォーマットの使用に関わらず、画像がビデオシーケンスの一部である場合には、本発明が適用可能なことは明白である。
【００２４】
これらの復号化技術は、データ内の既知の依存性を取り入れるようにして基礎画像を符号化するＪＰＥＧ２０００といった符号化アルゴリズムのクラスに適用する。これらの依存性を例えば有限の空間領域に制限するために、データをｎ個の分割セットに分割する。ｎ＝１という可能性は、全てのデータを含む１個の分割セットに対応する。データは、リテラルの画像画素でなくてもよいが、画素のなんらかの処理によって、例えば、量子化したウェーブレット係数によって、データを得てもよい。ある分割セット内でエラーが起きる場合には、このエラーに続くその分割セット内の残りのデータの幾つかを回収するか、全てを回収するか、或いは全く回収しないかは、各分割セット内の依存性によって決定する。更に、ある分割セット内でエラーが起きる場合には、分割セット間の依存性によって、他の依存するセット内のデータを回収するか否かを決定する。
【００２５】
図１ａに示すように、破壊されたコードストリームは、以下の段階によって改善した画像品質を備えるように復号化される。その段階とは、基礎アルゴリズムによって課された分割を観察する段階（２００）、分割セット内のエラーを検知する段階（２０２）、これら分割セット内の依存性と、場合によっては分割セット間の依存性とを分析する段階（２０４）、エラーが起きる場合にデータのどのセクションを回収できるかを決定する段階（２０６）、及びそれらのセクションを復号化する段階（２０８）である。利用可能であれば、エラーの位置に関する外部情報を使用する。これは、以下の観察に基づいて達成される。その観察とは、たとえ特定の分割セット内にエラーがあったしても、そのセット（或いは他の依存セット）の部分が、コードストリームの生成中に用いたあるモード即ち「スイッチ」に（場合によっては）によって、まだ完全に又は部分的に復号化可能であるかもしれないという観察である。たとえ（完全に又は部分的に復号化可能な）セクションが、ある分割セット内にある第１エラーの後に生じても、このことが当てはまる。実際に、復号化可能なセクションが、エラーが起きる分割セットに依存した別の分割セット内に存在する場合でさえも当てはまる。このケースは、例えば、コードブロックからの符号化パスを多数のパケットの間で更に分割する場合に関連する。
【００２６】
ＪＰＥＧ２０００を参照して、以下にこの復号化技術について詳細に説明する。しかし、本明細書に記載した原理を適用する対象としては、基礎データが依存的様態で符号化され且つこの依存性を管理する法則が既知である、静止及びビデオ画像両方に用いる他の圧縮アルゴリズムがあることは理解されるはずである。その一例としては、モーションＪＰＥＧ２０００がある。
【００２７】
上述のように、ＪＰＥＧ２０００では、エントロピー符号化を各コードブロックにおいて独立して実行する。この符号化をビットプレーンのコンテキスト依存型バイナリ算術符号化として実行する。図２で示すように、最も有意なビットプレーン６８から最も非有意なビットプレーン７０までコードブロックの各ビットプレーンに亘って３つのパスを実行し、また、各コードブロックに関して個別のビットストリームを生成する。所与のビットをどのパスにて符号化するかについての決定は、そのビットの位置の有意性と周囲の位置の有意性とに基づいて行われる。これらのパスをそれぞれ「有意性伝播パス７２」、「有意区別パス７３」、及び「一掃パス７４」と名づける。
【００２８】
これらの復号化技術は、たとえ初期の符号化パス内にエラーがあったとしても、コードストリームの生成時に用いられた特定のモードによっては、幾つかの（或いは全ての）今後の符号化パスがまだ完全に又は部分的に復号化可能であるかもしれないという観察に基づいている。効果を上げるためには、分割データ内の依存性と、おそらく分割データ間の依存性とを管理する規則が既知でなければならない。具体的には、ＪＰＥＧ２０００画像用の図１ｂに示すように、破壊されたコードストリームは、以下の段階によって復号化される。その段階とは、ＪＰＥＧ２０００アルゴリズムによって課された分割を観察する段階（２１０）、特定の符号化パス内のエラーを検知する段階（２１２）、BYPASS、RESET及びCAUSALスイッチ２１４、２１６及び２１８の状態によって定義されるような符号化パス内の依存性を分析する段階（ステップ２２０）、エラーが起きる場合にデータのどのセクションを回収できるかを決定する段階（２２２）、及びそれらのセクションを復号化する段階（２２４）である。ＪＰＥＧ２０００では、分割セットは、タイル、コンポーネント、タイルコンポーネント、タイル部分、プリシンクト、パケット、或いはコードブロックであってもよい。下記の特定のケースでは、コードブロックによって与えられた分割セット内で依存性を分析する。コードブロックからの符号化パスが多数のパケットに亘って更に分割される場合には、パケットによって与えられた分割セット間で依存性を分析する。
【００２９】
様々なシナリオの下でコードブロック・ビットストリームの様々な部分を回復できる。復号化中にエラーの位置に関する外部情報を利用できる。伝送に先立ってＪＰＥＧ２０００コードストリームに適用されるチャンネルコードからこうした情報を収集できる。例えばインターネットといったパケット交換ネットワークに関しては、この情報をネットワーク層から容易に入手できる。特に重要性が高いのは、符号化パス内にある第１エラーの位置である。この情報が利用可能であれば、現在及び今後の符号化パスの部分的な解凍が可能である。
【００３０】
外部エラー検知を利用できない場合
エラーの位置に関する外部情報が利用不可能である場合には、ＪＰＥＧ２０００の内部メカニズムを用いてエラー検知を実行する。個々の符号化パスを識別可能で且つデコーダでコードブロック・ビットストリームを個々の符号化パスに解析可能なエンコーダで、RESTART及びERTERMのスイッチが設定されていると仮定する。
【００３１】
RESET及びBYPASSスイッチがエンコーダでコードストリームを作成するように設定されたか否かによって決定される、４つの異なるシナリオを検討されたい。これら４つのケースの各々に関して、有意性伝播、有意区別及び一掃パス内で別々に起きたエラーを検討されたい。添付した図面に示すように、廃棄の必要なビットストリームの部分に平行斜線の陰影を付ける。以下のラベルを用いて、異なる符号化パスを示す。そのラベルとは、有意性伝播：１、有意区別：２、一掃：３である。これによって、個々に分析する１２個の異なるケースができあがる。
【００３２】
「RESET＝偽、BYPASS＝偽、有意性伝播内のエラー」のケース。有意性伝播パス７８内にエラー７６がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。従って、それ以降の符号化パスの何れも復号化できない（図３を参照）。全てのビットプレーンに関し、３つの符号化パスを実行し、そしてどの符号化パスにおいて特定ビットを符号化するかの決定を、そのビットの有意性状態σ［ｊ］とその周囲のビットの有意性状態とに基づいて行う。符号化を開始する前に有意性情報を０に初期化して符号化中に更新するので、有意性情報内の単一のエラーは、今後の符号化パス全てに伝播する。一旦この有意性情報が破壊されると、ビットプレーン内のサンプルを処理する（原語：visited）順序は破壊される。このエラーは今後の符号化パス全てに伝播し、それらの何れも復号化できない。
【００３３】
「RESET＝偽、BYPASS＝偽、有意区別内のエラー」のケース。有意区別パス８２内にエラー８０がある場合には、κｓｉｇは破壊されないが、有意区別パスに関して算術符号化で用いた状態情報は破壊される。従って、それ以降の有意区別符号化パスは全て廃棄されるはずである。しかしながら、他の２種類の符号化パスは復号化できる。図５を参照。
【００３４】
「RESET＝偽、BYPASS＝偽、一掃内のエラー」のケース。有意性伝播パスに類似して、一掃パス８６内にエラー８４がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。従って、それ以降の符号化パスは全て廃棄されるはずである。図８を参照。
【００３５】
「RESET＝偽、BYPASS＝真、有意性伝播内のエラー」のケース。有意性伝播パス９０内にエラー８８がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。今後の有意性伝播及び一掃パスを復号化できないが、バイパス・オプションが算術符号化をオフにするので、もう１個の有意区別パスを使用できる。図４を参照。
【００３６】
「RESET＝偽、BYPASS＝真、有意区別内のエラー」のケース。算術符号化を利用せずに、これらのビットを未変換のまま格納するので、有意区別パス９４内のビットエラー９２は、単一のサンプルに影響するのみである（制限されたマーカーコードの生成を避けるためにバイトスタッフィングを用いる必要がある場合は除く）。従って、デコーダは、現在及び全ての今後の符号化パスを復号化し続けるはずである。図６を参照。
【００３７】
「RESET＝偽、BYPASS＝真、一掃内のエラー」のケース。一掃パス８６内にエラー８４がある場合には、κｓｉｇ及びσ［ｊ］は破壊され、それ以降の符号化パスは全て廃棄されるはずである。図８を参照。
【００３８】
「RESET＝真、BYPASS＝偽、有意性伝播内のエラー」のケース。有意性伝播パス７８内にエラー７６があり、κｓｉｇ及びσ［ｊ］が破壊され、算術符号化を利用する場合には、それ以降の符号化パスは全て廃棄されるはずである。図３を参照。
【００３９】
「RESET＝真、BYPASS＝偽、有意区別内のエラー」のケース。有意区別パス９８内のエラー９６は、κｍａｇを破壊する。有意性伝播パスも一掃パスもκｍａｇに依存しないので、こうしたパスを全て復号化できる。更に、このリセットスイッチが次の有意区別符号化パス１個に対してκｍａｇを再初期化するので、今後の有意区別符号化パス全てを同様に復号化できる。図７を参照。
【００４０】
「RESET＝真、BYPASS＝偽、一掃内のエラー」のケース。一掃パス８６内にエラー８４がある場合には、κｓｉｇ及びσ［ｊ］は破壊されて、それ以降の符号化パスは全て廃棄されるはずである。図８を参照。
【００４１】
「RESET＝真、BYPASS＝真、有意性伝播内のエラー」のケース。有意性伝播パス９０内にエラー８８がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。今後の有意性伝播及び一掃パスを復号化できないが、バイパス・オプションが算術符号化をオフにするので、もう１個の有意区別パスを使用できる。図４を参照。
【００４２】
「RESET＝真、BYPASS＝真、有意区別内のエラー」のケース。算術符号化を利用せずに、これらのビットを未変換のまま格納するので、有意区別パス９４内のビットエラー９２は、単一のサンプルに影響するのみである（制限されたマーカーコードの生成を避けるためにバイトスタッフィングを用いる必要がある場合を除く）。従って、デコーダは、現在及び全ての今後の符号化パスを復号化し続けるはずである。図６を参照。
【００４３】
「RESET＝真、BYPASS＝真、一掃内のエラー」のケース。一掃パス８６内にエラー８４がある場合には、κｓｉｇ及びσ［ｊ］は破壊され、それ以降の符号化パスは全て廃棄されるはずである。図８を参照。
【００４４】
外部エラー検知を利用できる場合
エラー検知用の外部メカニズムが利用可能である場合には、エラーの位置に関する情報を利用して、ＪＰＥＧ２０００の性能を改善できる。エラーを検知するために使用できるメカニズムが幾つかある。パケット交換ネットワークでは、データをネットワーク・パケットに分けて伝送する。デコーダでは、幾つかのパケットが、渋滞によりこのネットワークによって落とされたため、利用不可能かもしれない。このシナリオでは、このデコーダは、そのコードストリーム内のエラーの正確な位置を識別可能となる。同様に、エラー訂正を符号化する技術を用いて、伝送エラーからこのコードストリームを保護すれば、このエラー訂正デコーダを用いて、このコードストリーム内のエラーの位置を推定できる。このＪＰＥＧ２０００コードストリーム自体の中でエラー位置を見つけるために、外部メカニズムを開発してもよい。一般に、この外部メカニズムは、その検知メカニズムがこのコードストリームの外部か内部に存在するかについて、このコードストリーム内のエラーの位置に関する追加情報を提供している。
【００４５】
符号化パス内にある第１エラーの位置は特に重要である。この位置を把握しているか推定できれば、この符号化パスの、エラーの無いセクションを解凍できる。ここでは、これを「部分復号化」と呼ぶ。更に、現在の符号化パスの、エラーの無い部分にのみ依存する、今後の符号化パスのセクションも解凍できる。
【００４６】
前の項目に類似して、部分復号化は、このコードストリームを作成するために使用するスイッチに依存している。RESETスイッチ及びBYPASSスイッチに加えて、CAUSALスイッチもこの場合には重要な役割を果たす。RESTARTスイッチ及びERTERMスイッチは、全てのコードストリームに対して設定されていると仮定する。最初に、部分復号化に対するRESETスイッチ及びBYPASSスイッチの影響を分析する。その後、部分復号化に対するCAUSALスイッチの影響を分析する。
【００４７】
「RESET＝偽、BYPASS＝偽、有意性伝播内のエラー」のケース。有意性伝播パス１０２内にエラー１００がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。今後の符号化パスの何れも完全には復号化できないが、もう１個の有意区別パスを部分的に復号化できる。この復号化できる有意区別パスの部分は、κｓｉｇ及びσ［ｊ］の破壊されていない部分によって決定される。図９を参照。
【００４８】
「RESET＝偽、BYPASS＝偽、有意区別内のエラー」のケース。有意区別パス１０６内にエラー１０４がある場合には、κｓｉｇは破壊されないが、有意区別パスに関して算術符号化で用いた状態情報は破壊される。従って、それ以降の有意区別符号化パスは全て廃棄されるはずである。しかしながら、他の２種類の符号化パスは完全に復号化できる。図１３を参照。
【００４９】
「RESET＝偽、BYPASS＝偽、一掃内のエラー」のケース。一掃パス１１０内にエラー１０８がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。従って、それ以降の符号化パスは全て廃棄されるはずである。図１６を参照。
【００５０】
「RESET＝偽、BYPASS＝真、有意性伝播内のエラー」のケース。有意性伝播パス１１４内にエラー１１２がある場合には、σ［ｊ］は破壊される。今後の有意性伝播及び一掃パスの何れも完全に復号化できないが、もう１個の有意区別パスを完全に復号化できる。更に、一掃パス、有意性伝播パス、及び有意区別パスの各々もう１個は、部分的に復号化できる。図１０を参照。
【００５１】
「RESET＝偽、BYPASS＝真、有意区別内のエラー」のケース。算術符号化を利用せずに、これらのビットを未変換のまま格納するので、有意区別パス１１８内のビットエラー１１６は、単一のサンプルに影響するのみである（制限されたマーカーコードの生成を避けるためにバイトスタッフィングを用いる必要がある場合を除く）。従って、デコーダは、現在及び全ての今後の符号化パスを復号化し続けるはずである。図１４を参照。
【００５２】
「RESET＝偽、BYPASS＝真、一掃内のエラー」のケース。一掃パス１２２内にエラー１２０がある場合には、κｓｉｇ及びσ［ｊ］は破壊されるが、もう１個の有意性伝播及び有意区別を部分的に復号化できる。図１７を参照。
【００５３】
「RESET＝真、BYPASS＝偽、有意性伝播内のエラー」のケース。有意性伝播パス１２６内にエラー１２４がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。しかしながら、全ての符号化パスに対して算術符号化状態をリセットするので、それ以降の符号化パスを全て部分的に復号化することは可能である。図１０を参照。
【００５４】
「RESET＝真、BYPASS＝偽、有意区別内のエラー」のケース。有意区別パス１３０内のエラー１２８は、κｍａｇを破壊する。有意性伝播パスも一掃パスもκｍａｇに依存しないので、こうしたパスを全て復号化できる。更に、このリセットスイッチが次の有意区別符号化パス１個に対してκｍａｇを再初期化するので、今後の有意区別符号化パス全てを同様に復号化できる。図１５を参照。
【００５５】
「RESET＝真、BYPASS＝偽、一掃内のエラー」のケース。一掃パス１３４内にエラー１３２がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。しかしながら、全ての符号化パスに対して算術符号化状態をリセットするので、それ以降の符号化パスを全て部分的に復号化することは可能である。図１８を参照。
【００５６】
「RESET＝真、BYPASS＝真、有意性伝播内のエラー」のケース。有意性伝播パス１３８内にエラー１３６がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。もう１個の有意区別パスを完全に復号化でき、残りのパス全てを部分的に復号化できる。図１２を参照。
【００５７】
「RESET＝真、BYPASS＝真、有意区別内のエラー」のケース。算術符号化を利用せずに、これらのビットを未変換のまま格納するので、有意区別パス１１８内のビットエラー１１６は、単一のサンプルに影響するのみである（制限されたマーカーコードの生成を避けるためにバイトスタッフィングを用いる必要がある場合を除く）。従って、デコーダは、現在及び全ての今後の符号化パスを復号化し続けるはずである。図１４を参照。
【００５８】
「RESET＝真、BYPASS＝真、一掃内のエラー」のケース。一掃パス１３４内にエラー１３２がある場合には、κｓｉｇ及びσ［ｊ］は破壊される。しかしながら、全ての符号化パスに対して算術符号化状態をリセットされるので、それ以降の符号化パスを全て部分的に復号化することは可能である。図１８を参照。
【００５９】
上記のケース全てにおいて、回収できる符号化パスの部分は、ある符号化パスから別の符号化パスまでエラーがどのように伝播するかに依存する。この伝播は、符号化中にサンプルを処理する順序に依存する。更に、エラー伝播は、CAUSAL＝真、或いはCAUSAL＝偽を使用してコードストリームを作成したか否かにも依存する。CAUSALスイッチをオンにする場合には、コンテキスト・ラベルを形成する時には、今後の縞の中にあるサンプルは非有意なものとして扱われる。これはエラー伝播に影響する。従って、エラーが起きる時には、CAUSAL＝真の場合のエラー伝播は、CAUSAL＝偽の場合に対してはるかに遅い。このエラー伝播の詳細な分析を通じて、デコーダは、今後の符号化パスに回収できるサンプルを全て識別する。CAUSAL＝真１４０及びCAUSAL＝偽１４２に関する例は、それぞれ、有意性伝播パス内のエラー位置１４１及び１４３を用いて、図９に対応するケースに関して、図１９（CAUSAL＝真）及び図２０（CAUSAL＝偽）に示す。回収できるサンプルは、白抜きの円で示され、また、廃棄すべきサンプルは、平行斜線の陰影を付けた円で示される。幾つかのケースでは、回収できるサンプルが、図１９及び図２０に示したサンプルのような単純な分割に従わないかもしれない。しかしながら、リストを使用して、これらのサンプルを追跡できる。
【００６０】
実験結果
このセクションでは、様々なエラー条件下でＪＰＥＧ２０００のエラー耐性を検討する。全てのシミュレーションにおいて、メインヘッダ及びタイルヘッダをエラーから保護し、ＰＰＭマーカーを利用した。各シミュレーションを１０００回行った。２つの方法の性能を比較する。第１の方法は、Ｋａｋａｄｕ（ＫＤＵ）において実装されている公知の方法である。この方法では、デコーダは、ＪＰＥＧ２０００の内部エラー検知メカニズムに依存する。一旦符号化パス内でエラーを検知すると、現在のコードブロックからの残りの符号化パスを全て廃棄する。第２の方法（ＣＣＰ）は、本明細書に記載した復号化技術を取り入れている。一旦デコーダが外部手段によってコードブロック・コードストリーム内の初期エラーを識別すると、第１エラーを含んでいるバイトまで復号化を実行する。その後、デコーダは、残りの符号化パスのどれを復号化できるか識別するために分析を実行する。
【００６１】
異なるモードを用いるＫＤＵ及びＣＣＰの性能を２及び３にそれぞれ示す。これらの表は、２元対称通信路（ＢＳＣ）上のＫＤＵ及びＣＣＰの平均ピーク信号対雑音比（ＰＳＮＲ）性能をビット誤り率（ＢＥＲ）＝１０−４を用いて表す。表３の結果は、ＣＣＰ復号化技術の利用によってエラー耐性における著しい改善を提供できることを示す。
【００６２】
【表２】
2006506904.tif 000004
【００６３】
【表３】
2006506904.tif 000005
【００６４】
これらの利得を更に分析するために、図２１に示したプロット１４４を検討されたい。この図では、レナ画像を使用して、このＢＳＣ通信路上の１．０ビット／画素でＢＥＲ  １０−４を用いてＫＤＵの方法とＣＣＰの方法とを比較する。これらのシミュレーションでは、BYPASS、RESET、RESTART、CAUSAL、及びERTERMモードを用いてＪＰＥＧ２０００コードストリームを生成した。このプロットは、ＫＤＵの代わりにＣＣＰを使用して得たＰＳＮＲ利得の分布を示す。このプロットのＸ軸はＰＳＮＲを（ｄＢ単位で）示し、Ｙ軸は実現（原語：realizations）の累積比率を示す。これらのシミュレーションでのＣＣＰによって８．６ｄＢもの利得が提供されたことがこのプロットから推論できる。更に、ＣＣＰは、これらのケースの約２０％で２．７ｄＢ以上の利得をもたらした。
【００６５】
ＪＰＥＧ２０００画像処理システム
ＪＰＥＧ−２０００が提供するものは、最先端技術の低ビットレートの圧縮性能、品質，解像度，コンポーネント，或いは空間位置関係によるプログレッシブ伝送、不可逆と可逆圧縮、ビットストリームへの任意アクセス、パンとズーム、回転と切り落とし、プログレッションによる重視領域の符号化、及び制限メモリの実装である。更に、単一のＪＰＥＧ２０００コードストリームは、様々な表示装置を同時に用いて有線及び無線の通信ネットワーク上で、多くの様々なユーザにこれらの特徴の全てを提供できる。様々な無線の表示装置にハードウェア又はソフトウェアによって本発明を組み入れることで、ユーザが見る画像品質を高める。
【００６６】
図２２に示すように、例えばカメラ又はスキャナといった多くの様々な送信元１５２は、画像データをＪＰＥＧ２０００シンタックスに圧縮する多種多様なＪＰＥＧ２０００互換エンコーダ１５４を用いて、画像コンテンツ１５０を世界中に提供できる。エンコードの唯一の必要条件は、RESTART及びERTERMスイッチが、ノイズの多い通信路用にエンコードするように設定されていなければならないことである。これは、ファイルサイズを２、３パーセント増加させるが、破壊された通信路上で画像を配布するために必要である。更に、コンテンツ・プロバイダーは、RESET、BYPASS及びCAUSALスイッチの状態を決定する。上述のように、復号化技術は、復号化された画像の品質を改善するために、これらのスイッチの状態を利用し、幾つかのケースでは、通信路エラーの発生に関する情報を利用する。
【００６７】
図示したように、エンコードされた画像を集中型サーバー１５６に伝送して格納する。このサーバーは、特定の画像に対する１つ又は複数の要求を受信し、ユーザの要求とユーザのディスプレイの詳細とに基づいて、画像（ＪＰＥＧ２０００コードストリームのパケット）のどの部分を送るべきかを決定し、有線及び／又は無線の通信ネットワーク１５８上で一人又は複数のユーザへそのデータを伝送する。ユーザが経験するレイテンシは、このネットワークの帯域幅に依存するが、ＪＰＥＧ２０００のプログレッシブ伝送機能がもたらす効果的な圧縮のために、典型的にはせいぜい数秒である。中央サーバーにアーカイバルがないユーザに、エンコードされた画像データを直接配布できることに注目されたい。
【００６８】
本発明を実装するハードウェア及び／又はソフトウェアは、有線と無線との両方の多種多様な表示装置１６０でデコーダに存在し、これら表示装置は、破壊されている可能性のある通信路経由でＪＰＥＧ２０００コードストリームを受信する。典型的な表示装置１６０には、コンピュータモニタ、ラップトップコンピュータ、携帯電話、例えばパームといった手持ち型ディスプレイ、電子ブック、個人用ＧＰＳシステム、プリンタ、プロジェクタ、及び監視システム・ディスプレイが含まれる。本発明は、ＪＰＥＧ２０００デコーダチップ内に、又はそのデコーダチップと共に、直接含めてもよく、或いは、ソフトウェアデコーダ又はブラウザーの一部として提供してもよく、或いは、ソフトウェア・プラグ・インとしてダウンロードしてもよい。ユーザ又は表示装置が被る犠牲は、画像データの復号化に必要な計算数が少し増加することである。この犠牲は、画像品質の向上によって十分すぎるほど埋め合わせ可能である。
【００６９】
本発明の幾つかの例示的な実施形態を示し説明してきたが、多数の変更及び代替実施形態が当業者に思い浮かぶはずである。こうした変更及び代替実施形態は考慮されており、また、添付した特許請求の範囲中で定義されるような本発明の精神及び範囲から逸脱することなく可能である。
【図面の簡単な説明】
【００７０】
【図１】（Ａ）破壊されたデータを復号化するための本発明による復号化技術のフローチャートである。  （Ｂ）破壊されたデータを復号化するための本発明による復号化技術のフローチャートである。
【図２】コードブロック・ビットストリームである。
【図３】本発明による、外部エラー検知を利用できない場合の符号化パス依存性を示す。
【図４】本発明による、外部エラー検知を利用できない場合の符号化パス依存性を示す。
【図５】本発明による、外部エラー検知を利用できない場合の符号化パス依存性を示す。
【図６】本発明による、外部エラー検知を利用できない場合の符号化パス依存性を示す。
【図７】本発明による、外部エラー検知を利用できない場合の符号化パス依存性を示す。
【図８】本発明による、外部エラー検知を利用できない場合の符号化パス依存性を示す。
【図９】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１０】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１１】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１２】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１３】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１４】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１５】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１６】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１７】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１８】本発明による、外部エラー検知を利用できる場合の符号化パス依存性を示す。
【図１９】回収できるサンプルを示す例である。
【図２０】回収できるサンプルを示す例である。
【図２１】ＫＤＵ上のＣＣＰによって提供されるＰＳＮＲ利得の分布図である。
【図２２】ＪＰＥＧ−２０００画像処理及び配布システムのブロック図である。
【図２３】
2006506904.tif 000006
【図２４】
2006506904.tif 000007
【図２５】
2006506904.tif 000008
【図２６】
2006506904.tif 000009
【図２７】
2006506904.tif 000010
【図２８】
2006506904.tif 000011
【図１】
2006506904.tif 000012
【図２】
2006506904.tif 000013
【図３】
2006506904.tif 000014
【図４】
2006506904.tif 000015
【図５】
2006506904.tif 000016
【図６】
2006506904.tif 000017
【図７】
2006506904.tif 000018
【図８】
2006506904.tif 000019
【図９】
2006506904.tif 000020
【図１０】
2006506904.tif 000021
【図１１】
2006506904.tif 000022
【図１２】
2006506904.tif 000023
【図１３】
2006506904.tif 000024
【図１４】
2006506904.tif 000025
【図１５】
2006506904.tif 000026
【図１６】
2006506904.tif 000027
【図１７】
2006506904.tif 000028
【図１８】
2006506904.tif 000029
【図１９】
2006506904.tif 000030
【図２０】
2006506904.tif 000031
【図２１】
2006506904.tif 000032
【図２２】
2006506904.tif 000033
【国際調査報告】
2006506904.tif 000034
2006506904.tif 000035