(57)【要約】【課題】マクロブロックのデータの誤解釈による画質劣化を低減する。【解決手段】復号部１２により復号されたシンタックスの情報について誤り検出部１４により誤りの有無を判定し、誤りが検出された場合に当該誤りが検出されたマクロブロックより先行する各マクロブロックの復号情報を復号情報メモリ１３から読み出す。そして復号制御部１１により、上記読み出された各マクロブロックの復号情報について、PCMマクロブロックの有無、mb_skip_runが上限値を超えるマクロブロックの有無、Intra modeの相関がないマクロブロックの有無をそれぞれ判定し、該当するマクロブロックが見つかった場合に当該マクロブロックを誤りが混入したマクロブロックと推定する。そして、上記推定されたマクロブロック以降のマクロブロックを上記復号情報メモリ１３から破棄し、この破棄されたマクロブロックをコンシールメント部２７において復元する。【選択図】図２
2006295569.tif 000002
【特許請求の範囲】
【請求項１】
複数のマクロブロックが多重されたストリームデータを、マクロブロックごとに復号して復号情報を出力する手段と、
前記出力された各マクロブロックの復号情報をメモリに記憶する手段と、
前記出力された各マクロブロックの復号情報についてそれぞれ誤りを検出する手段と、
前記誤りが検出された場合に、この誤りが検出されたマクロブロックより先行するマクロブロックの復号情報を前記メモリから読み出して、規則に適合しないシンタックスを含む復号情報の有無を判定し、その判定結果をもとに誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックを推定する推定手段と、
前記推定手段の推定結果を基づいて、前記メモリに記憶された各マクロブロックの復号情報のうち、前記誤りが混入したマクロブロック以降の復号情報を破棄する手段と
を具備することを特徴とする動画像復号装置。
【請求項２】
前記推定手段は、前記メモリに記憶されたマクロブロックの復号情報をもとに非圧縮のマクロブロックの有無を判定し、非圧縮のマクロブロックが見つかった場合に、当該マクロブロックを誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定することを特徴とする請求項１記載の動画像復号装置。
【請求項３】
前記推定手段は、前記メモリに記憶されたマクロブロックの復号情報をもとに、任意に設定される上限長を超えるスキップラン長を定義するスキップマクロブロックの有無を判定し、該当するマクロブロックが見つかった場合に当該マクロブロックを誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定することを特徴とする請求項１記載の動画像復号装置。
【請求項４】
前記推定手段は、前記メモリに記憶されたマクロブロックの復号情報をもとに、輝度成分の予測情報と色差成分の予測情報との間の相関の度合いが予め定められたしきい値に満たない画面内予測マクロブロックの有無を判定し、該当するマクロブロックが見つかった場合に、当該画面内予測マクロブロックを誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定することを特徴とする請求項１記載の動画像復号装置。
【請求項５】
前記破棄されたマクロブロック以降の画像データを、過去の関連するマクロブロックの画像データを参照して復元する手段を、さらに具備することを特徴とする請求項１乃至４のいずれかに記載の動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば地上波ディジタル放送やモバイル放送を受信する端末に設けられる動画像復号装置に関する。
【背景技術】
【０００２】
映像メディアの符号化・復号化技術は、近年ますます進化しつつある。これは、動画像及び音声の高品質化が進み、情報量が多くなったこと、また有線或いは無線によるネットワークが発展し、これらネットワークを通じて画像情報を伝送する要望が高くなったことに起因している。
【０００３】
特に動画像の情報量は大きいため、動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また伝送効率が良いことなどが要望される。これらの要望に沿う動画像の符号化・復号化技術として、ITU-T勧告H.264/AVC(Advanced video coding)と称せられる技術（以下単にH.264と称する）がある。この動画像符号化・復号化技術は、例えば非特許文献１に開示されている。
【０００４】
H.264 AVCを移動体向け地上波ディジタル放送やモバイル放送に適用した場合、H.264ストリームデータは音声、データ放送などの情報と共にMPEG-2 systemsに多重化されたのち各受信端末へ向け送信される。しかし、受信端末が携帯端末や車載端末に代表される移動体端末の場合、受信端末は移動するため、常に安定した電波環境にてストリームデータを受信することは期待できない。特に、受信端末がビル陰等により隠蔽されるような環境では、ストリームデータ中に高頻度で誤りが混入する。従って、移動体端末に搭載される動画像復号装置には誤り耐性機能が必須となり、様々な検討が行われている（例えば、非特許文献２を参照。）。
【非特許文献１】IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003, Overview of the H.264/AVC Video Coding Standard, Thomas Wiegand
【非特許文献２】森 弘史，川勝 裕和，鈴木 正和，“H.264における誤り環境下の再生画像に関する一検討，”信学技報，IE 2004-18，May．2004。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、これまでに行われた誤り耐性技術に対する検討の多くは、欠落したマクロブロック（ＭＢ）のコンシールメント手法を対象としており、符号化データ列などの設定ルールを表すシンタックス（Syntax）の誤解釈に起因する画質劣化ついては十分議論されていない。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、マクロブロックのデータの誤解釈による画質劣化を低減するようにした動画像復号装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、この発明に係わる動画像復号装置は、複数のマクロブロックが多重されたストリームデータをマクロブロックごとに復号してその復号情報をメモリに記憶すると共に、上記各マクロブロックの復号情報についてそれぞれ誤りを検出する。そして、誤りが検出された場合に、この誤りが検出されたマクロブロックより先行するマクロブロックの復号情報を上記メモリから読み出して、規則に適合しないシンタックスを含む復号情報の有無を判定する。そして、その判定結果をもとに、誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックを推定し、この推定結果を基づいて上記誤りが混入したマクロブロック以降の復号情報を破棄するようにしたものである。
【０００８】
したがってこの発明によれば、あるマクロブロックで誤りが検出されると、この誤りが検出されたマクロブロックより先行する各マクロブロックについて規則に適合しないシンタックスを含むか否かが判定される。そして、規則に適合しないシンタックスを含むマクロブロックが見つかった場合に、このマクロブロックが誤りの混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定され、これ以後のマクロブロックの復号情報が破棄される。
【０００９】
このため、誤りが検出されたマクロブロック以降のマクロブロックの復号情報のみを破棄する場合に比べ、誤りが混入してから当該誤りが検出されるまでの誤解釈区間を短縮することができ、これにより誤解釈区間による画質劣化を軽減することができる。また、上記誤りが混入したマクロブロックの推定処理とマクロブロックを破棄する処理は、誤りが検出された場合にのみ行われる。このため、誤りが混入していないときの復号処理に処理遅延等の悪影響を及ぼす心配がない。
【００１０】
上記誤りが混入したマクロブロックの推定手段としては、以下のような各種構成が考えられる。  
第１の構成は、メモリに記憶されたマクロブロックの復号情報をもとに非圧縮のマクロブロックの有無を判定し、非圧縮のマクロブロックが見つかった場合に当該マクロブロックを誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定するものである。
【００１１】
一般にH.264では、PCMマクロブロック（Pulse Code Modulation Macro Block）のような非圧縮マクロブロックがストリームデータ中に存在することは考えにくい。従って、ストリームデータ中に非圧縮マクロブロックが見つかった場合にはこれを誤りが混入したマクロブロックと見なすことができ、このマクロブロック以降のマクロブロックを破棄すれば誤解釈区間を短縮できる。また、ストリームデータ中のマクロブロックが非圧縮マクロブロックに変化した場合、これをそのまま復号再生すると著しい画質劣化が生じる。このため、上記非圧縮マクロブロックを破棄することで再生画像の画質を大幅に改善できる。
【００１２】
第２の構成は、メモリに記憶されたマクロブロックの復号情報をもとに、任意に設定される上限長を超えるスキップラン長を定義するスキップマクロブロックの有無を判定し、該当するマクロブロックが見つかった場合に当該マクロブロックを誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定するものである。上記上限長は、画像の横サイズや過去に出現した最大スキップ長をもとに設定される。
【００１３】
H.264では、各マクロブロックの先頭にスキップランの長さ、つまりスキップするマクロブロック数を表す制御データ（mb_skip_run）が挿入されており、このスキップラン長は一般に画像の横サイズ等により決まる。このため、任意に設定される上限長を超えるような著しく大きなmb_skip_runが検出されれば、これを誤りが混入したマクロブロックと見なすことができる。そして、このマクロブロック以降のマクロブロックの復号情報を破棄することで、誤解釈区間を短縮できる。
【００１４】
第３の構成は、メモリに記憶されたマクロブロックの復号情報をもとに、輝度成分の予測情報と色差成分の予測情報との間の相関の度合いが予め定められたしきい値に満たない画面内予測マクロブロックの有無を判定し、該当するマクロブロックが見つかった場合に、当該画面内予測マクロブロックを誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定するものである。
【００１５】
H.264では、輝度（Luma）成分と色差（Chroma）成分のそれぞれについて独立して画面内（Intra）予測モードが符号化される。ここで、一般に上記輝度（Luma）成分と色差（Chroma）成分との間には相関があり、これらに対応する予測モード間にも相関がある。そこで、ストリームデータ中のフレームフレーム内予測マクロブロックに、上記輝度（Luma）成分と色差（Chroma）成分に対応する予測モード間の相関がないフレームフレーム内予測マクロブロックが検出されれば、これを誤りが混入したマクロブロックと見なすことができる。そして、このマクロブロック以降のマクロブロックの復号情報を破棄することで、誤解釈区間を短縮できる。
【００１６】
またこの発明は、上記推定されたマクロブロック以降のマクロブロックの復号情報を破棄した場合に、この破棄されたマクロブロック以降の画像データを、過去の関連するマクロブロックの画像データを参照して復元する手段又は処理手順を備えることも特徴とする。  
このようにすると、誤りが検出された以降のマクロブロックに止まらず、誤りの混入が推定されたマクロブロックから誤りが検出されたマクロブロックまでの誤解釈区間についても、マクロブロックの画像データを復元（concealment）することができ、これにより誤解釈区間を短縮して再生画像の画質をさらに高めることができる。
【発明の効果】
【００１７】
以上述べたようにこの発明では、ストリームデータ中でマクロブロックの誤りが検出された場合に、メモリに記憶しておいた各マクロブロックの復号情報の中から規則に適合しないシンタックスを含む復号情報を検出して、その検出結果をもとに誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックを推定し、この推定結果を基づいて上記誤りが混入したマクロブロック以降の復号情報を破棄するようにしている。  
したがってこの発明によれば、マクロブロックのデータの誤解釈による画質劣化を低減するようにした動画像復号装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照してこの発明の実施形態を説明する。  
図１は、この発明に係わる動画像復号装置の一実施形態を示す機能ブロック図である。この実施形態の動画像復号装置は、制御ユニット１と、信号処理ユニット２とを備える。制御ユニット１は、マイクロプロセッサを主構成要素とするもので、復号制御部１１と、復号部１２と、復号情報メモリ１３と、誤り検出部１４とを備えている。これらのうち復号制御部１１、復号部１２及び誤り検出部１４はいずれもプログラムを上記マイクロプロセッサに実行させることにより実現される。また復号情報メモリ１３は、ＲＡＭ（Random Access Memory）により構成される。
【００１９】
復号部１２は、復号制御部１１から転送されたストリームデータをマクロブロックごとに復号し、シンタックスごとの復号情報を復号制御部１１に返す。  
復号情報メモリ１３は、復号制御部１１の制御の下、上記復号部１２により得られた各マクロブロックの復号情報を順次記憶する。  
誤り検出部１４は、復号制御部１１から上記シンタックスの復号情報が与えられるごとに当該復号情報について誤りの有無を判定し、その判定結果を復号制御部１１に返す。
【００２０】
復号制御部１１は、ストリームデータをマクロブロックごとに取り込んで上記復号部１２に復号させると共に、その復号情報を復号情報メモリ１３に記憶させる。そして、１スライスデータの復号が終了すると、上記復号情報メモリ１３に記憶された各マクロブロックを、その種類に応じて後述する信号処理ユニット２のInter予測部２１、Intra予測部２２、及び逆量子化・逆周波数変換部２３のいずれかに供給し、画像データの再生処理を行わせる。
【００２１】
また復号制御部１１は、上記復号部１２により得られたシンタックスの復号情報を上記誤り検出部１４に与えて誤りの有無を判定させ、その判定結果をもとに誤りが検出されたマクロブロックを特定する。上記判定の結果、あるマクロブロックにおいて誤りが検出されると、当該マクロブロックより先行する各マクロブロックの復号情報を上記復号情報メモリ１３から順次読み出す。そして、これらの復号情報についてそれぞれ規則に適合しないシンタックスを含む復号情報の有無を判定し、その判定結果をもとに誤りが混入したマクロブロックを推定する。
【００２２】
さらに復号制御部１１は、上記推定結果に従い、誤りが混入したマクロブロック以降のマクロブロックの復号情報を上記復号情報メモリ１３から破棄する。そして、この破棄したマクロブロックの復元指示を後述する信号処理ユニット２のコンシールメント部２７に対し指示する。
【００２３】
一方、信号処理ユニット２は、Inter予測部２１と、Intra予測部２２と、逆量子化・逆周波数変換部２３と、データ合成部２４と、デブロック（Deblock）部２５と、フレームメモリ２６と、コンシールメント部２７とを備える。これらのうちInter予測部２１、Intra予測部２２、逆量子化・逆周波数変換部２３、データ合成部２４、デブロック（Deblock）部２５及びコンシールメント部２７は、ＤＳＰ（Digital Signal Processor）の信号処理により実現される。  
フレームメモリ２６はＲＡＭ（Random Access Memory）により構成され、再生されたフレーム画像データが参照画像データとして蓄積される。
【００２４】
Inter予測部２１は、フレームメモリ２６に蓄積された参照画像データを用いて、Interマクロブロックの予測信号を算出する。  
Intra予測部２２は、復号中のフレームの参照画素を用いてIntraマクロブロックの予測信号を算出する。  
逆量子化・逆周波数変換部２３は、入力されたマクロブロックに対し逆量子化・逆周波数変換処理を行い、これにより残差信号を算出する。
【００２５】
データ合成部２４は、上記Inter予測部２１、Intra予測部２２及び逆量子化・逆周波数変換部２３により算出された信号を合成して、マクロブロックを再生する。  
デブロック（Deblock）部２５は、上記データ合成部２４により再生されたマクロブロックに対し適応的にデブロッキング・フィルタ処理を行い、これにより画像の符号化時に発生するブロック歪みを除去する。
【００２６】
コンシールメント部２７は、誤り等により欠落した情報を補間（Concealment）するもので、上記復号制御部１１からの指示に従い、欠落したマクロブロックの画像データを関連する他のマクロブロックの画像データをもとに復元する。補間処理に使用する関連情報としては、例えば補間対象のマクロブロックの周辺に位置するマクロブロックの画像データや、前後のフレームの同一位置にあるマクロブロックの画像データが使用される。
【００２７】
次に、以上のように構成された動画像復号装置の動作を、復号制御部１１の制御手順に従い説明する。図２は復号制御部１１の制御手順とその制御内容を示すフローチャートである。  
ストリームデータが入力されると、復号制御部１１は当該ストリームデータをマクロブロックごとに取り込んで復号部１２に復号させ、その復号情報を復号情報メモリ１３に記憶させる。また、上記復号部１２により得られたシンタックスの復号情報を上記誤り検出部１４に供給し、誤りの有無を判定させる。この判定の結果、シンタックスに誤りが検出されなければ、ステップＳ１からステップＳ２に移行して１スライスデータのすべてのマクロブロックについて復号が終了したか否かを判定する。そして、未復号のマクロブロックが残っていればステップＳ４で次のマクロブロックを選択し、上記復号制御を実行する。以後、１スライスデータのすべてのマクロブロックに対する復号処理が終了するまで、上記復号制御を繰り返す。
【００２８】
そして、上記１スライスデータのすべてのマクロブロックに対する復号処理が終了すると、復号制御部１１は復号情報メモリ１３に記憶された１スライスデータ分のマクロブロックを順次読み出し、その種類に応じてInter予測部２１、Intra予測部２２及び逆量子化・逆周波数変換部２３のいずれかに供給する。
【００２９】
この結果、Inter予測部２１、Intra予測部２２及び逆量子化・逆周波数変換部２３ではそれぞれ各予測信号及び残差信号が算出され、この算出された各予測信号及び残差信号はデータ合成部２４で合成されてマクロブロックの再生画像データとなる。そして、この再生画像データはデブロック部２５によりデブロッキング・フィルタ処理が行われ、これにより画像の符号化時に発生するブロック歪みが除去される。デブロッキング・フィルタ処理された上記再生画像データは、参照画像データとしてフレームメモリ２６に蓄積される。
【００３０】
さて、上記復号処理過程においてあるマクロブロックで誤りが検出されたとする。この場合、誤りが検出されたマクロブロックより先行するマクロブロックにおいて誤りが混入している可能性が大きい。そこで復号制御部１１は、上記誤りが検出されたマクロブロックより先行するマクロブロックの復号情報を上記復号情報メモリ１３から順次読み出し、この復号情報をもとに誤りが混入したマクロブロックを推定するための処理を実行する。誤りが混入したマクロブロックの推定は、H.264独自の符号化ツールの利用状況やシンタックスの構成を考慮して行われる。
【００３１】
すなわち、マクロブロックレイヤのシンタックスの構成は、図３に示すように先ず先頭にマクロブロックのスキップ数を示すmb_skip_runが配置され、次にマクロブロックの種類を表すmb_typeが配置される。マクロブロックの種類には、PCMマクロブロックと、Intraマクロブロックと、Interマクロブロックとがある。Intraマクロブロックはフレーム内予測により生成され、またInterマクロブロックは複数のフレーム間における予測、つまりフレーム間予測により生成される。
【００３２】
ここで、上記各種マクロブロックのうち、PCMマクロブロックは非圧縮データであり、通常のストリームデータにおいてこの非圧縮データのマクロブロックが存在することは考えにくい。従って、ストリームデータ中にPCMマクロブロックが見つかった場合にはこれを誤りが混入したマクロブロックと見なすことが可能である。
【００３３】
また、図３に示したようにマクロブロックの先頭には、マクロブロックのスキップ数を示すmb_skip_runが配置される。マクロブロックのスキップ数は一般に画像の横サイズ等により決まる。したがって、仮に上記mb_skip_runの値が、任意に設定した上限値を超えていれば、このマクロブロックは誤りが混入したマクロブロックと見なすことができる。なお、上記上限値は、画像の横サイズやこれまでに出現した最大スキップ長等をもとに設定される。
【００３４】
さらに、Intraマクロブロックにおける輝度成分（Luma）の予測と色差成分（Chroma）の予測との間には一般に相関がある。そこで、上記輝度成分（Luma）の予測と色差成分（Chroma）の予測との間に相関がない場合には、このIntraマクロブロックを誤りが混入したマクロブロックと見なすことができる。相関の有無は、しきい値を設定し、輝度成分（Luma）の予測と色差成分（Chroma）の予測との間の相関値を当該しきい値より大きいか小さいかを判定することにより可能である。例えば、輝度成分（Luma）が垂直予測で、色差成分（Chroma）が水平予測の組み合わせだった場合に、これを相関が無い状態と判定する。
【００３５】
以上の点に着目して復号制御部１１は、図２に示すように先ずステップＳ５によりPCMマクロブロックの有無を判定する。そして、この判定の結果、PCMマクロブロックが見つかると、当該PCMマクロブロックを誤りが混入したマクロブロックと見なし、ステップＳ６に移行してここで当該PCMマクロブロック以降の各マクロブロックを破棄する。
【００３６】
図４はこのときの処理動作を説明するためのストリームデータの構成図であり、この場合にはPCMマクロブロックＭ１以降の各マクロブロックが破棄される。なお、この破棄された各マクロブロックは後述するコンシールメント部２７においてコンシールメントされる。したがってこの場合には、誤りが混入したマクロブロック以降の区間のうち、PCMマクロブロックＭ１以降の区間が破棄されたのちコンシールメントされる。
【００３７】
このため、誤解釈が発生する可能性がある区間は、上記誤りが混入したマクロブロックから上記PCMマクロブロックＭ１までの区間に限定される。ちなみに、図７に示すように誤りが検出されたマクロブロック以降のマクロブロックのみを破棄してコンシールメントする場合には、誤解釈区間が長くなり、その分画質劣化が大きくなる。
【００３８】
図８（ａ）（ｂ）は、図７に示した誤り対策を施した再生画像データの一例を示したものである。同図に例示したように、PCMマクロブロックＭ１が破棄されずに残ると、当該PCMマクロブロックＭ１に対応する位置にモザイク状の画質劣化ＥＲとなって現れる。これに対し上記実施形態のようにPCMマクロブロックＭ１を検出し、このPCMマクロブロックＭ１以降を破棄したのちコンシールメントすると、図９に示すようにPCMマクロブロックＭ１による画質劣化のない再生画像データが得られる。
【００３９】
一方、上記ステップＳ５によりPCMマクロブロックが見つからなかったとする。この場合復号制御部１１は、ステップＳ７に移行してここでmb_skip_runの値が任意に設定される上限値を超えているマクロブロックの有無を判定する。そして、この判定の結果、mb_skip_runの値が、上記任意に設定される上限値を超えているマクロブロックが見つかると、当該マクロブロックを誤りが混入したマクロブロックと見なし、ステップＳ８に移行してここで当該マクロブロック以降の各マクロブロックを破棄する。
【００４０】
図５はこのときの処理動作を説明するためのストリームデータの構成図であり、図中のSkipマクロブロックＭ２以降の各マクロブロックが破棄され、さらにこの破棄された区間のマクロブロックが後述するコンシールメント部２７においてコンシールメントされる。したがってこの場合には、誤りが混入したマクロブロック以降の区間のすべてが破棄されたのちコンシールメントされる。このため、誤解釈が発生する可能性がある区間はなくなり、これにより誤りの混入による画質の劣化は防止される。
【００４１】
また、上記ステップＳ７によりmb_skip_runの値が任意に設定される上限値を超えているマクロブロックが見つからなかったとする。この場合復号制御部１１は、ステップＳ９に移行してIntraマクロブロックを探す。そして、Intraマクロブロックが見つかると、ステップＳ１０によりIntra modeの相関の有無を判定する。例えば、輝度成分（Luma）の予測と色差成分（Chroma）の予測との間の相関がしきい値より大きいか小さいかを判定する。そして、この判定の結果、Intra modeの相関がないマクロブロックが見つかると、当該Intraマクロブロックを誤りが混入したマクロブロックと見なし、ステップＳ１１に移行してここで当該Intraマクロブロック以降の各マクロブロックを破棄する。
【００４２】
図６はこのときの処理動作を説明するためのストリームデータの構成図であり、図示されるIntraマクロブロックＭ３以降の区間のマクロブロックが破棄され、さらにこの破棄された区間のマクロブロックが後述するコンシールメント部２７においてコンシールメントされる。したがってこの場合には、誤りが混入したマクロブロック以降の区間のすべてが破棄されたのちコンシールメントされる。このため、誤解釈が発生する可能性がある区間はなくなり、これにより誤りの混入による画質の劣化は防止される。
【００４３】
さらに復号制御部１１は、上記ステップＳ９によりIntraマクロブロックが存在しないと判定されるか、又は上記ステップＳ１０においてIntraマクロブロックが見つかってもIntra modeの相関があると判定されると、ステップＳ１２に移行してここで誤りが検出されたマクロブロック以降のマクロブロックを破棄する。
【００４４】
上記した誤りが混入したマクロブロックの推定処理と、当該推定されたマクロブロック以降のマクロブロックの破棄処理が終了すると、続いて復号制御部１１は破棄されたマクロブロックの復元を、コンシールメント部２７に対し指示する。この結果、コンシールメント部２７では、例えばフレームメモリ２６から補間対象のマクロブロックの周辺に位置するマクロブロックの画像データ、又は前後のフレームの同一位置にあるマクロブロックの画像データを選択的に読み出し、この読み出された画像データをもとに補間対象のマクロブロックを復元する。
【００４５】
以上述べたようにこの実施形態では、復号部１２により復号されたシンタックスの情報について誤り検出部１４により誤りの有無を判定し、誤りが検出された場合に当該誤りが検出されたマクロブロックより先行する各マクロブロックの復号情報を復号情報メモリ１３から順次読み出す。そして、復号制御部１１により、上記読み出された各マクロブロックの復号情報について、PCMマクロブロックの有無、mb_skip_runが任意に設定した上限値を超えるマクロブロックの有無、Intra modeの相関がないマクロブロックの有無をそれぞれ判定し、該当するマクロブロックが見つかった場合に当該マクロブロックを誤りが混入したマクロブロックと推定する。そして、上記推定されたマクロブロック以降のマクロブロックを上記復号情報メモリ１３から破棄し、この破棄されたマクロブロック群をコンシールメント部２７において復元するようにしている。
【００４６】
すなわち、誤りが混入されたマクロブロックとして推定されたマクロブロック以降のマクロブロックが破棄され、さらにコンシールメントされる。このため、誤りが検出されたマクロブロック以降のマクロブロックの復号情報のみを破棄する場合に比べ、誤りが混入してから当該誤りが検出されるまでの誤解釈区間を短縮することができ、これにより誤解釈区間による画質劣化を軽減することができる。特に、画質に与える影響の大きいPCMマクロブロックを破棄してコンシールメントしているので、高い画質改善効果を得ることができる。  
またこの実施形態では、上記誤りが混入したマクロブロックの推定処理とマクロブロックを破棄する処理が、誤りが検出された場合にのみ行われる。このため、誤りが混入していないときの復号処理に処理遅延等の悪影響を及ぼす心配がない。
【００４７】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではPCMマクロブロックの有無、mb_skip_runが難易に設定した値を超えるマクロブロックの有無、Intra modeの相関がないマクロブロックの有無をそれぞれ判定して、誤りが混入したマクロブロックを推定するようにしたが、これらをすべて判定する必要はなく、これらのうちの少なくとも一つを判定するようにしてもよい。
【００４８】
また、前記実施形態では誤りが混入したマクロブロックの推定処理、及びそれ以降のマクロブロックの破棄等を、マイクロプロセッサにプログラムを実行させることにより実現したが、ハードウエアにより実現するようにしてもよい。その他、ストリームデータのフォーマット、制御ユニット及び信号処理ユニットの構成、コンシールメント処理の内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００４９】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５０】
【図１】この発明に係わる動画像復号装置の機能構成を示すブロック図。
【図２】図１に示した動画像復号装置の復号制御部における復号制御手順と制御内容を示すフローチャート。
【図３】H.264に定義されたマクロブロックレイヤのシンタックス（Syntax）の構成を示す図。
【図４】図１に示した動画像復号装置においてPCMマクロブロックが検出された場合の動作を説明するための図。
【図５】図１に示した動画像復号装置において任意に設定した最大長を超える長さのmb_skip_runが検出された場合の動作を説明するための図。
【図６】図１に示した動画像復号装置においてLuma/Chromaの予測モードに相関の内Intraマクロブロックが検出された場合の動作を説明するための図。
【図７】誤りが混入したマクロブロックの推定処理を行わない場合の動作を説明するための図。
【図８】誤りが混入したマクロブロックの推定処理を行わない場合の画像データの一例を示す図。
【図９】図１に示した動画像復号装置により得られる、画質が改善された画像データを示す図。
【符号の説明】
【００５１】
１…制御ユニット、２…信号処理ユニット、１１…復号制御部、１２…復号部、１３…復号情報メモリ、１４…誤り検出部、２１…Inter予測部、２２…Intra予測部、２３…逆量子化・逆周波数変換部、２４…データ合成部、２５…デブロック部、２６…フレームメモリ、２７…コンシールメント部。
【図１】
2006295569.tif 000003
【図２】
2006295569.tif 000004
【図３】
2006295569.tif 000005
【図４】
2006295569.tif 000006
【図５】
2006295569.tif 000007
【図６】
2006295569.tif 000008
【図７】
2006295569.tif 000009
【図８】
2006295569.tif 000010
【図９】
2006295569.tif 000011