(57)【特許請求の範囲】
【請求項１】
動画像を構成する複数の画像フレームのうちの少なくとも２つのフレーム間の相関関係を利用して符号化された第１の符号化データ、１つの画像フレームに基づいて符号化され且つ動画像のリフレッシュに用いられる第２の符号化データ、および１つの画像フレームに基づいて符号化され且つシーンチェンジで用いられる第３の符号化データを復号する復号手段と、前記第１乃至第３の符号化データを復号して得られた画像フレーム、およびこの画像フレームに対応付けて前記第１の符号化データを復号するときに参照する画像フレームであるか否かを示す参照または非参照を記憶するメモリを備えた動画像復号装置において、
前記符号化データがエラーを含んでいるかを検出するエラー検出手段と、
前記第２の符号化データを検出すると、前記メモリに記憶されている参照のうち、１つの画像フレームに対応して記憶されている参照を前記第２の符号化データのエラー修復に用いることを示す修復用に、残りの画像フレームに対応して記憶されている参照を非参照に変更する参照情報更新手段と、
前記エラー検出手段が前記第２の符号化データにエラーを検出すると、前記メモリに記憶されている修復用に対応付けられた画像フレームに含まれる画像データを用いて前記第２の符号化データのエラーが検出された位置の画像データを修復し、前記第３の符号化データにエラーを検出すると、この第３の符号化データから復号できた画像データを用いてこの第３の符号化データのエラーが検出された位置の画像データを修復する修復手段と
を具備したことを特徴とする動画像復号装置。
【請求項２】
動画像を構成する複数の画像フレームのうちの少なくとも２つのフレーム間の相関関係を利用して符号化された第１の符号化データ、１つの画像フレームに基づいて符号化され且つ動画像のリフレッシュに用いられる第２の符号化データ、および１つの画像フレームに基づいて符号化され且つシーンチェンジで用いられる第３の符号化データを復号する復号手段と、前記第１乃至第３の符号化データを復号して得られた画像フレーム、およびこの画像フレームに対応付けて前記第１の符号化データを復号するときに参照する画像フレームであるか否かを示す参照または非参照を記憶するメモリを備えた動画像復号装置において、
前記符号化データがエラーを含んでいるかを検出するエラー検出手段と、
前記第２の符号化データを検出すると、この第２の符号化データの直前に復号されて前記メモリに記憶されている画像フレームに対応して記憶されている参照を前記第２の符号化データのエラー修復に用いることを示す修復用に、残りの画像フレームに対応して記憶されている参照を非参照に変更する参照情報更新手段と、
前記エラー検出手段が前記第２の符号化データにエラーを検出すると、前記メモリに記憶されている修復用に対応付けられた画像フレームに含まれる画像データを用いて前記第２の符号化データのエラーが検出された位置の画像データを修復し、前記第３の符号化データにエラーを検出すると、この第３の符号化データから復号できた画像データを用いてこの第３の符号化データのエラーが検出された位置の画像データを修復する修復手段と
を具備したことを特徴とする動画像復号装置。
【請求項３】
動画像を構成する複数の画像フレームのうちの少なくとも２つのフレーム間の相関関係を利用して符号化された第１の符号化データ、１つの画像フレームに基づいて符号化され且つ動画像のリフレッシュ及びシーンチェンジで用いられる第２の符号化データを復号する復号手段と、前記第１乃至第２の符号化データを復号して得られた画像フレーム、およびこの画像フレームに対して第１の符号化データを復号するときに参照する画像フレームであるか否かを示す参照または非参照を記憶するメモリを備えた動画像復号装置において、
前記符号化データがエラーを含んでいるかを検出するエラー検出手段と、
前記第２の符号化データの画像フレームの周期を任意の回数測定して平均値を求め、この平均値と略同じ周期の第２の符号化データの画像フレームをリフレッシュ用と判定し、この平均値と略同じでない周期の第２の符号化データの画像フレームをシーンチェンジ用と判定する符号化種別判定手段と、
前記第２の符号化データがリフレッシュ用と判定されると、前記メモリに記憶されている参照のうち、１つの画像フレームに対応して記憶されている参照をこの第２の符号化データのエラー修復に用いることを示す修復用に、残りの画像フレームに対応して記憶されている参照を非参照に変更する参照情報更新手段と、
前記エラー検出手段が前記リフレッシュ用と判定された第２の符号化データにエラーを検出すると、前記メモリに記憶されている修復用に対応付けられた画像フレームに含まれる画像データを用いてこの第２の符号化データのエラーが検出された位置の画像データを修復し、前記シーンチェンジ用と判定された第２の符号化データにエラーを検出すると、この第２の符号化データから復号できた画像データを用いてこの第２の符号化データのエラーが検出された位置の画像データを修復する修復手段と
を具備したことを特徴とする動画像復号装置。
【請求項４】
前記符号化種別判定手段は、
前記第２の符号化データの画像フレームの周期を任意の回数測定して最多発生の周期を算出し、この最多発生の周期と略同じ周期の第２の符号化データの画像フレームをリフレッシュ用と判定し、この最多発生の周期と略同じでない周期の第２の符号化データの画像フレームをシーンチェンジ用と判定する
ことを特徴とする請求項３に記載の動画像復号装置。
【請求項５】
動画像を構成する複数の画像フレームのうちの少なくとも２つのフレーム間の相関関係を利用して符号化された第１の符号化データ、１つの画像フレームに基づいて符号化され且つ動画像のリフレッシュに用いられる第２の符号化データ、および１つの画像フレームに基づいて符号化され且つシーンチェンジで用いられる第３の符号化データを復号する復号手段と、前記第１乃至第３の符号化データを復号して得られた画像フレーム、およびこの画像フレームに対して第１の符号化データを復号するときに参照する画像フレームであるか否かを示す参照または非参照を記憶するメモリを備えた動画像復号装置において、
前記符号化データを構成するブロック単位にエラーを含んでいるかを検出するエラー検出手段と、
前記第２の符号化データを検出すると、前記メモリに記憶されている参照のうち、１つの画像フレームに対応して記憶されている参照を前記第２の符号化データのエラー修復に用いることを示す修復用に、残りの画像フレームに対応して記憶されている参照を非参照に変更する参照情報更新手段と、
前記エラー検出手段が前記第２の符号化データを構成するブロックにエラーを検出すると、前記メモリに記憶されている修復用に対応付けられた画像フレームの同一位置のブロックを用いて前記エラーが検出された第２の符号化データのブロックに対応した画像データを修復し、前記第３の符号化データを構成するブロックにエラーを検出すると、この第３の符号化データに含まれるエラーの生じていないブロックから得た画像データを用いて前記エラーが検出された第３の符号化データのブロックに対応する画像データを修復する修復手段と
を具備したことを特徴とする動画像復号装置。
【請求項６】
動画像を構成する複数の画像フレームのうちの少なくとも２つのフレーム間の相関関係を利用して符号化された第１の符号化データ、１つの画像フレームに基づいて符号化され且つ動画像のリフレッシュに用いられる第２の符号化データ、および１つの画像フレームに基づいて符号化され且つシーンチェンジで用いられる第３の符号化データを復号する復号手段と、前記第１乃至第３の符号化データを復号して得られた画像フレーム、およびこの画像フレームに対して第１の符号化データを復号するときに参照する画像フレームであるか否かを示す参照または非参照を記憶するメモリを備えた動画像復号装置において、
前記符号化データを構成するブロック単位にエラーを含んでいるかを検出するエラー検出手段と、
前記第２の符号化データを検出すると、この第２の符号化データの直前に復号されて前記メモリに記憶されている画像フレームに対応して記憶されている参照を前記第２の符号化データのエラー修復に用いることを示す修復用に、残りの画像フレームに対応して記憶されている参照を非参照に変更する参照情報更新手段と、
前記エラー検出手段が前記第２の符号化データを構成するブロックにエラーを検出すると、前記メモリに記憶されている修復用に対応付けられた画像フレームの同一位置のブロックを用いて前記エラーが検出された第２の符号化データのブロックに対応した画像データを修復し、前記第３の符号化データを構成するブロックにエラーを検出すると、この第３の符号化データに含まれるエラーの生じていないブロックから得た画像データを用いて前記エラーが検出された第３の符号化データのブロックに対応する画像データを修復する修復手段と
を具備したことを特徴とする動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像情報を入力し、復号する動画像復号装置に係り、特に、符号化された動画像情報にエラーが含まれる際の処理に関する。
【背景技術】
【０００２】
動画像の符号化方式として、ＭＰＥＧ−４や、それを発展させたＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下、Ｈ．２６４と称する）がある（例えば、非特許文献１参照。）。Ｈ．２６４は、移動体向け地上波デジタル放送に採用が検討されている。  
図８は、これらの符号化方式における動画像のフレーム構成を説明する図である。動画像は、動画を構成する画面１枚分のフレームをコマ送り表示することにより、動画像として人間の目に認識される。この例では、フレームＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６の順序で切り替わって表示される。  
動画像のデータは、情報量が多いために、符号化が行われて、符号化データとして、記憶媒体に記憶されたり、また、通信サービスに提供される。この符号化の方法としては、フレーム間符号化とフレーム内符号化がある。例として、フレームＦ１、Ｆ３、Ｆ４、Ｆ６はフレーム間符号化されたフレームである。フレームＦ２、Ｆ５はフレーム内符号化されたフレームである。
【０００３】
動画像は、一般的な特性として時間方向の相関が高く、従ってフレーム間の相関が高いという特性を有する。これを利用したものがフレーム間符号化であり、前フレームとの差分を用いた符号化方法であり、情報量を大変小さくできる。しかし、画像内容が大きく切り替わるときには、前フレームとの差分が大きくなり、情報量の削減効果が期待できない。また、差分を用いているので、起点となるフレームが必要である。また、フレーム間符号化データにエラーが混入すると、復号側で、フレーム間にエラーが伝播してしまうという特性を有する。
【０００４】
一方、フレーム内符号化は、フレーム内で完結した符号化方法であり、フレーム内の近隣の画像の相関性を利用した符号化方法であるが、連続するシーケンスではフレーム間符号化ほどの圧縮効果はない。フレーム内符号化のフレームを設ける目的として、シーンチェンジとリフレッシュの２通りがある。
シーンチェンジでは、フレーム間で画像内容が大きく切り替わるためにフレーム間での相関が低いことから情報量の削減効果が期待できないことから、フレーム内符号化のフレームが使用される。
リフレッシュは、フレーム間符号化の欠点であるフレーム間のエラー伝播を防ぐために、周期的にフレーム内符号化のフレームが挿入され、それがフレーム間符号化の起点となる。それ以前のフレーム間符号化のフレームは差分参照用としてはクリアされる。また、放送サービスのように、受信側が任意のタイミングで受信開始する場合、フレーム間符号化のフレームから開始しても差分の起点となるフレームが存在しないと復号できないので、フレーム内符号化のフレームを起点として、以降のフレーム間符号化のフレームを復号することができる。地上波デジタル放送において、このリフレッシュの周期は、ＭＰＥＧ−２では、５００ミリ秒が推奨されている。Ｈ．２６４では、２秒（１．５〜５秒）が推奨されている。
【０００５】
復号装置側では、復号処理として、符号化データを受信して、フレーム間符号化とフレーム内符号化の識別データを認識し、それぞれに対応する復号処理を行う。Ｈ．２６４では、複数枚の参照フレームを利用することができ、これらの参照フレームは、復号画像バッファ（ＤＰＢ：Decoded Picture Buffer）内にused for short term reference（参照）または、used for long term reference（参照）と称するピクチャ情報のいずれかを持ち蓄積される。そして、これらの参照フレームを参照して、フレーム間符号化のフレームを復号する。Ｉ−ＳＬＩＣＥ  ＩＤＲ（リフレッシュ用フレーム内符号化のフレーム）を復号する際は、復号画像バッファ内に蓄積される全ての参照フレームのピクチャ情報をunused for reference（非参照）と設定し、これらのフレームは以後の復号には使用されない。
【０００６】
また、復号装置側では、符号化データにエラーが混入した時の修復処理として、フレー
ム間符号化のフレームの場合は、フレーム間の相関を利用したコンシールメント処理（修
復処理）が行われる。フレーム内符号化のフレームの場合は、フレーム内の近隣の画像の
相関を利用したコンシールメント処理（修復処理）が行われる。
また、動画像伝送装置がある（例えば、特許文献１参照。）。この、動画像伝送装置に
おいては、伝送路誤りで復号不可能となったブロックに適用する動き補償予測の候補をフ
レーム内の隣接するブロックに対応するもののうちから適切に選択している。
［非特許文献１］「Draft ITU-T Recommendation and Final Draft International S
tandard of Joint Video Specification 」、ITU-T Rec.H.264 ISO/IEC 14496-10 AVC、
２００３年５月
［特許文献１］  特開平６−３１１５０２号公報（第１〜２６頁、図１〜図２４）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
移動体向け地上波デジタル放送にＨ．２６４の採用が検討されている。しかし、携帯電話等の移動体通信端末にて、放送サービスを利用する場合、ビルの陰等では良好な電波の受信が期待できず、高頻度でエラーが混入することがある。本発明は、Ｈ．２６４等に規定されているエラー発生時のコンシールメント処理（修復処理）に加えて、更に、携帯電話等の小型の機器でも利用可能な的確なコンシールメント処理（修復処理）を行い、再生画質を更に向上することができる動画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の動画像復号装置は、動画像を構成する複数の画像フレームのうちの少なくとも２つのフレーム間の相関関係を利用して符号化された第１の符号化データ、１つの画像フレームに基づいて符号化され且つ動画像のリフレッシュに用いられる第２の符号化データ、および１つの画像フレームに基づいて符号化され且つシーンチェンジで用いられる第３の符号化データを復号する復号手段と、前記第１乃至第３の符号化データを復号して得られた画像フレーム、およびこの画像フレームに対応付けて前記第１の符号化データを復号するときに参照する画像フレームであるか否かを示す参照または非参照を記憶するメモリを備えた動画像復号装置において、前記符号化データがエラーを含んでいるかを検出するエラー検出手段と、前記第２の符号化データを検出すると、前記メモリに記憶されている参照のうち、１つの画像フレームに対応して記憶されている参照を前記第２の符号化データのエラー修復に用いることを示す修復用に、残りの画像フレームに対応して記憶されている参照を非参照に変更する参照情報更新手段と、前記エラー検出手段が前記第２の符号化データにエラーを検出すると、前記メモリに記憶されている修復用に対応付けられた画像フレームに含まれる画像データを用いて前記第２の符号化データのエラーが検出された位置の画像データを修復し、前記第３の符号化データにエラーを検出すると、この第３の符号化データから復号できた画像データを用いてこの第３の符号化データのエラーが検出された位置の画像データを修復する修復手段とを具備したことを特徴とする。
【０００９】
また、本発明の動画像復号装置は、前記復号手段は、前記リフレッシュ用フレーム内符号化されたフレーム以降のフレーム間符号化されたフレームを復号再生する時に、前記修復用に設定された参照フレームを破棄し、当該フレーム間符号化されたフレームを復号することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、エラー発生時に、的確なコンシールメント処理（修復処理）を行い、再生画質を更に向上することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、一般的な動画像データの構成を説明する図である。フレームは、１〜複数のスライスから構成される。１フレーム＝１スライスや、１フレーム＝複数スライスがあり、図１は、１フレーム＝４スライスの場合を示す。  
フレームのデータ構成として、各スライスの先頭のスタートコードＳＣとスライスとから構成される。スライスは、更に、当該スライスの符号化方法を示すスライスヘッダー（符号化識別データ）と、当該スライスの画像符号化データを持つスライスデータとから構成される。スライスデータは、更に、マクロブロックＭＢの集合により構成される。なお、フレームの表示タイミングは、ＰＴＳ（Presentation Time Stamp）により行われる。
【００１２】
スライスヘッダーは、当該スライスの符号化方法を示し、同一フレーム内のスライスは同じ符号化方法である。この符号化識別データの種類として、Ｈ．２６４ Baseline Profileの場合は、フレーム間符号化を示すＰ−ＳＬＩＣＥ、又はリフレッシュ用フレーム内符号化を示すＩ−ＳＬＩＣＥ  ＩＤＲ、又はシーンチェンジ用フレーム内符号化を示すＩ−ＳＬＩＣＥ  Ｎｏｎ−ＩＤＲの３種類がある。  
ＭＰＥＧ−４ Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅの場合は、フレーム間符号化を示すＰ−ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）、又はフレーム内符号化を示すＩ−ＶＯＰの２種類である。ＭＰＥＧ−４では、送信機側は、このフレーム内符号化を示すＩ−ＶＯＰをシーンチェンジ目的およびリフレッシュ目的の両方で使用するが、受信機側でそれを判別できる符号化識別データ構成にはなっていない。
【００１３】
図２は、実施例の動画像復号装置の主要部の構成を示すブロック図である。動画像復号装置の主要部は、エラー検出部１、符号化種別検出部２、復号部３、コンシールメント部４、復号画像バッファ５、フレームメモリ６、画像出力部７などにより構成されている。符号化ストリーム１ａは、図１に示したデータ構造の動画像符号化データである。  
エラー検出部１は、符号化ストリーム１ａにエラーが含まれているかを検出する。符号化種別検出部２は、スライスヘッダー（符号化識別データ）をチェックして、当該スライスの符号化種別を認識する。復号部３は、符号化種別に則り、スライスデータを復号画像バッファ５（ＤＰＢ：Decoded Picture Buffer）に蓄積されている画像等を参照して復号し、再び復号画像バッファ５に蓄積する。  
また、エラーが含まれている場合、コンシールメント部４は、符号化種別に則り、復号画像バッファ５に蓄積されている画像を参照してコンシールメント処理（修復処理）を行い、画像を再生して、再び復号画像バッファ５に蓄積する。  
フレームメモリ６は、再生した画像をフレーム単位で記憶する。画像出力部７は、フレーム画像データをコマ送りで連続して表示を行い、使用者はこれを動画像として認識する。
【００１４】
図３は、実施例のコンシールメント処理（修復処理）を説明する図である。例として、フレームＦ１、Ｆ３、Ｆ４、Ｆ６は、フレーム間符号化されたフレーム（以降、Ｐ−フレームと称する）であり、Ｐ−ＳＬＩＣＥから構成される。フレームＦ２、Ｆ５は、フレーム内符号化されたフレーム（以降、Ｉ−フレームと称する）であり、Ｉ−ＳＬＩＣＥから構成される。
【００１５】
今、フレームＦ２、Ｆ５のハッチングで図示したＩ−ＳＬＩＣＥにおいて、エラーが発生したとする。  
フレームＦ２は、シーンチェンジ用のＩ−フレームであり、すなわち、フレームＦ１とフレームＦ２とは画像内容が大きく切り替わっており、フレーム間の相関は小さい。従って、フレームＦ２内のエラーが発生したマクロブロックの近隣のマクロブロックを利用して、エラーが発生したマクロブロックをコンシールメント処理（符合Ｆ２ａ）する。
【００１６】
フレームＦ５は、リフレッシュ用に周期的に挿入されるＩ−フレームである。Ｉ−フレームの場合、従来は、エラーが発生したフレームＦ５内で近隣のマクロブロックを利用して、コンシールメント処理が行われる。本実施例では、Ｉ−フレームであっても、リフレッシュ用の場合には、前フレームのフレームＦ４とフレームＦ５とは相関が強いことを利用して、フレームＦ４の同一場所のマクロブロックを利用して、フレームＦ５のエラーが発生したマクロブロックをコンシールメント処理（符合５ａ）する。
【００１７】
図４は、復号画像バッファに蓄積された参照フレームを説明する図である。例として、５フレーム分のバッファＢＵＦ１〜ＢＵＦ５について説明する。復号画像バッファ５のバッファＢＵＦ１〜ＢＵＦ５には、復号されて表示に供されたフレームの復号画像データが記憶される。また、この復号画像データを次のフレームの復号用に参照するかどうかを示すピクチャ情報も合わせて記憶される。この状態を以下に説明する。  
フレームＦ４を復号開始する前（タイミングＴ４）には、フレームＦ４以前のフレームであるフレームＦ１〜Ｆ３の復号画像データがそれぞれバッファＢＵＦ１〜ＢＵＦ３に記憶されている（Ｂ４１〜Ｂ４３）。そして、フレームＦ４がＰ−フレーム、つまりフレーム間符号化であることが認識されると、フレームＦ１〜Ｆ３の復号画像データはフレームＦ４の復号で参照されるべきであるため、「used for short term referenceまたは、used for long term reference」（参照）がフレームＦ１〜Ｆ３の復号画像データと共に記憶される（Ｂ４１〜Ｂ４３）。
【００１８】
フレームＦ５を復号開始する前（タイミングＴ５）には、フレームＦ４で復号された復号画像データが新たにバッファＢＵＦ４に記憶されている（Ｂ５４）。そして、フレームＦ５がリフレッシュ用Ｉ−フレーム（Ｈ．２６４ではＩＤＲ）であることが認識されると、従来は、フレーム内符号化であることから、フレームＦ１〜Ｆ４のすべての復号画像データはフレームＦ４の復号で非参照の情報であるため、「unused for reference」（非参照）がクリア用に設定されて記憶されていた（Ｂ５１〜Ｂ５４）。  
しかし、本実施例では、フレームＦ５の直前のフレームＦ４の復号画像データに対して、フレームＦ５でエラーが発生した時のコンシールメント処理（修復処理）用に、修復用情報であることを示す「used for IDR concealment」（ＩＤＲ修復用）を設定する。そして、フレームＦ４の復号画像データと共に記憶して残しておく（Ｂ５４）。なお、この「used for IDR concealment」の設定は、直前のフレームＦ４のピ復号画像データに限らず、復号画像バッファ５に記憶されているフレームならば、いずれのフレームの復号画像データに対して設定してもよい。
【００１９】
フレームＦ６を復号開始する前（タイミングＴ６）には、フレームＦ５で復号された復号画像データが新たにバッファＢＵＦ５に記憶されている（Ｂ６５）。また、フレームＦ６がＰ−フレームであることが認識されると、これは、リフレッシュ用フレームＦ５の直後のＰ−フレームであることから、リフレッシュ用フレームＦ５を起点として参照して復号することを意味する。つまり、フレームＦ１〜Ｆ４の復号画像データは、「unused for reference」が設定され（Ｂ６１〜Ｂ６４）、フレームＦ５の復号画像データは、「used for short term referenceまたは、used for long term reference」が設定される（Ｂ６５）。この時の処理として、従来は、タイミングＴ５時のＢ５４の情報は「unused for reference」であり、タイミングＴ６時にはＢ６４の情報は同じ「unused for reference」にするため何も処理を行っていなかった。  
しかし、本実施例では、タイミングＴ５時のＢ５４の情報は「used for IDR concealment」であり、これを、タイミングＴ６時にはＢ６４の情報「unused for reference」に戻す処理を行う。
【００２０】
図５は、エラー検出部１、符号化種別検出部２、復号部３、コンシールメント部４等（図２）による復号画像バッファ（図４）の制御フローチャートであり、リフレッシュ用Ｉ−フレームのＦ５とその直後のＰ−フレームのＦ６に関連する箇所を説明する。  
フレームの復号を開始するにあたって、まず、当該フレームの符号化種別をチェックする（ステップＳ１）。これがリフレッシュ用Ｉ−フレーム（Ｈ．２６４ではＩＤＲ）であれば（図４のＦ５。タイミングＴ５）、直前のフレーム（Ｆ４）の復号画像データを「used for IDR concealment」（ＩＤＲ修復用）に設定する（ステップＳ２。図４のＢ５４）。  
そして、「used for short term referenceまたは、used for long term reference」（参照）を持つフレームの復号画像データ（図４のＢ４１、Ｂ４２、Ｂ４３）に対しては、「unused for reference」（非参照）を設定して（図４のＢ５１、Ｂ５２、Ｂ５３）、非参照（クリア）とする（ステップＳ３）。  
そして、リフレッシュ用Ｉ−フレームにエラーがある場合の復号処理において、復号画像バッファ内に「used for IDR concealment」（ＩＤＲ修復用）の情報を持つ参照フレームがあれば、当該参照フレームを用いて修復処理を行う。エラーがない場合の復号処理においては、Ｉ−フレームの復号であるため、前フレームを参照しないので、復号画像バッファ内に「used for IDR concealment」（ＩＤＲ修復用）の情報を持つ参照フレームが残っていても影響はない。
【００２１】
ステップＳ１において復号開始するフレームがリフレッシュ用Ｉ−フレームの直後のＰ−フレームであれば（図４のＦ６。タイミングＴ６）、復号画像バッファ内にある「used for IDR concealment」（ＩＤＲ修復用）情報を持つピクチャ情報（図４のＢ５４）を、「unused for reference」（非参照）に設定する（図４のＢ６４。ステップＳ４）。これにより、リフレッシュ用Ｉ−フレームＦ５以前のフレームＦ４の復号画像データをクリアすることができる。  
以上の処理の後、規格に従った処理を行う（ステップＳ５）。この詳細説明は省略する。
【００２２】
動画像は、一般に、時間方向の相関すなわちフレーム間の相関の方が、フレーム内の相関よりも、より強い特徴を有する。これにより、リフレッシュ用のＩ−フレームにおいてエラーが発生した時のコンシールメント処理がより的確に行うことができて、再生画質を更に向上することができる。
【００２３】
特に移動体向けの放送では、エラーの混入頻度が高く、またリフレッシュ用のＩ−フレームが２秒に１枚程度しか挿入されない。そのため、リフレッシュ用のＩ−フレームのコンシールメント処理の精度が悪いと、リフレッシュ用のＩ−フレームを起点としてそれに続くフレーム間符号化のＰ−フレームすべてが影響を受ける。このリフレッシュ用のＩ−フレームのコンシールメント処理の精度がより的確に行うことができて、再生画質を向上することができる。
【００２４】
しかも、この処理は、図５に示した簡易な処理により実施することができて、携帯電話機等の小型の機器において、容易に実施することができる。
【実施例１】
【００２５】
図６は、実施例１の動画像復号装置の動作を説明するフローチャートであり、図１に示したＨ．２６４のデータ構成における動作説明である。図５に示した復号画像バッファの制御動作を行った後に行う復号修復処理に関する。  
復号修復処理では、マクロブロック単位で、復号化処理を行い（ステップＳ１１）、並行してエラー検出を行う（ステップＳ１２）。エラー無しの場合、復号化処理（ステップＳ１１）を継続し、復号した画像データを復号画像バッファ５に蓄積する。  
エラー有りの場合、当該マクロブロックが存在するスライスの符号化識別データをチェックする（ステップＳ１３）。そして、符号化識別データがＩ−ＳＬＩＣＥ  ＩＤＲ（図４のタイミングＴ５）であれば、フレーム内符号化ではあるが、これはリフレッシュ用であるので、前フレームとの相関が強いと判断して、前フレームよりコンシールメント処理を行う（ステップＳ１４）。これは、図４で説明した復号画像バッファ内に「used for IDR concealment」（ＩＤＲ参照用）の情報を持つ参照フレーム（図４のＢ５４）があれば、当該参照フレームを用いることにより修復処理が行われる。  
符号化識別データがＩ−ＳＬＩＣＥ  Ｎｏｎ−ＩＤＲであれば（ステップＳ１５でＩ−ＳＬＩＣＥ  Ｎｏｎ−ＩＤＲ）、これはシーンチェンジ用であるので、前フレームとの相関は弱いため、現フレームよりコンシールメント処理を行う（ステップＳ１６）。  
符号化識別データがＰ−ＳＬＩＣＥであれば（ステップＳ１５でＰ−ＳＬＩＣＥ）、これはフレーム間符号化用であるので、前フレームとの相関が強いため、前フレームよりコンシールメント処理を行う（ステップＳ１７）。
【００２６】
これにより、リフレッシュ用のＩ−ＳＬＩＣＥ  ＩＤＲにおいてエラーが発生した時のコンシールメント処理をより的確に行うことができて、再生画質を向上することができる。
【実施例２】
【００２７】
図７は、実施例２の動画像復号装置の動作を説明するフローチャートであり、図１に示したＭＰＥＧ−４のデータ構成における動作説明である。図５に示した復号画像バッファの制御動作を行った後に行う復号修復処理に関する。  
ＭＰＥＧ−４では、送信（符号化装置）側は、Ｉ−ＶＯＰについては、リフレッシュ用かシーンチェンジ用かを認識して送信しているが、符号化識別データにこの区別がないため、復号装置側では直接判別することはできない。この判別方法について、以下に説明する。  
まず、符号化識別データをチェックして、Ｉ−ＶＯＰかＰ−ＶＯＰかを判断する。そして、Ｉ−ＶＯＰであれば、そのＩ−ＶＯＰが属するＩ−フレームに付随するＰＴＳ（Presentation Time Stamp）の間隔を複数回測定する。例えば１０回分の平均値を算出し、これがＩ−フレームの平均的な周期であり、これを記憶する（ステップＳ２１）。Ｉ−フレームは、リフレッシュ用とシーンチェンジ用が混在しているが、動画像の特性上、リフレッシュ用の方がシーンチェンジ用に比べると頻度が多い。そのため、例えば１０周期の平均値をとれば、周期的に送信されるリフレッシュ用のＩ−フレームの周期が略、得られる。  
これと並行して、通常の復号処理（ステップＳ２２）とエラー検出（ステップＳ２３）を行う。
【００２８】
エラー検出（ステップＳ２３）でエラー有りとなった時、Ｉ−ＶＯＰであるかＰ−ＶＯＰであるかをチェックする（ステップＳ２４）。そして、Ｉ−ＶＯＰであれば、当該Ｉ−ＶＯＰが属する当該Ｉ−フレームと前Ｉ−フレームとの時間差を測定し、この時間差がステップＳ２１で算出した平均値と略同じであるかを判断する（ステップＳ２５）。略同じであれば規則的、すなわちリフレッシュ用のＩ-ＶＯＰであると見なす（ステップＳ２６。図４のタイミングＴ５）。そして、前フレームとの相関が強いと判断して、前フレームよりコンシールメント処理を行う（ステップＳ２７）。これは、図４で説明した復号画像バッファ内に「used for IDR concealment」（ＩＤＲ参照用）の情報を持つ参照フレーム（図４のＢ５４）があれば、当該参照フレームを用いることにより修復処理が行われる。  ステップＳ２５で、当該Ｉ−フレームと前Ｉ−フレームとの時間差が、ステップＳ２１で算出した平均値と大きく異なっている場合は、シーンチェンジ用のＩ-ＶＯＰであると見なす（ステップＳ２８）。これは、前フレームとの相関は弱いため、現フレームよりコンシールメント処理を行う（ステップＳ２９）。  
ステップＳ２４で、Ｐ−ＶＯＰの場合、これはフレーム間符号化用であるので、前フレームとの相関が強いため、前フレームよりコンシールメント処理を行う（ステップＳ３０）。
【００２９】
これにより、リフレッシュ用のＩ−ＶＯＰにおいてエラーが発生した時のコンシールメント処理をより的確に行うことができて、再生画質を向上することができる。
【００３０】
なお、ステップＳ２１において、別の方法として、Ｉ−フレームの周期を複数回算出し、その周期の統計処理を行って、最多出現の周期をリフレッシュ用のＩ−フレームの周期と認識してもよい。また、リフレッシュ用のＩ- フレームの周期が予め定義されてわかっている場合は、規定値として記憶しておいてもよい。
【図面の簡単な説明】
【００３１】
【図１】一般的な動画像データの構成を説明する図。
【図２】本発明の実施形態に係る動画像復号装置の主要部の構成を示すブロック図。
【図３】本発明の実施形態に係るコンシールメント処理（修復処理）を説明する図。
【図４】本発明の実施形態に係る復号画像バッファに蓄積された参照フレームを説明する図。
【図５】本発明の実施形態に係る復号画像バッファの制御フローチャート。
【図６】本発明の実施例１に係る動画像復号装置の動作を説明するフローチャート。
【図７】本発明の実施例２に係る動画像復号装置の動作を説明するフローチャート。
【図８】従来の動画像のフレーム構成を説明する図。
【符号の説明】
【００３２】
１  エラー検出部
２  符号化種別検出部
３  復号部
４  コンシールメント部
５  復号画像バッファ
６  フレームメモリ
７  画像出力部
【図１】
0004020883.tif 000002
【図２】
0004020883.tif 000003
【図３】
0004020883.tif 000004
【図４】
0004020883.tif 000005
【図５】
0004020883.tif 000006
【図６】
0004020883.tif 000007
【図７】
0004020883.tif 000008
【図８】
0004020883.tif 000009