(57)【要約】【課題】従来は復号化の際、シーンチェンジが発生する直前、あるいはシーンが大きく変化するピクチャの直前の非参照ピクチャにエラーが発生した場合、シーンチェンジやシーンの変化に関係なくＭＶ値を補完していたので、復号画像の動きが不自然になる。【解決手段】相関判断部１１３は、非参照ピクチャでエラーが生じた場合、そのエラーピクチャの直前と直後の参照ピクチャのそれぞれについて、ピクチャ内に占めるイントラＭＢの比率をしきい値Ｆと比較して相関性の有無を判定する。更にそれら参照ピクチャの各ＭＢのＭＶ値の平均値、分散値を算出し、平均値及び分散値が小さな方の参照ピクチャを最も相関性があるピクチャとして選択する。これにより、シーンチェンジなどが発生する直前の非参照ピクチャにエラーが発生した場合でも、相関性のある方の参照ピクチャのＭＶ値でＭＶ値を補完することができるので、復号画像をより自然な動きにできる。【選択図】図１
2007208432.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、前記ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する動画像復号化装置であって、
前記動画像符号化データを復号して復号化係数データと復号化ＭＶデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化ＭＶデータを保持するＭＶ値保存手段と、
少なくとも前記ＭＶ値保存手段からのＭＶデータと前記復号手段からの前記復号化ＭＶデータとを使用してＭＶ値を算出するＭＶ算出手段と、
前記エラー検出手段によりエラーが検出されたピクチャが前記非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の１又は２以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、
前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが１枚でないときは、複数の前記補完対象ピクチャのそれぞれについて前記ＭＶ算出手段からのＭＶ値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完ＭＶ値を持つピクチャとして決定し、前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが１枚のときは、その補完対象ピクチャを、補完ＭＶ値を持つピクチャとして決定する補完用ピクチャ決定手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記ＭＶ値算出手段からのＭＶ値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記復号画像データ生成手段が前記エラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、前記補完用ピクチャ決定手段で決定された前記補完ＭＶ値を持つピクチャの復号化ＭＶデータを、前記ＭＶ値算出手段からのＭＶ値として補完するＭＶデータ補完手段と
を有することを特徴とする動画像復号化装置。
【請求項２】
動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、前記ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する復号化を、コンピュータを用いて実現させる動画像復号化プログラムであって、
前記コンピュータを、
前記動画像符号化データを復号して復号化係数データと復号化ＭＶデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化ＭＶデータを保持するＭＶ値保存手段と、
少なくとも前記ＭＶ値保存手段からのＭＶデータと前記復号手段からの前記復号化ＭＶデータとを使用してＭＶ値を算出するＭＶ算出手段と、
前記エラー検出手段によりエラーが検出されたピクチャが前記非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の１又は２以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、
前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが１枚でないときは、複数の前記補完対象ピクチャのそれぞれについて前記ＭＶ算出手段からのＭＶ値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完ＭＶ値を持つピクチャとして決定し、前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが１枚のときは、その補完対象ピクチャを補完ＭＶ値を持つピクチャとして決定する補完用ピクチャ決定手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記ＭＶ値算出手段からのＭＶ値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記復号画像データ生成手段が前記エラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、前記補完用ピクチャ決定手段で決定された前記補完ＭＶ値を持つピクチャの復号化ＭＶデータを、前記ＭＶ値算出手段からのＭＶ値として補完するＭＶデータ補完手段と
して機能させることを特徴とする動画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像復号化装置及び動画像復号化プログラムに係り、特にブロック単位の直交変換と量子化と可変長符号化を使用して作成された動画像符号化データを復号する際に発生したエラー処理を行う動画像復号化装置及び動画像復号化プログラムに関する。
【背景技術】
【０００２】
符号化対象のディジタル動画像信号に対して、ブロック単位の直交変換と量子化と可変長符号化を使用して生成された動画像符号化データを、復号化と逆量子化と逆直交変換を用いて動画像信号に復号化する動画像復号化装置において、ブロックのエラーが検出された場合、そのブロックと次に復号する隣接ブロックとが独立して復号できないと識別された時は、隣接ブロックの動きベクトルと、上記のエラーが検出されたブロックの動きベクトルとして、例えば、そのブロックの画面上真上のブロックの動きベクトルを設定する動画像復号化装置が知られている（例えば、特許文献１参照）。
【０００３】
図５は上記の特許文献１記載の従来の動画像復号化装置の一例のブロック図を示す。同図において、復号部５０１は、入力符号化データを復号する。ここで、符号化データは１フレームがブロック毎に分割され、その各ブロック毎に符号化され、かつ、時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式で符号化されている。エラー検出部５０２は、復号部５０１で復号中にエラーがあるかどうかを検出する。エラーが検出されないときは、復号部５０１が現在復号しているブロックの動きベクトルを動きベクトル記憶部５０５に記憶し、そのまま動きベクトル設定部５０６を介して動き補償復号部５０７へ出力する。
【０００４】
動き補償復号部５０７は、入力された動きベクトルに従い、フレームメモリ５０８より時間的に近傍な予測画像データを読み出して加算器５０４へ出力する。加算器５０４は復号部５０１からの復号された差分画像データと、動き補償復号部５０７からの予測画像データとを加算して、復号画像データを生成して外部へ出力する一方、フレームメモリ５０８に格納する。
【０００５】
エラー検出部５０２でエラーが検出された場合、エラーの影響を抑えるために、エラー判定部５０３において、エラーが検出されたブロック以降のブロックの特性を解析し、解析の結果、現エラーブロックと独立して復号できる場合は、エラーが検出されたブロック以降のブロックは正常に復号処理を行うことができるため、復号部５０１に対して正常復号処理可能であることを示すエラー判定信号を送出し、現エラーブロックのみをエラー処理する。
【０００６】
一方、解析の結果、現エラーブロックと独立して復号できない場合は、そのことを示すエラー判定信号を復号部５０１に供給し、復号部５０１で現在のエラーの影響が及ばない次の復号単位の直前までのすべてのブロックに対してもエラーブロックと見做して、動きベクトル記憶部５０５、動きベクトル設定部５０６を経由し、現エラーブロック（ここではマクロブロック：ＭＢ）に動きベクトル（Motion vector：ＭＶ）値を与える。
【０００７】
次に、エラーＭＢに関するＭＶ値の補完方法に関して説明する。動きベクトル設定部５０６では、エラーＭＢがピクチャの境界で発生したかどうか判定し（図７のステップ７０１）、ピクチャの境界でない場合には、図６に示すように、エラーの起きたＭＢの真上のＭＢのＭＶ値を補完に使用する（図７のステップ７０２）。
【０００８】
しかし、エラーの起きたＭＢがピクチャの一番上部である場合、補完するＭＶのデータが存在しない。そこで特許文献１では、エラーしたＭＢがピクチャの最上部の場合、または、ピクチャ単位の場合、すなわち、ピクチャ境界である場合は、エラーの起きたＭＢの補完するＭＶ値として（０，０）を設定する（図７のステップ７０３）。
【０００９】
【特許文献１】特開２００３−１７９９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１記載の従来の動画像復号化装置では、復号化の際、ピクチャ単位のエラー（以下、エラーピクチャともいう）が生じた場合、また、スライス境界のＭＢでエラー（以下、エラー境界ＭＢともいう）が生じた場合、ＭＶ値として（０，０）を補完する技術であるため、補完された画像データは以前に復号した参照ピクチャであり、動いている画像の場合、同じ画像が数枚続くことになり、復号画像が不自然な動きをする、という問題がある。
【００１１】
また、特許文献１記載の従来の動画像復号化装置では、参照ピクチャ、非参照ピクチャの区別なくエラー処理を行っているため、参照ピクチャにエラーが発生した場合、前の復号画像をそのまま用いるので、復号化順で後の非参照ピクチャ、参照ピクチャに与える影響が大きい、という問題もある。
【００１２】
本発明は以上の点に鑑みなされたもので、符号化した動画像を復号する際に発生したエラー処理をより効率的に行い、より自然な復号画像を得ることが可能な動画像復号化装置及び動画像復号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、第１の発明は、動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する動画像復号化装置であって、
動画像符号化データを復号して復号化係数データと復号化ＭＶデータとを出力する復号手段と、復号手段で復号される動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、動画像符号化データの復号化順を制御する復号化順制御手段と、復号化順を制御したことにより、復号化順制御手段から出力される制御信号に従い、復号手段から出力される復号化ＭＶデータを保持するＭＶ値保存手段と、少なくともＭＶ値保存手段からのＭＶデータと復号手段からの復号化ＭＶデータとを使用してＭＶ値を算出するＭＶ算出手段と、エラー検出手段によりエラーが検出されたピクチャが非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の１又は２以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、相関性判断手段により相関性ありと判断された補完対象ピクチャが１枚でないときは、複数の補完対象ピクチャのそれぞれについてＭＶ算出手段からのＭＶ値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完ＭＶ値を持つピクチャとして決定し、相関性判断手段により相関性ありと判断された補完対象ピクチャが１枚のときは、その補完対象ピクチャを補完ＭＶ値を持つピクチャとして決定する補完用ピクチャ決定手段と、復号手段から出力された復号化係数データに対し、逆量子化及び逆変換を行って得られた画像データが非参照ピクチャであるときは、復号化済みの参照ピクチャデータとＭＶ値算出手段からのＭＶ値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、参照ピクチャの復号画像データを復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、復号画像データ生成手段によりエラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、補完用ピクチャ決定手段で決定された補完ＭＶ値を持つピクチャの復号化ＭＶデータを、ＭＶ値算出手段からのＭＶ値として補完するＭＶデータ補完手段とを有することを特徴とする。
【００１４】
また、上記の目的を達成するため、第２の発明の動画像復号化プログラムは、コンピュータを、第１の発明の動画像復号化装置の各構成手段として機能させることを特徴とする。
【００１５】
本発明の動画像復号化装置及び動画像復号化プログラムでは、復号すべき非参照ピクチャにエラーが生じたことを検出した時は、その非参照ピクチャの復号化順で前及び／又は後の１又は２以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断し、相関性ありと判断された補完対象ピクチャが１枚でないときは、複数の補完対象ピクチャのそれぞれについてＭＶ算出手段からのＭＶ値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完ＭＶ値を持つピクチャとして決定し、相関性ありと判断された補完対象ピクチャが１枚のときは、その補完対象ピクチャを補完ＭＶ値を持つピクチャとして決定し、決定した補完ＭＶ値を持つピクチャのそのＭＶ値をエラーが検出された非参照ピクチャのＭＶ値として補完するようにしたため、そのエラーを検出した非参照ピクチャの前後でシーンチェンジが生じた場合、又はシーンの変化が大きい場合でも、適切なＭＶ値を選択・決定できる。
【発明の効果】
【００１６】
本発明によれば、復号時にエラーが検出された非参照ピクチャの復号化順で前及び／又は後の１又は２以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断し、相関性がある参照ピクチャのＭＶ値をエラーが検出された非参照ピクチャのＭＶ値として補完することにより、そのエラーを検出した非参照ピクチャの前後でシーンチェンジが生じた場合、又はシーンの変化が大きい場合でも、適切なＭＶ値を選択・決定できるため、より自然な動きをする復号画像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像復号化装置の一実施の形態のブロック図、図２は本発明になる動画像復号化プログラムによりコンピュータで復号化動作するときの一実施の形態のフローチャートを示す。図１に示すように、本実施の形態は、動画像信号の一画面を複数の画素数からなる画像領域であるブロック単位の直交変換と量子化と可変長符号化とを使用した、ＭＰＥＧ等の符号化方式で符号化して得た動画像符号化データのデータ系列であるビットストリーム１０１に対して復号化を行う装置であって、ビットストリーム１０１を保持するメモリ１０２と、メモリ１０２からの動画像符号化データを復号する復号部１０３と、復号部１０３からの復号データを逆量子化する逆量子化部１０４と、符号化部側の直交変換とは逆変換を行う逆変換部１０５と、少なくともメモリ１０２に出力すべき符号化データを指示する復号順制御部１１２を有する。また、動画像復号化装置は、加算器１０７と、エラー処理部１０８と、ＭＶ算出部１０９と、ＭＣ部１１０と、フレームメモリ１１１と、相関判断部１１２と、ＭＶ値保存部１１４とを有する。
【００１８】
メモリ１０２は、保持したビットストリーム１０１を、復号順制御部１１２からの制御信号に基づいて、ビットストリーム１０１を構成する動画像符号化データを復号部１０３へ出力する。復号部１０３は、メモリ１０２から入力された動画像符号化データを復号する。復号部１０３は、動画像符号化データの復号ができない場合、すなわち、動画像符号化データにピクチャ単位又はスライスの最上部の位置の任意のブロック単位でエラーが生じた場合は、エラー処理部１０８にエラーを報告し、復号ができている場合は、逆量子化部１０４に復号して得られた係数データを出力し、ＭＶ算出部１０９に復号して得られた動きベクトル（ＭＶ）値データを出力する。逆量子化部１０４は、復号部１０３から入力される係数データを逆量子化し、得られたデータを逆変換部１０５へ出力して、符号化時の直交変換とは逆変換を行わせる。
【００１９】
エラー処理部１０８は、復号部１０３でエラーと判断された場合に、エラーピクチャデータ、又はエラー境界ＭＢデータが入力され、後述するエラー処理を行う。ＭＶ算出部１０９は、復号されたＭＶ値データ及びＭＶ値保存部１１４より入力されるＭＶ値データを使用し、算出該当ＭＢの周辺情報などを使用してＭＶ値を算出する。また、非参照ピクチャでは、非参照ピクチャの前後の参照ピクチャのＭＶ値を使用して、ＭＶ値を算出することもできる。ＭＶ算出部１０９は、算出したＭＶ値をＭＣ部１１０に出力する。また、算出したＭＶ値のピクチャが参照ピクチャである場合は、ＭＶ値保存部１１４にもＭＶ値データを出力する。エラー処理におけるＭＶ値補完に関しては、後に詳しく説明する。
【００２０】
ＭＣ部１１０は、ＭＶ算出部１０９で算出されるＭＶ値と、フレームメモリ１１１より入力される参照ピクチャとを使用してＭＣ画像（動き補償画像）を作成し、作成したＭＣ画像を加算器１０７に供給して逆変換部１０５から出力されるデータと加算させて復号画像出力１０６を生成させる。フレームメモリ１１１は加算器１０７より入力される復号化された画像データを保持すると共に、必要に応じてＭＣ部１１０へ復号画像データを出力する。
【００２１】
なお、参照ピクチャはそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照されるピクチャで、ＭＣ画像を生成するために用いられる一画面分の画像データであり、非参照ピクチャはそのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべきピクチャで、ＭＣ画像を生成するためには使用されない一画面分の画像データである。
【００２２】
復号順制御部１１２は、エラー処理部１０８で復号化順を制御する必要がある場合に、メモリ１０２から復号部１０３への動画像符号化データの出力を制御する。相関判断部１１３は、エラー処理部１０８から入力される後述のデータ構造２のデータ及びＭＶ値保存部１１４から入力されるＭＶ値データを使用して、エラーピクチャとエラーを補完するピクチャとの相関性を算出し、更新したデータ構造２のデータを作成し、エラー処理部１０８へ出力する。相関判断部１１３の動作については後に詳細に説明する。ＭＶ値保存部１１４は、ＭＶ算出部１０９より入力されるＭＶ値データを保持し、また必要に応じて、保持しているＭＶ値データをＭＶ算出部１０９へ出力する。
【００２３】
なお、本実施の形態では、ＭＶ値保存部１１４が保存するＭＶ値データは、直前の参照ピクチャとしているが、本発明はこれに限らない。また、面内予測を行うブロックのＭＶ値には（０，０）をセットする。保存するＭＶ値データのデータ構造はデータ構造１とする。ここで、このデータ構造１と、前記データ構造２は以下の構造である。
【００２４】
［データ構造１］：（イントラ／インタースライス判別フラグ、ピクチャ番号、ピクチャ
内の任意のブロック数分の［イントラ／インター、ＭＶ値（Ｘ，Ｙ）］）
［データ構造２］：（エラーピクチャ番号、補完ＭＶピクチャ番号）
次に、図１の実施の形態の動作について、図２のフローチャートを併せ参照して説明する。図１のメモリ１０２は、動画像符号化データが時系列的に合成されている入力ビットストリーム１０１を保存し（図２のステップ２０１の処理１）、保存したビットストリーム１０１の動画像符号化データを出力する（図２のステップ２０２の処理２）。続いて、図１の復号部１０３により入力された動画像符号化データの復号が行われる（図２のステップ２０３の処理３）。
【００２５】
復号部１０３は上記の復号が正常に行われたかどうかを判断し（図２のステップ２０４の分岐１）、復号が正常に行われなかったと判断した場合（すなわち、エラーが発生したと判断した場合）は、エラー処理部１０８により後述するエラー処理を行わせてデータ構造２のデータを作成し、相関判断部１１３へ出力する（図２のステップ２０５）。
【００２６】
また、このとき、復号順制御部１１２は、エラー処理部１０８から復号化しているデータがエラーであることが伝えられ、そのエラー検出された復号化データのピクチャが、そのピクチャ自身のＭＶ値データが他のピクチャの復号の際に参照される参照ピクチャ（すなわち、ＭＰＥＧで規定された面内予測符号化画像（Ｉピクチャ）、又は片側方向予測符号化画像（Ｐピクチャ））であると判定したときは、メモリ１０２に対して、エラーピクチャの復号化順で次の復号化データを復号部１０３に出力するように指示する復号化制御を行う。
【００２７】
相関判断部１１３は、エラー処理部１０８からのデータ構造２のデータと、ＭＶ値保存部１１４から入力される前記データ構造１のデータとを使用し、画像の相関性を検出し、より効果の大きい補完を行うことができるデータ構造２のデータを作成する（図２のステップ２０６の相関判定処理）。この相関判断部１１３の相関判定処理については、後に詳細に説明する。
【００２８】
続いて、ＭＶ算出部１０９が、ステップ２０５のエラー処理、又はステップ２０６の相関判定処理で算出されたデータ構造２のデータと、ＭＶ値保存部１１４に保存されているデータ構造１のデータとを使用し、エラーピクチャとエラーを補完するピクチャとのピクチャ間隔から補完するＭＶ値を算出する（図２のステップ２０７の処理４）。
【００２９】
続いて、ＭＣ部１１０が、ステップ２０７で算出されたＭＶ算出部１０９からのＭＶ値と、フレームメモリ１１１から読み出された参照ピクチャの画像データとから動き補償画像（ＭＣ画像）を作成して加算器１０７へ出力して逆変換部１０５からのデータと加算して復号画像を生成させる（図２のステップ２０８の処理５）。
【００３０】
他方、ステップ２０４で復号が正常に行われたと判断されたときは、ＭＰＥＧ（Moving Picture Experts Group）に代表される一般的な復号処理が行われる（図２のステップ２０９の処理６）。すなわち、このステップ２０９の処理６では、復号部１０３から復号されて出力された係数データが逆量子化部１０４で逆量子化された後、逆変換部１０５で逆変換された後加算器１０７に供給される一方、復号部１０３から復号されて出力されたＭＶデータがＭＶ算出部１０９によりＭＶ値として算出された後ＭＣ部１１０に供給され、ここでフレームメモリ１１１より入力される参照ピクチャを使用してＭＣ画像が作成されて加算器１０７に供給される。これにより、加算器１０７からは復号画像出力１０６が出力され、また必要に応じてフレームメモリ１１１に格納される。
【００３１】
上記のステップ２０８の処理５又はステップ２０９の処理６が終了すると、作成した復号画像が参照ピクチャであるかどうか判定され（図２のステップ２１０の分岐２）、作成した復号画像が参照ピクチャであると判定されたときは、ＭＣ部１１０でのＭＣ画像作成時に用いたＭＶ値をＭＶ値保存部１１４に保存し、この際、面内予測を行うブロックのＭＶ値には（０，０）をセットする（図２のステップ２１１の処理７）。ステップ２１０の分岐２で作成した復号画像が参照ピクチャではない（非参照ピクチャである）と判定されたときは、処理７を行わずに復号化処理を終了する。なお、非参照ピクチャは、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべきピクチャであり、ＭＰＥＧの場合、双方向予測符号化画像（Ｂピクチャ）である。
【００３２】
次に、本実施の形態の要部を構成する、相関性を算出する相関判断部１１３について、図３を参照して詳細に説明する。相関判断部１１３は、エラー処理部１０８から入力されるデータ構造２のデータを解析し、補完対象ピクチャが１枚であるかどうかを判断する（図３のステップ３０１の分岐１）。ここで、補完対象ピクチャとは、エラー検出された復号化データのピクチャ（エラーピクチャ）が参照ピクチャであるときはそのエラーピクチャの復号順で直前の参照ピクチャがＭＶ値を有している場合は、その参照ピクチャであり、直前の参照ピクチャがＭＶ値を有していない場合（例えば、Ｉピクチャの場合）は、その直後のＭＶ値を有する参照ピクチャである。また、エラーピクチャが非参照ピクチャであり、その前後のＭＶ値を有する参照ピクチャを復号時に使用する場合は、それら前後の参照ピクチャが補完対象ピクチャである。
【００３３】
相関判断部１１３は、図３のステップ３０１で補完対象ピクチャが１枚であると判断したときは、後述するステップ３０６の処理４にて、その補完対象ピクチャを前記ピクチャと決定する。一方、相関判断部１１３は、ステップ３０１で補完対象ピクチャが複数枚であると判断した場合、各補完対象ピクチャ内に占めるイントラＭＢの存在比率（以下、イントラ率という）を補完対象ピクチャ毎にそれぞれ算出する（図３のステップ３０２の処理１）。
【００３４】
続いて、相関判断部１１３は、ステップ３０２で算出した各ピクチャのイントラ率と、予め定められたしきい値Ｆとを比較し、イントラ率＜しきい値Ｆの関係を満たしている場合は相関性があると判断し、イントラ率≧しきい値Ｆの関係を満たしている場合は相関性がないと判断する（図３のステップ３０３の処理２）。これにより、例えば、相関性を判断すべき補完対象ピクチャが、エラーピクチャに対してシーンチェンジポイント後のピクチャ、または予測が難しいピクチャの場合は相関性がないと判断され、シーンチェンジポイント前のピクチャ、または予測が簡単なピクチャの場合は相関性があると判断される。
【００３５】
続いて、相関判断部１１３は、ステップ３０３で相関性があると判断された補完対象ピクチャが１枚であるかどうか判断する（図３のステップ３０４の分岐２）。相関性があると判断された補完対象ピクチャが１枚であるときは、その補完対象ピクチャを補完するＭＶ値を持つピクチャと決定する（図３のステップ３０６の処理４）。
【００３６】
一方、相関性判断部１１３は、ステップ３０４で相関性があると判断された補完対象ピクチャが１枚ではなかったと判断した時は、各補完対象ピクチャについて、そのピクチャを構成する複数ブロックのＭＶ値の平均値と分散値をそれぞれ算出し（図３のステップ３０５の処理３）、その中で平均値及び分散値共に最も小さいピクチャを補完するＭＶ値を持つピクチャと決定する（図３のステップ３０６の処理４）。
【００３７】
ただし、複数枚の相関性があると判断された補完対象ピクチャのうち、平均値が最も小さいピクチャと分散値が最も小さいピクチャとが異なる場合は、ＭＶ値の平均値の小さい方のピクチャを、補完するＭＶ値を持つピクチャと決定する。この場合の一例を表１に示す。
【００３８】
【表１】
2007208432.tif 000003
表１に示すように、ピクチャＡ及びピクチャＢがともに相関性あると判断された補完対象ピクチャであると仮定する。算出した平均値がパターン１、つまりピクチャＡ＜ピクチャＢの場合、最も相関性があるピクチャとして決定されるのはピクチャＡとなる。また、パターン２は、ピクチャＡ＞ピクチャＢの場合であり、最も相関性があるピクチャとして決定されるのはピクチャＢとなる。
【００３９】
そして、ステップ３０６で補完するＭＶ値を持つピクチャと決定されたエラー補完対象ピクチャを使用し、データ構造２のデータを作成する（図３のステップ３０７の処理５）。なお、図３のステップ３０６での補完するＭＶ値を持つピクチャの決定方法は、平均値が小さい方の補完対象ピクチャを選択する方法に限定されるものではなく、分散値の小さい方のピクチャを選択するようにしてもよく、また相関性があると判断された複数枚の補完対象ピクチャから１枚を選択しているが、複数枚を選択してもよく、それらのＭＶ値の平均値などでエラーピクチャのＭＶ値を補完することも可能である。
【００４０】
次に、図１に示した本発明の動画像復号化装置の一実施の形態と、従来の動画像復号化装置（従来技術というものとする）の動作を比較した一例について、図４と共に説明する。図４（Ａ）、（Ｂ）において、Ｐ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４の順でピクチャが表示されるものとする。ここで、Ｐ０、Ｐ３は片側方向予測符号化画像（Ｐピクチャ）を示し、Ｂ１、Ｂ２、Ｂ４は双方向予測符号化画像（Ｂピクチャ）を示し、Ｐ、Ｂの次の数字は、表示の順番を示す。また、ピクチャＢ２とピクチャＰ３の間でシーンチェンジが発生したものとする。
【００４１】
この場合、シーチェンジの直前の非参照ピクチャであるピクチャＢ２でエラーが発生した場合、従来技術では図４（Ｂ）に示すように、エラーピクチャであるＢ２の前後の複数枚の参照ピクチャであるピクチャＰ０とＰ３を補完するＭＶ値を持つピクチャであると判断する。しかし、ピクチャＢ２とピクチャＰ３でシーンが変化しており、ピクチャＰ３のＭＶ値は純粋にピクチャＰ０から予測した適切なＭＶ値ではない。
【００４２】
これに対し、本実施の形態では、非参照ピクチャであるピクチャＢ２でエラーが生じた場合、そのエラーピクチャＢ２の直前と直後の参照ピクチャであるピクチャＰ０とピクチャＰ３のそれぞれについて、ピクチャ内に占めるイントラＭＢの比率をしきい値Ｆと比較して相関性の有無を判定し、ピクチャＰ３とピクチャＰ０の各ＭＢのＭＶ値の平均値、分散値を算出し、この場合はＭＶ値の平均値、分散値を算出すると、エラーピクチャＢ２と同じシーンのピクチャＰ０の平均値及び分散値の方が、シーンチェンジ発生後のピクチャＰ３の平均値及び分散値よりも小さいので、最も相関性があるピクチャとしてピクチャＰ０のみが選択され、図４（Ａ）に示すように、ＭＶ値を補完するピクチャとして、最も適当なピクチャＰ０を決定することができる。
【００４３】
なお、本発明は、上記の装置の機能をコンピュータに実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００４４】
また、以上の実施の形態では、Ｉピクチャ及びＰピクチャを参照ピクチャとし、Ｂピクチャを非参照ピクチャとして説明したが、本発明はこれに限定されるものではなく、符号化規格（例えば、Ｈ.２６４規格）によっては、Ｂピクチャでも参照ピクチャとなり得、また、Ｐピクチャを非参照ピクチャと設定することも可能である。また、エラーピクチャが非参照ピクチャである場合、その前後のＭＶ値を有する参照ピクチャを補完対象ピクチャとして説明したが、符号化規格（例えば、Ｈ.２６４規格）によっては、前方向２枚の参照ピクチャを補完対象ピクチャとしてもよいし、後方向２枚の参照ピクチャを補完対象ピクチャとしてもよく、更には直前あるいは直後の参照ピクチャに限定されるものでもない。
【産業上の利用可能性】
【００４５】
エラー処理が必要とされる通信機器、モバイル機器などで使用される動画像復号化装置に有効である。
【図面の簡単な説明】
【００４６】
【図１】本発明装置の一実施の形態のブロック図である。
【図２】本発明装置の概略動作説明用フローチャートである。
【図３】図１中の相関判断部の動作説明用フローチャートである。
【図４】本発明の一実施の形態と従来技術の補完ピクチャの違いを説明する図である。
【図５】従来装置の一例のブロック図である。
【図６】特許文献１のＭＢ単位のＭＶ補完図である。
【図７】特許文献１のＭＶ補完に関するフローチャートである。
【符号の説明】
【００４７】
１０１  入力ビットストリーム
１０２  メモリ
１０３  復号部
１０４  逆量子化部
１０５  逆変換部
１０６  復号画像出力
１０７  加算器
１０８  エラー検出部
１０９  ＭＶ値算出部
１１０  ＭＣ部
１１１  フレームメモリ
１１２  復号順制御部
１１３  相関判断部
１１４  ＭＶ値保存部
【図１】
2007208432.tif 000004
【図２】
2007208432.tif 000005
【図３】
2007208432.tif 000006
【図４】
2007208432.tif 000007
【図５】
2007208432.tif 000008
【図６】
2007208432.tif 000009
【図７】
2007208432.tif 000010