(57)【要約】【課題】参照画像の欠落が発生しても、画像の復号処理において画像の乱れを抑制する。【解決手段】動画像復号装置（１）は、復号済みの画像を参照して画像を復号する復号部（１１）と、復号対象の画像の復号処理において参照すべき画像および実際に参照される画像を特定し、参照すべき画像と実際に参照される画像とが異なる場合に参照すべき画像の欠落を検出する参照画像欠落検出部（１４）と、を備え、復号部（１１）は、参照画像欠落検出部（１４）が欠落を検出した場合に復号対象の画像の復号処理をスキップする。【選択図】図１
2011044771.tif 000002
【特許請求の範囲】
【請求項１】
復号済みの画像を参照して画像を復号する復号部と、
復号対象の画像の復号処理において参照すべき画像および実際に参照される画像を特定し、前記参照すべき画像と前記実際に参照される画像とが異なる場合に前記参照すべき画像の欠落を検出する参照画像欠落検出部と、を備え、
前記復号部は、前記参照画像欠落検出部が前記欠落を検出した場合に前記復号対象の画像の復号処理をスキップする
ことを特徴とする動画像復号装置。
【請求項２】
請求項１の動画像復号装置において、
前記参照画像欠落検出部は、前記復号対象の画像および前記復号済みの画像に係る画像情報から前記参照すべき画像および前記実際に参照される画像をそれぞれ特定する
ことを特徴とする動画像復号装置。
【請求項３】
請求項１の動画像復号装置において、
前記復号部は、前記参照画像欠落検出部が前記欠落を検出した場合に前記復号対象の画像の復号処理をスキップするか否かが切り替え可能に構成されている
ことを特徴とする動画像復号装置。
【請求項４】
復号済みの画像を参照して画像を復号する復号部と、
前記復号部で復号された画像を出力する出力部と、
復号対象の画像の復号処理において参照すべき画像および実際に参照された画像を特定し、前記参照すべき画像と前記実際に参照された画像とが異なる場合に前記参照すべき画像の欠落を検出する参照画像欠落検出部と、を備え、
前記出力部は、前記参照画像欠落検出部が前記欠落を検出した場合に前記復号部で復号された画像の出力処理をスキップする
ことを特徴とする動画像復号装置。
【請求項５】
請求項４の動画像復号装置において、
前記参照画像欠落検出部は、前記復号対象の画像および前記復号済みの画像に係る画像情報から前記参照すべき画像および前記実際に参照された画像をそれぞれ特定する
ことを特徴とする動画像復号装置。
【請求項６】
請求項４の動画像復号装置において、
前記出力部は、前記参照画像欠落検出部が前記欠落を検出した場合に前記復号部で復号した画像の出力処理をスキップするか否かが切り替え可能に構成されている
ことを特徴とする動画像復号装置。
【請求項７】
請求項２および５のうち何れか１つの動画像復号装置において、
前記画像情報は、表示順番号である
ことを特徴とする動画像復号装置。
【請求項８】
請求項２および５のうち何れか１つの動画像復号装置において、
前記画像情報は、表示時間である
ことを特徴とする動画像復号装置。
【請求項９】
請求項２および５のうち何れか１つの動画像復号装置において、
前記画像情報は、復号時間である
ことを特徴とする動画像復号装置。
【請求項１０】
請求項２および５のうち何れか１つの動画像復号装置において、
前記画像情報は、参照管理番号である
ことを特徴とする動画像復号装置。
【請求項１１】
復号済みの画像を参照して画像を復号する第１のステップと、
前記第１のステップで参照すべき画像を特定する第２のステップと、
前記第１のステップで実際に参照される画像を特定する第３のステップと、
前記参照すべき画像と前記実際に参照される画像とが異なる場合に前記参照すべき画像の欠落を検出する第４のステップと、
前記欠落が検出された場合に、前記第１のステップをスキップする第５のステップと、を備えている
ことを特徴する動画像復号方法。
【請求項１２】
請求項１１の動画像復号方法において、
前記第２のステップでは、前記第１のステップでの復号対象の画像に係る画像情報から前記参照すべき画像を特定し、
前記第３のステップでは、前記復号済みの画像に係る画像情報から前記実際に参照される画像を特定する
ことを特徴する動画像復号方法。
【請求項１３】
復号済みの画像を参照して画像を復号する第１のステップと、
前記第１のステップで復号された画像を出力する第２のステップと、
前記第１のステップで参照すべき画像を特定する第３のステップと、
前記第１のステップで実際に参照された画像を特定する第４のステップと、
前記参照すべき画像と前記実際に参照された画像とが異なる場合に前記参照すべき画像の欠落を検出する第５のステップと、
前記欠落が検出された場合に、前記第２のステップをスキップする第６のステップと、を備えている
ことを特徴する動画像復号方法。
【請求項１４】
請求項１３の動画像復号方法において、
前記第３のステップでは、前記第１のステップでの復号対象の画像に係る画像情報から前記参照すべき画像を特定し、
前記第４のステップでは、前記復号済みの画像に係る画像情報から前記実際に参照された画像を特定する
ことを特徴する動画像復号方法。
【請求項１５】
請求項１２および１４のうち何れか１つの動画像復号方法において、
前記画像情報は、表示順番号である
ことを特徴とする動画像復号方法。
【請求項１６】
請求項１２および１４のうち何れか１つの動画像復号方法において、
前記画像情報は、表示時間である
ことを特徴とする動画像復号方法。
【請求項１７】
請求項１２および１４のうち何れか１つの動画像復号方法において、
前記画像情報は、復号時間である
ことを特徴とする動画像復号方法。
【請求項１８】
請求項１２および１４のうち何れか１つの動画像復号方法において、
前記画像情報は、参照管理番号である
ことを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号装置に関し、特に、画像の乱れを抑制する技術に関する。
【背景技術】
【０００２】
近年、デジタル放送受信の固定用端末だけでなく移動体用端末でもＩＳＯ／ＩＥＣ（International Organization for Standardization／International Electrotechnical Commission）標準の標準番号１１１７２で規定されるＭＰＥＧ−１（Moving Picture Experts Group）、ＩＳＯ／ＩＥＣ標準の標準番号１３８１８で規定されるＭＰＥＧ−２、およびＩＳＯ／ＩＥＣ標準の標準番号１４４９６−１０で規定されるＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ（Advanced Video Coding）などの国際標準で規定されるデジタル放送受信機器が普及しつつある。
【０００３】
ＭＰＥＧ−１方式、またはＭＰＥＧ−２方式で符号化された画像は、図１２のように、シーケンス、ＧＯＰ（Group Of Pictures）、ピクチャという階層から構成されている。シーケンスは、同じ属性を持つ一連のピクチャのグループであり、ＧＯＰは、ランダムアクセスの単位となるピクチャのグループの最小単位である。ピクチャは、１枚のピクチャデータ（フレーム）で構成される符号化画像の基本単位である。なお、ピクチャは、参照符号化によりデータの圧縮を図るため、フレーム内符号化画像であるＩピクチャ、フレーム間順方向予測符号化画像であるＰピクチャ、およびフレーム間双方向予測符号化画像であるＢピクチャの３種類のタイプが存在する。
【０００４】
図１３は、符号化画像を復号する際の参照方法を示している。矢印は参照の方向であり、矢印の先にある符号化画像は、矢印の元にある符号化画像を参照して復号されることを示している。また、枠内の記号は符号化画像の種類を示し、数字は出力順序を示している。例えば、ＩピクチャであるＩ２は、フレーム内符号化画像であるため、他の符号化画像を参照せずに復号される。ＰピクチャであるＰ５は、フレーム間順方向予測により、Ｉ２を参照して復号される。また、ＢピクチャであるＢ３は、フレーム間双方向予測により、Ｉ２とＰ５を参照して復号される。
【０００５】
符号化画像の復号順序と出力順序について、図１４を参照して説明する。参照画像であるＩピクチャやＰピクチャは、他のＰピクチャやＢピクチャから参照されるまでに復号される必要がある。そのため、符号化画像は図１４（ａ）のような順序で構成される。例えば、Ｐ５はＢ３およびＢ４から参照されるため、出力順序では後になるＰ５をＢ３およびＢ４よりも先に復号しておく必要がある。このように、符号化画像は出力する順序で復号されないため、図１４（ｂ）のように復号した画像データは並べ替えて出力される。
【０００６】
ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式で符号化された画像は、図１５のように、ランダムアクセスが可能なＩＤＲ（Instantaneous Decodeing Refresh）ピクチャとそれ以外のｎｏｎ−ＩＤＲピクチャ（Ｉピクチャ、Ｐピクチャ、またはＢピクチャ）で構成される。ＩＤＲピクチャおよびｎｏｎ−ＩＤＲピクチャは、アクセスユニットの先頭であることを示すＡＵデリミタ（Access Unit Delimiter）、シーケンス全体の符号化に関わる情報を含むＳＰＳ（Sequence Parameter Set）、ピクチャ全体の符号化に関わる情報を含むＰＰＳ（Picture Parameter Set）、復号に必須ではない復号情報に関わる情報を含むＳＥＩ（Supplemental Enhancement Information ）、符号化画像、冗長符号化画像、およびシーケンスの終端であることを示すＥＯＳ（End of Sequence）、ストリーム全体の終端であることを示すＥＯＳ（End of Stream）から構成される。これらの構成要素はすべて含まれる必要はなく、必要に応じて一部の構成要素だけで構成される。
【０００７】
符号化画像は複数のスライスから構成され、各スライスには、フレーム内予測のみで符号化したＩスライス、１つの別フレームの画像サンプルを用いた予測によって符号化したＰスライス、２つの別フレームの画像サンプルを用いた予測によって符号化したＢスライスがある。なお、１つの符号化画像に異なる種類のスライスを混在させることも可能である。そのため、ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式の符号化画像には、Ｉスライスのみで構成されるＩＤＲピクチャとＩピクチャ、Ｉスライス、Ｐスライスで構成されるＰピクチャ、Ｉスライス、Ｐスライス、およびＢスライスで構成されるＢピクチャがある。これらの各構成要素はＮＡＬ（Network Abstraction Layer ）ユニットという形式で符号化されており、ＮＡＬユニットのヘッダ情報を確認することにより、ＮＡＬユニットに格納される各構成要素の種類を特定することができる。また、ＮＡＬユニットのヘッダ情報には、他のＮＡＬユニットから参照されるＮＡＬユニットであることを示すnal_ref_idcも含まれる。スライスで構成されたＮＡＬユニットの場合は、参照画像のスライスであることを示す。ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式における参照方法には、ＭＰＥＧ−１、ＭＰＥＧ−２とは異なる特徴がある。その特徴は、ＩＤＲピクチャ、Ｉピクチャ、ＰピクチャおよびＢピクチャのすべてが参照画像となる可能性があることおよびＩＤＲピクチャを超える参照はできないということである。
【０００８】
図１６は、符号化画像を復号する際の参照方法の一例を示している。矢印は参照の方向であり、矢印の先にある符号化画像は、矢印の元にある符号化画像を参照して復号することを示している。また、枠内の記号は符号化画像の種類を示し、枠内にｒｅｆと記載している符号化画像は参照画像であることを示している。
【０００９】
以上のように、符号化画像は他の符号化画像を参照しながら復号される。そのため、参照画像で復号エラーが生じると、その参照画像を参照して復号される符号化画像でも復号エラーが生じることになる。
【００１０】
例えば、図１７に示すように、ＭＰＥＧ−１方式、またはＭＰＥＧ−２方式で符号化された画像において、Ｐ５で復号エラーが発生した場合、Ｐ５を参照するＢ３、Ｂ４、Ｂ６、Ｂ７およびＰ８を復号する際にも復号エラーが発生してしまうため画像が乱れる。さらにＰ８を参照するＢ９、Ｂ１０およびＰ１１の復号の際にも同様に復号エラーが発生してしまうため、次のＩピクチャを復号するまで画像が乱れてしまう。そのため、復号エラーが発生した場合は、次のＩピクチャが復号されるまで、乱れた画像を表示させないように制御することが望ましい。例えば、参照画像であるＩピクチャ、Ｐピクチャの復号エラーが発生したら、次のＩピクチャまで符号化画像を破棄するものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平８−２６５７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の動画像復号装置は、Ｂピクチャの復号エラーが発生しても、Ｂピクチャは他の符号化画像から参照されないためＢピクチャに連続する符号化画像を復号しようとする。その結果、復号エラーが発生したＢピクチャに連続する符号化画像が欠落している場合、欠落した画像を参照する符号化画像の復号処理において、正しい参照画像を参照できずに復号されるためその画像を表示すると画像の乱れが発生するおそれがある。例えば、図１８のように、Ｂ３に連続する符号化画像が欠落している場合、Ｂ３で復号エラーが発生した後にＢ７を復号しようとする。この場合、Ｂ７が参照するはずのＰ８は欠落しているため、正しい参照画像を参照できずにＢ７が復号されてしまい画像の乱れが発生するおそれがある。また、符号化画像の１つが欠落し、それが参照画像である場合、復号エラーが発生しないにもかかわらず画像の乱れが発生するおそれがある。例えば、図１９のようにＰ８が欠落している場合、復号対象のＢ６はＰ８を参照すべきであるが実際にはＰ５を参照して復号される。その結果、復号エラーは発生しないが、正しい参照画像を参照できずに復号されるためその画像を表示すると画像の乱れが発生するおそれがある。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、符号化された動画像の再生時における画像の乱れを抑制することを課題とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決するため、本発明によって、次のような手段を講じた。すなわち、動画像復号装置として、復号済みの画像を参照して画像を復号する復号部と、復号対象の画像の復号処理において参照すべき画像および実際に参照される画像を特定し、参照すべき画像と実際に参照される画像とが異なる場合に参照すべき画像の欠落を検出する参照画像欠落検出部と、を備え、復号部は、参照画像欠落検出部が欠落を検出した場合に復号対象の画像の復号処理をスキップするものとする。
【００１５】
これによると、復号対象の画像の復号の際に参照すべき画像と実際に参照される画像とが異なっていれば参照すべき画像が欠落しているために正しい復号ができないと判断して、その復号対象の画像の復号処理がスキップされる。これにより、不正に符号された画像が連続することによる画像の乱れを抑制することができる。
【００１６】
また、動画像復号装置として、復号済みの画像を参照して画像を復号する復号部と、復号部で復号された画像を出力する出力部と、復号対象の画像の復号処理において参照すべき画像および実際に参照された画像を特定し、参照すべき画像と実際に参照された画像とが異なる場合に参照すべき画像の欠落を検出する参照画像欠落検出部と、を備え、出力部は、参照画像欠落検出部が欠落を検出した場合に復号部で復号された画像の出力処理をスキップするものとする。
【００１７】
これによると、復号された画像の出力の際に復号処理においてその画像が参照すべき画像と実際に参照された画像とが異なっていれば参照すべき画像が欠落していたために正しい復号ができなかったと判断して、その復号された画像の出力処理がスキップされる。これにより、不正に復号された画像が連続することによる画像の乱れを抑制することができる。
【発明の効果】
【００１８】
本発明によると、符号化された動画像の再生時における画像の乱れを抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態に係る動画像復号装置の構成を示すブロック図である。
【図２】表示順序番号、参照画像周期数、参照画像数の関係を説明する図である。
【図３】第１の実施形態に係る動画像復号装置の処理を示すフローチャートである。
【図４】第１の実施形態に係る動画像復号装置において参照画像が欠落したときの例を説明する図である。
【図５】符号化画像をＭＰＥＧ−１、またはＭＰＥＧ−２方式でパケット化したパケットデータの構造を示す模式図である。
【図６】２つのＧＯＰにまたがって参照画像の欠落が発生したときの一例を説明する図である。
【図７】第２の実施形態に係る動画像復号装置の構成を示すブロック図である。
【図８】ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式で符号化された画像の参照管理番号を説明する図である。
【図９】第２の実施形態に係る動画像復号装置の処理を示すフローチャートである。
【図１０】第２の実施形態に係る動画像復号装置の別の動作例を示すフローチャートである。
【図１１】第２の実施形態に係る動画像復号装置において参照画像が欠落したときの例を説明する図である。
【図１２】ＭＰＥＧ−１、またはＭＰＥＧ−２方式で符号化されたストリーム画像データの階層構造を示す模式図である。
【図１３】ＭＰＥＧ−１、またはＭＰＥＧ−２方式で符号化された画像の参照関係を示す模式図である。
【図１４】ＭＰＥＧ−１、またはＭＰＥＧ−２方式で符号化された画像の符号化順序構成、表示順序構成を示す模式図である。
【図１５】ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式で符号化されたストリーム画像データの階層構造を示す模式図である。
【図１６】ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式で符号化された画像の参照関係を示す模式図である。
【図１７】ＭＰＥＧ−１、またはＭＰＥＧ−２方式で符号化された画像の復号の際に復号エラーが連鎖的に発生する状況を示す模式図である。
【図１８】ＭＰＥＧ−１、ＭＰＥＧ−２方式で符号化された画像において連続する符号化画像が欠落したときの一例を説明する図である。
【図１９】ＭＰＥＧ−１、ＭＰＥＧ−２方式で符号化された画像において符号化画像単位で欠落したときの一例を説明する図である。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００２１】
＜第１の実施形態＞
図１は、第１の実施形態に係る動画像復号装置１の構成を示すブロック図である。動画像復号装置１は、ＭＰＥＧ−１方式、またはＭＰＥＧ−２方式で符号化された画像を復号して出力する。
【００２２】
復号部１１は、入力された符号化画像２１のピクチャデータの先頭に付加されているピクチャヘッダを解析して符号化画像２１に係る画像情報を取得し、符号化画像２１に係る画像情報および現時点において既に復号した画像に係る画像情報からなる画像情報２６を生成する。画像情報２６は、復号対象の画像のピクチャタイプ、復号対象の画像のＴＲ（Temporal Reference）、復号処理の際に参照される画像のＴＲ、および最後に復号したＩピクチャのＴＲにより構成される情報である。ピクチャタイプは、ピクチャヘッダ内にPicture Coding Typeとして格納され、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれであるかを示す情報である。ＴＲは、ピクチャヘッダ内に格納された復号画像の出力順序を示す情報である。
【００２３】
参照画像欠落検出部１４は、画像情報２６を受けて、復号部１１において復号対象の画像が復号される際に参照すべき画像を符号化画像２１に係る画像情報から特定するとともに、実際に参照される画像を既に復号した画像に係る画像情報から特定する。参照すべき画像は、復号対象の画像のＴＲと参照画像周期数との差分から特定される。参照画像周期数は、ＩピクチャまたはＰピクチャが現れる画像の周期を示し、一般的に参照画像周期数＝ＩピクチャのＴＲ＋１で表される。例えば、図２の場合、ＩピクチャのＴＲは２である。Ｉ２、Ｐ５、Ｐ８、およびＰ１１が現れる周期は３であるため、参照画像周期数はＩピクチャのＴＲ（２）に１を加算したものと一致する。参照画像欠落検出部１４は、参照すべき画像と実際に参照される画像とが異なる場合に参照すべき画像の欠落を検出して、その検出結果である参照画像欠落検出情報２７を通知する。
【００２４】
復号部１１は、参照画像欠落検出情報２７を受けて、参照画像が欠落している場合に画像乱れ抑制モード信号２８に応じて符号化画像２１の復号処理をスキップするか否かを切り替える。一方、復号部１１は、参照画像が欠落していない場合に符号化画像２１を復号し、復号画像２２を復号画像記憶部１２に格納するとともに、復号画像２２を出力することを示す表示制御信号２５を出力する。
【００２５】
出力部１３は、表示制御信号２５を受けて、復号画像記憶部１２から復号画像２３を読み出して出力画像２４として出力する。
【００２６】
以下、動画像復号装置１の動作例をいくつか説明する。
【００２７】
＜第１の動作例＞
参照画像欠落検出部１４は、画像情報２６を受けるごとに以下のように動作する。参照画像欠落検出部１４は、復号対象の画像のピクチャタイプを確認し、Ｐピクチャの場合とＢピクチャの場合とで参照画像の欠落を検出するための判定条件を変える。
【００２８】
（判定条件１）
Ｐピクチャの場合は、順方向参照符号化画像を参照するため次の判定条件を使用する。
【００２９】
復号対象の画像のＴＲ−順方向参照符号化画像のＴＲ＝参照画像周期数
（判定条件２）
Ｂピクチャの場合は、逆方向参照符号化画像を参照するため次の判定条件を使用する。
【００３０】
復号対象の画像のＴＲ＜逆方向参照符号化画像のＴＲ、かつ
逆方向参照符号化画像のＴＲ−復号対象の画像のＴＲ＜参照画像周期数
参照画像欠落検出部１４は、判定条件が成立する場合、すなわち、参照すべき画像および実際に参照される画像が一致する場合、参照すべき画像が欠落していないことを復号部１１へ通知する。一方、参照画像欠落検出部１４は、判定条件が成立しない場合、すなわち、参照すべき画像と実際に参照される画像とが異なる場合、参照すべき画像が欠落していることを復号部１１へ通知する。
【００３１】
次に復号部１１の動作を、図３を用いて説明する。
（Ｓ１０１）
復号対象の画像のピクチャタイプを判定し、Ｉピクチャの場合は、参照画像を参照せずに復号されるため、Ｓ１０６へ移る。一方、ＰピクチャまたはＢピクチャの場合は、参照画像を参照するため、Ｓ１０２へ移る。
（Ｓ１０２）
画像情報２６を参照画像欠落検出部１４へ通知し、Ｓ１０３へ移る。
（Ｓ１０３）
参照画像欠落検出情報２７を確認する。参照画像が欠落していない場合は、Ｓ１０６へ移る。一方、参照画像が欠落している場合は、Ｓ１０４へ移る。
（Ｓ１０４）
画像乱れ抑制モード信号２８が画像の乱れを抑制する抑制モードの場合は、Ｓ１０５へ移る。画像乱れ抑制モード信号２８が画像の乱れを抑制しない非抑制モードの場合は、Ｓ１０６へ移る。
（Ｓ１０５）
復号部１１が現時点で取得している符号化画像２１に係る参照関係の情報をリセットして、復号を正常に行うことができるＩピクチャをサーチするとともに、Ｉピクチャまでの画像を破棄する。
（Ｓ１０６）
復号対象の画像を復号し、復号画像２２を復号画像記憶部１２に格納した後、Ｓ１０７へ移る。
（Ｓ１０７）
復号画像記憶部１２に格納した復号画像２２の出力を許可する表示制御信号２５を出力部１３へ出力する。
【００３２】
なお、Ｓ１０４を処理開始直後に実施し、復号部１１で抑制モードが選択されている場合はＳ１０１へ移り、復号部１１で非抑制モードが選択されている場合はＳ１０６へ移るようにしてもよい。
【００３３】
例えば、復号部１１で抑制モードが選択されており、図４（ａ）のように、画像Ｐ１１の復号処理において参照すべき画像Ｐ８が欠落しており、画像Ｐ１１が復号される場合について説明する。
【００３４】
まず、Ｓ１０１において、復号対象の画像はＰピクチャであるため、Ｓ１０２へ移る。Ｓ１０２おいて、復号対象の画像はＰ１１、順方向参照符号化画像はＰ５である。したがって、復号対象の画像のピクチャタイプ（Ｐピクチャ）、復号対象の画像のＴＲ（１１）、順方向参照符号化画像のＴＲ（５）および最後に復号したＩピクチャのＴＲ（２）を画像情報２６として参照画像欠落検出部１４に通知し、Ｓ１０３へ移る。
【００３５】
Ｓ１０３において参照画像欠落検出部１４では、復号対象の画像はＰピクチャであるため判定条件１が適用される。ここで、参照画像周期数は、２＋１＝３となり、復号対象の画像のＴＲ（１１）と順方向参照符号化画像のＴＲ（５）との差分１１−５＝６と一致せず判定条件１が成立しない。このとき、参照すべき画像のＴＲは、１１−３＝８であり、参照される画像のＴＲ（５）と異なるため、参照すべき画像が欠落していることが復号部１１に通知され、Ｓ１０４へ移る。
【００３６】
Ｓ１０４では、抑制モードが選択されているため、Ｓ１０５へ移る。Ｓ１０５では、次のＩピクチャをサーチするとともに、次のＩピクチャまでの画像が破棄される。
【００３７】
次に、図４（ｂ）のように、画像Ｂ７の復号処理において参照すべき画像Ｐ８が欠落しており、画像Ｂ７が復号される場合について説明する。
【００３８】
まず、Ｓ１０１において、復号対象の画像はＢピクチャであるため、Ｓ１０２へ移る。Ｓ１０２において、復号対象の画像はＢ７、逆方向参照符号化画像はＰ５である。したがって、復号対象の画像のピクチャタイプ（Ｂピクチャ）、復号対象の画像のＴＲ（７）、逆方向参照符号化画像のＴＲ（５）および最後に復号したＩピクチャのＴＲ（２）を画像情報２６として参照画像欠落検出部１４に通知し、Ｓ１０３へ移る。
【００３９】
Ｓ１０３において参照画像欠落検出部１４では、復号対象の画像はＢピクチャであるため判定条件２が適用される。すると、復号対象の画像のＴＲ（７）は逆方向参照符号化画像のＴＲ（５）よりも大きく判定条件２が成立しないため、参照すべき画像が欠落していることが復号部１１に通知される。Ｓ１０４以降の処理は、復号対象の画像がＰピクチャの場合と同様であるため省略する。
【００４０】
＜第２の動作例＞
参照画像の欠落を検出するためにＰＴＳ（Presentation Time Stamp）を使用した例を説明する。ＰＴＳとは、図５に示すように、ＩＳＯ／ＩＥＣ標準の標準番号１１１７２−１で規定されるＭＰＥＧ−１システム、ＩＳＯ／ＩＥＣ標準の標準番号１３８１８−１で規定されるＭＰＥＧ−２システムのように、符号化画像であるＥＳ（Elementary Stream）をパケット化する際、パケットの先頭に付加されるＰＥＳヘッダ（Packetized Elementary Stream）内に格納される表示時間を示す情報である。通常、符号化画像単位でパケット化が行われるため、ＰＴＳは符号化画像単位で付加される。
【００４１】
画像情報２６として、復号対象の画像のピクチャタイプ、復号対象の画像のＰＴＳ、復号処理の際に参照される画像のＰＴＳ、表示周波数、および最後に復号したＩピクチャのＴＲを用いる。
【００４２】
参照画像欠落検出部１４での参照画像欠落の判定条件は以下のとおりである。
【００４３】
（判定条件３）
Ｐピクチャの場合は、順方向参照符号化画像を参照するため次の判定条件を使用する。
【００４４】
復号対象の画像のＰＴＳ−順方向参照符号化画像のＰＴＳ＝参照画像周期時間
ただし、参照画像周期時間＝（ＰＴＳ単位周波数÷表示周波数）×参照画像周期数で表される。ＰＴＳ単位周波数は９０ｋＨｚである。表示周波数とは、図１２に示すシーケンスの先頭に付加されるシーケンス・ヘッダ内に格納された１秒間あたりの表示画面の枚数を示す情報である。
【００４５】
（判定条件４）
Ｂピクチャの場合は、逆方向参照符号化画像を参照するため次の判定条件を使用する。
【００４６】
復号対象の画像のＰＴＳ＜逆方向参照符号化画像のＰＴＳ、かつ
逆方向参照符号化画像のＰＴＳ−復号対象の画像のＰＴＳ＜参照画像周期時間
判定条件が成立する場合は、参照画像が欠落していないことを復号部１１へ通知する。一方、判定条件が成立しない場合は、参照画像が欠落していることを復号部１１へ通知する。
【００４７】
図６に一例を示す。枠内の上段はピクチャタイプとＴＲ、枠内の下段はＰＴＳを示している。ＴＲを用いて欠落を検出する場合、例えば、画像Ｂ３’の途中から画像Ｂ４の途中までＧＯＰの境界を含んで画像が欠落していると、復号対象の画像Ｐ８のＴＲ（８）と欠落した画像Ｐ８’のＴＲ（８）とは等しいため、参照画像欠落検出部１４は参照すべき画像の欠落を検出することができない。しかし、ＰＴＳを用いて欠落を検出する場合、復号対象の画像Ｐ８のＰＴＳ（２３）は欠落した画像Ｐ８’のＰＴＳ（８）と異なる。すなわち、参照すべき画像のＰＴＳと実際に参照される画像のＰＴＳとが異なるため、参照画像欠落検出部１４は参照すべき画像の欠落を検出することができる。これにより、画像の欠落がＧＯＰをまたがって発生している場合に、ＴＲを用いて画像の欠落を検出することができなくともＰＴＳを用いれば画像の欠落を検出することができる。
【００４８】
＜第３の動作例＞
参照画像の欠落を検出するためにＤＴＳ（Decoding Time Stamp）を使用した例を説明する。ＤＴＳとは、図５に示すように、ＰＴＳと同様にＰＥＳヘッダ内に格納される復号時間を示す情報である。通常、符号化画像単位でパケット化が行われるため、ＤＴＳは符号化画像単位で付加される。
【００４９】
画像情報２６として、復号対象の画像のピクチャタイプ、復号対象の画像のＤＴＳ、復号処理の際に参照される画像のＤＴＳ、表示周波数、および最後に復号したＩピクチャのＴＲを用いる。参照画像欠落検出部１４での参照画像欠落の判定条件は以下のとおりである。
【００５０】
（判定条件５）
Ｐピクチャの場合は、順方向参照符号化画像を参照するため次の判定条件を使用する。
【００５１】
順方向参照符号化画像のＤＴＳ−復号対象の画像のＤＴＳ＝参照画像周期時間
（判定条件６）
Ｂピクチャの場合は、逆方向参照符号化画像を参照するため次の判定条件を使用する。
【００５２】
復号対象の画像のＤＴＳ＞逆方向参照符号化画像のＤＴＳ、かつ
復号対象の画像のＤＴＳ−逆方向参照符号化画像のＤＴＳ＜参照画像周期時間
ＤＴＳを使用した場合の動作は、図３に示すフローチャートと同様であるため説明を省略する。
【００５３】
＜第４の動作例＞
ＤＴＳを使用した別の例を説明する。画像情報２６として、復号対象の画像のＤＴＳ、最後に復号した画像のＤＴＳおよび表示周波数が用いる。表示周期時間＝ＰＴＳ単位周波数÷表示周波数で表される。参照画像欠落検出部１４での参照画像欠落の判定条件は以下のとおりである。
【００５４】
（判定条件７）
復号対象の画像のＤＴＳ＝最後に復号した画像のＤＴＳ＋表示周期時間
判定条件７を使用する場合の動作は、図３に示すフローチャートと同様であるため説明を省略する。なお、画像を復号する順序と表示する順序とが同じときは、ＰＴＳやＴＲ等を使用することができる。
【００５５】
以上のように、本実施形態によれば、参照画像欠落検出部１４で参照画像の欠落が検出された場合に復号部１１で復号処理をスキップすることにより、欠落した参照画像を参照して復号されることによる画像の乱れを抑制することができる。また、欠落した参照画像を参照する画像の復号処理をスキップすることで、復号部１１の処理負荷を軽減することができる。
【００５６】
＜第２の実施形態＞
図７は、第２の実施形態に係る動画像復号装置１Ａの構成を示すブロック図である。以下、第１の実施形態との相違点についてのみ説明する。説明の便宜のため、ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式で符号化された画像を復号する場合について、動画像復号装置１Ａの動作例をいくつか説明する。
【００５７】
＜第１の動作例＞
復号部１１Ａは、入力される符号化画像２１を復号するとともに、参照画像欠落検出情報２７を受けて、参照画像が欠落している場合に画像乱れ抑制モード信号２８に応じて、出力部１３における復号画像２３の出力処理をスキップするか否かを切り替える。
【００５８】
画像情報２６として、復号対象の画像のＦＮ（frame_num）、最後に復号された参照される可能性がある画像のＦＮ、およびＦＮの最大値を用いる。ＦＮは、スライスのヘッダ内に格納され、参照画像の次の画像でインクリメントされる参照画像の識別番号を示す情報である。図８の例では、枠内下段の数字はＦＮの値を示し、参照画像にはｒｅｆと記載している。ＩＤＲ０、ｎｏｎ−ＩＤＲ２、ｎｏｎ−ＩＤＲ５、ｎｏｎ−ＩＤＲ７が参照画像の場合、ＩＤＲ０の次のピクチャであるｎｏｎ−ＩＤＲ１でＦＮがインクリメントされる。同様に、ｎｏｎ−ＩＤＲ３、ｎｏｎ−ＩＤＲ６、ｎｏｎ−ＩＤＲ８でもインクリメントされる。なお、ＩＤＲピクチャにより参照関係をリセットするため、ＩＤＲピクチャのＦＮは０となる。
【００５９】
また、ＦＮの最大値は、ＳＰＳ内に格納されているlog2_max_frame_num_minus4パラメータを用いて表され、ＦＮの最大値＝２の（log2_max_frame_num_minus4＋４）乗で算出される。参照画像欠落検出部１４での参照画像欠落の判定条件は以下のとおりである。
【００６０】
（判定条件８）
復号する画像のＦＮ＝（最後に復号された参照される可能性がある画像のＦＮ＋１）ｍｏｄ（ＦＮの最大値）
次に、復号部１１Ａの動作を図９を用いて説明する。
（Ｓ２０１）
復号対象の画像を復号し、復号画像２２を復号画像記憶部１２に格納した後、Ｓ２０２へ移る。
（Ｓ２０２）
復号対象の画像がＩＤＲピクチャかどうかを判定する。ＩＤＲピクチャの場合は、Ｓ２０３へ移り、ＩＤＲピクチャでない場合は、Ｓ２０４へ移る。
（Ｓ２０３）
復号対象の画像がＩＤＲピクチャであるため、通常状態へ遷移し、Ｓ２１１へ移る。
（Ｓ２０４）
現在の状態を確認する。通常状態の場合はＳ２０５へ移り、参照画像欠落検出状態の場合は、Ｓ２１２へ移る。なお、初期状態は、通常状態である。
（Ｓ２０５）
復号した画像のピクチャタイプを確認する。ピクチャタイプ、図１５に示す符号化画像を構成するスライスのすべてに格納されているslice_typeで判定することができる。Ｉピクチャの場合はＳ２１１へ移り、Ｉピクチャ以外の場合はＳ２０６へ移る。
（Ｓ２０６）
画像情報２６を参照画像欠落検出部１４へ通知し、Ｓ２０７へ移る。
（Ｓ２０７）
参照画像欠落検出情報２７を確認する。参照画像が欠落していない場合は、Ｓ２１１へ移る。参照画像が欠落している場合は、Ｓ２０８へ移る。
（Ｓ２０８）
画像乱れ抑制モード信号２８が抑制モードの場合はＳ２０９へ移り、画像乱れ抑制モード信号２８が非抑制モードの場合はＳ２１１へ移る。
（Ｓ２０９）
参照画像欠落検出状態へ遷移し、Ｓ２１０へ移る。
（Ｓ２１０）
復号画像記憶部１２に格納した復号画像２２を破棄する表示制御信号２５を出力部１３へ出力する。
（Ｓ２１１）
復号画像記憶部１２に格納した復号画像２２の出力を許可する表示制御信号２５を出力部１３へ出力する。
（Ｓ２１２）
復号処理の際に他の画像を参照しない場合は復号可能なため、復号対象の画像がＩピクチャであるかどうかを確認する。Ｉピクチャの場合は、Ｓ２１４へ移り、Ｉピクチャでない場合は、Ｓ２１３へ移る。
（Ｓ２１３）
復号画像記憶部１２に格納した復号画像２２を破棄する表示制御信号２５を出力部１３へ出力する。
（Ｓ２１４）
復号画像記憶部１２に格納した復号画像２２の出力を許可する表示制御信号２５を出力部１３へ出力する。
【００６１】
なお、Ｓ２０８をＳ２０１の直後に実施し、画像乱れ抑制モード信号２８が抑制モードの場合は、Ｓ２０２へ移り、画像乱れ抑制モード信号２８が非抑制モードの場合は、Ｓ２１１へ移るようにしてもよい。
【００６２】
例えば、復号部１１Ａで抑制モードが選択されており、図１１のように、画像Ｐ１’（ｒｅｆ）、Ｂ２’の復号処理において参照すべき画像Ｐ０’（ｒｅｆ）が欠落しており、画像Ｐ１’（ｒｅｆ）以降の画像が復号される場合について説明する。
【００６３】
まず、Ｓ２０１において、画像Ｐ１’（ｒｅｆ）を復号し、復号した画像Ｐ１’（ｒｅｆ）を復号画像記憶部１２に格納して、Ｓ２０２へ移る。Ｓ２０２では、復号された画像はＩＤＲピクチャではないため、Ｓ２０４へ移る。Ｓ２０４では、通常状態であるためＳ２０５へ移る。Ｓ２０５では、復号された画像はＰピクチャであるため、Ｓ２０６へ移る。
【００６４】
Ｓ２０６において、復号対象の画像のＦＮ（１）、最後に復号された参照される可能性がある画像のＦＮ（３１）、およびＦＮの最大値（３２）を画像情報２６として、参照画像欠落検出部１４へ通知し、Ｓ２０７へ移る。
【００６５】
Ｓ２０７において、参照画像欠落検出部１４では、（３１＋１）ｍｏｄ（３２）＝０となり、復号対象の画像のＦＮ（１）と一致せず判定条件８が成立しない。したがって、参照すべき画像が欠落していることが復号部１１Ａに通知され、Ｓ２０８へ移る。
【００６６】
Ｓ２０８では、抑制モードが選択されているため、Ｓ２０９へ移る。Ｓ２０９では、参照画像欠落検出状態へ遷移し、Ｓ２１０へ移る。Ｓ２１０において、復号部１１Ａは、復号画像を破棄する表示制御信号２５を出力する。出力部１３は表示制御信号２５を受けて復号画像記憶部１２から読み出した画像Ｐ１’（ｒｅｆ）を破棄する。
【００６７】
画像Ｂ２’の復号処理では、まずＳ２０１で復号され、Ｓ２０２に移る。Ｓ２０２では、復号された画像はＩＤＲピクチャではないため、Ｓ２０４へ移る。Ｓ２０４では、参照画像欠落検出状態であるため、Ｓ２１２へ移る。Ｓ２１２では、復号された画像はＢピクチャであるため、Ｓ２１３へ移る。Ｓ２１３では、画像Ｐ１’（ｒｅｆ）と同様に画像Ｂ２’が破棄される。
【００６８】
画像Ｉ３’（ｒｅｆ）が復号されるまでは、Ｓ２１２からＳ２１３に移り、画像Ｐ２’（ｒｅｆ）および画像Ｂ３’は画像Ｂ２’と同様に破棄される。画像Ｉ３’（ｒｅｆ）が復号されると、Ｓ２１２からＳ２１４に移り、復号部１１Ａは、画像Ｉ３’（ｒｅｆ）の出力を許可する表示制御信号２５を出力する。出力部１３は、表示制御信号２５を受けて復号画像記憶部１２から画像Ｉ３’（ｒｅｆ）を読み込んで出力する。
【００６９】
＜第２の動作例＞
図１０は、復号部１１Ａの別の動作例を示すフローチャートである。復号部１１Ａは、参照画像欠落検出情報２７を受けて、参照画像が欠落している場合に画像乱れ抑制モード信号２８に応じて、入力される符号化画像２１の復号処理をスキップするか否かを切り替える。
（Ｓ２０２）
復号対象の画像がＩＤＲピクチャかどうかを判定する。ＩＤＲピクチャの場合は、Ｓ２０３へ移り、ＩＤＲピクチャでない場合は、Ｓ２０４へ移る。
（Ｓ２０３）
復号対象の画像がＩＤＲピクチャであるため通常状態へ遷移し、Ｓ３０１へ移る。
（Ｓ２０４）
現在の状態を確認する。通常状態の場合はＳ２０５へ移り、参照画像欠落検出状態の場合はＳ３０３へ移る。なお、初期状態は、通常状態である。
（Ｓ２０５）
復号対象の画像のピクチャタイプを確認する。ピクチャタイプは、図１５に示すＡＵデリミタのヘッダ内に格納されているprimary_pic_typeから確認することができる。復号対象の画像がＩピクチャの場合はＳ３０１へ移り、Ｉピクチャ以外の場合はＳ２０６へ移る。
（Ｓ２０６）
画像情報２６を参照画像欠落検出部１４へ通知し、Ｓ２０７へ移る。
（Ｓ２０７）
参照画像欠落検出情報２７を確認する。参照画像が欠落していない場合はＳ３０１へ移る。参照画像が欠落している場合はＳ２０８へ移る。
（Ｓ２０８）
画像乱れ抑制モード信号２８が抑制モードの場合はＳ２０９へ移り、画像乱れ抑制モード信号２８が非抑制モードの場合はＳ３０１へ移る。
（Ｓ２０９）
参照画像欠落検出状態へ遷移し、Ｓ３０２へ移る。
（Ｓ３０１）
復号対象の画像を復号し、復号画像２２を復号画像記憶部１２に格納した後、Ｓ２１１へ移る。
（Ｓ３０２）
次に復号可能なＩＤＲピクチャまたはＩピクチャをサーチする。
（Ｓ２１１）
復号画像記憶部１２に格納した復号画像の出力を許可する表示制御信号２５を出力部１３へ出力する。
（Ｓ３０３）
復号対象の画像を復号し、復号画像２２を復号画像記憶部１２に格納した後、Ｓ２１４へ移る。
（Ｓ２１４）
復号画像記憶部１２に格納した復号画像２２の出力を許可する表示制御信号２５を出力部１３へ出力する。その後、Ｓ３０４へ移る。
（Ｓ３０４）
次に復号可能なＩＤＲピクチャ、またはＩピクチャをサーチする。
【００７０】
なお、Ｓ２０８をＳ２０２の直前に実施し、抑制モードの場合はＳ２０２へ移り、非抑制モードの場合は、Ｓ３０１へ移るようにしてもよい。
【００７１】
例えば、復号部１１Ａで抑制モードが選択されており、図１１のように、画像Ｐ１’（ｒｅｆ）、Ｂ２’の復号処理において参照すべき画像Ｐ０’（ｒｅｆ）が欠落しており、画像Ｐ１’（ｒｅｆ）以降の画像が復号される場合について説明する。
【００７２】
Ｓ２０２では、ＩＤＲピクチャではないためＳ２０４へ移る。Ｓ２０４では、通常状態であるためＳ２０５へ移る。Ｓ２０５では、復号対象の画像はＰピクチャであるため、Ｓ２０６へ移る。
【００７３】
Ｓ２０６では、画像情報２６を参照画像欠落検出部１４へ通知し、Ｓ２０７へ移る。Ｓ２０７では、参照画像が欠落していることを復号部１１Ａへ通知し、Ｓ２０８へ移る。
【００７４】
Ｓ２０８では、抑制モードが選択されているため、Ｓ２０９へ移る。Ｓ２０９では、参照画像欠落検出状態へ遷移し、Ｓ３０２へ移る。Ｓ３０２では、画像乱れが発生するため、画像Ｐ１’（ｒｅｆ）の復号処理をスキップし、次に復号可能なＩＤＲピクチャ、またはＩピクチャをサーチする。
【００７５】
次の画像はＩＤＲピクチャまたはＩピクチャをサーチしていたため、画像Ｉ３’（ｒｅｆ）が選択される。Ｓ２０２では、画像Ｉ３’（ｒｅｆ）はＩＤＲピクチャではないためＳ２０４へ移る。Ｓ２０４で、参照画像欠落検出状態であることを確認し、Ｓ３０３へ移る。Ｓ３０３では、画像Ｉ３’（ｒｅｆ）を復号するとともに復号画像記憶部１２に格納し、Ｓ２１４へ移る。Ｓ２１４では、出力部１３が表示制御信号２５を受けて復号画像記憶部１２から画像Ｉ３’（ｒｅｆ）を読み込んで出力する。その後、Ｓ３０４へ移る。Ｓ３０４では、次に復号可能なＩＤＲピクチャ、またはＩピクチャをサーチする。
【００７６】
これによると、復号前にピクチャタイプによって復号処理をスキップするか否かを切り替えるようにしたため、復号処理において正しい参照画像を参照できない画像の復号処理をスキップすることで、復号部１１Ａの処理負荷を軽減することができる。また、Ｉピクチャは、復号処理において参照画像を参照しないため参照画像の欠落の有無にかかわらず復号される。これにより、参照画像の欠落によって復号対象の画像が破棄されている間には最後に復号された画像が表示されるが、Ｉピクチャの出力毎に表示される画像を更新することができるため、表示される画像が停止する期間を短縮することができる。
【００７７】
以上のように、本実施形態によれば、ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ方式で符号化された画像であっても、参照すべき画像の欠落を検出することができる。
【００７８】
また、上記２つの実施形態において、参照画像欠落検出部１４をそれぞれ独立で設けたが、復号部１１または復号部１１Ａに含めることもできる。各構成要素は、ハードウェアによって実現しても、ソフトウェアで中央演算装置（ＣＰＵ）を動作させてもよい。
【産業上の利用可能性】
【００７９】
本発明に係る動画像復号装置は、復号対象の画像の欠落が発生する場合であっても画像の欠落による画像の乱れを抑制することができるため、移動体端末向けのデジタル放送受信機器など、受信状態が安定しない状況下における動画像再生装置として有用である。
【符号の説明】
【００８０】
１，１Ａ              動画像復号装置
１１，１１Ａ          復号部
１２                  復号画像記憶部
１３                  出力部
１４                  参照画像欠落検出部
【図１】
2011044771.tif 000003
【図２】
2011044771.tif 000004
【図３】
2011044771.tif 000005
【図４】
2011044771.tif 000006
【図５】
2011044771.tif 000007
【図６】
2011044771.tif 000008
【図７】
2011044771.tif 000009
【図８】
2011044771.tif 000010
【図９】
2011044771.tif 000011
【図１０】
2011044771.tif 000012
【図１１】
2011044771.tif 000013
【図１２】
2011044771.tif 000014
【図１３】
2011044771.tif 000015
【図１４】
2011044771.tif 000016
【図１５】
2011044771.tif 000017
【図１６】
2011044771.tif 000018
【図１７】
2011044771.tif 000019
【図１８】
2011044771.tif 000020
【図１９】
2011044771.tif 000021