(57)【特許請求の範囲】
【請求項１】
動画像を構成する複数のピクチャを復号化する動画像復号化装置であって、
各ピクチャ内の処理対象ブロックの符号化モードを抽出するモード抽出手段と、
一のピクチャ内の処理対象ブロックを復号する際、前記モード抽出手段で抽出された符号化モードが、表示時間的に前記一のピクチャの近傍にある復号化済みピクチャが有する参照動きベクトル及び参照ピクチャを用いて前記処理対象ブロックを復号化する第１符号化モードである場合、前記復号化済みピクチャの有する参照ピクチャが利用可能であるか否かを判定する参照判定手段と、
前記参照判定手段により、前記参照ピクチャが利用可能であると判定された場合、当該参照ピクチャを用いて前記第１符号化モードに従って復号化処理を実行し、前記参照判定手段により、前記参照ピクチャが利用不可であると判定された場合、当該参照ピクチャを用いた前記第１符号化モードに従っての復号化処理とは異なる態様で復号化処理を実行する復号化処理手段と、
前記複数のピクチャの夫々を復号化する度に、復号化したピクチャを逐次記憶するピクチャ記憶手段とを備え、
前記複数のピクチャの夫々は、前記第１符号化モードで復号化する際参照可能なピクチャを示す参照ピクチャリストを含むものであり、
前記参照判定手段は、判定に際し、前記参照ピクチャが前記一のピクチャに含まれる参照ピクチャリストで示されていないが、前記参照ピクチャが前記ピクチャ記憶手段に記憶されている場合、前記参照ピクチャが利用可能であると判定する
ことを特徴とする動画像復号化装置。
【請求項２】
前記複数のピクチャの夫々は、さらに、自ピクチャが参照ピクチャとして他のピクチャから参照可能であることを示す参照属性が設定可能なものであり、
前記参照判定手段は、判定に際し、前記参照ピクチャが前記ピクチャ記憶手段に記憶されている場合、前記参照ピクチャに参照属性が設定されていなかったとしても、前記参照ピクチャが利用可能であると判定する
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項３】
前記参照判定手段により前記参照ピクチャが利用不可であると判定された場合、前記復号化処理手段は、前記ピクチャ記憶手段に記憶されている、前記参照ピクチャとは異なる１以上のピクチャを用いて前記第１符号化モードに従って復号化処理を実行する
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項４】
前記復号化処理手段は、前記ピクチャ記憶手段に記憶されているピクチャの内、前記一のピクチャと表示時間順が最も近いピクチャを利用して復号化処理を実行する
ことを特徴とする請求項３記載の動画像復号化装置。
【請求項５】
前記参照判定手段により前記参照ピクチャが利用不可であると判定された場合、前記復号化処理手段は、前記一のピクチャ内において前記処理対象ブロックの空間的周辺に位置する復号化済みの他のブロックを用いる、前記第１符号化モードとは異なる第２符号化モードで復号化処理を実行する
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項６】
前記復号化処理手段は、前記第１符号化モードに従うとき、前記参照ピクチャとともに、表示時間的に前記一のピクチャの後方にある後方参照ピクチャを用いて復号化処理を実行するものであり、前記参照判定手段により前記参照ピクチャが利用不可であると判定された場合は、前記参照ピクチャを用いずに、前記後方参照ピクチャを用いて復号化処理を実行する
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項７】
前記復号化処理手段は、前記参照判定手段により前記参照ピクチャが利用可能であると判定された場合、ＭＰＥＧ（Moving Picture Experts Group）規格で規定されている重み付け予測に従って復号化処理を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項８】
前記復号化処理手段は、前記参照判定手段により前記参照ピクチャが利用可能であると判定された場合、ＭＰＥＧ（Moving Picture Experts Group）規格で規定されている明示的（Explicitモード）重み付け予測に従い、当該明示的重み付け予測時に規定されている規定値を用いて復号化処理を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項９】
前記参照判定手段で前記参照ピクチャが利用不可であると判定された場合、前記復号化処理手段は、復号化処理に際し、前記ピクチャ記憶手段に記憶されているピクチャ内のいずれか１以上のピクチャと、前記参照動きベクトルとを用いて、前記処理対象ブロックの動き補償を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項１０】
前記参照判定手段で前記参照ピクチャが利用不可であると判定された場合、前記復号化処理手段は、復号化処理に際し、前記ピクチャ記憶手段に記憶されているピクチャ内のいずれか１以上のピクチャを用い、動きベクトルを用いずに動き補償を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項１１】
前記参照判定手段で前記参照ピクチャが利用不可であると判定された場合、前記復号化処理手段は、復号化処理に際し、前記ピクチャ記憶手段に記憶されているピクチャ内のいずれか１以上のピクチャと、当該１以上のピクチャが有する参照動きベクトルとを用いて、前記処理対象ブロックの動き補償を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項１２】
前記参照判定手段で前記参照ピクチャが利用不可であると判定された場合、前記復号化処理手段は、復号化処理に際し、前記ピクチャ記憶手段に記憶されているピクチャ内のいずれか１以上のピクチャと前記参照ピクチャとの表示時間的関係に基づいて前記処理対象ブロックの動きベクトルを算出し、算出した当該動きベクトルと前記１以上のピクチャとを用いて、前記処理対象ブロックの動き補償を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項１３】
前記復号化処理手段で復号化処理された動画像を表示する表示手段と、
前記表示手段への動画像の表示を制御する表示制御手段とをさらに備え、
前記表示制御手段は、前記参照判定手段の判定結果に応じて異なる態様で動画像の前記表示を制御する
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項１４】
動画像を構成する複数のピクチャを復号化する動画像復号化方法であって、
前記複数のピクチャの夫々を復号化する度に、復号化したピクチャを逐次記憶するピクチャ記憶ステップと、
各ピクチャ内の処理対象ブロックの符号化モードを抽出するモード抽出ステップと、
一のピクチャ内の処理対象ブロックを復号する際、前記モード抽出ステップで抽出された符号化モードが、表示時間的に前記一のピクチャの近傍にある復号化済みピクチャが有する参照動きベクトル及び参照ピクチャを用いて前記処理対象ブロックを復号化する第１符号化モードである場合、前記復号化済みピクチャの有する参照ピクチャが利用可能であるか否かを判定する参照判定ステップと、
前記参照判定ステップにより、前記参照ピクチャが利用可能であると判定された場合、当該参照ピクチャを用いて前記第１符号化モードに従って復号化処理を実行し、前記参照判定ステップにより、前記参照ピクチャが利用不可であると判定された場合、当該参照ピクチャを用いた前記第１符号化モードに従っての復号化処理とは異なる態様で復号化処理を実行する復号化処理ステップとを含み、
前記複数のピクチャの夫々は、前記第１符号化モードで復号化する際参照可能なピクチャを示す参照ピクチャリストを含むものであり、
前記参照判定ステップでは、判定に際し、前記参照ピクチャが前記一のピクチャに含まれる参照ピクチャリストで示されていないが、前記参照ピクチャが前記ピクチャ記憶ステップにて記憶されている場合、前記参照ピクチャが利用可能であると判定する
ことを特徴とする動画像復号化方法。
【請求項１５】
動画像を構成する複数のピクチャを復号化する動画像復号化装置に動画像復号化処理を実行させるためのプログラムであって、
前記動画像復号化処理は、
前記複数のピクチャの夫々を復号化する度に、復号化したピクチャを逐次記憶するピクチャ記憶ステップと、
各ピクチャ内の処理対象ブロックの符号化モードを抽出するモード抽出ステップと、
一のピクチャ内の処理対象ブロックを復号する際、前記モード抽出ステップで抽出された符号化モードが、表示時間的に前記一のピクチャの近傍にある復号化済みピクチャが有する参照動きベクトル及び参照ピクチャを用いて前記処理対象ブロックを復号化する第１符号化モードである場合、前記復号化済みピクチャの有する参照ピクチャが利用可能であるか否かを判定する参照判定ステップと、
前記参照判定ステップにより、前記参照ピクチャが利用可能であると判定された場合、当該参照ピクチャを用いて前記第１符号化モードに従って復号化処理を実行し、前記参照判定ステップにより、前記参照ピクチャが利用不可であると判定された場合、当該参照ピクチャを用いた前記第１符号化モードに従っての復号化処理とは異なる態様で復号化処理を実行する復号化処理ステップとを含み、
前記複数のピクチャの夫々は、前記第１符号化モードで復号化する際参照可能なピクチャを示す参照ピクチャリストを含むものであり、
前記参照判定ステップでは、判定に際し、前記参照ピクチャが前記一のピクチャに含まれる参照ピクチャリストで示されていないが、前記参照ピクチャが前記ピクチャ記憶ステップにて記憶されている場合、前記参照ピクチャが利用可能であると判定する
ことを特徴とするプログラム。
【請求項１６】
動画像を構成する複数のピクチャを復号化する動画像復号化装置に動画像復号化処理を実行させるためのプログラムを記録した記録媒体であって、
前記動画像復号化処理は、
前記複数のピクチャの夫々を復号化する度に、復号化したピクチャを逐次記憶するピクチャ記憶ステップと、
各ピクチャ内の処理対象ブロックの符号化モードを抽出するモード抽出ステップと、
一のピクチャ内の処理対象ブロックを復号する際、前記モード抽出ステップで抽出された符号化モードが、表示時間的に前記一のピクチャの近傍にある復号化済みピクチャが有する参照動きベクトル及び参照ピクチャを用いて前記処理対象ブロックを復号化する第１符号化モードである場合、前記復号化済みピクチャの有する参照ピクチャが利用可能であるか否かを判定する参照判定ステップと、
前記参照判定ステップにより、前記参照ピクチャが利用可能であると判定された場合、当該参照ピクチャを用いて前記第１符号化モードに従って復号化処理を実行し、前記参照判定ステップにより、前記参照ピクチャが利用不可であると判定された場合、当該参照ピクチャを用いた前記第１符号化モードに従っての復号化処理とは異なる態様で復号化処理を実行する復号化処理ステップとを含み、
前記複数のピクチャの夫々は、前記第１符号化モードで復号化する際参照可能なピクチャを示す参照ピクチャリストを含むものであり、
前記参照判定ステップでは、判定に際し、前記参照ピクチャが前記一のピクチャに含まれる参照ピクチャリストで示されていないが、前記参照ピクチャが前記ピクチャ記憶ステップにて記憶されている場合、前記参照ピクチャが利用可能であると判定する
ことを特徴とする記録媒体。
【請求項１７】
動画像を構成する複数のピクチャを復号化する動画像復号化装置に用いられる集積回路であって、
各ピクチャ内の処理対象ブロックの符号化モードを抽出するモード抽出手段と、
一のピクチャ内の処理対象ブロックを復号する際、前記モード抽出手段で抽出された符号化モードが、表示時間的に前記一のピクチャの近傍にある復号化済みピクチャが有する参照動きベクトル及び参照ピクチャを用いて前記処理対象ブロックを復号化する第１符号化モードである場合、前記復号化済みピクチャの有する参照ピクチャが利用可能であるか否かを判定する参照判定手段と、
前記参照判定手段により、前記参照ピクチャが利用可能であると判定された場合、当該参照ピクチャを用いて前記第１符号化モードに従って復号化処理を実行し、前記参照判定手段により、前記参照ピクチャが利用不可であると判定された場合、当該参照ピクチャを用いた前記第１符号化モードに従っての復号化処理とは異なる態様で復号化処理を実行する復号化処理手段と、
前記複数のピクチャの夫々を復号化する度に、復号化したピクチャを逐次記憶するピクチャ記憶手段とを備え、
前記複数のピクチャの夫々は、前記第１符号化モードで復号化する際参照可能なピクチャを示す参照ピクチャリストを含むものであり、
前記参照判定手段は、判定に際し、前記参照ピクチャが前記一のピクチャに含まれる参照ピクチャリストで示されていないが、前記参照ピクチャが前記ピクチャ記憶手段に記憶されている場合、前記参照ピクチャが利用可能であると判定する
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を構成するピクチャを復号化する動画像復号化装置に関する。
【背景技術】
【０００２】
動画像の符号化においては、一般に動画像の有する空間方向および時間方向の冗長性を利用して情報量の圧縮を行う。ここで時間方向の冗長性を利用する方法として、ピクチャ間予測が用いられる。ピクチャ間予測では、あるピクチャ（一のピクチャとする）を符号化する際に、表示時間順で当該一のピクチャの前方または後方にあるピクチャが参照ピクチャとして用いられる。
【０００３】
具体的には、参照ピクチャから動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャの差分値に対して空間方向の冗長度を取り除くことにより情報量の圧縮を行う。
近年、標準化されたＨ．２６４規格では、符号化の単位をスライスとしている。
スライスとは、ピクチャより小さく、複数のマクロブロックから構成される単位である。ピクチャは、１つもしくは複数のスライスから構成される。
【０００４】
参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測を行うブロックのみを含むスライスをＩスライスと呼ぶ。また、既に復号化済みの１枚のピクチャを参照してピクチャ間予測を行うブロックとピクチャ内予測を行うブロックを含むスライスをＰスライスと呼ぶ。また、既に復号化済みの２枚以下のピクチャを同時に参照してピクチャ間予測を行うブロックとピクチャ内予測を行うブロックを含むスライスをＢスライスと呼ぶ。
【０００５】
ピクチャは複数の種類のスライスから構成することができ、Ｉスライスのみを含むピクチャをＩピクチャ、ＩスライスとＰスライスのみを含むピクチャをＰピクチャ、ＩスライスとＰスライスとＢスライスを含むピクチャをＢピクチャと呼ぶ。
以降、説明をわかりやすくするため、ピクチャ単位で説明を行うが、スライス単位であっても同様である。
【０００６】
Ｈ．２６４規格では、ＭＰＥＧ２規格やＭＰＥＧ４規格と比較して、参照ピクチャに対する制約が大幅に緩和されている。Ｐピクチャに属するブロックで参照する参照ピクチャは、復号化済みのピクチャであれば、表示時間的に前方であっても後方であってもどちらでもよい。Ｂピクチャに属するブロックで参照する２枚以下のピクチャは、復号化済みであれば、表示時間的に前方であっても後方であってもどちらでもよい。また、参照ピクチャは、ピクチャ種類に依存せず、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれであってもよい。
【０００７】
図４０は、上記の動画像符号化方式における各ピクチャの予測関係を示す模式図である。
図中の縦線は１枚のピクチャを示しており、各ピクチャの右下にピクチャタイプ（Ｉ、Ｐ、Ｂ）を示している。また図中の矢印は、矢印の始端にあるピクチャが、矢印の終端にあるピクチャを参照ピクチャとして用いてピクチャ間予測復号化することを示している。
【０００８】
Ｂピクチャではブロックごとに最大２枚までのピクチャを参照でき、一方の参照を前方参照（Ｌ０）、もう一方の参照を後方参照（Ｌ１）と呼ぶ。
なお、前方参照といっても、表示時間的に前方のピクチャが優先されるだけであって、必ずしも表示時間的に前方のピクチャである必要はない。また、後方参照も、表示時間的に後方のピクチャが優先されるだけであって、必ずしも表示時間的に後方のピクチャである必要はない。
【０００９】
Ｐピクチャではブロックごとに最大１枚までのピクチャを参照でき、前方参照（Ｌ０）のみが可能である。Ｐピクチャにおいても、Ｂピクチャと同様、必ずしも表示時間的に前方のピクチャである必要はない。
例えば、図中の先頭のピクチャＩ１から９枚目のＢピクチャＢ９は、前方参照として表示時間的には後者になる１０枚目のＰピクチャＰ１０、後方参照として表示時間的には前者になる７枚目のＰピクチャＰ７を参照ピクチャとして用いている。
【００１０】
また、Ｈ．２６４規格では、ＭＰＥＧ２規格やＭＰＥＧ４規格と比較して、表示順序に対する制約も大幅に緩和されている。復号化済みのピクチャを格納するピクチャメモリがオーバーフローしない限りは、復号化順に依存せずに表示順を決定することができる。
図４１は、上記の動画像符号化方式における各ピクチャの復号順と表示順の関係を示す模式図である。
【００１１】
図中の上方の番号は、各ピクチャを復号順に付したものであり、下方の番号は、各ピクチャを表示順に付したものである。図中中間の矢印は、各ピクチャの復号順と表示順の対応を示す。表示順は各ピクチャの属性として符号化されている。
例えば、図中のＰピクチャＰ１０は、後から復号化されるＢピクチャＢ１１や、Ｐピクチャ１３の後に表示される。
【００１２】
また、Ｈ．２６４規格では、Ｂピクチャの復号化において、符号化対象ブロック自体が動きベクトルを持たないダイレクトモードという符号化モードを選択することができる。ダイレクトモードには、時間的ダイレクトモードと空間的ダイレクトモードの２種類が存在する。
時間的ダイレクトモードでは、符号化済みの他のピクチャの動きベクトルを参照動きベクトルとして利用し、ピクチャ間の表示時間的位置関係に基づいてスケーリング処理を行うことによって、符号化対象ブロックで用いる動きベクトルを予測して生成するようになっている（例えば、特許文献１参照）。
【００１３】
図４２は、時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。
縦棒はピクチャを示し、ピクチャの右上に付与された記号は、ＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの復号順を示している。以降、本明細書において、図面中のピクチャ番号は同様の命名基準とする。
【００１４】
また、各ピクチャＰ１、Ｂ３、Ｂ４、Ｂ５、Ｐ２は、それぞれ表示時間情報としてＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５を有している。ここでは、ピクチャＢ５のブロックＢＬ０を時間的ダイレクトモードで復号化する場合について説明する。
ピクチャＢ５の表示時間的に近傍に位置する既に復号化済みピクチャ（アンカーピクチャ）であるピクチャＰ２中の、ブロックＢＬ０と同じ座標位置にあるブロック（アンカーブロック）ＢＬ１の動きベクトルＭＶ１を利用する。この動きベクトルＭＶ１は、ブロックＢＬ１が復号化された際に用いられた動きベクトルであり、ピクチャＰ１を参照している。この場合、ブロックＢＬ０を復号化する際に用いる動きベクトルは、ピクチャＰ１に対しては動きベクトルＭＶ＿Ｆ、ピクチャＰ２に対しては動きベクトルＭＶ＿Ｂとなる。
【００１５】
この際、動きベクトルＭＶ１の大きさをＭＶ、動きベクトルＭＶ＿Ｆの大きさをＭＶｆ、動きベクトルＭＶ＿Ｂの大きさをＭＶｂとすると、ＭＶｆ、ＭＶｂはそれぞれ、次の（式１）に示す数式で求めることができる。
（式１）
ＭＶｆ＝（Ｔ４−Ｔ１）／（Ｔ５−Ｔ１）×ＭＶ
ＭＶｂ＝（Ｔ５−Ｔ４）／（Ｔ５−Ｔ１）×ＭＶ
このようにＭＶ１からＭＶｆ及びＭＶｂを求める処理を、スケーリング処理を呼ぶ。スケーリング処理を行うことによって得られた動きベクトルＭＶ＿Ｆ、動きベクトルＭＶ＿Ｂを用いて、参照ピクチャであるピクチャＰ１とピクチャＰ２からブロックＭＢＬ０の動き補償を行う。
【００１６】
一方、空間的ダイレクトモードでは、時間的ダイレクトモードと同様に復号化対象ブロック自体は動きベクトルを持たず、復号化対象ブロックの空間的に周辺に位置する復号化済みブロックの持つ動きベクトルを参照し、それを用いて復号化を行っている（例えば、特許文献２参照）。
図４３、空間的ダイレクトモードに従った動きベクトルの予測生成方法を示す模式図である。ここでは、図中のピクチャＢ５のブロックＢＬ０を空間的ダイレクトモードで復号化する場合について説明する。この場合、復号化対象であるブロックＢＬ０の周辺の３画素Ａ、Ｂ、Ｃを含む復号化済みブロックのそれぞれの動きベクトルＭＶＡ１、ＭＶＢ１、ＭＶＣ１のうち、復号化対象ピクチャから表示時間的に最も近くにある既に復号化されたピクチャを参照した動きベクトルを、符号化対象ブロックの動きベクトルの候補として決定する。
【００１７】
これにより決定した動きベクトルが３つの場合には、それらの中央値を復号化対象ブロックの動きベクトルとして選択する。また、２つである場合には、それらの平均値を求め、符号化対象ブロックの動きベクトルとする。
同図に示す例では、動きベクトルＭＶＡ１、ＭＶＣ１はピクチャＰ２を参照して求められ、動きベクトルＭＶＢ１はピクチャＰ１を参照して求められている。よって、復号化対象ピクチャから表示時間的に最も近くにある既に復号化されたピクチャであるピクチャＰ２を参照した動きベクトルＭＶＡ１、ＭＶＣ１の平均値を求め、復号化対象ブロックの１つめの動きベクトルであるＭＶ＿Ｆとする。２つめの動きベクトルであるＭＶ＿Ｂを求める場合も同様であり、表示時間的に最も近くにある復号化済みのピクチャＰ３を参照した動きベクトルＭＶＢ２をＭＶ＿Ｂとする。
【特許文献１】特開平１１−７５１９１号公報
【特許文献２】国際公開第２００４／００８７７５号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述の通り、Ｈ．２６４規格では、参照ピクチャを選択するための制約が少なく、例えば、Ｂピクチャでは、ピクチャメモリに含まれている復号化済みピクチャの中から任意の２枚を参照可能である。しかし、復号化済みピクチャを格納するピクチャメモリのサイズには限りがあるため、所定の枚数を限度として格納するピクチャの枚数を制限し、古いピクチャ（表示順が最も前方のピクチャ）から逐次削除していくように動画像復号化装置を設計することがある。
【００１９】
このような場合、あるピクチャを復号化する際に利用可能であった参照ピクチャが、それ以降のピクチャを復号化する際にも利用可能とは限らない。このため、時間的ダイレクトモードにおいては、復号化対象ピクチャと表示時間的に近傍の復号化済みピクチャ（アンカーピクチャ）における復号化対象ブロックと同位置のブロック（アンカーブロック）の動きベクトルと、その前方参照ピクチャの情報を利用して復号化するが、復号化対象ピクチャの復号時にアンカーブロックの前方参照ピクチャがピクチャメモリから削除されていて参照できない場合が存在し得る。
【００２０】
図４４は、アンカーブロックの前方参照ピクチャが、復号化対象ピクチャでは前方参照ピクチャとして利用できない場合を示す模式図である。復号化順は、ピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｂ５であり、表示順は、ピクチャＰ１、Ｂ３、Ｂ４、Ｂ５、Ｂ２であるとする。
図中（ａ）は、後にアンカーピクチャになるピクチャＰ２の復号時のピクチャの参照関係を示す図である。ピクチャＰ２を復号化時には、ピクチャＰ１しか存在しないため、ピクチャＰ１を参照画像として利用可能である。
【００２１】
図中（ｂ）は、ピクチャＢ５の復号時のピクチャの参照関係を示す図である。
ピクチャＢ５の復号化時には、ピクチャＰ１、Ｐ２、Ｂ３、Ｂ４が存在しているが、例えば、ピクチャメモリの容量がピクチャ３枚分しかなければ、上記４枚のピクチャのうち１枚は、削除する必要がある。
このときにそれらのすべてが参照ピクチャであれば、表示順が前方のものを優先的に削除される。これは、表示順が前方のほうが、後から復号化される別のピクチャに参照される可能性が低いためである。
【００２２】
この基準により、上記４枚のうち、表示順が一番前方のピクチャＰ１が削除される。これにより、ピクチャＢ５の復号化時にピクチャＰ１はピクチャメモリに存在しないことになり、ピクチャＢ５を復号化することができなくなってしまう。
また、Ｈ．２６４規格では、時間的ダイレクトモードに従って復号化対象ブロックが参照する、アンカーブロックの前方参照ピクチャを、ピクチャリスト（ＲＰＬ：Reference Picture List）という形で復号化対象ブロック内で管理するようになっている。
【００２３】
参照可能なピクチャはピクチャリストに含まれるが、リスト内に記憶するピクチャの枚数を制限した場合、復号化対象ブロックの復号時に、アンカーブロックの前方参照ピクチャが物理的にはピクチャメモリに格納されていたとしても、リストに存在しないことで参照できない場合があり得る。
さらにまた、Ｈ．２６４規格では、ストリームからの制御により、ピクチャが参照ピクチャとして使用可能か否かを示す参照属性を付与及び削除することができる。参照属性が付与されているピクチャは参照ピクチャとして参照可能であるが、参照属性が外された（非参照とされた）ピクチャは参照不可である。
【００２４】
このため、復号化対象ブロックの復号時に、アンカーブロックの前方参照ピクチャが物理的にはピクチャメモリに格納されていたとしても、ストリームからの制御により当該前方参照ピクチャから参照属性が外されていることで参照できない場合があり得る。
以上述べてきた問題に起因して、時間的ダイレクトモードに従って復号化対象ブロックを復号化する際、アンカーブロックの前方参照ピクチャが利用できずに復号化できない場合があり得る。
【００２５】
そこで、本発明は上記の事情に鑑みてなされたものであり、時間的ダイレクトモードのように、他の復号済みピクチャの参照ピクチャを利用して復号化対象ブロックを復号化するモードが選択されていても確実に復号化することを目的とする。
【課題を解決するための手段】
【００２６】
前記従来の課題を解決するために、本発明の動画像復号化装置は、動画像を構成する複数のピクチャを復号化する動画像復号化装置であって、各ピクチャ内の処理対象ブロックの符号化モードを抽出するモード抽出手段と、一のピクチャ内の処理対象ブロックを復号する際、前記モード抽出手段で抽出された符号化モードが、表示時間的に前記一のピクチャの近傍にある復号化済みピクチャが有する参照動きベクトル及び参照ピクチャを用いて前記処理対象ブロックを復号化する第１符号化モードである場合、前記復号化済みピクチャの有する参照ピクチャが利用可能であるか否かを判定する参照判定手段と、前記参照判定手段により、前記参照ピクチャが利用可能であると判定された場合、当該参照ピクチャを用いて前記第１符号化モードに従って復号化処理を実行し、前記参照判定手段により、前記参照ピクチャが利用不可であると判定された場合、当該参照ピクチャを用いた前記第１符号化モードに従っての復号化処理とは異なる態様で復号化処理を実行する復号化処理手段と、前記複数のピクチャの夫々を復号化する度に、復号化したピクチャを逐次記憶するピクチャ記憶手段とを備え、前記複数のピクチャの夫々は、前記第１符号化モードで復号化する際参照可能なピクチャを示す参照ピクチャリストを含むものであり、前記参照判定手段は、判定に際し、前記参照ピクチャが前記一のピクチャに含まれる参照ピクチャリストで示されていないが、前記参照ピクチャが前記ピクチャ記憶手段に記憶されている場合、前記参照ピクチャが利用可能であると判定することを特徴とする。
【００２７】
ここで、第１符号化モードとは、例えばＨ．２６４規格で定められた時間的ダイレクトモードである。
【発明の効果】
【００２８】
以上の構成によって、他の復号化済みピクチャの参照ピクチャを利用するモード（例えば時間的ダイレクトモード）により復号化対象ブロックを復号化を行う場合に、復号化済みピクチャの参照ピクチャが利用できない状況であっても、復号化を停止せず継続することができる。
これにより、本発明に係る動画像復号化装置によれば、時間的ダイレクトモードのように、他の復号済みピクチャの参照ピクチャを利用して復号化対象ブロックを復号化するモードによる復号化を行う場合に、確実に復号化を継続することができる。
【発明を実施するための最良の形態】
【００２９】
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施形態１）
まず、実施形態１の動画像復号化装置１００について説明する。
（１．構成）
図１は、実施形態１に係る、Ｈ．２６４規格に準拠した動画像復号化装置１００の構成を示すブロック図である。
【００３０】
動画像復号化装置１００は、図１に示すように、符号列解析部１０１、予測残差復号化部１０２、ピクチャメモリ１０３、参照ピクチャ・動きベクトル記憶部１０４、参照ピクチャ・動きベクトル予想部１０５、動き補償部１０６、加算演算部１０７、スイッチ部１０８、ダイレクトモード可否判定部１０９、代用処理部１１０、及び画面内予測部１１１を備える。
【００３１】
符号列解析部１０１は、入力された符号化列（ストリーム）より符号化モード情報、および符号化時に用いられた動きベクトルの情報等の各種データの抽出を行う。
予測残差復号化部１０２は、入力された予測残差符号化データの復号化を行い、予測残差画像データを生成する。
ピクチャメモリ１０３は、生成された復号化データを格納する。
【００３２】
参照ピクチャ・動きベクトル記憶部１０４は、符号列解析部１０１により抽出された参照ピクチャや動きベクトルを、動きベクトル情報テーブル１０４ａという形で記憶する。
参照ピクチャ・動きベクトル予想部１０５は、符号列解析部１０１にて抽出した符号化モードの情報や動きベクトル等の情報に基づいて、動き補償で利用する参照ピクチャや動きベクトルを算出する。
【００３３】
動き補償部１０６は、参照画像・動きベクトル予想部１０５で算出した参照画像や動きベクトルに基づいて、動き補償画像データを生成する。
加算演算部１０７は、予測残差復号化部１０２より入力された予測残差画像データと、動き補償復号化部１０６より入力された動き補償画像データとを加算し、復号化画像データを生成する。
【００３４】
スイッチ部１０８は、符号化モードごとに動き補償を利用する場合と利用しない場合に応じて復号化画像データを切り替える。
ダイレクトモード可否判定部１０９は、ダイレクトモードによる復号化が可能かどうかを判断し、不可能であれば代用処理部１１０に通知する。
代用処理部１１０は、ダイレクトモード可否判定部１０９よりダイレクトモードによる復号化が不可能である旨の通知を受けた際に動画像復号化を継続するために必要な処理を行い、参照ピクチャ・動きベクトル予想部１０５、あるいは動き補償部１０６、あるいはピクチャメモリ１０３に通知する。
【００３５】
画面内予測部１１１は、入力された符号化列の復号化対象ブロックが画面内予測（イントラ）モードで符号化されていた場合、画面内予測を行って復号化画像データを生成する。
なお、図１では、代用処理部１１０は、参照ピクチャ・動きベクトル予想部１０５、動き補償部１０６、ピクチャメモリ１０３のすべてに通知が可能な構成となっているが、いずれか１つだけに通知が可能な構成であってもよい。
（２．データ構造）
次に、動画像復号化装置のデータ構造について、図２を用いて説明する。
【００３６】
図中中央のピクチャメモリは、上記ピクチャメモリ１０３に該当するものであり、復号化画像データとして輝度成分及び色差成分を持つ。ピクチャメモリ１０３は複数ピクチャ分持つことができ、復号化済みの画像データはここに格納され、参照に必要な画像データはここから参照される。
図中下の動きベクトル情報テーブルは、上記参照ピクチャ・動きベクトル記憶部１０４内の動きベクトル情報テーブル１０４ａに該当するものであり、ブロックごとにダイレクトモードで必要な参照ピクチャ情報や参照動きベクトル情報などを持つ。これらの情報の一例としては、当該ブロックのブロックアドレス、ブロックタイプ情報、フィールド情報や、参照ピクチャのピクチャメモリ番号、表示時間情報、復号情報、及び参照動きベクトルなどがある。動きベクトル情報テーブル１０４ａも複数ピクチャ分持つことができる。
【００３７】
図中上のピクチャ管理情報テーブルは、復号化に必要な情報を持つと同時に、ピクチャメモリ１０３と動きベクトル情報テーブル１０４ａとを結びつける役割を持つ。ピクチャ管理情報テーブルの持つ情報の一例としては、ピクチャメモリ番号、フレーム番号、ピクチャメモリアドレス、動きベクトル情報アドレス、表示時間情報、参照属性情報、表示属性情報、使用属性情報、表示属性情報、フィールド情報、及び復号情報などがある。ピクチャメモリ番号を決定すれば、対応するピクチャ管理情報、ピクチャメモリ、動きベクトル情報が一意に決定する構成となっている。
（３．動作）
次に、上記動画像復号化装置による復号化の動作を図３のフロー図を用いて説明する。
【００３８】
まず、符号列解析部１０１は、入力された符号化列からブロックタイプ（符号化モード）を取得する（ステップＳ２０１）。そのときのブロックタイプによって以降の処理フローが異なる。
ブロックタイプが画面内予測の場合（ステップＳ２０２：ＮＯ）は、予測残差復号化部１０２や図示していない画面内予測部１１１が復号化画像データを生成して、ピクチャメモリ１０３に格納する（ステップＳ２１２）。
【００３９】
ブロックタイプが画面間予測（ステップＳ２０２：ＹＥＳ）でかつダイレクトモードでない場合（ステップＳ２０３：ＮＯ）は、次に、参照ピクチャ・動きベクトル予想部１０５が、符号列解析部１０１から参照ピクチャ番号や動きベクトル情報を取得する（ステップＳ２０４）。ここで、参照ピクチャ番号は、復号化対象ピクチャが参照可能なピクチャに付与される番号であり、符号化対象ピクチャごとに決定されるものである。また、参照ピクチャ番号や動きベクトル情報の取得と同時に、参照ピクチャ・動きベクトル予想部１０５は、符号列解析部１０１から取得した動きベクトル情報は符号化対象ブロックの周辺のブロックの情報などから情報が圧縮されていることがあるので、実際に参照画像を取得可能なように動きベクトルに変換する。
【００４０】
次に、動き補償部１０６は、上記参照ピクチャ番号を、実際に参照画像が格納されているピクチャメモリ番号に変換する（ステップＳ２０５）。さらに、ピクチャメモリ番号と動きベクトルを用いて、ピクチャメモリ１０３から参照画像を取得する（ステップＳ２０６）。
次に、動き補償部１０６は、復号化に利用する予測画像を求める（ステップＳ２０７）。予測画像は参照画像とは全く同一ではなく、例えば、Ｂピクチャのように２枚の参照が可能なモードでは、２つの参照画像を平均して予測画像とする必要がある。
【００４１】
次に、加算演算部１０７は、その予測画像と予測残差画像を加算して、復号化画像データの生成が完了する（ステップＳ２０８）。
復号化画像データはピクチャメモリ１０３に格納される。
一方、ブロックタイプが画面間予測（ステップＳ２０３：ＹＥＳ）で時間的ダイレクトモード（ステップＳ２０９：ＹＥＳ）の場合は、符号列に参照ピクチャ番号や動きベクトル情報を含まないので、参照ピクチャ・動きベクトル予想部１０５が、時間的ダイレクトモードのアルゴリズムに基づいて、参照ピクチャ番号、動きベクトルを算出する（ステップＳ２１０）。上記時間的ダイレクトモードのアルゴリズムについては、後ほど説明する。
【００４２】
参照ピクチャ番号及び動きベクトルの算出後は、ブロックタイプが画面間予測でダイレクトモードでない場合と同様の処理が実行される（ステップＳ２０５〜Ｓ２０８）。
ブロックタイプが画面間予測（ステップＳ２０３：ＹＥＳ）で空間的ダイレクトモード（ステップＳ２０９：ＮＯ）の場合も、参照ピクチャ番号、動きベクトルの算出方法が異なる以外は、時間的ダイレクトモードのときの同じである（ステップＳ２１１）。上記時間的ダイレクトモードのアルゴリズムについては、従来技術と同じであるので、ここでは説明しない。
【００４３】
次に、参照ピクチャ・動きベクトル予想部１０５が時間的ダイレクトモードにおいて参照ピクチャ番号と動きベクトルを決定する手順を、図４を用いて説明する。
まず、参照ピクチャ・動きベクトル予想部１０５は、復号化対象ピクチャに対して後方参照ピクチャリストのインデックス（後方参照ピクチャ番号）が０番のものをアンカーピクチャに決定する（ステップＳ３０１）。ここで、後方参照ピクチャ番号は、０から開始する番号で、復号化対象ピクチャに対して参照可能なピクチャに振られるものであり、基本的に、復号化対象ピクチャに対して時間的に後方に存在するピクチャや、復号化対象ピクチャに時間的に近いピクチャに対して優先的に付与（番号が小さいほど優先度が高い）されるため、アンカーピクチャは復号化対象ピクチャに対して表示時間的に後方でかつ最も近いピクチャになることが多い。
【００４４】
次に、復号化対象ピクチャの復号化対象ブロックに対して、アンカーピクチャの同じ座標上のブロック（アンカーブロック）の前方参照ピクチャ情報と動きベクトルを参照ピクチャ・動きベクトル記憶部１０４から取得する（ステップＳ３０２）。参照ピクチャ・動きベクトル記憶部１０４では、復号化済みピクチャの前方参照ピクチャ情報と動きベクトルを復号時に記憶しているため、これらの情報が取得可能である。ここで参照ピクチャ・動きベクトル記憶部１０４から取得する前方参照ピクチャ情報は、前方参照ピクチャ番号そのものではない。参照ピクチャ番号は、復号化対象ピクチャごとに振られるパラメータであるので、アンカーピクチャ復号化時の前方参照ピクチャ番号は、復号化対象ピクチャ時には異なる番号になり、そのままではピクチャの識別に利用できない。ピクチャの識別には、復号化対象ピクチャごとで変化しないパラメータ、例えば、ピクチャバッファ番号、表示順番号、フレーム番号などを利用することができる。このほかピクチャが識別可能な情報であれば何を利用してもよい。
【００４５】
次に、参照ピクチャ・動きベクトル予想部１０５は、アンカーブロックの前方参照ピクチャの識別情報を、ダイレクトモード可否判定部１０９に通知する。
ダイレクトモード可否判定部１０９は、復号化対象ピクチャの前方参照ピクチャリストの中から、同じ識別情報を持つピクチャが存在するかどうかを確認する（ステップＳ３０３）。もし、該当するピクチャが存在すれば（ステップＳ３０３：ＹＥＳ）、時間的ダイレクトモードによる復号化が可能であるので参照ピクチャ・動きベクトル予想部１０５に通知する。もし、該当するピクチャが存在しなければ（ステップＳ３０３：ＮＯ）、そのままでは時間的ダイレクトモードによる復号化の継続が不可能であるため、代用処理を行う。代用処理の説明は後ほど行う。
【００４６】
時間的ダイレクトモードによる復号化処理を継続する場合、参照ピクチャ・動きベクトル予想部１０５は、復号化対象ピクチャの前方参照ピクチャリストの中から、同じ識別情報を持つピクチャの前方参照ピクチャ番号を算出し、復号化対象ピクチャの前方参照ピクチャとして決定する（ステップＳ３０４）。
次に、参照ピクチャ・動きベクトル予想部１０５は、アンカーピクチャを復号化対象ピクチャの後方参照ピクチャとして決定する（ステップＳ３０５）。常に後方参照ピクチャ番号は０番となる。
【００４７】
次に、参照ピクチャ・動きベクトル予想部１０５は、復号化対象ブロックの動きベクトルを求める。時間的ダイレクトモードでは、アンカーブロックの動きベクトルに対して、前方参照ピクチャの表示順番号と後方参照ピクチャの表示順番号でスケーリング処理を行なって、動きベクトルを算出する（ステップＳ３０６）。スケーリング処理は従来技術と同様であるため、説明は省略する。
（４．具体例）
（４−１．具体例その１）
代用処理が必要となる場合について、具体例を図５〜１０を用いて説明する。
【００４８】
図５は、符号列（ストリーム）の各ピクチャの復号化順、表示時間の関係、ピクチャ間の参照関係、ピクチャメモリ１０３の状態を示す模式図である。
図５の上方は各ピクチャを復号順に並べたものであり、下方は各ピクチャを表示順に並べたものである。中間の破線矢印は、各ピクチャの復号順と表示順の対応を示す。表示順は各ピクチャの属性として符号化されている。
【００４９】
ここで、復号時のピクチャメモリ１０３の遷移に関して説明する。
ピクチャメモリ１０３のサイズは、ストリームにより規定されるが、ここではピクチャメモリ１０３の容量が、復号化対象ピクチャを除いて３ピクチャ分存在するものとする。ピクチャメモリ番号は図中上から、それぞれ０、１、２とする。
ピクチャＰ１の復号開始時にはピクチャメモリ１０３は空であるが、ピクチャＰ１が参照属性を持つものとして符号化されている場合、復号後にピクチャメモリ１０３に格納される（ピクチャメモリ番号０）。
【００５０】
続けて、ピクチャＰ２、ピクチャＢ３も同様に、参照属性を持つものとして復号化された場合、ピクチャＢ４復号前には、ピクチャメモリに１０３格納されていることになる（ピクチャメモリ番号０、１、２）。
続けて、ピクチャＢ４も同様に、参照属性を持つものとして復号化された場合、このピクチャをピクチャメモリ１０３に残しておく必要があるが、ピクチャメモリ１０３にはすでに３ピクチャが占有しており、空き領域が存在しない。
【００５１】
Ｈ．２６４規格では、このとき優先度の低いピクチャをピクチャメモリから削除することが規定されている。優先度は、基本的にピクチャが参照属性を持っているかどうか、表示番号が前方かどうかによって決定されるので、この場合、表示番号が一番前方であるピクチャＰ１がピクチャメモリから削除される。
したがって、ピクチャＢ５復号時には、ピクチャメモリには、ピクチャＢ４、ピクチャＰ２、ピクチャＢ３が格納されることになる（ピクチャメモリ番号０、１、２）。
【００５２】
図６（ａ）は、ピクチャＢ５復号時のピクチャ管理情報テーブルを示す。ピクチャメモリ番号に対して、一例として復号番号、表示番号が管理されている。
図７は、ピクチャＢ５復号時の参照ピクチャとの関係を示す模式図である。
ピクチャＢ５復号時には、ピクチャメモリ１０３に参照ピクチャとして存在するピクチャに対して、前方参照ピクチャ番号が、ピクチャＢ４、ピクチャＢ３、ピクチャＰ２の順番に付与される。これは、前方でかつ復号化対象ピクチャの表示順が近いものが優先され、その後に後方のピクチャにも復号化対象ピクチャの表示順と近いものに付与されるためである。後方参照ピクチャ番号も同様の基準により、ピクチャＰ２、ピクチャＢ４、ピクチャＢ３の順番に付与される。
【００５３】
図６（ｂ）に、ピクチャＢ５の前方参照ピクチャリストを示す。前方参照ピクチャ番号は上記の通り決定されるので、図６（ａ）のピクチャ管理情報テーブルの情報を前方参照ピクチャ番号順にコピーすることで、図６（ｂ）の前方参照ピクチャリストが得られる。
なお、上記の例ではピクチャメモリ１０３と参照ピクチャリストが１対１で対応するが、一般には、参照ピクチャリストの最大数を制限することができるので、ピクチャリストに参照可能なピクチャが存在している場合でも、参照ピクチャ番号が振られない場合も存在する。また一般には、同じピクチャメモリに対して複数の参照ピクチャ番号を割り当てることができる。
【００５４】
アンカーピクチャは、後方参照ピクチャ番号が０であるピクチャＰ２に決定される。アンカーブロックの参照ピクチャがピクチャＰ１のとき、動きベクトル情報テーブルには、参照ピクチャを識別するための参照ピクチャ情報として、表示時間Ｔ１、ピクチャメモリ番号０（復号時）、復号番号１などが格納されている。
参照ピクチャ情報から前方参照ピクチャ番号への変換手順の一例を図８に示す。
【００５５】
同図に示す処理は、参照ピクチャに一致するものがないかどうかを前方参照ピクチャリストの内容をすべて参照して探索する処理である。この探索は、時間ダイレクトモードの全ブロックに対して行う必要があるが、Ｈ．２６４規格では前方参照リストのサイズが最大３２になり、この場合１回の探索時間がかかることから、非効率的な処理である。
前方参照リストはスライス内の全ブロックで共通であるため、スライス毎に１回、参照ピクチャ情報から前方参照ピクチャ番号への変換テーブルを作成しておけば、各ブロックでの処理は、テーブルの参照だけでよくなるため、効率的な処理となる。
【００５６】
参照ピクチャ情報から前方参照ピクチャ番号への変換テーブルの作成手順の一例を図９に示す。
実際に作成する変換テーブルは、参照ピクチャの識別を何の情報によって行うかどうかによって異なる。図１０に、ピクチャＢ５復号時の参照ピクチャ情報から前方参照ピクチャ番号への変換テーブルの一例を示す。
【００５７】
図中（ａ）は、参照ピクチャの識別を表示時間で行う場合の変換テーブルである。
図中（ｂ）は、参照ピクチャの識別を復号番号で行う場合の変換テーブルである。
図中（ｃ）は、参照ピクチャの識別をピクチャメモリ番号で行う場合の変換テーブルである。
例えば、参照ピクチャの識別を表示時間で行う場合、アンカーブロックの参照ピクチャの表示時間はＴ１であるが、図中（ａ）を参照すると、前方参照ピクチャ番号が割り当てられていないことが判明する。
【００５８】
また、参照ピクチャの識別を復号番号で行う場合、アンカーブロックの参照ピクチャの復号番号は１であるが、図中（ｂ）を参照すると、前方参照ピクチャ番号が割り当てられていないことが判明する。
また、参照ピクチャの識別をピクチャメモリ番号で行う場合、アンカーブロックの参照ピクチャのピクチャメモリ番号は０である。アンカーピクチャの復号番号は２で、ピクチャメモリ番号が０のピクチャは復号番号は４であるが、アンカーピクチャの参照ピクチャがアンカーピクチャの後に復号化されることはありえないので、ピクチャメモリにはアンカーピクチャの参照ピクチャがすでに残っていないことが判明する。
【００５９】
以上により、前方参照ピクチャが見つからないため、復号化を継続するためには、何らかの代用処理が必要となることになる。
（４−２．具体例その２）
代用処理が必要となる場合について、別の具体例を図１１〜１４を用いて説明する。
図１１は、符号列（ストリーム）の各ピクチャの復号化順、表示時間の関係、ピクチャ間の参照関係、ピクチャメモリの状態を示す模式図である。図５のストリームとの違いは、ピクチャメモリ１０３のサイズが４ピクチャ分存在することである。このため、ピクチャＢ５復号時には、ピクチャメモリには、これ以前に復号化されたピクチャＰ１、ピクチャＰ２、ピクチャＢ３、ピクチャＢ４のすべてが格納されることになる（ピクチャメモリ番号０、１、２、３）。
【００６０】
図１２（ａ）は、ピクチャＢ５復号時のピクチャ管理情報テーブルを示す。図６（ａ）と同様のため、説明は省略する。
図１３は、ピクチャＢ５復号時の参照ピクチャとの関係を示す模式図である。
図７との違いは、ピクチャメモリのサイズだけでなく、前方参照ピクチャリストと後方参照ピクチャリストの最大数が１に制限されていることである。参照ピクチャリストの最大数はストリームにより規定可能である。
【００６１】
ピクチャＢ５復号時には、前方参照ピクチャ番号が優先度の高いピクチャＢ４にのみ、後方参照ピクチャ番号が優先度の高いピクチャＰ２にのみ付与される。
図１２（ｂ）は、ピクチャＢ５の前方参照ピクチャリストを示す。図６（ｂ）と同様のため、説明は省略する。
図１４に、ピクチャＢ５復号時の参照ピクチャ情報から前方参照ピクチャ番号への変換テーブルの一例を示す。
【００６２】
図中（ａ）は、参照ピクチャの識別を表示時間で行う場合の変換テーブルである。
図中（ｂ）は、参照ピクチャの識別を復号番号で行う場合の変換テーブルである。
図中（ｃ）は、参照ピクチャの識別をピクチャメモリ番号で行う場合の変換テーブルである。
変換テーブルの作成方法は、図１０の場合と同じであるので説明は省略する。
【００６３】
参照ピクチャ情報から前方参照ピクチャ番号への変換手順も参照ピクチャの識別を表示時間で行う場合と、復号番号で行う場合についても、図８の場合と同じであるので、説明を省略する。
参照ピクチャの識別をピクチャメモリ番号で行う場合、アンカーブロックの参照ピクチャのピクチャメモリ番号は０であるが、図１４（ｃ）を参照すれば前方参照ピクチャ番号が割り当てられていないことが判明する。図１０の場合とは異なり、復号番号を参照しなくてもよい。
【００６４】
以上により、前方参照ピクチャが見つからないため、復号化を継続するためには、何らかの代用処理が必要となることになる。
（５．代用処理）
上記の通り、何らかの代用処理が必要と判断された場合、実施形態１では、動画像復号化装置１００は、時間的ダイレクトモードでの代用処理（ステップＳ３０７〜Ｓ３１０）を行う。
（５−１．前方参照ピクチャの決定）
すでに述べた通り、アンカーブロックの前方参照ピクチャが参照できないため、時間的ダイレクトモードで使用する符号化対象ピクチャの前方参照ピクチャが決定できない。何らかの手段で前方参照ピクチャを決定すれば、時間的ダイレクトモードを継続することが可能となり、その結果として復号化を継続することが可能である。復号対象ブロックの前方参照ピクチャの決定方法としては、前方参照ピクチャ番号＝０のピクチャを前方参照ピクチャとして決定する。
【００６５】
前方参照ピクチャリストのサイズは、ピクチャリストに含まれる参照ピクチャの数によっても規定されるが、ストリームで指定された最大数によっても規定される。しかし、参照ピクチャリストのサイズが０になることはないため、前方参照ピクチャ番号が０のピクチャは必ず存在する。したがって、前方参照ピクチャ番号が０のピクチャを復号対象ブロックの前方参照ピクチャとして決定すれば、必ず時間的ダイレクトモードを継続することができる。また、本方法による代用処理方法は、実装も容易な利点も存在する。
【００６６】
アンカーブロックの参照ピクチャ情報から前方参照ピクチャ番号の変換処理は、図８あるいは図９に示す通りである。
例えば、図８のステップＳ４３０１において、復号対象ブロックの前方参照ピクチャ番号を０で初期化すれば、通常処理と時間的ダイレクトモードで代用処理が可能となる。また、例えば、図９のステップＳ４４０１において、アンカーブロックの前方参照ピクチャから前方参照ピクチャ番号への変換テーブルをすべて０で初期化すれば、同様に時間的ダイレクトモードで代用処理が可能となる。
（５−２．動きベクトルの決定）
実施形態１では、代用処理部１１０は、ステップＳ３１０において、参照動きベクトルをそのまま用いて時間的ダイレクトモードを継続する。
【００６７】
これにより、動きベクトルに関する代用処理が不要であるため、実装が容易である。
実施形態１での動きベクトルの決定方法は、特に、本来の参照ピクチャＰ１と今回利用するピクチャＢ３の表示時間情報が大きく違わない場合に有効である。
（５−３．総括）
図１５は、実施形態１における、時間的ダイレクトモードでの代用処理を模式図である。
【００６８】
図１５に示すように、代用処理部１１０は、復号化対象ブロックの前方参照ピクチャを前方参照ピクチャ番号０のピクチャＢ４で代用して、時間的ダイレクトモードでの復号化を継続する。
以上のように動作することで、動画像復号化装置１００は、復号化対象ブロックの参照ピクチャが参照できない状況に陥っても、時間的ダイレクトモードで復号化処理を継続することができる。
（実施形態２）
実施形態２は、実施形態１と比べて、前方参照ピクチャの決定方法に違いがある。
【００６９】
実施形態１で示した代用処理は実装が容易であるが、アンカーブロックの参照ピクチャと、前方参照ピクチャ番号が０であるピクチャの表示時間が離れている場合、両者の画像の差分も大きくなるため、結果として参照画像のデータが大幅に異なったものになってしまう可能性がある。
この点については、本来の参照ピクチャにできるだけ表示順が近いピクチャを参照ピクチャとして選択すれば改善される可能性が高い。
【００７０】
そこで、実施形態２では、ステップＳ３０８において、アンカーブロックが参照するピクチャの表示時間情報と、前方参照ピクチャリストに含まれるピクチャの表示時間情報を比較し、最も近いピクチャを前方参照ピクチャとして決定する。
図１６は、実施形態２における、時間的ダイレクトモードでの代用処理時の模式図である。
【００７１】
アンカーブロックの参照するピクチャはピクチャＰ１であり、その表示順情報はＴ１である。前方参照ピクチャリストには、ピクチャＢ４、ピクチャＢ３、及びピクチャＰ２が存在し、その中で最もＴ１に近い表示順情報を持つピクチャは、ピクチャＢ３である。代用処理部１１０は、ピクチャＢ３を前方参照ピクチャとして、時間的ダイレクトモードを継続すれば、符号列に指定された画像に近い画像を出力して、復号化を継続することができる。
【００７２】
後方参照ピクチャは、通常通りの時間的ダイレクトモードでの復号化処理（ステップＳ３０１〜Ｓ３０６）のときと同様にアンカーピクチャに決定できる（ステップ３０９）。
（実施形態３）
実施形態３は、実施形態１及び２と比べて、動きベクトルの決定方法に違いがある。
実施形態１及び２では、代用処理部１１０は、ステップＳ３１０において、参照動きベクトルをそのまま用いていたが、この方法だと、図１５に示すように、前方参照ベクトルＭＶ＿Ｆ、後方参照ベクトルＭＶ＿Ｂともに、元々の参照動きベクトルＭＶ１と比較して傾きのずれが大きくなる。このとき、前方参照画像からは本来より上の位置の画像を取得し、後方参照画像からは本来より下の位置の画像を取得することになるので、両者の誤差が相殺される可能性もある。
【００７３】
また、実施形態２での代用処理では、図１６に示すように、本来の参照ピクチャＰ１と今回利用するピクチャＢ３の表示時間情報に乖離がある場合、前方参照ベクトルＭＶ＿Ｆ、後方参照ベクトルＭＶ＿Ｂともに、元々の参照動きベクトルＭＶ１と比較して傾きのずれが発生する。この場合、該当する復号化対象ブロックだけが、時間的にも空間的にも連続性のない画像になる可能性がある。
【００７４】
そこで、実施形態３では、代用処理部１１０は、ステップＳ３１０において、復号化対象ピクチャと表示時間が近い参照ピクチャに対して、動きベクトルを０にする。
図１７は、実施形態３における、時間的ダイレクトモードでの代用処理の模式図である。
アンカーピクチャは、復号化対象ブロックに対する０番目の後方参照ピクチャになり、復号化対象ピクチャ（ピクチャＢ５）と表示時間が近いピクチャ（ピクチャＰ２）が設定されるので、後方参照動きベクトルを０にすることが可能になる。前方参照ピクチャ（ピクチャＢ３）については、表示時間（Ｔ２）は復号化対象ピクチャの表示時間（Ｔ４）と近くない。このとき、前方参照動きベクトルには、参照ベクトルをそのまま用いてもよいし、もしくは時間的ダイレクトモードのアルゴリズムに基づきスケーリングした値を用いてもよい。図１７では、前者の方法を利用した場合を示している。
（実施形態４）
実施形態４は、実施形態３と比べて、動きベクトルの決定方法に違いがある。
【００７５】
実施形態３では、代用処理部１１０は、前方参照ピクチャについては符号化対象ピクチャに対して表示時間が近くないため、動きベクトルを０にしなかった。
しかし、実施形態１のように、前方参照ピクチャを前方参照ピクチャ番号が０のピクチャに決定する場合、通常、復号化対象ピクチャと表示時間が近い参照ピクチャが設定されることになる。
【００７６】
そこで、実施形態３では、代用処理部１１０は、ステップＳ３１０において、前方参照動きベクトルも０にする。
図１８は、実施形態３での、時間的ダイレクトモードでの代用処理の模式図である。
後方参照ピクチャがピクチャＰ２及び前方参照ピクチャがピクチャＢ４の両ピクチャと、復号化対象ピクチャＰ５とは表示時間的に近いため、前方参照動きベクトル及び後方参照動きベクトルを０としている。この場合、復号化対象ピクチャＢ５が、表示時間的に近傍のピクチャであるピクチャＰ２とピクチャＢ４の中間値となり、時間的な連続性が期待できることになる。
（実施形態５）
実施形態５は、実施形態１〜４と比べて、動きベクトルの決定方法に違いがある。
【００７７】
実施形態１〜４では、本来の参照動きベクトルと実際に符号化対象ブロックでの参照に利用する動きベクトルの傾きが異なるので、本来は時間的に滑らかに変化する（スケーリングする）動画像であっても、復号結果が滑らかにならない場合が考えられ得る。
そこで、実施形態５では、代用処理部１１０は、ステップＳ３１０において、代用処理で用いる動きベクトルに対しても、時間的ダイレクトモードのスケーリングの考え方を適用する。
【００７８】
図１９は、実施形態５における、時間的ダイレクトモードでの代用処理の模式図である。
本来の符号化対象ブロックの参照動きベクトルである前方参照ベクトルＭＶｆ’及び後方参照ベクトルＭＶｂ’は、（式２）に示す数式により求めることができる。
（式２）
ＭＶｆ’＝（Ｔ４−Ｔ１）／（Ｔ５−Ｔ１）×ＭＶ
ＭＶｂ’＝（Ｔ５−Ｔ４）／（Ｔ５−Ｔ１）×ＭＶ
実施形態５では、前方参照ピクチャがピクチャＰ１（表示時間：Ｔ１）ではなく、ピクチャＢ４（表示時間：Ｔ３）になっているため、動きベクトルもこの表示時間の差異にあわせてスケーリングする。
【００７９】
すなわち、スケーリング後の動きベクトルである前方参照ベクトルＭＶｆ、後方参照ベクトルＭＶｂを、（式３）に示す数式により求める。
（式３）
ＭＶｆ＝（Ｔ４−Ｔ３）／（Ｔ４−Ｔ１）×ＭＶｆ’＝（Ｔ４−Ｔ３）／（Ｔ５−Ｔ１）×ＭＶ
ＭＶｂ＝ＭＶｂ’＝（Ｔ５−Ｔ４）／（Ｔ５−Ｔ１）×ＭＶ
上記（式３）に基づくＭＶｆ及びＭＶｂの導出には、復号化対象ピクチャ、アンカーピクチャの表示番号だけでなく、アンカーブロックの参照する前方参照ピクチャと復号化対象ブロックの参照する前方参照ピクチャの表示番号も必要になる。
【００８０】
なお、ここでは、代用処理時にも予測誤差の加算をするかどうかは規定していない。通常処理と同様に予測誤差の加算を行ってもよいし、代用処理であることを考慮して、予測誤差の換算を行わないとしてもよい。
（実施形態６）
実施形態６は、実施形態１〜５と比べて、代用処理方法が異なる。
【００８１】
実施形態１〜５では、代用処理部１１０は、時間的ダイレクトモードで代用処理を行う（ステップＳ３０７〜Ｓ３１０）が、これに代わって実施形態６では、代用処理部１１０は空間的ダイレクトモードで代用処理を行う（ステップＳ３１１）。
空間的ダイレクトモードは、時間的ダイレクトモードと同様、ストリームに参照ピクチャと動きベクトルが不要である。また、空間的ダイレクトモードでは、アンカーブロックの前方参照ピクチャが存在していなくてもよいので、時間的ダイレクトモードが不可能であった場合でも、代用処理として空間的ダイレクトモードを実行することができる（ステップＳ３１１）。
【００８２】
空間的ダイレクトモードの実現方法は、図４３に示した従来技術と同様であるので、ここでは省略する。
なお、ここでは、代用処理時にも予測誤差の加算をするかどうかは規定していない。通常処理と同様に予測誤差の加算を行ってもよいし、代用処理であることを考慮して、予測誤差の換算を行わないとしてもよい。
（実施形態７）
実施形態７は、実施形態１〜６と比べて、代用処理方法が異なる。
【００８３】
実施形態１〜５では時間的ダイレクトモードで（ステップＳ３０７〜Ｓ３１０）、実施形態６では空間的ダイレクトモードで（ステップＳ３１１）、それぞれ代用処理部１１０は代用処理を行うが、これらに代わって実施形態７では、代用処理部１１０はダイレクトモード以外の方法で代用処理を行う（ステップＳ３１２）。
例えば、ダイレクトモードでは双参照（前方参照、後方参照）だけであるが、Ｂピクチャとしては、前方参照のみ、あるいは、後方参照のみも可能である。
【００８４】
これを利用して、代用処理部１１０は、ステップＳ３１２において、本来の前方参照ピクチャは参照せずに、参照可能な後方参照ピクチャのみを参照して復号化する。
図２０は、実施形態７における、後方参照のみで動き補償を行う代用処理の模式図である。
復号化対象ピクチャＢ５の復号化対象ブロックは、後方参照のみ（ピクチャＰ２）の復号化モードで復号する。このとき、参照動きベクトルは、実施形態１〜５で示した時間的ダイレクトモードでの代用処理の場合と同様の方法で決定することができる。図１８は、例として、動きベクトルを０にする方法（実施形態４）での後方参照を示している。
【００８５】
なお、ここでは、代用処理時にも予測誤差の加算をするかどうかは規定していない。通常処理と同様に予測誤差の加算を行ってもよいし、代用処理であることを考慮して、予測誤差の換算を行わないとしてもよい。
（実施形態８）
実施形態８は、実施形態１〜７と比べて代用処理方法が異なる。
【００８６】
実施形態１〜７では、復号化対象ピクチャの復号化対象ブロックのみに対して代用処理を適用して、復号化を継続する（ステップＳ３０７〜Ｓ３１２）アプローチであった。
しかし、特定のブロックでこのような代用処理が必要になるということは、近隣のブロックでも同様の代用処理が必要になる可能性がある。また、何らかの要因で動画像復号装置１００に入力される符号列の一部に誤りが挿入され、その結果誤った復号を行っている可能性もある。この場合、特定のブロックに限定した代用処理では、想定された復号結果からかけ離れた復号結果になる可能性がある。
【００８７】
そこで、実施形態８では、代用処理部１１０は、ステップＳ３０７〜Ｓ３１２に代わり、ピクチャ単位又はスライス単位で代用処理を行う（ステップＳ３１３）。
代用処理の方法は、該当ピクチャに対するストリームの復号を中止し、該当ピクチャに属する全てのブロックに対して、又は、該当スライスに属する全てのブロックに対して実施形態１〜７で示した各代用処理を実行すればよい。
【００８８】
その他、代用処理部１１０は、一番最近復号化したピクチャの画像データをコピーするといった方法や、一番最近表示したピクチャの画像データをコピーするといった方法など、いずれの方法をとってもよい。
図２１は、一番最近復号化したピクチャの画像データをコピーする場合の一例を示す。
復号化の順番は、ピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｂ５であり、ピクチャＢ５の直前に復号化されるピクチャは、ピクチャＢ４である。ピクチャＢ５において代用処理が発生した場合、ピクチャＢ４の画素データをピクチャＢ５にコピーすることで、ピクチャ間の連続性が高い復号結果が得られる。また、上記方法は、ピクチャだけでなくスライスに対して適用してもよい。
（実施形態９）
実施形態９は、実施形態１〜８と比べて、代用処理部１１０が代用処理を行う条件が異なる。
【００８９】
図２２は、実施形態９における、代用処理部１１０の動作を示すフローチャートである。
図中のステップＳ２００１〜Ｓ２００６は、実施形態１における図３に示すステップＳ３０１〜Ｓ３０６と同様であるので、ここでは詳述しない。
以下、代用処理（ステップＳ２００７〜Ｓ２０１４）について説明する。
（１．条件１）
ステップＳ２００３での判断により、代用処理が必要と判断された場合（ステップＳ２００３：ＮＯ）においても、参照ピクチャの画像データ自体がピクチャメモリ１０３からすでに失われているとは限らない。
【００９０】
例えば、前方参照ピクチャリストは、ストリームにより最大数を決定しているため、参照ピクチャが参照可能な状態でピクチャメモリ１０３内に存在していたとしても、前方ピクチャリストに含まれない可能性がある。
この場合、参照ピクチャがピクチャメモリ１０３内に物理的に存在するにもかかわらず、当該参照ピクチャを参照して復号化できないように、本来Ｈ．２６４規格で規定されている。
【００９１】
このようなケースを救済するために、代用処理部１１０は、ピクチャメモリ１０３にアンカーブロックの前方参照ピクチャが参照可能な状態で存在するかどうかを確認し、もし存在していれば、本来の規定に拠らず、代用処理として復号対象ピクチャの前方参照ピクチャをそのピクチャに決定し、その後は通常の時間的ダイレクトモードと同様の処理を行う（ステップＳ２００７及びステップＳ２０１０〜Ｓ２０１３）。
【００９２】
ここで、ステップＳ２００７及びステップＳ２０１０の処理を図２３〜２４の模式図を用いて説明する。
図２３は、ストリームの各ピクチャの復号化順、表示時間の関係、ピクチャ間の参照関係、ピクチャメモリ１０３の状態を示す模式図である。
ピクチャメモリ１０３のサイズが４ピクチャ分存在し、ピクチャＰ１、ピクチャＰ２、ピクチャＢ３、ピクチャＢ４がすべて参照属性であったとすると、ピクチャＢ５の復号時には、ピクチャメモリにはピクチャＰ１、ピクチャＰ２、ピクチャＢ３、ピクチャＢ４のすべてが含まれる。
【００９３】
図２４は、上記ストリームにおいて復号化対象ピクチャがピクチャＢ５であり、そのピクチャＢ５を時間的ダイレクトモードで復号化する場合の模式図である。ストリームで前方ピクチャリストの最大数が２と規定されているとすると、ピクチャＢ５復号時の前方参照ピクチャリストにはピクチャＢ４とピクチャＢ３しか存在し得ない。ピクチャＢ５のアンカーブロックの前方参照ピクチャはピクチャＰ１であるが、上記前方参照ピクチャリストには含まれないため、代用処理を行なう必要がある。
【００９４】
図２３に示す通り、ピクチャＢ５の復号化の時点では、ピクチャメモリ１０３にはピクチャＰ１が参照可能な状態で残っているため、参照ピクチャとして代用処理を行うことが可能である。
（２．条件２）
また、ピクチャメモリ１０３は、ストリームにより制御されることがある。
【００９５】
すなわち、Ｈ．２６４規格では、ストリームにピクチャメモリ制御コマンドを埋め込むことができ、参照属性が付与されているピクチャに対して後に別のピクチャを復号化した時点で参照属性を外す（非参照）ことができる。
参照属性を変更する前は他のピクチャから参照可能なピクチャであっても、参照属性を一度非参照に変更すると、それ以降に復号するピクチャでは参照ピクチャとして利用できない。ピクチャの属性が非参照になれば、そのピクチャの表示属性によって、そのピクチャをピクチャメモリ１０３から削除するかどうかが決定される。
【００９６】
Ｈ．２６４規格では、復号順と表示順を任意にすることができるので、後から復号されるピクチャを先に表示する必要がある場合、参照ピクチャとしては利用しないピクチャであっても、表示のためにピクチャメモリ１０３に残す必要がある（表示属性が非表示になる）。
このため、すでに参照属性が非参照になっていても、ピクチャメモリ１０３には存在することになる。
【００９７】
以上のような事情から、復号化対象ブロックの参照ピクチャがピクチャメモリ１０３に存在するにもかかわらず、復号化対象ブロックの復号化時において当該参照ピクチャに参照属性が付与されていない（非参照）がために、当該参照ピクチャを参照して復号化がすることが不可能になる状況が生じ得る。
このようなケースを救済するために、代用処理部１１０は、ピクチャメモリ１０３に存在するアンカーブロックの前方参照ピクチャが非参照であっても、本来の規定に拠らず、代用処理として復号対象ピクチャの前方参照ピクチャをそのピクチャに決定し、その後は通常の時間的ダイレクトモードと同様の処理を行うことができる（ステップＳ２００８及びステップＳ２０１０〜Ｓ２０１３）。
【００９８】
ここで、ステップＳ２００８及びステップＳ２０１０の処理を図２５〜２６の模式図を用いて説明する。
図２５は、ストリームの各ピクチャの復号化順、表示時間の関係、ピクチャ間の参照関係、ピクチャメモリの状態を示す模式図である。
ピクチャメモリ１０３のサイズが４ピクチャ分存在し、ピクチャＰ１、ピクチャＰ２、ピクチャＢ３、ピクチャＢ４がすべて参照属性であったとする。ピクチャＢ３の復号時に、ピクチャメモリ制御コマンドでピクチャＰ１を非参照化する指定が含まれていた場合、ピクチャＰ１より前に表示する必要があるピクチャＢ４、ピクチャＢ５の復号がまだ完了していないので、ピクチャＰ１は非参照になるものの、表示属性は非表示になり、使用属性は使用中となる。ピクチャＢ５の復号時のピクチャメモリ１０３には、ピクチャＰ２、ピクチャＢ３、ピクチャＢ４が参照可能として含まれ、ピクチャＰ１が非参照として含まれる。
【００９９】
図２６は、上記ストリームにおいて符号化対象ピクチャがピクチャＢ５であり、そのピクチャＢ５を時間的ダイレクトモードで復号化する場合の模式図である。
ピクチャＰ１は、非参照であるため、ピクチャＢ５の前方参照ピクチャリストには含まれない。ピクチャＢ５のアンカーブロックの前方参照ピクチャはピクチャＰ１であるが、上記前方参照ピクチャリストには含まれないため、代用処理を行う必要がある。
【０１００】
図２５に示す通り、ピクチャＢ５の復号化の時点では、ピクチャメモリ１０３には、ピクチャＰ１が非参照ではあるが使用中として残っているため、参照ピクチャとして代用処理を行うことが可能である。
（３．条件３）
また、ピクチャの属性が非参照になったときに、そのピクチャがすでに表示済み（表示属性が表示済み）であれば、すでにピクチャメモリ１０３に残す必要がなくなる。このときピクチャメモリは開放された状態になる（使用属性は未使用）。
【０１０１】
しかし、そのピクチャメモリ開放時に使用属性を未使用に変更するだけであれば、開放後に他のピクチャがその領域を上書きしなければ、ピクチャの画素情報などピクチャの参照に必要な情報は全てピクチャメモリ１０３に残っている。
ところが、Ｈ．２６４の規定では、このピクチャがアンカーピクチャの前方参照ピクチャとして指定された場合、参照ピクチャがピクチャメモリ１０３にはまだ存在しているにもかかわらず、当該参照ピクチャを参照しての復号化が不可能になる。
【０１０２】
このようなケースを救済するために、代用処理部１１０は、ピクチャメモリ１０３に存在する参照ピクチャの使用属性が未使用に変更されていたとしても、本来の規定に拠らず、復号対象ピクチャの前方参照ピクチャをそのピクチャに決定し、その後は通常の時間的ダイレクトモードと同様の処理を行うことができる（ステップＳ２００９及びステップＳ２０１０〜Ｓ２０１３）。
【０１０３】
ここで、ステップＳ２００９及びステップＳ２０１０の処理を図２７〜２８の模式図を用いて説明する。
図２７は、ストリームの各ピクチャの復号化順、表示時間の関係、ピクチャ間の参照関係、ピクチャバッファの状態を示す模式図である。
ピクチャメモリ１０３のサイズが４ピクチャ分存在し、ピクチャＰ１、ピクチャＰ２、ピクチャＢ３、ピクチャＢ４がすべて参照属性であったとする。
【０１０４】
ピクチャＢ３の復号時に、ピクチャメモリ制御コマンドでピクチャＰ１を非参照化する指定が含まれていた場合、ピクチャＰ１より前に表示する必要があるピクチャは存在しないので、ピクチャＰ１の表示属性を表示済みに変更して、使用属性は未使用とすることができる。
ピクチャＢ３、ピクチャＢ４の復号後には、ピクチャバッファに格納する必要があるが、もともとピクチャＰ１の使用領域以外にも２ピクチャ分の空きがあるため、そちらを優先的に使用するものとする。
【０１０５】
したがって、ピクチャＢ５の復号時のピクチャメモリ１０３には、ピクチャＰ２、ピクチャＢ３、ピクチャＢ４が参照可能として含まれ、ピクチャＰ１も、未使用領域にではあるが残っていることになる。
図２８は、上記ストリームにおいて符号化対象ピクチャがピクチャＢ５であり、そのピクチャＢ５を時間的ダイレクトモードで復号化する場合の模式図である。
【０１０６】
ピクチャＰ１は、未使用であるため、ピクチャＢ５の前方参照ピクチャリストには含まれない。ピクチャＢ５のアンカーブロックの前方参照ピクチャはピクチャＰ１であるが、上記前方参照ピクチャリストには含まれないため、代用処理を行なう必要がある。
図２７に示す通り、ピクチャＢ５の復号化の時点では、ピクチャメモリにはピクチャＰ１が未使用領域ではあるが残っているため、参照ピクチャとして代用処理を行うことが可能である。
（４．その他）
ピクチャメモリ１０３に参照ピクチャが存在しなかった場合は、実施の形態１〜８に示したように、代用処理を行うことができる（ステップＳ２０１１又はステップＳ２０１４）。
（実施形態１０）
実施形態１０は、実施形態９と比べて、代用処理方法が異なる。
【０１０７】
実施形態９では、ステップＳ２０１０において、参照ピクチャ番号に割り当てられていないピクチャを参照ピクチャとして決定することになる。
それに対して、Ｈ．２６４規格は、参照ピクチャが必ず参照ピクチャリストに含まれることを前提としている。例えば、時間的ダイレクトモードの場合、参照ピクチャとして利用する前方参照ピクチャ番号を必ず求めることが規定されている。
【０１０８】
したがって、参照ピクチャ番号を持たない場合は、動き補償を継続することができない。
実施形態１０では、この点を考慮して、動画像復号化装置１００が代用処理を行う。
図２９は、動画像復号化装置１００の動作の一例を示すフローチャートである。
上記代用処理において、参照ピクチャリストに含まれないピクチャを参照ピクチャとして決定したかどうかによって処理が分岐する（ステップＳ２７０７）。
【０１０９】
前方参照ピクチャとして前方参照ピクチャリストに含まれている場合（ステップＳ２７０７：ＮＯ）、参照ピクチャ番号からピクチャバッファ番号を参照する（ステップＳ２７０２）が、参照ピクチャリストに含まれない場合（ステップＳ２７０７：ＹＥＳ）は、参照ピクチャ番号を持たないので、上記処理（ステップＳ２７０２）をスキップすることで、以降の動き補償を通常の動き補償の処理と共通にすることができる。
（実施形態１１）
実施形態１１は、実施形態１０と比べて、代用処理方法が異なる。
【０１１０】
また、動画像復号化装置の動作のさらに別の一例について説明する。
図３０は、動画像の復号化装置１００の動作の一例を示すフローチャートである。
ここでは、参照ピクチャリストに含まれないピクチャに対して、参照ピクチャ番号を新たに割り当てる（ステップＳ２８０７）ことで、それ以降の処理を通常の動き補償の処理と共通にする。
【０１１１】
なお、実施形態１０及び１１は、参照ピクチャ番号を持たない参照ピクチャで動き補償を行う方法の一例であり、上記課題が解決される方法であれば、他の方法で動き補償を行ってもよい。
（実施形態１２）
実施形態１２は、実施形態１〜１１と比べて、Ｈ．２６４規格で規定されている、重み付き予測を考慮し代用処理を行う点で異なる。
【０１１２】
重み付き予測は、画像の明るさ（輝度）を予測するしくみであり、明るさが段階的に変化する画像（特にフェードイン・フェードアウト）に対して、有効であることが特徴である。
Ｈ．２６４規格の重み付き予測では、明示的重み付け（Explicitモード）、暗黙的重み付け（Implicitモード）の２つのモードが存在する。
【０１１３】
明示的重み付き予測は、ストリーム中に参照画像に対する重み係数を埋め込むモードであり、暗黙的重み付き予測は、時間的ダイレクトモードにおけるスケーリング処理と同様に、参照画像に対する重み係数を参照画像との表示時間の比率によって決定するモードである。
すなわち、Ｂピクチャでは、重み付き予測を行わない場合は、両方の参照画像の平均値で画素値を求めていたが、重み付き予測を行うと、両方の参照画像に特定の係数をかけて画素値を求めることになる。
（１０−１．明示的重み付け）
図３１は、明示的重み付き予測を説明する模式図である。
【０１１４】
復号化対象ピクチャがピクチャＢ５であり、時間的ダイレクトモードにおいて、参照ピクチャが前方参照ピクチャ番号が２であるピクチャＰ１と、後方参照ピクチャ番号が０であるピクチャＰ２に決定したとする。
明示的重み付き予測では、ストリームに対して、参照ピクチャ番号ごとの重み係数を埋め込む。このとき同時にデフォルトの重み係数も組み込むので、指定のなかった参照ピクチャ番号に対しては、このデフォルトの重み係数を割り当てる。
【０１１５】
例えば、図３１に示すように、前方参照ピクチャ番号が２であり、ストリームでは重み係数の割り当てがなされていないので、Ｈ．２６４規格の規定により、前方参照の重み係数Ｗ０、Ｄ０には、デフォルトの重み係数（Ｗｄ、Ｄｄ）が割り当てられる。
また、同図において、後方参照ピクチャ番号が０であるため、後方参照の重み係数Ｗ１、Ｄ１には、ストリームで指定された重み係数Ｗ１０、Ｄ１０が割り当てられる。
【０１１６】
このとき、復号化対象ブロックの画素値（輝度）Ｙは、Ｙ０を前方参照画像の輝度、Ｙ１を後方参照画像の輝度とすると、（式４）に示す数式により求める。
（式４）
Ｙ＝Ｗ０×Ｙ０＋Ｗ１×Ｙ１＋Ｄ０＋Ｄ１
（１０−２．暗黙的重み付け）
図３２は、暗黙的重み付け予測を説明する模式図である。
【０１１７】
復号化対象ピクチャがピクチャＢ５であり、時間的ダイレクトモードにおいて、参照ピクチャが前方参照ピクチャ番号が２であるピクチャＰ１と、後方参照ピクチャ番号が０であるピクチャＰ２に決定したとする。
暗黙的重み付け予測では、参照ピクチャとの表示時間のスケーリング処理によって、重み係数が決定される。
【０１１８】
ピクチャＢ５の表示時間がＴ４、ピクチャＰ１の表示時間がＴ１、ピクチャＰ２の標示時間がＴ２とすると、符号化対象ブロックの画素値（輝度）Ｙは、（式５）に示す数式により求める。
（式５）
Ｙ＝Ｗ０×Ｙ０＋Ｗ１×Ｙ０＋Ｄ０＋Ｄ１
ただし、
Ｗ０＝１−Ｗ１
Ｗ１＝（Ｔ４−Ｔ１）／（Ｔ５−Ｔ４）
Ｄ０＝０
Ｄ０＝１
以上の通り、Ｈ．２６４規格での重み付け予測は、参照ピクチャ番号に依存する。
（１０−３．動作）
図３３に、重み付き予測を利用した動き補償に対し、参照ピクチャを割り当てずに復号化を行う場合の処理フローを示す。
【０１１９】
代用処理で決定した参照ピクチャが前方参照ピクチャリストに含まれない場合（ステップＳ３１１２：ＹＥＳ）、上記の理由により重み付き予測に必要な係数を決定する処理（ステップＳ３１０２、ステップＳ３１０８、ステップＳ３１０３、ステップＳ３１０９、及びステップＳ３１１０）を行うことができない。
このとき、重み付き予測係数なしで動き補償を行うので、ステップＳ３１０６では、前方参照と後方参照の平均値で動き補償を行うことになる。
（実施形態１３）
実施形態１３は、実施形態１２と比べて、重み付き予測を用いた代用処理方法が異なる。
【０１２０】
図３４は、代用処理時に重み付き予測を適用できなかった場合の影響を説明するための模式図である。
ブロックごとに参照ピクチャが変更される可能性があるため、隣り合うブロックＡ、ブロックＢのうち、ブロックＡは通常処理として復号化が可能だが、ブロックＢは通常処理として復号化が不可能で代用処理による復号化を行うといった場合が発生する可能性がある。
【０１２１】
ブロックＡでは重み付き予測を適用できるので、図中のＡの通り、輝度がＹＡとなったとする。ブロックＢでは重み付き予測が適用できないので、図中（Ｂ）に示す通り、期待される輝度はＹＢ’であるにもかかわらず、代用処理による輝度はＹＢになる。
ブロックＡとブロックＢは隣り合うため、ＹＡとＹＢは近い値になることが期待されるが、本実施形態の動画像復号化装置１００においては、輝度の差がＹＢ−ＹＡ（≒ＹＢ−ＹＢ’）となり、代用処理が行われたブロック（ブロックＢ）だけ著しく画像が劣化する可能性がある。
（１．動作１）
この点を考慮した動画像復号化装置１００の動作の一例を図３５に示す。
【０１２２】
実施形態１２との違いは、代用処理により割り当てられた参照ピクチャが前方参照ピクチャリストに含まれなかった場合にも重み付き予測を適用する点である。ただし、上述した通り、明示的重み付き予測は、参照ピクチャ番号が割り当てられることを前提としているので、代用処理時には通常処理と同様の処理は不可能である。
そこで、実施形態１３では、代用処理により割り当てられた参照ピクチャには、ストリームに明示的重み予測係数の初期値（Ｗｄ、Ｄｄ）として含まれる値を適用することで処理を継続する。
【０１２３】
暗黙的重み付き予測については、参照ピクチャ番号に依存しないので、通常処理と同様の処理が可能である。これにより、代用処理においても、重み付き予測を適用した動き補償が可能になる。
（２．動作２）
図３６は、動画像復号化装置１００の動作の別の例を示す。
【０１２４】
実施形態１２との違いは、代用処理により割り当てられた参照ピクチャを前方参照ピクチャリストに追加する際に、追加した前方参照ピクチャ番号の重み予測係数として、明示的重み付き予測係数の初期値（Ｗｄ、Ｄｄ）を適用してから処理を継続する点が異なる。
これにより、代用処理においても、重み付き予測を適用したが適用可能になる。
（３．例）
上記動作１及び２に基づく復号化手順を図３７の例を利用して説明する。
【０１２５】
復号化対象ピクチャがピクチャＢ５であり、ストリームにより、ピクチャＢ５の前方参照ピクチャリストの最大数が２で、時間的ダイレクトモードでかつ明示的重み予測モードが適用されるものと指定されているものとする。
ピクチャＢ５の参照ピクチャが、時間的ダイレクトモードとその代用処理において、前方参照ピクチャ番号が２であるピクチャＰ１と、後方参照ピクチャ番号が０であるピクチャＰ２に決定したとする。
【０１２６】
後方参照ピクチャは参照ピクチャ番号が存在するため、重み付き予測係数は、重み付き予測係数のテーブルを参照して、通常通りの係数（Ｗ１０、Ｄ１０）となる。
前方参照ピクチャは参照ピクチャ番号が存在しないため、重み付き予測係数のテーブルを参照することができない。ただし、重み付き予測係数には、初期値である予測係数（Ｗｄ、Ｄｄ）が存在するため、それを適用すればよい。
【０１２７】
タイミングが、図３５で示した動作（重み付き予測係数の決定時）時と、図３６で示した動作（参照ピクチャ番号追加時）時で異なるものの、結果として適用される重み付き予測係数はどちらの場合も同じとなる。
（実施形態１４）
実施形態１４は、本発明の動画像復号化装置１００を携帯電話機に実装した例である。
【０１２８】
図３８に、実施形態１４の携帯電話の構成を示す。
実施形態１４の携帯電話は、表示部４１２２および操作キー４１２４を備えた本体部の各部を統括的に制御するようになされた主制御部４１１１を具備する。
そして、電源回路部４１１０、操作入力制御部４１０４、動画像符号化部４１１２、静止画像符号化部４１３２、カメラ制御部４１０３、表示制御部４１０２、動画像復号化部４１０９、静止画像復号化部４１３１、多重分離部４１０８、記録再生部４１０７、変復調回路部４１０６、音声処理部４１０５が同期バス４１１３を介して主制御部４１１１に接続されている。
【０１２９】
この構成において、動画像復号化部４１０９は、実施形態１〜１３で示した動作を行う動画像復号化装置１００と同様の構成であり、画像データのビットストリームを各実施形態で示した復号化方法で復号化することにより生成動画像データを生成し、生成した画像を、表示制御部４１０２を介して表示部４２２２に供給する。
動画像復号化部４１０９はまた、動画像復号化時に代用処理の必要が発生した場合、代用処理部４１３３に通知する。
【０１３０】
代用処理部４１３３は、代用処理後に再度動画像復号４１０９に通知する。
なお、本体部の各部は集積回路として実現してもよい。
例えば、動画像復号化部４１０９と代用処理部４１３３だけを集積回路として実現してもよい（集積回路Ａ）し、それ以外の構成も含めた形で集積回路として実現してもよい（集積回路Ｂ）し、その他の構成であってもよい。
【０１３１】
これにより、携帯電話機が、例えばデジタル放送の放送波のようなビットストリームを受信した場合において、放送番組である動画像の復号を停止せずに継続して表示することができる。
（実施形態１５）
実施形態１５は、実施形態１４と比べて、代用処理方法が異なる。。
【０１３２】
実施形態１４では、代用処理を動画像復号化部４１０９に対してのみ適用する構成としていた。しかし、携帯電話などは、動画像復号化部４１０９で復号化した動画像は表示部４２２２で表示する構成となっているため、必ずしも代用処理を動画像復号化部４１０９だけに対して行う必要はなく、表示部４２２２に対して同等の効果が得られればよい。
例えば、復号化の継続が不可能になった場合の代用処理として前に表示したピクチャの内容をそのまま出力し続けても同様の効果が得られる。これは、代用処理部４１３３から表示制御部４１０２に対して、前に表示したピクチャの表示を継続する通知を行うことで実現できる。
【０１３３】
図３９は、実施形態１５の携帯電話機の構成を示す。
実施形態１４との違いは、代用処理部４２３３から表示制御部４２０２に通知が可能になった点である。
なお、本体部の各部は集積回路として実現してもよい。例えば、動画像復号化部４１０９と代用処理部４１３３だけを集積回路として実現してもよい（集積回路Ａ）し、それ以外の構成も含めた形で集積回路として実現してもよい（集積回路Ｂ）し、その他の構成であってもよい。
【０１３４】
上記のように集積回路Ａと集積回路Ｂとから成る構成の場合は、代用処理部４１３３から表示制御部４１０２に対しての通知は、集積回路間で行われる。
具体的には、集積回路Ａには代用処理の必要性を通知するための端子を設け、表示制御部４１０２がその端子からの通知に基づいて動作を変更する構成となる。
なお、代用処理の方法として、前に表示したピクチャの内容をそのまま出力し続けるものでなくても、同様の効果が得られる方法であれば、他の代用処理であってもよい。
【０１３５】
また、代用処理は、表示制御部４１０２に対してだけ行うだけでなく、表示制御部４１０２と動画像復号化部４１０９の両方に対して行ってもよい。
（変形例）
実施形態１〜１１で示した代用処理には、種々の変形を加えることが可能である。
代用処理部１１０は、ステップＳ３１２において、例えば、復号化順で一つ前の復号化済みピクチャにおける、復号化対象ブロックと同じ位置のブロックの画像データをコピーするといった代用処理を行ってもよい。
（補足）
（１）実施の形態１〜１５で示した動作処理は、具体的には、その動作処理内容を記述したプログラムをフレキシブルディスク、光ディスク、ＩＣカード、ＲＯＭカセットなどの記録媒体に記録して、その記録媒体を動画像復号化装置１００が読み込んで実現すことができる。
【０１３６】
また、動作処理内容を記述したプログラムは、記録媒体に記録することなく、インターネット等のネットワークから動画像復号装置１００がダウンロードして実行することで実現することができる。
（２）実施の形態１〜１５においては、各ピクチャがフレーム構造として復号化処理されることを前提として説明したが、これはフィールド構造であっても同様の処理によって実施可能である。また、フレーム構造とフィールド構造が適応的に組み合わさっていても、同様の処理によって実施可能である。
（４）実施の形態１〜１５においては、Ｈ．２６４規格に基づき説明を行ったが、同様の制約を持つ他の動画像符号化方式に対しても、適用可能である。
（５）実施形態１４〜１５は、携帯電話機を例に挙げて説明したが、これに限定されるものではない。
【０１３７】
例えば、動画像復号化装置１００は、ＤＶＤ装置、セットトップボックス、デジタルテレビ、自動車、セキュリティシステムなど動画像を扱うあらゆる機器に適用可能である。
【産業上の利用可能性】
【０１３８】
以上のように、本発明に係る動画像復号化装置は、他の復号済みピクチャの参照ピクチャを利用して復号化対象ブロックを復号化するモードに対応した動画像復号化装置に広く適用可能である。
【図面の簡単な説明】
【０１３９】
【図１】本発明の動画像復号化装置１００の構成の一例を示す図である。
【図２】本発明の動画像復号化装置１００のデータ構造の一例を示す図である。
【図３】本発明の実施形態１の動画像復号化装置での復号化手順の一例を示す図である。
【図４】本発明の実施形態１の動画像復号化装置１００での代用処理の手順の一例を示す図である。
【図５】時間的ダイレクトモードで前方参照ピクチャがピクチャメモリに存在しない場合を説明するためのストリーム構成を示す図である。
【図６】図５のストリームのピクチャ管理情報テーブルと前方参照ピクチャリストの一例を示す図である。
【図７】時間的ダイレクトモードで前方参照ピクチャがピクチャメモリに存在しない場合の一例を示す図である。
【図８】参照ピクチャ情報から前方参照ピクチャ番号への変換手順の一例を示す図である。
【図９】参照ピクチャ情報から前方参照ピクチャ番号への変換テーブルの作成手順の一例を示す図である。
【図１０】図５のストリームの前方参照ピクチャ参照テーブルの一例を示す図である。
【図１１】時間的ダイレクトモードで前方参照ピクチャが前方参照ピクチャリストに存在しない場合を説明するためのストリーム構成を示す図である。
【図１２】図１１のストリームのピクチャ管理情報テーブルと前方参照ピクチャリストの一例を示す図である。
【図１３】時間的ダイレクトモードで前方参照ピクチャが前方参照ピクチャリストに存在しない場合の一例を示す図である。
【図１４】図１１のストリームの前方参照ピクチャ参照テーブルの一例を示す図である。
【図１５】本発明の実施形態１の動画像復号化装置１００で前方参照ピクチャを前方参照ピクチャ番号０で代用した場合の一例を示す図である。
【図１６】本発明の実施形態２の動画像復号化装置１００で前方参照ピクチャを表示時間の近いピクチャで代用した場合の一例を示す図である。
【図１７】本発明の実施形態３の動画像復号化装置１００で動きベクトルの一方を参照動きベクトル、他方を０にした場合の一例を示す図である。
【図１８】本発明の実施形態４の動画像復号化装置で動きベクトルを０にした場合の一例を示す図である。
【図１９】本発明の実施形態５の動画像復号化装置１００で動きベクトルを後方参照方向だけで代用した場合の一例を示す図である。
【図２０】本発明の実施形態７の動画像復号化装置１００で動きベクトルを後方参照方向だけで代用した場合の一例を示す図である。
【図２１】本発明の実施形態８の動画像復号化装置１００の代用処理として全画素コピーを行う場合の一例を示す図である。
【図２２】本発明の実施形態９の動画像復号化装置１００での代用処理の手順の一例を示す図である。
【図２３】時間的ダイレクトモードで前方参照ピクチャが前方参照ピクチャリストに存在しない場合を説明するためのストリーム構成を示す図である。
【図２４】時間的ダイレクトモードで前方参照ピクチャが前方参照ピクチャリストに存在しない場合の一例を示す図である。
【図２５】前方参照ピクチャが非参照ピクチャである場合を説明するためのストリーム構成を示す図である。
【図２６】前方参照ピクチャが非参照ピクチャである場合の実施形態９の動画像復号化装置１００による代用処理の一例を示す図である。
【図２７】時間的ダイレクトモードで前方参照ピクチャが未使用ピクチャである場合を説明するためのストリーム構成を示す図である。
【図２８】時間的ダイレクトモードで前方参照ピクチャが未使用ピクチャ場合の実施形態９の動画像復号化装置１００の代用処理の一例を示す図である。
【図２９】本発明の実施形態１０の動画像復号化装置１００による復号化手順の一例を示す図である。
【図３０】本発明の実施形態１１の動画像復号化装置１００による復号化手順の一例を示す図である。
【図３１】時間的ダイレクトモードでの明示的重み付き予測による復号化の一例を示す図である。
【図３２】時間的ダイレクトモードでの暗黙的重み付き予測による復号化の一例を示す図である。
【図３３】本発明の実施形態１２の動画像復号化装置１００による重み付き予測の復号化手順の一例を示す図である。
【図３４】本発明の実施形態１３の動画像復号化装置１００による重み付き予測の復号結果の一例を示す図である。
【図３５】本発明の実施形態１３の動画像復号化装置１００による重み付き予測の復号化手順の一例を示す図である。
【図３６】本発明の実施形態１３の動画像復号化装置１００による重み付き予測の復号化手順の一例を示す図である。
【図３７】本発明の実施形態１３の動画像復号化装置１００での代用処理における明示的重み付き予測の一例を示す図である。
【図３８】本発明の実施形態１４の携帯電話機の構成を示す図である。
【図３９】本発明の実施形態１５の携帯電話機の構成を示す図である。
【図４０】Ｈ．２６４規格の参照画像の関係の一例を示す図である。
【図４１】Ｈ．２６４規格の復号順と表示順の関係の一例を示す図である。
【図４２】時間的ダイレクトモードによる復号化の一例を示す図である。
【図４３】空間的ダイレクトモードによる復号化の一例を示す図である。
【図４４】時間的ダイレクトモードによる復号化が不可能な場合の一例を示す図である。
【符号の説明】
【０１４０】
１００    動画像符号化装置
１０１    符号列解析部
１０２    予測残差復号化部
１０３    ピクチャメモリ
１０４    参照ピクチャ・動きベクトル記憶部
１０５    参照ピクチャ・動きベクトル予想部
１０６    動き補償部
１０７    加算演算部
１０８    スイッチ部
１０９    ダイレクトモード可否判定部
１１０    代用処理部
１１１    画面内予測部
４１０１    送受信回路部
４１０２    表示制御部
４１０３    カメラ制御部
４１０４    操作入力制御部
４１０５    音声処理部
４１０６    変復調回路部
４１０７    記録再生部
４１０８    多重分離部
４１０９    動画像復号化部
４１１０    電源回路部
４１１１    主制御部
４１１２    動画像符号化部
４１１３    同期バス部
４１２１    アンテナ部
４１２２    表示部
４１２３    カメラ部
４１２４    操作キー
４１２５    音声入力部
４１２７    記憶メディア
４１２８    音声出力部
４１３１    静止画像復号化部
４１３２    静止画像符号化部
４１３３    代用処理部
【図１】
0005155157.tif 000002
【図２】
0005155157.tif 000003
【図３】
0005155157.tif 000004
【図４】
0005155157.tif 000005
【図５】
0005155157.tif 000006
【図６】
0005155157.tif 000007
【図７】
0005155157.tif 000008
【図８】
0005155157.tif 000009
【図９】
0005155157.tif 000010
【図１０】
0005155157.tif 000011
【図１１】
0005155157.tif 000012
【図１２】
0005155157.tif 000013
【図１３】
0005155157.tif 000014
【図１４】
0005155157.tif 000015
【図１５】
0005155157.tif 000016
【図１６】
0005155157.tif 000017
【図１７】
0005155157.tif 000018
【図１８】
0005155157.tif 000019
【図１９】
0005155157.tif 000020
【図２０】
0005155157.tif 000021
【図２１】
0005155157.tif 000022
【図２２】
0005155157.tif 000023
【図２３】
0005155157.tif 000024
【図２４】
0005155157.tif 000025
【図２５】
0005155157.tif 000026
【図２６】
0005155157.tif 000027
【図２７】
0005155157.tif 000028
【図２８】
0005155157.tif 000029
【図２９】
0005155157.tif 000030
【図３０】
0005155157.tif 000031
【図３１】
0005155157.tif 000032
【図３２】
0005155157.tif 000033
【図３３】
0005155157.tif 000034
【図３４】
0005155157.tif 000035
【図３５】
0005155157.tif 000036
【図３６】
0005155157.tif 000037
【図３７】
0005155157.tif 000038
【図３８】
0005155157.tif 000039
【図３９】
0005155157.tif 000040
【図４０】
0005155157.tif 000041
【図４１】
0005155157.tif 000042
【図４２】
0005155157.tif 000043
【図４３】
0005155157.tif 000044
【図４４】
0005155157.tif 000045