(57)【特許請求の範囲】
【請求項１】
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域の復号データを用いて隠蔽する隠蔽部であって、前記復号済みの所定領域は、前記復号不可能な所定領域が復号されるよりも後に復号されるべき領域を可変長復号し、かつ前記復号不可能な所定領域を参照する領域の情報を用いる、隠蔽部と、
を備える動画像復号装置。
【請求項２】
前記第２視点の符号化データは、前記第１視点の符号化データの復号ピクチャを参照ピクチャとすることが可能な符号化方式を用いて符号化され、
前記第２復号部は、
前記第１復号部により復号された復号ピクチャが参照ピクチャである場合、前記参照ピクチャとなる復号ピクチャを用いて前記第２視点の符号化データの所定領域を復号し、
前記隠蔽部は、
前記参照ピクチャとなる復号ピクチャ内に、前記検出部により検出された所定領域がある場合、前記第２復号部による復号済みの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する請求項１記載の動画像復号装置。
【請求項３】
前記復号不可能な所定領域を参照する視差情報を前記第２視点の符号化データから抽出する抽出部と、
前記抽出された視差情報を有する所定領域を参照する第１動きベクトルを有する参照元領域が第２動きベクトルを有する場合、前記第１及び第２動きベクトルに基づき、隠蔽用の動きベクトルを算出する算出部と、をさらに備え、
前記隠蔽部は、
前記隠蔽用の動きベクトルが参照する第２視点の復号ピクチャの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する請求項２記載の動画像復号装置。
【請求項４】
前記第２復号部は、
前記第１復号部が前記復号不可能な所定領域を含む第１ピクチャを復号する前に、前記第１ピクチャに対応する前記第２視点の符号化データに含まれる第２ピクチャ、及び前記第２ピクチャより復号順が後の複数のピクチャから動きベクトル及び視差情報を復号する請求項３記載の動画像復号装置。
【請求項５】
前記算出部は、
前記参照元領域が複数ある場合、前記第２動きベクトルが復号済みピクチャを参照する参照元領域を選択する請求項３又は４いずれか一項に記載の動画像復号装置。
【請求項６】
前記算出部は、
前記第２動きベクトルが復号済みピクチャを参照する参照元領域が複数ある場合、前記参照元領域が有する差分係数又は量子化スケールから計算される評価値に基づいて参照元領域を選択する請求項５記載の動画像復号装置。
【請求項７】
動画像復号装置における動画像復号方法であって、
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する段階と、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する段階と、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する段階と、
前記第１視点の符号化データが復号される複数の所定領域のうち、復号不可能な所定領域を検出する段階と、
前記検出された所定領域を、前記第２視点の符号化データが復号された復号済みの所定領域の復号データを用いて隠蔽する段階であって、前記復号済みの所定領域は、前記復号不可能な所定領域が復号されるよりも後に復号されるべき領域を可変長復号し、かつ前記復号不可能な所定領域を参照する領域の情報を用いる、段階と、
を有する動画像復号方法。
【請求項８】
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域のデータを用いて隠蔽する隠蔽部であって、前記復号済みの所定領域は、前記復号不可能な所定領域が復号されるよりも後に復号されるべき領域を可変長復号し、かつ前記復号不可能な所定領域を参照する領域の情報を用いる、隠蔽部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像が符号化された符号化データを復号する動画像復号装置、動画像復号方法、及び集積回路に関する。
【背景技術】
【０００２】
近年、民生機器などで立体映像を視聴・録画する環境が整いつつある。特に、BDA（Blu-ray Disk Assosiation）は、立体映像フォーマット対応の規格化を決定した。TVや携帯電話など立体映像対応の市場も立ち上がりつつある。近い将来、デジタル放送でも立体(3D)映像放送の普及が見込まれる。
【０００３】
一方、立体映像放送や映像伝送において、伝送網の電波状態の悪さなどにより、放送波を正しく受信できない場合がある。放送波を正しく受信できない伝送エラーなどが発生すると、映像や音声は正しく復号出来なくなる。画像符号化の場合は、時間方向の予測を用いる為、エラーが発生したピクチャがIピクチャやPピクチャのように他のピクチャから参照されるピクチャである場合、そのエラー情報が参照され、エラーが複数のフレームに伝播してしまう。エラーが伝播するとエラーの影響範囲が拡大する。
【０００４】
そこで、エラーの伝播を防ぐため、エラーが発生したエラーピクチャ又はピクチャのエラー領域を、正しく復号できたピクチャ又はピクチャの所定領域を用いて、エラーを隠蔽（コンシールメント）する技術がある（例えば、特許文献１及び２）。
【０００５】
例えば、パニング検出を行い、エラーが発生した場合は近傍のマクロブロック（MB：MacroBlock）の動きベクトルに基づいて、エラーブロック用の動き補償用動きベクトルを設定する技術がある。
【０００６】
また、修復対象のマクロブロックの周辺のマクロブロックの有効性を判定し、有効と判定されたマクロブロックから画像修復用コンテキスト情報を取得し、修復に用いる推定動きベクトルを求める技術がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２０３５９８号公報
【特許文献２】特開２００７−３２５２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一方、ITU-T H.264(ITU-T : International Telecommunication Union Telecommunication Standardization Sector)／ISO/IEC MPEG-4 AVC(ISO/IEC : International Organization for Standardization/International Electrotechnical Commission)のStereo ProfileもしくはMVC(Multi-view Video Coding)の様な多視点映像符号化の場合は、図１に示すように、複数の各視点映像が参照、被参照の関係にある。図１は、各視点映像の参照、被参照関係の一例を示す図である。図１に示す例では、左目の視点（Left view）をBase viewとし、右目の視点（Right view）をEnhance view又はNon Base viewとする。以下、Base viewをBase側、Enhance view又はNon Base viewをDependent側ともいう。図１に示すように、Dependent側は、Base側のフレームを参照フレームとすることができる。このview間で予測を行うことを、View間予測という。図１に示す例では、Dependent側のPフレームがBase側のIフレーム又はPフレームを参照するが、これに限られず、例えばDependent側のBフレームがBase側のBフレームを参照してもよい。
【０００９】
ここで、多視点映像の復号化を考えた場合、エラー隠蔽処理を行うとき、それぞれの視点毎に前述した従来技術を適用することが考えられる。同一視点内の情報のみを使ってエラー隠蔽処理を行うと、ピクチャ全体が数ピクチャに渡ってエラーした際に、適切にエラーを隠蔽しきれない。
【００１０】
また、図１に示すように、多視点映像の符号化で複数視点間の相関を用いる場合、復号化時にBase側でエラーが発生した場合、Dependent側にもエラーが伝播し、Dependent側のエラー隠蔽処理が適切にできない。また、多視点映像符号化技術において、エラー隠蔽処理についてそれほど研究がされておらず、従来技術のエラー隠蔽処理を適用したとしても、エラー耐性が高くないという問題点があった。
【００１１】
そこで、開示の動画像復号装置は、上記課題に鑑みてなされたものであり、多視点映像符号化／復号化技術において、適切な復号済み画像データを用いてエラー隠蔽することでエラー耐性を高めることを目的とする。
【課題を解決するための手段】
【００１２】
開示の一態様における動画像復号装置は、複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、前記第１復号部により復号される所定領域のうち、復号不可能な所定領域を検出する検出部と、前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域を用いて隠蔽する隠蔽部と、を備える。
【００１３】
また、他の態様における動画像復号方法は、動画像復号装置における動画像復号方法であって、複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得し、前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号し、前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号し、前記第１の視点の符号化データが復号される所定領域のうち、復号不可能な所定領域を検出し、前記検出された所定領域を、前記第２視点の符号化データが復号された復号済みの所定領域を用いて隠蔽する。
【発明の効果】
【００１４】
開示の動画像復号装置、動画像復号方法、及び集積回路によれば、多視点映像符号化技術において、適切な復号済み画像データを用いてエラー隠蔽することでエラー耐性を高めることができる。
【図面の簡単な説明】
【００１５】
【図１】各視点映像の参照、被参照関係の一例を示す図。
【図２】多視点映像符号化の発生情報量の一例を示す図。
【図３】動画像復号装置の概略構成の一例を示すブロック図。
【図４】多視点符号化データのストリームの一例を示す図。
【図５】実施例１における復号処理を説明するための図。
【図６】ブロック抽出部の構成の一例を示すブロック図。
【図７】エラーMB、視差MB、参照元MB、被参照MBの関係（その１）を示す図。
【図８】エラーMB、視差MB、参照元MB、被参照MBの関係（その２）を示す図。
【図９】Base側の動画像復号処理の一例を示すフローチャート。
【図１０】Dependent側の動画像復号処理の一例を示すフローチャート。
【図１１】適切なMBの選択処理の一例を示すフローチャート。
【図１２】実施例２におけるブロック抽出部の構成の一例を示すブロック図。
【図１３】エラーMB、同位置MB、参照元MB、被参照MBの関係を示す図。
【図１４】エラーMB、同位置MB、被参照MBの関係を示す図。
【図１５】映像再生装置の構成の一例を示すブロック図。
【図１６】信号処理部の構成の一例を示すブロック図。
【図１７】携帯端末の構成の一例を示すブロック図。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照しながら実施例について詳細に説明する。
【００１７】
［実施例１］
まず、多視点映像符号化における各視点の発生情報量について考える。以下、多視点とは、右と左との２視点を例に説明するが、３視点以上あってもよい。また、一般的に、符号化の発生情報量について、IピクチャやPピクチャの参照ピクチャとなりうるピクチャは、Bピクチャなどの非参照ピクチャよりも、多く情報量が割り当てられる事が一般的である。情報量が多いとエラーが発生する確率が高いと考えられる。なお、符号化方式によっては、例えばH.264のようにBピクチャも参照ピクチャとなりうる。
【００１８】
図１に示したように、２眼（２視点）での多視点映像符号化の場合は、独立して通常再生可能なBase画像と、基本的にBase画像から差分符号化されるDependent画像の２つの視点の符号化を行う。ここで、発生情報量の観点から考えると、図２に示す様にBase画像の方が、Dependent画像よりも多く情報量が割り当てられる。
【００１９】
図２は、多視点映像符号化の発生情報量の一例を示す図である。図２に示す例は、HDTV映像（1280x720，30fps）をフレーム符号化で、２画面合わせて１２Mbpsで符号化した場合のピクチャの発生情報量の例である。また、図２に示す例は、あるタイミングで３０枚のピクチャ数を抽出した例である。図２（Ａ）は、Base側の発生情報量を示し、図２（Ｂ）は、Dependent側の発生情報量を示す。
【００２０】
図２に示すように、Dependent側の符号化では、Base側でいうIピクチャ相当のピクチャ１０は、Base側との差分符号化を行うことができるので、Base側のPピクチャ相当の情報量となる。また、Base側でいうPピクチャ相当のDependent側のPピクチャ２０は、Dependent側の片方向予測に加え、Base側の片方向予測を行うことができるので、Base側のBピクチャに近い情報まで、発生情報量を抑制することが可能である。
【００２１】
図２に示したように、Dependent側は、発生情報量がBase側に比べると少ないので、エラーが発生する確率がBase側よりも低くなる。また、エラーの発生確率が低いと考えられるDependent側の符号化データは、正しく復号できる可能性がBase側よりも高いといえる。よって、Dependent側の復号ピクチャを用いてBase側のエラー隠蔽処理を行えば、Base側のエラーに依存せずにエラー隠蔽処理を行うことができる。そこで、実施例１では、Base側のピクチャにエラー領域が発生した場合でも、Dependent側の復号済みのピクチャ内で、エラー領域に類似する領域を推定し、推定された領域のデータを用いてエラーが発生した領域を隠蔽する。
【００２２】
なお、復号対象の動画像の符号化データに含まれるピクチャは、インタレース方式により取得されるフィールド、又はプログレッシブ方式により取得されるフレームの何れであってもよい。
【００２３】
＜構成＞
図３は、本実施例における動画像復号装置１００の概略構成の一例を示すブロック図である。図３に示す動画像復号装置１００は、取得部１０１を有する。動画像復号装置１００は、Base側を復号する構成として、可変長復号部１０２、エラー検出部１０３、バッファメモリ１０４、選択部１０５、画像復号部１０６、隠蔽部１０７、ブロック抽出部１０８、選択部１０９、ピクチャメモリ１１０を有する。動画像復号装置１００は、Dependent側を復号する構成として、可変長復号部１２２、エラー検出部１２３、バッファメモリ１２４、選択部１２５、画像復号部１２６、隠蔽部１２７、ブロック抽出部１０８、選択部１２９、ピクチャメモリ１３０を有する。
【００２４】
取得部１０１は、多視点映像符号化技術を用いて符号化された多視点符号化データを取得する。多視点符号化データは、多視点においてそれぞれ得られた各視点の動画像の符号化データを含む。動画像の符号化データは、各ピクチャが所定領域毎に符号化されたデータである。
【００２５】
取得部１０１は、多視点符号化データを取得すると、各視点の符号化データに分離し、各視点に対応する可変長復号部１０２、１２２に出力する。取得部１０１は、多視点符号化データの各ピクチャのヘッダを参照することで、どの視点の符号化データであるかを判定できる。各ピクチャのヘッダには、Base側かDependent側かを示すデータが含まれている。
【００２６】
図４は、多視点符号化データのストリームの一例を示す図である。図４に示す例では、Left viewの符号化データとRight viewの符号化データとが交互に混合されて一つのストリームとなる。図４に示す「L0」はLeft viewの１枚目のピクチャ、「L1」はLeft viewの２枚目のピクチャであり、「R1」はRight viewの１枚目のピクチャ、「R2」はRight viewの２枚目のピクチャである。図４に示す例は、フレームシーケンシャル方式である。
【００２７】
なお、多視点符号化データのストリームは、フレームシーケンシャル方式に限らず、Left viewとRight viewそれぞれのピクチャを左右に振り分けるサイドバイサイド方式や、上下に振り分けるトップアンドボトム方式などでもよい。
【００２８】
図３に戻り、Base側の構成について説明する。可変長復号部１０２は、Base viewの符号化データを取得する。可変長復号部１０２は、取得した符号化データに含まれる各ピクチャに関する可変長符号化された情報を、可変長符号化方式に対応する可変長復号方式に従って復号する。可変長復号方式は、例えば、ハフマン符号あるいは算術符号に対応する復号方式である。可変長復号部１０２は、マクロブロック（MB）毎に、量子化された周波数係数（係数情報）、量子化スケール、及び動きベクトル、マクロブックタイプなどを復号し、復号データを得る。
【００２９】
可変長復号部１０２は、可変長復号された各マクロブロックの識別番号やピクチャ及びマクロブロックに関する情報をエラー検出部１０３に出力する。可変長復号部１０２は、各マクロブロックの動きベクトルや係数情報、量子化スケールなどの復号データをバッファメモリ１０４に出力する。
【００３０】
また、可変長復号部１０２は、画像復号部１０６、ブロック抽出部１０８、隠蔽部１０７の処理よりも、復号順序に従って、２以上の所定枚数分のピクチャに含まれる可変長符号化されたデータを先行して可変長復号する。
【００３１】
これにより、動画像復号装置１００は、エラー隠蔽対象となるピクチャよりも後に復号されるピクチャに含まれるマクロブロックが有する動きベクトルを用いることができる。なお、所定枚数は、２以上で、エラー隠蔽対象となるピクチャを参照する可能性のあるピクチャの枚数に１を加えた値までの範囲で設定される。
【００３２】
エラー検出部１０３は、符号化データに含まれる各ピクチャに対し、可変長復号及び／又は画像復号時にエラーが発生する領域を検出する。エラー検出部１０３は、動き補償が行われる領域の単位であるマクロブロック又は所定のブロックごとに、エラーが発生するか否かを検出する。例えば、エラー検出部１０３は、マクロブロック又は所定のブロックを復号するために必要なデータが欠落したか否かを検出する。
【００３３】
以下では、エラーが発生するマクロブロックをエラーマクロブロック（エラーMB）と呼ぶ。また、説明の簡略化のため、エラーが検出される各ピクチャの所定領域をマクロブロック単位で説明する。エラー検出部１０３は、エラーが検出される各ピクチャの所定領域が所定のブロック単位であっても、マクロブロックに対する処理と同様の処理を行うことでエラーを検出できる。
【００３４】
エラー検出部１０３は、マクロブロック毎に設けられるマクロブロックのマクロブロックアドレスの値からエラー検出対象となるマクロブロックを特定してもよい。エラー検出部１０３は、特定されたマクロブロックについて、符号化方式の規格によって定められた所定の情報が全て存在するか否かを調べる。エラー検出部１０３は、全ての情報が存在すれば、エラーがないと判定し、何れかの情報が欠けていれば、そのマクロブロックはエラーMBであると判定する。
【００３５】
また、エラー検出部１０３は、マクロブロックに与えられるマクロブロックアドレスのような識別番号が、連番になっているか否かを判定してもよい。エラー検出部１０３は、識別番号が連番になっていない場合、欠けた番号のマクロブロックは、復号できなかったエラーMBであると判定する。
【００３６】
エラー検出部１０３は、エラーの有無により、選択部１０５を制御する。エラー検出部１０３は、エラーMBを検出した場合、そのエラーMBについては、バッファメモリ１０４及び必要に応じてバッファメモリ１２４のデータがブロック抽出部１０８に読み出されるよう制御する。一方、エラー検出部１０３は、エラーMBを検出しなかった場合、バッファメモリ１０４のデータが画像復号部１０６に読み出されるよう制御する。エラー検出部１０３は、選択部１０９の制御も行う。この制御は後述する。
【００３７】
バッファメモリ１０４は、可変長復号部１０２により復号された動きベクトル、係数情報、量子化スケール、MBタイプなどの復号データを所定枚数分一時的に記憶する。
【００３８】
選択部１０５は、エラー検出部１０３により制御される。選択部１０５は、エラー検出部１０３によりエラーMB有りが通知されると、バッファメモリ１０４及びバッファメモリ１２４とブロック抽出部１０８とを接続し、エラー無しが通知されると、バッファメモリ１０４と画像復号部１０６とを接続する。
【００３９】
ここで、Dependent側について説明する。取得部１０１は、多視点符号化データの各ピクチャのヘッダを参照し、Dependent画像の符号化データを可変長復号部１２２に出力する。
【００４０】
可変長復号部１２２は、可変長復号部１０２と同様の処理を行う。例えば、可変長復号部１２２は、取得した符号化データのピクチャに含まれる可変長符号化データを復号し、復号データをバッファメモリ１２４に出力する。また、可変長復号部１２２は、エラー検出に用いられる復号データをエラー検出部１２３に出力する。
【００４１】
エラー検出部１２３は、エラー検出部１０３と同様の処理を行う。例えば、エラー検出部１２３は、前述した所定の方法により、各ピクチャに含まれるマクロブロックに対してエラーを検出する。また、エラー検出部１２３は、エラーMBの有無により選択部１２５を制御する。エラー検出部１２３は、選択部１２９の制御も行う。この処理は後述する。
【００４２】
バッファメモリ１２４は、可変長復号部１２２により復号された動きベクトル、係数情報、量子化スケールなどの復号データを一時的に記憶する。
【００４３】
選択部１２５は、エラーMB有りが通知されると、バッファメモリ１２４とブロック抽出部１０８とを接続し、エラー無しが通知されると、バッファメモリ１２４と画像復号部１２６とを接続する。
【００４４】
ここで、可変長復号部１０２と可変長復号部１２２との先行復号について図５を用いて説明する。図５は、実施例１における復号処理を説明するための図である。図５に示すブロック列は、動画像の符号化データの一部を示し、ブロック列内の各ブロックは、それぞれ１つのピクチャに対応する。ブロック内に示された記号I、P、Bは、そのピクチャタイプを表し、それぞれIピクチャ、Pピクチャ、Bピクチャである。また、ピクチャタイプに続いて示された数字は、再生順序に従ったピクチャの順番を表す。その数字が小さいほど、再生順序が早い。
【００４５】
図５（Ａ）は、通常の復号処理の一例を示す図である。図５（Ａ）に示す通常の復号順は、ブロック列２０１で示す通りである。
I2, B0, B1, P5, B3, B4, P8, B6, B7, .. 
上記の順番で、可変長復号と画像復号とが同一のピクチャタイミングで処理される。
【００４６】
次に、通常の表示順は、ブロック列２０２で示す通りである。
B0, B1, I2, B3, B4, P5, B6, B7, P8, .. 
上記の順番で数字の小さい順に表示される。
【００４７】
図５（Ｂ）は、実施例１のBase側、Dependent側の復号処理の一例を示す図である。ブロック列２１１は、Base側の各ピクチャの可変長復号処理のタイミングを表す。ブロック列２１２は、Base側の各ピクチャの画像復号処理のタイミングを表す。ブロック列２１３は、Base側の各ピクチャの表示のタイミングを表す。
【００４８】
ブロック列２１１及びブロック列２１２に示すように、可変長復号部１０２は、例えば３ピクチャ分、画像復号部１０６の処理などに先行して可変長復号処理を行う。これにより、ブロック抽出部１０８、隠蔽部１０７では、エラー隠蔽対象のピクチャよりも復号順で後に位置するピクチャが持つ動きベクトルを利用することができる。
【００４９】
例えば、ピクチャP5内にエラー領域がある場合、ブロック抽出部１０８や隠蔽部１０７は、図５（Ｂ）に示す点線の矢印元のピクチャB3、B4の可変長復号を行った結果の情報を利用することができる。
【００５０】
ピクチャB3やB4は、ピクチャP5を参照ピクチャとして、フレーム間符号化を行うピクチャであるため、ピクチャP5のある位置を参照して符号化されている。つまり、ピクチャB3やB4は、ピクチャP5よりも画像の復号順は後である。例えば、ピクチャP5のある領域の情報がエラーにより欠落した場合でも、その領域を参照しているピクチャB3、B4内の領域の動きベクトルを利用して、隠蔽部１０７によるエラー隠蔽処理が可能となる。
【００５１】
ブロック列２２１は、Dependent側の各ピクチャの可変長復号処理のタイミングを表す。ブロック列２２２は、Dependent側の各ピクチャの画像復号処理のタイミングを表す。ブロック列２２３は、Dependent側の各ピクチャの表示のタイミングを表す。
【００５２】
ブロック列２２１及びブロック列２２２に示すように、可変長復号部１２２は、例えば３ピクチャ分、画像復号部１２６の処理などに先行して可変長復号処理を行う。これにより、ブロック抽出部１０８、隠蔽部１０７、１２７では、エラー隠蔽されるピクチャよりも復号順で後に位置するピクチャが持つ動きベクトルを利用することができる。ここで、ピクチャP5'は、ピクチャP5を参照ピクチャとして符号化されていたとする。つまり、ピクチャP5'は、ピクチャP5よりも画像の復号順では後になる。
【００５３】
例えば、ピクチャP5内にエラー領域がある場合、ブロック抽出部１０８や隠蔽部１０７は、図５（Ｂ）に示す一点鎖線の矢印元のピクチャP5'の可変長復号を行なった結果の情報を利用することができる。また、ブロック抽出部１０８や隠蔽部１０７は、同様に、ピクチャB3'、B4'の可変長復号結果の情報も利用可能である。
【００５４】
ピクチャP5'は、ピクチャP5を参照ピクチャとして、フレーム間符号化を行うピクチャであるため、ピクチャP5のある領域を参照して符号化されている。例えば、ピクチャP5のある領域の情報がエラーにより欠落した場合でも、その領域を参照しているピクチャP5'内の領域を参照する動きベクトルを利用して、隠蔽部１０７によるエラー隠蔽処理が可能となる。
【００５５】
また、ブロック抽出部１０８、隠蔽部１２７でも、エラー隠蔽対象のピクチャよりも復号順で後に位置するピクチャが持つ動きベクトルを利用することができる。
【００５６】
例えば、ピクチャP5'内にエラー領域がある場合、ブロック抽出部１０８や隠蔽部１２７は、図５（Ｂ）に示す破線の矢印元のピクチャB3'、B4'の可変長復号を行った結果の情報を利用することができる。
【００５７】
ピクチャB3'やB4'は、ピクチャP5'を参照ピクチャとして、フレーム間符号化を行うピクチャであるため、ピクチャP5'のある位置を参照して符号化されている。つまり、ピクチャB3'やB4'は、ピクチャP5'よりも復号順は後である。例えば、ピクチャP5'のある領域の情報がエラーにより欠落した場合でも、その領域を参照している、ピクチャB3'、B4'内の領域の動きベクトルを利用して、隠蔽部１２７によるエラー隠蔽処理が可能となる。
【００５８】
図３に戻り、Base側とDependent側の画像復号及びエラー隠蔽処理について説明する。Base側の画像復号部１０６は、可変長復号された復号データに対応するピクチャの各マクロブロックを復号する。画像復号部１０６は、例えば、可変長復号された復号データに含まれる係数情報に対して逆量子化処理及び逆直行変換処理を行う。画像復号部１０６は、逆直行変換処理により得られた差分信号を、動きベクトルにより特定される参照ピクチャの対応ブロックから求められる予測画像に加算する。参照ピクチャは、ピクチャメモリ１１０に記憶されている。これにより、ピクチャのマクロブロックが復号される。
【００５９】
画像復号部１０６は、復号されたピクチャのマクロブロックを、そのマクロブロックに対応するマクロブロックアドレス及びそのマクロブロックを含むピクチャの識別番号とともに選択部１０９へ出力する。
【００６０】
Dependent側の画像復号部１２６は、Base側の画像復号部１０６と同様の処理を行い、ピクチャのマクロブロックを復号する。画像復号部１２６と画像復号部１０６との違いは、画像復号部１２６は、画像復号部１０６により復号されたBase側のピクチャも画像復号部１２６により復号されたピクチャも参照ピクチャとすることができる。一方、画像復号部１０６は、画像復号部１０６により復号されたピクチャのみ参照ピクチャとすることができる。
【００６１】
次に、ブロック抽出部１０８について説明する。ブロック抽出部１０８は、バッファメモリ１０４及び／又はバッファメモリ１２４から動きベクトルを取得して、その動きベクトルを用いてエラーMBに類似するマクロブロックを推定し、推定したマクロブロックを抽出する。ブロック抽出部１０８の詳細は、図６を用いて説明する。
【００６２】
図６は、ブロック抽出部１０８の構成の一例を示すブロック図である。ブロック抽出部１０８は、視差情報抽出部１４１、動きベクトル計算部１４２、参照ブロック抽出部１４３を有する。まず、Base側にエラーMBが発生した場合、ブロック抽出部１０８が処理する内容を説明する。
【００６３】
視差情報抽出部１４１は、Base側のピクチャでエラーMBが発生した場合、バッファメモリ１２４からBase側のエラーMBを参照先とする動きベクトルを抽出する。この動きベクトルは、View間の動きベクトルとなるので視差情報を示す。視差情報抽出部１４１は、抽出した視差情報を動きベクトル計算部１４２に出力する。なお、視差情報抽出部１４１は、バッファメモリ１２４にエラーMBを参照先とする動きベクトルがなかった場合、その旨を動きベクトル計算部１４２に通知する。
【００６４】
動きベクトル計算部１４２は、取得した視差情報を有するマクロブロック（以下、視差MBともいう）を特定し、この視差MBを参照する動きベクトル（以下、参照元動きベクトルともいう）をバッファメモリ１２４から抽出する。
【００６５】
動きベクトル計算部１４２は、参照元動きベクトルを有するマクロブロック（以下、参照元MBともいう）が、もう一つの動きベクトルを有するかを判定する。もう一つの動きベクトルが復号済みピクチャのマクロブロック（以下、被参照MBともいう）を参照先とする場合、動きベクトル計算部１４２は、参照元MBが有する二つの動きベクトルを用いて、エラー隠蔽用の動きベクトルを計算する。以下、エラー隠蔽用の動きベクトルは、隠蔽動きベクトルともいう。動きベクトル計算部１４２は、計算した隠蔽動きベクトルを参照ブロック抽出部１４３に出力する。
【００６６】
隠蔽動きベクトルは、エラーMBと被参照MBとのピクチャ内での水平方向及び垂直方向のずれ量と、エラーMBが含まれるピクチャに対応するDependent側のピクチャから被参照MBが含まれるピクチャまでのピクチャ数とを、それぞれベクトルの要素として持つ。
【００６７】
なお、動きベクトル計算部１４２は、視差情報抽出部１４１から動きベクトルがない旨の通知を受けると、バッファメモリ１０４からエラーMBを参照先とする動きベクトルを抽出する。動きベクトル計算部１４２は、この動きベクトルを有するブロック（同視点参照元MB）が、もう一つの動きベクトルを有するかを判定する。もう一つの動きベクトルが復号済みのピクチャを参照先とする場合、動きベクトル計算部１４２は、同視点参照元MBが持つ二つの動きベクトルを用いて隠蔽動きベクトルを計算する。動きベクトル計算部１４２は、計算した隠蔽動きベクトルを参照ブロック抽出部１４３に出力する。
【００６８】
参照ブロック抽出部１４３は、取得した隠蔽動きベクトルが指す復号済みピクチャのマクロブロックのマクロブロックアドレス、及びそのマクロブロックを含むピクチャの識別番号を抽出し、隠蔽部１０７に出力する。参照ブロック抽出部１４３により特定されたマクロブロックは、エラーMBに類似するマクロブロックとして推定されたことを表す。
【００６９】
次に、Dependent側にエラーMBが発生した場合、ブロック抽出部１０８が処理する内容を説明する。動きベクトル計算部１４２は、Dependent側にエラーMBが発生した場合、バッファメモリ１２４からエラーMBを参照先とする動きベクトルを抽出する。動きベクトル計算部１４２は、抽出した動きベクトルの参照元となるブロック（同視点参照元MB）をバッファメモリ１２４から特定する。
【００７０】
動きベクトル計算部１４２は、特定した同視点参照元MBが、もう一つの動きベクトルを有するか否かを判定する。もう一つの動きベクトルが復号済みピクチャを参照先とする場合、動きベクトル計算部１４２は、同視点参照元MBが有する二つの動きベクトルを用いて、隠蔽動きベクトルを計算する。動きベクトル計算部１４２は、計算した隠蔽動きベクトルを参照ブロック抽出部１４３に出力する。
【００７１】
参照ブロック抽出部１４３は、取得した隠蔽動きベクトルが指す復号済みピクチャのマクロブロック（被参照MB）のマクロブロックアドレス、及びそのマクロブロックを含むピクチャの識別番号を抽出し、隠蔽部１２７に出力する。
【００７２】
なお、動きベクトル計算部１４２は、参照元MBが複数ある場合に、いずれのブロックにするかを決めるための評価部１５０を有する。評価部１５０は、参照元MBが有する情報を用いて評価値を計算し、評価値に基づいて１つの参照元MBを選択する。評価部１５０の詳細は後述する。なお、評価部１５０は、視差MB、同視点参照元MBが複数ある場合にも評価値を計算し、１つのマクロブロックを選択する。
【００７３】
（隠蔽動きベクトルの具体例）
次に、エラーMB、視差MB、参照元MB、被参照MBの関係について説明し、隠蔽動きベクトルの計算を具体的に説明する。図７は、エラーMB、視差MB、参照元MB、被参照MBの関係（その１）を示す図である。図７に示す例では、図５に示す例と同じように、Base側のピクチャI2、B3、B4、P5と同じ位置関係にあるDependent側のピクチャI2'、B3'、B4'、P5'を示している。図７に示すPtypeは、ピクチャタイプを表す。
【００７４】
例えば、Base側の復号順３のピクチャP5 ３０１内のMB３０２の情報がエラーにより欠落した場合に、Dependent側の同じ復号順３のピクチャP5'内に、視差情報３１１分だけずれたエラーMB３０２を参照しているマクロブロック（視差MB）３０５が存在する。
【００７５】
視差情報３１１分の移動量をMVDとする。ピクチャP5'は、Base側ピクチャP5の直後に復号されるピクチャであるので、ピクチャP5'の復号画像は、ピクチャP5の復号時点ではまだ存在しない。
【００７６】
一方、Dependent側のBピクチャの可変長復号を先行して行なっているので、ピクチャP5'の視差MB３０５を参照している参照元MB３０６のベクトル情報３１２、３１３がバッファメモリ１２４に存在する。この参照元MB３０６のベクトル情報３１２、３１３を用いて、動きベクトル計算部１４２は、仮隠蔽動きベクトル(MVC')３１４を生成する。
【００７７】
図７に示す例は、ピクチャB4'の参照元MB３０６の後方向ベクトルMVB'３１２が視差MB３０５を指していたとすると、参照元MB３０６の前方向ベクトルFMV'３１３を用いて、仮隠蔽動きベクトル３１４は、式（１）により求められる。
MVC'＝MVF'−MVB'      ・・・式（１）
動きベクトル計算部１４２は、仮隠蔽動きベクトル３１４と、視差情報（MVD）３１１とを用いて、隠蔽動きベクトル（MVC）３１５を式（２）により求める。
MVC＝MVC'−MVD          ・・・式（２）
ここで、仮隠蔽動きベクトル３１４の参照先はピクチャI2'であるが、ピクチャI2'は、ピクチャP5'を復号する際に、画像復号部１２６により復号済みである。ピクチャI2'の被参照MB３０７と隠蔽動きベクトル３１５とを用いて予測した画像を、エラー隠蔽用のブロックとする。
【００７８】
なお、参照ブロック抽出部１４３は、ピクチャI2'の被参照MB３０７と仮隠蔽動きベクトル（MVC'）３１４とを用いて、ピクチャP5'の視差MB３０５を復号し、更に視差情報３１１を用いてエラーMB３０２のエラー隠蔽処理を行ってもよい。
【００７９】
図８は、エラーMB、視差MB、参照元MB、被参照MBの関係（その２）を示す図である。図８に示す例は、視差MBを参照する動きベクトルを有する参照元MBが、双方向予測MBの場合でも、被参照MBが、Bピクチャ（参照Bピクチャ）内に存在する場合、エラー隠蔽処理ができない例である。図８に示すPtypeは、ピクチャタイプを表す。
【００８０】
図８に示すDependent側の復号順は、
I3', rB1', B0', B2', P7', rB5', B4', B6', ..
となる。rBで示したピクチャは、参照Bピクチャを示す。
【００８１】
ピクチャP7 ４０１にエラーMB４０２がある場合、ピクチャP7 ４０１の画像復号時には、ピクチャP7'、rB5'、B4'、B6'の可変長復号処理が終了しているとする。
【００８２】
Base側のピクチャP7 ４０１にエラーMB４０２がある場合、Dependent側のピクチャP7'内に視差情報４１１分だけずれたエラーMB４０２を参照しているマクロブロック(視差MB)４０３が存在する。ピクチャP7'は、Base側のピクチャP7の直後に復号されるピクチャであるので、ピクチャP７'の復号画像はピクチャP7の復号時点ではまだ存在しない。
【００８３】
一方、Dependent側では、可変長復号を先行して行なっているので、ピクチャP7'の視差MB４０３を参照しているピクチャB6'の参照元MB４０４のベクトル情報４１２、４１３はバッファメモリ１２４に存在する。この参照元MB４０４のベクトル情報４１２、４１３を用いて仮隠蔽動きベクトル(MVC')４１４を生成する。
【００８４】
ここで、図８に示す例では、ピクチャB6'の参照元MB４０４の後方向ベクトルMVB'４１２が参照元MB４０３を指していても、前方向ベクトルMVF'４１３は、ピクチャrB5'のブロック４０５を参照していたとする。この場合、図７に示す例と同様に、参照元MB４０４の前方向ベクトルFMV'４１３を用いて、仮隠蔽動きベクトル４１４を求めることはできない。なぜなら、この仮隠蔽動きベクトル４１４の参照先はピクチャrB5'となり、ピクチャrB5'は、ピクチャP7'よりも後に画像復号されるので、被参照MBが存在しない。
【００８５】
よって、図８に示すように、前方向ベクトルがまだ復号されていないピクチャ内のMBを指す参照元MB４０４は、動きベクトル計算部１４２により選択されないようにする。
【００８６】
（参照元MBが複数ある場合）
視差MBを参照する参照元MBが複数存在する場合がある。１枚のピクチャP5'に対して、そのピクチャを参照する可能性のあるピクチャはピクチャB3'やB4'のように複数存在する。さらに、ブロック毎に複数本の動きベクトルを用いた動き予測を行うことが可能であるため、視差MBを参照する参照元MBは複数存在する可能性がある。
【００８７】
そこで、図６に示す動きベクトル計算部１４２の評価部１５０が、複数の参照元MBを評価することで、１つのマクロブロックを選択する。
【００８８】
評価部１５０は、複数のマクロブロックが、視差MBを参照している場合、複数のマクロブロックの中から、動き予測として尤も適したものをマクロブロックの情報を用いて判定する。マクロブロックの情報は、予測タイプ、差分情報（係数情報）、動きベクトルの成分などである。
【００８９】
（１）予測タイプを用いる判定
予測タイプで判定する場合について説明する。例えば、図７に示したP5'の視差MBを参照するブロックは、少なくとも後方向の動きベクトルを持っている。よって、予測タイプとしては、後方向予測MB(Backward MB)、双方向予測MB(Bi-direction MB)が考えられる。この場合、後方向予測MBでは、復号済みのピクチャを参照先とする可能性がある前方向の動きベクトルが存在しない。よって、
Bi-Direction MB ＞ Backward MB
とする優先順位を付け、評価部１５０は、双方向予測MBを選択する。
【００９０】
（２）差分情報を用いる判定
次に、差分情報を用いて判定する場合について説明する。符号化処理において、差分情報は、動きベクトルによりフレーム間差分を取り、その差分(予測誤差)をDCT、量子化の処理を施して、可変長符号化される。つまり、可変長復号後の差分情報としては、量子化係数(Coef)および量子化値(Qscale)がブロック毎に得られる。
【００９１】
ここで、より正確に差分情報を用いるとすると、逆量子化処理、逆DCT処理まで施し、画素レベルの差分情報を求め、その差分情報の成分の絶対値和等を求めればよい。しかし、ここでは、処理を簡略化する為に、以下の評価を行うことにする。
【００９２】
複数の候補ブロックが、 MB0, MB1, .., MBnであったとして、各ブロックのQscale値が、Q0, Q1, .., Qn、量子化係数値がCoef0_i,j、Coef1_i,j、,,、Coefn_i,jであったとする。評価部１５０は、差分がもっとも小さいブロックを選択する。
【００９３】
・第１の例
評価部１５０は、量子化スケールが小さいブロックが、差分の小さいブロックと判定する。
SelectQ = maxQ;
for (x=0; x<n;x++) {
SelectQ = min(SelectQ, Qx);  //SelectQが更新されれば、選択するMBも更新する
}
・第２の例
評価部１５０は、量子化係数の差分絶対値和が小さいブロックが、差分の小さいブロックと判定する。
SelectCoef = maxCoeff;
for (x=0; x<n;x++) {
SelectCoef = min(SelectCoef, Σi,j  |Coefx_i,j| );  // SelectQが更新されれば、選択するMBも更新する
}
・第３の例
評価部１５０は、単純に量子化係数の有効係数の個数が小さいブロックが、差分の小さいブロックと定する。
SelectNum = maxNum;
for (x=0; x<n;x++) {
SelectNum = min(SelectNum, Countif(Coefx_i,j != 0) );  // SelectNumが更新されれば、選択するMBも更新する
}
評価部１５０は、上記３つの例のいずれかを用いて、１つのブロックを選択すればよい。
【００９４】
（３）動きベクトルを用いる判定
評価部１５０は、動きベクトルが指す参照エリアとして、より多くのエリアが含まれるベクトル成分を持つブロックが、差分の小さいブロックと判定する。
【００９５】
動きベクトルは、マクロブロックのサイズが16x16である場合、ベクトルの成分が16の倍数に近い方が原画ブロックと参照画ブロックの重なりが大きい。よって、その観点で動きベクトルを求める。
【００９６】
評価部１５０は、動きベクトルが16の倍数に近いとき、16の剰余(modulo)を取った値が、0,1,2,3,…,14,15となったとすると、0>1,15>2,14>3,13>…>7,9>8の順序で優先度を高くする。評価部１５０は、優先度に基づき以下に示す式によりブロックを選択する。この式が示す意味は、成分8からより離れた動きベクトルを選択する為に、値を0〜15に丸めた上で8を減算した値-8〜7の中で絶対値の大きな動きベクトルを選択する。
SelectMV = MV0; 
for (x=0; x<n;x++) {
SelectMV = min(|mod(SelectMV,16)-8|, |mod(MVx,16)-8|);  // SelectMVが更新されれば、選択するMBも更新する
// 16は、MBの水平サイズ、垂直サイズを参照する場合、フレーム予測であればmod16、フィールド予測であれば mod8を用いる
}
なお、実際の動きベクトルとしては、0.5画素精度(値2が動きベクトル1)、0.25画素精度(値4が動きベクトル1)と符号化方式により、動きベクトルをあらわす精度が異なるので、評価部１５０は、その精度によって計算式を変更する。
【００９７】
例えば、0.25画素精度で動きベクトルが表現されている場合、
SelectMV = MV0; 
for (x=0; x<n;x++) {
SelectMV = max(|mod(SelectMV,64)-32|, |mod(MVx,64)-32|);  // SelectMVが更新されれば、選択するMBも更新する
}
評価部１５０は、上記に示すように精度によって計算式を変更する。同様に、動きベクトルの表現精度だけでなく、マクロブロックのサイズが16x16以外の値を取った場合でも、評価部１５０は、サイズに応じて計算式を変更すればよい。
【００９８】
これにより、参照元MBが複数ある場合でも、評価部１５０により適切なブロックを選択することができる。
【００９９】
なお、エラーMBを参照する視差MBが複数ある場合も考えられ、このときは、差分情報を用いる判定などにより動きベクトル計算部１４２が１つの視差MBを選択するようにすればよい。
【０１００】
また、図７に示すように、１枚のP5ピクチャに対して、そのピクチャを参照するピクチャはDependent画像のピクチャP5'のみでなく同一視点内のピクチャB3、B4の様に複数枚存在する可能性がある。また、ブロック毎に複数本の動きベクトルを用いた動き予測を行う事が可能であるため、ピクチャP5のエラーMBを動き予測により参照しているブロック（同視点参照元MBや視差MB）が複数存在する可能性がある。
【０１０１】
この場合、評価部１５０は、エラーMBを参照するブロックが複数あれば、同視点のブロック、別視点のブロックのどちらを優先するかを決めておく。この実施例では、別視点のブロックを優先して用いることにするが、同視点のブロックを優先してもよい。
【０１０２】
次に、選んだ視点に対し、エラーMBを参照するブロックが複数ある場合には、前述したように、評価部１５０により１つのブロックを選択すればよい。なお、視差MBを選択する場合は、評価部１５０は、（２）の差分を用いる判定や（３）の動きベクトルを用いる判定により１つのマクロブロックを選択すればよい。
【０１０３】
図３に戻り、Base側の隠蔽部１０７は、ブロック抽出部１０８により抽出されたブロックの情報と、隠蔽動きベクトルとを用いて、隠蔽用のマクロブロックを生成する。隠蔽部１０７は、隠蔽用のマクロブロックを選択部１０９に出力する。
【０１０４】
これにより、隠蔽部１０７は、先行して復号された視差情報を用いることで、同視点の復号ピクチャだけでなく、別視点の復号ピクチャを用いてエラー隠蔽することができる。
【０１０５】
選択部１０９は、エラー検出部１０３により制御され、エラーMBの場合は、隠蔽部１０７により出力されるマクロブロックを選択するようにし、エラーがない場合は、画像復号部１０６により出力されるマクロブロックを選択する。選択部１０９は、同一のピクチャの識別番号及びマクロブロックアドレスに応じて、画像復号部１０６により復号されたマクロブロック又は隠蔽部１０７により生成されたマクロブロックを順に配列して、ピクチャメモリ１１０に出力する。
【０１０６】
ピクチャメモリ１１０は、選択部１０９により出力されるマクロブロックをピクチャ単位で一時的に記憶する。ピクチャメモリ１１０に記憶されたピクチャは、表示順に従って表示部などに出力される。また、ピクチャメモリ１１０に記憶されたピクチャは、Base側やDependent側で参照される可能性があるため、必要に応じて画像復号部１０６やピクチャメモリ１３０に出力される。また、ピクチャメモリ１１０に記憶されたピクチャは、エラー隠蔽用にも利用されるため、必要に応じて隠蔽部１０７により読み出される。
【０１０７】
Dependent側の隠蔽部１２７は、Base側の隠蔽部１０７と基本的には同様の処理を行う。異なるところは、隠蔽部１２７は、同視点の復号ピクチャを用いてエラー隠蔽処理が行われることである。
【０１０８】
選択部１２９は、Base側の選択部１０９と同様の処理を行う。例えば、選択部１２９は、同一のピクチャの識別番号及びマクロブロックアドレスに応じて、画像復号部１２６により復号されたマクロブロック又は隠蔽部１２７により生成されたマクロブロックを順に配列して、ピクチャメモリ１３０に出力する。
【０１０９】
ピクチャメモリ１３０は、選択部１２９により出力されるマクロブロックをピクチャ単位で一時的に記憶する。ピクチャメモリ１３０は、ピクチャメモリ１１０から出力されるBase側のピクチャを一時的に記憶する。Base側のピクチャもDependent側で参照される可能性があるからである。
【０１１０】
また、ピクチャメモリ１３０に記憶されたDependent側のピクチャは、表示順に従って表示部などに出力される。また、ピクチャメモリ１３０に記憶されたDependent側のピクチャは、隠蔽部１２７により読み出される。また、ピクチャメモリ１３０に記憶されたBase側及びDependent側のピクチャは、参照ピクチャとして、必要に応じて画像復号部１２６に出力される。
【０１１１】
以上の構成を有することで、隠蔽部１０７、１２７は、先行して可変長復号された動きベクトルを利用して、エラーMBに類似すると推定されたマクロブロックを隠蔽処理に用いることができる。また、隠蔽部１０７は、先に復号された他視点の動きベクトル（視差情報）を利用することで、他視点の復号済みピクチャから、エラーMBに類似すると推定されたマクロブロックを隠蔽処理に用いることができる。
【０１１２】
＜動作＞
次に、実施例１における動画像復号装置の動作について説明する。図９は、Base側の動画像復号処理の一例を示すフローチャートである。
【０１１３】
（Base側の復号処理）
ステップＳ１０１で、可変長復号部１０２は、取得部１０１により振り分けられたBase側の符号化データを１ピクチャ分、画像復号部１０６による画像復号に先行して可変長復号する。可変長復号部１０２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１０４に記憶する。また、可変長復号部１０２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１０３に出力する。
【０１１４】
ステップＳ１０２で、動画像復号装置１００は、バッファメモリ１０４に記憶された復号データが所定枚数のピクチャ分蓄積されたか否かを判定する。所定枚数のピクチャ分、復号データが蓄積された場合（Ｓ１０２−Ｙｅｓ）、ステップＳ１０３に進み、所定枚数分のピクチャが蓄積されていない場合（Ｓ１０２−Ｎｏ）、ステップＳ１０１に戻る。これにより、可変長復号部１０２は、画像復号部１０６の画像復号に先行して、所定枚数分のピクチャを可変長復号することができる。
【０１１５】
ステップＳ１０３で、可変長復号部１０２は、所定枚数の次のピクチャを可変長復号する。可変長復号部１０２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１０４に記憶する。また、可変長復号部１０２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１０３に出力する。
【０１１６】
ステップＳ１０４で、エラー検出部１０３は、可変長復号部１０２から取得したデータに基づいて、復号順の早いピクチャからエラー領域をマクロブロック単位で検出する。エラー検出部１０３は、例えば、マクロブロックアドレスの値の連続性が途切れることなどでエラーを検出できる。
【０１１７】
ステップＳ１０５で、エラー検出部１０３は、検出対象のマクロブロックにエラーが発生したか否かを判定する。エラーが発生した場合（ステップＳ１０５−Ｙｅｓ）、ステップＳ１０６に進み、エラーが発生しなかった場合（ステップＳ１０５−Ｎｏ）、ステップＳ１１３に進む。
【０１１８】
ステップＳ１０６で、ブロック抽出部１０８は、Dependent側のバッファメモリ１２４に、エラーMBを参照する視差MBがあるか否かを判定する。視差MBは、エラーMBを参照する動きベクトル（視差情報）を有するDependent側のマクロブロックである。視差MBがある場合（ステップＳ１０６−Ｙｅｓ）、ステップＳ１０７に進み、視差MBがない場合（ステップＳ１０６−Ｎｏ）、ステップＳ１０９に進む。
【０１１９】
ステップＳ１０７で、ブロック抽出部１０８は、Dependent側のバッファメモリ１２４に、視差MBを参照する参照元MBがあるか否かを判定する。参照元MBは、視差MBを参照する動きベクトルを有するDependent側のマクロブロックである。参照元MBがある場合（ステップＳ１０７−Ｙｅｓ）、ステップＳ１０８に進み、参照元MBがない場合（ステップＳ１０７−Ｎｏ）、ステップＳ１０９に進む。
【０１２０】
ステップＳ１０８で、ブロック抽出部１０８は、参照元MBが複数ある場合、エラーMBに類似すると推定される適切なマクロブロック（MB）を選択する。ステップＳ１０８の処理は、図１１を用いて後述する。
【０１２１】
ステップＳ１０９で、ブロック抽出部１０８は、Base側のバッファメモリ１０４に、エラーMBを参照する同視点参照元MBがあるか否かを判定する。同視点参照元MBは、Base側のピクチャにおけるマクロブロックで、エラーMBを参照する動きベクトルを有するマクロブロックである。同視点参照元MBがある場合（ステップＳ１０９−Ｙｅｓ）、ステップＳ１１０に進み、同視点参照元MBがない場合（ステップＳ１０９−Ｎｏ）、ステップＳ１１２に進む。
【０１２２】
ステップＳ１１０で、ブロック抽出部１０８は、同視点参照元MBが複数ある場合、エラーMBに類似すると推定される適切なマクロブロックを選択する。この選択処理は、ステップＳ１０８と同様であるので、図１１を用いて後述する。
【０１２３】
ステップＳ１１１で、隠蔽部１０７は、前述したように、先行して可変長復号された動きベクトルを用いて、復号済みのピクチャの中から、エラーMBに類似すると推定されるマクロブロックを隠蔽処理（隠蔽処理Ａ）に利用する。なお、隠蔽部１０７は、ステップＳ１０８に続く場合、別視点であるDependent側で復号された復号済みのピクチャの中に含まれるマクロブロックを隠蔽処理に用いる。隠蔽部１０７は、ステップＳ１１０に続く場合、同視点であるBase側で復号された復号済みのピクチャの中に含まれるマクロブロックを隠蔽処理に用いる。
【０１２４】
ステップＳ１１２で、隠蔽部１０７は、先行して可変長復号された動きベクトルにエラーMBを参照する動きベクトルがなければ、既知の隠蔽処理（隠蔽処理Ｂ）を行う。既知の隠蔽処理とは、例えば、エラーMBの周辺マクロブロックの動きベクトルが参照するマクロブロックを用いて隠蔽したり、１つ前に復号されたピクチャの中で、エラーMBと同一位置のマクロブロックを用いて隠蔽したりする。ステップＳ１１２の処理では、先行して可変長復号して得られた動きベクトルを用いない既知の隠蔽方法であれば、いずれの隠蔽方法を用いてもよい。
【０１２５】
ステップＳ１１３で、画像復号部１０６は、前述した通り、マクロブロック単位で画像を復号する。
【０１２６】
ステップＳ１１４で、動画像復号装置１００は、１ピクチャ分のマクロブロックを画像復号処理したか否かを判定する。１ピクチャ分終了していない場合（ステップＳ１１４−Ｎｏ）、ステップＳ１０４に戻り、次のマクロブロックの処理を行い、１ピクチャ分終了している場合（ステップＳ１１４−Ｙｅｓ）、ステップＳ１１５に進む。
【０１２７】
画像復号部１０７で復号されたマクロブロック、又は隠蔽部１０７により隠蔽処理されたマクロブロックは、選択部１０９により、マクロブロックアドレスやピクチャの識別番号などで配列され、ピクチャ単位でピクチャメモリ１１０に記憶される。
【０１２８】
ステップＳ１１５で、動画像復号装置１００は、符号化データに含まれる全てのピクチャを復号したか否かを判定する。全ピクチャの復号化が終了している場合（ステップＳ１１５−Ｙｅｓ）、動画像復号装置１００は復号処理を終了し、全ピクチャの復号処理が終了していない場合（ステップＳ１１５−Ｎｏ）、ステップＳ１０３に戻り、１ピクチャ分の復号処理を行う。
【０１２９】
（Dependent側の復号処理）
次に、Dependent側の復号処理について説明する。図１０は、Dependent側の動画像復号処理の一例を示すフローチャートである。
【０１３０】
ステップＳ２０１で、可変長復号部１２２は、取得部１０１により振り分けられたDependent側の符号化データを１ピクチャ分、画像復号部１２６による画像復号に先行して可変長復号する。可変長復号部１２２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１２４に記憶する。また、可変長復号部１２２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１２３に出力する。
【０１３１】
ステップＳ２０２で、動画像復号装置１００は、バッファメモリ１２４に記憶された復号データが所定枚数のピクチャ分蓄積されたか否かを判定する。所定枚数のピクチャ分、復号データが蓄積された場合（Ｓ２０２−Ｙｅｓ）、ステップＳ２０３に進み、所定枚数分のピクチャが蓄積されていない場合（Ｓ２０２−Ｎｏ）、ステップＳ２０１に戻る。これにより、可変長復号部１２２は、画像復号部１２６の画像復号に先行して、所定枚数分のピクチャを可変長復号することができる。
【０１３２】
ステップＳ２０３で、可変長復号部１２２は、所定枚数の次のピクチャを可変長復号する。可変長復号部１２２は、可変長復号して得られた動きベクトルや係数情報などの復号データをバッファメモリ１２４に記憶する。また、可変長復号部１２２は、エラー検出に必要なデータ、例えばマクロブロックアドレスなどをエラー検出部１２３に出力する。
【０１３３】
ステップＳ２０４で、エラー検出部１２３は、可変長復号部１２２から取得したデータに基づいて、復号順の早いピクチャからエラー領域をマクロブロック単位で検出する。エラー検出部１２３は、例えば、マクロブロックアドレスの値の連続性が途切れることなどでエラーを検出できる。
【０１３４】
ステップＳ２０５で、エラー検出部１２３は、検出対象のマクロブロックにエラーが発生したか否かを判定する。エラーが発生した場合（ステップＳ２０５−Ｙｅｓ）、ステップＳ２０６に進み、エラーが発生しなかった場合（ステップＳ２０５−Ｎｏ）、ステップＳ２１０に進む。
【０１３５】
ステップＳ２０６で、ブロック抽出部１０８は、Dependent側のバッファメモリ１２４に、エラーMBを参照する同視点参照元MBがあるか否かを判定する。同視点参照元MBは、Dependent側のピクチャにおけるマクロブロックで、エラーMBを参照する動きベクトルを有するマクロブロックである。同視点参照元MBがある場合（ステップＳ２０６−Ｙｅｓ）、ステップＳ２０７に進み、同視点参照元MBがない場合（ステップＳ２０６−Ｎｏ）、ステップＳ２０９に進む。
【０１３６】
ステップＳ２０７で、ブロック抽出部１０８は、同視点参照元MBが複数ある場合、エラーMBに類似すると推定される適切なマクロブロックを選択する。この選択処理は、図１１を用いて後述する。
【０１３７】
ステップＳ２０８で、隠蔽部１２７は、前述したように、先行して可変長復号された動きベクトルを用いて、復号済みのピクチャの中から、エラーMBに類似すると推定されるマクロブロックを隠蔽処理（隠蔽処理Ａ）に利用する。なお、隠蔽部１２７は、同視点であるDependent側で復号された復号済みのピクチャの中に含まれるマクロブロックを隠蔽処理に用いる。
【０１３８】
ステップＳ２０９で、隠蔽部１２７は、先行して可変長復号された動きベクトルにエラーMBを参照する動きベクトルがなければ、既知の隠蔽処理（隠蔽処理Ｂ）を行う。既知の隠蔽処理とは、例えば、エラーMBの周辺マクロブロックの動きベクトルが参照するマクロブロックを用いて隠蔽したり、１つ前に復号されたピクチャの中で、エラーMBと同一位置のマクロブロックを用いて隠蔽したりする。ステップＳ２０９の処理では、先行して可変長復号して得られた動きベクトルを用いない既知の隠蔽方法であれば、いずれの隠蔽方法を用いてもよい。
【０１３９】
ステップＳ２１０で、画像復号部１２６は、前述した通り、マクロブロック単位で画像を復号する。
【０１４０】
ステップＳ２１１で、動画像復号装置１００は、１ピクチャ分のマクロブロックを画像復号処理したか否かを判定する。１ピクチャ分終了していない場合（ステップＳ２１１−Ｎｏ）、ステップＳ２０４に戻り、次のマクロブロックの処理を行い、１ピクチャ分終了している場合（ステップＳ２１１−Ｙｅｓ）、ステップＳ２１２に進む。
【０１４１】
画像復号部１２７で復号されたマクロブロック、又は隠蔽部１２７により隠蔽処理されたマクロブロックは、選択部１２９により、マクロブロックアドレスやピクチャの識別番号などで配列され、ピクチャ単位でピクチャメモリ１３０に記憶される。
【０１４２】
ステップＳ２１２で、動画像復号装置１００は、符号化データに含まれる全てのピクチャを復号したか否かを判定する。全ピクチャの復号化が終了している場合（ステップＳ２１２−Ｙｅｓ）、動画像復号装置１００は復号処理を終了し、全ピクチャの復号処理が終了していない場合（ステップＳ２１２−Ｎｏ）、ステップＳ２０３に戻り、１ピクチャ分の復号処理を行う。
【０１４３】
（選択処理）
次に、図９のステップＳ１０８やＳ１１０、図１０のステップＳ２０７に示した適切なマクロブロックの選択処理について説明する。いずれの処理も同様に行うことができるので、図１１ではステップＳ１０８について例を用いて説明することにする。
【０１４４】
図１１は、適切なMBの選択処理の一例を示すフローチャートである。図１１に示す例は、参照元MBが複数ある場合であるが、同視点参照元MBが複数ある場合でも同様に適用できる。
【０１４５】
ステップＳ３０１で、ブロック抽出部１０８は、参照元MBのMBタイプが両方向予測であるか否かを判定する。参照元MBのMBタイプが両方向予測である場合（ステップＳ３０１−Ｙｅｓ）、ステップＳ３０２に進み、参照元MBのMBタイプが両方向予測でない場合（ステップＳ３０１−Ｎｏ）、ステップＳ３０５に進む。
【０１４６】
ステップＳ３０２で、ブロック抽出部１０８は、参照元MBが有する前方向動きベクトル（MV：Motion Vector）が参照するピクチャが、復号済みのピクチャか否かを判定する。このピクチャが復号済みのピクチャである場合（ステップＳ３０２−Ｙｅｓ）、ステップＳ３０３に進み、このピクチャが復号済みのピクチャでない場合（ステップＳ３０２−Ｎｏ）、ステップＳ３０５に進む。なお、ブロック抽出部１０８は、例えば、視差MBを有するピクチャよりも復号順が前であれば復号済みであると判定すればよい。
【０１４７】
ステップＳ３０３で、ブロック抽出部１０８は、差分係数（係数情報）や量子化スケールから計算される評価値が、所定値よりも小さいか否かを判定する。所定値の初期値は十分大きい値が設定されている。ブロック抽出部１０８は、評価対象の評価値が所定値よりも小さい値と判定した場合、その評価値を所定値に更新する。評価値の算出の仕方は、前述した評価計算の（２）や（３）の計算を用いればよい。評価値が所定値よりも小さい場合（ステップＳ３０３−Ｙｅｓ）、ステップＳ３０４に進み、評価値が所定値よりも大きい場合（ステップＳ３０３−Ｎｏ）、ステップＳ３０５に進む。
【０１４８】
ステップＳ３０４で、ブロック抽出部１０８は、ステップＳ３０３で評価値が小さいと判定されたマクロブロックを適切な参照元MBとして更新する。
【０１４９】
ステップＳ３０５で、ブロック抽出部１０８は、エラーMBを参照する参照元MBが他にあるか否かを判定する。参照元MBが他にある場合（ステップＳ３０５−Ｙｅｓ）、ステップＳ３０１に戻り、参照元MBが他にない場合（ステップＳ３０５−Ｎｏ）、最適な参照元MBの選択処理を終了する。この処理で最終的に更新された参照元MBが適切な参照元MBである。これにより、参照元MBが複数ある場合、適切な参照元MBを選択することができる。適切な参照元MBとは、エラーMBに一番類似すると思われるMBである。
【０１５０】
以上、実施例１によれば、Base側のピクチャにエラー領域が発生した場合でも、Dependent側の復号済みのピクチャ内で、エラー領域に類似する領域を推定し、推定された領域のデータを用いてエラーが発生した領域を隠蔽することができる。この処理は、可変長符号化された符号化データを、画像復号されるよりも先行して数ピクチャ分可変長復号することで実現できる。
【０１５１】
実施例１では、Base側のエラーMBを参照する視差情報を用いて、Dependent側でエラーMBに類似する視差MBを抽出する。この視差MBは、この時点ではまだ復号されていない。よって、動画像復号装置１００は、この視差MBを参照する参照元MBを特定し、この参照元MBが有する動きベクトルを用いて、視差MBに類似する被参照MBを復号済みピクチャから抽出する。この被参照MBは、視差MBに類似し、視差MBはエラーMBに類似するため、被参照MBは、エラーMBに類似することになる。よって、動画像復号装置１００は、この被参照MBを用いてエラーMBの隠蔽処理を行うことで、エラー耐性を高めることができる。また、発生符号量の観点から、Dependent画像は、Base画像よりもエラーが発生しにくいので、Dependent画像から被参照MBを抽出すれば、エラー耐性を向上させることができる。
【０１５２】
また、復号対象となる動画像の符号化データは、例えば、MPEG(Moving Picture Expert Group)−２、H.264などに基づく多視点符号化技術に従って符号化されたデータである。また、図３に示した動画像復号装置１００が有する各部は、例えば、それぞれ別個の回路とすることができる。また、動画像復号装置１００は、動画像復号装置１００が有する各部の機能を有する回路が集積された集積回路であってもよい。また、動画像復号装置１００が有する各部は、動画像復号装置１００が有する一つ又は複数のプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
【０１５３】
また、図３に示す例では、Base側の各部とDependent側の各部とを分ける構成を示したが、対応するそれぞれの部を一つで構成し、内部処理でBase側とDependent側とを分けて処理するようにしてもよい。例えば、可変長復号部を１つにし、この可変長復号部がBase側とDependent側の符号化データをそれぞれ可変長復号するようにすればよい。
【０１５４】
［実施例２］
次に、実施例２における動画像復号装置１００について説明する。実施例２は、エラーMBを参照する視差情報が取得できない場合に適用する。エラーMBを参照する視差情報が取得できない場合とは、エラー領域が大きく、視差情報もエラーで欠落した場合などである。また、そもそもエラーMBを参照する視差情報がない場合も含まれる。実施例２における動画像復号装置１００は、図３に示す構成と同様の構成を有する。ただし、実施例１と異なる構成は、ブロック抽出部１０８の構成である。以下、ブロック抽出部１０８の構成について説明する。
【０１５５】
なお、立体映像においては視差が存在するものの、Base側の画像とDependent側の画像とは、基本的に似通った映像を生成していると考えられる。この考えに基づき、実施例２では、Dependent画像において、エラーMBと同等の位置のマクロブロックの情報を用いて、エラー隠蔽処理を行う。
【０１５６】
＜構成＞
図１２は、実施例２におけるブロック抽出部１０８の構成の一例を示すブロック図である。ブロック抽出部１０８は、同位置ブロック抽出部５０１、動きベクトル計算部５０２、参照ブロック抽出部５０３を有する。まず、Base側のエラー隠蔽処理について説明する。Dependent側のエラー隠蔽処理は実施例１と同様にすればよい。
【０１５７】
同位置ブロック抽出部５０１は、Base側のエラーMBを含むピクチャと同じ時刻に撮像されたピクチャをDependent側から特定し、このDependent側のピクチャの中から、エラーMBと同じ位置にあるマクロブロックを抽出する。以下、このエラーMBと同じ位置にあるマクロブロックを同位置MBと呼ぶ。同位置ブロック抽出部５０１は、抽出した同位置MBのマクロブロックアドレスなどの情報を動きベクトル計算部５０２に出力する。
【０１５８】
動きベクトル計算部５０２は、同位置MBを参照する動きベクトル又は同位置MBが有する動きベクトルを用いて、隠蔽動きベクトルを計算する。隠蔽動きベクトルの計算の詳細は、図１３、１４を用いて後述する。動きベクトル計算部５０２は、計算した隠蔽動きベクトルを参照ブロック抽出部５０３に出力する。
【０１５９】
参照ブロック抽出部５０３は、取得した隠蔽動きベクトルが指す復号済みピクチャのマクロブロック（被参照MB）のマクロブロックアドレス、及びそのマクロブロックを含むピクチャの識別番号を抽出し、隠蔽部１０７に出力する。
【０１６０】
隠蔽部１０７は、隠蔽動きベクトルが参照するマクロブロックを用いて、エラーMBの隠蔽処理を行う。
【０１６１】
（隠蔽動きベクトルの具体例）
次に、エラーMB、同位置MB、参照元MB、被参照MBの関係について説明し、隠蔽動きベクトルの計算を具体的に説明する。図１３は、エラーMB、同位置MB、参照元MB、被参照MBの関係を示す図である。
【０１６２】
例えば、Base側の復号順３のピクチャP5 ６０１内のMB６０２の情報がエラーにより欠落した場合に、Dependent側の同じ復号順３のピクチャP5'内で、Base画像のエラーMB６０２と同じ位置にあるマクロブロック（同位置MB）６０３が存在する。
【０１６３】
ピクチャP5'は、Base側ピクチャP5の直後に復号されるピクチャであるので、ピクチャP5'の復号画像は、ピクチャP5の復号時点では存在しない。
【０１６４】
一方、Dependent側のBピクチャの可変長復号を先行して行なっているので、ピクチャP5'の同位置MB６０３を参照している参照元MB６０４のベクトル情報６１１、６１２がバッファメモリ１２４に存在する。この参照元MB６０４のベクトル情報６１１、６１２を用いて、動きベクトル計算部５０２は、仮隠蔽動きベクトル(MVC')６１３を生成する。
【０１６５】
図１３に示す例は、ピクチャB4'の参照元MB６０４の後方向ベクトルMVB'６１１が同位置MB６０３を指していたとすると、参照元MB６０４の前方向ベクトルFMV'６１２を用いて、仮隠蔽動きベクトル６１３は、前述した式（１）により求められる。
【０１６６】
動きベクトル計算部５０２は、仮隠蔽動きベクトル６１３を隠蔽動きベクトルとしてもよい。この場合、ピクチャI2'のブロック６０５が被参照MBとなる。また、仮隠蔽動きベクトル６１３を隠蔽動きベクトル６１４として、エラーMB６０２から参照させてもよい。この場合、エラーMBの位置から動きベクトル６１４が指すピクチャI2のブロック６０６が被参照MBとなる。
【０１６７】
図１３に示す例は、視差情報を用いないので、多視点映像符号化技術が視差情報を用いない場合であっても適用できる。
【０１６８】
図１４は、エラーMB、同位置MB、被参照MBの関係を示す図である。例えば、Base側の復号順３のピクチャP5 ７０１内のMB７０２の情報がエラーにより欠落した場合に、Dependent側の同じ復号順３のピクチャP5'内で、Base画像のエラーMB７０２と同じ位置にあるマクロブロック（同位置MB）７０３が存在する。
【０１６９】
ピクチャP5'は、Base側ピクチャP5の直後に復号されるピクチャであるので、ピクチャP5'の復号画像はピクチャP5の復号時点では存在しない。
【０１７０】
一方、Dependent側のBピクチャの可変長復号を先行して行なっているので、ピクチャP5'の同位置MB７０３が有する動きベクトル（MVO）７１２がバッファメモリ１２４に存在する。この動きベクトル７１２が参照するピクチャI2'内のブロック７０４は、視差情報（MVD2）７１３を有するとする。ここで、動きベクトル計算部５０２は、動きベクトル７１２を隠蔽動きベクトルとし、ブロック７０４を被参照MBとしてもよい。
【０１７１】
また、動きベクトル計算部５０２は、この視差情報７１３を同位置MB７０３に適用し、視差情報７１３分同位置MB７０３からずれたマクロブロック７０７を特定する。このマクロブロック７０７にピクチャI2'を参照する動きベクトル７１４があった場合、動きベクトル計算部５０２は、この動きベクトル７１４を隠蔽用動きベクトルとし、この動きベクトル７１４が参照するブロック７０６を被参照MBとしてもよい。
【０１７２】
また、動きベクトル計算部５０２は、動きベクトル７１４と同じ動きベクトル７１５をエラーMB７０２に適用し、この動きベクトル７１５を隠蔽動きベクトルとし、この動きベクトル７１５が参照するブロック７０８を被参照MBとしてもよい。
【０１７３】
評価部５１０は、実施例１と同様の処理を行い、対象のマクロブロックが複数ある場合に１つのマクロブロックを選択する。
【０１７４】
以上、実施例２によれば、エラーMBを参照する視差情報が取得できない場合でも、Base側のエラーMBを、Dependent側のマクロブロックを用いてエラー隠蔽処理を行うことができる。また、実施例２によれば、視差情報を用いない多視点映像符号化により符号化されたデータであっても、図１３に示す処理を適用できる。
【０１７５】
［実施例３］
次に、実施例１、２で説明した動画像復号装置１００を有する映像再生装置について説明する。図１５は、映像再生装置８００の構成の一例を示すブロック図である。図１５に示す映像再生装置８００は、入力部８０１、信号処理部８０２、表示部８０３、音声出力部８０４を有する。
【０１７６】
入力部８０１は、例えばアンテナ８０５と接続され、アンテナ８０５を介して、無線電波により搬送された映像信号を受信する回路を有する。入力部８０１は、受け取った映像信号をアナログ−デジタル変換する。入力部８０１は、デジタル化された映像信号を搬送波の変調方式に応じた復調方式で復調する。入力部８０１は、その復調された映像信号に対して、前方誤り訂正などの誤り訂正処理を行う。入力部８０１は、復調され、かつ誤り訂正処理された映像信号を信号処理部８０２に出力する。
【０１７７】
信号処理部８０２は、例えば１個又は複数個のプロセッサ及びその周辺回路を有する。信号処理部８０２は、映像信号に含まれる符号化された動画像の符号化データ及びオーディオ信号を復号する。このとき、動画像の符号化データは、多視点映像符号化された符号化データとする。信号処理部８０２は、復号された動画像データを表示部８０３に出力する。信号処理部８０２は、復号されたオーディオ信号を音声出力部８０４に出力する。
【０１７８】
表示部８０３は、例えば液晶ディスプレイなどの表示装置である。表示部８０３は、信号処理部８０２から取得した動画像データを表示する。
【０１７９】
音声出力部８０４は、例えばスピーカである。音声出力部８０４は、信号処理部８０２から取得したオーディオ信号を出力する。
【０１８０】
図１６は、信号処理部８０２の構成の一例を示すブロック図である。図１６に示す信号処理部８０２は、デマルチプレクサ８１１、動画像復号部８１２、音声復号部８１３を有する。
【０１８１】
デマルチプレクサ８１１は、映像信号を、動画像の符号化データと、符号化されたオーディオ信号とに分離する。デマルチプレクサ８１１は、符号化データをピクチャ単位で動画像復号部８１２に出力する。デマルチプレクサ８１１は、符号化されたオーディオ信号を音声復号部８１３に出力する。
【０１８２】
動画像復号部８１２は、上記各実施例で説明した動画像復号装置１００とすることができ、デマルチプレクサ８１１から取得した動画像の符号化データを復号する。動画像復号部８１２は、符号化データに含まれる何れかのピクチャにエラー領域が発生した場合、エラーが発生した領域を前述したように隠蔽処理を行う。動画像復号部８１２は、復号された動画像データを表示部８０３に出力する。
【０１８３】
音声復号部８１３は、デマルチプレクサ８１１から取得した、符号化されたオーディオ信号を、その符号化方式に応じた復号方法を用いて復号する。その符号化方式として、例えば、MPEG-2 AAC又はMPEG-4 AACなどがある。
【０１８４】
以上、実施例３によれば、映像再生装置８００は、実施例１、２で説明した動画像復号装置を用いているので、エラーの耐性を高めることができ、伝送エラーなどによる画質の劣化を抑制することができる。
【０１８５】
［実施例４］
次に、実施例１、２で説明した動画像復号装置１００の処理を有する携帯端末について説明する。図１７は、携帯端末９００の構成の一例を示すブロック図である。図１７に示す携帯端末９００は、入出力コントローラ９０１、ＣＰＵ（Central Processing Unit）９０２、補助記憶部９０３、主記憶部９０４、無線通信回路９０５、アンテナ９０６、ディスプレイ９０７を有する。
【０１８６】
入出力コントローラ９０１は、入力装置（携帯端末９００のキー入力部など）からの入力を制御する。入出力コントローラ９０１は、ディスプレイ（モニタなど）９０７への出力を制御する。ＣＰＵ９０２は、様々なプログラムを実行する。ＣＰＵ９０２は、いわゆるプロセッサであり、各部の処理を制御する。
【０１８７】
補助記憶部９０３及び主記憶部９０４は、プログラム及びプログラムの実行に必要なデータを格納する。補助記憶部９０３は、前述した動画像復号装置１００の処理を行う動画像復号プログラムを有する。無線通信回路９０５は、アンテナ９０６を介したネットワークによる通信を行う。アンテナ９０６は、無線信号や映像信号の送受信を行う。
【０１８８】
ＣＰＵ９０２は、アンテナ９０６により受信された動画像の符号化データを、無線通信回路９０５を介して取得する。ＣＰＵ９０２は、前述した動画像復号プログラムを主記憶９０４上にロードし、このプログラムを実行することで、実施例１、２で説明したエラー隠蔽処理を行うことができる。
【０１８９】
以上、実施例４によれば、携帯端末９００は、実施例１、２で説明した動画像復号装置の処理を実行するので、エラーの耐性を高めることができ、伝送エラーなどによる画質の劣化を抑制することができる。
【０１９０】
なお、多視点映像符号化において、Base側の画像を２Dの映像として復号再生する場合でも、敢えて再生しないDependent側の画像からエラー隠蔽処理を行うことで、エラー耐性を高めることができる。
【０１９１】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【０１９２】
なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域の復号データを用いて隠蔽する隠蔽部と、
を備える動画像復号装置。
（付記２）
前記第２視点の符号化データは、前記第１視点の符号化データの復号ピクチャを参照ピクチャとすることが可能な符号化方式を用いて符号化され、
前記第２復号部は、
前記第１復号部により復号された復号ピクチャが参照ピクチャである場合、前記参照ピクチャとなる復号ピクチャを用いて前記第２視点の符号化データの所定領域を復号し、
前記隠蔽部は、
前記参照ピクチャとなる復号ピクチャ内に、前記検出部により検出された所定領域がある場合、前記第２復号部による復号済みの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する付記１記載の動画像復号装置。
（付記３）
前記復号不可能な所定領域を参照する視差情報を前記第２視点の符号化データから抽出する抽出部と、
前記抽出された視差情報を有する所定領域を参照する第１動きベクトルを有する参照元領域が第２動きベクトルを有する場合、前記第１及び第２動きベクトルに基づき、隠蔽用の動きベクトルを算出する算出部と、をさらに備え、
前記隠蔽部は、
前記隠蔽用の動きベクトルが参照する第２視点の復号ピクチャの所定領域の復号データを用いて、前記検出された所定領域を隠蔽する付記２記載の動画像復号装置。
（付記４）
前記第２復号部は、
前記第１復号部が前記復号不可能な領域を含む第１ピクチャを復号する前に、前記第１ピクチャに対応する前記第２視点の符号化データに含まれる第２ピクチャ、及び前記第２ピクチャより復号順が後の複数のピクチャから動きベクトル及び視差情報を復号する付記３記載の動画像復号装置。
（付記５）
前記算出部は、
前記参照元領域が複数ある場合、前記第２動きベクトルが復号済みピクチャを参照する参照元領域を選択する付記３又は４いずれか一項に記載の動画像復号装置。
（付記６）
前記算出部は、
前記第２動きベクトルが復号済みピクチャを参照する参照元領域が複数ある場合、前記参照元領域が有する差分係数又は量子化スケールから計算される評価値に基づいて参照元領域を選択する付記５記載の動画像復号装置。
（付記７）
前記復号不可能な所定領域を含むピクチャと同時刻に撮像された第２視点のピクチャに含まれる所定領域のうち、前記復号不可能な所定領域と同一位置にある所定領域を特定する特定部をさらに備え、
前記隠蔽部は、
前記特定された所定領域が有する第３動きベクトルを隠蔽用の動きベクトルとし、第１視点の復号ピクチャの所定領域のうち、前記隠蔽用の動きベクトルが参照する所定領域を用いて、前記検出された所定領域を隠蔽する付記１記載の動画像復号装置。
（付記８）
前記復号不可能な所定領域を含むピクチャと同時刻に撮像された第２視点のピクチャに含まれる所定領域のうち、前記復号不可能な所定領域と同一位置にある所定領域を特定する特定部と、
前記特定された所定領域を参照する第４動きベクトルを有する参照元領域が第５動きベクトルを有する場合、前記第４及び第５動きベクトルに基づき、隠蔽用の動きベクトルを算出する算出部と、をさらに備え、
前記隠蔽部は、
第１視点の復号ピクチャの所定領域のうち、前記隠蔽用の動きベクトルが参照する所定領域を用いて、前記検出された所定領域を隠蔽する付記１記載の動画像復号装置。
（付記９）
動画像復号装置における動画像復号方法であって、
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得し、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号し、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号し、
前記第１の視点の符号化データが復号される複数の所定領域のうち、復号不可能な所定領域を検出し、
前記検出された所定領域を、前記第２視点の符号化データが復号された復号済みの所定領域の復号データを用いて隠蔽する動画像復号方法。
（付記１０）
複数の視点でそれぞれ得られる各視点の動画像の各ピクチャが所定領域毎に符号化された符号化データを含む多視点符号化データを取得する取得部と、
前記多視点符号化データに含まれる第１視点の符号化データを所定領域毎に復号する第１復号部と、
前記多視点符号化データに含まれる第２視点の符号化データを所定領域毎に復号する第２復号部と、
前記第１復号部により復号される複数の所定領域のうち、復号不可能な所定領域を検出する検出部と、
前記検出部により検出された所定領域を、前記第２復号部による復号済みの所定領域の復号データを用いて隠蔽する隠蔽部と、
を備える集積回路。
【符号の説明】
【０１９３】
１０１  取得部
１０２、１２２  可変長復号部
１０３、１２３  エラー検出部
１０４、１２４  バッファメモリ
１０５、１２５  選択部
１０６、１２６  画像復号部
１０７、１２７  隠蔽部
１０８  ブロック抽出部
１０９、１２９  選択部
１１０、１３０  ピクチャメモリ
１４１  視差情報抽出部
１４２、５０２  動きベクトル計算部
１４３、５０３  参照ブロック抽出部
１５０  評価部
５０１  同位置ブロック抽出部
８００  映像再生装置
９００  携帯端末
【図１】
0005531881.tif 000002
【図２】
0005531881.tif 000003
【図３】
0005531881.tif 000004
【図４】
0005531881.tif 000005
【図５】
0005531881.tif 000006
【図６】
0005531881.tif 000007
【図７】
0005531881.tif 000008
【図８】
0005531881.tif 000009
【図９】
0005531881.tif 000010
【図１０】
0005531881.tif 000011
【図１１】
0005531881.tif 000012
【図１２】
0005531881.tif 000013
【図１３】
0005531881.tif 000014
【図１４】
0005531881.tif 000015
【図１５】
0005531881.tif 000016
【図１６】
0005531881.tif 000017
【図１７】
0005531881.tif 000018