(57)【要約】【課題】多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることが可能な多視点動画像復号装置を提供する。【解決手段】一の符号化動画像を他の符号化動画像を参照することなく復号して一の復号動画像を生成し、一の復号動画像を参照して他の符号化動画像を復号して他の復号動画像を生成する復号部と、復号動画像の中からエラー画像を検出するエラー検出部と、エラー画像を、エラー画像を含む第一復号動画像以外の第二復号動画像を用いることなく、エラー画像より過去の過去画像を用いて生成される画像に変更し、エラー画像に対応した対応エラー画像を、第一復号動画像を用いることなく、過去画像に対応した対応過去画像を用いて生成される画像に変更する復号画像変更部とを備える。【選択図】図３
2011130029.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する多視点動画像復号装置であって、
前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号部と、
前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出部と、
検出された前記エラー画像を、エラーを含まない第一復号画像に変更するとともに、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する復号画像変更部とを備え、
前記復号画像変更部は、
前記エラー画像を、前記第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成される前記第一復号画像に変更し、
前記対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される前記第二復号画像に変更する
多視点動画像復号装置。
【請求項２】
前記復号画像変更部は、
前記エラー画像を、前記エラー画像の直前に表示されエラーを含まない画像である前記過去画像を用いて生成される前記第一復号画像に変更し、
前記対応エラー画像を、前記過去画像に対応して表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する
請求項１に記載の多視点動画像復号装置。
【請求項３】
前記復号画像変更部は、
前記過去画像を前記第一復号画像として、前記エラー画像を前記第一復号画像に変更し、
前記対応過去画像を前記第二復号画像として、前記対応エラー画像を前記第二復号画像に変更する
請求項１又は２に記載の多視点動画像復号装置。
【請求項４】
前記復号画像変更部は、
前記一の復号動画像の復号前の符号化動画像に含まれる画面内符号化画像が復号された復号画像の直前の復号画像を直前画像とし、
前記第一復号動画像に含まれ、前記エラー画像から、前記直前画像又は前記直前画像に対応して表示される復号画像までに表示される複数の復号画像であるエラー復号画像を、前記過去画像を用いて変更し、
前記第二復号動画像に含まれ、前記エラー復号画像に対応して表示される複数の復号画像である対応エラー復号画像を、前記対応過去画像を用いて変更する
請求項１〜３のいずれか１項に記載の多視点動画像復号装置。
【請求項５】
前記復号画像変更部は、
画像シーケンスの先頭のピクチャであるＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャを前記画面内符号化画像とし、
前記エラー復号画像を、前記過去画像を用いて変更し、
前記対応エラー復号画像を、前記対応過去画像を用いて変更する
請求項４に記載の多視点動画像復号装置。
【請求項６】
前記復号画像変更部は、
前記画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方にエラーが含まれない場合の前記画面内符号化画像が復号された復号画像の直前の復号画像を前記直前画像とし、
前記エラー復号画像を、前記過去画像を用いて変更し、
前記対応エラー復号画像を、前記対応過去画像を用いて変更する
請求項４又は５に記載の多視点動画像復号装置。
【請求項７】
前記復号画像変更部は、
前記エラー復号画像に含まれる複数の復号画像が、前記過去画像を用いて生成される前記第一復号画像と同じ画像になるように、前記エラー復号画像を変更し、
前記対応エラー復号画像に含まれる複数の復号画像が、前記対応過去画像を用いて生成される前記第二復号画像と同じ画像になるように、前記対応エラー復号画像を変更する
請求項４〜６のいずれか１項に記載の多視点動画像復号装置。
【請求項８】
前記復号画像変更部は、
前記エラー画像を、前記過去画像を用いて生成される前記第一復号画像に変更し、
前記エラー画像と同じ時刻に表示される前記対応エラー画像を、前記過去画像と同じ時刻に表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する
請求項１〜７のいずれか１項に記載の多視点動画像復号装置。
【請求項９】
前記復号部は、左目用の視点及び右目用の視点からの動画像が符号化された２つの符号化動画像のうちの、左目用の符号化動画像である前記一の符号化動画像を復号して前記一の復号動画像を生成するとともに、右目用の符号化動画像である前記他の符号化動画像を復号して前記他の復号動画像を生成し、
前記エラー検出部は、前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、前記エラー画像を検出し、
前記復号画像変更部は、前記エラー画像を前記第一復号画像に変更するとともに、前記対応エラー画像を前記第二復号画像に変更する
請求項１〜８のいずれか１項に記載の多視点動画像復号装置。
【請求項１０】
複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する多視点動画像復号方法であって、
前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号ステップと、
前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出ステップと、
検出された前記エラー画像を、エラーを含まない第一復号画像に変更するとともに、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する復号画像変更ステップとを含み、
前記復号画像変更ステップでは、
前記エラー画像を、前記第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成される前記第一復号画像に変更し、
前記対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される前記第二復号画像に変更する
多視点動画像復号方法。
【請求項１１】
複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号するためのプログラムであって、
前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号ステップと、
前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出ステップと、
検出された前記エラー画像を、エラーを含まない第一復号画像に変更するとともに、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する復号画像変更ステップとをコンピュータに実行させ、
前記復号画像変更ステップでは、
前記エラー画像を、前記第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成される前記第一復号画像に変更し、
前記対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される前記第二復号画像に変更する
プログラム。
【請求項１２】
複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号するための集積回路であって、
前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号部と、
前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出部と、
検出された前記エラー画像を、エラーを含まない第一復号画像に変更するとともに、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する復号画像変更部とを備え、
前記復号画像変更部は、
前記エラー画像を、前記第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成される前記第一復号画像に変更し、
前記対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される前記第二復号画像に変更する
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点符号化され参照関係が存在する複数の動画符号化ストリームを復号する多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路に関する。
【背景技術】
【０００２】
人の視覚に立体的な動画像を認知させるための立体動画像を符号化する方式が提案されている。例えば、左目用、右目用として、それぞれ異なる方向から撮影した２種類以上の動画像を用意し、それぞれを相互に参照関係を持った符号化を行い、複数の動画符号化ストリームを多重化して作成するという方式がある。
【０００３】
この方式は、近年、非特許文献１において、多視点動画符号化（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ。以下、ＭＶＣと記載）として、規格化されている。
【０００４】
図１４Ａ及び図１４Ｂは、従来技術におけるＭＶＣを説明する図である。
【０００５】
ＭＶＣでは、複数の視点からの動画像が相互に参照関係をもち、符号化された動画符号化ストリームを規定する。
【０００６】
なお、ＭＶＣで規定される多視点符号化された複数の動画符号化ストリームは、参照関係を有しない動画符号化ストリーム、つまり、その動画符号化ストリームだけで復号可能な少なくとも１本の動画符号化ストリーム（以下、Ｂａｓｅ  Ｖｉｅｗ側の動画符号化ストリームと記載）と、相互に参照関係が存在する複数のストリーム（以下、Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側の動画符号化ストリームと記載）の２種類からなる。
【０００７】
以下、その一例として、左目の視点に基づいて符号化されたＢａｓｅ  Ｖｉｅｗ側の動画符号化ストリームをＬ用動画符号化ストリーム、右目の視点に基づいて符号化されたＤｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側の動画符号化ストリームをＲ用動画符号化ストリームとする。
【０００８】
図１４Ａは、ＭＶＣに関する説明図であり、Ｌ用画像（Ｂａｓｅ  Ｖｉｅｗ側の動画符号化ストリームの復号後画像）とＲ用画像（Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側の動画符号化ストリームの復号後画像）のピクチャ構成の一例を示す。
【０００９】
なお、同図では、Ｌ用、Ｒ用画像を復号順（Ｄｅｃｏｄｅ  Ｏｒｄｅｒ）で示す。また、同図に示されるＩは、画面内符号化画像で構成されるピクチャを示す（以下、Ｉピクチャと呼ぶ）。また、Ｐは、画面間符号化画像で構成されるピクチャを示す（以下、Ｐピクチャと呼ぶ）。また、Ｂは、双方向符号化画像で構成されるピクチャを示す（以下、Ｂピクチャと呼ぶ）。
【００１０】
なお、これらのうちでＩピクチャはそれ自身の復号後データのみで元の画像データの復元が可能であるが、残りのＰピクチャ及びＢピクチャでは、元の画像データを復元するために、それ自身の復号結果の他に参照画像が必要となる。また、番号が若いほど時間的に前の出力画像を示す。また、（Ｌ）、（Ｒ）はＬ用、Ｒ用画像を示す。
【００１１】
図１４Ｂは、ＭＶＣに関する説明図であり、図１４Ａを表示順（Ｄｉｓｐｌａｙ  Ｏｒｄｅｒ）で示した図である。
【００１２】
なお、同図中の矢印は、相互の参照関係を示し、画面間符号化に際して矢印の先の画像を復元するために矢印の元の画像を参照していることを示す。例えば、Ｂ０（Ｌ）の場合、ＢピクチャＢ０（Ｌ）を復号するには、それ自身の復号結果の他に参照画像として、Ｉ２（Ｌ）が必要であることを示す。Ｌ用画像のＢ１（Ｌ）、Ｂ３（Ｌ）、Ｂ４（Ｌ）、及びＰ５（Ｌ）も同様である。
【００１３】
なお、Ｒ用画像のうち、Ｂ０（Ｒ）、Ｂ１（Ｒ）、Ｂ３（Ｒ）、Ｂ４（Ｒ）、及びＰ５（Ｒ）も、Ｌ用画像と同様にＲ用画像を参照するが、Ｐ２（Ｒ）も含め、同じ表示時刻に相当するＬ用画像も参照することが可能であることを示す。つまり、これらの画像には、相互に参照関係が存在することを示している。この場合、Ｒ用動画符号化ストリームは、Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側の動画符号化ストリームを示す。
【００１４】
図１５は、従来技術におけるＭＶＣ規格で符号化された動画符号化ストリームを説明する図である。つまり、同図は、ＭＶＣに基づく、Ｌ用画像、Ｒ用画像の相互間の参照関係の一例を示す。
【００１５】
同図において、上段は左目用の出力画像を、下段は右目用の出力画像を示す。つまり、Ｌ−１からＬ−６は、左目用動画符号化ストリームから復号された出力画像を示し、Ｒ−１からＲ−６は、右目用動画符号化ストリームから復号された出力画像を示す。また、番号が若いほど、時間的に前の出力画像を示している。
【００１６】
また、画像名に下線が引かれているＬ−５は、画面内符号化された符号化画像から復号された出力画像を示し、それ以外の画像は、画面間符号化された符号化画像から復号された出力画像であることを示す。
【００１７】
また、矢印は、画面間符号化に際して矢印の先の画像を復号するために矢印の元の画像を参照していることを示す。たとえば、Ｒ−３を復号するためには、Ｒ−２とＬ−３とを参照していることを示している。
【００１８】
こうして作成された複数視点で符号化された動画符号化ストリームを、光ディスクやハードディスクから入力したり、無線経由で送信したり、ストリーミング配信を行ったりした場合、復号側に到達するまでの間に、ビットの反転、欠落、混入などのエラーが発生する可能性があり、これによって復号画像の画質が損なわれるという問題がある。
【００１９】
特許文献１は、このような問題を解決する多視点動画像復号装置を開示する。
【００２０】
この特許文献１に記載された復号装置は、被写体を複数の方向から撮影することによって得られた撮影方向毎の各動画符号化ストリームが記録された記録媒体から、動画符号化ストリームを読出して復号することにより、再生画像を得る装置である。
【００２１】
この多視点動画像復号装置は、被写体を複数の方向から撮影することによって得られた撮影方向毎の各画像データが記録された記録媒体より動画符号化ストリームを読出す記録媒体読出回路と、記録媒体読出回路により読出された動画符号化ストリームを、一旦蓄積した後に復号する復号回路とを含む。また、多視点動画像復号装置は、さらに、動画符号化ストリームにエラーが生じていないか否かを検出する復号エラー検出回路と、復号回路により得られた復号画像を撮影方向毎に記憶される復号画像バッファと、動画符号化ストリームにエラーが検出されたとき、出力画像として、他のチャンネルの復号画像を画像単位でエラー復号画像に代えて修復するエラー画像修復回路とを含む。
【００２２】
この特許文献１に開示された多視点動画像復号装置は、図１６に示すような構造である。つまり、図１６は、従来技術における多視点動画像復号装置１０００の構成を示すブロック図である。なお、以下の説明では、複数チャンネル符号化ストリームを左目用のＬチャンネル、右目用のＲチャンネルの２チャンネルの動画符号化ストリームと想定する。
【００２３】
同図に示すように、入力された複数チャンネルの動画符号化ストリームは、まず復号部１０１０で復号されて復号画像となる。ここまでの過程でエラーが発見されなかった場合、Ｌチャンネルの復号画像は、Ｌチャンネル用の復号画像バッファＬ１０４１、出力画像Ｌへと送られて、最終的なＬチャンネル出力画像となる。同様にして、Ｒチャンネル復号画像はＲチャンネル用の復号画像バッファＲ１０４２、出力画像Ｒへと順に送られ最終的なＲチャンネル出力画像となる。
【００２４】
これらの出力画像は、Ｌチャンネル出力画像をユーザの左目に、Ｒチャンネル出力画像をユーザの右目に表示できるよう工夫された多視点動画像用（立体動画像用）の表示装置に送られ、ユーザは立体感のある動画像として認識できるようになる。
【００２５】
ここで、エラー検出部１０２０でどちらかのチャンネル、例えＲチャンネルにエラーが検出され復号不可能と判断された場合、右目用の出力画像だけが欠落したり、エラーが混入したままの画像が表示されてしまったりする。
【００２６】
これを避けるために、エラー検出部１０２０は、出力画像決定部１０３０に対し、同じ表示時刻のＬチャンネル復号画像をＲチャンネル用のエラー画像修復部Ｒ１０６０へも転送するよう指示を出力する。出力画像決定部１０３０は、この指示を受けて、Ｌチャンネル復号画像を、復号画像バッファＬ１０４１からエラー画像修復部Ｒ１０６０を介して、出力画像Ｒとして出力させる。
【００２７】
これにより、右目用出力画像と左目用出力画像とが同一の画像となってしまうものの、画像が欠落したりエラーが混入したままの画像が表示されたりする事態を避けられる。
【００２８】
さらに、特許文献２では、エラーが検出されたチャンネルの過去の画像を複写することにより、エラーを修復することも開示されている。
【００２９】
なお、図１６に記載のバッファ１０４０（復号画像バッファＬ１０４１及び復号画像バッファＲ１０４２）から復号部１０１０への矢印は、動画符号化ストリームの画面間復号時に復号済み画像を参照することを示している。
【先行技術文献】
【特許文献】
【００３０】
【特許文献１】特開２００３−３１９４１９号公報
【特許文献２】特開平７−３２２３０２号公報
【非特許文献】
【００３１】
【非特許文献１】ITU-T（International Telecommunication Union Telecommunication Standardization Sector）勧告「H.264」、2009年3月発行
【発明の概要】
【発明が解決しようとする課題】
【００３２】
しかしながら、上記従来の多視点動画像復号装置では、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合に、その出力画像を見る人に対して不快感を与えてしまう可能性があるという課題がある。
【００３３】
図１及び図２は、従来技術における多視点動画像復号装置の課題を説明する図である。
【００３４】
具体的には、図１は、上述した特許文献１に開示された装置を用いて、エラーを修復した場合の出力画像を示す。
【００３５】
上段及び下段の区別、Ｌ−１からＬ−６、Ｒ−１からＲ−６の復号画像、下線、及び実線矢印については、図１５と同じであるため、説明を省略する。
【００３６】
図１に示すように、複数チャンネルの動画符号化ストリームのうち、Ｒチャンネル動画符号化ストリームから復号されるＲ−２にエラーが検出された場合、図１６に示されたエラー画像修復部Ｒ１０６０によってＬ−２が複写され、Ｒチャンネル用の出力画像として出力される。
【００３７】
その後、画面内符号化されたＬ−５より前のＲチャンネルの復号画像であるＲ−３、Ｒ−４は使用されず、エラー画像修復部Ｒ１０６０の出力が使用されつづける。すなわち、Ｒ−２、Ｒ−３、Ｒ−４の代わりに、Ｌ−２、Ｌ−３、Ｌ−４がＲチャンネル用の出力画像として出力される。なお、点線で囲まれたＲ−２、Ｒ−３、Ｒ−４は、Ｒ−２にエラーがなければ、正しく復号され、出力されていた画像を示す。
【００３８】
このように、Ｒチャンネル側でエラーが検出された場合、他方のチャンネルを代わりに出力することで、一瞬、立体感が損なわれ、２次元表示となり、しばらく経過した後、再び、立体感のある３次元表示になってしまう。つまり、３次元、２次元、３次元表示と切り替わるため、その出力画像を見る人に対して不快感を与えてしまう可能性がある。
【００３９】
また、図２は、上述した特許文献２に開示された装置を用いてエラーを修復した場合の出力画像を示す。
【００４０】
同図に示すように、複数チャンネルの動画符号化ストリームのうち、Ｌチャンネル動画符号化ストリームから復号されるＬ−２にエラーが検出された場合、エラーを含んだＬ−２の復号画像は使用せず、同じチャンネルの過去のＬチャンネル出力画像であるＬ−１を左目用の画像として出力する。過去の画像と現在の画像とは似た画像であることも多いため、ある程度の画質で修復することが可能となる。
【００４１】
Ｌチャンネル側のＬ−３以降のＬチャンネル動画符号化ストリームにエラーが検出されなかった場合、Ｌ−３以降は通常どおりの復号が行われる。また、Ｌ−２の復号後画像を参照する可能性のあるＲチャンネル動画符号化ストリームも同様にＲ−２以降は通常どおりの復号が行われる。
【００４２】
しかし、符号化方法として、非特許文献１のＭＶＣの画面間符号化を使用していた場合、Ｌ−３は本来参照すべきＬ−２ではなくＬ−１を参照することとなってしまうため、それ自体の符号化データにはエラーがなかったにもかかわらず正しい出力画像が得られない。これをＬ−３’と呼ぶ。同様に、その正しくないＬ−３’を参照しているＬ−４も正しい出力画像とはならず、これをＬ−４’と呼ぶ。
【００４３】
また、Ｒチャンネル（Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側）がＬチャンネル（Ｂａｓｅ  Ｖｉｅｗ側）を参照することが可能であるＭＶＣの特徴をもった動画符号化ストリームを復号した場合、Ｒチャンネル側も同様にＲ−２は本来、参照すべきＬ−２ではなくＬ−１を参照することとなってしまうため、それ自体の符号化データにはエラーがなかったにもかかわらず正しい出力画像が得られない。これをＲ−２’と呼ぶ。
【００４４】
同様に、その正しくないＲ−２’を参照しているＲ−３も正しい出力画像とはならず、これをＲ−３’と呼ぶ。同様に、その正しくないＲ−３’を参照しているＲ−４も正しい出力画像とはならず、これをＲ−４’と呼ぶ。
【００４５】
これらの出力画像には、正しくない参照画像を参照したことによるノイズが混入する。なお、点線で囲まれたＬ−２、Ｌ−３、Ｌ−４、Ｒ−２、Ｒ−３、Ｒ−４は、Ｌ−２にエラーがなければ、正しく復号され、出力されていた画像を示す。
【００４６】
また、これらのノイズの連鎖は前の画像を参照せずに画面内符号化されているＬ−５の前まで続き、Ｌ−５まで到達して初めて再び正しい出力画像を得ることができる。
【００４７】
このように、もし、左目用の画像と右目用の画像がほとんど同一であれば、上述した特許文献１に開示された装置を用いても、問題なくエラーを修復することができる。
【００４８】
しかしながら、一般的な立体動画像では立体感を強調するために左右の画像に大きな差があることが多い。このため、エラーが発生した画像と逆の目用（視点）の画像を複写しただけでは、十分なエラー修復がなされたとは言いがたい。
【００４９】
また、上述した特許文献２に開示された、エラーが発生したチャンネルにおける過去の画像を複写してエラーを修復する方法では、過去の画像と現在の画像の間で変化が少ない場合には有効であるものの、過去の画像と現在の画像の間で変化が大きく、動きの大きな画像では満足な修復結果を得ることができない。
【００５０】
さらに、画面内符号化されたＬ−５が復号されるまでの間、Ｌチャンネルの出力画像に誤った参照画像を参照したことによるノイズが混入し続けるため、ユーザは単に立体感を感じ取れなくなるだけでなく、その出力画像を見る人に対して不快感を与えてしまう可能性がある。
【００５１】
また、ＭＶＣの特徴をもった動画符号化ストリームのように、Ｒチャンネル（Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ）がＬチャンネル（Ｂａｓｅ  Ｖｉｅｗ）の復号後画像を参照するようなチャンネル間で参照関係をもつ場合に、上述の特許文献１では、他方のチャンネルを代わりに用いることができず、復号すらできないという課題がある。
【００５２】
以上のように、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合に、その出力画像を見る人に対して不快感を与えてしまう可能性があるという課題がある。
【００５３】
そこで、本発明は、上述の課題を解決するためになされたものであって、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることが可能な多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路を提供することを目的とする。
【課題を解決するための手段】
【００５４】
上記目的を達成するために、本発明にかかる多視点動画像復号装置は、複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する多視点動画像復号装置であって、前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号部と、前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出部と、検出された前記エラー画像を、エラーを含まない第一復号画像に変更するとともに、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する復号画像変更部とを備え、前記復号画像変更部は、前記エラー画像を、前記第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成される前記第一復号画像に変更し、前記対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される前記第二復号画像に変更する。
【００５５】
これによれば、複数の復号動画像に含まれる複数の復号画像の中からエラー画像を検出し、エラー画像と対応エラー画像とを、過去画像と対応過去画像とを用いて、エラーを含まない画像に変更する。このため、入力された複数の符号化動画像のうち、いずれの符号化動画像にエラーが含まれていても、エラーのない画像を出力することができる。
【００５６】
また、エラー画像のエラーを排除するために、エラー画像だけをエラーのない画像に変更した場合は、複数の復号動画像間でのバランスが崩れる。例えば、３Ｄ画像を表示する場合であれば、右目用の画像と左目用の画像とのバランスが崩れると、画像の内容の認識に支障をきたし、人の視覚に対して大きな影響を与える。このため、エラー画像だけではなく、エラー画像と対応エラー画像との双方を、過去画像と対応過去画像とを用いて変更することで、複数の復号動画像間でのバランスを崩さない。
【００５７】
これらにより、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００５８】
また、好ましくは、前記復号画像変更部は、前記エラー画像を、前記エラー画像の直前に表示されエラーを含まない画像である前記過去画像を用いて生成される前記第一復号画像に変更し、前記対応エラー画像を、前記過去画像に対応して表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する。
【００５９】
これによれば、エラー画像の直前に表示されエラーを含まない画像である過去画像を用いて、エラー画像を変更し、過去画像に対応して表示される対応過去画像を用いて、対応エラー画像を変更する。このため、エラー画像及び対応エラー画像の直前の画像を用いて画像を変更するため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００６０】
また、好ましくは、前記復号画像変更部は、前記過去画像を前記第一復号画像として、前記エラー画像を前記第一復号画像に変更し、前記対応過去画像を前記第二復号画像として、前記対応エラー画像を前記第二復号画像に変更する。
【００６１】
これによれば、エラー画像を過去画像に変更し、対応エラー画像を対応過去画像に変更する。このため、エラー画像と対応エラー画像との代わりに、過去画像と対応過去画像とが出力され表示されるため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００６２】
また、好ましくは、前記復号画像変更部は、前記一の復号動画像の復号前の符号化動画像に含まれる画面内符号化画像が復号された復号画像の直前の復号画像を直前画像とし、前記第一復号動画像に含まれ、前記エラー画像から、前記直前画像又は前記直前画像に対応して表示される復号画像までに表示される複数の復号画像であるエラー復号画像を、前記過去画像を用いて変更し、前記第二復号動画像に含まれ、前記エラー復号画像に対応して表示される複数の復号画像である対応エラー復号画像を、前記対応過去画像を用いて変更する。
【００６３】
これによれば、エラー画像から、画面内符号化画像が復号された復号画像の直前の復号画像までに表示されるエラー復号画像を、過去画像を用いて変更し、対応エラー復号画像を、対応過去画像を用いて変更する。つまり、エラーが発生したあと、Ｂａｓｅ  Ｖｉｅｗ側の動画符号化ストリームに画面内符号化画像が出現するまで、エラーが修復される。ここで、画面内符号化画像は、他の画像を参照して復号されないため、エラーが混入している可能性が低く、当該画面内符号化画像以降の画像にも、エラーが混入している可能性が低い。このため、画面内符号化画像が出現するまでエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００６４】
また、好ましくは、前記復号画像変更部は、画像シーケンスの先頭のピクチャであるＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャを前記画面内符号化画像とし、前記エラー復号画像を、前記過去画像を用いて変更し、前記対応エラー復号画像を、前記対応過去画像を用いて変更する。
【００６５】
これによれば、ＩＤＲピクチャを画面内符号化画像として、エラー復号画像と対応エラー復号画像とを変更する。つまり、エラーが発生したあと、Ｂａｓｅ  Ｖｉｅｗ側の動画符号化ストリームにＩＤＲピクチャが出現するまで、エラーが修復される。ここで、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャであり、復号するための情報が全てリセットされたピクチャである。このため、ＩＤＲピクチャは、画面内符号化画像の中でもエラーが混入している可能性が低く、当該ＩＤＲピクチャ以降の画像にも、エラーが混入している可能性が低い。したがって、ＩＤＲピクチャが出現するまでエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００６６】
また、好ましくは、前記復号画像変更部は、前記画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方にエラーが含まれない場合の前記画面内符号化画像が復号された復号画像の直前の復号画像を前記直前画像とし、前記エラー復号画像を、前記過去画像を用いて変更し、前記対応エラー復号画像を、前記対応過去画像を用いて変更する。
【００６７】
これによれば、画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方がエラーが含まれない画像になるまで、エラー復号画像と対応エラー復号画像とを変更する。このため、エラーが含まれる間はエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００６８】
また、好ましくは、前記復号画像変更部は、前記エラー復号画像に含まれる複数の復号画像が、前記過去画像を用いて生成される前記第一復号画像と同じ画像になるように、前記エラー復号画像を変更し、前記対応エラー復号画像に含まれる複数の復号画像が、前記対応過去画像を用いて生成される前記第二復号画像と同じ画像になるように、前記対応エラー復号画像を変更する。
【００６９】
これによれば、過去画像を用いて生成される画像と同じ画像になるように、エラー復号画像に含まれる複数の復号画像を変更し、対応過去画像を用いて生成される画像と同じ画像になるように、対応エラー復号画像に含まれる複数の復号画像を変更する。つまり、複数の復号画像を同じ画像に変更してエラーを修復することで、急に異なる画像が表示されるなどの違和感を排除することができる。このため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００７０】
また、好ましくは、前記復号画像変更部は、前記エラー画像を、前記過去画像を用いて生成される前記第一復号画像に変更し、前記エラー画像と同じ時刻に表示される前記対応エラー画像を、前記過去画像と同じ時刻に表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する。
【００７１】
これによれば、エラー画像と対応エラー画像とは、同じ時刻に表示される画像であり、同じ時刻に表示される過去画像と対応過去画像とを用いて変更される。このため、例えば、右目用の画像と左目用の画像とが同じ時刻に表示される３Ｄ画像において、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００７２】
また、好ましくは、前記復号部は、左目用の視点及び右目用の視点からの動画像が符号化された２つの符号化動画像のうちの、左目用の符号化動画像である前記一の符号化動画像を復号して前記一の復号動画像を生成するとともに、右目用の符号化動画像である前記他の符号化動画像を復号して前記他の復号動画像を生成し、前記エラー検出部は、前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、前記エラー画像を検出し、前記復号画像変更部は、前記エラー画像を前記第一復号画像に変更するとともに、前記対応エラー画像を前記第二復号画像に変更する。
【００７３】
これによれば、左目用の画像及び右目用の画像のいずれかにエラーが含まれている場合に、当該エラーが修復される。このため、左目用の画像及び右目用の画像を有する３Ｄ画像において、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【００７４】
なお、本発明は、このような多視点動画像復号装置として実現できるだけでなく、多視点動画像復号装置に含まれる特徴的な処理をステップとする多視点動画像復号装置の制御方法、又は多視点動画像復号方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００７５】
さらに、本発明は、このような多視点動画像復号装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような多視点動画像復号装置を備える三次元画像表示システムとして実現したりすることもできる。
【発明の効果】
【００７６】
以上のように、本発明にかかる多視点動画像復号装置によれば、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【図面の簡単な説明】
【００７７】
【図１】従来技術における多視点動画像復号装置の課題を説明する図である。
【図２】従来技術における多視点動画像復号装置の課題を説明する図である。
【図３】本発明の実施の形態１における多視点動画像復号装置の構成を示すブロック図である。
【図４】本発明の実施の形態１における多視点動画像復号装置が行う復号処理を示すフローチャートである。
【図５】本発明の実施の形態１における多視点動画像復号装置が出力する出力画像を示す図である。
【図６】本発明の実施の形態１における多視点動画像復号装置が出力する出力画像を示す図である。
【図７】本発明の実施の形態１における多視点動画像復号装置が出力する出力画像を示す図である。
【図８】本発明の実施の形態２における多視点動画像復号装置の構成を示すブロック図である。
【図９】本発明の実施の形態２における復号部が３つの符号化動画像を復号する処理を説明する図である。
【図１０】本発明の実施の形態２における多視点動画像復号装置が行う復号処理を示すフローチャートである。
【図１１】本発明の実施の形態２における多視点動画像復号装置が出力する出力画像を示す図である。
【図１２】本発明の実施の形態２における多視点動画像復号装置が出力する出力画像を示す図である。
【図１３】本発明の実施の形態３における多視点動画像復号装置の構成を示すブロック図である。
【図１４Ａ】従来技術におけるＭＶＣを説明する図である。
【図１４Ｂ】従来技術におけるＭＶＣを説明する図である。
【図１５】従来技術におけるＭＶＣ規格で符号化された動画符号化ストリームを説明する図である。
【図１６】従来技術における多視点動画像復号装置の構成を示すブロック図である。
【発明を実施するための形態】
【００７８】
以下、図面を参照しつつ、本発明に係る多視点動画像復号装置の実施の形態について説明する。
【００７９】
ここで、本発明の実施の形態に係る多視点動画像復号装置を説明するに先立ち、多視点動画像復号装置が復号処理の対象とする複数チャンネル動画符号化ストリームの構成方法を以下に説明する。
【００８０】
一般的に、複数チャンネル動画符号化ストリームは、被写体を複数の方向から撮影した複数チャンネルの動画像を、予め定められた方法により符号化および多重化することにより得られる。
【００８１】
以下の説明では、符号化方法として、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）勧告のＨ．２６４（２００９年３月発行）に準拠する方式として、Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＭＶＣ）に基づく、複数チャンネル動画符号化ストリームを入力すると想定する。なお、ストリームは、Ｈ．２６４に準拠するＮＡＬユニットから構成してもよいし、その他の動画符号化規格で規定されるある一定のストリーム単位、例えば、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）、シーケンスやＰｉｃｔｕｒｅなどで構成されてもよい。
【００８２】
また、今回、ＭＶＣに基づく符号化に際しては、基準となるチャンネル（Ｂａｓｅ  Ｖｉｅｗ側チャンネル）を一つ設けておいて、当該基準となるチャンネルは通常の符号化を行う。また、基準となるチャンネルではない他のチャンネル（Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側チャンネル）については、基準となるチャンネルと同様に通常の符号化を行ったり、同じ表示時刻の基準となるチャンネル側の復号後の画像も参照して符号化を行ったりすることが可能である。
【００８３】
（実施の形態１）
以下、本発明の実施の形態１における多視点動画像復号装置について説明する。
【００８４】
ここで、本実施の形態１では、多視点動画像復号装置に入力される動画符号化ストリームのチャンネル数については、左目用のＬチャンネル、右目用のＲチャンネルの２チャンネルからなる複数チャンネル動画符号化ストリームを想定する。
【００８５】
図３は、本発明の実施の形態１における多視点動画像復号装置１００の構成を示すブロック図である。
【００８６】
多視点動画像復号装置１００は、複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する装置である。具体的には、多視点動画像復号装置１００は、多視点符号化され参照関係が存在する複数の動画符号化ストリームを復号する装置である。同図に示すように、この多視点動画像復号装置１００は、復号部１１０、エラー検出部１２０、復号画像変更部１３０、及びバッファ１４０を備えている。
【００８７】
バッファ１４０は、復号画像を記憶しているメモリである。バッファ１４０は、復号画像バッファＬ１４１と復号画像バッファＲ１４２とを備えている。復号画像バッファＬ１４１は、左目用の復号画像であるＬ用画像を記憶している。また、復号画像バッファＲ１４２は、右目用の復号画像であるＲ用画像を記憶している。
【００８８】
復号部１１０は、複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、当該一の復号動画像に含まれる復号画像を参照して、当該他の符号化動画像を復号して他の復号動画像を生成する。
【００８９】
ここでは、復号部１１０は、左目用の視点及び右目用の視点からの動画像が符号化された２つの符号化動画像のうちの、左目用の符号化動画像である当該一の符号化動画像を復号して当該一の復号動画像を生成するとともに、右目用の符号化動画像である当該他の符号化動画像を復号して当該他の復号動画像を生成する。
【００９０】
具体的には、復号部１１０は、２チャンネルの動画符号化ストリームのうちのＢａｓｅ  Ｖｉｅｗ側チャンネルのＬ用動画符号化ストリームを、Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側チャンネルのＲ用動画符号化ストリームの復号画像を参照することなく復号して、複数の復号画像からなるＬ用画像を生成するとともに、Ｌ用画像に含まれる復号画像を参照して、Ｒ用動画符号化ストリームを復号してＲ用画像を生成する。
【００９１】
さらに具体的には、復号部１１０は、復号部１１０に入力された複数チャンネル動画符号化ストリームを復号して、復号画像を出力する。復号部１１０は、出力した復号画像をバッファ１４０に記憶させる。つまり、復号部１１０は、Ｌ用画像を復号画像バッファＬ１４１へ、Ｒ用画像を復号画像バッファＲ１４２へ、それぞれ分離格納する。
【００９２】
なお、復号部１１０は、ＰピクチャやＢピクチャのような画面間符号化を行い、復号時に復号済み画像を参照する必要がある場合、これらの復号画像バッファＬ１４１や復号画像バッファＲ１４２に格納されている復号画像を参照する。図３に示すように、復号画像バッファＬ１４１や復号画像バッファＲ１４２から復号部１１０への矢印は、この参照画像の取得を示す。
【００９３】
なお、復号画像バッファＬ１４１や復号画像バッファＲ１４２は、それぞれ１枚だけでなく、複数の復号済み画像を格納することが可能である。また、Ｈ．２６４では、１枚のピクチャ（ｐｉｃｔｕｒｅ）は、複数のスライス（ｓｌｉｃｅ）から構成されることが規定される。
【００９４】
また、バッファ１４０は、外付けのメモリで構成されても構わないし、内蔵のメモリで構成されても構わない。また、復号画像バッファＬ１４１や復号画像バッファＲ１４２は物理的に同じメモリ上にあっても構わないし、別々のメモリで構成されても構わない。
【００９５】
エラー検出部１２０は、一の復号動画像又は他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出する。つまり、エラー検出部１２０は、Ｌ用画像又はＲ用画像に含まれる複数の復号画像の中から、エラー画像を検出する。
【００９６】
具体的には、エラー検出部１２０は、復号部１１０の復号結果から、入力される動画符号化ストリームの中に含まれるエラーを検出することで、エラー画像を検出する。なお、エラー検出部１２０は、復号部１１０の復号結果からエラー画像を検出することに限られず、入力される動画符号化ストリームからエラーを検出することで、エラー画像を検出することにしてもよい。
【００９７】
ここで、エラーとは、動画符号化ストリームの中に含まれるビットの反転、欠落、混入などのエラーや、シンタックス（画像情報の順序や符号化データ列などの設定ルールを示す規則）のエラーなどである。つまり、エラーとは、動画符号化ストリームを光ディスクやハードディスクから入力したり、無線経由で送信したり、ストリーミング配信を行ったりした場合、当該動画符号化ストリームが復号部１１０に到達するまでの間に、ビットの反転、欠落、混入などが生じることにより、復号部１１０が正しく復号画像を出力できないことを示す。
【００９８】
復号画像変更部１３０は、エラー検出部１２０が検出したエラー画像を、エラーを含まない第一復号画像に変更するとともに、当該エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、当該エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する。
【００９９】
具体的には、復号画像変更部１３０は、エラー画像を、第二復号動画像を用いることなく、エラー画像より過去に復号された第一復号動画像に含まれる復号画像である過去画像を用いて生成される第一復号画像に変更し、対応エラー画像を、第一復号動画像を用いることなく、第二復号動画像に含まれ、過去画像に対応して表示される復号画像である対応過去画像を用いて生成される第二復号画像に変更する。
【０１００】
ここで、過去画像は、エラー画像の直前に表示される画像であり、エラーを含まない画像である。また、エラー画像と対応エラー画像とは、同じ時刻に表示される画像であり、過去画像と対応過去画像とは、同じ時刻に表示される画像である。
【０１０１】
さらに具体的には、復号画像変更部１３０は、過去画像を第一復号画像として、エラー画像を第一復号画像に変更し、対応過去画像を第二復号画像として、対応エラー画像を第二復号画像に変更する。
【０１０２】
また、復号画像変更部１３０は、第一復号動画像に含まれ、エラー画像から、直前画像又は直前画像に対応して表示される復号画像までに表示される複数の復号画像であるエラー復号画像を、過去画像を用いて変更し、第二復号動画像に含まれ、エラー復号画像に対応して表示される複数の復号画像である対応エラー復号画像を、対応過去画像を用いて変更する。
【０１０３】
ここで、直前画像とは、一の復号動画像の復号前の符号化動画像に含まれる画面内符号化画像が復号された復号画像の直前の復号画像である。具体的には、直前画像は、画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方にエラーが含まれない場合の、当該画面内符号化画像が復号された復号画像の直前の復号画像である。
【０１０４】
そして、復号画像変更部１３０は、エラー復号画像に含まれる複数の復号画像が、過去画像を用いて生成される第一復号画像と同じ画像になるように、エラー復号画像を変更し、対応エラー復号画像に含まれる複数の復号画像が、対応過去画像を用いて生成される第二復号画像と同じ画像になるように、対応エラー復号画像を変更する。
【０１０５】
以下に、この復号画像変更部１３０が行う処理について、さらに具体的に説明する。
【０１０６】
復号画像変更部１３０は、エラー検出部１２０がエラー画像を検出していない場合には、復号画像バッファＬ１４１に格納されているＬ用画像および復号画像バッファＲ１４２に格納されているＲ用画像を、出力画像Ｌ及び出力画像Ｒとしてそれぞれ出力させる。なお、これらの出力画像Ｌ及び出力画像Ｒはそれぞれ、Ｌチャンネル用の出力画像、及びＲチャンネル用の出力画像である。
【０１０７】
なお、出力画像は、復号直後に出力される場合もあれば、参照される復号後画像等は何枚か復号後に出力される場合もあり、この出力タイミングは、ＩＴＵ−Ｔ勧告のＨ．２６４やＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｃｏｒｄｉｎｇ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ；ＩＳＯ  １１１７２（ＭＰＥＧ１）、ＩＳＯ  １３８１８（ＭＰＥＧ２））等で規定されている。そして、動画符号化ストリーム中にこの出力タイミング等が記録されており、これらに従った出力順や出力タイミングで、出力画像が出力される。
【０１０８】
なお、本実施の形態１では、出力画像を復号直後に出力することを記載しているが、この限りではない。また、出力画像Ｌ及び出力画像Ｒは、直接、外部の表示装置に出力されても構わないし、一旦、別のメモリに格納された後、画像フィルタなどの高画質化処理等を行った後に表示装置に出力されても構わない。
【０１０９】
また、復号画像変更部１３０は、エラー検出部１２０がエラー画像を検出した場合には、エラー画像を修復するように、出力画像を出力させる。
【０１１０】
具体的には、エラー検出部１２０が復号部１１０での復号時にＬチャンネルの動画符号化ストリームに何らかのエラーを検出した場合、復号部１１０から出力されるＬチャンネルの復号画像にはエラーが混入していることになる。または、この場合、復号部１１０は復号不可能と判断し、復号動作を停止してしまう可能性もある。
【０１１１】
この場合、復号部１１０はエラー検出部１２０に対して、エラー検出したことを通知する。エラー通知を受けたエラー検出部１２０は、復号画像変更部１３０に対して、エラー画像を修復するような指令を出力する。
【０１１２】
エラー画像を修復するような指令を受けた復号画像変更部１３０は、Ｌチャンネル用の出力画像Ｌとして、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像を出力するように指示する。また、復号画像変更部１３０は、他方のＲチャンネル用の出力画像Ｒへも、復号画像バッファＲ１４２に格納された過去に復号済みのＲ用画像を出力するように指示する。
【０１１３】
なお、これらの過去に復号済みのＬ用画像とＲ用画像とは、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。例えば、図１５に示された同じ数字の位置に相当するＬ用画像及びＲ用画像を示し、Ｌ用、Ｒ用の同じ表示順番に相当するものである。
【０１１４】
また、この場合、出力画像Ｌは、特許請求の範囲に記載の「第一復号画像」に相当し、出力画像Ｒは、特許請求の範囲に記載の「第二復号画像」に相当する。また、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「過去画像」に相当し、過去に復号済みのＲ用画像は、特許請求の範囲に記載の「対応過去画像」に相当する。
【０１１５】
また、エラー検出部１２０が復号部１１０での復号時にＲチャンネルの動画符号化ストリームに何らかのエラーを検出した場合、復号部１１０から出力されるＲチャンネルの復号画像にはエラーが混入していることになる。または、この場合、復号部１１０は復号不可能と判断し、復号動作を停止してしまう可能性もある。
【０１１６】
この場合、復号部１１０はエラー検出部１２０に対して、エラー検出したことを通知する。エラー通知を受けたエラー検出部１２０は、復号画像変更部１３０に対して、エラー画像を修復するような指令を出力する。
【０１１７】
エラー画像を修復するような指令を受けた復号画像変更部１３０は、Ｒチャンネル用の出力画像Ｒとして、復号画像バッファＲ１４２に格納された過去に復号済みのＲ用画像を出力するように指示する。また、復号画像変更部１３０は、他方のＬチャンネル用の出力画像Ｌへも、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像を出力するように指示する。
【０１１８】
なお、これらの過去に復号済みのＬ用画像とＲ用画像とは、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。
【０１１９】
また、この場合、出力画像Ｒは、特許請求の範囲に記載の「第一復号画像」に相当し、出力画像Ｌは、特許請求の範囲に記載の「第二復号画像」に相当する。また、過去に復号済みのＲ用画像は、特許請求の範囲に記載の「過去画像」に相当し、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「対応過去画像」に相当する。
【０１２０】
また、エラー検出部１２０が復号部１１０での復号時にＬチャンネルの動画符号化ストリームとＲチャンネルの動画符号化ストリームとに何らかのエラーを検出した場合も同様に、復号部１１０から出力されるＬチャンネルとＲチャンネルの復号画像にはエラーが混入していることになる。または、この場合、復号部１１０は復号不可能と判断し、復号動作を停止してしまう可能性もある。
【０１２１】
この場合、復号部１１０はエラー検出部１２０に対して、エラー検出したことを通知する。エラー通知を受けたエラー検出部１２０は、復号画像変更部１３０に対して、エラー画像を修復するような指令を出力する。
【０１２２】
エラー画像を修復するような指令を受けた復号画像変更部１３０は、Ｌチャンネル用の出力画像ＬとＲチャンネル用の出力画像Ｒとして、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像と復号画像バッファＲ１４２に格納された過去に復号済みのＲ用画像のそれぞれを出力するように指示する。
【０１２３】
なお、これらの過去に復号済みのＬ用画像とＲ用画像とは、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。
【０１２４】
また、この場合、出力画像Ｌは、特許請求の範囲に記載の「第一復号画像」又は「第二復号画像」の一方に相当し、出力画像Ｒは、特許請求の範囲に記載の「第一復号画像」又は「第二復号画像」の他方に相当する。また、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「過去画像」又は「対応過去画像」の一方に相当し、過去に復号済みのＲ用画像は、特許請求の範囲に記載の「過去画像」又は「対応過去画像」の他方に相当する。
【０１２５】
次に、多視点動画像復号装置１００が行う復号処理の手順について、説明する。
【０１２６】
図４は、本発明の実施の形態１における多視点動画像復号装置１００が行う復号処理を示すフローチャートである。
【０１２７】
まず、復号部１１０に、複数の符号化動画像である複数チャンネル動画符号化ストリームが入力される（Ｓ１０２）。
【０１２８】
そして、復号部１１０は、複数の符号化動画像を復号して、複数の復号動画像を生成する（Ｓ１０４）。
【０１２９】
そして、エラー検出部１２０は、Ｌチャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ１０６）。
【０１３０】
エラー検出部１２０は、Ｌチャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ１０６でＮＯ）、Ｒチャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ１０８）。
【０１３１】
エラー検出部１２０が、Ｌチャンネル側の復号動画像からエラー画像を検出した場合（Ｓ１０６でＹＥＳ）、又はＲチャンネル側の復号動画像からエラー画像を検出した場合（Ｓ１０８でＹＥＳ）、復号画像変更部１３０は、Ｌチャンネル側及びＲチャンネル側ともに、エラー画像及び対応エラー画像を過去画像及び対応過去画像に変更して出力する（Ｓ１１０）。
【０１３２】
具体的には、復号画像変更部１３０は、エラー検出部１２０からのエラー検出情報に基づいて、Ｌチャンネル側またはＲチャンネル側のエラー検出を判定し、出力画像Ｌ、出力画像Ｒとして、Ｌチャンネル側、Ｒチャンネル側ともそれぞれ過去に復号済みの同じ表示時刻の画像を、復号画像バッファＬ１４１、復号画像バッファＲ１４２から出力するように指示する。
【０１３３】
なお、Ｌチャンネル側とＲチャンネル側との両方でエラーを検出した場合も、同じ処理（Ｓ１１０）を行う。
【０１３４】
そして、復号部１１０は、次のＬチャンネル側の動画符号化ストリームの画像が画面内符号化画像で構成される画像か否かを判定し、且つ、エラー検出部１２０からＬチャンネル側及びＲチャンネル側の動画符号化ストリームの画像にエラーが検出されず、正しく復号可能か否かを判定する（Ｓ１１２）。
【０１３５】
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側及びＲチャンネル側にともにエラーが無いと判定した場合（Ｓ１１２でＹＥＳ）、Ｌチャンネル側及びＲチャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１及び復号画像バッファＲ１４２から復号済み画像を出力する（Ｓ１１６）。
【０１３６】
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成されていない、又は、Ｌチャンネル側又はＲチャンネル側にエラーが含まれていると判定した場合（Ｓ１１２でＮＯ）、Ｌチャンネル、Ｒチャンネル側ともに、次の画像を、過去画像及び対応過去画像に変更して出力する（Ｓ１１４）。
【０１３７】
そして、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側及びＲチャンネル側にともにエラーが無い場合まで、Ｌチャンネル、Ｒチャンネル側ともに、次の画像を過去画像及び対応過去画像に変更して出力する処理（Ｓ１１４）を繰り返す。なお、上記動画符号化ストリーム入力の終了時点で処理が完了することも考えられるが、図示はしていない。
【０１３８】
また、エラー検出部１２０がＲチャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ１０８でＮＯ）、Ｌチャンネル、Ｒチャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１、復号画像バッファＲ１４２から復号済み画像を出力する（Ｓ１１６）。
【０１３９】
なお、画面内符号化画像は、Ｈ．２６４のＩＤＲピクチャ（瞬時復号更新ピクチャ、Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ  Ｐｉｃｔｕｒｅ）であっても構わない。なお、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャである。
【０１４０】
つまり、ＩＤＲピクチャの場合、そのＩＤＲピクチャ以前の復号画像バッファＬ１４１及び復号画像バッファＲ１４２に存在する参照ピクチャを参照不可能にすることになり、Ｌチャンネル側及びＲチャンネル側がともにエラーが無い場合であれば、このＩＤＲピクチャ以降にエラーが混入する可能性が低くなる。このため、画面内符号化画像がＩＤＲピクチャの場合、それ以降の画像がＩＤＲピクチャより時間的に前に復号された画像を参照することがなく、エラーの混入を確実に低くできる。
【０１４１】
以上により、本実施の形態１における多視点動画像復号装置１００が行う復号処理は、終了する。
【０１４２】
次に、以上のような構造およびフローチャートに基づく、本実施の形態１にかかる多視点動画像復号装置１００の動作について説明する。
【０１４３】
図５〜図７は、本実施の形態１における多視点動画像復号装置１００が出力する出力画像を示す図である。
【０１４４】
これらの図に示すように、上段は左目用のＬチャンネルの出力画像（Ｌ用画像）を、下段は右目用のＲチャンネルの出力画像（Ｒ用画像）を表わす。具体的には、Ｌ−１からＬ−６はＬチャンネル側の動画符号化ストリームから復号された出力画像を表わし、Ｒ−１からＲ−６はＲチャンネル側の動画符号化ストリームから復号された出力画像を表わす。また、番号が若いほど時間的に前の出力画像を表わしている。
【０１４５】
また、画像名に下線が引かれているＬ−５は、画面内符号化された符号化データから復号された出力画像を表わし、それ以外の画像は画面間符号化された符号化データから復号された出力画像であることを表わす。矢印は、画面間符号化に際して矢印の先の画像を復号するために矢印の元の画像を参照していることを示す。たとえば、Ｒ−１を復号するためにはＬ−１を参照していることを示す。
【０１４６】
図５に示すように、Ｌチャンネル側の動画符号化ストリームから復号されたＬ−２にエラーが検出された場合、図４に示した処理（図４のＳ１０６〜Ｓ１１６）に従って、エラー画像の修復が行われる。
【０１４７】
ここでは、エラー検出部１２０が、Ｌチャンネル側の復号エラーとしてエラー画像Ｌ−２を検出した場合（図４のＳ１０６でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、同図のＬ−２の代わりに過去に復号済みの画像Ｌ−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｒ−２の代わりに、過去に復号済みで、Ｌチャンネル側と同じ表示時刻に相当する画像Ｒ−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
【０１４８】
復号画像変更部１３０は、次のＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、及びＲ−１の画像を出力し続け（図４のＳ１１２でＮＯ、Ｓ１１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側及びＲチャンネル側にともにエラーが検出されなかった場合、Ｌチャンネル側、Ｒチャンネル側とも正常の画像を出力する（図４のＳ１１２でＹＥＳ、Ｓ１１６）。
【０１４９】
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第１復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。
【０１５０】
また、Ｌ−２及びＲ−２は、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当する。また、Ｌ−１及びＲ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。
【０１５１】
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
【０１５２】
なお、エラー復号画像に含まれる複数の復号画像は、Ｌ−２を参照して復号されるため、Ｌ−３及びＬ−４にもエラーが含まれることになるが、ここでは、エラー復号画像の先頭の画像であるＬ−２をエラー画像という。
【０１５３】
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
【０１５４】
図６は、図５と同様に出力画像を示す。図６の説明は図５と同じため、それらの詳しい説明は省略する。図６では、Ｒチャンネル側の動画符号化ストリームから復号されたＲ−２にエラーが検出された場合、図４に示した処理（図４のＳ１０８〜Ｓ１１６）に従って、エラー画像の修復が行われる。
【０１５５】
ここでは、エラー検出部１２０が、Ｒチャンネル側の復号エラーとしてエラー画像Ｒ−２を検出した場合（図４のＳ１０８でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、図６のＲ−２の代わりに過去に復号済みの画像Ｒ−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｌ−２の代わりに、過去に復号済みで、Ｒチャンネル側と同じ表示時刻の画像Ｌ−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
【０１５６】
復号画像変更部１３０は、次に継続して入力されるＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、及びＲ−１の画像を出力し続け（図４のＳ１１２でＮＯ、Ｓ１１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側とＲチャンネル側の符号化画像の復号時にエラーを検出しなかった場合、Ｌチャンネル側、Ｒチャンネル側とも正常の画像を出力する（図４のＳ１１２でＹＥＳ、Ｓ１１６）。
【０１５７】
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第１復号動画像」に相当する。
【０１５８】
また、Ｒ−２及びＬ−２は、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当する。また、Ｒ−１及びＬ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。
【０１５９】
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
【０１６０】
なお、エラー復号画像に含まれる複数の復号画像は、Ｒ−２を参照して復号されるため、Ｒ−３及びＲ−４にもエラーが含まれることになるが、ここでは、エラー復号画像の先頭の画像であるＲ−２をエラー画像という。
【０１６１】
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
【０１６２】
また、上述した説明においては、Ｌチャンネル側にエラーが検出されたときにＲチャンネル側にはエラーが検出されていない場合やその逆を想定していたが、図７に示すように、実際にはＬチャンネル側とＲチャンネル側の双方にエラーが検出されていることもある。
【０１６３】
ここでは、エラー検出部１２０が、Ｌチャンネル側及びＲチャンネル側の復号エラーを検出した場合を想定する。すなわち、復号画像変更部１３０が、図７のＬ−２及びＲ−２の代わりに過去に復号済みの画像Ｌ−１及びＲ−１を出力することを、同図中の太い白抜きの矢印で示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
【０１６４】
復号画像変更部１３０は、次に継続して入力されるＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１及びＲ−１の画像を出力し続け、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側とＲチャンネル側の符号化画像の復号時にエラーを検出しなかった場合、Ｌチャンネル側、Ｒチャンネル側とも正常の画像を出力する。
【０１６５】
なお、この場合、Ｌ−２がエラー画像であるとすれば、図５に示された場合と同様であり、Ｒ−２がエラー画像であるとすれば、図６に示された場合と同様である。
【０１６６】
つまり、Ｌ−２及びＲ−２が、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当するとすれば、Ｌ−１及びＲ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。そして、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。また、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第１復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。
【０１６７】
また、Ｒ−２及びＬ−２が、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当するとすれば、Ｒ−１及びＬ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。そして、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。また、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第１復号動画像」に相当する。
【０１６８】
このように、この場合においても図５や図６で示された場合と同様の出力を行うことで、エラーの波及を阻止したり、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
【０１６９】
（実施の形態２）
上記実施の形態１では、入力される動画符号化ストリームのＤｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側のチャンネル数は、１チャンネルであることとした。しかし、本実施の形態２では、入力される動画符号化ストリームのＤｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側のチャンネル数は、２チャンネルであることとする。
【０１７０】
図８は、本発明の実施の形態２における多視点動画像復号装置１００の構成を示すブロック図である。
【０１７１】
同図に示すように、本実施の形態２における多視点動画像復号装置１００は、実施の形態１における多視点動画像復号装置１００と同様に、復号部１１０、エラー検出部１２０、復号画像変更部１３０、及びバッファ１４０を備えている。ここで、多視点動画像復号装置１００には、３つの符号化動画像である３チャンネルの動画符号化ストリームが入力される。
【０１７２】
バッファ１４０は、復号画像を記憶しているメモリであり、復号画像バッファＬ１４１と復号画像バッファＲ1１４２と復号画像バッファＲ2１４３とを備えている。そして、復号画像バッファＬ１４１は、Ｂａｓｅ  Ｖｉｅｗ側チャンネルの復号画像であるＬ用画像を記憶している。また、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３は、２つのＤｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側チャンネルの復号画像であるＲ１用画像及びＲ２用画像を、それぞれ記憶している。
【０１７３】
復号部１１０は、３つの符号化動画像のうちの１つの符号化動画像を、他の２つの符号化動画像の復号画像を参照することなく復号して、１つの復号動画像を生成するとともに、当該１つの復号動画像に含まれる復号画像を参照して、当該他の２つの符号化動画像を復号して他の２つの復号動画像を生成する。
【０１７４】
図９は、本実施の形態２における復号部１１０が３つの符号化動画像を復号する処理を説明する図である。なお、同図に示す矢印などの記載方法は、図１４で説明した記載方法と同様のため、詳細な説明は省略する。
【０１７５】
同図に示すように、復号部１１０は、Ｂａｓｅ  Ｖｉｅｗ側チャンネルのＬ用動画符号化ストリームを、２つのＤｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側チャンネルのＲ１用動画符号化ストリーム及びＲ２用動画符号化ストリームの復号画像であるＲ１用画像及びＲ２用画像を参照することなく復号して、複数の復号画像からなるＬ用画像を生成する。
【０１７６】
また、復号部１１０は、Ｒ１用動画符号化ストリーム及びＲ２用動画符号化ストリームを復号して、Ｒ１用画像及びＲ２用画像を生成する。ここで、復号部１１０は、Ｌ用画像に含まれる復号画像を参照して、Ｒ１用画像を生成する。また、復号部１１０は、Ｌ用画像又はＲ１用画像に含まれる復号画像を参照して、Ｒ２用画像を生成する。
【０１７７】
なお、Ｌ用画像、Ｒ１用画像及びＲ２用画像の間での復号画像の参照については、同じ表示時刻に相当する復号画像が参照される。
【０１７８】
図８に戻り、エラー検出部１２０は、Ｌ用画像、Ｒ１用画像又はＲ２用画像に含まれる複数の復号画像の中から、エラー画像を検出する。
【０１７９】
復号画像変更部１３０は、エラー検出部１２０が検出したエラー画像を、過去画像を用いて生成される第一復号画像に変更し、対応エラー画像を、対応過去画像を用いて生成される第二復号画像に変更する。
【０１８０】
また、復号画像変更部１３０は、エラー画像から、直前画像又は直前画像に対応して表示される復号画像までに表示されるエラー復号画像を、過去画像を用いて変更し、対応エラー復号画像を、対応過去画像を用いて変更する。
【０１８１】
具体的には、例えば、エラー検出部１２０がＬ用画像からエラー画像を検出した場合、復号画像変更部１３０は、Ｌチャンネル用の出力画像Ｌとして、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像を出力するように指示する。また、復号画像変更部１３０は、他方のＲ１チャンネル用の出力画像Ｒ１及びＲ２チャンネル用の出力画像Ｒ２へも、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３に格納された過去に復号済みのＲ１用画像及びＲ２用画像を出力するように指示する。
【０１８２】
なお、これらの過去に復号済みのＬ用画像、Ｒ１用画像及びＲ２用画像は、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。
【０１８３】
また、この場合、出力画像Ｌは、特許請求の範囲に記載の「第一復号画像」に相当し、出力画像Ｒ１及び出力画像Ｒ２は、特許請求の範囲に記載の「第二復号画像」に相当する。また、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「過去画像」に相当し、過去に復号済みのＲ１用画像及びＲ２用画像は、特許請求の範囲に記載の「対応過去画像」に相当する。
【０１８４】
次に、本実施の形態２における多視点動画像復号装置１００が行う復号処理の手順について、説明する。
【０１８５】
図１０は、本実施の形態２における多視点動画像復号装置１００が行う復号処理を示すフローチャートである。
【０１８６】
まず、復号部１１０に、複数の符号化動画像である３チャンネルの動画符号化ストリームが入力される（Ｓ２０２）。
【０１８７】
そして、復号部１１０は、複数の符号化動画像を復号して、複数の復号動画像を生成する（Ｓ２０４）。
【０１８８】
そして、エラー検出部１２０は、Ｌチャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ２０６）。
【０１８９】
エラー検出部１２０は、Ｌチャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ２０６でＮＯ）、Ｒ１チャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ２０８）。
【０１９０】
エラー検出部１２０は、Ｒ１チャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ２０８でＮＯ）、Ｒ２チャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ２０９）。
【０１９１】
エラー検出部１２０が、Ｌチャンネル側の復号動画像からエラー画像を検出した場合（Ｓ２０６でＹＥＳ）、又はＲ１チャンネル側の復号動画像からエラー画像を検出した場合（Ｓ２０８でＹＥＳ）、又はＲ２チャンネル側の復号動画像からエラー画像を検出した場合（Ｓ２０９でＹＥＳ）、復号画像変更部１３０は、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側ともに、エラー画像及び対応エラー画像を過去画像及び対応過去画像に変更して出力する（Ｓ２１０）。
【０１９２】
具体的には、復号画像変更部１３０は、出力画像Ｌ、出力画像Ｒ１及び出力画像Ｒ２として、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側ともそれぞれ過去に復号済みの同じ表示時刻の画像を、復号画像バッファＬ１４１、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３から出力するように指示する。
【０１９３】
なお、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側のうち、２つ以上のチャンネルでエラーを検出した場合も、同じ処理（Ｓ２１０）を行う。
【０１９４】
そして、復号部１１０は、次のＬチャンネル側の動画符号化ストリームの画像が画面内符号化画像で構成される画像か否かを判定し、且つ、エラー検出部１２０からＬチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側の動画符号化ストリームの画像にエラーが検出されず、正しく復号可能か否かを判定する（Ｓ２１２）。
【０１９５】
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが無いと判定した場合（Ｓ２１２でＹＥＳ）、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３から復号済み画像を出力する（Ｓ２１６）。
【０１９６】
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成されていない、又は、Ｌチャンネル側、Ｒ１チャンネル側又はＲ２チャンネル側にエラーが含まれていると判定した場合（Ｓ２１２でＮＯ）、Ｌチャンネル側、Ｒ１チャンネル側、Ｒ２チャンネル側ともに、次の画像を、過去画像及び対応過去画像に変更して出力する（Ｓ２１４）。
【０１９７】
そして、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが無い場合まで、Ｌチャンネル側、Ｒ１チャンネル側、Ｒ２チャンネル側ともに、次の画像を過去画像及び対応過去画像に変更して出力する処理（Ｓ２１４）を繰り返す。なお、上記動画符号化ストリーム入力の終了時点で処理が完了することも考えられるが、図示はしていない。
【０１９８】
また、エラー検出部１２０がＲ２チャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ２０９でＮＯ）、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３から復号済み画像を出力する（Ｓ２１６）。
【０１９９】
なお、画面内符号化画像は、ＩＤＲピクチャであっても構わない。
【０２００】
以上により、本実施の形態２における多視点動画像復号装置１００が行う復号処理は、終了する。
【０２０１】
次に、本実施の形態２における多視点動画像復号装置１００の動作について説明する。
【０２０２】
図１１及び図１２は、本実施の形態２における多視点動画像復号装置１００が出力する出力画像を示す図である。
【０２０３】
これらの図に示すように、上段はＬチャンネルの出力画像（Ｌ用画像）、中段はＲ１チャンネルの出力画像（Ｒ１用画像）、下段はＲ２チャンネルの出力画像（Ｒ２用画像）を表わす。詳細については、図５〜図７での説明と同様であるため、省略する。
【０２０４】
図１１に示すように、Ｌチャンネル側の動画符号化ストリームから復号されたＬ−２にエラーが検出された場合、図１０に示した処理（図１０のＳ２０６〜Ｓ２１６）に従って、エラー画像の修復が行われる。
【０２０５】
ここでは、エラー検出部１２０が、Ｌチャンネル側の復号エラーとしてエラー画像Ｌ−２を検出した場合（図１０のＳ２０６でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、同図のＬ−２の代わりに過去に復号済みの画像Ｌ−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｒ１−２及びＲ２−２の代わりに、過去に復号済みで、Ｌチャンネル側と同じ表示時刻に相当する画像Ｒ１−１及びＲ２−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
【０２０６】
復号画像変更部１３０は、次のＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、Ｒ１−１及びＲ２−１の画像を出力し続け（図１０のＳ２１２でＮＯ、Ｓ２１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが検出されなかった場合、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも正常の画像を出力する（図１０のＳ２１２でＹＥＳ、Ｓ２１６）。
【０２０７】
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第１復号動画像」に相当する。また、Ｒ１用画像及びＲ２用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。
【０２０８】
また、Ｌ−２は、特許請求の範囲に記載の「エラー画像」に相当し、Ｒ１−２及びＲ２−２は、特許請求の範囲に記載の「対応エラー画像」に相当する。また、Ｌ−１は、特許請求の範囲に記載の「過去画像」に相当し、Ｒ１−１及びＲ２−１は、特許請求の範囲に記載の「対応過去画像」に相当する。
【０２０９】
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｒ１−２からＲ１−４までの複数の復号画像、及びＲ２−２からＲ２−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
【０２１０】
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
【０２１１】
また、図１２に示すように、Ｒ２チャンネル側の動画符号化ストリームから復号されたＲ２−２にエラーが検出された場合、図１０に示した処理（図１０のＳ２０９〜Ｓ２１６）に従って、エラー画像の修復が行われる。
【０２１２】
ここでは、エラー検出部１２０が、Ｒ２チャンネル側の復号エラーとしてエラー画像Ｒ２−２を検出した場合（図１０のＳ２０９でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、同図のＲ２−２の代わりに過去に復号済みの画像Ｒ２−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｌ−２及びＲ１−２の代わりに、過去に復号済みで、Ｒ２チャンネル側と同じ表示時刻に相当する画像Ｌ−１及びＲ１−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
【０２１３】
復号画像変更部１３０は、次のＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、Ｒ１−１及びＲ２−１の画像を出力し続け（図１０のＳ２１２でＮＯ、Ｓ２１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが検出されなかった場合、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも正常の画像を出力する（図１０のＳ２１２でＹＥＳ、Ｓ２１６）。
【０２１４】
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ１用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ２用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第１復号動画像」に相当する。
【０２１５】
また、Ｒ２−２は、特許請求の範囲に記載の「エラー画像」に相当し、Ｌ−２及びＲ１−２は、特許請求の範囲に記載の「対応エラー画像」に相当する。また、Ｒ２−１は、特許請求の範囲に記載の「過去画像」に相当し、Ｌ−１及びＲ１−１は、特許請求の範囲に記載の「対応過去画像」に相当する。
【０２１６】
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｒ２−２からＲ２−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｌ−２からＬ−４までの複数の復号画像、及びＲ１−２からＲ１−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
【０２１７】
また、Ｒ１チャンネル側の動画符号化ストリームから復号されたＲ１−２にエラーが検出された場合も、同様の処理を行うことで、エラーを修復することができる。
【０２１８】
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
【０２１９】
（実施の形態３）
本実施の形態３では、上記実施の形態１及び２における多視点動画像復号装置１００を備える多視点動画像復号装置２００について、説明する。
【０２２０】
図１３は、本実施の形態３における多視点動画像復号装置２００の構成を示すブロック図である。同図は、実施の形態１を示す図３をもとに、ＤＶＤレコーダ（デジタルビデオレコーダ）やブルーレイディスクレコーダ（Ｂｌｕ−ｒａｙ  Ｄｉｓｋ  Ｒｅｃｏｒｄｅｒ、ＢＤレコーダ）などに応用可能な構成を示す。
【０２２１】
多視点動画像復号装置２００は、図３で示した多視点動画像復号装置１００以外に、蓄積装置１５１、蓄積装置制御部１５０、全体制御部１６０、ユーザーインターフェース１６１、音声復号部１７０、表示部１８０及びスピーカ１９０を備えている。
【０２２２】
蓄積装置制御部１５０は、全体制御部１６０からの指示に基づき、蓄積装置１５１に蓄積された符号化動画像である多視点動画符号化ストリームを読み出し、復号部１１０へ送り込む。
【０２２３】
復号部１１０は送り込まれた多視点動画符号化ストリームを復号し、バッファ１４０へ格納する。なお、エラー検出部１２０は、図３と同様に上記の多視点動画符号化ストリームにエラーが無いかを検出し、そのエラー情報を復号画像変更部１３０へ送付する。そのエラー情報を受け取った復号画像変更部１３０はバッファ１４０から出力画像を選択し、表示部１８０へ出力する。
【０２２４】
なお、多視点動画符号化ストリームがＬチャンネル、Ｒチャンネルの動画符号化ストリームからなる場合、３Ｄ表示することが可能である。また、エラー検出部１２０でエラーを検出した場合も実施の形態１と同様の処理を施すことが可能である。
【０２２５】
また、蓄積装置制御部１５０は、全体制御部１６０からの指示に基づき、蓄積装置１５１に蓄積された音声符号化データを読み出し、音声復号部１７０へ送る。当該音声符号化データは、音声復号部１７０で復号処理された後、スピーカ１９０へ出力される。
【０２２６】
なお、ユーザーインターフェース１６１を介し、全体制御部１６０から多視点動画像復号装置１００および音声復号部１７０を制御することが可能である。
【０２２７】
以上のように、本発明の実施の形態１〜３に係る多視点動画像復号装置１００によれば、複数の復号動画像に含まれる複数の復号画像の中からエラー画像を検出し、エラー画像と対応エラー画像とを、過去画像と対応過去画像とを用いて、エラーを含まない画像に変更する。このため、入力された複数の符号化動画像のうち、いずれの符号化動画像にエラーが含まれていても、エラーのない画像を出力することができる。
【０２２８】
また、エラー画像のエラーを排除するために、エラー画像だけをエラーのない画像に変更した場合は、複数の復号動画像間でのバランスが崩れる。例えば、３Ｄ画像を表示する場合であれば、右目用の画像と左目用の画像とのバランスが崩れると、画像の内容の認識に支障をきたし、人の視覚に対して大きな影響を与える。このため、エラー画像だけではなく、エラー画像と対応エラー画像との双方を、過去画像と対応過去画像とを用いて変更することで、複数の復号動画像間でのバランスを崩さない。
【０２２９】
また、エラー画像を過去画像に変更し、対応エラー画像を対応過去画像に変更する。このため、エラー画像と対応エラー画像との代わりに、過去画像と対応過去画像とが出力され表示されるため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【０２３０】
また、エラー画像から、画面内符号化画像が復号された復号画像の直前の復号画像までに表示されるエラー復号画像を、過去画像を用いて変更し、対応エラー復号画像を、対応過去画像を用いて変更する。つまり、エラーが発生したあと、Ｂａｓｅ  Ｖｉｅｗ側の動画符号化ストリームに画面内符号化画像が出現するまで、エラーが修復される。ここで、画面内符号化画像は、他の画像を参照して復号されないため、エラーが混入している可能性が低く、当該画面内符号化画像以降の画像にも、エラーが混入している可能性が低い。
【０２３１】
また、ＩＤＲピクチャを画面内符号化画像として、エラー復号画像と対応エラー復号画像とを変更してもよい。つまり、エラーが発生したあと、Ｂａｓｅ  Ｖｉｅｗ側の動画符号化ストリームにＩＤＲピクチャが出現するまで、エラーが修復される。ここで、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャであり、復号するための情報が全てリセットされたピクチャである。このため、ＩＤＲピクチャは、画面内符号化画像の中でもエラーが混入している可能性が低く、当該ＩＤＲピクチャ以降の画像にも、エラーが混入している可能性が低い。
【０２３２】
また、画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方がエラーが含まれない画像になるまで、エラー復号画像と対応エラー復号画像とを変更する。このため、エラーが含まれる間はエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【０２３３】
また、過去画像を用いて生成される画像と同じ画像になるように、エラー復号画像に含まれる複数の復号画像を変更し、対応過去画像を用いて生成される画像と同じ画像になるように、対応エラー復号画像に含まれる複数の復号画像を変更する。つまり、複数の復号画像を同じ画像に変更してエラーを修復することで、急に異なる画像が表示されるなどの違和感を排除することができる。
【０２３４】
また、エラー画像と対応エラー画像とは、同じ時刻に表示される画像であり、同じ時刻に表示される過去画像と対応過去画像とを用いて変更される。このため、例えば、右目用の画像と左目用の画像とが同じ時刻に表示される３Ｄ画像において、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【０２３５】
これらにより、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
【０２３６】
以上、本発明の実施の形態に係る多視点動画像復号装置１００について説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０２３７】
例えば、上記実施の形態では、入力される動画符号化ストリームのＤｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側のチャンネル数は、１チャンネル又は２チャンネルであることとした。しかし、動画符号化ストリームのＤｅｐｅｎｄｅｎｔ  Ｖｉｅｗ側のチャンネル数は、１チャンネル又は２チャンネルであることに限定されず、３チャンネル以上であってもよい。
【０２３８】
また、上記実施の形態では、左目用のＬ用画像と右目用のＲ用画像とのように、所定の復号画像と当該復号画像に対応して表示される復号画像とは、同時刻に出力され表示されることとした。しかし、当該複数の対応して表示される復号画像は、同時刻に表示されることに限定されず、交互に表示されることにしてもよい。例えば、Ｌ用画像とＲ用画像とが交互に表示されることにしても、ユーザは３Ｄ映像を見ることができる。
【０２３９】
また、上記実施の形態では、多視点動画像復号装置１００は、１つの復号部１１０を備えていることとした。しかし、多視点動画像復号装置１００は、複数の復号部１１０を備えていることにしてもよい。
【０２４０】
また、上記実施の形態では、過去画像は、エラー画像の直前に表示されエラーを含まない画像であることとした。しかし、過去画像は、エラー画像の直前に表示される画像には限定されず、例えば、エラー画像の２つ前に表示される画像であってもよい。
【０２４１】
また、上記実施の形態では、復号画像変更部１３０は、エラー画像を過去画像と同じ画像に変更し、対応エラー画像を対応過去画像と同じ画像に変更することとした。しかし、復号画像変更部１３０は、エラー画像を、過去画像と全く同じ画像で無く、過去画像から変形した画像に変更し、対応エラー画像を、対応過去画像と全く同じ画像で無く、対応過去画像から変形した画像に変更することにしてもよい。
【０２４２】
また、上記実施の形態では、復号画像変更部１３０は、画面内符号化画像が復号された復号画像の直前の直前画像まで、復号画像を変更することとした。しかし、復号画像変更部１３０は、直前画像まででなくとも、例えば、予め定められた数だけ復号画像を変更することにしてもよい。
【０２４３】
また、上記実施の形態では、復号画像変更部１３０は、復号画像にエラーが含まれないようになるまで、復号画像を変更することとした。しかし、復号画像変更部１３０は、復号画像にエラーが含まれるか否かは判定せずに、直前画像まで、又は予め定められた数だけ復号画像を変更することにしてもよい。
【０２４４】
また、上記実施の形態では、復号画像変更部１３０は、エラー復号画像に含まれる複数の復号画像が、過去画像と同じ画像になるように、エラー復号画像を変更し、対応エラー復号画像に含まれる複数の復号画像が、対応過去画像と同じ画像になるように、対応エラー復号画像を変更することとした。しかし、復号画像変更部１３０は、エラー復号画像に含まれる複数の復号画像を、過去画像と全く同じ画像で無く、過去画像から変形した画像に変更し、対応エラー復号画像に含まれる複数の復号画像を、対応過去画像と全く同じ画像で無く、対応過去画像から変形した画像に変更することにしてもよい。また、エラー復号画像に含まれる複数の復号画像は、全て同じ画像でなくともよく、対応エラー復号画像に含まれる複数の復号画像は、全て同じ画像でなくともよい。
【０２４５】
また、上記実施の形態３では、本発明に係る多視点動画像復号装置１００をＤＶＤレコーダやブルーレイディスクレコーダに適用した例を述べたが、本発明に係る多視点動画像復号装置１００は、ＤＶＤレコーダやブルーレイディスクレコーダ以外の三次元画像を表示する三次元画像表示装置（例えば、ＤＶＤプレーヤやブルーレイディスクプレーヤ、デジタルテレビ、携帯電話機器、パーソナルコンピュータ等）に適用できる。
【０２４６】
また、上記実施の形態１及び２に係る多視点動画像復号装置１００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０２４７】
具体的には、図３及び図８に示された多視点動画像復号装置１００において、復号部１１０とエラー検出部１２０と復号画像変更部１３０とが、個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０２４８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２４９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
【０２５０】
また、上記実施の形態１及び２に係る多視点動画像復号装置１００の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０２５１】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【産業上の利用可能性】
【０２５２】
本発明にかかる多視点動画像復号装置は、多視点符号化され参照関係が存在する複数の動画符号化ストリームを復号する多視点動画像復号装置およびその再生方法に有用である。また、３Ｄ表示用データ出力可能なＤＶＤレコーダ、ＤＶＤプレーヤ、ブルーレイディスクレコーダ、ブルーレイディスクプレーヤやＴＶ等の用途にも応用可能である。
【符号の説明】
【０２５３】
１００  多視点動画像復号装置
１１０  復号部
１２０  エラー検出部
１３０  復号画像変更部
１４０  バッファ
１４１  復号画像バッファＬ
１４２  復号画像バッファＲ（復号画像バッファＲ1）
１４３  復号画像バッファＲ2
１５０  蓄積装置制御部
１５１  蓄積装置
１６０  全体制御部
１６１  ユーザーインターフェース
１７０  音声復号部
１８０  表示部
１９０  スピーカ
２００  多視点動画像復号装置（ＤＶＤレコーダ、ブルーレイディスクレコーダ）
１０００  多視点動画像復号装置
１０１０  復号部
１０２０  エラー検出部
１０３０  出力画像決定部
１０４０  バッファ
１０４１  復号画像バッファＬ
１０４２  復号画像バッファＲ
１０５０  エラー画像修復部Ｌ
１０６０  エラー画像修復部Ｒ
【図１】
2011130029.tif 000003
【図２】
2011130029.tif 000004
【図３】
2011130029.tif 000005
【図４】
2011130029.tif 000006
【図５】
2011130029.tif 000007
【図６】
2011130029.tif 000008
【図７】
2011130029.tif 000009
【図８】
2011130029.tif 000010
【図９】
2011130029.tif 000011
【図１０】
2011130029.tif 000012
【図１１】
2011130029.tif 000013
【図１２】
2011130029.tif 000014
【図１３】
2011130029.tif 000015
【図１４Ａ】
2011130029.tif 000016
【図１４Ｂ】
2011130029.tif 000017
【図１５】
2011130029.tif 000018
【図１６】
2011130029.tif 000019