(57)【要約】【課題】好適な映像を生成する。【解決手段】本発明に係る三次元映像復号装置１００は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒを復号することにより左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを生成する復号部１０３と、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒのエラーを判定するエラー判定部１０４と、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒのうち一方にエラーが発生している場合、エラーが発生している一方の信号のエラーデータ量が第１閾値以上であるか否かを判定する出力判定部１０５と、前記エラーデータ量が第１閾値未満である場合、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共に出力せず、前記エラーデータ量が第１閾値以上である場合、他方の信号が復号された復号信号のみを出力する出力部１０６とを備える。【選択図】図５
2011103589.tif 000002
【特許請求の範囲】
【請求項１】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号装置であって、
前記第１符号化信号を復号することにより第１復号信号を生成し、前記第２符号化信号を復号することにより第２復号信号を生成する復号部と、
予め定められたデータ量ごとに、前記第１符号化信号及び前記第２符号化信号にエラーが発生しているか否かを判定するエラー判定部と、
前記エラー判定部により、対応する表示時刻が付与された前記第１符号化信号及び前記第２符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記エラーが発生していると判定された前記一方の信号のエラーデータ量が第１閾値以上であるか否かを判定する出力判定部と、
前記出力判定部により、前記エラーデータ量が前記第１閾値未満であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力せず、前記出力判定部により、前記エラーデータ量が前記第１閾値以上であると判定された場合、前記他方の信号が復号された前記第１復号信号又は前記第２復号信号のみを出力する出力部とを備える
三次元映像復号装置。
【請求項２】
前記復号部は、前記第１符号化信号を、既に復号した前記第１復号信号を参照して復号し、前記第２符号化信号を、既に復号した前記第１復号信号及び前記第２復号信号を参照して復号し、
前記出力判定部は、さらに、前記エラー判定部により、対応する表示時刻が付与された前記第１符号化信号及び前記第２符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記一方の信号が前記第１符号化信号であるか前記第２符号化信号であるかを判定し、
前記出力部は、
前記出力判定部により、前記一方の信号が前記第１符号化信号であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力せず、
前記出力判定部により、前記エラーデータ量が前記第１閾値以上であると判定され、かつ、前記出力判定部により、前記一方の信号が前記第２符号化信号であると判定された場合、前記他方の信号が復号された前記第１復号信号のみを出力する
請求項１記載の三次元映像復号装置。
【請求項３】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号装置であって、
前記第１符号化信号を、既に復号した前記第１復号信号を参照して復号することにより第１復号信号を生成し、前記第２符号化信号を、既に復号した前記第１復号信号及び前記第２復号信号を参照して復号することにより第２復号信号を生成する復号部と、
前記第１符号化信号及び前記第２符号化信号にエラーが発生しているか否かを判定するエラー判定部と、
前記エラー判定部により、対応する表示時刻が付与された前記第１符号化信号及び前記第２符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記一方の信号が前記第１符号化信号であるか前記第２符号化信号であるかを判定する出力判定部と、
前記出力判定部により、前記一方の信号が前記第１符号化信号であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力せず、前記出力判定部により、前記一方の信号が前記第２符号化信号であると判定された場合、前記他方の信号が復号された前記第１復号信号のみを出力する出力部とを備える
三次元映像復号装置。
【請求項４】
前記第２符号化信号は、当該第２符号化信号に含まれる符号化ピクチャに対応付けられ、前記第１復号信号に含まれる復号ピクチャの一部の領域である参照エリアを指定する参照領域指定情報を含み、
前記復号部は、前記第２符号化信号に含まれる符号化ピクチャを、当該符号化ピクチャに対応した表示時刻が付与された前記復号ピクチャに含まれる前記参照エリアを参照して復号し、
前記エラー判定部は、前記符号化ピクチャに含まれる複数のスライスごとに、当該スライスにエラーが発生しているか否かを判定し、
前記出力判定部は、前記一方の信号が前記第２符号化信号であると判定した場合、エラーが発生していると判定されたエラースライスが前記参照エリアに含まれるか否かを判定し、
前記出力部は、
前記出力判定部により、前記エラースライスが前記参照エリアに含まれると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力せず、
前記出力判定部により、前記エラースライスが前記参照エリアに含まれないと判定された場合、前記他方の信号が復号された前記第１復号信号のみを出力する
請求項２又は３記載の三次元映像復号装置。
【請求項５】
前記第１符号化信号及び前記第２符号化信号のそれぞれは、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報とを含む複数のグループデータを含み、
前記出力判定部は、さらに、
前記エラー判定部によりエラーが発生していると判定されたエラー符号化ピクチャが、当該エラー符号化ピクチャが復号された復号ピクチャが前記復号部による他の符号化ピクチャの復号の際に参照される参照符号化ピクチャであるか、前記復号部による他の符号化ピクチャの復号の際に参照されない非参照符号化ピクチャであるかを判定し、
前記出力部は、
前記エラー判定部により、前記エラー符号化ピクチャが前記参照符号化ピクチャであると判定された場合、当該エラー符号化ピクチャと、当該エラー符号化ピクチャが含まれるグループデータに含まれる当該エラー符号化ピクチャより後の符号化ピクチャとに対応する復号ピクチャを出力せず、
前記エラー判定部により、前記エラー符号化ピクチャが前記非参照符号化ピクチャであると判定された場合、当該エラー符号化ピクチャに対応する復号ピクチャを出力しない
請求項２〜４のいずれか１項に記載の三次元映像復号装置。
【請求項６】
前記出力部は、
前記エラー判定部により、前記エラー符号化ピクチャが前記非参照符号化ピクチャであると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力しないと判定し、
前記エラー判定部により、前記エラー符号化ピクチャが前記参照符号化ピクチャであると判定された場合、前記他方の信号が復号された前記第１復号信号又は前記第２復号信号のみを出力すると判定する
請求項５記載の三次元映像復号装置。
【請求項７】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号装置であって、
前記第１符号化信号を、当該第１符号化信号に含まれる第１情報を用いて復号することにより第１復号信号を生成し、前記第２符号化信号を、当該第２符号化信号に含まれる第２情報を用いて復号することにより第２復号信号を生成する復号部と、
前記第１情報及び前記第２情報にエラーが発生しているか否かを判定するエラー判定部と、
前記エラー判定部により、対応する表示時刻が付与された前記第１情報及び前記第２情報の一方にエラーが発生していると判定された場合、他方を用いて当該一方を補完する補完部を備える
三次元映像復号装置。
【請求項８】
前記三次元映像復号装置は、さらに、前記第１視点及び前記第２視点と異なる第３視点の映像信号が符号化された第３符号化信号を復号し、
前記復号部は、
前記第３符号化信号を、当該第３符号化信号に含まれる第３情報を用いて復号することにより第３復号信号を生成し、
前記第３符号化信号を、既に復号した前記第３復号信号を参照して復号し、
前記第１符号化信号及び前記第２符号化信号を、既に復号した前記第１復号信号、前記第２復号信号及び前記第３復号信号を参照して復号し、
前記第１符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報である前記第１情報とを含む複数の第１グループデータを含み、
前記第２符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報である前記第２情報とを含む複数の第２グループデータを含み、
前記第１情報及び前記第２情報は、第１視点の映像信号と第２視点の映像信号と第３視点の映像信号との視点間の関係を示す情報である
請求項７記載の三次元映像復号装置。
【請求項９】
前記第１符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報であり、前記第１情報に含まれる第４情報とを含む複数の第１グループデータを含み、
前記第２符号化信号は、複数の符号化ピクチャと、当該複数の符号化ピクチャに共通の情報であり、前記第２情報に含まれる第５情報とを含む複数の第２グループデータを含み、
前記補完部は、
前記エラー判定部により、前記複数の第１グループデータに含まれる一の第１グループデータに含まれる第４情報にエラーが発生していると判定された場合、前記複数の第１グループデータに含まれる他の第１グループデータに含まれる第４情報を用いて、当該一の第１グループデータに含まれる第４情報を補完し、
前記エラー判定部により、前記複数の第２グループデータに含まれる一の第２グループデータに含まれる第５情報にエラーが発生していると判定された場合、前記複数の第２グループデータに含まれる他の第２グループデータに含まれる第５情報を用いて、当該一の第２グループデータに含まれる第５情報を補完する
請求項７又は８記載の三次元映像復号装置。
【請求項１０】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号するとともに、通常再生又は特殊再生した出力映像信号を出力する三次元映像復号装置であって、
前記通常再生又は前記特殊再生の指示を取得する再生モード取得部と、
前記再生モード取得により取得された指示に応じて、前記第１符号化信号を復号することにより、通常再生又は特殊再生した第１復号信号を生成し、前記第２符号化信号を復号することにより、通常再生又は特殊再生した第２復号信号を生成する復号部と、
前記再生モード取得部により前記通常再生の指示が取得された場合、前記第１復号信号及び前記第２復号信号を共に出力し、前記再生モード取得部により前記特殊再生の指示が取得された場合、前記第１復号信号及び前記第２復号信号の一方のみを前記出力映像信号として出力する出力部とを備える
三次元映像復号装置。
【請求項１１】
前記特殊再生は倍速再生を含み、
前記出力部は、前記再生モード取得部により前記倍速再生の指示が取得された場合、前記第１復号信号及び前記第２復号信号の一方のみを出力する
請求項１０記載の三次元映像復号装置。
【請求項１２】
前記倍速再生は、第１倍速再生と、前記第１倍速再生よりも高速な第２倍速再生とを含み、
前記出力部は、
前記再生モード取得部により前記第１倍速再生の指示が取得された場合、前記第１復号信号及び前記第２復号信号を共に出力し、
前記再生モード取得部により前記第２倍速再生の指示が取得された場合、前記第１復号信号及び前記第２復号信号の一方のみを出力する
請求項１１記載の三次元映像復号装置。
【請求項１３】
前記三次元映像復号装置は、さらに、
前記第１復号信号と前記第２復号信号とにより表現される三次元映像の深さ方向の変化量が第１閾値以上であるか否かを判定する深度判定部を備え、
前記出力部は、
前記再生モード取得部により前記倍速再生の指示が取得され、かつ、前記深度判定部により前記変化量が前記第１閾値以上であると判定された場合、前記第１復号信号及び前記第２復号信号の一方のみを出力し、
前記再生モード取得部により前記倍速再生の指示が取得され、かつ、前記深度判定部により前記変化量が前記第１閾値未満であると判定された場合、前記第１復号信号及び前記第２復号信号を共に出力する
請求項１１記載の三次元映像復号装置。
【請求項１４】
前記第１符号化信号及び前記第２符号化信号の少なくとも一方は、前記第１復号信号及び前記第２復号信号の三次元表示における深さ方向の位置を示す深度情報を含み、
前記深度判定部は、
前記深度情報で示される深さ方向の位置の変化量が第２閾値以上である場合、前記第１復号信号と前記第２復号信号とにより表現される三次元映像の深さ方向の変化量が前記第１閾値以上であると判定し、
前記深度情報で示される深さ方向の位置の変化量が前記第２閾値未満である場合、前記第１復号信号と前記第２復号信号とにより表現される三次元映像の深さ方向の変化量が前記第１閾値未満であると判定する
請求項１３記載の三次元映像復号装置。
【請求項１５】
前記特殊再生は、前記通常再生時に表示されるピクチャ順に対して逆の順序でピクチャを再生する逆方向再生を含み、
前記再生モード取得部により前記逆方向再生の指示が取得された場合、
前記復号部は、前記第１符号化信号及び前記第２符号化信号の一方のみを復号することにより、前記第１復号信号及び前記第２復号信号の一方のみを生成し、
前記出力部は、前記復号部により生成された前記第１復号信号及び前記第２復号信号の前記一方のみを出力する
請求項１０記載の三次元映像復号装置。
【請求項１６】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号方法であって、
前記第１符号化信号を復号することにより第１復号信号を生成し、前記第２符号化信号を復号することにより第２復号信号を生成する復号ステップと、
予め定められたデータ量ごとに、前記第１符号化信号及び前記第２符号化信号にエラーが発生しているか否かを判定するエラー判定ステップと、
前記エラー判定ステップにより、対応する表示時刻が付与された前記第１符号化信号及び前記第２符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記エラーが発生していると判定された前記一方の信号のエラーデータ量が第１閾値以上であるか否かを判定する出力判定ステップと、
前記出力判定ステップにより、前記エラーデータ量が前記第１閾値未満であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力せず、前記出力判定ステップにより、前記エラーデータ量が前記第１閾値以上であると判定された場合、前記他方の信号が復号された前記第１復号信号又は前記第２復号信号のみを出力する出力ステップとを含む
三次元映像復号方法。
【請求項１７】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号方法であって、
前記第１符号化信号を、既に復号した前記第１復号信号を参照して復号することにより第１復号信号を生成し、前記第２符号化信号を、既に復号した前記第１復号信号及び前記第２復号信号を参照して復号することにより第２復号信号を生成する復号ステップと、
前記第１符号化信号及び前記第２符号化信号にエラーが発生しているか否かを判定するエラー判定ステップと、
前記エラー判定ステップにより、対応する表示時刻が付与された前記第１符号化信号及び前記第２符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記一方の信号が前記第１符号化信号であるか前記第２符号化信号であるかを判定する出力判定ステップと、
前記出力判定ステップにより、前記一方の信号が前記第１符号化信号であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力せず、前記出力判定ステップにより、前記一方の信号が前記第２符号化信号であると判定された場合、前記他方の信号が復号された前記第１復号信号のみを出力する出力ステップとを含む
三次元映像復号方法。
【請求項１８】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号方法であって、
前記第１符号化信号を、当該第１符号化信号に含まれる第１情報を用いて復号することにより第１復号信号を生成し、前記第２符号化信号を、当該第２符号化信号に含まれる第２情報を用いて復号することにより第２復号信号を生成する復号ステップと、
前記第１情報及び前記第２情報にエラーが発生しているか否かを判定するエラー判定ステップと、
前記エラー判定ステップにより、対応する表示時刻が付与された前記第１情報及び前記第２情報の一方にエラーが発生していると判定された場合、他方を用いて当該一方を補完する補完ステップを含む
三次元映像復号方法。
【請求項１９】
第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号するとともに、通常再生又は特殊再生した出力映像信号を出力する三次元映像復号方法であって、
前記第１符号化信号を復号することにより第１復号信号を生成し、前記第２符号化信号を復号することにより第２復号信号を生成する復号ステップと、
前記通常再生又は前記特殊再生の指示を取得する再生モード取得ステップと、
前記再生モード取得ステップにより前記通常再生の指示が取得された場合、前記第１復号信号及び前記第２復号信号を共に出力し、前記再生モード取得ステップにより前記特殊再生の指示が取得された場合、前記第１復号信号及び前記第２復号信号の一方のみを前記出力映像信号として出力する出力ステップとを含む
三次元映像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元映像復号装置及び三次元映像復号方法に関し、特に、第１視点の映像信号が符号化された第１符号化信号と、第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号装置に関する。
【背景技術】
【０００２】
視聴者が立体的に感じる二次元映像である三次元映像（多視点映像）を表示する三次元映像表示装置が知られている。例えば、特許文献１には、このような三次元映像を符号化及び復号する技術が記載されている。
【０００３】
この三次元映像表示装置は、互いに視差を有する右眼用の画像と左眼用の画像とを表示することにより、視聴者が立体的に感じる画像を表示する。例えば、三次元映像表示装置は、右眼用の画像と左眼用の画像とを１フレームごとに交互に表示する。また、視聴者は、１フレームごとに右眼と左眼とのどちらが見えるかが切り替わる眼鏡を用いる。これにより、視聴者は、右眼用の画像は右眼でのみ、左眼用の画像は左眼でのみ見ることができるので、三次元映像表示装置が表示する画像を三次元として認識できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１８６５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、エラーによるデータ欠落又はデータ化けが発生した場合、このような三次元映像では、瞬間的に三次元表示における深さ方向（飛び出し方向）の表示位置が大きく変わる、又は、瞬間的に二次元表示になることにより、不自然な映像が表示されてしまう可能性がある。
【０００６】
また、早送り等の特殊再生を行う場合にも、瞬間的に三次元表示における深さ方向の表示位置が大きく変わる等の、不自然な映像が表示されてしまう可能性がある。
【０００７】
そこで、本発明は、エラー発生時、及び特殊再生時の少なくとも一方において、好適な映像を生成できる三次元映像復号装置及び三次元映像復号方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る三次元映像復号装置は、第１視点の映像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の映像信号が符号化された第２符号化信号とを復号する三次元映像復号装置であって、前記第１符号化信号を復号することにより第１復号信号を生成し、前記第２符号化信号を復号することにより第２復号信号を生成する復号部と、予め定められたデータ量ごとに、前記第１符号化信号及び前記第２符号化信号にエラーが発生しているか否かを判定するエラー判定部と、前記エラー判定部により、対応する表示時刻が付与された前記第１符号化信号及び前記第２符号化信号のうち一方の信号にエラーが発生していると判定され、かつ他方の信号にエラーが発生していないと判定された場合、前記エラーが発生していると判定された前記一方の信号のエラーデータ量が第１閾値以上であるか否かを判定する出力判定部と、前記出力判定部により、前記エラーデータ量が前記第１閾値未満であると判定された場合、前記一方の信号及び前記他方の信号に対応する前記第１復号信号及び前記第２復号信号を共に出力せず、前記出力判定部により、前記エラーデータ量が前記第１閾値以上であると判定された場合、前記他方の信号が復号された前記第１復号信号又は前記第２復号信号のみを出力する出力部とを備える。
【発明の効果】
【０００９】
以上より、本発明は、エラー発生時、及び特殊再生時の少なくとも一方において、好適な映像を生成できる三次元映像復号装置及び三次元映像復号方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る三次元映像表示システムのブロック図である。
【図２】本発明の実施の形態１に係る三次元映像信号の一例を示す図である。
【図３】本発明の実施の形態１に係る左眼用画像及び右眼用画像の一例を示す図である。
【図４】本発明の実施の形態１に係る三次元映像信号の別の例を示す図である。
【図５】本発明の実施の形態１に係る三次元映像復号装置のブロック図である。
【図６】本発明の実施の形態１に係る入力映像信号の構成を示す図である。
【図７】本発明の実施の形態１に係る左眼用符号化信号の構成を示す図である。
【図８】本発明の実施の形態１に係るピクチャの参照関係を示す図である。
【図９】本発明の実施の形態１に係る三次元映像復号装置による復号処理のフローチャートである。
【図１０】本発明の実施の形態１に係る三次元映像復号装置において、右眼用符号化信号にエラーが発生した場合の、入力映像信号及び出力映像信号を示す図である。
【図１１】本発明の実施の形態１に係る三次元映像復号装置において、右眼用符号化信号にエラーが発生した場合の、入力映像信号及び出力映像信号を示す図である。
【図１２】本発明の実施の形態２に係る三次元映像復号装置による復号処理のフローチャートである。
【図１３】本発明の実施の形態２に係る三次元映像復号装置において、非参照符号化ピクチャにエラーが発生した場合の入力映像信号及び出力映像信号を示す図である。
【図１４】本発明の実施の形態２に係る三次元映像復号装置において、右眼用符号化信号の参照符号化ピクチャにエラーが発生した場合の入力映像信号及び出力映像信号を示す図である。
【図１５】本発明の実施の形態２に係るエラースライスと参照エリアとの関係を示す図である。
【図１６】本発明の実施の形態２に係る三次元映像復号装置において、エラースライスが参照エリアに含まれない場合の入力映像信号及び出力映像信号を示す図である。
【図１７】本発明の実施の形態２に係る三次元映像復号装置において、エラースライスが参照エリアに含まれる場合の入力映像信号及び出力映像信号を示す図である。
【図１８】本発明の実施の形態３に係る三次元映像復号装置の構成を示すブロック図である。
【図１９】本発明の実施の形態３に係る三次元映像復号装置による補完処理を示す図である。
【図２０】本発明の実施の形態３に係る三次元映像復号装置による補完処理のフローチャートである。
【図２１】本発明の実施の形態４に係る三次元映像復号装置のブロック図である。
【図２２】本発明の実施の形態４に係る三次元映像復号装置による復号処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明に係る三次元映像復号装置の実施の形態について、図面を参照しながら詳細に説明する。
【００１２】
（実施の形態１）
本発明の実施の形態１に係る三次元映像復号装置は、左眼用及び右眼用の映像の一方にエラーが発生した際、エラーにより復号できないデータ量（例えば、エラーが発生した連続するピクチャの数）が多い場合には、正常な映像のみを表示する二次元表示を行い、エラーにより復号できないデータ量が少ない場合には、三次元表示を維持したまま両方の映像をスキップする。これにより、本発明の実施の形態１に係る三次元映像復号装置は、エラー発生時において、好適な映像を生成できる。
【００１３】
まず、本発明の実施の形態１に係る三次元映像復号装置を含む三次元映像表示システムの構成を説明する。
【００１４】
図１は、本発明の実施の形態１に係る三次元映像表示システムの構成を示すブロック図である。
【００１５】
図１に示す三次元映像表示システム１０は、デジタルテレビ２０と、デジタルビデオレコーダ３０と、シャッタメガネ４３とを含む。また、デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブル４０を介して接続されている。
【００１６】
デジタルビデオレコーダ３０は、ＢＤ（ブルーレイディスク）等の光ディスク４１に記録されている三次元映像信号を処理し、処理した三次元映像信号を、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。
【００１７】
デジタルテレビ２０は、デジタルビデオレコーダ３０により出力される三次元映像信号、及び放送波４２に含まれる三次元映像信号で示される三次元映像を表示する。例えば、放送波４２は、地上デジタルテレビ放送、及び衛星デジタルテレビ放送等である。
【００１８】
なお、デジタルビデオレコーダ３０は、光ディスク４１以外の記録媒体（例えば、ハードディスクドライブ及び不揮発性メモリ等）に記録されている三次元映像信号を処理してもよい。また、デジタルビデオレコーダ３０は、放送波４２に含まれる三次元映像信号、又はインターネット等の通信網を経由して取得した三次元映像信号を処理してもよい。また、デジタルビデオレコーダ３０は、外部の装置により、外部入力端子（図示せず）等に入力された三次元映像信号を処理してもよい。
【００１９】
同様に、デジタルテレビ２０は、光ディスク４１及びその他の記録媒体に記録されている三次元映像信号で示される映像を表示してもよい。また、デジタルテレビ２０は、インターネット等の通信網を経由して取得した三次元映像信号で示される映像を表示してもよい。また、デジタルテレビ２０は、デジタルビデオレコーダ３０以外の外部の装置により、外部入力端子（図示せず）等に入力された三次元映像信号で示される映像を表示してもよい。
【００２０】
また、デジタルテレビ２０は、取得した三次元映像信号に所定の処理を施し、処理を施した三次元映像信号で示される映像を表示してもよい。
【００２１】
また、デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩケーブル４０以外の規格のケーブルにより接続されていてもよいし、無線通信網により接続されていてもよい。
【００２２】
デジタルビデオレコーダ３０は、入力部３１と、三次元映像復号装置１００と、ＨＤＭＩ通信部３３とを備える。
【００２３】
入力部３１は、光ディスク４１に記録されている入力映像信号１１１を取得する。
【００２４】
三次元映像復号装置１００は、入力映像信号１１１を復号することにより、出力映像信号１１７を生成する。
【００２５】
ＨＤＭＩ通信部３３は、三次元映像復号装置１００により生成された出力映像信号１１７を、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。
【００２６】
なお、デジタルビデオレコーダ３０は、生成した出力映像信号１１７を、当該デジタルビデオレコーダ３０が備える記憶部（ハードディスクドライブ及び不揮発性メモリ等）に記憶してもよいし、当該デジタルビデオレコーダ３０に着脱可能な記録媒体（光ディスク等）に記録してもよい。
【００２７】
デジタルテレビ２０は、入力部２１と、ＨＤＭＩ通信部２３と、三次元映像復号装置１００Ｂと、表示パネル２６と、トランスミッタ２７とを備える。
【００２８】
入力部２１は、放送波４２に含まれる入力映像信号５６を取得する。
【００２９】
ＨＤＭＩ通信部２３は、ＨＤＭＩ通信部３３により出力された出力映像信号１１７を取得し、入力映像信号５７として出力する。
【００３０】
三次元映像復号装置１００Ｂは、入力映像信号５６又は入力映像信号５７を復号することにより、出力映像信号５８を生成する。
【００３１】
表示パネル２６は、三次元映像復号装置１００Ｂにより生成された出力映像信号５８で示される映像を表示する。
【００３２】
トランスミッタ２７は、無線通信を用いて、シャッタメガネ４３を制御する。
【００３３】
図２は、三次元映像データの一例を示す図である。図２に示すように、三次元映像データは、交互に配置される左眼用画像１７０ｌと右眼用画像１７０ｒとを含む。
【００３４】
図３は、左眼用画像１７０ｌ及び右眼用画像１７０ｒの一例を示す図である。
【００３５】
図３に示すように、左眼用画像１７０ｌと右眼用画像１７０ｒとに含まれるオブジェクトは、撮影位置からオブジェクトの距離に応じた視差を有する。
【００３６】
シャッタメガネ４３は、例えば、視聴者が装着する液晶シャッタメガネであり、左眼用液晶シャッタと右眼用液晶シャッタとを備える。トランスミッタ２７は、左眼用画像１７０ｌと右眼用画像１７０ｒとの表示タイミングにあわせて、左眼用液晶シャッタ及び右眼用液晶シャッタの開閉を制御する。具体的には、トランスミッタ２７は、左眼用画像１７０ｌが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを開き、かつ右眼用液晶シャッタを閉じる。また、トランスミッタ２７は、右眼用画像１７０ｒが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを閉じ、かつ右眼用液晶シャッタを開く。このように、視聴者の左眼には左眼用画像１７０ｌが、右眼には右眼用画像１７０ｒが、それぞれ選択的に入射される。
【００３７】
なお、視聴者の左眼及び右眼に、左眼用画像１７０ｌ及び右眼用画像１７０ｒを選択的に入射させる方法は、この方法に限定されず、これ以外の方法を用いてもよい。
【００３８】
例えば、図４に示すように、三次元映像データの各ピクチャ内に左眼用ライン１７５ｌと右眼用ライン１７５ｒとがストライプ状に配置されてもよい。
【００３９】
この場合、表示パネル２６は、左眼用の画素上に形成された左眼用偏光フィルムと、右眼用の画素上に形成された右眼用偏光フィルムとを備えることにより、左眼用ライン１７５ｌと右眼用ライン１７５ｒとに異なる偏光（直線偏光又は円偏光等）をかける。また、シャッタメガネ４３の代わりに、上記偏光にそれぞれ対応する左眼用及び右眼用の偏光フィルタを備える偏光メガネを用いることで、視聴者の左眼及び右眼に、左眼用ライン１７５ｌ及び右眼用ライン１７５ｒを入射させることができる。
【００４０】
なお、三次元映像データにおける、左眼用映像と右眼用映像との配置パターンは、横ストライプ状以外であってもよい。例えば、各ピクチャ内に左眼用映像と右眼用映像とが縦ストライプに配置されてもよい。また、１ピクチャ内に左眼用映像と右眼用映像が市松状（チェッカ状）に配置されてもよい。また、１ピクチャ内に、左眼用画像１７０ｌと右眼用画像１７０ｒとが垂直方向又は水平方向に並んで配置されてもよい。
【００４１】
以下、本発明の実施の形態１に係る三次元映像復号装置１００について詳細に説明する。
【００４２】
図５は、本発明の実施の形態１に係る三次元映像復号装置１００の構成を示すブロック図である。この三次元映像復号装置１００は、格納部１０１と、復号部１０３と、エラー判定部１０４と、出力判定部１０５と、出力部１０６とを備える。
【００４３】
格納部１０１は、入力映像信号１１１を格納し、入力映像信号１１２として出力する。
【００４４】
以下、入力映像信号１１２（１１１）の構成を説明する。
【００４５】
例えば、入力映像信号１１２は、Ｈ．２６４ＭＶＣ（多視点映像符号化）−ＢＤ（Ｂｌｕ−Ｒａｙ  Ｄｉｓｃ）３Ｄ（三次元）規格に準拠したストリームデータである。
【００４６】
図６は、入力映像信号１１２の構成を示す図である。
【００４７】
入力映像信号１１２は、例えば、トランスポートストリーム（ＭＰＥＧ−２  ＴＳ）であり、複数のＴＳパケットを含む。各ＴＳパケットは、左眼用映像信号が符号化された左眼用パケット１５１Ｌ、又は、右眼用映像信号が符号化された右眼用パケット１５１Ｒである。この左眼用パケット１５１Ｌと右眼用パケット１５１Ｒとは、入力映像信号１１２において交互に配置される。また、同時刻に表示される画像に対応する左眼用パケット１５１Ｌと右眼用パケット１５１Ｒとは対をなし、この対はアクセスユニット１５２と呼ばれる。
【００４８】
なお、ここで、同時刻に表示される画像とは、例えば、同一のＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）が付与されている画像である。なお、上述したように、表示パネル２６に左眼用画像１７０ｌと右眼用画像１７０ｒとが交互に表示される場合には、同一のＰＴＳが付与されている画像は同時ではなく連続的に表示される。
【００４９】
また、各ＴＳパケットには、当該パケットが左眼用パケット１５１Ｌであるか、右眼用パケット１５１Ｒであるかを示す識別子が付与されている。よって、三次元映像復号装置１００は、当該識別子を参照することで、入力映像信号１１２に含まれる、第１視点の映像信号が符号化された左眼用符号化信号１１２Ｌ（左眼用パケット１５１Ｌ）と、第１視点と異なる第２視点の映像信号が符号化された右眼用符号化信号１１２Ｒ（右眼用パケット１５１Ｒ）とを識別する。
【００５０】
図７は、左眼用符号化信号１１２Ｌの構成を示す図である。なお、右眼用符号化信号１１２Ｒの構成も同様である。
【００５１】
左眼用符号化信号１１２Ｌは、複数のシーケンスデータ１６０を含む。ここで、シーケンスとは、ＭＰＥＧ２規格におけるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）に相当する単位である。
【００５２】
シーケンスデータ１６０は、シーケンスヘッダ１６１と、複数のピクチャデータ１６２とを含む。シーケンスヘッダ１６１は、当該シーケンスデータ１６０に含まれる複数のピクチャデータ１６２に共通の制御情報を含む。
【００５３】
各ピクチャデータ１６２は、ピクチャヘッダ１６３と、ピクセルデータ１６４とを含む。ピクチャヘッダ１６３は、当該ピクチャデータ１６２に含まれるピクセルデータ１６４の制御情報を含む。ピクセルデータ１６４は、１ピクチャのデータが符号化されたデータ（以下、符号化ピクチャとも記す。）である。
【００５４】
なお、図６に示す各ＴＳパケットは、固定長のデータであり、例えば、１つのピクチャデータ１６２の一部、又は、１つ以上のピクチャデータ１６２に対応する。
【００５５】
再び図５を参照して説明を行う。
【００５６】
復号部１０３は、左眼用符号化信号１１２Ｌを復号することにより左眼用復号信号１１３Ｌを生成する。また、復号部１０３は、右眼用符号化信号１１２Ｒを復号することにより右眼用復号信号１１３Ｒを生成する。また、復号部１０３は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを含む復号映像信号１１３を出力する。
【００５７】
ここで、左眼用符号化信号１１２Ｌは、当該左眼用符号化信号１１２Ｌのみを用いて復号されるベースビューである。また、右眼用符号化信号１１２Ｒは、当該右眼用符号化信号１１２Ｒ及び左眼用符号化信号１１２Ｌを用いて復号されるディペンデントビューである。
【００５８】
具体的には、復号部１０３は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒを、可変長復号することにより、量子化係数を生成する。次に、復号部１０３は、生成した量子化係数を逆量子化することにより、直交変換係数（ＤＣＴ係数）を生成する。次に、復号部１０３は、生成した直交変換係数を逆直交変換することにより、予測誤差を生成する。一方で、復号部１０３は、既に復号済みの参照画像を用いて動き補償を行うことにより、予測画像を生成する。次に、復号部１０３は、生成した予測誤差と予測画像とを加算することにより復号画像（復号映像信号１１３）を生成する。また、復号部１０３は、生成した復号画像を、後の画像の復号処理に用いる参照画像としてメモリに格納する。
【００５９】
図８は、符号化ピクチャを復号する際の参照関係を示す図である。
【００６０】
なお、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒは、符号化Ｉピクチャと、符号化Ｐピクチャと、符号化Ｂピクチャとを含む。ここで、符号化Ｉピクチャ、符号化Ｐピクチャ及び符号化Ｂピクチャは、それぞれＩピクチャ、Ｐピクチャ及びＢピクチャが符号化された符号化ピクチャである。また、Ｉピクチャは当該ピクチャ内のデータのみを用いて符号化されるピクチャである。Ｐピクチャ及びＢピクチャは、他のＩピクチャ又はＰピクチャを用いて符号化されるピクチャである。
【００６１】
言い換えると、符号化Ｉピクチャは、当該符号化ピクチャ内のデータのみを用いて復号される。符号化Ｐピクチャ及び符号化Ｂピクチャは、当該符号化ピクチャ内のデータと、他の復号済みのピクチャ（以下、復号ピクチャ）のデータとを用いて復号される。なお、以下では、復号ピクチャを参照画像として用いることを、復号ピクチャを参照するとも記す。
【００６２】
なお、図８に示す符号化ピクチャＩ２は符号化Ｉピクチャであり、符号化ピクチャＰ２、Ｐ５は符号化Ｐピクチャであり、符号化ピクチャＢ０、Ｂ１、Ｂ３、Ｂ４は符号化Ｂピクチャである。また、図８に示す矢印は、各符号化ピクチャが参照する復号ピクチャを示す。
【００６３】
図８に示すように、左眼用符号化信号１１２Ｌに含まれる符号化Ｐピクチャ及び符号化Ｂピクチャは、左眼用復号信号１１３Ｌに含まれる復号Ｉピクチャ及び復号Ｐピクチャのみを参照する。また、右眼用符号化信号１１２Ｒに含まれる符号化Ｐピクチャ及び符号化Ｂピクチャは、右眼用復号信号１１３Ｒに含まれる復号Ｉピクチャ及び復号Ｐピクチャと、左眼用復号信号１１３Ｌに含まれる復号ピクチャのうち当該符号化ピクチャと同一のアクセスユニット１５２に含まれる復号ピクチャとを参照する。例えば、図８に示す例では、右眼用符号化信号１１２Ｒに含まれる符号化ピクチャＰ２は、当該符号化ピクチャＰ２と同一のアクセスユニット１５２に含まれる復号ピクチャＩ２を参照する。
【００６４】
また、基本的には、このようなアクセスユニット１５２内の右眼用符号化信号１１２Ｒから左眼用復号信号１１３Ｌの参照は行われるが、左眼用復号信号１１３Ｌと右眼用復号信号１１３Ｒとの映像差が大きい場合には、このアクセスユニット１５２内の参照は行われない。また、基本的には、アクセスユニット１５２内のみで参照が行われる。つまり、右眼用符号化信号１１２Ｒの符号化ピクチャは、他のアクセスユニット１５２に含まれる、左眼用復号信号１１３Ｌの復号ピクチャを参照しない。
【００６５】
このように、復号部１０３は、左眼用符号化信号１１２Ｌを、既に復号した左眼用復号信号１１３Ｌのみを参照して復号する。また、復号部１０３は、右眼用符号化信号１１２Ｒを、既に復号した左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを参照して復号する。
【００６６】
エラー判定部１０４は、復号部１０３が、左眼用符号化信号１１２Ｌを正しく復号できるか否か、及び右眼用符号化信号１１２Ｒを正しく復号できるか否かを判定する。具体的には、エラー判定部１０４は、復号部１０３が、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒに含まれる符号化ピクチャのそれぞれを正しく復号できるか否かを判定する。つまり、エラー判定部１０４は、ＢＤディスク等の傷又は汚れ、及びネットワーク配信エラーによるパケット欠落等により、入力映像信号１１２（１１１）にデータ欠落及びデータ化け（以下、エラーと記す）が発生しているか否かを判定する。
【００６７】
例えば、エラー判定部１０４は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒの一方のピクチャに対応する他方のピクチャのデータが存在しない場合、及び、データの値及びフォーマットが予め定められた正常な範囲外である場合に、当該映像信号にエラーが発生していると判定する。なお、エラー判定部１０４は、このエラー判定をピクチャ単位で行ってもよいし、それ以外の単位（スライス単位、マクロブロック単位又は複数ピクチャ単位）で行なってもよい。
【００６８】
出力判定部１０５は、エラー判定部１０４により、同一アクセスユニット１５２に含まれる左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒの一方のみにエラーが発生していると判定された場合、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップする（出力しない）か、エラーが発生していない復号信号のみを出力するかを判定する。
【００６９】
ここで、上述したように右眼用符号化信号１１２Ｒは、左眼用符号化信号１１２Ｌを参照して復号される。よって、左眼用符号化信号１１２Ｌにエラーが発生した場合には、右眼用符号化信号１１２Ｒも正しく復号できない場合がある。
【００７０】
よって、出力判定部１０５は、左眼用符号化信号１１２Ｌにエラーが発生している場合には、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップすると判定する。また、出力判定部１０５は、右眼用符号化信号１１２Ｒにエラーが発生している場合には、エラーが発生していない左眼用復号信号１１３Ｌのみを出力すると判定する。
【００７１】
また、出力判定部１０５は、さらに、エラー判定部１０４により正しく復号できないと判定された右眼用符号化信号１１２Ｒのデータ量（例えば、エラーが発生した符号化ピクチャの数）が予め定められた第１閾値以上であるか否かを判定する。出力判定部１０５は、連続する、エラーが発生した符号化ピクチャ（以下、エラーピクチャ）の数が第１閾値未満の場合、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共に出力しないと判定し、連続するエラーピクチャの数が第１閾値以上の場合、左眼用復号信号１１３Ｌのみを出力すると判定する。
【００７２】
出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する。また、出力部１０６は出力判定部１０５によりスキップする（出力しない）と判定された左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒの両方又は一方を出力しない。ここでスキップするとは、対応する復号ピクチャのデータを出力しない、又は、同一視点の映像信号における直前の復号ピクチャと同じデータを出力することである。
【００７３】
また、復号部１０３は、出力判定部１０５によりスキップすると判定された復号ピクチャに対応する符号化ピクチャの復号処理を行なわない。なお、復号部１０３が復号処理の全て又は一部を行ったうえで、出力部１０６が出力処理のみを行なわなくてもよい。
【００７４】
以下、三次元映像復号装置１００の動作の流れを説明する。
【００７５】
図９は、三次元映像復号装置１００による復号処理のフローチャートである。
【００７６】
図９に示すように、まず、エラー判定部１０４は、入力映像信号１１２にエラーが発生しているか否かを判定する（Ｓ１０１）。
【００７７】
エラーが発生していない場合（Ｓ１０１でＮｏ）、出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する（Ｓ１０２）。これにより、表示パネル２６には三次元映像が表示される。
【００７８】
一方、左眼用符号化信号１１２Ｌにエラーが発生している場合（Ｓ１０１でＹｅｓ、かつＳ１０３でＹｅｓ）、出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒをスキップした出力映像信号１１７を出力する（Ｓ１０４）。これにより、表示パネル２６には直前の三次元映像がそのまま表示される。
【００７９】
また、右眼用符号化信号１１２Ｒにエラーが発生している場合（Ｓ１０３でＮｏ）、次に、出力判定部１０５は、エラーが発生したデータ量が第１閾値以上であるか否かを判定する（Ｓ１０５）。
【００８０】
以下、出力判定部１０５によるエラーが発生したデータ量の判定方法の具体例を説明する。
【００８１】
図１０及び図１１は、右眼用符号化信号１１２Ｒにエラーが発生した場合の、入力映像信号１１２及び出力映像信号１１７の例を示す図である。なお、出力映像信号１１７は、左眼用出力信号１１７Ｌと右眼用出力信号１１７Ｒとを含む。また、左眼用出力信号１１７Ｌは左眼用復号信号１１３Ｌに対応し、右眼用出力信号１１７Ｒは右眼用復号信号１１３Ｒに対応する。
【００８２】
例えば、出力判定部１０５は、格納部１０１に格納されている左眼用符号化信号１１２Ｌの復号前の先頭の符号化ピクチャ１７０に付与されたＰＴＳと、格納部１０１に格納されている右眼用符号化信号１１２Ｒの復号前の先頭の符号化ピクチャ１７１に付与されたＰＴＳとの差分を算出する。出力判定部１０５は、算出した差分が第２閾値以上である場合、エラーが発生したデータ量が第１閾値以上であると判定し、算出した差分が第２閾値未満である場合、エラーが発生したデータ量が第１閾値未満であると判定する。
【００８３】
なお、出力判定部１０５は、右眼用符号化信号１１２Ｒがアンダーフローしている場合に、エラーが発生したデータ量が第１閾値以上であると判定してもよい。
【００８４】
また、出力判定部１０５は、復号映像信号１１３を格納するメモリ（図示せず）に格納されている左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを用いて、同様の判定を行なってもよい。
【００８５】
図１０に示すように、エラーが発生したデータ量が第１閾値未満である場合（Ｓ１０５でＮｏ）、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒをスキップした出力映像信号１１７を出力する（Ｓ１０４）。
【００８６】
一方、図１１に示すように、エラーが発生したデータ量が第１閾値以上である場合（Ｓ１０５でＹｅｓ）、左眼用復号信号１１３Ｌを含み、右眼用復号信号１１３Ｒをスキップした出力映像信号１１７を出力する（Ｓ１０６）。これにより、表示パネル２６には、左眼用画像１７０ｌのみが二次元表示される。
【００８７】
なお、図９には図示していないが、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒの両方にエラーが発生した場合には、出力判定部１０５は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒをスキップした出力映像信号１１７を出力する。
【００８８】
以上により、本発明の実施の形態１に係る三次元映像復号装置１００は、エラーが発生したデータ量が第１閾値未満の場合は、左眼用及び右眼用の両方の画像をスキップすることにより、三次元表示を維持する。これにより、三次元映像復号装置１００は、エラーが発生したデータ量が少ない場合に、瞬間的に三次元表示が二次元表示に切り替わることを防止できる。よって、三次元映像復号装置１００は、エラー発生時において、好適な映像を生成できる。
【００８９】
また、本発明の実施の形態１に係る三次元映像復号装置１００は、エラーが発生したデータ量が第１閾値以上である場合は、二次元表示を行なう。これにより、三次元映像復号装置１００は、エラーが発生したデータ量が多い場合に長時間、映像が停止してしまうことを防止できる。よって、三次元映像復号装置１００は、エラー発生時において、好適な映像を生成できる。
【００９０】
また、本発明の実施の形態１に係る三次元映像復号装置１００は、左眼用符号化信号１１２Ｌにエラーが発生した場合には、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップする。これにより、左眼用符号化信号１１２Ｌで発生したエラーが、左眼用復号信号１１３Ｌを参照して生成される右眼用復号信号１１３Ｒに伝播することを防止できる。また、三次元映像復号装置１００は、右眼用符号化信号１１２Ｒにエラーが発生した場合には、二次元表示を行なう。これにより、三次元映像復号装置１００は、頻繁に映像が停止してしまうことを防止できる。このように、三次元映像復号装置１００は、エラー発生時において、好適な映像を生成できる。
【００９１】
なお、上記説明では、左眼用符号化信号１１２Ｌがベースビューであり、右眼用符号化信号１１２Ｒがディペンデントビューである例を述べたが、右眼用符号化信号１１２Ｒがベースビューであり、左眼用符号化信号１１２Ｌがディペンデントビューであってもよい。
【００９２】
また、上記説明では、三次元映像復号装置１００が左眼用及び右眼用の２視点の映像を処理する例を述べたが、３視点以上の映像を処理してもよい。つまり、複数のディペンデントビューが存在してもよい。
【００９３】
また、上記説明では、右眼用符号化信号１１２Ｒが左眼用復号信号１１３Ｌを参照して復号される例を述べたが、右眼用符号化信号１１２Ｒ及び左眼用符号化信号１１２Ｌが自身の復号信号のみを参照して復号される信号であってもよい。この場合であっても、エラーが発生したデータ量に応じて、両方の復号信号をスキップするか、エラーが発生していない復号信号のみを出力するかを切り替えることで、上記と同様の効果を実現できる。
【００９４】
また、図９に示す処理の順序は一例であり、これ以外の順序で各ステップを行なってもよい。例えば、ステップＳ１０３の判定処理と、ステップＳ１０５の判定処理との順序を入れ替えてもよいし、一部を同時に行なってもよい。
【００９５】
（実施の形態２）
実施の形態１では、主に複数ピクチャに対応するデータが欠落した場合の三次元映像復号装置１００の処理について説明した。本発明の実施の形態２では、主にＢＤディスクの汚れ及び傷等により、１つの符号化ピクチャのデータにエラーが発生した場合の三次元映像復号装置１００の動作を説明する。
【００９６】
図１２は、本発明の実施の形態２に係る三次元映像復号装置１００による復号処理のフローチャートである。
【００９７】
図１２に示すように、まず、エラー判定部１０４は、入力映像信号１１２にエラーが発生しているか否かを判定する（Ｓ２０１）。ここで、エラー判定部１０４は、符号化ピクチャ単位でエラーを判定するとともに、エラーピクチャに含まれるスライスごとに、当該スライスを正しく復号できるか否かを判定する。なお、エラー判定部１０４は、スライス単位以外の符号化ピクチャ内の部分領域（例えば、１又は複数マクロブロック）ごとに当該部分領域を正しく復号できるか否かを判定してもよい。
【００９８】
エラーが発生していない場合（Ｓ２０１でＮｏ）、出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する（Ｓ２０２）。これにより、表示パネル２６には三次元映像が表示される。
【００９９】
一方、エラーが発生している場合（Ｓ２０１でＹｅｓ）、次に、出力判定部１０５は、エラーが発生した符号化ピクチャが、参照符号化ピクチャであるか、非参照符号化ピクチャであるかを判定する（Ｓ２０３）。ここで参照符号化ピクチャとは、当該符号化ピクチャが復号された復号ピクチャが、復号部１０３による、同一視点の映像信号に含まれる他の符号化ピクチャの復号の際に参照されるピクチャであり、具体的には、符号化Ｉピクチャ及び符号化Ｐピクチャである。また、非参照符号化ピクチャとは、当該符号化ピクチャが復号された復号ピクチャが、復号部１０３による、同一視点の映像信号に含まれる他の符号化ピクチャの復号の際に参照されないピクチャであり、具体的には、符号化Ｂピクチャである。
【０１００】
図１３は、非参照符号化ピクチャ（エラーピクチャ１８０）にエラーが発生した場合の入力映像信号１１２及び出力映像信号１１７の例を示す図である。
【０１０１】
図１３に示すように、非参照符号化ピクチャにエラーが発生した場合には、出力部１０６は、次の復号ピクチャまで左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒをスキップした出力映像信号１１７を出力する（Ｓ２０４）。言い換えると、出力部１０６は、エラーピクチャに対応するエラー復号ピクチャと、当該エラー復号ピクチャと同じアクセスユニット１５２に含まれ、かつ他方の視点の映像信号に含まれる復号ピクチャとをスキップする。
【０１０２】
一方、参照符号化ピクチャにエラーが発生した場合（Ｓ２０３でＹｅｓ）、次に、出力判定部１０５は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒのどちらでエラーが発生したかを判定する（Ｓ２０５）。
【０１０３】
ここで、参照符号化ピクチャにエラーが発生した場合、後続のピクチャがエラー復号ピクチャを参照することにより、エラーが伝播する可能性がある。よって、出力判定部１０５は、参照符号化ピクチャでエラーが発生した場合には、次のシーケンスまで復号ピクチャをスキップする。
【０１０４】
図１４は、右眼用符号化信号１１２Ｒの参照符号化ピクチャ（エラーピクチャ１８１）にエラーが発生した場合の入力映像信号１１２及び出力映像信号１１７の例を示す図である。
【０１０５】
図１４に示すように、右眼用符号化信号１１２Ｒの参照符号化ピクチャにエラーが発生した場合（Ｓ２０５でＮｏ）、出力部１０６は、次のシーケンスまで右眼用復号信号１１３Ｒをスキップした出力映像信号１１７を出力する（Ｓ２０６）。
【０１０６】
一方、左眼用符号化信号１１２Ｌの参照符号化ピクチャにエラーが発生した場合（Ｓ２０５でＹｅｓ）、次に、出力判定部１０５は、エラーが発生したスライス（以下、エラースライス）が、当該エラーピクチャと同一のアクセスユニット１５２に含まれる右眼用符号化信号１１２Ｒの符号化ピクチャの参照エリア１８７に含まれるか否かを判定する（Ｓ２０７）。
【０１０７】
図１５は、エラースライス１８６と、参照エリア１８７との関係を示す図である。ここで参照エリア１８７とは、右眼用符号化信号１１２Ｒに含まれる符号化ピクチャ毎に対応付けられ、当該符号化ピクチャが参照する左眼用復号信号１１３Ｌの復号ピクチャ内の領域である。つまり、参照エリア１８７は、エラーピクチャと同一アクセスユニット１５２に含まれる右眼用符号化信号１１２Ｒの符号化ピクチャが参照するエラー復号ピクチャ内の領域である。この参照エリア１８７を示す参照領域指定情報は、入力映像信号１１２に含まれる。具体的には、この参照領域指定情報は、Ｈ．２６４ＭＶＣ規格におけるＰａｒｒａｌｌｅｌ  ｄｅｃｏｄｉｎｇ  ｉｎｆｏｍａｔｉｏｎ  ＳＥＩである。
【０１０８】
復号部１０３は、右眼用符号化信号１１２Ｒに含まれる符号化ピクチャを、同一アクセスユニット１５２に含まれる左眼用復号信号１１３Ｌの復号ピクチャに含まれる参照エリア１８７を参照して復号する。
【０１０９】
図１５に示すように、左眼用符号化信号１１２Ｌにエラーが発生した場合でも、エラースライス１８６が参照エリア１８７に含まれない場合、言い換えると、参照エリア１８７が正しく復号できる正常スライス１８５のみを含む場合には、エラー復号ピクチャを参照する右眼用符号化信号１１２Ｒの符号化ピクチャを正しく復号できる。
【０１１０】
図１６は、エラースライス１８６が参照エリア１８７に含まれない場合の入力映像信号１１２及び出力映像信号１１７の例を示す図である。
【０１１１】
図１６に示すように、出力部１０６は、エラーピクチャ１８２のエラースライス１８６が参照エリア１８７に含まれない場合（Ｓ２０７でＮｏ）、次のシーケンスまで左眼用復号信号１１３Ｌをスキップした出力映像信号１１７を出力する（Ｓ２０８）。
【０１１２】
また、図１７は、エラースライス１８６が参照エリア１８７に含まれる場合の入力映像信号１１２及び出力映像信号１１７の例を示す図である。
【０１１３】
図１７に示すように、出力部１０６は、エラーピクチャ１８２のエラースライス１８６が参照エリア１８７に含まれる場合（Ｓ２０７でＹｅｓ）、次のシーケンスまで左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップした出力映像信号１１７を出力する（Ｓ２０９）。
【０１１４】
以上により、本発明の実施の形態２に係る三次元映像復号装置１００は、左眼用符号化信号１１２Ｌにエラーが発生した場合には、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップする。これにより、左眼用符号化信号１１２Ｌで発生したエラーが、左眼用復号信号１１３Ｌを参照して生成される右眼用復号信号１１３Ｒに伝播することを防止できる。また、三次元映像復号装置１００は、右眼用符号化信号１１２Ｒにエラーが発生した場合には、二次元表示を行なう。これにより、三次元映像復号装置１００は、頻繁に映像が停止してしまうことを防止できる。このように、三次元映像復号装置１００は、エラー発生時において、好適な映像を生成できる。
【０１１５】
また、本発明の実施の形態２に係る三次元映像復号装置１００は、エラーピクチャが非参照符号化ピクチャである場合は、次の復号ピクチャまで左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップする。これにより、三次元映像復号装置１００は、スキップするピクチャの数を最小限にできる。また、三次元映像復号装置１００は、エラーピクチャが参照符号化ピクチャである場合は、次のシーケンスまで左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒの両方又はエラーが発生した復号信号をスキップする。これにより、三次元映像復号装置１００は、エラーが後続の復号ピクチャに伝播することを防止できる。
【０１１６】
また、本発明の実施の形態２に係る三次元映像復号装置１００は、次の復号ピクチャまでスキップする場合には、両眼用の復号信号を共にスキップする。これにより、三次元映像復号装置１００は、表示される映像が一瞬だけ二次元表示されることを防止できる。また、三次元映像復号装置１００は、次のシーケンスまで復号スキップする場合には、二次元表示を行なう。これにより、三次元映像復号装置１００は、長時間、映像が停止してしまうことを防止できる。
【０１１７】
また、本発明の実施の形態２に係る三次元映像復号装置１００は、左眼用符号化信号１１２Ｌにエラーが発生した場合でも、対応する右眼用符号化信号１１２Ｒが参照する参照エリア１８７にエラースライス１８６が含まれない場合には、右眼用復号信号１１３Ｒのみを出力する。これにより、三次元映像復号装置１００は、頻繁に映像が停止してしまうことを防止できる。
【０１１８】
このように、本発明の実施の形態２に係る三次元映像復号装置１００は、エラー発生時において、好適な映像を生成できる。
【０１１９】
なお、上記説明では、三次元映像復号装置１００は、上記のように複数の判定処理の結果に応じて、出力又はスキップする復号信号を選択しているが、上記の少なくとも一つの判定処理の結果に応じて、出力又はスキップする復号信号を選択してもよい。
【０１２０】
具体的には、本発明の実施の形態２に係る三次元映像復号装置１００は、（１）左眼用符号化信号１１２Ｌにエラーが発生した場合には、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップし、左眼用符号化信号１１２Ｌにエラーが発生した場合には二次元表示を行なう処理、（２）エラーピクチャが非参照符号化ピクチャである場合は、次の復号ピクチャまで左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを共にスキップし、エラーピクチャが参照符号化ピクチャである場合は、次のシーケンスまで左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒの両方又はエラーが発生した復号信号をスキップする処理、（３）上記（２）において、次の復号ピクチャまでスキップする場合には、両眼用の復号信号を共にスキップし、次のシーケンスまでスキップする場合には、二次元表示を行なう処理、（４）左眼用符号化信号１１２Ｌにエラーが発生した場合でも、対応する右眼用符号化信号１１２Ｒが参照する参照エリア１８７にエラースライス１８６が含まれない場合には、右眼用復号信号１１３Ｒのみを出力する処理のうちいずれか１以上を行なえばよい。
【０１２１】
また、図１２に示す処理順序は一例であり、同様の結果を得られる処理順序であれば、これ以外の処理順序であってもよい。また、一部の処理を同時に行なってもよい。
【０１２２】
（実施の形態３）
本発明の実施の形態３に係る三次元映像復号装置２００は、エラーが発生したヘッダ情報を、同一視点の映像信号に含まれる他のヘッダ情報、又は、他の視点の映像信号に含まれるヘッダ情報を用いて補完する。
【０１２３】
なお、本発明の実施の形態３に係る三次元映像復号装置２００は、実施の形態１に係る三次元映像復号装置１００と同様に、図１に示す三次元映像表示システム１０に用いることができる。
【０１２４】
図１８は、本発明の実施の形態３に係る三次元映像復号装置２００の構成を示すブロック図である。なお、図５と同様の要素には同一の符号を付している。
【０１２５】
この三次元映像復号装置２００は、格納部１０１と、復号部１０３と、エラー判定部２０４と、ヘッダ情報格納部２０７と、出力部１０６とを備える。
【０１２６】
格納部１０１は、入力映像信号１１１を格納し、入力映像信号１１２として出力する。
【０１２７】
ヘッダ情報格納部２０７は、ヘッダ情報を格納する。ここでヘッダ情報とは、図７に示すシーケンスヘッダ１６１及びピクチャヘッダ１６３に含まれる制御情報である。
【０１２８】
エラー判定部２０４は、シーケンスヘッダ１６１及びピクチャヘッダ１６３が正常であるか（エラーが発生しているか）否かを判定する。
【０１２９】
例えば、エラー判定部２０４は、シーケンスヘッダ１６１又はピクチャヘッダ１６３が存在しない場合、及び、シーケンスヘッダ１６１又はピクチャヘッダ１６３のデータ値及びフォーマットが予め定められた正常な範囲外である場合に、当該シーケンスヘッダ１６１又はピクチャヘッダ１６３にエラーが発生していると判定する。具体的には、エラー判定部２０４は、ヘッダ情報の解析中に次のスタートコードを検出した場合、又は、ＴＳパケットのペイロード長が予め定められた範囲外である場合、又は、ネットワーク配信におけるＩＰパケットロスが発生した場合に、当該ヘッダ情報にエラーが発生していると判定する。
【０１３０】
また、エラー判定部２０４は、ヘッダ情報格納部２０７に格納されているヘッダ情報を用いて、処理対象のヘッダ情報が適切であるか否かを判定する。具体的には、エラー判定部２０４は、同一視点の映像信号内で共通のヘッダ情報が、以前のシーケンスのヘッダ情報と同一でない場合、又は、現在のヘッダ情報と以前のヘッダ情報との差分が予め定められた第３閾値以上の場合、処理対象のヘッダ情報にエラーが発生していると判定する。
【０１３１】
補完部２０８は、エラー判定部２０４によりヘッダ情報にエラーが発生していると判定された場合、同一視点の映像信号内の以前のヘッダ情報、又は、対応する表示時刻の他の視点の映像信号に含まれるヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する。
【０１３２】
復号部１０３は、左眼用符号化信号１１２Ｌに含まれるヘッダ情報を用いて、当該左眼用符号化信号１１２Ｌを復号することにより、左眼用復号信号１１３Ｌを生成する。また、復号部１０３は、右眼用符号化信号１１２Ｒに含まれるヘッダ情報を用いて、右眼用符号化信号１１２Ｒを復号することにより、右眼用復号信号１１３Ｒを生成する。また、復号部１０３は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを含む復号映像信号１１３を生成する。また、復号部１０３は、入力映像信号１１２のヘッダ情報にエラーが発生した場合には、補完部２０８により補完されたヘッダ情報を用いて入力映像信号１１２を復号する。
【０１３３】
出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する。
【０１３４】
以下、三次元映像復号装置２００の動作を説明する。
【０１３５】
図１９は、三次元映像復号装置２００による補完処理を示す図である。また、図２０は、三次元映像復号装置２００による補完処理のフローチャートである。
【０１３６】
なお、図１９に示すように入力映像信号１１２は、左眼用符号化信号１１２Ｌと、第１右眼用符号化信号１１２Ｒ１と、第２右眼用符号化信号１１２Ｒ２とを含む。つまり、右眼用符号化信号１１２Ｒは、第１右眼用符号化信号１１２Ｒ１と、第２右眼用符号化信号１１２Ｒ２とを含む。この第１右眼用符号化信号１１２Ｒ１及び第２右眼用符号化信号１１２Ｒ２は、共にディペンデントビューである。例えば、第１右眼用符号化信号１１２Ｒ１及び第２右眼用符号化信号１１２Ｒ２は、左眼用符号化信号１１２Ｌに対する視差の量（ずらし量）が異なる右眼用の映像信号である。
【０１３７】
また、復号部１０３は、第１右眼用符号化信号１１２Ｒ１に含まれるヘッダ情報を用いて、当該第１右眼用符号化信号１１２Ｒ１を復号することにより、第１右眼用復号信号を生成する。また、復号部１０３は、第２右眼用符号化信号１１２Ｒ２に含まれるヘッダ情報を用いて、当該第２右眼用符号化信号１１２Ｒ２を復号することにより、第２右眼用復号信号を生成する。また、復号部１０３は、左眼用復号信号１１３Ｌ、第１右眼用復号信号及び第２右眼用復号信号を含む復号映像信号１１３を出力する。
【０１３８】
出力部１０６は、左眼用復号信号１１３Ｌ、第１右眼用復号信号及び第２右眼用復号信号を出力映像信号１１７として出力する。
【０１３９】
なお、復号部１０３は、外部からの制御信号等に従い、第１右眼用符号化信号１１２Ｒ１及び第２右眼用符号化信号１１２Ｒ２の一方を選択的に復号することにより、右眼用復号信号１１３Ｒを生成してもよい。この場合、出力部１０６は、復号部１０３により生成された左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する。
【０１４０】
また、左眼用符号化信号１１２Ｌ、第１右眼用符号化信号１１２Ｒ１及び第２右眼用符号化信号１１２Ｒ２は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）１９０を含む。また、第１右眼用符号化信号１１２Ｒ１及び第２右眼用符号化信号１１２Ｒ２は、ＳＳＰＳ（Ｓｕｂｓｅｔ  ＳＰＳ）１９１を含む。また、このＳＰＳ１９０及びＳＳＰＳ１９１は、図７に示すシーケンスヘッダ１６１に含まれる。
【０１４１】
ＳＰＳ１９０は、当該シーケンスデータ１６０に含まれる複数のピクチャデータ１６２に共通の制御情報である。ＳＳＰＳ１９１は、視点間の映像信号の関係（左眼用符号化信号１１２Ｌ、第１右眼用符号化信号１１２Ｒ１及び第２右眼用符号化信号１１２Ｒ２の関係）を示す情報である。
【０１４２】
図２０に示すように、補完部２０８は、ＳＰＳ１９０にエラーが発生した場合（Ｓ３０１でＹｅｓ）、ヘッダ情報格納部２０７から同一視点の符号化信号に含まれる、正常な他のシーケンスのＳＰＳ１９０を読み出し、エラーが発生しているＳＰＳ１９０を、読み出した正常なＳＰＳ１９０に置き換える（Ｓ３０２）。
【０１４３】
なお、補完部２０８は、ＳＰＳ１９０に限らず、同一視点の符号化信号内で同一の情報であれば正常な他のシーケンス又はピクチャの情報を用いてもよい。ここで同一視点の符号化信号内で同一の情報とは、例えば、Ｈ．２６４ＭＶＣ規格のｐｒｉｏｒｉｔｙ＿ｉｄ及びｖｉｅｗ＿ｉｄである。ｐｒｉｏｒｉｔｙ＿ｉｄは、当該視点の符号化信号の復号の際の優先度を示す。言い換えると、ｐｒｉｏｒｉｔｙ＿ｉｄは、複数の視点の符号化信号の復号の順序を示す。また、ｖｉｅｗ＿ｉｄは、当該視点の符号化信号を識別するための情報である。例えば、ベースビューには「０」が付与され、ディペンデントビューには「１、２・・・」が付与される。
【０１４４】
また、補完部２０８は、ＳＳＰＳ１９１にエラーが発生した場合（Ｓ３０３でＹｅｓ）、エラーが発生しているＳＳＰＳ１９１を、他の視点の符号化信号に含まれる、正常なＳＳＰＳ１９１に置き換える（Ｓ３０４）。
【０１４５】
また、補完部２０８は、アクセスユニット１５２内で同一の情報にエラーが発生した場合（Ｓ３０５でＹｅｓ）、エラーが発生している情報を、同一アクセスユニット１５２に含まれる、他の視点の映像信号に含まれる正常な情報に置き換える（Ｓ３０６）。
【０１４６】
ここで、アクセスユニット内で同一の情報とは、例えば、Ｈ．２６４ＭＶＣ規格におけるｎｏｎ＿ｉｄｒ＿ｆｌａｇ及びａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇであり、ＢＤ規格におけるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ及びｔｅｍｐｏｒａｌ＿ｉｄである。
【０１４７】
ｎｏｎ＿ｉｄｒ＿ｆｌａｇは、当該ピクチャがＩＤＲピクチャであるか否かを示す情報である。ここで、ＩＤＲピクチャとは、Ｉピクチャの一種であり、当該ＩＤＲピクチャより後のピクチャは、当該ＩＤＲピクチャより前のピクチャを参照することが禁止される。なお、このｎｏｎ＿ｉｄｒ＿ｆｌａｇは、少なくともベースビューのピクチャがＩＤＲピクチャであることを示すものであり、ディペンデントビューのピクチャはＩＤＲピクチャでなくてもよい。
【０１４８】
ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは、当該ピクチャがシーケンスの先頭に位置するピクチャであるか否かを示す情報である。
【０１４９】
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、データの属性を示す情報である。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅにより、当該データがヘッダ情報である、又は、ＩＤＲピクチャである等が示される。
【０１５０】
ｔｅｍｐｏｒａｌ＿ｉｄは、複数のピクチャの復号順を示す識別子である。複数の連続するピクチャに対して、連番のｔｅｍｐｏｒａｌ＿ｉｄが付与される。
【０１５１】
以上により、本発明の実施の形態３に係る三次元映像復号装置２００は、異なる視点間かつ同一アクセスユニット１５２内で共通のヘッダ情報にエラーが発生した場合には、他の視点かつ同一アクセスユニット１５２内の符号化ピクチャのヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する。これにより、三次元映像復号装置２００は、エラーが発生したヘッダ情報を適切に補完できるので、エラー発生時に好適な映像を生成できる。
【０１５２】
また、本発明の実施の形態３に係る三次元映像復号装置２００は、同一視点の映像信号内で共通のヘッダ情報にエラーが発生した場合には、同一視点の映像信号内の他のシーケンス又は符号化ピクチャの正常なヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する。これにより、三次元映像復号装置２００は、エラーが発生したヘッダ情報を適切に補完できるので、エラー発生時に好適な映像を生成できる。
【０１５３】
また、本発明の実施の形態３に係る三次元映像復号装置２００は、ＳＳＰＳ１９１にエラーが発生した場合には、他のディペンデントビューのＳＳＰＳ１９１を用いて、エラーが発生したＳＳＰＳ１９１を補完する。これにより、三次元映像復号装置２００は、エラーが発生したＳＳＰＳ１９１を適切に補完できるので、エラー発生時に好適な映像を生成できる。
【０１５４】
なお、補完部２０８は、同一視点内、又は他の視点の映像信号に含まれる正常なヘッダ情報に、エラーが発生したヘッダ情報を置き換えるだけでなく、正常なヘッダ情報を用いてエラーが発生したヘッダ情報を補完してもよい。
【０１５５】
具体的には、補完部２０８は、ベースビューのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅで当該ピクチャがＩＤＲピクチャであることが示される場合、当該ベースビューのピクチャのｎｏｎ＿ｉｄｒ＿ｆｌａｇを補完することができる。さらに、補完部２０８は、ディペンデントビューのｎｏｎ＿ｉｄｒ＿ｆｌａｇを、補完したベースビューのｎｏｎ＿ｉｄｒ＿ｆｌａｇの値に補完できる。
【０１５６】
また、補完部２０８は、ディペンデントビューのａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇをベースビューのストリーム情報（ＳＰＳ１９０の位置及びＩピクチャであることを示す情報）から補完することもできる。
【０１５７】
また、上記説明では、三次元映像復号装置２００が３視点の映像信号を処理する例を述べたが、４視点以上の映像信号を処理してもよい。
【０１５８】
また、上記説明では、本発明の実施の形態３に係る三次元映像復号装置２００は、（１）異なる視点間かつ同一アクセスユニット１５２内で共通のヘッダ情報にエラーが発生した場合に、他の視点かつ同一アクセスユニット１５２内のピクチャのヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する処理と、（２）同一視点の映像信号内で共通のヘッダ情報にエラーが発生した場合に、同一視点の映像信号内の他のシーケンス又はピクチャの正常なヘッダ情報を用いて、エラーが発生したヘッダ情報を補完する処理と、（３）ＳＳＰＳ１９１にエラーが発生した場合に、他のディペンデントビューのＳＳＰＳ１９１を用いて、エラーが発生したＳＳＰＳ１９１を補完する処理とを行っているが、上記処理のうちいずれか１以上を行なってもよい。
【０１５９】
また、図２０に示す処理順序は一例であり、同様の結果を得られる処理順序であれば、これ以外の処理順序であってもよい。また、一部の処理を同時に行なってもよい。
【０１６０】
（実施の形態４）
本発明の実施の形態４に係る三次元映像復号装置３００は、再生モード（通常再生及び特殊再生）に応じて、二次元表示を行うか、三次元表示を行うかを切り替える。
【０１６１】
なお、本発明の実施の形態４に係る三次元映像復号装置３００は、実施の形態１に係る三次元映像復号装置１００と同様に、図１に示す三次元映像表示システム１０に用いることができる。
【０１６２】
図２１は、本発明の実施の形態４に係る三次元映像復号装置３００の構成を示すブロック図である。なお、図５と同様の要素には同一の符号を付している。
【０１６３】
この三次元映像復号装置３００は、入力映像信号１１１を復号するとともに、通常再生又は特殊再生した出力映像信号１１７を出力する。また、三次元映像復号装置３００は、格納部１０１と、復号部１０３と、再生モード取得部３０４と、深度判定部３０５と、出力部１０６とを備える。
【０１６４】
格納部１０１は、入力映像信号１１１を格納し、入力映像信号１１２として出力する。
【０１６５】
再生モード取得部３０４は、再生モード指定信号３１５に基づき、ユーザの操作等により指定された再生モードを取得する。ここで、再生モードとは、通常再生モードと、特殊再生モードとを含む。また、特殊再生モードは、倍速再生モード（高速再生モード）、スロー再生モード、コマ送り再生モード、逆方向再生モード、逆方向スロー再生モード、及び逆方向コマ送りモード等である。また、倍速再生モードは、速度の異なる複数の倍速再生モード（例えば、１．３倍速モード、１．６倍速モード、２倍速モード等）を含む。
【０１６６】
また、倍速再生モードとは、通常再生モード時に表示されるピクチャを間引いて再生するモードである。また、逆方向再生モード（逆方向スロー再生モード及び逆方向コマ送りモード）は、通常再生モード時に表示されるピクチャ順に対して逆の順序でピクチャを再生するモードである。
【０１６７】
復号部１０３は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒを復号することにより、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを含む復号映像信号１１３を生成する。また、復号部１０３は、再生モード取得部３０４により取得された再生モードに応じた復号処理を行うことより、通常再生又は特殊再生した復号映像信号１１３を生成する。
【０１６８】
出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する。また、出力部１０６は、再生モード取得部３０４により取得された再生モードに応じて、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力するか、左眼用復号信号１１３Ｌのみを出力映像信号１１７として出力するかを切り替える。
【０１６９】
深度判定部３０５は、入力映像信号１１２に含まれる情報を用いて、復号映像信号１１３の深度（左眼用復号信号１１３Ｌと右眼用復号信号１１３Ｒとで表現される三次元表示における深さ方向の位置）の変化量を算出する。また、深度判定部３０５は、算出した変化量が予め定められた第４閾値以上であるか否かを判定する。
【０１７０】
図２２は、三次元映像復号装置３００による復号処理のフローチャートである。
【０１７１】
図２２に示すように、再生モード取得部３０４が取得した再生モードが通常再生モードである場合（Ｓ４０１でＹｅｓ）、復号部１０３は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒを復号することにより左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを生成する。また、出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する（Ｓ４０２）。これにより、表示パネル２６には、通常再生された三次元映像が表示される。
【０１７２】
一方、再生モード取得部３０４が取得した再生モードが、逆方向再生モード、逆方向再生モード、逆方向スロー再生モード、又は逆方向コマ送りモードである場合、復号部１０３は、左眼用符号化信号１１２Ｌのみを復号することにより左眼用復号信号１１３Ｌを生成する。また、出力部１０６は、左眼用復号信号１１３Ｌのみを出力映像信号１１７として出力する（Ｓ４０７）。これにより、表示パネル２６には、逆方向再生された二次元映像が表示される。
【０１７３】
また、再生モード取得部３０４が取得した再生モードが倍速再生モードであり、かつ、１．５倍速以上である場合（Ｓ４０４でＹｅｓかつＳ４０５でＹｅｓ）、復号部１０３は、左眼用符号化信号１１２Ｌのみを復号することにより左眼用復号信号１１３Ｌを生成する。また、出力部１０６は、左眼用復号信号１１３Ｌのみを出力映像信号１１７として出力する（Ｓ４０７）。これにより、表示パネル２６には、倍速再生された二次元映像が表示される。
【０１７４】
また、再生モード取得部３０４が取得した再生モードが倍速再生モードであり、かつ、１．５倍速未満である場合（Ｓ４０４でＹｅｓかつＳ４０５でＮｏ）、次に、深度判定部３０５は、入力映像信号１１２を深度の変化量を算出し、算出した変化量が第４閾値以上であるか第４閾値未満であるかを判定する（Ｓ４０６）。
【０１７５】
具体的には、入力映像信号１１２は、復号映像信号１１３の深度を示す深度情報を含む。なお、表示する画像内に複数の深度が存在する場合、例えば画面上部は奥に位置し、画面下部が手前に位置するような画像では、入力映像信号１１２は、区切られた領域毎に別々の深度情報を含んでもよい。また、この深度情報を用いて、ビデオ（主映像）が字幕を突き抜けないように、字幕の深度が補正される。
【０１７６】
深度判定部３０５は、この深度情報を用いて復号映像信号１１３を深度の変化量を判定する。つまり、深度判定部３０５は、深度情報で示される深度の変化量が第５閾値以上である場合、復号映像信号１１３の深度の変化量が第４閾値以上であると判定し、深度情報で示される深度の変化量が第５閾値未満である場合、復号映像信号１１３の深度の変化量が第４閾値未満であると判定する。
【０１７７】
また、ここで変化量とは、例えば、再生区間に含まれる一部又は全ての区間における連続するピクチャ間の変化量の最大値又は平均値である。
【０１７８】
深度判定部３０５により深度の変化量が第４閾値以上であると判定された場合（Ｓ４０６でＹｅｓ）、復号部１０３は、左眼用符号化信号１１２Ｌのみを復号することにより左眼用復号信号１１３Ｌを生成する。また、出力部１０６は、左眼用復号信号１１３Ｌのみを出力映像信号１１７として出力する（Ｓ４０７）。これにより、表示パネル２６には、倍速再生された二次元映像が表示される。
【０１７９】
一方、深度判定部３０５により深度の変化量が第４閾値未満であると判定された場合（Ｓ４０６でＮｏ）、復号部１０３は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒを復号することにより左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを生成する。また、出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する（Ｓ４０２）。これにより、表示パネル２６には、倍速再生された三次元映像が表示される。
【０１８０】
また、再生モード取得部３０４が取得した再生モードが逆方向再生モード及び倍速再生モード以外の特殊再生モードの場合（Ｓ４０１でＮｏ、Ｓ４０２でＮｏかつＳ４０３でＮｏ）、つまり、再生モード取得部３０４が取得した再生モードがスロー再生モード又はコマ送りモードである場合、復号部１０３は、左眼用符号化信号１１２Ｌ及び右眼用符号化信号１１２Ｒを復号することにより左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを生成する。また、出力部１０６は、左眼用復号信号１１３Ｌ及び右眼用復号信号１１３Ｒを出力映像信号１１７として出力する（Ｓ４０２）。これにより、表示パネル２６には、スロー再生又はコマ送り再生された三次元映像が表示される。
【０１８１】
以上より、本発明の実施の形態４に係る三次元映像復号装置３００は、倍速再生モード時には左眼用復号信号１１３Ｌのみを出力することにより二次元表示を行う。これにより、三次元映像復号装置３００は、倍速再生モード時に深度変化が激しい三次元映像が表示されることを防止できる。
【０１８２】
また、本発明の実施の形態４に係る三次元映像復号装置３００は、倍速再生モードの再生速度が予め定められた閾値以上の場合には二次元表示を行い、倍速再生モードの再生速度が予め定められた閾値未満の場合には三次元表示を行う。これにより、三次元映像復号装置３００は、再生速度が速いことにより深度変化が激しくなる場合には、二次元表示を行うことができる。また、三次元映像復号装置３００は、再生速度が比較的遅い場合には三次元表示を行える。
【０１８３】
また、本発明の実施の形態４に係る三次元映像復号装置３００は、倍速再生モード時において、深度が激しく変化する場合は二次元表示を行い、深度の変化が少ない場合には三次元表示を行う。これにより、三次元映像復号装置３００は、深度変化が激しくなる場合には、二次元表示を行うことができる。また、三次元映像復号装置３００は、深度変化が少ない場合には三次元表示を行える。
【０１８４】
このように、本発明の実施の形態４に係る三次元映像復号装置３００は、特殊再生時に好適な映像を生成できる。
【０１８５】
また、本発明の実施の形態４に係る三次元映像復号装置３００は、逆方向再生モード時には二次元表示を行う。ここで、逆方向再生は、通常再生より復号処理の処理量が多い。これは、順方向に表示が行われることを前提に復号対象のピクチャが参照するピクチャが設定されているためである。これにより、逆方向再生時には、復号対象のピクチャが参照するピクチャも復号する必要が生じる。つまり、順方向再生時にシーケンス（ＧＯＰ）内の最後に復号されるピクチャを逆方向再生する場合には、当該シーケンス内の参照符号化ピクチャ（Ｉピクチャ及びＰピクチャ）を全て復号する必要が生じる。これにより、シーケンス内の後ろのピクチャほど復号処理に時間がかかることになる。よって、復号部１０３の処理能力が十分でない場合、逆方向再生時に、シーケンス内の後ろのピクチャほど表示間隔が長くなるという表示間隔の不均一が生じる。または、最も時間がかかる復号処理に全てのピクチャの表示間隔をあわせた場合には、逆方向再生の再生速度が遅くなるという問題が生じる。
【０１８６】
一方、本発明の実施の形態４に係る三次元映像復号装置３００では、逆方向再生モード時には二次元表示を行うことで、三次元表示を行う場合に比べて復号部１０３の処理量を低減できる。これにより、三次元映像復号装置３００は、上記の表示間隔の不均一を防止できるので、特殊再生時に好適な映像を生成できる。また、三次元映像復号装置３００は、逆方向再生時の再生速度を向上できる。また、三次元映像復号装置３００は、逆方向コマ送り時のレスポンスを向上できる。
【０１８７】
なお、上記説明では、本発明の実施の形態４に係る三次元映像復号装置３００は、（１）倍速再生モード時に二次元表示を行う処理と、（２）倍速再生モードの再生速度が予め定められた閾値以上の場合には二次元表示を行い、倍速再生モードの再生速度が予め定められた閾値未満の場合には三次元表示を行う処理と、（３）倍速再生モード時において、深度が激しく変化する場合は二次元表示を行い、深度の変化が少ない場合には三次元表示を行う処理と、（４）逆方向再生モード時には二次元表示を行う処理とを行っているが、これらの処理のうち１以上を行えばよい。
【０１８８】
また、図２２に示す処理順序は一例であり、同様の結果を得られる処理順序であれば、これ以外の処理順序であってもよい。また、一部の処理を同時に行なってもよい。
【０１８９】
また、上記説明では、三次元映像復号装置３００は、倍速再生の再生速度が予め定められた速度以上の場合（Ｓ４０５でＹｅｓ）、二次元表示を行っているが、さらに、ステップＳ４０６と同様に深度の変化量が閾値以上であるか否かに応じて、二次元表示を行うか三次元表示を行うかを切り替えてもよい。
【０１９０】
以上、本発明の実施の形態１〜４に係る三次元映像復号装置１００、２００及び３００について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１９１】
例えば、上記説明では、専用メガネ（シャッタメガネ４３）を用いる場合を例に述べたが、専用メガネを用いない方式にも本発明を適用できる。
【０１９２】
また、上記説明では、本発明に係る三次元映像復号装置１００、２００及び３００をデジタルテレビ及びデジタルビデオレコーダに適用した例を述べたが、本発明に係る三次元映像復号装置１００、２００及び３００は、デジタルテレビ以外の三次元映像を表示する三次元映像表示装置（例えば、携帯電話機器、パーソナルコンピュータ等）に適用できる。また、本発明に係る三次元映像復号装置１００、２００及び３００は、デジタルビデオレコーダ以外の三次元映像を出力する三次元映像出力装置（例えば、ＢＤプレーヤ等）に適用できる。
【０１９３】
また、上記実施の形態１〜４に係る三次元映像復号装置１００、２００及び３００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０１９４】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１９５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
【０１９６】
また、本発明の実施の形態１〜４に係る三次元映像復号装置１００、２００及び３００の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１９７】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１９８】
また、本発明は、三次元映像復号装置に含まれる特徴的な手段をステップとする三次元映像復号方法として実現してもよい。また、本発明は、上述した三次元映像復号装置を備えるデジタルテレビ等の三次元映像表示装置として実現したり、このような三次元映像表示装置を含む三次元映像表示システムとして実現したりできる。
【０１９９】
また、上記実施の形態１〜４に係る三次元映像復号装置１００、２００及び３００、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０２００】
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０２０１】
また、上記三次元映像復号装置１００、２００及び３００の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る三次元映像復号装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る三次元映像復号装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
【０２０２】
同様に、上記の三次元映像復号装置による三次元映像復号方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る三次元映像復号装置による三次元映像復号方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る三次元映像復号方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０２０３】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０２０４】
本発明は、三次元映像処理装置に適用でき、特に、デジタルビデオレコーダ及びデジタルテレビ等に適用できる。
【符号の説明】
【０２０５】
１０  三次元映像表示システム
２０  デジタルテレビ
２１、３１  入力部
２３、３３  ＨＤＭＩ通信部
２６  表示パネル
２７  トランスミッタ
３０  デジタルビデオレコーダ
４０  ＨＤＭＩケーブル
４１  光ディスク
４２  放送波
４３  シャッタメガネ
５６、５７、１１１、１１２  入力映像信号
５８、１１７  出力映像信号
１００、１００Ｂ、２００、３００  三次元映像復号装置
１０１  格納部
１０３  復号部
１０４、２０４  エラー判定部
１０５  出力判定部
１０６  出力部
１１２Ｌ  左眼用符号化信号
１１２Ｒ  右眼用符号化信号
１１２Ｒ１  第１右眼用符号化信号
１１２Ｒ２  第２右眼用符号化信号
１１３  復号映像信号
１１３Ｌ  左眼用復号信号
１１３Ｒ  右眼用復号信号
１１７Ｌ  左眼用出力信号
１１７Ｒ  右眼用出力信号
１５１Ｌ  左眼用パケット
１５１Ｒ  右眼用パケット
１５２  アクセスユニット
１６０  シーケンスデータ
１６１  シーケンスヘッダ
１６２  ピクチャデータ
１６３  ピクチャヘッダ
１６４  ピクセルデータ
１７０、１７１  符号化ピクチャ
１７０ｌ  左眼用画像
１７０ｒ  右眼用画像
１７５ｌ  左眼用ライン
１７５ｒ  右眼用ライン
１８０、１８１、１８２  エラーピクチャ
１８５  正常スライス
１８６  エラースライス
１８７  参照エリア
１９０  ＳＰＳ
１９１  ＳＳＰＳ
２０７  ヘッダ情報格納部
２０８  補完部
３０４  再生モード取得部
３０５  深度判定部
【図１】
2011103589.tif 000003
【図２】
2011103589.tif 000004
【図３】
2011103589.tif 000005
【図４】
2011103589.tif 000006
【図５】
2011103589.tif 000007
【図６】
2011103589.tif 000008
【図７】
2011103589.tif 000009
【図８】
2011103589.tif 000010
【図９】
2011103589.tif 000011
【図１０】
2011103589.tif 000012
【図１１】
2011103589.tif 000013
【図１２】
2011103589.tif 000014
【図１３】
2011103589.tif 000015
【図１４】
2011103589.tif 000016
【図１５】
2011103589.tif 000017
【図１６】
2011103589.tif 000018
【図１７】
2011103589.tif 000019
【図１８】
2011103589.tif 000020
【図１９】
2011103589.tif 000021
【図２０】
2011103589.tif 000022
【図２１】
2011103589.tif 000023
【図２２】
2011103589.tif 000024