(57)【要約】本発明は、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができるようにする画像処理装置および方法に関する。再生装置のモード判定部は、多視点の画像を生成する際に用いる３D画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定し、３Ｄ情報生成部は、判定された互換モードを示す互換情報を３Ｄ情報として生成する。通信部は、その３Ｄ画像データと３D情報を表示装置に送信する。表示装置の通信部は、再生装置から伝送された３Ｄ画像データを受信するとともに、互換情報を３D情報として受信し、モード判定部は、３Ｄ情報により３Ｄ画像データの互換モードを判定する。同期制御部は、判定された互換モードに基づいて、３Ｄ画像データに対する処理の同期を制御する。本技術は、例えば、画像処理装置に適用することができる。
2012029885.tif 000002
【特許請求の範囲】
【請求項１】
多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定するモード判定部と、
前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成する生成部と、
前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する送信部と
を備える画像処理装置。
【請求項２】
前記生成部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として生成する
請求項１に記載の画像処理装置。
【請求項３】
前記生成部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成する
請求項２に記載の画像処理装置。
【請求項４】
前記生成部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として生成する
請求項２に記載の画像処理装置。
【請求項５】
前記送信部は、前記３Ｄ情報を、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信する
請求項２に記載の画像処理装置。
【請求項６】
前記送信部は、前記３Ｄ情報を、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信する
請求項５に記載の画像処理装置。
【請求項７】
前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含む
請求項２に記載の画像処理装置。
【請求項８】
前記送信部は、前記立体視用画像データの１フレーム分のデータを、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信する
請求項１に記載の画像処理装置。
【請求項９】
前記垂直同期信号の各周期を不等間隔に設定する間隔設定部をさらに備え、
前記送信部は、前記立体視用画像データの１フレーム分のデータを、前記間隔設定部により設定された周期のアクティブビデオ区間を用いて送信する
請求項８に記載の画像処理装置。
【請求項１０】
前記立体視用画像データの送信先のデバイスから、前記デバイスの処理能力を示す能力情報を取得する能力情報取得部と、
前記能力情報取得部により取得された前記能力情報が示す前記デバイスの処理能力に基づいて、前記立体視用画像データの同期方法を設定する同期設定部と
をさらに備え、
前記生成部は、前記同期設定部により設定された同期方法を示す同期情報を前記３Ｄ情報として生成する
請求項１に記載の画像処理装置。
【請求項１１】
画像処理装置の画像処理方法であって、
モード判定部が、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定し、
生成部が、前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成し、
送信部が、前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する
画像処理方法。
【請求項１２】
多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信する受信部と、
前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定するモード判定部と、
前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する同期制御部と
を備える画像処理装置。
【請求項１３】
前記受信部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として受信する
請求項１２に記載の画像処理装置。
【請求項１４】
前記受信部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成する
請求項１３に記載の画像処理装置。
【請求項１５】
前記受信部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として受信する
請求項１３に記載の画像処理装置。
【請求項１６】
前記受信部は、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信されてくる前記３Ｄ情報を受信する
請求項１３に記載の画像処理装置。
【請求項１７】
前記受信部は、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信されてくる前記３Ｄ情報を受信する
請求項１６に記載の画像処理装置。
【請求項１８】
前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含む
請求項１３に記載の画像処理装置。
【請求項１９】
前記受信部は、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信する
請求項１２に記載の画像処理装置。
【請求項２０】
前記受信部は、前記垂直同期信号の各周期が不等間隔である複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信する  請求項１９に記載の画像処理装置。
【請求項２１】
前記立体視用画像データの送信元のデバイスに、前記画像処理装置自身の処理能力を示す能力情報を提供する能力情報提供部をさらに備える
請求項１２に記載の画像処理装置。
【請求項２２】
画像処理装置の画像処理方法であって、
受信部が、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信し、
モード判定部が、前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定し、
同期制御部が、前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法に関し、特に、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、映像コンテンツとして、視差を利用して立体視を可能とする３Ｄ（3 Dimensions）画像が普及しつつある。【０００３】
この３Ｄ画像の視聴方式として、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下において、２視点方式と称する）が一般的である。【０００４】
立体視可能な３Ｄの画像データ、すなわち、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。【０００５】
近年、３Ｄ画像の１つとして、立体視用のメガネを装着せずに立体視可能な視聴方式（以下において、多視点方式と称する）の需要が高まっている。多視点方式の場合、３Ｄ画像を表示する際、多視点の画像が生成されて表示される。視聴者には、立体視用のメガネを装着しなくても、その位置（視点）に応じた画像が提供されることになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような３Ｄ画像も、他の画像と同様に、機器間で伝送することが想定される。例えばブルーレイプレーヤ（再生装置）等からデジタルテレビジョンモニタ（表示装置）等に３Ｄ画像を非圧縮で伝送する方法が考えられる。【０００８】
しかしながら、従来においては、２視点方式の３Ｄ画像しかその伝送方法は考えられておらず、多視点方式の３Ｄ画像を伝送する方法は考えられていなかった。【０００９】
そのため、このような多視点方式の３Ｄ画像を、従来の２視点方式の３Ｄ画像の伝送方法で伝送すると、正しく伝送することができない。【００１０】
本技術は、このような状況に鑑みてなされたものであり、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本技術の一側面は、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定するモード判定部と、前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成する生成部と、前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する送信部とを備える画像処理装置である。【００１２】
前記生成部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として生成することができる。【００１３】
前記生成部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成することができる。【００１４】
前記生成部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として生成することができる。【００１５】
前記送信部は、前記３Ｄ情報を、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信することができる。【００１６】
前記送信部は、前記３Ｄ情報を、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信することができる。【００１７】
前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含むことができる。【００１８】
前記送信部は、前記立体視用画像データの１フレーム分のデータを、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信することができる。【００１９】
前記垂直同期信号の各周期を不等間隔に設定する間隔設定部をさらに備え、前記送信部は、前記立体視用画像データの１フレーム分のデータを、前記間隔設定部により設定された周期のアクティブビデオ区間を用いて送信することができる。【００２０】
前記立体視用画像データの送信先のデバイスから、前記デバイスの処理能力を示す能力情報を取得する能力情報取得部と、前記能力情報取得部により取得された前記能力情報が示す前記デバイスの処理能力に基づいて、前記立体視用画像データの同期方法を設定する同期設定部とをさらに備え、前記生成部は、前記同期設定部により設定された同期方法を示す同期情報を前記３Ｄ情報として生成することができる。【００２１】
本技術の一側面は、また、画像処理装置の画像処理方法であって、モード判定部が、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードを判定し、生成部が、前記モード判定部により判定された前記互換モードを示す互換情報を３Ｄ情報として生成し、送信部が、前記立体視用画像データと前記生成部により生成された前記３Ｄ情報を、前記立体視用画像データの送信先に送信する画像処理方法である。【００２２】
本技術の他の側面は、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信する受信部と、前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定するモード判定部と、前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する同期制御部とを備える画像処理装置である。【００２３】
前記受信部は、前記立体視用画像データのフォーマットを示すフォーマット情報を前記３Ｄ情報として受信することができる。【００２４】
前記受信部は、前記立体視用画像データのうちの画像データの多重化方式を示す画像多重化情報と、前記立体視用画像データのうちの視差画像データの多重化方式を示す視差画像多重化情報とを前記３Ｄ情報として生成することができる。【００２５】
前記受信部は、前記立体視用画像データのうちの画像データの多重化パターン、または、前記立体視用画像データのうちの視差画像データの多重化パターンを識別する識別情報を前記３Ｄ情報として受信することができる。【００２６】
前記受信部は、ＨＤＭＩ（High Definition Multimedia Interface）規格のＶＳＩＦＰＣ（Vendor Specific InfoFrame Packet Contents）に記述して送信されてくる前記３Ｄ情報を受信することができる。【００２７】
前記受信部は、ＶＳＩＦＰＣの３Ｄ画像データに関する情報を記述する領域の空き領域に記述して送信されてくる前記３Ｄ情報を受信することができる。【００２８】
前記互換モードは、既存の２次元画像データとの互換性を示すモノコンパチブルモード、既存のフレームパッキングの３Ｄ画像データとの互換性を示すフレームパッキングコンパチブルモード、並びに、既存のステレオスコピックの３Ｄ画像データとの互換性を示すステレオスコピックコンパチブルモードを含むことができる。【００２９】
前記受信部は、垂直同期信号複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信することができる。【００３０】
前記受信部は、前記垂直同期信号の各周期が不等間隔である複数周期分のアクティブビデオ区間を用いて送信された前記立体視用画像データの１フレーム分のデータを受信することができる。【００３１】
前記立体視用画像データの送信元のデバイスに、前記画像処理装置自身の処理能力を示す能力情報を提供する能力情報提供部をさらに備えることができる。【００３２】
本技術の他の側面は、また、画像処理装置の画像処理方法であって、受信部が、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードを３Ｄ情報として受信し、モード判定部が、前記受信部により受信された前記３Ｄ情報に基づいて、前記受信部により受信される前記立体視用画像データの前記互換モードを判定し、同期制御部が、前記モード判定部により判定された前記互換モードに基づいて、前記受信部により受信される前記立体視用画像データに対する処理の同期を制御する画像処理方法である。【００３３】
本技術の一側面においては、多視点の画像を生成する際に用いる立体視用画像データのフォーマットを参照して、画像データのフォーマットとの互換性を示す互換モードが判定され、前記互換モードを示す互換情報が３Ｄ情報として生成され、前記立体視用画像データと前記３Ｄ情報が、前記立体視用画像データの送信先に送信される。【００３４】
本技術の他の側面においては、多視点の画像を生成する際に用いる立体視用画像データを受信するとともに、前記立体視用画像データのフォーマットの画像データのフォーマットとの互換性を示す互換モードが３Ｄ情報として受信され、受信された前記３Ｄ情報に基づいて、前記立体視用画像データの前記互換モードが判定され、前記互換モードに基づいて、前記立体視用画像データに対する処理の同期が制御される。
【発明の効果】
【００３５】
本技術によれば、通信を行うことができる。特に、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【図面の簡単な説明】
【００３６】
【図１】３Ｄ画像システムの符号化装置の主な構成例を示すブロック図である。
【図２】３Ｄ画像システムの、図１の符号化装置に対応する復号装置の主な構成例を示すブロック図である。
【図３】３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。
【図４】３Ｄ画像システムの、図３の符号化装置に対応する復号装置の主な構成例を示すブロック図である。
【図５】３Ｄ画像システムの符号化装置の、さらに他の構成例を示すブロック図である。
【図６】３Ｄ画像システムの、図５の符号化装置に対応する復号装置の主な構成例を示すブロック図である。
【図７】本技術を適用した伝送システムの主な構成例を示すブロック図である。
【図８】図７の再生装置の主な構成例を示すブロック図である。
【図９】図７の表示装置の主な構成例を示すブロック図である。
【図１０】HDMI伝送系の主な構成例を示すブロック図である。
【図１１】Vendor Specific infoFrame Packet Contentsの構成例を示す図である。
【図１２】3D_Structureの拡張例を説明する図である。
【図１３】従来の画像の伝送例を説明する図である。
【図１４】本技術を適用した画像伝送の例を説明する図である。
【図１５】本技術を適用した画像伝送の他の例を説明する図である。
【図１６】本技術を適用した画像伝送のさらに他の例を説明する図である。
【図１７】本技術を適用した画像伝送のさらに他の例を説明する図である。
【図１８】本技術を適用した画像伝送のさらに他の例を説明する図である。
【図１９】本技術を適用した画像伝送のさらに他の例を説明する図である。
【図２０】本技術を適用した画像伝送のさらに他の例を説明する図である。
【図２１】送信処理の流れの例を説明するフローチャートである。
【図２２】受信処理の流れの例を説明するフローチャートである。
【図２３】E-EDIDデータの構造例を示す図である。
【図２４】Vendor-Specific Data Blockの構成例を示す図である。
【図２５】3D_Structure_ALL_Xの拡張例を説明する図である。
【図２６】3D_Structure_Xの拡張例を説明する図である。
【図２７】図７の再生装置の他の構成例を示すブロック図である。
【図２８】図７の表示装置の他の構成例を示すブロック図である。
【図２９】送信処理の他の流れの例を説明するフローチャートである。
【図３０】受信処理の他の流れの例を説明するフローチャートである。
【図３１】３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。
【図３２】互換情報と視差画像情報の記述例を示す図である。
【図３３】図３２の視差画像情報の詳細記述例を示す図である。
【図３４】補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。
【図３５】図３４の視差画像情報の詳細記述例を示す図である。
【図３６】図３１の符号化装置による符号化処理を説明するフローチャートである。
【図３７】図３１の符号化装置による符号化処理を説明するフローチャートである。
【図３８】図３１の符号化装置に対応する復号装置の構成例を示す図である。
【図３９】図３８の復号装置による復号処理を説明するフローチャートである。
【図４０】３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。
【図４１】図４０の符号化装置による符号化処理を説明するフローチャートである。
【図４２】図４０の符号化装置による符号化処理を説明するフローチャートである。
【図４３】図４０の符号化装置に対応する復号装置の構成例を示す図である。
【図４４】図４３の復号装置による復号処理を説明するフローチャートである。
【図４５】符号化対象の多重化パターンの例を示す図である。
【図４６】多重化による効果の特徴を示す図である。
【図４７】符号化対象の多重化パターンの他の例を示す図である。
【図４８】符号化対象の多重化パターンのさらに他の例を示す図である。
【図４９】３Ｄ画像システムの符号化装置の他の構成例を示すブロック図である。
【図５０】図４９の符号化装置による符号化処理を説明するフローチャートである。
【図５１】図４９の符号化装置による符号化処理を説明するフローチャートである。
【図５２】図４９の符号化装置に対応する復号装置の構成例を示す図である。
【図５３】図５２の復号装置による復号処理を説明するフローチャートである。
【図５４】ビットストリームの構成例を示す図である。
【図５５】図５４の視差画像用の3DV方式のSubset SPSの記述例を示す図である。
【図５６】図５５の視差画像用拡張情報の記述例を示す図である。
【図５７】図５５の視差画像用VUI拡張情報の記述例を示す図である。
【図５８】3DV方式の符号化データのNALヘッダの記述例を示す図である。
【図５９】図５８の視差画像用ヘッダ拡張情報の記述例を示す図である。
【図６０】図５４の3DV方式のSEIの記述例を示す図である。
【図６１】ビットストリームの他の構成例を示す図である。
【図６２】図６１の画像用の3DV方式のSubset SPSの記述例を示す図である。
【図６３】3DV方式がHEVC方式に準じた方式である場合のビットストリームの構成例を示す図である。
【図６４】図６３のSPSの記述例を示す図である。
【図６５】図６４のSubset SPSの記述例を示す図である。
【図６６】図６５のSubset SPSのVUI情報の記述例を示す図である。
【図６７】図６３の3DV方式のSEIの記述例を示す図である。
【図６８】本技術を適用したコンピュータの主な構成例を示すブロック図である。
【図６９】本技術を適用したテレビジョン装置の概略構成を示す図である。
【図７０】本技術を適用した携帯電話機の概略構成を示す図である。
【図７１】本技術を適用した記録再生装置の概略構成を示す図である。
【図７２】本技術を適用した撮像装置の概略構成を示す図である。
【発明を実施するための形態】
【００３７】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。１．第１の実施の形態（伝送システム）２．第２の実施の形態（伝送システム）３．第３の実施の形態（伝送システム）４．第４の実施の形態（伝送システム）５．第５の実施の形態（伝送システム）６．本実施の形態におけるビットストリーム７．3DV方式がHEVC方式に準じた方式である場合のビットストリーム８．第６の実施の形態（コンピュータ）９．第７実施の形態（テレビジョン装置）１０．第８実施の形態（携帯電話機）１１．第９実施の形態（記録再生装置）１２．第１０実施の形態（撮像装置）
【００３８】
＜１．第１の実施の形態＞
［３Ｄ画像システムの例］
最初に、画像間の視差を利用して立体視を可能とする立体視画像（３Ｄ画像）を扱うシステムについて説明する。以下に説明する３Ｄ画像システムは、多視点の画像を生成し、表示する多視点方式の３Ｄ画像を扱うシステムである。この３Ｄ画像の場合、ユーザは、裸眼で（立体視用のメガネを用いずに）、画像を立体視することができる。
【００３９】
以下において、このような多視点の画像を生成し、表示する多視点方式の３Ｄ画像のフォーマットを3DVと称する。なお、ここでは、3DVは、AVC、MVC、後述するHEVC（High Efficiency Video Coding）等に準じたフォーマット（方式）であるものとする。
【００４０】
3DVフォーマットにおいては、多視点方式の３Ｄ画像データを伝送する際、送信側において３Ｄ画像データが符号化され、受信側においてその符号化データが復号される。また、3DVフォーマットは、従来の他の画像フォーマットとの互換性が確保されている。
【００４１】
つまり、3DVフォーマットにおいては、３Ｄ画像として構成される多視点の画像の中に、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像と、それ以外の画像が含まれる。以下においては、この既存の符号化方式で符号化される画像を互換画像と称し、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための、前記互換画像以外の画像を補助画像と称する。
【００４２】
以下に、そのデータ伝送の様子の例を説明する。
【００４３】
［符号化装置の構成例］
最初に、既存の２Ｄ画像との互換性を確保するようなフォーマット（Mono Compatible Mode）で３Ｄ画像を伝送する例について説明する。
【００４４】
図１は、３Ｄ画像システムの符号化装置の主な構成例を示すブロック図である。図１に示される符号化装置５０は、３Ｄ画像システムの送信側の装置であり、Mono Compatible Modeで３Ｄ画像を符号化する。
【００４５】
図１に示されるように、符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ水平方向に離れた位置で、画像Ａ１とは異なる視点のHD画像を画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ｂとは反対の水平方向に離れた位置で、画像Ａ１および画像Ｂ１とは異なる視点のHD画像を画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および視点間距離情報生成部５６に供給する。
【００４６】
なお、以下において、画像Ｂ１と画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点であるものとする。これにより、符号化装置５０に対応する復号装置は、画像Ａ１乃至画像Ｃ１を用いて、画像Ｂ１および画像Ｃ１の視点より内側の視点の画像を補間（内挿）することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間（外挿）する場合に比べて、多視点の画像を高精度に生成することができる。
【００４７】
もちろん、符号化装置５０に対応する復号装置が、画像Ｂ１と画像Ｃ１より外側の視点の画像を補間（外挿）するようにしてもよい。また、距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
【００４８】
画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される画像Ａ１を互換画像に決定する。画像変換部５２は、互換画像として画像Ａ１を指定する情報を互換情報生成部５５に供給する。そして、画像変換部５２は、互換画像である画像Ａ１をそのままエンコーダ５８に供給する。
【００４９】
また、画像変換部５２は、画像Ａ１以外の画像Ｂ１および画像Ｃ１を補助画像とし、所定の多重化方式で多重化する。例えば、画像変換部５２は、図１に示されるように、画像Ｂ１および画像Ｃ１の水平方向の解像度を半減させ（以下、1/2解像度画像Ｂ１、および、1/2解像度画像Ｃ１と称する）、その解像度を半減させた画像Ｂ１および画像Ｃ１を水平方向に並べ、元の１フレームの画像サイズとなるようにする。このような多重化方式をサイドバイサイド（SBS（Side By Side））方式と称する。
【００５０】
画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
【００５１】
視差画像生成部５３(視差画像生成部)は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１の各画素の視差を検出する。視差画像生成部５３は、互換画像である画像Ａ１の各画素の視差を表す視差画像Ａ１'を生成し、そのままエンコーダ５８に供給する。
【００５２】
また、視差画像生成部５３は、補助画像である画像Ｂ１の各画素の視差を表す視差画像Ｂ１'と、補助画像である画像Ｃ１の各画素の視差を表す視差画像Ｃ１'を生成し、画像Ｂ１および画像Ｃ１と同様の方法（例えばサイドバイサイド方式）で多重化する。視差画像生成部５３は、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
【００５３】
画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５８に供給する。
【００５４】
互換情報生成部５５（生成部）は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５８に供給する。
【００５５】
なお、互換モードとは、互換画像の符号化方法または多重化方法（多重化するかしないか、多重化方式など）を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
【００５６】
視点間距離情報生成部５６（視点間距離情報生成部）は、撮影部５１Ａ乃至撮影部５１Ｃから供給される画像Ａ１乃至画像Ｃ１を用いて、画像Ａ１乃至画像Ｃ１のうちの２枚の画像の視点間の距離（以下、視点間距離という）を検出する。例えば、視点間距離情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。視点間距離情報生成部５６は、視点間距離を表す情報などを、視点間距離に関する情報である視点間距離情報として生成し、エンコーダ５８に供給する。
【００５７】
視差画像情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像に関する情報である視差画像情報として生成し、エンコーダ５８に供給する。
【００５８】
エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１（互換画像符号化部）は、画像変換部５２から供給される互換画像である画像Ａ１を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００５９】
補助用エンコーダ６２（補助画像符号化部）は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１'および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
【００６０】
また、補助用エンコーダ６２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００６１】
多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部５９（伝送部）は、多重化の結果得られる多重化ストリームを送信する。
【００６２】
［復号装置の構成例］
図２は、図１の符号化装置５０から送信される多重化ストリームを復号する（Mono Compatible Modeの）復号装置の構成例を示す図である。
【００６３】
図２の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、視点間距離情報取得部１２４、視差画像情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号して、１視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
【００６４】
具体的には、復号装置１２０の分離部１２１（受信部）は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。
【００６５】
デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。
デコーダ１２２の互換用デコーダ１３１（互換画像復号部）は、補助用デコーダ１３２から供給される互換ストリームを特定するための情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号し、その結果得られる画像Ａ１を画像生成部１２７に供給する。
【００６６】
補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報に基づいて、互換ストリームを特定するための情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２（補助画像復号部）は、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ'、および補助画像の視差画像の多重化画像を、図５の補助用エンコーダ６２に対応する方式で復号する。
【００６７】
補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ'、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、視点間距離情報を視点間距離情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【００６８】
画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に供給する。視点間距離情報取得部１２４は、補助用デコーダ１３２から供給される視点間距離情報を取得し、画像生成部１２７に供給する。
【００６９】
視差画像情報取得部１２５は、補助用デコーダ１３２から供給される視差画像情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に供給する。
【００７０】
画像生成部１２７は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部１２７（生成部）は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
【００７１】
より詳細には、画像生成部１２７は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、例えばサイドバイサイド方式で多重化された、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部１２７は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、例えばサイドバイサイド方式で多重化された、補助画像の多重化画像から、各補助画像を分離する。
【００７２】
さらに、画像生成部１２７は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１２７は、互換画像、各補助画像、互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１２７は、生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【００７３】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【００７４】
また、画像生成部１２７は、視聴者からの２Ｄ画像の表示指令に応じて、デコーダ１２２の互換用デコーダ１３１から供給される互換画像である画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
【００７５】
［符号化装置の構成例］
次に、既存のフレームパッキングの３Ｄ画像との互換性を確保するようなフォーマット（Frame Packing Compatible Mode）で３Ｄ画像を伝送する例について説明する。
【００７６】
図３は、本技術を適用した符号化装置の他の構成例を示すブロック図である。図３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図３に示される符号化装置１４０は、基本的に図１の符号化装置５０と同様であるが、このFrame packing Compatible Modeの場合、４つの画像から１組の互換画像と１組の補助画像が生成される。そして、互換画像も補助画像のように例えばサイドバイサイド方式で多重化される。
【００７７】
図３の符号化装置１４０の構成は、主に、撮影部５１Ａ乃至撮影部５１Ｃ、画像変換部５２、視差画像生成部５３、視点間距離情報生成部５６、エンコーダ５８の代わりに撮影部１４１Ａ乃至撮影部１４１Ｄ、画像変換部１４２、視差画像生成部１４３、視点間距離情報生成部１４４、エンコーダ１４５が設けられている点が図５の構成と異なる。
【００７８】
符号化装置１４０は、多視点の画像のうちの２視点の画像を互換画像としてAVC方式で符号化を行うことにより、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保する。
【００７９】
具体的には、符号化装置１４０の撮影部１４１Ａは、所定の視点のHD画像を画像Ａ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｂは、撮影部１４１Ａから距離Δｄ２ＡＢだけ水平方向に離れた位置で、画像Ａ２とは異なる視点のHD画像を画像Ｂ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
【００８０】
撮影部１４１Ｃは、撮影部１４１Ｂから距離Δｄ２ＢＣだけ撮影部１４１Ａとは反対の水平方向に離れた位置で、画像Ａ２および画像Ｂ２とは異なる視点のHD画像を画像Ｃ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。撮影部１４１Ｄは、撮影部１４１Ａから距離Δｄ２ＡＤだけ撮影部１４１Ｂとは反対の水平方向に離れた位置で、画像Ａ２乃至画像Ｃ２とは異なる視点のHD画像を画像Ｄ２として撮影し、画像変換部１４２、視差画像生成部１４３、および視点間距離情報生成部１４４に供給する。
【００８１】
なお、画像Ｃ２と画像Ｄ２に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置１４０に対応する復号装置は、画像Ａ２乃至画像Ｄ２を用いて、画像Ｃ２および画像Ｄ２の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。もちろん、図１の場合と同様に、画像の補間を外挿としてもよい。距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、および距離Δｄ２ＡＤは、固定であってもよいし、時間ごとに変化するようにしてもよい。
【００８２】
画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。そして、画像変換部１４２は、互換画像である画像Ａ２および画像Ｂ２を所定の多重化方式で多重化し、エンコーダ１４５に供給する。
【００８３】
例えば、画像変換部１４２は、図３に示されるように、画像Ａ２および画像Ｂ２をサイドバイサイド（Side By Side）方式で多重化する。また、画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
【００８４】
また、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。例えば、画像変換部１４２は、この画像Ｃ２および画像Ｄ２もサイドバイサイド方式で多重化する。
【００８５】
画像変換部１４２は、多重化の結果得られる多重化画像をエンコーダ１４５に供給する。画像変換部１４２は、互換画像と補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
【００８６】
視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部１４３は、互換画像である画像Ａ２の各画素の視差を表す視差画像Ａ２'と、画像Ｂ２の各画素の視差を表す視差画像Ｂ２'を生成し、所定の多重化方式で多重化する。例えば、視差画像生成部１４３は、視差画像Ａ２'および視差画像Ｂ２'をサイドバイサイド方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。
【００８７】
また、視差画像生成部１４３は、補助画像である画像Ｃ２の各画素の視差を表す視差画像Ｃ２'と、補助画像である画像Ｄ２の各画素の視差を表す視差画像Ｄ２'を生成し、所定の多重化方式で多重化する。例えば、視差画像生成部１４３は、視差画像Ｃ２'および視差画像Ｄ２'をサイドバイサイド方式で多重化する。視差画像生成部１４３は、その結果得られる多重化画像をエンコーダ１４５に供給する。視差画像生成部１４３は、互換画像および補助画像の視差画像の多重化方式を示す情報を視差画像情報生成部５７に供給する。
【００８８】
視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の視点間距離を検出する。例えば、視点間距離情報生成部１４４は、撮影部１４１Ａと撮影部１４１Ｂの間の水平方向の距離Δｄ２ＡＢ、撮影部１４１Ｂと撮影部１４１Ｃの間の水平方向の距離Δｄ２ＢＣ、撮影部１４１Ａと撮影部１４１Ｄの間の水平方向の距離Δｄ２ＡＤを視点間距離として検出する。視点間距離情報生成部１４４は、視点間距離を表す情報などを視点間距離情報として生成し、エンコーダ１４５に供給する。
【００８９】
エンコーダ１４５は、互換用エンコーダ１５１と補助用エンコーダ１５２により構成される。互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００９０】
補助用エンコーダ１５２は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部１４３からの互換画像の視差画像の多重化画像および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ１５２における符号化方式としては、例えば、AVC方式、MVC方式などを用いることができる。
【００９１】
また、補助用エンコーダ１５２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを付加して、符号化ストリームを生成する。補助用エンコーダ１５２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００９２】
［復号装置の構成例］
図４は、図３の符号化装置１４０から送信される多重化ストリームを復号する（Frame Packing Compatible Modeの）復号装置の構成例を示す図である。図４に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９３】
図４の復号装置１７０の構成は、主に、画像生成部１２７の代わりに画像生成部１７１が設けられている点が図２の構成と異なる。復号装置１７０は、符号化装置１４０から送信されるFrame Packing Compatible Modeの多重化ストリームを復号して、２視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
【００９４】
具体的には、復号装置１７０の画像生成部１７１は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部１７１は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
【００９５】
より詳細には、画像生成部１７１は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。例えば、補助画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その視差画像を左右２つに分離する。
【００９６】
また、画像生成部１７１は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。例えば、互換画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その視差画像を左右２つに分離する。
【００９７】
さらに、画像生成部１７１は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。例えば、補助画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その補助画像を左右２つに分離する。
【００９８】
また、画像生成部１７１は、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。例えば、互換画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部１７１は、その互換画像を左右２つに分離する。
【００９９】
また、画像生成部１７１は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部１７１は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部１７１は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０１００】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０１０１】
また、画像生成部１７１は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ１２２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部１７１は、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
【０１０２】
なお、図３および図４の例において、互換画像および補助画像、並びに、それらの視差画像が、サイドバイサイド（Side By Side）方式の代わりに、トップアンドボトム（TAB（Top And Bottom）方式（Top Over Bottom（TOB）方式とも称する）で多重化されるようにしてもよい。
【０１０３】
トップアンドボトム（TAB（Top And Bottom）方式は、多重化する２つの画像の垂直方向の解像度を半減させ、その解像度を半減させた両画像を垂直方向に並べ、元の１フレームの画像サイズとなるようにする多重化方式である。
【０１０４】
［符号化装置の構成例］
次に、既存のステレオスコピックの３Ｄ画像との互換性を確保するようなフォーマット（Stereo Scopic Compatible Mode）で３Ｄ画像を伝送する例について説明する。なお、既存のステレオスコピックの３Ｄ画像の場合、互いに視差が形成される左眼用の画像と右眼用の画像とが交互に表示される。
【０１０５】
図５は、本技術を適用した符号化装置の他の構成例を示すブロック図である。図５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図５に示される符号化装置１４０は、基本的に図１の符号化装置５０と同様であるが、このStereo Scopic Compatible Modeの場合、４つの画像から２つの互換画像と１組の補助画像が生成される。そして、互換画像同士は多重化されず、補助画像同士は例えばサイドバイサイド方式で多重化される。
【０１０６】
図５の符号化装置１８０の構成は、主に、画像変換部１４２、エンコーダ１４５の代わりに画像変換部１８１、エンコーダ１８２が設けられている点が図３の構成と異なる。符号化装置１８０は、多視点の画像のうちの２視点の画像を互換画像として、MVC方式で符号化を行うことにより、既存の２視点方式の３Ｄ画像を符号化する符号化装置との互換性を確保する。
【０１０７】
具体的には、符号化装置１８０の画像変換部１８１は、図１４の画像変換部１４２と同様に、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定する。例えば、画像Ａ２を左眼用画像とし、画像Ｂ２を右眼用画像とする。
【０１０８】
そして、画像変換部１８１は、互換画像である画像Ａ１および画像Ａ２を、そのまま（互換画像同士を多重化せずに）エンコーダ１８２に供給する。また、画像変換部１８１は、画像変換部１４２と同様に、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給する。
【０１０９】
また、画像変換部１８１は、画像変換部１４２と同様に、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像とし、所定の多重化方式で多重化する。例えば、画像変換部１４２は、この画像Ｃ２および画像Ｄ２をサイドバイサイド方式で多重化する。
【０１１０】
画像変換部１８１は、多重化の結果得られる多重化画像をエンコーダ１８２に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
【０１１１】
エンコーダ１８２は、互換用エンコーダ１９１と補助用エンコーダ１５２により構成される。エンコーダ１８２の互換用エンコーダ１９１は、画像変換部１８１から供給される互換画像のうちの画像Ａ２をベース画像として既存のAVC方式で符号化し、画像Ｂ２をディペンデント画像として既存のMVC方式で符号化を行う。互換用エンコーダ１９１は、その結果得られる符号化画像に各種の情報を付加して符号化ストリームを生成し、その符号化ストリームを互換ストリームとして多重化部５９に供給する。
【０１１２】
なお、視差情報は、図３の符号化装置１４０の場合と同様に生成される。
【０１１３】
［復号装置の構成例］
図６は、図５の符号化装置１８０から送信される多重化ストリームを復号する（Frame Packing Compatible Modeの）復号装置の構成例を示す図である。図６に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１４】
図６の復号装置２００の構成は、主に、デコーダ１２２、画像生成部１２７の代わりにデコーダ２０１、画像生成部２０２が設けられている点が図２の構成と異なる。復号装置２００は、符号化装置１８０から送信される多重化ストリームを復号して、２視点の画像または多視点の画像を生成し、図示せぬ表示装置に表示させる。
【０１１５】
具体的には、復号装置２００のデコーダ２０１は、互換用デコーダ２１１と補助用デコーダ１３２により構成される。デコーダ２０１の互換用デコーダ２１１は、図２の互換用デコーダ１３１と同様に、補助用デコーダ１３２から供給される互換ストリームを特定するための情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの互換ストリームを識別する。互換用デコーダ２１１は、互換ストリームに含まれる符号化された互換画像をMVC方式に対応する方式で復号し、その結果得られる画像Ａ２と画像Ｂ２を画像生成部２０２に供給する。
【０１１６】
画像生成部２０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部２０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
【０１１７】
より詳細には、画像生成部２０２は、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。例えば、補助画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部２０２は、その補助画像の視差画像を左右２つに分離する。
【０１１８】
また、画像生成部２０２は、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。例えば、互換画像の視差画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部２０２は、その互換画像の視差画像を左右２つに分離する。
【０１１９】
さらに、画像生成部２０２は、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。例えば、互換画像がサイドバイサイド（Side By Side）方式で多重化されている場合、画像生成部２０２は、その互換画像を左右２つに分離する。
【０１２０】
また、画像生成部２０２は、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部２０２は、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部２０２は、画像生成部１２７と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０１２１】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０１２２】
また、画像生成部２０２は、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、デコーダ１２２から供給される互換画像としての画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
【０１２３】
［ベースバンドのデータ伝送］
例えば、上述した図２の復号装置１２０において、点線Ｌ１の左側（分離部１２１およびデコーダ１２２）を再生装置として構成し、点線Ｌ１の右側（画像生成部１２７）を表示装置として構成するとする。
【０１２４】
再生装置としては、例えば、記録媒体に記録されている３Ｄ画像データを読み出して再生するプレーヤやレコーダ（再生機能を有するもの）が考えられる。また、セットトップボックスのような、外部から３Ｄ画像データを取得し、再生するネットワーク機器も考えられる。表示装置としては、CRTディスプレイ、LCD、有機ELディスプレイ、若しくはプロジェクタ等が考えられる。
【０１２５】
互換画像、補助画像、およびそれらの視差画像に注目すると、この場合、再生装置から表示装置へ、これらの画像をベースバンドのデータとして伝送する必要がある。
【０１２６】
図４に示される復号装置１７０の場合も同様である。互換画像、補助画像、およびそれらの視差画像に注目し、点線Ｌ２の左側の構成を再生装置とし、右側の構成を表示装置とすると、この再生装置と表示装置との間で、これらの画像をベースバンドのデータとして伝送させる必要がある。
【０１２７】
図６に示される復号装置２００の場合も同様である。互換画像、補助画像、およびそれらの視差画像に注目し、点線Ｌ３の左側の構成を再生装置とし、右側の構成を表示装置とすると、この再生装置と表示装置との間で、これらの画像をベースバンドのデータとして伝送させる必要がある。
【０１２８】
このような再生装置と表示装置のようなAV機器間の通信の規格は多数存在する。しかしながら、図１乃至図６を参照して説明したような3DVフォーマットに準拠する３Ｄ画像フォーマットのデータを、ベースバンドで、AV機器間で伝送させる方法は無かった。
【０１２９】
例えば、デジタル機器間を接続するインタフェースとして、HDMI（High Definition Multimedia Interface）がある。
【０１３０】
HDMIは、デジタル家電向けのインタフェースであり、PC（Personal Computer）とディスプレイとの間の接続標準規格であるDVI（Digital Visual Interface）に、音声伝送機能や著作権保護機能（デジタルコンテンツ等の不正コピー防止機能）、色差伝送機能を加えるなど、AV（Audio Visual）家電向けにアレンジしたものである。２００２年１２月にHDMI1.0の仕様が策定された。
【０１３１】
HDMIは非圧縮デジタル音声・映像を伝達し、画質・音質の劣化がない利点がある。HDMIでは現在フルスペック・ハイビジョン（フルHD：解像度は水平１９２０画素×垂直１０８０ライン）の機能を基本としている。映像・音声を非圧縮でプレーヤからテレビに側に転送できるため、デコーダなどの専用チップやソフトウェアを必要としない。接続機器同士が互いに認識できるインテリジェント機能も備えている。
【０１３２】
また、映像・音声・制御信号が一本化したシングルケーブルのため、AV機器の配線を簡略化できるメリットもある。制御信号なども送信することができるので、各AV機器間の連携も容易である。
【０１３３】
現在HDMIでは、例えばフレームパッキングやステレオスコピック等の既存の３Ｄ画像フォーマットにも対応している。
【０１３４】
しかしながら、上述したように、3DVフォーマットのデータには、従来の３Ｄ画像フォーマットにおいては規定されていない情報が含まれる。したがって、このようなHDMI規格であっても、3DVフォーマットのデータを正しく伝送させることができない恐れがあった。
【０１３５】
［伝送システムの構成］
そこで、以下においては、このような再生装置と表示装置との間で行われる、（デコードされた後の、）3DVフォーマットの３Ｄ画像データの伝送について説明する。
【０１３６】
図７は、本技術を適用した伝送システムの主な構成例を示すブロック図である。図７に示される伝送システム３００は、上述したように、復号後の3DVフォーマットの３Ｄ画像データを伝送するシステムである。
【０１３７】
図７に示されるように、伝送システム３００は、再生装置３０１および表示装置３０２を有し、それらがHDMIケーブル３０３によりデータ伝送可能に接続されている。
【０１３８】
再生装置３０１は、記録媒体から読み出した、若しくは、他の装置から取得した３Ｄ画像データを再生し、HDMIケーブル３０３を介して、表示装置３０２へ供給する装置である。再生装置３０１は、上述した復号装置の点線Ｌ１乃至Ｌ３の左側の構成（互換画像、補助画像、およびそれらの視差画像に関する構成）を有する。
【０１３９】
表示装置３０２は、再生装置３０１からHDMIケーブル３０３を介して伝送される３Ｄ画像データから、多視点の表示用画像を生成し、それをディスプレイに表示させる。表示装置３０２は、上述した復号装置の点線Ｌ１乃至Ｌ３の右側の構成（互換画像、補助画像、およびそれらの視差画像に関する構成）を有する。
【０１４０】
伝送システム３００においては、再生装置３０１から表示装置３０２へ、HDMIケーブル３０３を介して３Ｄ画像データが、HDMI規格に従って伝送される。
【０１４１】
［再生装置の構成］
図８は、このHDMI規格に基づくデータ伝送の送信側デバイスである再生装置３０１のデータ伝送に関する部分の、主な構成例を示す図である。
【０１４２】
図８に示されるように、再生装置３０１は、デコーダ３１１、モード判定部３１２、３Ｄ情報生成部３１３、および通信部３１４を有する。
【０１４３】
デコーダ３１１は、符号化された３Ｄ画像データを復号し、ベースバンドの３Ｄ画像データをモード判定部３１２および通信部３１４に供給する。
【０１４４】
モード判定部３１２は、供給された３Ｄ画像データの構成（フォーマット）を調べ、Mono Compatible Modeであるか、Frame Packing（Side by Side） Compatible Modeであるか、Frame Packing（Top and Bottom） Compatible Modeであるか、若しくは、Stereo Scopic Compatible Modeであるかを判定し、その判定結果を３Ｄ情報生成部３１３に供給する。
【０１４５】
３Ｄ情報生成部３１３は、3DVフォーマットの画像データであること、および、モード判定部３１２により判定された互換性に関するモード等を示す情報を含む３Ｄ情報を生成し、伝送する３Ｄ画像データの所定の位置に挿入する。例えば、３Ｄ情報生成部３１３は、HDMI規格のVSIFPC(Vendor Specific infoFrame Packet Contents)を拡張し、３Ｄ情報を記述する。
【０１４６】
通信部３１４は、HDMI規格に従って、表示装置３０２と通信を行う。例えば、通信部３１４は、デコーダ３１１から供給される３Ｄ画像データを表示装置３０２に送信する。
【０１４７】
［表示装置の構成］
図９は、HDMI規格に基づくデータ伝送の受信側デバイスである表示装置３０２のデータ伝送に関する部分の、主な構成例を示す図である。
【０１４８】
図９に示されるように、表示装置３０２は、通信部３２１、モード判定部３２２、同期設定部３２３、同期制御部３２４、画像生成部３２５、および表示部３２６を有する。
【０１４９】
通信部３２１は、HDMI規格に従って、再生装置３０１と通信を行う。例えば、通信部３２１は、再生装置３０１から伝送された３Ｄ画像データを受信し、それをモード判定部３２２および画像生成部３２５に供給する。
【０１５０】
モード判定部３２２は、通信部３２１から供給される３Ｄ画像データに含まれる３Ｄ画像情報を参照し、その３Ｄ画像データのモードを判定する。例えば、モード判定部３２２は、３Ｄ画像データのモードが、Mono Compatible Modeであるか、Frame Packing（Side by Side） Compatible Modeであるか、Frame Packing（Top and Bottom） Compatible Modeであるか、若しくは、Stereo Scopic Compatible Modeであるかを判定し、その判定結果を同期設定部３２３に通知する。
【０１５１】
同期設定部３２３は、判定されたモードに応じて同期方法を設定する。同期制御部３２４は、同期設定部３２３に設定された同期方法に従って、画像生成部３２５および表示部３２６に同期信号を供給し、画像生成部３２５および表示部３２６の動作タイミングを制御する。
【０１５２】
画像生成部３２５は、通信部３２１を介して供給された３Ｄ画像データ（互換画像、補助画像、およびそれらの視差画像）を用いて、ユーザ等に指定された、もしくは表示部３２６が対応可能な視点数の多視点の表示用画像を生成し、それを表示部３２６に供給して表示させる。
【０１５３】
表示部３２６は、CRTディスプレイやLCD等のディスプレイを有し、画像生成部３２５から供給された多視点の表示用画像を、それぞれの視点方向に向けて表示する。
【０１５４】
［HDMIデータ伝送］
次に、再生装置３０１の通信部３１４（HDMI送信部）および表示装置３０２の通信部３２１（HDMI受信部）について説明する。図１０は、通信部３１４と、通信部３２１の詳細な構成例を示すブロック図である。
【０１５５】
HDMI送信部である通信部３１４は、所定の数の垂直同期信号の区間から、水平帰線区間および垂直帰線区間を除いた区間である有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部である通信部３２１に一方向に送信するとともに、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、通信部３２１に一方向に送信する。
【０１５６】
すなわち、通信部３１４は、HDMIトランスミッタ３３１を有する。HDMIトランスミッタ３３１は、例えば、符号化データを対応する差動信号に変換し、複数のチャネルである３つのTMDSチャネル＃０，＃１，＃２で、HDMIケーブル３０３を介して接続されている通信部３２１に、一方向にシリアル伝送する。
【０１５７】
また、HDMIトランスミッタ３３１は、符号化データに付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのTMDSチャネル＃０，＃１，＃２でHDMIケーブル３０３を介して接続されている通信部３２１に、一方向にシリアル伝送する。
【０１５８】
さらに、HDMIトランスミッタ３３１は、３つのTMDSチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル３０３を介して接続されている通信部３２１に送信する。ここで、１つのTMDSチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、例えば１０ビットのデータが送信される。
【０１５９】
通信部３２１は、アクティブビデオ区間において、複数のチャネルで、通信部３１４から一方向に送信されてくる、画素データに対応する差動信号を受信するとともに、水平帰線区間または垂直帰線区間において、複数のチャネルで、通信部３１４から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【０１６０】
すなわち、通信部３２１は、HDMIレシーバ３３２を有する。HDMIレシーバ３３２は、TMDSチャネル＃０，＃１，＃２で、HDMIケーブル３０３を介して接続されている通信部３１４から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を、同じく通信部３１４からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【０１６１】
通信部３１４と通信部３２１とからなるHDMIシステムの伝送チャネルには、通信部３１４から通信部３２１に対して、符号化データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての３つのTMDSチャネル＃０乃至＃２と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルの他に、DDC（Display Data Channel）３３３やCECライン３３４と呼ばれる伝送チャネルがある。
【０１６２】
DDC３３３は、HDMIケーブル３０３に含まれる図示せぬ２本の信号線からなり、通信部３１４が、HDMIケーブル３０３を介して接続された通信部３２１から、E-EDIDを読み出すために使用される。
【０１６３】
すなわち、通信部３２１は、HDMIレシーバ３３２の他に、自身の性能（Configuration/capability）に関する性能情報であるE-EDIDを記憶しているEDID ROM(Read Only Memory)３３５を有している。通信部３１４は、HDMIケーブル３０３を介して接続されている通信部３２１から、当該通信部３２１のE-EDIDを、DDC３３３を介して読み出し、そのE-EDIDに基づき、例えば、通信部３２１を有する電子機器が対応している画像のフォーマット（プロファイル）、例えば、RGB、YCbCr４：４：４、YCbCr４：２：２、YCbCr４：２：０等を認識する。
【０１６４】
CECライン３３４は、HDMIケーブル３０３に含まれる図示せぬ１本の信号線からなり、通信部３１４と通信部３２１との間で、制御用のデータの双方向通信を行うのに用いられる。
【０１６５】
また、HDMIケーブル３０３には、HPD（Hot Plug Detect）と呼ばれるピンに接続されるライン３３６が含まれている。ソース機器は、当該ライン３３６を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル３０３には、ソース機器からシンク機器に電源を供給するために用いられるライン３３７が含まれている。さらに、HDMIケーブル３０３には、拡張用のリザーブライン３３８が含まれている。
【０１６６】
［３Ｄ情報の記述］
以上のようなHDMI規格のデータ伝送において、３Ｄ情報生成部３１３は、上述したように例えば図１１に示されるようなHDMI規格のVendor Specific infoFrame Packet Contentsを拡張し、モードを示す３Ｄ情報を記述する。
【０１６７】
図１１に示されるVendor Specific infoFrame Packet Contentsは、データとともに送信側から受信側に伝送される情報であり、今どのようなデータが伝送されているかを示す情報である。受信側の装置は、このVendor Specific infoFrame Packet Contentsを参照することにより、現在、どのようなデータが送信されているかを、容易に把握することができる。
【０１６８】
図１１に示されるように、Vendor Specific infoFrame Packet Contentsの斜線で示される部分には、３Ｄ画像データに関する情報を記述する欄（3D_Structure）がある。３Ｄ情報生成部３１３は、例えば、この領域（3D_Structure）の値を拡張し、３Ｄ情報を記述する。
【０１６９】
例えば図１２Ａの表に示されるように、従来この3D_Structureの欄には、「００００」、「０１１０」、「０１１１」、「１０００」、または「１００１」等の値を設定することができる。３Ｄ情報生成部３１３は、この3D_Structureの空き（リザーブ）を利用して、例えば、図１２Ａに示されるように、値「１０１０」を3DVフォーマットを示す値として設定する。
【０１７０】
受信側のモード判定部３２２は、予めこの値「１０１０」が3DVフォーマットを示すことを把握していればよい。例えば、このVendor Specific infoFrame Packet Contentsの3D_Structureを参照し、その値が「１０１０」である場合、モード判定部３２２は、伝送される画像データが3DVフォーマットであることを把握することができる。
【０１７１】
また、例えば、図１２Ｂに示されるように、3DVフォーマットの各モードも指定することができるようにしてもよい。図１２Ｂの例の場合、値「１０１０」がMono Compatible Modeに割り当てられ、値「１０１１」がFrame Packing（Side by Side） Compatible Modeに割り当てられ、値「１１００」がFrame Packing（Top and Bottom） Compatible Modeに割り当てられ、値「１１０１」がStereo Scopic Compatible Modeに割り当てられている。
【０１７２】
３Ｄ情報生成部３１３は、モード判定部３１２により判定されたモードに対応する値を、このVendor Specific infoFrame Packet Contentsの3D_Structureに設定する。モード判定部３２２は、予めこれらの値を把握しているので、データ受信時にこの3D_Structure参照することにより、容易にモードを判定することができる。
【０１７３】
［同期方法の拡張］
HDMIのデータ伝送においては、通常、図１３に示されるように、水平同期信号３５１が１周期分、並びに、垂直同期信号３５２が１周期分のアクティブビデオ区間に１フレーム分の画像データが伝送される。
【０１７４】
通信部３１４は、３Ｄ画像データを伝送する際、例えば各モードに応じてこのような同期方法拡張する。
【０１７５】
Mono Compatible Modeの場合、例えば図１４に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
【０１７６】
したがって、例えば図１４に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号３５１が１周期分、並びに、垂直同期信号３５２が１周期分のアクティブビデオ区間に伝送させるようにしてもよい。
【０１７７】
また、例えば図１５に示されるように、通信部３１４が、これらの４フレーム分のデータの伝送に、垂直同期信号２周期分のアクティブビデオ区間を使うようにしてもよい。もちろん、垂直同期信号３周期以上分のアクティブビデオ区間を使用するようにしてもよい。ただし、同期を正しくとることができるようにするために、垂直同期信号何周期分のアクティブビデオ区間を使用して、１フレーム分の３Ｄ画像データを伝送させるかを、再生装置３０１および表示装置３０２の双方が予め把握しておく必要がある。
【０１７８】
このように垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送するようにすることにより、より詳細な伝送制御をより容易にすることができる。例えば、一部の情報のみを伝送させる場合、それ以外の周期のデータ伝送を中止すればよい。
【０１７９】
Frame Packing（Side by Side） Compatible Modeの場合も、例えば図１６に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
【０１８０】
したがって、例えば図１６に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号１周期および垂直同期信号１周期のアクティブビデオ区間に伝送させるようにしてもよい。もちろん、このFrame Packing（Side by Side） Compatible Modeの場合においても、上述したMono Compatible Modeの場合と同様に、垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送させるようにしてもよい。
【０１８１】
Frame Packing（Top and Bottom） Compatible Modeの場合も、例えば図１７に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
【０１８２】
したがって、例えば図１７に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号１周期および垂直同期信号１周期のアクティブビデオ区間に伝送させるようにしてもよい。もちろん、このFrame Packing（Top and Bottom） Compatible Modeの場合においても、上述したMono Compatible Modeの場合と同様に、垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送させるようにしてもよい。
【０１８３】
Stereo Scopic Compatible Modeの場合も、例えば図１８に示されるように、１フレーム分の３Ｄ画像データとして、互換画像、補助画像、およびそれらの視差画像により合計４フレーム分のデータを伝送する必要がある。
【０１８４】
したがって、例えば図１８に示されるように、通信部３１４が、これらの４フレーム分のデータを、水平同期信号１周期および垂直同期信号１周期のアクティブビデオ区間に伝送させるようにしてもよい。
【０１８５】
なお、現在のHDMI規格（Ver. 1.4）では、垂直同期信号１周期のアクティブビデオ区間に、所謂４Ｋ×２Ｋ以上の解像度の画像データを伝送させることはできない。しかしながら、この制約を拡張し、垂直同期信号１周期のアクティブビデオ区間に５Ｋ×２Ｋの画像データを伝送させることができるようにしてもよい。
【０１８６】
その場合のStereo Scopic Compatible Modeの伝送例を図１９に示す。このようにすることにより、図１８の例の場合よりも、高解像度の視差情報を伝送することができる。したがって、表示用画像において、より精密な奥行き表現が可能になる。
【０１８７】
もちろん、このStereo Scopic Compatible Modeの場合においても、上述したMono Compatible Modeの場合と同様に、垂直同期信号複数周期分のアクティブビデオ区間を使用して１フレーム分の３Ｄ画像データを伝送させるようにしてもよい。
【０１８８】
さらに、例えば図２０に示されるように、垂直同期信号の間隔（周波数）を、一定でない不等間隔としてもよい。図２０の例の場合、垂直同期信号の１周期目は２Ｋ分の長さであり、２周期目はその半分の１Ｋ分の長さであり、３周期目は１周期目と同じ２Ｋ分の長さである。
【０１８９】
このように垂直同期信号の周波数を適宜変更し、伝送する３Ｄ画像データの構造に適切となるようにすることにより、３Ｄ画像データの構造に応じた、より詳細な伝送制御をより容易にすることができる。例えば、互換情報のみを伝送させる場合、２周期目と３周期目のデータ伝送を中止すればよい。
【０１９０】
もちろん、垂直同期信号を不等間隔とするときの周期のパターンは任意であり、図２０に示される例以外のパターンであってもよい。また、このように垂直同期信号を不等間隔とする方法は、Stereo Scopic Compatible Modeにも適用することができる。
【０１９１】
［送信処理の流れ］
以上のような３Ｄ画像のデータ伝送について行われる各種処理について説明する。
【０１９２】
図２１のフローチャートを参照して、図８の再生装置３０１により実行される送信処理の流れの例を説明する。
【０１９３】
送信処理が開始されると、再生装置３０１のモード判定部３１２は、ステップＳ１０１において、伝送するストリーム（３Ｄ画像データ）のモードを判定する。３Ｄ情報生成部３１３は、ステップＳ１０２において、ステップＳ１０１の判定結果に基づいて、ストリームのモードを示す３Ｄ情報を生成する。
【０１９４】
ステップＳ１０３において、通信部３１４は、ステップＳ１０３により生成された３Ｄ情報を表示装置３０２に送信する。通信部３１４は、ステップＳ１０４において、ストリームを表示装置３０２に送信する。
【０１９５】
このように処理を行うことにより、再生装置３０１は、伝送する３Ｄ画像データのモードを含む３Ｄ情報を受信側の表示装置３０２に供給することができる。これにより、再生装置３０１は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０１９６】
［受信処理の流れ］
図２２のフローチャートを参照して、図９の表示装置３０２により実行される受信処理の流れの例を説明する。
【０１９７】
受信処理が開始されると、表示装置３０２の通信部３２１は、ステップＳ１２１において、再生装置３０１から送信された３Ｄ情報を受信する。ステップＳ１２２において、モード判定部３２２は、その３Ｄ情報を参照し、伝送されるストリーム（３Ｄ画像データ）のモードを判定する。
【０１９８】
ステップＳ１２３において、同期設定部３２３は、ステップＳ１２２のモード判定結果に基づいて、例えば、図１４乃至図２０を参照して説明したような同期方法を設定する。ステップＳ１２４において、同期制御部３２４は、ステップＳ１２３において設定された同期方法で、画像生成部３２５や表示部３２６の同期を制御する。
【０１９９】
ステップＳ１２５において、通信部３２１は、再生装置３０１から伝送されるストリーム（３Ｄ画像データ）を受信する。ステップＳ１２６において、画像生成部３２５は、ステップＳ１２５において受信された３Ｄ画像データを用いて、多視点の表示用画像を生成する。
【０２００】
ステップＳ１２７において、表示部３２６は、ステップＳ１２６の処理により生成された多視点の表示用画像を表示する。
【０２０１】
このように処理を行うことにより、表示装置３０２は、伝送される３Ｄ画像データとともに、その３Ｄ画像データのモードを含む３Ｄ情報を受信することができ、さらにその３Ｄ情報から３Ｄ画像データのモードを容易に判定し、そのモードに従って適切な同期方法を設定することができる。したがって、表示装置３０２は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０２０２】
なお、以上においては、HDMI規格に従ったデータ伝送を例に説明したが、HDMI規格以外の伝送規格に適用することもできる。
【０２０３】
また、以上においては、３Ｄ画像データのデータ伝送における送信側の装置として再生装置３０１を用い、受信側の装置として表示装置３０２を用いて説明したが、送信側の装置および受信側の装置は、互いに３Ｄ画像データを送受信することができるものであればどのような装置であってもよい。
【０２０４】
＜２．第２の実施の形態＞
［E-EDIDの拡張］
以上においては、３Ｄ画像データのモードに関する３Ｄ情報を３Ｄ画像データとともに伝送することにより、3DVのデータ伝送を実現するように説明した。これに限らず、例えば、さらに、３Ｄ画像データの伝送を開始する前に、受信側の表示装置３０２が自身の対応可能なモードに関する情報を、送信側の再生装置３０１に対して提供するようにしてもよい。
【０２０５】
このようにすることにより、再生装置３０１は、表示装置３０２の能力に関する情報を取得し、その情報に基づいて３Ｄ画像データのモードを設定することができる。つまり、再生装置３０１は、より適切に３Ｄ画像データの送信を行うことができる。
【０２０６】
再生装置３０１の通信部３１４（HDMI送信部）は、HDMIケーブル３０３を介して、表示装置３０２の通信部３２１（HDMI受信部）から、その通信部３２１のE-EDID（Enhanced Extended Display Identification Data）を、DDC（Display Data Channel）を介して読み出す。このE-EDIDには、表示装置３０２で取り扱われる解像度、復号処理の遅延時間、ビット深度、フレームレート等、表示装置３０２の能力に関する情報が含まれている。
【０２０７】
図２３は、E-EDIDのデータ構造例を示している。このE-EDIDは、基本ブロックと拡張ブロックとからなっている。基本ブロックの先頭には、“E-EDID1.3 Basic Structure”で表されるE-EDID1.3の規格で定められたデータが配置され、続いて“Preferred timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“2nd timing”で表される従来のEDIDとの互換性を保つための“Preferred timing”とは異なるタイミング情報が配置されている。
【０２０８】
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報、および“Monitor Range Limits”で表される、アスペクト比が４：３および１６：９である場合についての表示可能な画素数を示す情報が順番に配置されている。
【０２０９】
拡張ブロックの先頭には、“Speaker Allocation”で表される左右のスピーカに関する情報が配置され、続いて“VIDEO SHORT”で表される、表示可能な画像サイズ（解像度）、フレームレート、インターレースであるかプログレッシブであるかを示す情報、アスペクト比などの情報が記述されたデータ、“AUDIO SHORT”で表される、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報が記述されたデータ、および“Speaker Allocation”で表される左右のスピーカに関する情報が順番に配置されている。
【０２１０】
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vendor Specific”で表されるメーカごとに固有に定義されたデータ、“3rd timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“4th timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。
【０２１１】
図２４は、図２３において斜線で示されるVendor Specific領域（Vendor Specific Data Block）のデータ構造例を示している。このVendor Specific領域には、１バイトのブロックである第０ブロック乃至第Ｎブロックが設けられている。
【０２１２】
このVendor Specific領域の第１３ブロック以降には、リザーブ領域が拡張され、表示装置３０２が対応可能な３Ｄフォーマットに関する情報が記述されている。表示装置３０２は、このVendor Specific Data Blockの3D_Structure_ALL_X、3D_Structure_X、および、3D_Detaile_Xを、リザーブ領域を活用して拡張し、3DVストリームや垂直方向の同期信号の単位や周期を定義する。
【０２１３】
例えば、3D_Structure_ALL_Xの値を、図２５に示される表のように拡張し、９番乃至１３番に各モードを割り当てるようにしてもよい。
【０２１４】
また、例えば、3D_Structure_Xの値を、図１２に示される表のように拡張し、さらに、3D_Detail_Xの値を図２６に示される表のように拡張し、上述したように垂直同期信号の複数周期分のアクティブビデオ領域を使って１フレーム分の３Ｄ画像データを伝送することや、垂直同期信号を不等間隔とすること等を定義するようにしてもよい。
【０２１５】
［再生装置の構成］
図２７は、その場合の再生装置３０１の主な構成例を示すブロック図である。この場合、再生装置３０１は、図２７に示されるように、図８の構成に加え、受信側情報取得部４１１と同期設定部４１２を有する。
【０２１６】
受信側情報取得部４１１は、３Ｄ画像データの伝送が開始される前に、表示装置３０２から供給される、受信側の装置としての能力を示す受信側情報を、通信部３１４を介して取得する。例えば、受信側情報取得部４１１は、受信側情報として、図２３に示されるようなE-EDIDデータを取得する。上述したように、このE-EDIDデータのVendor Specific Data Blockは、図２４に示されるように拡張され、3D_Structure_ALL_X、3D_Structure_X、および、3D_Detaile_X等の値が、図２５や図２６に示される表のように拡張されることにより、表示装置３０２が処理可能なモードが示される。
【０２１７】
受信側情報取得部４１１は、このような受信側情報を取得すると、それを同期設定部４１２に供給する。同期設定部４１２は、受信側情報取得部４１１により取得された受信側情報と、モード判定部３１２により判定されたモードに従って、表示装置３０２が処理可能な同期方法を設定し、3D情報生成部３１３に通知する。
【０２１８】
3D情報生成部３１３は、同期設定部４１２により設定された同期方法を示す３Ｄ情報を生成し、３Ｄ画像データに挿入する。
【０２１９】
［表示装置の構成］
図２８は、その場合の表示装置３０２の主な構成例を示すブロック図である。この場合、表示装置３０２は、図２８に示されるように、図９の構成に加え、受信側情報提供部４２１を有する。
【０２２０】
受信側情報提供部４２１は、例えば、図２３に示されるようなE-EDIDを記憶しており、３Ｄ画像データの伝送が開始される前に、ネゴシエーション情報として、そのE-EDIDを、通信部３２１を介して送信側の再生装置３０１に送信する。
【０２２１】
なお、この受信側情報提供部４２１は、図１０に示されるEDIDROM３３５のように通信部３２１の内部に構成されるようにしてもよい。
【０２２２】
［送信処理の流れ］
次に、図２９のフローチャートを参照して、図２７の再生装置３０１により実行される送信処理の流れの例を説明する。
【０２２３】
送信処理が開始されると、ステップＳ２０１において、受信側情報取得部４１１は、受信側情報を取得する。ステップＳ２０２において、モード判定部３１２は、伝送するストリーム（３Ｄ画像データ）のモードを判定する。
【０２２４】
ステップＳ２０３において、同期設定部４１２は、ステップＳ２０１において取得された受信側情報、および、ステップＳ２０２において判定されたストリームのモードに基づいて、表示装置３０２が処理可能で、かつ、ストリームのモードに対応した同期方法を設定する。
【０２２５】
ステップＳ２０４において、３Ｄ情報生成部３１３は、ステップＳ２０３において設定された同期方法を示す３Ｄ情報を生成する。ステップＳ２０５において、通信部３１４は、ステップＳ２０４において生成された３Ｄ情報を表示装置３０２に送信する。また、ステップＳ２０６において、通信部３１４は、ストリームを表示装置３０２に送信する。
【０２２６】
このように処理を行うことにより、再生装置３０１は、表示装置３０２の能力に応じて同期方法を設定することができ、さらにその３Ｄ情報を表示装置３０２に供給することができる。これにより、再生装置３０１は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０２２７】
［受信処理の流れ］
図３０のフローチャートを参照して、図２８の表示装置３０２により実行される受信処理の流れの例を説明する。
【０２２８】
受信処理が開始されると、表示装置３０２の受信側情報提供部４２１は、ステップＳ２２１において、通信部３２１を介して受信側情報を再生装置３０１に提供する。
【０２２９】
ステップＳ２２２において、通信部３２１は、再生装置３０１から送信された３Ｄ情報を受信する。ステップＳ２２３において、モード判定部３２２は、その３Ｄ情報を参照し、伝送されるストリーム（３Ｄ画像データ）のモードを判定する。
【０２３０】
ステップＳ２２４において、同期設定部３２３は、ステップＳ２２３のモード判定結果に基づいて同期方法を設定する。ステップＳ２２５において、同期制御部３２４は、ステップＳ２２４において設定された同期方法で、画像生成部３２５や表示部３２６の同期を制御する。
【０２３１】
ステップＳ２２６において、通信部３２１は、再生装置３０１から伝送されるストリーム（３Ｄ画像データ）を受信する。ステップＳ２２７において、画像生成部３２５は、ステップＳ２２６において受信された３Ｄ画像データを用いて、多視点の表示用画像を生成する。
【０２３２】
ステップＳ２２８において、表示部３２６は、ステップＳ２２７の処理により生成された多視点の表示用画像を表示する。
【０２３３】
このように処理を行うことにより、表示装置３０２は、自身の処理能力を示す受信側情報を送信側の再生装置３０１に提供することができ、自信の能力に応じた同期方法を再生装置３０１に設定させることができる。そして表示装置３０２は、その同期方法を適切に設定することができる。したがって、表示装置３０２は、上述した3DVフォーマットのような、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０２３４】
なお、以上においては、HDMI規格に従ったデータ伝送を例に説明したが、HDMI規格以外の伝送規格に適用することもできる。
【０２３５】
また、以上においては、３Ｄ画像データのデータ伝送における送信側の装置として再生装置３０１を用い、受信側の装置として表示装置３０２を用いて説明したが、送信側の装置および受信側の装置は、互いに３Ｄ画像データを送受信することができるものであればどのような装置であってもよい。
【０２３６】
＜３．第３の実施の形態＞
［符号化装置の構成例］
図３１は、本技術を適用した伝送システムの第３の実施の形態で伝送される３Ｄ画像を符号化する符号化装置の構成例を示すブロック図である。
【０２３７】
図３１に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２３８】
図３１の符号化装置４４０の構成は、主に、視差画像生成部１４３、エンコーダ１４５、多重化部５９の代わりに、視差画像生成部４４１、エンコーダ４４２、多重化部４４３が設けられている点が図３の構成と異なる。符号化装置４４０は、互換画像の視差画像を空間方向に多重化するのではなく、時間方向に多重化して符号化する。
【０２３９】
具体的には、符号化装置４４０の視差画像生成部４４１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２乃至画像Ｄ２の各画素の視差を検出する。視差画像生成部４４１は、検出結果に基づいて、互換画像である画像Ａ２の視差画像Ａ２’および画像Ｂ２の視差画像Ｂ２’、並びに、補助画像である画像Ｃ２の視差画像Ｃ２’および画像Ｄ２の視差画像Ｄ２’を生成する。
【０２４０】
また、視差画像生成部４４１は、図３の視差画像生成部１４３と同様に、視差画像Ｃ２’と視差画像Ｄ２’を、所定の多重化方式で空間方向に多重化する。さらに、視差画像生成部４４１は、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像を、時間方向に多重化する。視差画像生成部４４１は、その結果得られる、１フレーム時間内に１フレーム分の視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像が存在する多重化画像を、時間多重化画像としてエンコーダ４４２に供給する。
【０２４１】
また、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像および補助画像の視差画像の多重化方式としての時間方向に多重化する方式（以下、フレームシーケンシャル方式という）とを示す情報を、視差画像情報生成部５７に供給する。
【０２４２】
エンコーダ４４２は、互換用エンコーダ１５１と補助用エンコーダ４５１により構成される。エンコーダ４４２の補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を3DV方式で符号化する。補助用エンコーダ４５１は、その結果得られる符号化ストリームを補助ストリームとして多重化部４４３に供給する。
【０２４３】
多重化部４４３は、互換用エンコーダ１５１からの互換ストリーム、補助用エンコーダ４５１からの補助ストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部５６からの視点間距離情報、および視差画像情報生成部５７からの視差画像情報などを用いて、ＴＳを生成する。多重化部４４３は、生成されたＴＳを多重化し、その結果得られる多重化ストリームを送信する。
【０２４４】
なお、以下では、画像情報、互換情報、視点間距離情報、および視差画像情報をまとめて補助情報という。
【０２４５】
［補助情報の記述例］
図３２は、補助情報がPMTのディスクリプタに記述される場合の互換情報と視差画像情報の記述例を示す図である。
【０２４６】
図３２に示すように、補助情報がPMTのディスクリプタに記述される場合、PMTのディスクリプタとして、互換情報が配置されるディスクリプタ（3DV_view_structure_descriptor）、視差画像情報が配置されるディスクリプタ（depth_map_structure_descriptor）等が設けられる。
【０２４７】
そして、ディスクリプタ（depth_map_structure_descriptor）には、図３３に示すように、ディスクリプタタグ(descriptor_tag)、ディスクリプタ長(descriptor_length)に続いて、視差画像情報として、視差画像の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
【０２４８】
なお、多重化方式としては、サイドバイサイド方式（SBS）、トップアンドボトム方式（TOB）、フレームシーケンシャル方式などがある。
【０２４９】
また、符号化装置４４０では、補助情報がＴＳに含まれるものとしたが、補助情報は補助ストリームに含まれるようにしてもよい。
【０２５０】
図３４および図３５は、補助情報が補助ストリームに含まれる場合の、補助ストリーム内の互換情報と視差画像情報の記述例を示す図である。
【０２５１】
図３４に示すように、互換情報（3DV_view_structure）と視差画像情報(depth_map_structure)は、例えば、補助ストリーム内のSEI（Supplemental Enhancement Information）に配置される。
【０２５２】
視差画像情報(depth_map_structure)としては、図３５に示すように、視差画像（depth map）の数(num_of_depth_map)、視差画像が多重化されているかどうかを表すフラグ(is_frame_packing)、視差画像の多重化方式(frame_packing_mode)、多重化されている視差画像を指定する情報(comb_frame_packing_views)などが記述される。
【０２５３】
なお、図示は省略するが、画像情報は、視差画像ではなく、互換画像および補助画像についての情報であること以外視差画像情報と同様である。
【０２５４】
［符号化装置の処理の説明］
図３６および図３７は、図３１の符号化装置４４０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
【０２５５】
図３６のステップＳ４５１において、視点間距離情報生成部１４４は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、距離Δｄ２ＡＢ、距離Δｄ２ＢＣ、距離Δｄ２ＡＤを視点間距離として検出する。
【０２５６】
ステップＳ４５２において、視点間距離情報生成部１４４は、ステップＳ４５１で検出された視点間距離を表す情報などを視点間距離情報として生成し、多重化部４４３に入力する。
【０２５７】
ステップＳ４５３において、画像変換部１４２は、撮影部１４１Ａ乃至撮影部１４１Ｄのうちの水平方向の位置が内側にある撮影部１４１Ａから供給される画像Ａ２と、撮影部１４１Ｂから供給される画像Ｂ２を互換画像に決定し、互換画像および補助画像の多重化方式を決定する。画像変換部１４２は、互換画像として画像Ａ２および画像Ｂ２を指定する情報を互換情報生成部５５に供給し、互換画像および補助画像の多重化方式を画像情報生成部５４に供給する。
【０２５８】
ステップＳ４５４において、互換情報生成部５５は、画像変換部１４２から供給される情報に基づいて、互換画像として画像Ａ２および画像Ｂ２を指定する情報、互換モードとしてのフレームパッキングモードなどを互換情報として生成し、多重化部４４３に入力する。
【０２５９】
ステップＳ４５５において、画像変換部１４２は、ステップＳ４５３で決定された互換画像の多重化方式に基づいて互換画像である画像Ａ２と画像Ｂ２を多重化し、エンコーダ４４２に供給する。
【０２６０】
ステップＳ４５６において、画像情報生成部５４は、画像変換部１４２から供給される情報に基づいて、互換画像および補助画像の多重化方式を示す情報などを画像情報として生成し、多重化部４４３に入力する。
【０２６１】
ステップＳ４５７において、画像変換部１４２は、画像Ａ２および画像Ｂ２以外の画像Ｃ２および画像Ｄ２を補助画像として、ステップＳ４５３で決定された補助画像の多重化方式に基づいて補助画像を多重化し、補助画像の多重化画像を得る。
【０２６２】
ステップＳ４５８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像をエンコーダ４４２に入力する。
【０２６３】
図３７のステップＳ４５９において、視差画像生成部４４１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて画像Ａ２乃至画像Ｄ２の各画素の視差を検出し、視差画像Ａ２’乃至視差画像Ｄ２’を生成する。
【０２６４】
ステップＳ４６０において、視差画像生成部４４１は、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
【０２６５】
ステップＳ４６１において、視差画像情報生成部５７は、視差画像生成部４４１から供給される情報に基づいて、補助画像の視差画像の多重化方式と、互換画像の視差画像および補助画像の視差画像の多重化画像の多重化方式を示す情報などを、視差画像情報として生成し、多重化部４４３に入力する。
【０２６６】
ステップＳ４６２において、視差画像生成部４４１は、ステップＳ４６０で決定された多重化方式に基づいて、補助画像の視差画像Ｃ２’と視差画像Ｄ２’を空間方向に多重化し、互換画像の視差画像Ａ２’および視差画像Ｂ２’と補助画像の視差画像の多重化画像を時間方向に多重化する。
【０２６７】
ステップＳ４６３において、視差画像生成部４４１は、ステップＳ４６２の多重化の結果得られる時間多重化画像をエンコーダ４４２に入力する。
【０２６８】
ステップＳ４６４において、エンコーダ４４２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部４４３に供給する。
【０２６９】
ステップＳ４６５において、補助用エンコーダ４５１は、画像変換部１４２からの補助画像の多重化画像と視差画像生成部４４１からの時間多重化画像を、3DV方式で符号化する。補助用エンコーダ４５１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部４４３に供給する。
【０２７０】
ステップＳ４６６において、多重化部４４３は、互換用エンコーダ１５１から供給される互換ストリーム、補助用エンコーダ４５１から供給される補助ストリーム、および補助情報からＴＳを生成して多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
【０２７１】
［復号装置の構成例］
図３８は、図３１の符号化装置４４０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
【０２７２】
図３８に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２７３】
図３８の復号装置４６０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに、デコーダ４６２、画像生成部４６３が設けられている点が図４の構成と異なる。復号装置４６０は、符号化装置４４０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
【０２７４】
具体的には、復号装置４６０の分離部４６１は、符号化装置４４０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部４６１は、ＴＳに含まれる互換ストリームと、ＴＳに含まれる補助ストリームを抽出し、デコーダ４６２に供給する。また、分離部４６１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部４６１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【０２７５】
デコーダ４６２は、互換用デコーダ１３１と補助用デコーダ４７１により構成される。デコーダ４６２の補助用デコーダ４７１は、分離部４６１から供給される補助ストリームに含まれる補助画像の多重化画像と時間多重化画像を、図３１の補助用エンコーダ４５１に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部４６３に供給する。
【０２７６】
画像生成部４６３は、視聴者からの表示指令に応じて画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部４６３は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
【０２７７】
より詳細には、画像生成部４６３は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像の視差画像と補助画像の視差画像の多重化画像の多重化方式としてフレームシーケンシャル方式を示す情報に基づいて、時間多重化画像から、互換画像の視差画像である視差画像Ａ２’および視差画像Ｂ２’、並びに、補助画像の視差画像の多重化画像を分離する。そして、画像生成部４６３は、視差画像情報に含まれる補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像の多重化画像から、視差画像Ｃ２’と視差画像Ｄ２’を分離する。
【０２７８】
さらに、画像生成部４６３は、図４の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部４６３は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
【０２７９】
また、画像生成部４６３は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部４６３は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部４６３は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０２８０】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０２８１】
また、画像生成部４６３は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ４６２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部４６３は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
【０２８２】
［復号処理の説明］
図３９は、図３８の復号装置４６０による復号処理を説明するフローチャートである。この復号処理は、例えば、図３１の符号化装置４４０から送信される多重化ストリームが復号装置４６０に入力されたとき、開始される。
【０２８３】
図３９のステップＳ４７１において、復号装置４６０の分離部４６１は、符号化装置５０から送信されてくる多重化ストリームを取得し、その多重化ストリームをＴＳごとに分離する。分離部４６１は、ＴＳに含まれる互換ストリームと補助ストリームを抽出し、デコーダ４６２に供給する。また、分離部４６１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、分離部４６１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【０２８４】
ステップＳ４７２において、画像生成部４６３は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ４７２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ４７３に進む。
【０２８５】
ステップＳ４７３において、デコーダ４６２の互換用デコーダ１３１は、分離部４６１から供給される互換ストリームから符号化された互換画像を抽出し、その互換画像をAVC方式に対応する方式で復号する。そして、互換用デコーダ１３１は、復号の結果得られる画像Ａ１を画像生成部４６３に供給する。
【０２８６】
ステップＳ４７４において、補助用デコーダ４７１は、補助ストリームから符号化された補助画像の多重化画像と時間多重化画像を抽出し、図３１の補助用エンコーダ４５１に対応する方式で復号する。補助用デコーダ４７１は、復号の結果得られる補助画像の多重化画像と時間多重化画像を画像生成部１２７に供給し、処理をステップＳ４７５に進める。
【０２８７】
ステップＳ４７５において、画像情報取得部１２３は、分離部４６１から供給される画像情報を取得し、画像生成部４６３に入力する。ステップＳ４７６において、視点間距離情報取得部１２４は、分離部４６１から供給される視点間距離情報を取得し、画像生成部４６３に入力する。
【０２８８】
ステップＳ４７７において、視差画像情報取得部１２５は、分離部４６１から供給される視差画像情報を取得し、画像生成部４６３に入力する。ステップＳ４７８において、互換情報取得部１２６は、分離部４６１から供給される互換情報を取得し、画像生成部４６３に供給する。
【０２８９】
ステップＳ４７９において、画像生成部４６３は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
【０２９０】
ステップＳ４８０において、画像生成部４６３は、ステップＳ４７９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、および時間多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
【０２９１】
ステップＳ４８１において、画像生成部４６３は、ステップＳ４８０で生成された各視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換し、変換後の各視点の画像を視点の位置に基づいて合成する。
【０２９２】
ステップＳ４８２において、画像生成部４６３は、ステップＳ４８１の処理により得られる合成後の多視点の画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
【０２９３】
一方、ステップ４７２で視聴者から２視点方式の３Ｄ画像の表示が指令されたと判定された場合、処理はステップＳ４８３に進む。
【０２９４】
ステップＳ４８３において、デコーダ４６２の互換用デコーダ１３１は、分離部４６１から供給される互換ストリームから符号化された互換画像の多重化画像を抽出し、AVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる互換画像の多重化画像を画像生成部４６３に供給する。
【０２９５】
ステップＳ４８４において、画像情報取得部１２３は、分離部４６１から供給される画像情報を画像生成部４６３に入力する。
【０２９６】
ステップＳ４８５において、画像生成部４６３は、画像情報取得部１２３から供給される画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換用デコーダ１３１による復号の結果得られる互換画像の多重化画像を分離する。
【０２９７】
ステップＳ４８６において、画像生成部４６３は、分離された互換画像の解像度の半分の解像度の互換画像である画像Ａ２および画像Ｂ２を、交互に図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
【０２９８】
なお、復号装置４６０との互換性を有する互換ストリームのみを復号可能な復号装置では、補助ストリームが無視され、ステップＳ４８３，Ｓ４８５、およびＳ４８６の処理が行われる。但し、この場合、ステップＳ４８５の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
【０２９９】
［ベースバンドのデータ伝送］
上述した図３８の復号装置４６０において、点線Ｌ４の左側（分離部４６１およびデコーダ４６２）を再生装置として構成し、点線Ｌ３の右側（画像生成部４６３）を表示装置として構成したとき、その再生装置と表示装置は、それぞれ、上述した再生装置３０１、再生装置３０２と同様に構成される。
【０３００】
＜４．第４の実施の形態＞
［符号化装置の構成例］
図４０は、本技術を適用した伝送システムの第４の実施の形態で伝送される３Ｄ画像を符号化する符号化装置の構成例を示すブロック図である。
【０３０１】
図４０に示す構成のうち、図３１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３０２】
図４０の符号化装置４８０の構成は、主に、視差画像生成部１４３、エンコーダ１４５、視差画像情報生成部５７の代わりに視差画像生成部４８１、エンコーダ４８２、視差画像情報生成部４８３が設けられている点が図３１の構成と異なる。符号化装置４８０は、互換画像に共通の視差値を表す共通視差画像と補助画像の共通視差画像を符号化する。
【０３０３】
具体的には、符号化装置４８０の視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２の間の各画素の視差を検出し、画像Ｃ２と画像Ｄ２の間の各画素の視差を検出する。視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる視差画像を、互換画像の共通視差画像ＡＢ２’として生成し、エンコーダ４８２に供給する。また、視差画像生成部４８１は、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる視差画像を、補助画像の共通視差画像ＣＤ２’として生成し、エンコーダ４８２に供給する。
【０３０４】
また、視差画像生成部４８１は、互換画像および補助画像の視差画像が共通視差画像であることを示す情報を視差画像情報生成部４８３に供給する。
【０３０５】
エンコーダ４８２は、互換用エンコーダ１５１と補助用エンコーダ４９１により構成される。補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに視差画像生成部４８１からの互換画像の共通視差画像ＡＢ２’および補助画像の共通視差画像ＣＤ２’を3DV方式で符号化する。補助用エンコーダ４９１は、その結果得られる符号化ストリームを補助ストリームとして多重化部４４３に供給する。
【０３０６】
視差画像情報生成部４８３は、視差画像生成部５３から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部４４３に供給する。
【０３０７】
［符号化装置の処理の説明］
図４１および図４２は、図４０の符号化装置４８０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
【０３０８】
図４１のステップＳ４９１乃至Ｓ４９８の処理は、図３６のステップＳ４５１乃至Ｓ４５８の処理と同様であるので、説明は省略する。
【０３０９】
図４２のステップＳ４９９において、視差画像生成部４８１は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて、画像Ａ２と画像Ｂ２間の各画素の視差と、画像Ｃ２と画像Ｄ２の各画素の視差を検出する。そして、視差画像生成部４８１は、画像Ａ２と画像Ｂ２の間の各画素の視差を表す視差値からなる共通視差画像ＡＢ２’と、画像Ｃ２と画像Ｄ２の間の各画素の視差を表す視差値からなる共通視差画像ＣＤ２’を生成する。
【０３１０】
ステップＳ５００において、視差画像情報生成部４８３は、視差画像生成部４８１から供給される情報に基づいて、互換画像と補助画像の視差画像が共通視差画像であることを示す情報などを、視差画像情報として生成し、多重化部４４３に入力する。
【０３１１】
ステップＳ５０１において、視差画像生成部４８１は、ステップＳ４９９で生成された補助画像の共通視差画像ＣＤ２’と互換画像の共通視差画像ＡＢ２’をエンコーダ４８２に入力する。
【０３１２】
ステップＳ５０２において、エンコーダ４８２の互換用エンコーダ１５１は、画像変換部１４２から供給される互換画像の多重化画像を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部４４３に供給する。
【０３１３】
ステップＳ５０３において、補助用エンコーダ４９１は、画像変換部１４２からの補助画像の多重化画像、並びに、視差画像生成部４８１からの互換画像の共通視差画像、および補助画像の共通視差画像を3DV方式で符号化する。補助用エンコーダ４９１は、符号化の結果得られる符号化ストリームを補助用ストリームとして多重化部４４３に供給する。
【０３１４】
ステップＳ５０４において、多重化部４４３は、互換用エンコーダ１５１から供給される互換ストリーム、補助用エンコーダ４９１から供給される補助ストリーム、および補助情報からＴＳを生成して多重化し、その結果得られる多重化ストリームを送信する。この多重化ストリームは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
【０３１５】
［復号装置の構成例］
図４３は、図４０の符号化装置４８０から送信される多重化ストリームを復号する復号装置の構成例を示す図である。
【０３１６】
図４３に示す構成のうち、図３８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３１７】
図４３の復号装置５００の構成は、主に、デコーダ１２２、画像生成部１７１の代わりに、デコーダ５０１、画像生成部５０２が設けられている点が図３８の構成と異なる。復号装置５００は、符号化装置４８０から送信される多重化ストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
【０３１８】
具体的には、復号装置５００のデコーダ５０１は、互換用デコーダ１３１と補助用デコーダ５１１により構成される。デコーダ５０１の補助用デコーダ５１１は、分離部４６１から供給される補助ストリームに含まれる補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を、図４０の補助用エンコーダ４９１に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
【０３１９】
画像生成部５０２は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。詳細には、画像生成部５０２は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
【０３２０】
より詳細には、画像生成部５０２は、視差画像情報取得部１２５からの視差画像情報に含まれる互換画像と補助画像の視差画像が共通視差画像であることを示す情報に基づいて、共通視差画像ＡＢ２’と共通視差画像ＣＤ２’をそのままにする。
【０３２１】
また、画像生成部５０２は、図３の画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。さらに、画像生成部５０２は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
【０３２２】
また、画像生成部５０２は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５０２は、各互換画像、各補助画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５０２は、画像生成部１７１と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０３２３】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０３２４】
また、画像生成部５０２は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５０１から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５０２は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
【０３２５】
［復号装置の処理の説明］
図４４は、図４３の復号装置５００による復号処理を説明するフローチャートである。この復号処理は、例えば、図４０の符号化装置４８０から送信される多重化ストリームが復号装置５００に入力されたとき、開始される。
【０３２６】
図４４のステップＳ５１１乃至Ｓ５１３の処理は、図３９のステップＳ４７１乃至Ｓ４７３の処理と同様であるので、説明は省略する。
【０３２７】
ステップＳ５１４において、補助用デコーダ５１１は、補助ストリームから符号化された補助画像の多重化画像、互換画像の共通視差画像ＡＢ２’、および補助画像の共通視差画像ＣＤ２’を抽出し、図４０の補助用エンコーダ４９１における符号化方式に対応する方式で復号する。補助用デコーダ５１１は、復号の結果得られる補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２’を画像生成部５０２に供給する。
【０３２８】
ステップＳ５１５乃至Ｓ５１９の処理は、図３９のステップＳ４７５乃至Ｓ４７９の処理と同様であるので、説明は省略する。
【０３２９】
ステップＳ５１９の処理後、ステップＳ５２０において、画像生成部５０２は、ステップＳ５１９で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報等に基づいて、互換画像、補助画像の多重化画像、共通視差画像ＡＢ２’、および共通視差画像ＣＤ２'を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。
【０３３０】
ステップＳ５２１乃至Ｓ５２６の処理は、図３９のステップＳ４８１乃至Ｓ４８６の処理と同様であるので、説明は省略する。
【０３３１】
［ベースバンドのデータ伝送］
上述した図４３の復号装置５００において、点線Ｌ５の左側（分離部４６１およびデコーダ５０１）を再生装置として構成し、点線Ｌ３の右側（画像生成部５０２）を表示装置として構成したとき、その再生装置と表示装置は、それぞれ、上述した再生装置３０１、再生装置３０２と同様に構成される。
【０３３２】
なお、符号化装置４４０および符号化装置４８０は、符号化装置１４０と同様に２視点の互換画像を多重化して符号化したが、図５の符号化装置１８０と同様に２視点の互換画像を多重化せずに符号化するようにしてもよい。また、符号化装置４４０および符号化装置４８０は、図１の符号化装置５０と同様に、１視点の互換画像を符号化するようにしてもよい。
【０３３３】
また、符号化装置１４０と符号化装置１８０は、互換画像と補助画像の視差画像を多重化せずに符号化するようにしてもよい。さらに、符号化装置５０は、補助画像の視差画像を多重化せずに符号化するようにしてもよい。
【０３３４】
＜符号化対象の多重化パターンの例＞
図４５は、互換画像の視点数が２であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
【０３３５】
図４５の（１）に示すように、図３の符号化装置１４０は、互換画像である画像Ａ２と画像Ｂ２を空間方向に多重化し、AVC方式で符号化する。また、符号化装置１４０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化して、MVC方式に準ずる3DV方式で符号化する。
【０３３６】
なお、符号化装置１４０は、図４５の（２）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。さらに、図４５の（３）に示すように、図４０の符号化装置４８０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’の代わりに、共通視差画像ＡＢ２’を符号化し、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’の代わりに、共通視差画像ＣＤ２’を符号化する。
【０３３７】
また、図４５の（４）に示すように、図３１の符号化装置４４０は、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化する。
【０３３８】
さらに、図４５の（５）に示すように、図５の符号化装置１８０は、互換画像である画像Ａ２と画像Ｂ２を多重化せずに、画像Ａ２をAVC方式で符号化し、画像Ｂ２を、画像Ａ２をベースビューとしたMVC方式で符号化する。また、符号化装置１８０は、補助画像である画像Ｃ２と画像Ｄ２、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’、並びに、補助画像の視差画像である視差画像Ｃ２’と視差画像Ｄ２’をそれぞれ空間方向に多重化し、MVC方式に準ずる3DV方式で符号化する。
【０３３９】
なお、符号化装置１８０は、図４５の（６）に示すように、視差画像Ａ２’乃至Ｄ２’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、符号化装置１８０は、図４５の（７）に示すように、符号化装置４８０と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’を符号化し、視差画像Ｃ２’と視差画像Ｄ２’の代わりに共通視差画像ＣＤ２’を符号化するようにしてもよい。
【０３４０】
さらに、符号化装置１８０は、図４５の（８）に示すように、符号化装置４４０と同様に、視差画像Ａ２’と視差画像Ｂ２’を空間方向に多重化せず、視差画像Ａ２’、視差画像Ｂ２’、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
【０３４１】
図４６は、図４５の（１）乃至（８）に示した多重化パターンでの多重化による効果の特徴を示す図である。
【０３４２】
図４６の表では、効果の項目「互換性」、「画質」、および「データ量」が設けられ、図４５の（１）乃至（８）に示した多重化パターンにおける各項目の効果の度合が表されている。なお、図４６の表において、丸は、効果があることを表し、二重丸は、顕著な効果があることを表す。
【０３４３】
図４５の（１）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が、互換画像と同様に空間方向に多重化されるので、例えば、復号装置側に用意されている互換画像を分離する分離部を用いて視差画像を分離することができる。従って、復号装置側で視差画像を分離できることが保証される。よって、この場合、互換性において顕著な効果があり、図４６の項目「互換性」に対応して二重丸が記述されている。
【０３４４】
また、図４５の（２）に示した多重化パターンで多重化が行われる場合、互換画像の多重化方式および符号化方式が既存の方式と同一となり、互換性が確保される。また、視差画像の解像度が多重化前の画像と同一の解像度であるので精度が高い。その結果、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と、視差画像を用いて生成される画像の画質とにおいて効果があり、図４６の項目「互換性」と「画質」に対応して丸が記述されている。
【０３４５】
さらに、図４５の（３）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、多重化前の画像と同一の解像度の互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量において効果があり、図４６の項目「互換性」と「データ量」に対応して丸が記述されている。
【０３４６】
また、図４５の（４）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、視差画像が時間方向に多重化されるので、各時刻における視差画像のデータ量が、図４５の（３）の場合に比べてより削減され、伝送可能なデータ量が増加する。従って、多重化前の画像と同一の解像度の視差画像を伝送可能なほど伝送帯域に余裕がない状況であっても、多重化前の画像と同一の解像度の視差画像を伝送することができるので、復号装置において、視差画像を用いて生成される所定の視点の画像の精度が向上する。よって、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。従って、図４６の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
【０３４７】
図４５の（１）乃至（４）に示した多重化パターンでの多重化は、例えば、放送、ATSC（Advanced Television Systems Committee）2.0規格等に準拠したＩＰ（Internet Protocol）と融合した放送である次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
【０３４８】
さらに、図４５の（５）に示した多重化パターンで多重化が行われる場合、互換画像の符号化方式および多重化方式が既存の方式と同一となり、互換性が確保される。また、各視差画像の解像度が画像の解像度の半分であるので、互換画像および補助画像の視差画像のデータ量が、2視点分の視差画像のデータ量に削減される。従って、この場合、互換性とデータ量に効果があり、図４６の項目「互換性」と「データ量」に対応して丸が記述されている。
【０３４９】
また、図４５の（６）に示した多重化パターンで多重化が行われる場合、図４５の（２）と同様に、互換性が確保されるとともに、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、図４６の項目「互換性」と「画質」に対応して丸が記述されている。
【０３５０】
また、図４５の（７）に示した多重化パターンで多重化が行われる場合、図４５の（３）と同様に、互換性が確保されるとともに、視差画像のデータ量が削減される。従って、この場合、互換性とデータ量に効果があり、図４６の項目「互換性」と「データ量」に対応して丸が記述されている。
【０３５１】
図４５の（８）に示した多重化パターンで多重化が行われる場合、図４５の（４）と同様に、互換性が確保される。また、図４５の（４）と同様に、各時刻における視差画像のデータ量が、図４５の（７）の場合に比べてより削減され、その結果、復号装置において視差画像を用いて生成される所定の視点の画像の精度が向上する。従って、この場合、互換性と視差画像を用いて生成される画像の画質に効果があり、データ量において顕著な効果がある。よって、図４６の項目「互換性」と「画質」に対応して丸が記述され、「データ量」に対応して二重丸が記述されている。
【０３５２】
また、図４５の（５）、（７）、および（８）に示した多重化パターンでの多重化は、例えば、ＢＤ、放送、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。さらに、図４５の（６）に示した多重化パターンでの多重化は、例えば、ＢＤ、次世代放送、またはインターネット配信のアプリケーション用の画像を符号化対象とするときに行われる。
【０３５３】
図４７は、互換画像の視点数が１であり、補助画像の視点数が２である場合の、符号化対象の多重化パターンの例を示す図である。
【０３５４】
図４７の（１）に示すように、図１の符号化装置５０は、互換画像である画像Ａ１をAVC方式で符号化する。また、符号化装置５０は、補助画像である画像Ｂ１と画像Ｃ１、および、補助画像の視差画像である視差画像Ｂ１’と視差画像Ｃ１’をそれぞれ時間方向に多重化する。そして、符号化装置５０は、互換画像の視差画像である視差画像Ａ１’、補助画像の多重化画像、および補助画像の視差画像の多重化画像を、MVC方式に準ずる3DV方式で符号化する。
【０３５５】
なお、符号化装置５０は、図４７の（２）に示すように、視差画像Ａ１’乃至Ｃ１’を多重化せず、MVC方式に準ずる3DV方式で符号化するようにしてもよい。また、図４７の（３）に示すように、符号化装置５０は、符号化装置４８０と同様に、補助画像の視差画像の多重化画像の代わりに、補助画像である画像Ｂと画像Ｃの共通視差画像ＢＣ１’を符号化するようにすることもできる。
【０３５６】
さらに、図４７の（４）に示すように、符号化装置５０は、符号化装置４４０と同様に、視差画像Ｂ１’と視差画像Ｃ１’を空間方向に多重化せず、視差画像Ａ１’乃至視差画像Ｃ１’をフレームシーケンシャル方式で多重化し、MVC方式に準ずる3DV方式で符号化するようにすることもできる。
【０３５７】
なお、図４７の（１）乃至（４）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図４５の（５）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同様である。但し、図４７の（１）に示した多重化パターンでの多重化では、互換画像の視差画像の解像度は互換画像と同一であるので、この多重化による効果としての視差画像のデータ量の削減は、補助画像の視差画像についてのみの効果である。
【０３５８】
図４８は、互換画像の視点数が２であり、補助画像の視点数が０である場合の、符号化対象の多重化パターンの例を示す図である。
【０３５９】
互換画像の視点数が２であり、補助画像の視点数が０である場合、図４８の（１）に示すように、図３の符号化装置１４０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が空間方向に多重化されて、AVC方式で符号化される。また、互換画像の視差画像である視差画像Ａ２’と視差画像Ｂ２’が空間方向に多重化されて、AVC方式に準ずる3DV方式で符号化される。
【０３６０】
なお、図４８の（２）に示すように、視差画像Ａ２’と視差画像Ｂ２’は多重化されず、MVC方式に準ずる3DV方式で符号化されるようにしてもよい。また、図４８の（３）に示すように、符号化装置４８０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’の代わりに共通視差画像ＡＢ２’が符号化されるようにすることもできる。
【０３６１】
また、図４８の（４）に示すように、符号化装置４４０の場合と同様に、視差画像Ａ２’と視差画像Ｂ２’が、時間方向に多重化されるのではなく、フレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
【０３６２】
さらに、図４８の（５）に示すように、符号化装置１８０の場合と同様に、互換画像である画像Ａ２と画像Ｂ２が多重化されずに、画像Ａ２がAVC方式で符号化されるとともに、画像Ｂ２が、画像Ａ２をベースビューとしたMVC方式で符号化されるようにすることもできる。
【０３６３】
また、この場合、図４８の（６）に示すように、図４８の（２）と同様に、視差画像が多重化されずに符号化されたり、図４８の（７）に示すように、図４８の（３）と同様に、共通視差画像ＡＢ２’が符号化されたりするようにすることもできる。また、図４８の（８）に示すように、図４８の（４）と同様に、互換画像の視差画像がフレームシーケンシャル方式で多重化され、符号化されるようにすることもできる。
【０３６４】
なお、図４７の（１）乃至（８）に示した多重化パターンでの多重化による効果、および、その多重化パターンでの多重化を行うときの符号化対象は、それぞれ、図４５の（１）乃至（８）に示した多重化パターンでの多重化による効果および符号化対象と同一である。
【０３６５】
また、上述した説明では、フレームシーケンシャル方式で多重化される視差画像の解像度は、多重化前の画像と同一の解像度であったが、多重化前の画像の解像度より低下させるようにしてもよい。また、補助画像も、視差画像と同様にフレームシーケンシャル方式で多重化されるようにしてもよい。
【０３６６】
さらに、上述した説明では、符号化装置において、画像の多重化方式を示す情報と視差画像の多重化方式を示す情報が伝送されたが、図４５、図４７、および図４８に示した多重化パターンを識別する情報を伝送するようにしてもよい。
【０３６７】
また、符号化装置は、符号化対象の画像に対応するアプリケーションを識別するフラグを伝送するようにしてもよい。
【０３６８】
＜５．第５の実施の形態＞
［符号化装置の構成例］
図４９は、本技術を適用した伝送システムの第５の実施の形態で伝送される３Ｄ画像を符号化する符号化装置の構成例を示すブロック図である。
【０３６９】
図４９に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３７０】
図４９の符号化装置５２０の構成は、主に、エンコーダ１４５、多重化部４４３の代わりにエンコーダ５２３、伝送部５２４が設けられている点、および、多重化部５２１と多重化情報生成部５２２が新たに設けられている点が図３の構成と異なる。
【０３７１】
符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像をフレームシーケンシャル方式で多重化し、符号化する。
【０３７２】
具体的には、符号化装置５２０の多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。
【０３７３】
そして、多重化部５２１は、多重化の結果得られる、１フレーム時間内に、互換画像の多重化画像、互換画像の視差画像の多重化画像、補助画像の多重化画像、および補助画像の視差画像の多重化画像が順に存在する多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
【０３７４】
また、多重化部５２１は、互換画像および補助画像の多重化画像、並びに、互換画像および補助画像の視差画像の多重化画像が、フレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
【０３７５】
多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを、互換画像および補助画像、並びに、互換画像および補助画像の視差画像の多重化に関する全体多重化情報として生成し、伝送部５２４に供給する。
【０３７６】
エンコーダ５２３は、互換用エンコーダ５３１と補助用エンコーダ５３２により構成される。エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、多重化部５２１から供給される時間多重化画像のうちの、互換画像の多重化画像を互換用エンコーダ５３１に供給する。また、エンコーダ５２３は、多重化部５２１から供給される情報に基づいて、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、補助用エンコーダ５３２に供給する。
【０３７７】
エンコーダ５２３の互換用エンコーダ５３１は、時間多重化画像のうちの、互換画像の多重化画像を既存のAVC方式で符号化する。補助用エンコーダ５３２は、時間多重化画像のうちの補助画像の多重化画像並びに互換画像および補助画像の視差画像の多重化画像を、3DV方式で符号化する。このとき、補助画像の多重化画像は、互換画像の多重化画像を参照して符号化され、補助画像の視差画像の多重化画像は、互換画像の視差画像の多重化画像を参照して符号化される。
【０３７８】
エンコーダ５２３は、互換用エンコーダ５３１または補助用エンコーダ５３２で符号化された結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
【０３７９】
伝送部５２４は、エンコーダ５２３から供給されるビットストリーム、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、視点間距離情報生成部１４４からの視点間距離情報、視差画像情報生成部５７からの視差画像情報、多重化情報生成部５２２からの全体多重化情報などを用いて、ＴＳを生成する。多重化部４４３は、生成されたＴＳを送信する。
【０３８０】
［符号化装置の処理の説明］
図５０および図５１は、図４９の符号化装置５２０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部１４１Ａ乃至撮影部１４１Ｄから画像Ａ２乃至画像Ｄ２が出力されたとき開始される。
【０３８１】
図５０のステップＳ５３１乃至Ｓ５３７の処理は、図３６のステップＳ４５１乃至Ｓ４５７の処理と同様であるので、説明は省略する。
【０３８２】
ステップＳ５３７の処理後、ステップＳ５３８において、画像変換部１４２は、互換画像の多重化画像と補助画像の多重化画像を多重化部５２１に入力し、処理を図５１のステップＳ５３９に進める。
【０３８３】
図５１のステップＳ５３９において、視差画像生成部１４３は、撮影部１４１Ａ乃至撮影部１４１Ｄから供給される画像Ａ２乃至画像Ｄ２を用いて画像Ａ２乃至画像Ｄ２の各画素の視差を検出し、視差画像Ａ２’乃至視差画像Ｄ２’を生成する。
【０３８４】
ステップＳ５４０において、視差画像生成部１４３は、互換画像の視差画像と補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像情報生成部５７に供給する。
【０３８５】
ステップＳ５４１において、視差画像情報生成部５７は、視差画像生成部１４３から供給される情報に基づいて、互換画像の視差画像と補助画像の視差画像の多重化方式を示す情報などを、視差画像情報として生成し、伝送部５２４に入力する。
【０３８６】
ステップＳ５４２において、視差画像生成部１４３は、ステップＳ５４０で決定された互換画像の視差画像の多重化方式に基づいて、互換画像の視差画像Ａ２’と視差画像Ｂ２’を多重化し、補助画像の視差画像の多重化方式に基づいて補助画像の視差画像Ｃ２’と視差画像Ｄ２’を多重化する。
【０３８７】
ステップＳ５４３の処理後、ステップＳ５４４において、多重化部５２１は、画像変換部１４２による多重化の結果得られる互換画像および補助画像の多重化画像、並びに、視差画像生成部１４３による多重化の結果得られる互換画像および補助画像の視差画像の多重化画像を、フレームシーケンシャル方式で多重化する。多重化部５２１は、多重化の結果得られる多重化画像を、時間方向多重化画像としてエンコーダ５２３に供給する。
【０３８８】
また、多重化部５２１は、互換画像および補助画像の多重化画像並びに視差画像の多重化画像がフレームシーケンシャル方式で多重化されていること、時間多重化画像内の画像の配置順等を示す情報を、多重化情報生成部５２２およびエンコーダ５２３に供給する。
【０３８９】
ステップＳ５４５において、多重化情報生成部５２２は、多重化部５２１から供給される情報に基づいて、その情報などを全体多重化情報として生成し、伝送部５２４に入力する。
【０３９０】
ステップＳ５４６において、互換用エンコーダ５３１は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの互換画像の多重化画像を既存のAVC方式で符号化する。
【０３９１】
ステップＳ５４７において、補助用エンコーダ５３２は、エンコーダ５２３によって多重化部５２１からの情報に基づいて入力される、時間多重化画像のうちの補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を、3DV方式で符号化する。エンコーダ５２３は、ステップＳ５４６およびＳ５４７の符号化の結果得られる時間多重化画像の符号化データからなるビットストリームを伝送部５２４に供給する。
【０３９２】
ステップＳ５４８において、伝送部５２４は、エンコーダ５２３からのビットストリーム、補助情報、および多重化情報生成部５２２からの全体多重化情報からＴＳを生成し、送信する。このＴＳは、例えばＢＤ等に記録されたり、放送用ストリームとして送信されたりする。そして、処理は終了する。
【０３９３】
以上のように、符号化装置５２０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから１本のビットストリームを生成する。従って、1本のビットストリームのみを復号可能なデコーダを有する復号装置において、符号化装置５２０により生成されたビットストリームを復号することができる。
【０３９４】
なお、上述した説明では、互換画像の視差画像、補助画像、および補助画像の視差画像が、互換画像の符号化方式に準ずる3DV方式で符号化されるものとしたが、互換画像の符号化方式に準じないMPEG2（Moving Picture Experts Group phase 2）方式等で符号化されるようにしてもよい。
【０３９５】
［復号装置の構成例］
図５２は、図４９の符号化装置５２０から送信されるＴＳを復号する復号装置の構成例を示す図である。
【０３９６】
図５２に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３９７】
図５２の復号装置５４０の構成は、主に、分離部１２１、デコーダ１２２、画像生成部１７１の代わりに受信部５４１、デコーダ５４２、画像生成部５４４が設けられている点、および、多重化情報取得部５４３が新たに設けられている点が図４の構成と異なる。復号装置５４０は、符号化装置５２０から送信されるＴＳに含まれる時間多重化画像のビットストリームを復号し、２視点の画像または多視点の画像を生成して、図示せぬ表示装置に表示させる。
【０３９８】
具体的には、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれる時間多重化画像のビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
【０３９９】
デコーダ５４２は、互換用デコーダ５５１と補助用デコーダ５５２により構成される。デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームに含まれる互換画像の多重化画像の符号化データをAVC方式に対応する方式で復号し、画像生成部５４４に供給する。
【０４００】
補助用デコーダ５５２は、受信部５４１から供給されるビットストリームに含まれる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを、図４９の補助用エンコーダ５３２における符号化方式に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給する。
【０４０１】
多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に供給する。
【０４０２】
画像生成部５４４は、視聴者からの表示指令に応じて、画像を出力し、図示せぬ表示装置に表示させる。具体的には、画像生成部５４４は、視聴者からの多視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報、視点間距離情報取得部１２４からの視点間距離情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、図示せぬ表示装置に対応する３以上の視点数の、互換画像や補助画像の解像度の半分の解像度の画像を生成する。
【０４０３】
より詳細には、画像生成部５４４は、多重化情報取得部５４３からの全体多重化情報に基づいて、補助用デコーダ５５２から供給される補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を識別する。また、画像生成部５４４は、図４の画像生成部１７１と同様に、視差画像情報取得部１２５からの視差画像情報に含まれる補助画像の視差画像の多重化方式を示す情報に基づいて、補助画像の視差画像の多重化画像から、各補助画像の視差画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、視差画像情報に含まれる互換画像の視差画像の多重化方式を示す情報に基づいて、互換画像の視差画像の多重化画像から、各互換画像の視差画像を分離する。
【０４０４】
さらに、画像生成部５４４は、画像生成部１７１と同様に、画像情報取得部１２３からの画像情報に含まれる補助画像の多重化方式を示す情報に基づいて、補助画像の多重化画像から、各補助画像を分離する。また、画像生成部５４４は、画像生成部１７１と同様に、画像情報に含まれる互換画像の多重化方式を示す情報に基づいて、互換画像の多重化画像から、各互換画像を分離する。
【０４０５】
また、画像生成部５４４は、画像生成部１７１と同様に、視点間距離情報と図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。そして、画像生成部５４４は、画像生成部１７１と同様に、各互換画像、各補助画像、各互換画像の視差画像、および各補助画像の視差画像を用いて、位置が決定された各視点の画像を生成する。そして、画像生成部５４４は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０４０６】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示され、視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０４０７】
また、画像生成部５４４は、画像生成部１７１と同様に、視聴者からの２視点方式の３Ｄ画像の表示指令に応じて、画像情報取得部１２３からの画像情報に基づいて、デコーダ５４２から供給される互換画像の多重化画像を、互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２に分離する。そして、画像生成部５４４は、画像生成部１７１と同様に、分離された互換画像の解像度の半分の解像度の画像Ａ２と画像Ｂ２を交互に出力して、図示せぬ表示装置に表示させる。このとき、視聴者は、画像Ａ２の表示時に左目用のシャッタまたは右目用のシャッタの一方が開き、画像Ｂ２の表示時に他方が開くメガネを装着して、表示装置に交互に表示される画像Ａ２と画像Ｂ２を見ることにより、３Ｄ画像を見ることができる。
【０４０８】
［復号装置の処理の説明］
図５３は、図５２の復号装置５４０による復号処理を説明するフローチャートである。この復号処理は、例えば、図４９の符号化装置５２０から送信されるＴＳが復号装置５４０に入力されたとき、開始される。
【０４０９】
図５３のステップＳ５５１において、復号装置５４０の受信部５４１は、符号化装置５２０から送信されてくるＴＳを受信する。受信部５４１は、ＴＳに含まれるビットストリームを抽出し、デコーダ５４２に供給する。また、受信部５４１は、ＴＳに含まれる補助情報を抽出し、補助情報のうちの画像情報を画像情報取得部１２３に供給し、視点距離情報を視点間距離情報取得部１２４に供給する。さらに、受信部５４１は、補助情報のうちの視差画像情報を視差画像情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、受信部５４１は、ＴＳに含まれる全体多重化情報を抽出し、多重化情報取得部５４３に供給する。
【０４１０】
ステップＳ５５２において、画像生成部５４４は、視聴者から２視点方式の３Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ５５２で視聴者から２視点方式の３Ｄ画像の表示が指令されていないと判定された場合、即ち多視点方式の３Ｄ画像の表示が指令された場合、処理はステップＳ５５３に進む。
【０４１１】
ステップＳ５５３において、デコーダ５４２の互換用デコーダ５５１は、受信部５４１から供給されるビットストリームから互換画像の多重化画像の符号化データを抽出し、AVC方式に対応する方式で復号する。そして、互換用デコーダ５５１は、復号の結果得られる互換画像の多重化画像を画像生成部５４４に供給する。
【０４１２】
ステップＳ５５４において、補助用デコーダ５５２は、受信部５４１から供給されるビットストリームから補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データを抽出し、図４９の補助用エンコーダ５３２に対応する方式で復号する。補助用デコーダ５５２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を画像生成部５４４に供給し、処理をステップＳ５５５に進める。
【０４１３】
ステップＳ５５５乃至Ｓ５５８の処理は、図３９のステップＳ４７５乃至Ｓ４７８の処理と同様であるので、説明は省略する。
【０４１４】
ステップＳ５５８の処理後、ステップＳ５５９において、多重化情報取得部５４３は、受信部５４１から供給される全体多重化情報を取得し、画像生成部５４４に入力する。
【０４１５】
ステップＳ５６０において、画像生成部５４４は、視点間距離情報取得部１２４からの視点間距離情報と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の各視点の位置を決定する。
【０４１６】
ステップＳ５６１において、画像生成部５４４は、ステップＳ５６０で決定された各視点の位置、画像情報取得部１２３からの画像情報、視差画像情報取得部１２５からの視差画像情報、互換情報取得部１２６からの互換情報、多重化情報取得部５４３からの全体多重化情報等に基づいて、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像を用いて、各視点の、互換画像や補助画像の半分の解像度の画像を生成する。そして、処理はステップＳ５６２に進む。
【０４１７】
ステップＳ５６２乃至Ｓ５６７の処理は、図３９のステップＳ４８１乃至Ｓ４８６の処理と同様であるので、説明は省略する。但し、ステップＳ５６４の処理では、互換用デコーダ５５１は、互換ストリームではなく、受信部５４１から供給されるビットストリームから互換画像の多重化画像を抽出する。
【０４１８】
なお、復号装置５４０との互換性を有する互換画像のみを復号可能な復号装置では、処理可能な互換画像の符号化データ以外の符号化データが無視され、ステップＳ５６４，Ｓ５６６、およびＳ５６７の処理が行われる。但し、この場合、ステップＳ５６６の処理では、予め決められた多重化方式に基づいて、互換画像の多重化画像が分離される。
【０４１９】
以上のように、復号装置５４０は、互換画像の多重化画像、補助画像の多重化画像、互換画像の視差画像の多重化画像、および補助画像の視差画像の多重化画像の符号化データから生成された１本のビットストリームを復号することができる。
【０４２０】
［ベースバンドのデータ伝送］
上述した図５２の復号装置５４０において、点線Ｌ５の左側（受信部５４１およびデコーダ５４２）を再生装置として構成し、点線Ｌ５の右側（画像生成部５４４）を表示装置として構成したとき、その再生装置と表示装置は、それぞれ、上述した再生装置３０１、再生装置３０２と同様に構成される。
【０４２１】
＜６．本実施の形態におけるビットストリーム＞
［ビットストリームの構成例］
図５４は、本実施の形態で生成されるアクセスユニット単位のビットストリーム（符号化ストリーム）の構成例を示す図である。
【０４２２】
なお、図５４の例では、互換画像が1920×1080画素のＬ画像とＲ画像であり、補助画像が1920×1080画素のＯ画像である。また、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のサイズは、960×1080画素である。さらに、Ｌ画像はAVC方式で符号化され、Ｒ画像はMVC方式で符号化され、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像は3DV方式で符号化される。また、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、Ｏ視差画像のビューＩＤは、それぞれ、0,1,2,3,4,5である。なお、ビューＩＤとは、各視点の画像および視差画像に固有のＩＤである。
【０４２３】
図５４に示すように、アクセスユニット単位のビットストリームには、例えば、先頭から順に、アクセスユニットデリミタ(AUD)，SPS（Sequence Parameter Set）、画像用のMVC方式のSubset SPS（SubsetSPS1）、視差画像用の3DV方式のSubset SPS（Subset SPS2）,PPS（Picture Parameter Set）,AVC方式のSEI,MVC方式のSEI,3DV方式のSEI、符号化データのNAL(Network Abstraction Layer)ユニットが配置される。
【０４２４】
アクセスユニットデリミタのNALユニットは、アクセスユニットの境界を表すNALユニットである。SPSのNALユニットは、AVC方式で定義されるプロファイルのうちのＬ画像のプロファイルを表すprofile_idc（図５４の例では100）を含むSPSのNALユニットである。画像用のSubset SPSのNALユニットは、MVC方式で定義されるプロファイルのうちのＲ画像およびＯ画像のプロファイルを表すprofile_idc（図５４の例では128）を含むSubset SPSのNALユニットである。視差画像用のSubset SPSのNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図５４の例では138）を含むSubset SPSのNALユニットである。
【０４２５】
AVC方式のSEIのNALユニットは、Ｌ画像のSEIのNALユニットである。MVC方式のSEIのNALユニットは、Ｌ画像とR画像のSEIのNALユニットである。3DV方式のSEIのNALユニットは、Ｌ画像、Ｒ画像、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のSEIのNALユニットである。
【０４２６】
符号化データのNALユニットとしては、先頭から順に、Ｌ画像の符号化データ、デリミタ（MVC DD）、Ｒ画像の符号化データ、デリミタ（3DV DD）、O画像の符号化データ、デリミタ（3DV DD）、Ｌ視差画像の符号化データ、デリミタ（3DV DD）、Ｒ視差画像の符号化データ、デリミタ（3DV DD）、Ｏ視差画像の符号化データのNALユニットが配置される。
【０４２７】
Ｌ画像の符号化データのNALユニットには、NALユニットのタイプとしてAVC方式のピクチャであることを表す1または5を含むNALヘッダが付加される。また、デリミタ（MVC DD）のNALユニットは、MVC方式の符号化データの先頭を表すNALユニットである。Ｒ画像の符号化データのNALユニットには、NALユニットのタイプとしてMVC方式の符号化データを表す20を含むNALヘッダが付加される。また、デリミタ（3DV DD）のNALユニットは、3DV方式の符号化データの先頭を表すNALユニットである。また、Ｏ画像、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像の符号化データのNALユニットには、NALユニットのタイプとして3DV方式の符号化データを表す21を含むNALヘッダが付加される。
【０４２８】
［視差画像用の3DV方式のSubset SPSの記述例］
図５５は、図５４の視差画像用の3DV方式のSubset SPSの記述例を示す図である。
【０４２９】
図５５に示すように、視差画像用の3DV方式のSubset SPSには、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図５５の例では138）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
【０４３０】
具体的には、視差画像用の3DV方式のSubset SPSには、profile_idcが138であるときの情報として、視差画像用拡張情報（seq_parameter_set_depth_extension）、視差画像用VUI拡張情報が含まれるかどうかを表す視差画像用VUI情報フラグ（depth_vui_parameters_present_flag）等が記述される。また、視差画像用VUI情報フラグが、視差画像用VUI拡張情報が含まれることを表す場合には、視差画像用VUI拡張情報（depth_vui_parameters__extension）も記述される。
【０４３１】
なお、視差画像用の3DV方式のSubset SPSを復号時に参照する場合、即ち、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像を復号する場合、IDRピクチャの復号時と同様に、参照画像はリセットされる。
【０４３２】
図５６は、図５５の視差画像用拡張情報の記述例を示す図である。
【０４３３】
図５６に示すように、視差画像用拡張情報は、MVC方式のSubset SPS内の拡張情報（seq_parameter_set_mvc_extension）と同様に記述される情報と、各視差画像に対応する画像のビューＩＤ（ref_view_id）とからなる。
【０４３４】
なお、図５６では、MVC方式のSubset SPS内の拡張情報と同様に記述される情報は展開されて視差画像用拡張情報に含められる。従って、各視差画像のビューＩＤ（view_id）と、各視差画像に対応する画像のビューＩＤとを、視差画像ごとにまとめて記述することができる。即ち、視差画像の数を表す情報（num_views_minus1）を記述し、その数だけ、視差画像のビューＩＤと、その視差画像に対応する画像のビューＩＤを読み出させる記述を行うことができる。
【０４３５】
これに対して、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されずに視差画像用拡張情報に含められる場合、視差画像用拡張情報のほかに、視差画像の数を表す情報を記述し、その数だけ、視差画像に対応する画像のビューＩＤを読み出させる記述を行う必要がある。その結果、視差画像の数を表す情報の記述と、その数だけ情報を読み出させる記述が重複する。
【０４３６】
従って、図５６に示すように、MVC方式のSubset SPS内の拡張情報と同様に記述される情報が展開されて視差画像用拡張情報に含められる場合、その情報が展開されずに視差画像用拡張情報に含められる場合に比べて、視差画像用拡張情報のデータ量を削減することができる。
【０４３７】
図５７は、図５５の視差画像用VUI拡張情報の記述例を示す図である。
【０４３８】
図５７に示すように、視差画像用VUI拡張情報は、以下の点を除いて、MVC方式のVUI拡張情報（mvc_vui_parameters__extension）と同様に記述される。即ち、視差画像用VUI情報には、視差画像の各画素の、その視差画像に対応する画像上の位置のタイプを表す位置タイプが含まれるかどうかを表す位置タイプフラグ(depth_loc_info_present_flag)と解像度変換前の視差画像のサイズを表す変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が含まれる。また、位置タイプフラグが、位置タイプが含まれることを表す場合、視差画像用VUI情報には位置タイプも含まれ、変換前サイズ情報フラグが、変換前サイズ情報が含まれることを表す場合、視差画像用VUI情報には変換前サイズ情報も含まれる。
【０４３９】
位置タイプは、トップフィールドの位置タイプ(depth_sample_loc_type_top_field)とボトムフィールドの位置タイプ(depth_sample_loc_type_bottom_field)からなる。トップフィールドおよびボトムフィールドの位置タイプは、それぞれ、MVC方式のVUI拡張情報に含まれるトップフィールドの位置タイプ(chroma_sample_loc_type_top_field)やボトムフィールドの位置タイプ(chroma_sample_loc_type_bottom_field)と同様に記述される。
【０４４０】
また、変換前サイズ情報は、解像度変換前の視差画像の横方向のマクロブロック数を表す情報（pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(aspect_ratio_info_present_flag)等により構成される。なお、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報にはアスペクト情報も含まれる。
【０４４１】
アスペクト情報は、アスペクト比に固有のＩＤであるアスペクト比ＩＤ（aspect_ratio_idc）等からなる。なお、このアスペクト比ＩＤは、予め定義されているアスペクト比に付与されるほか、定義されていないアスペクト比全体に対しても付与される。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の視差画像のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
【０４４２】
［3DV方式の符号化データのNALヘッダの記述例］
図５８は、NALユニットタイプとして21を含む、3DV方式の符号化データのNALユニットのNALヘッダの記述例を示す図である。
【０４４３】
図５８に示すように、3DV方式の符号化データのNALヘッダには、NALユニットタイプが21であるときの情報として、視差画像用ヘッダ拡張情報が含まれているかどうかを表す視差画像用ヘッダ拡張情報フラグ（depth_extension_flag）等が記述される。ここで、視差画像用ヘッダ拡張情報は、3DV方式の視差画像の符号化データのNALヘッダに記述されるものである。
【０４４４】
視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていることを表す場合、3DV方式の符号化データのNALヘッダには、視差画像用ヘッダ拡張情報（nal_unit_header_depth_extension）も記述される。一方、視差画像用ヘッダ拡張情報フラグが、視差画像用ヘッダ拡張情報が含まれていないことを表す場合、3DV方式の符号化データのNALヘッダには、MVC方式用ヘッダ拡張情報（nal_unit_header_mvc_extension）も記述される。
【０４４５】
図５９は、図５８の視差画像用ヘッダ拡張情報の記述例を示す図である。
【０４４６】
図５９に示すように、視差画像用ヘッダ拡張情報は、視差画像に対応する画像のビューＩＤ（ref_view_id）を含む点を除いて、MVC方式用ヘッダ拡張情報と同様に構成される。
【０４４７】
［3DV方式のSEIの記述例］
図６０は、図５４の3DV方式のSEIの記述例を示す図である。
【０４４８】
図６０に示すように、3DV方式のSEIは、MVC方式のSEIと同様に、SEIのメッセージが記述される。
【０４４９】
即ち、3DV方式のSEIには、オペレーションポイントを指定するかどうかを表すオペレーションポイントフラグ（operation_point_flag）が記述され、オペレーションポイントフラグが、オペレーションポイントを指定しないことを表す場合、アクセスユニット内の全ての画像および視差画像にSEIのメッセージを適応するかどうかを表す全コンポーネントフラグ（all_view_components_in_au_flag）が記述される。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）とビューＩＤ(sei_view_id)が記述される。
【０４５０】
一方、オペレーションポイントフラグが、オペレーションポイントを指定することを表す場合、SEIのメッセージを適応するオペレーションポイントのうちの適応対象の画像および視差画像のビューＩＤ(sei_op_view_id)と、そのオペレーションポイントの番号(sei_op_temporal_id)とが記述される。そして、SEIのメッセージ(sei_rbsp)が記述される。なお、3DV方式のSEIでは、複数のSEIのメッセージを記述することが可能である。
【０４５１】
なお、図５４の例では、Ｒ画像とＯ画像のプロファイルが同一であるものとしたが、異なるようにすることもできる。
【０４５２】
[ビットストリームの他の構成例]
図６１は、図５４においてＲ画像とＯ画像のプロファイルが異なる場合のアクセスユニット単位のビットストリームの構成例を示す図である。
【０４５３】
図６１のビットストリームの構成は、画像用のMVC方式のSubset SPSと視差画像用の3DV方式のSubset SPSのほかに、画像用の3DV方式のSubset SPSが配置される点が、図５４のビットストリームの構成と異なっている。
【０４５４】
画像用のMVC方式のSubset SPSのNALユニット（Subset SPS1）は、MVC方式で定義されるプロファイルのうちのＲ画像のプロファイルを表すprofile_idc（図６１の例では128）を含むSubset SPSのNALユニットである。画像用の3DV方式のSubset SPS（Subset SPS2）のNALユニットは、3DV方式で画像用のプロファイルとして定義されるプロファイルのうちのＯ画像のプロファイルを表すprofile_idc（図６１の例では148）を含むSubset SPSのNALユニットである。視差画像用のSubset SPS（Subset SPS3）のNALユニットは、3DV方式で視差画像用のプロファイルとして定義されるプロファイルのうちの、Ｌ視差画像、Ｒ視差画像、およびＯ視差画像のプロファイルを表すprofile_idc（図６１の例では138）を含むSubset SPSのNALユニットである。
【０４５５】
[画像用の3DV方式のSubset SPSの記述例]
図６２は、図６１の画像用の3DV方式のSubset SPSの記述例を示す図である。
【０４５６】
図６２に示すように、画像用の3DV方式のSubset SPSは、画像Ｏのプロファイルを表すprofile_idc（図６２の例では148）を含むSPS（seq_parameter_set_data）と、3DV方式で定義されているprofile_idcごとの情報とが記述されている。
【０４５７】
具体的には、画像用の3DV方式のSubset SPSには、profile_idcが148であるときの情報として、MVC方式のSubset SPSと同様に、MVC方式の拡張情報（seq_parameter_set_mvc_extension）、MVC方式のVUI拡張情報が含まれるかどうかを表すMVC方式VUI情報フラグ（mvc_vui_parameters_present_flag）等が記述される。また、MVC方式VUI情報フラグが、MVC方式のVUI拡張情報が含まれることを表す場合には、MVC方式のVUI拡張情報（mvc_vui_parameters_extension）も記述される。また、profile_idcが138であるときの情報としては、図５５と同様の情報が記述される。
【０４５８】
なお、3DV方式は、AVC方式やMVC方式ではなく、HEVC方式に準じた多視点方式での表示用の画像を符号化するための方式であるようにしてもよい。この場合のビットストリームについて以下に説明する。なお、本明細書では、HEVC方式が、JCTVC（Joint Collaborative Team on Video Coding）のHEVC Working Draft（Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,“WD3:Working Draft3 of High-Efficiency Video Coding”,JCTVc-E603_d5(version5), 2011年5月20日）の記載に基づくものであるとする。
【０４５９】
＜７．3DV方式がHEVC方式に準じた方式である場合のビットストリーム＞
[ビットストリームの構成例]
図６３は、3DV方式がHEVC方式に準じた方式である場合のアクセスユニット単位のビットストリームの構成例を示す図である。
【０４６０】
なお、図６３の例では、図５４の例と同様のＬ視点画像、Ｒ視点画像、およびＯ視点画像が符号化対象とされ、Ｌ画像がAVC方式で符号化され、Ｌ視差画像、Ｒ視点画像、およびＯ視点画像が3DV方式で符号化される。
【０４６１】
図６３のビットストリームは、画像用の3DV方式のSubset SPS（SubsetSPS1）と視差画像用の3DV方式のSubset SPS（Subset SPS2）をSPS内に記述可能である点、HEVC方式のSEIと3DV方式のSEIのNALユニットに、それぞれ別のNALユニットのタイプを含むNALヘッダが付加される点が、図５４のビットストリームと異なっている。
【０４６２】
図６３のビットストリームでは、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSをSPS内にのみ記述させたり、SPSとは別に記述させたり、SPSに記述させるとともにSPSとは別に記述させたりすることができる。なお、画像用の3DV方式のSubset SPSと視差画像用の3DV方式のSubset SPSが、SPSと別に記述されることは、BD規格に準拠して、HEVC方式の符号化データと3DV方式の符号化データを別のES（Elementary Stream）として生成する場合に好適である。
【０４６３】
また、図６３のビットストリームでは、HEVC方式のSEIのNALユニットと3DV方式のSEIのNALユニットに付加されるNALヘッダに含まれるNALユニットのタイプが異なるため、復号時にHEVC方式のSEIや3DV方式のSEIのNALユニットを容易に抽出することができる。
【０４６４】
[SPSの記述例]
図６４は、図６３のSPSの記述例を示す図である。
【０４６５】
図６４のSPSの記述は、Subset SPSの情報が含まれるかどうかを表すSubset SPS情報フラグ（subset_seq_present_flag）が記述される点、および、Subset SPS情報フラグがSubset SPSの情報が含まれることを表す場合にSubset SPSの情報が記述される点を除いて、HEVC方式のSPSの記述と同様である。
【０４６６】
図６４に示すように、Subset SPSの情報は、Subset SPSの数(num_subset_seq)と、Subset SPSを含むかどうかを表すSubset SPSフラグ(subset_seq_info_present_flag)を含む。また、Subset SPSフラグが、Subset SPSを含むことを表す場合、Subset SPSの情報には、Subset SPS(subset_seq_parameter_set_data)も含まれる。
【０４６７】
以上のように、Subset SPSの情報としてSubset SPSの数が記述されるので、復号時にSPSの記述を読み出すだけで、Subset SPSが存在するかどうかを認識することができる。また、Subset SPSフラグが記述されるので、Subset SPSをSPS内に記述せずにSPSとは別に記述することができ、Subset SPSの記述の重複を防止することができる。
【０４６８】
[Subset SPSの記述例]
図６５は、図６４のSubset SPSの記述例を示す図である。
【０４６９】
図６５のSubset SPSの記述は、Subset SPSを適応する画像および視差画像のビューＩＤの数（num_subset_seq_views）、Subset SPSの適応対象が視差画像であるかどうかを表す視差画像用フラグ（depth_extension_flag）、およびSubset SPSの適応時にSPSを無効にするかどうかを表す無効フラグ（seq_param_override_flag）が記述される点を除いて、HEVC方式のSPSの記述と同様である。
【０４７０】
視差画像用フラグが、Subset SPSの適応対象が視差画像であることを表す場合、Subset SPSには、適応対象の視差画像に対応する画像のビューＩＤ（ref_view_id）が記述される。また、無効フラグが、Subset SPSの適応時にSPSを無効にすることを表す場合、Subset SPSには、SPSと同様に、プロファイルを表す情報(subset_seq_profile_idc)等が記述される。
【０４７１】
また、Subset SPSの記述のうちのSPSの記述と同様の記述としては、例えば、適応する画像および視差画像がクロッピングされているかどうかを表す情報（subset_seq_frame_cropping_flag）、VUI情報（subset_seq_vui_parameters）を含むかどうかを表すVUI情報フラグ（subset_seq_vui_parameters_present_flag）等がある。VUI情報フラグがVUI情報を含むことを表す場合、SPSと同様にVUI情報も記述される。一方、VUI情報フラグがVUI情報を含まないことを表す場合、SPSと同様にVUI情報が記述されない。この場合、VUI情報としてはSPSのVUI情報が適応される。
【０４７２】
[Subset SPSのVUI情報の記述例]
図６６は、図６５のSubset SPSのVUI情報の記述例を示す図である。
【０４７３】
図６６のSubset SPSのVUI情報の記述は、適応対象の変換前サイズ情報が含まれるかどうかを表す変換前サイズ情報フラグ(video_src_info_present_flag)が記述される点を除いて、HEVC方式のSPSのVUI情報の記述と同様である。
【０４７４】
なお、変換前サイズ情報フラグが適応対象の変換前サイズ情報が含まれることを表す場合、図６６のVUI情報には、変換前サイズ情報が記述される。即ち、解像度変換前の適応対象の横方向のマクロブロック数を表す情報（src_pic_width_in_mbs_minus1）および縦方向のマクロブロック数を表す情報（src_pic_height_in_mbs_minus1）、アスペクト比を表すアスペクト情報が含まれるかどうかを表すアスペクト比フラグ(src_aspect_ratio_info_present_flag)等が記述される。
【０４７５】
そして、アスペクト比フラグが、アスペクト情報が含まれることを表す場合、変換前サイズ情報には、アスペクト比ＩＤ（src_aspect_ratio_idc）等からなるアスペクト情報も含まれる。そして、アスペクト情報に含まれるアスペクト比ＩＤが、定義されていないアスペクト比全体に対して付与されたアスペクト比ＩＤ（Extended_SAR）である場合、アスペクト情報には、解像度変換前の適応対象のアスペクト比における横方向の値（sar_width）と縦方向の値(sar_height)も含まれる。
【０４７６】
なお、図６６のSubset SPSのVUI情報は、SPSのVUI情報と異なる点だけ記述されるようにしてもよい。この場合、Subset SPSのVUI情報のうちの記述されない情報については、SPSのVUI情報に含まれる情報が適用される。
【０４７７】
[SEIの記述例]
図６７は、図６３の3DV方式のSEIの記述例を示す図である。
【０４７８】
図６７の3DV方式のSEIの記述は、SEIメッセージのタイプ（nesting_type）、全コンポーネントフラグ（all_view_components_in_au_flag）等が記述される点を除いて、SEIメッセージのタイプのSEIメッセージの記述と同様である。
【０４７９】
SEIメッセージのタイプとしては、MVC方式のSEIメッセージ、3DV方式のSEIメッセージ、ユーザにより定義されたSEIメッセージなどがある。また、全コンポーネントフラグが、アクセスユニット内の全ての画像および視差画像に適応しないことを表す場合、3DV方式のSEIには、SEIのメッセージを適応する画像および視差画像のビューＩＤの数（num_view_components_minus1）と、その数だけのビューＩＤ(nesting_sei_view_id)も記述される。
【０４８０】
なお、上述した再生装置３０１は、復号された３Ｄ画像データに基づいて、画像情報、互換情報、視点間距離情報、視差画像情報、画像の多重化パターンを識別する情報、視差画像の多重化パターンを識別する情報等も３Ｄ情報として生成するようにしてもよい。
【０４８１】
＜８．第６の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図６８に示されるようなコンピュータとして構成されるようにしてもよい。
【０４８２】
図６８において、コンピュータ６００のCPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６１３からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４８３】
CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６１０も接続されている。
【０４８４】
入出力インタフェース６１０には、キーボード、マウスなどよりなる入力部６１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６１２、ハードディスクなどより構成される記憶部６１３、モデムなどより構成される通信部６１４が接続されている。通信部６１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０４８５】
入出力インタフェース６１０にはまた、必要に応じてドライブ６１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６１３にインストールされる。
【０４８６】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０４８７】
この記録媒体は、例えば、図６８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM６０２や、記憶部６１３に含まれるハードディスクなどで構成される。
【０４８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４８９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４９０】
＜９．第７実施の形態＞
［テレビジョン装置の構成例］
図６９は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０４９１】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０４９２】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０４９３】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０４９４】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０４９５】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０４９６】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０４９７】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、HDMI規格等に準拠して映像データや音声データ等を送受信する。
【０４９８】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０４９９】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０５００】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０５０１】
このように構成されたテレビジョン装置では、外部I/F部９０９に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０５０２】
＜１０．第８実施の形態＞
［携帯電話機の構成例］
図７０は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０５０３】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０５０４】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０５０５】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０５０６】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０５０７】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０５０８】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０５０９】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。
画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。また、画像処理部９２７は、この画像データを表示部９３０に供給して、受信した画像の表示を行ったり、画像データをHDMI規格等に準拠して送信したりする。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０５１０】
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０５１１】
＜１１．第９実施の形態＞
［記録再生装置の構成例］
図７１は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０５１２】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０５１３】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０５１４】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース、HDMI等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０５１５】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０５１６】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０５１７】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０５１８】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０５１９】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０５２０】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０５２１】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０５２２】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０５２３】
このように構成された記録再生装置では、外部I/F部９４２に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０５２４】
＜１２．第１０実施の形態＞
［撮像装置の構成例］
図７２は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０５２５】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０５２６】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０５２７】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０５２８】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０５２９】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０５３０】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子、HDMI入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０５３１】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０５３２】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０５３３】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０５３４】
このように構成された撮像装置では、外部I/F部９６６に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、多視点の画像を生成可能なフォーマットの画像データを正しく伝送することができる。
【０５３５】
本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０５３６】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０５３７】
３００  伝送システム，  ３０１  再生装置，  ３０２  表示装置，  ３０３  HDMIケーブル，  ３１１  デコーダ，  ３１２  モード判定部，  ３１３  ３Ｄ情報生成部，  ３１４  通信部，  ３２１  通信部，  ３２２  モード判定部，  ３２３  同期設定部，  ３２４  同期制御部，  ３２５  画像生成部，  ３２６  表示部，  ４１１  受信側情報取得部，  ４１２  同期設定部，  ４２１  受信側情報提供部
【図１】
2012029885.tif 000003
【図２】
2012029885.tif 000004
【図３】
2012029885.tif 000005
【図４】
2012029885.tif 000006
【図５】
2012029885.tif 000007
【図６】
2012029885.tif 000008
【図７】
2012029885.tif 000009
【図８】
2012029885.tif 000010
【図９】
2012029885.tif 000011
【図１０】
2012029885.tif 000012
【図１１】
2012029885.tif 000013
【図１２】
2012029885.tif 000014
【図１３】
2012029885.tif 000015
【図１４】
2012029885.tif 000016
【図１５】
2012029885.tif 000017
【図１６】
2012029885.tif 000018
【図１７】
2012029885.tif 000019
【図１８】
2012029885.tif 000020
【図１９】
2012029885.tif 000021
【図２０】
2012029885.tif 000022
【図２１】
2012029885.tif 000023
【図２２】
2012029885.tif 000024
【図２３】
2012029885.tif 000025
【図２４】
2012029885.tif 000026
【図２５】
2012029885.tif 000027
【図２６】
2012029885.tif 000028
【図２７】
2012029885.tif 000029
【図２８】
2012029885.tif 000030
【図２９】
2012029885.tif 000031
【図３０】
2012029885.tif 000032
【図３１】
2012029885.tif 000033
【図３２】
2012029885.tif 000034
【図３３】
2012029885.tif 000035
【図３４】
2012029885.tif 000036
【図３５】
2012029885.tif 000037
【図３６】
2012029885.tif 000038
【図３７】
2012029885.tif 000039
【図３８】
2012029885.tif 000040
【図３９】
2012029885.tif 000041
【図４０】
2012029885.tif 000042
【図４１】
2012029885.tif 000043
【図４２】
2012029885.tif 000044
【図４３】
2012029885.tif 000045
【図４４】
2012029885.tif 000046
【図４５】
2012029885.tif 000047
【図４６】
2012029885.tif 000048
【図４７】
2012029885.tif 000049
【図４８】
2012029885.tif 000050
【図４９】
2012029885.tif 000051
【図５０】
2012029885.tif 000052
【図５１】
2012029885.tif 000053
【図５２】
2012029885.tif 000054
【図５３】
2012029885.tif 000055
【図５４】
2012029885.tif 000056
【図５５】
2012029885.tif 000057
【図５６】
2012029885.tif 000058
【図５７】
2012029885.tif 000059
【図５８】
2012029885.tif 000060
【図５９】
2012029885.tif 000061
【図６０】
2012029885.tif 000062
【図６１】
2012029885.tif 000063
【図６２】
2012029885.tif 000064
【図６３】
2012029885.tif 000065
【図６４】
2012029885.tif 000066
【図６５】
2012029885.tif 000067
【図６６】
2012029885.tif 000068
【図６７】
2012029885.tif 000069
【図６８】
2012029885.tif 000070
【図６９】
2012029885.tif 000071
【図７０】
2012029885.tif 000072
【図７１】
2012029885.tif 000073
【図７２】
2012029885.tif 000074
【国際調査報告】
2012029885.tif 000075
2012029885.tif 000076
2012029885.tif 000077
2012029885.tif 000078