(57)【要約】【課題】連続する異なるタイミングで撮像された多視点の画像からなる立体視画像の各視点の画像を、連続する異なるタイミングで表示する場合に、違和感のない立体視画像を表示する。【解決手段】コントローラ２１８は、第２の撮像タイプと撮像順情報に基づいて、LRペアの符号化データの復号結果を撮像順と同一の順に3Dビデオ表示装置に出力し、LRペアを表示させる。本発明は、例えば、立体視画像を表示させる装置に適用することができる。【選択図】図２０
2011087195.tif 000002
【特許請求の範囲】
【請求項１】
連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリーム、前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および、前記多視点の画像の撮像順を表す撮像順情報を受け取る受け取り手段と、
前記受け取り手段により受け取られた前記符号化ストリームを復号して画像データを生成する復号手段と、
前記受け取り手段により受け取られた前記撮像タイプと前記撮像順情報とに基づいて、前記復号手段により生成された前記画像データに対応する前記多視点の画像を、前記撮像順と同一の順に表示装置に表示させる表示制御手段と
を備える画像処理装置。
【請求項２】
前記表示制御手段は、前記受け取り手段により受け取られた前記撮像タイプと前記撮像順情報とに基づいて、前記復号手段により生成された前記画像データに対応する前記多視点の画像の表示時刻を決定し、決定した表示時刻にしたがって前記多視点の画像を表示させる
請求項１に記載の画像処理装置。
【請求項３】
前記受け取り手段は、前記画像データに対応する前記多視点の画像の表示時刻の付加タイプと、前記付加タイプに応じた前記表示時刻も受け取り、
前記表示制御手段は、前記受け取り手段により受け取られた前記付加タイプと前記表示時刻にも基づいて、前記復号手段により生成された前記画像データに対応する多視点の画像を、前記撮像順と同一の順に前記表示装置に表示させる
請求項１に記載の画像処理装置。
【請求項４】
前記付加タイプは、
前記立体視画像を構成する全視点の画像の画像データに前記表示時刻を付加しないタイプ、
前記全視点の画像の画像データに同一の前記表示時刻を付加するタイプ、
前記立体視画像を構成する1視点の画像の画像データに前記表示時刻を付加するタイプ、
または、
前記立体視画像を構成する各視点の画像の画像データにそれぞれ異なる前記表示時刻を付加するタイプである
請求項３に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記表示装置の表示方法が前記多視点の画像を連続して異なるタイミングで表示する方法である場合に、前記受け取り手段により受け取られた前記前記撮像タイプと前記撮像順情報とに基づいて、前記復号手段により生成された前記画像データに対応する前記多視点の画像を、前記撮像順と同一の順に前記表示装置に表示させる
請求項１に記載の画像処理装置。
【請求項６】
前記撮像タイプと前記撮像順情報は、前記符号化ストリームに付加されており、
前記受け取り手段は、前記符号化ストリームに付加されている前記撮像タイプと前記撮像順情報を受け取る
請求項１に記載の画像処理装置。
【請求項７】
前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像である
請求項１に記載の画像処理装置。
【請求項８】
画像処理装置が、
連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリーム、前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および、前記多視点の画像の撮像順を表す撮像順情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記符号化ストリームを復号して画像データを生成する復号ステップと、
前記受け取りステップの処理により受け取られた前記撮像タイプと前記撮像順情報とに基づいて、前記復号ステップの処理により生成された前記画像データに対応する前記多視点の画像を、前記撮像順と同一の順に表示装置に表示させる表示制御ステップと
を含む画像処理方法。
【請求項９】
連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化して符号化ストリームを生成する符号化手段と、
前記立体視画像を構成する前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプと、前記多視点の画像の撮像順を表す撮像順情報とを、前記符号化手段により生成された前記符号化ストリームに連結して伝送する伝送手段と
を備える画像処理装置。
【請求項１０】
前記伝送手段は、前記画像データに対応する画像の表示時刻の付加タイプと、前記付加タイプに応じた前記表示時刻も、前記符号化手段により生成された前記符号化ストリームに連結して伝送する
請求項９に記載の画像処理装置。
【請求項１１】
前記付加タイプは、
前記立体視画像を構成する全視点の画像の画像データに前記表示時刻を付加しないタイプ、
前記全視点の画像の画像データに同一の前記表示時刻を付加するタイプ、
前記立体視画像を構成する1視点の画像の画像データに前記表示時刻を付加するタイプ、
または、
前記立体視画像を構成する各視点の画像の画像データにそれぞれ異なる前記表示時刻を付加するタイプである
請求項１０に記載の画像処理装置。
【請求項１２】
前記多視点の画像を連続する異なるタイミングで撮像する撮像装置から前記視点ごとに入力される前記画像データの入力タイミングに基づいて、前記撮像タイプと前記撮像順情報を生成する撮像情報生成手段と、
前記入力タイミングに基づいて前記表示時刻を生成する表示時刻生成手段と
をさらに備える
請求項１０に記載の画像処理装置。
【請求項１３】
前記多視点の画像を連続する異なるタイミングで撮像する撮像装置から入力される各視点の画像の撮像時刻に基づいて、前記撮像順情報を生成する撮像順情報生成手段と、
前記撮像時刻に基づいて前記表示時刻を生成する表示時刻生成手段と
をさらに備える
請求項１０に記載の画像処理装置。
【請求項１４】
画像処理装置が、
連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化して符号化ストリームを生成する符号化ステップと、
前記立体視画像を構成する前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプと、前記多視点の画像の撮像順を表す撮像順情報とを、前記符号化ステップの処理により生成された前記符号化ストリームに連結して伝送する伝送ステップ
を含む画像処理方法。
【請求項１５】
連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データ、前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および前記多視点の画像の撮像順を表す撮像順情報を受け取る受け取り手段と、
前記受け取り手段により受け取られた前記撮像タイプと前記撮像順情報とに基づいて、前記受け取り手段により受け取られた前記画像データに対応する前記多視点の画像を、前記撮像順と同一の順に表示装置に表示させる表示制御手段と
を備える画像処理装置。
【請求項１６】
画像処理装置が、
連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データ、前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および前記多視点の画像の撮像順を表す撮像順情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記撮像タイプと前記撮像順情報とに基づいて、前記受け取りステップの処理により受け取られた前記画像データに対応する前記多視点の画像を、前記撮像順と同一の順に表示装置に表示させる表示制御ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、連続する異なるタイミングで撮像された多視点の画像からなる立体視画像の各視点の画像を、連続する異なるタイミングで表示する場合に、違和感のない立体視画像を表示することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。
【０００４】
例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像（インターレース方式の画像）及び順次走査画像（プログレッシブ方式の画像）の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。
【０００６】
さらに、AVC (MPEG-4 part 10，ISO/IEC 14496-10，ITU-T H.264)符号化方式の標準化も行われている。この標準化は、ITU-TとISO/IECの間で共同で画像符号化方式の標準化を行うためのJVT(Joint Video Team)という団体で進められている。
【０００７】
AVCは、MPEG2やMPEG4と同様に、動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。AVCは、MPEG2やMPEG4といった従来の符号化方式に比べ、符号化および復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００８】
ところで、近年、立体視が可能な立体視画像の撮像技術および表示技術が進歩しているため、上述のような符号化の対象となる画像のコンテンツとして、２次元画像のコンテンツだけでなく、立体視画像のコンテンツも考えられている。
【０００９】
具体的には、AVCを立体視画像の符号化に拡張する検討が進められ、立体視画像を構成する複数の撮像装置で撮像された多視点の画像を符号化するMVC (Multiview Video Coding)符号化方式の標準化が進められている。多視点の画像の符号化と復号の方法については、例えば、特許文献１に記載されている。
【００１０】
なお、以下では、立体視画像を構成する多視点の画像の一例として、視点の数が最も少ない２視点の画像である3D画像（ステレオ画像）を用いて説明する。
【００１１】
3D画像を構成する、左眼で観察される画像である左眼画像（以下、L(Left)画像という）と、右眼で観察される画像である右眼画像（以下、R(Right)画像という）としては、同一の撮像タイミングで撮像された画像が用いられる場合と、連続する異なる撮像タイミングで撮像された画像が用いられる場合がある。
【００１２】
また、立体視画像の表示には、専用の画像表示装置が用いられる。このような画像表示装置の表示方法としては、3D画像を構成するL画像とR画像を連続する異なるタイミングで表示する方法と、L画像とR画像を同時に表示する方法がある。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開2008-182669号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従来のL画像とR画像を連続する異なるタイミングで表示する画像表示装置では、どのような撮像タイミングでL画像とR画像が撮影されたのかによらず、予め決められた順番でL画像とR画像が表示される。
【００１５】
従って、連続する異なる撮像タイミングで撮像されたL画像とR画像が、撮像順とは異なる順で表示され、これにより、ユーザに違和感を与えてしまう場合がある。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、連続する異なるタイミングで撮像された多視点の画像からなる立体視画像の各視点の画像を、連続する異なるタイミングで表示する場合に、違和感のない立体視画像を表示することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の側面の画像処理装置は、連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリーム、前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および、前記多視点の画像の撮像順を表す撮像順情報を受け取る受け取り手段と、前記受け取り手段により受け取られた前記符号化ストリームを復号して画像データを生成する復号手段と、前記受け取り手段により受け取られた前記撮像タイプと前記撮像順情報とに基づいて、前記復号手段により生成された前記画像データに対応する前記多視点の画像を、前記撮像順と同一の順に表示装置に表示させる表示制御手段とを備える画像処理装置である。
【００１８】
本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。
【００１９】
本発明の第１の側面においては、連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化した符号化ストリーム、多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および、多視点の画像の撮像順を表す撮像順情報が受け取られ、その符号化ストリームが復号されて画像データが生成され、撮像タイプと撮像順情報とに基づいて、画像データに対応する多視点の画像が、撮像順と同一の順に表示装置に表示される。
【００２０】
本発明の第２の側面の画像処理装置は、連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化して符号化ストリームを生成する符号化手段と、前記立体視画像を構成する前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプと、前記多視点の画像の撮像順を表す撮像順情報とを、前記符号化手段により生成された前記符号化ストリームに連結して伝送する伝送手段とを備える画像処理装置である。
【００２１】
本発明の第２の側面の画像処理方法は、本発明の第２の側面の画像処理装置に対応する。
【００２２】
本発明の第２の側面においては、連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データを符号化して符号化ストリームが生成され、立体視画像を構成する多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプと、多視点の画像の撮像順を表す撮像順情報とが、符号化ストリームに連結して伝送される。
【００２３】
本発明の第３の側面の画像処理装置は、連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データ、前記多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および前記多視点の画像の撮像順を表す撮像順情報を受け取る受け取り手段と、前記受け取り手段により受け取られた前記撮像タイプと前記撮像順情報とに基づいて、前記受け取り手段により受け取られた前記画像データに対応する前記多視点の画像を、前記撮像順と同一の順に表示装置に表示させる表示制御手段とを備える画像処理装置である。
【００２４】
本発明の第３の側面の画像処理方法は、本発明の第３の側面の画像処理装置に対応する。
【００２５】
本発明の第３の側面においては、連続する異なるタイミングで撮像された、立体視画像を構成する多視点の画像の画像データ、多視点の画像の撮像タイミングが連続する異なるタイミングであることを表す撮像タイプ、および多視点の画像の撮像順を表す撮像順情報が受け取られ、その撮像タイプと撮像順情報とに基づいて、画像データに対応する多視点の画像が、撮像順と同一の順に表示装置に表示される。
【００２６】
なお、第１および第２の側面、または、第２および第３の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００２７】
また、第１乃至第３の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【発明の効果】
【００２８】
本発明の第１および第３の側面によれば、連続する異なるタイミングで撮像された多視点の画像からなる立体視画像の各視点の画像を、連続する異なるタイミングで表示する場合に、違和感のない立体視画像を表示することができる。
【００２９】
本発明の第２の側面によれば、立体視画像を構成する多視点の画像が、連続する異なるタイミングで撮像された画像である場合に、その画像の撮像タイプと撮像順を、その画像の画像データを扱う装置に通知することができる。その結果、例えば、立体視画像の各視点の画像を連続する異なるタイミングで表示させる画像処理装置において、違和感のない立体視画像を表示することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明を適用した符号化システムの第１実施の形態の構成例を示すブロック図である。
【図２】符号化システムにおける撮像タイプについて説明する図である。
【図３】符号化システムにおける撮像タイプについて説明する図である。
【図４】図１の多視点符号化装置の構成例を示すブロック図である。
【図５】MVC符号化方式について説明する図である。
【図６】図４のビデオ符号化回路の構成例を示すブロック図である。
【図７】図４の依存ストリーム符号化回路の構成例を示すブロック図である。
【図８】VS_TYPEのシンタックスの例を示す図である。
【図９】表示時刻情報のシンタックスの例を示す図である。
【図１０】多視点符号化装置による符号化処理を説明するフローチャートである。
【図１１】VS_TYPE生成回路によるVS_TYPE生成処理を説明するフローチャートである。
【図１２】本発明を適用した符号化システムの第１実施の形態の他の構成例を示すブロック図である。
【図１３】本発明を適用した符号化システムの第１実施の形態の他の構成例を示すブロック図である。
【図１４】合成部から出力される画像信号を説明する図である。
【図１５】図１３の多視点符号化装置の構成例を示すブロック図である。
【図１６】VS_TYPE生成回路によるVS_TYPE生成処理を説明するフローチャートである。
【図１７】本発明を適用した符号化システムの第１実施の形態の他の構成例を示すブロック図である。
【図１８】合成部から出力される画像信号を説明する図である。
【図１９】復号システムの構成例を示すブロック図である。
【図２０】図１９の多視点復号装置の構成例を示すブロック図である。
【図２１】図２０のビデオ復号回路の構成例を示すブロック図である。
【図２２】図２０の依存ストリーム復号回路の構成例を示すブロック図である。
【図２３】コントローラによる表示制御処理を説明するフローチャートである。
【図２４】本発明を適用した符号化システムの第２実施の形態の構成例を示すブロック図である。
【図２５】図２４のビデオ符号化装置の構成例を示すブロック図である。
【図２６】図２５の符号化回路の構成例を示すブロック図である。
【図２７】ビデオ符号化装置による符号化処理を説明するフローチャートである。
【図２８】復号システムの構成例を示すブロック図である。
【図２９】図２８のビデオ復号装置の構成例を示すブロック図である。
【図３０】図２９の復号回路の構成例を示すブロック図である。
【図３１】コンピュータの一実施の形態の構成例を示す図である。
【図３２】本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。
【図３３】本発明を適用した携帯電話機の主な構成例を示すブロック図である。
【図３４】本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。
【図３５】本発明を適用したカメラの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
＜第１実施の形態＞
［符号化システムの第１実施の形態の構成例］
図１は、本発明を適用した符号化システムの第１実施の形態の構成例を示すブロック図である。
【００３２】
図１の符号化システム１０は、左眼用撮像装置１１、右眼用撮像装置１２、および多視点符号化装置１３により構成される。
【００３３】
左眼用撮像装置１１は、L画像を撮像する撮像装置であり、右眼用撮像装置１２は、R画像を撮像する撮像装置である。左眼用撮像装置１１から右眼用撮像装置１２には同期信号が入力され、左眼用撮像装置１１と右眼用撮像装置１２は、互いに同期する。左眼用撮像装置１１と右眼用撮像装置１２は、所定の撮像タイミングで撮像を行う。
【００３４】
多視点符号化装置１３には、左眼用撮像装置１１により撮像されたL画像の画像信号が入力されるとともに、右眼用撮像装置１２により撮像されたR画像の画像信号が入力される。多視点符号化装置１３は、L画像およびR画像の画像信号に対して、MVC符号化方式に準拠した符号化を行う。多視点符号化装置１３は、L画像の画像信号の符号化の結果得られる符号化データ（符号化ストリーム）とR画像の画像信号の符号化の結果得られる符号化データを多重化し、1つのビットストリームとして出力する。
【００３５】
[符号化システムの撮像方法]
図２および図３は、符号化システム１０における撮像タイプについて説明する図である。
【００３６】
符号化システム１０における第１の撮像タイプは、3D画像を構成するL画像とR画像（以下、LRペアという）の撮像タイミングが同一であるタイプである。第１の撮像タイプでは、図２に示すように、左眼用撮像装置１１と右眼用撮像装置１２が同一の撮像タイミングで撮像を行い、L画像とR画像の画像信号が同一のタイミングで取得される。
【００３７】
第２の撮像タイプは、LRペアの撮像タイミングが連続する異なるタイミングであるタイプである。第２の撮像タイプでは、例えば、図３に示すように、左眼用撮像装置１１と右眼用撮像装置１２が交互に撮像を行い、L画像とR画像の画像信号が交互に取得される。
【００３８】
[多視点符号化装置の構成例]
図４は、図１の多視点符号化装置１３の構成例を示すブロック図である。
【００３９】
図４の多視点符号化装置１３は、VS_TYPE生成回路２１、表示時刻情報生成回路２２、ビデオ符号化回路２３、依存ストリーム符号化回路２４、および多重化回路２５により構成される。
【００４０】
左眼用撮像装置１１から多視点符号化装置１３に入力されるL画像の画像信号は、VS_TYPE生成回路２１、表示時刻情報生成回路２２、およびビデオ符号化回路２３に供給される。右眼用撮像装置１２から多視点符号化装置１３に入力されるR画像の画像信号は、VS_TYPE生成回路２１、表示時刻情報生成回路２２、および依存ストリーム符号化回路２４に供給される。
【００４１】
VS_TYPE生成回路２１は、LRペアの画像信号の入力タイミングに基づいて撮像タイプを認識する。また、撮像タイプが第２の撮像タイプである場合には、VS_TYPE生成回路２１は、LRペアの画像信号の入力タイミングに基づいて、LRペアの撮像順を表す撮像順情報を生成する。
【００４２】
そして、VS_TYPE生成回路２１は、撮像タイプが第１の撮像タイプである場合、第１の撮像タイプをVS_TYPEとし、撮像タイプが第２の撮像タイプである場合、第２の撮像タイプと撮像順情報をVS_TYPEとする。VS_TYPE生成回路２１は、VS_TYPEをビデオ符号化回路２３と依存ストリーム符号化回路２４に供給する。
【００４３】
表示時刻情報生成回路２２は、LRペアの画像信号の入力タイミングに基づいて、LRペアの表示時刻を決定する。表示時刻情報生成回路２２は、LRペアのうちのL画像の表示時刻を表す表示時刻情報をビデオ符号化回路２３に供給し、R画像の表示時刻を表す表示時刻情報を依存ストリーム符号化回路２４に供給する。
【００４４】
ビデオ符号化回路２３は、左眼用撮像装置１１から入力されるL画像の画像信号を、他のストリームの画像信号を参照しないベースストリーム（Base stream）の画像信号として、MVC符号化方式に準拠して符号化する。そして、ビデオ符号化回路２３は、符号化の結果得られるL画像の符号化データに、VS_TYPE生成回路２１からのVS_TYPEと表示時刻情報生成回路２２からの表示時刻情報を付加し、多重化回路２５に供給する。また、ビデオ符号化回路２３は、符号化に用いられる復号画像を依存ストリーム符号化回路２４に供給する。
【００４５】
依存ストリーム符号化回路２４は、ビデオ符号化回路２３からの復号画像を用いて、右眼用撮像装置１２から入力されるR画像の画像信号を依存ストリーム（dependent stream ）の画像信号として、MVC符号化方式に準拠して符号化する。そして、依存ストリーム符号化回路２４は、符号化の結果得られるR画像の符号化データに、VS_TYPE生成回路２１からのVS_TYPEと表示時刻情報生成回路２２からの表示時刻情報を付加し、多重化回路２５に供給する。
【００４６】
多重化回路２５は、ビデオ符号化回路２３から供給されるL画像の符号化データと依存ストリーム符号化回路２４から供給されるR画像の符号化データを多重化し、1つのビットストリームとして出力する。
【００４７】
[MVC符号化方式の説明]
図５は、MVC符号化方式について説明する図である。
【００４８】
図５に示すように、ビデオ符号化回路２３では、通常のAVC符号化方式（例えば、AVCのハイプロファイル）と同様に符号化が行われ、ベースストリームとしてL画像の符号化データが得られる。従って、L画像の符号化データは、既存のAVC符号化方式の復号装置で復号することができる。
【００４９】
一方、依存ストリーム符号化回路２４におけるR画像の符号化では、図５に示すように、通常のAVC符号化方式と同様の同一視点内での時間方向の予測に追加して、同時刻の他の視点からの予測が行われる。即ち、R画像内での時間方向の予測に追加して、同一の3D画像を構成するL画像からの予測も行われる。これにより、時間方向の予測が良くない場合であっても、符号化効率を改善することができる。
【００５０】
[ビデオ符号化回路の構成例]
図６は、図４のビデオ符号化回路２３の構成例を示すブロック図である。
【００５１】
ビデオ符号化回路２３は、例えばAVCのハイプロファイルに準拠して符号化を行う。
【００５２】
詳細には、A／D変換部４１は、左眼用撮像装置１１から供給されるL画像のアナログ信号である画像信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部４１は、その画像データを画像並べ替えバッファ４２に供給する。
【００５３】
画像並べ替えバッファ４２は、A/D変換部４１からの画像データを一時記憶し、必要に応じて読み出すことで、ビデオ符号化回路２３の出力である符号化データのGOP(Group of Pictures)構造に応じて、画像データのピクチャ（フレーム）（フィールド）を符号化順に並べ替える並べ替えを行う。
【００５４】
画像並べ替えバッファ４２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部４３に供給される。
【００５５】
演算部４３は、画像並べ替えバッファ４２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を減算し、直交変換部４４に供給する。
【００５６】
直交変換部４４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部４５に供給する。なお、直交変換部４４で行われる離散コサイン変換は、実数の離散コサイン変換を近似した整数変換であってもよい。また、離散コサイン変換の変換方法として、４×４ブロックサイズで整数係数変換を行う方法が用いられてもよい。
【００５７】
量子化部４５は、直交変換部４４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部４６に供給する。
【００５８】
可逆符号化部４６は、量子化部４５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られるL画像の符号化データを、蓄積バッファ４７に供給する。
【００５９】
蓄積バッファ４７は、可逆符号化部４６からのL画像の符号化データを一時記憶し、所定のレートで出力する。
【００６０】
レート制御部４８は、蓄積バッファ４７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部４５の量子化ステップ等の、量子化部４５の挙動を制御する。
【００６１】
量子化部４５で得られる量子化値は、可逆符号化部４６に供給される他、逆量子化部４９にも供給される。逆量子化部４９は、量子化部４５からの量子化値を、変換係数に逆量子化し、逆直交変換部５０に供給する。
【００６２】
逆直交変換部５０は、逆量子化部４９からの変換係数を逆直交変換し、演算部５１に供給する。
【００６３】
演算部５１は、逆直交変換部５０から供給されるデータに対して、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ５２に供給する。
【００６４】
フレームメモリ５２は、演算部５１から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５３や動き予測／動き補償部５４に供給する。また、フレームメモリ５２は、記憶している復号画像を、依存ストリーム符号化回路２４に供給する。
【００６５】
イントラ予測部５３は、イントラピクチャの中で、演算部４３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５２に記憶されている画素から予測画像を生成し、演算部４３及び５１に供給する。
【００６６】
イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部５３から演算部４３に予測画像が供給される場合、演算部４３では、画像並べ替えバッファ４２から供給されるピクチャから、イントラ予測部５３から供給される予測画像が減算さ
れる。
【００６７】
また、演算部５１では、演算部４３で減算された予測画像が、逆直交変換部５０から供給されるデータに加算される。
【００６８】
一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ４２から、演算部４３、及び、動き予測／動き補償部５４に供給される。
【００６９】
動き予測／動き補償部５４は、フレームメモリ５２から、画像並べ替えバッファ４２からのノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５４は、フレームメモリ５２からの参照画像を用いて、画像並べ替えバッファ４２からのノンイントラピクチャについて、動きベクトルを検出する。
【００７０】
そして、動き予測／動き補償部５４は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部４３及び５１に供給する。なお、動き補償の際のブロックサイズは固定であっても可変であってもよい。
【００７１】
演算部４３では、画像並べ替えバッファ４２から供給されるノンイントラピクチャから、イントラ予測部５３から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
【００７２】
なお、イントラ予測部５３が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部５３から可逆符号化部４６に供給される。また、動き予測／動き補償部５４で得られる動きベクトル、及び、動き予測／動き補償部５４が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部５４から可逆符号化部４６に供給される。
【００７３】
さらに、VS_TYPE生成回路２１から供給されるVS_TYPE、および、表示時刻情報生成回路２２から供給される表示時刻情報も、可逆符号化部４６に供給される。
【００７４】
可逆符号化部４６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、L画像の符号化データのヘッダに含められる。
【００７５】
さらに、可逆符号化部４６では、VS_TYPEと表示時刻情報が、L画像の符号化データに付加される。
【００７６】
[依存ストリーム符号化回路の構成例]
図７は、図４の依存ストリーム符号化回路２４の構成例を示すブロック図である。
【００７７】
図７の依存ストリーム符号化回路２４は、A/D変換部６１、画像並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、レート制御部６８、逆量子化部６９、逆直交変換部７０、演算部７１、フレームメモリ７２、イントラ予測部７３、および動き予測/動き補償部７４により構成される。
【００７８】
図７の依存ストリーム符号化回路２４における各部の処理は、フレームメモリ７２および動き予測/動き補償部７４の処理を除いて、ビデオ符号化回路２３と同様であるため、異なる処理についてのみ説明する。
【００７９】
依存ストリーム符号化回路２４のフレームメモリ７２は、演算部７１から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部７３や動き予測／動き補償部７４に供給する。
【００８０】
動き予測／動き補償部７４は、フレームメモリ７２から、画像並べ替えバッファ６２からのノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。また、動き予測/動き補償部７４は、ビデオ符号化回路２３のフレームメモリ５２から、ノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。そして、動き予測／動き補償部７４は、フレームメモリ７２およびフレームメモリ５２からの参照画像を用いて、画像並べ替えバッファ６２からのノンイントラピクチャについて、動きベクトルを検出する。
【００８１】
そして、動き予測／動き補償部７４は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部６３および演算部７１に供給する。また、動き予測／動き補償部７４は、動きベクトルおよび動き補償予測モードを可逆符号化部６６に供給する。
【００８２】
[VS_TYPEのシンタックスの例]
図８は、VS_TYPEのシンタックスの例を示す図である。
【００８３】
図８に示すように、VS_TYPEには、1ビットの撮像タイプ（stereo_3d_capturing_type）と２ビットのTSタイプ（TS_type）が含まれている。撮像タイプの値は、例えば撮像タイプが第１の撮像タイプである場合０となり、撮像タイプが第２の撮像タイプである場合１となる。即ち、撮像タイプは、LRペアの撮像タイミングが異なっているかどうかを表すフラグとして機能する。
【００８４】
また、TSタイプは、表示時刻情報の付加タイプである。ここでは、TSタイプとして、LRペアの符号化データの両方に表示時刻情報を付加しない「TSなしタイプ」、LRペアの符号化データの両方に同一の表示時刻情報を付加する「同時刻タイプ」、LRペアのうちのL画像の符号化データにのみ同一の表示時刻情報を付加する「片側タイプ」、および、LRペアの符号化データの両方に異なる表示時刻情報を付加する「別時刻タイプ」の４つのタイプがある。
【００８５】
なお、「同時刻タイプ」および「別時刻タイプ」は、表示時刻情報生成回路２２の機能に応じて設定される。具体的には、表示時刻情報生成回路２２が、LRペアの表示時刻として同一の時刻を決定する機能を有している場合、TSタイプは「同時刻タイプ」に設定され、異なる時刻を決定する機能を有している場合、TSタイプは「別時刻タイプ」に設定される。また、「TSなしタイプ」および「片側タイプ」は、例えばユーザにより設定される。
【００８６】
また、図８に示すように、撮像タイプが第２のタイプである場合、VS_TYPEには、1ビットの撮像順情報（is_left_first）も含まれる。撮像順情報の値は、例えば、撮像順情報がL画像、R画像の順を表す場合１となり、R画像、L画像の順を表す場合０となる。即ち、撮像順情報は、LRペアのうち撮像順が早い方の画像がL画像であるかどうかを表すフラグとして機能する。
【００８７】
[表示時刻情報のシンタックスの例]
図９は、表示時刻情報のシンタックスの例を示す図である。
【００８８】
図９の上から６段落目以降が表示時刻情報である。
【００８９】
[多視点符号化装置の処理の説明]
図１０は、多視点符号化装置１３による符号化処理を説明するフローチャートである。
【００９０】
図１０のステップＳ１１において、VS_TYPE生成回路２１は、LRペアの画像信号の入力タイミングに基づいて、VS_TYPEを生成する。VS_TYPEを生成するVS_TYPE生成処理の詳細は、後述する図１１を参照して説明する。
【００９１】
また、ステップＳ１１において、表示時刻情報生成回路２２は、LRペアの画像信号の入力タイミングに基づいて、同一の表示時刻または異なる表示時刻を表す、LRペアの表示時刻情報を生成する。
【００９２】
具体的には、表示時刻情報生成回路２２は、LRペアの画像信号の入力タイミングに基づいて、１つの表示時刻をLRペアの表示時刻として決定するか、または、LRペアの撮像順と表示順が同一となるように、２つの異なる表示時刻を、LRペアのL画像の表示時刻およびR画像の表示時刻として決定する。そして、表示時刻情報生成回路２２は、決定されたLRペアのうちのL画像の表示時刻を表す表示時刻情報とR画像の表示時刻を表す表示時刻情報を生成する。
【００９３】
ステップＳ１２において、ビデオ符号化回路２３の可逆符号化部４６と依存ストリーム符号化回路２４の可逆符号化部６６は、VS_TYPE生成回路２１から供給されるVS_TYPEに含まれるTSタイプは「TSなしタイプ」であるかどうかを判定する。
【００９４】
ステップＳ１２でTSタイプは「TSなしタイプ」であると判定された場合、処理はステップＳ１３に進む。ステップＳ１３において、ビデオ符号化回路２３は、左眼用撮像装置１１から供給されるL画像の画像信号を符号化し、VS_TYPE生成回路２１から供給されるVS_TYPEを付加して多重化回路２５に出力する。
【００９５】
ステップＳ１４において、依存ストリーム符号化回路２４は、右眼用撮像装置１１から供給されるR画像の画像信号を符号化し、VS_TYPE生成回路２１から供給されるVS_TYPEを付加して多重化回路２５に出力する。
【００９６】
一方、ステップＳ１２でTSタイプは「TSなしタイプ」ではないと判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、ビデオ符号化回路２３は、L画像の画像信号を符号化し、VS_TYPE生成回路２１からのVS_TYPEと表示時刻情報生成回路２２からの表示時刻情報を付加して多重化回路２５に出力する。
【００９７】
ステップＳ１６において、依存ストリーム符号化回路２４の可逆符号化部６６は、VS_TYPE生成回路２１から供給されるVS_TYPEに含まれるTSタイプは「同時刻タイプ」または「別時刻タイプ」であるかどうかを判定する。
【００９８】
ステップＳ１６でTSタイプは「同時刻タイプ」または「別時刻タイプ」であると判定された場合、処理はステップＳ１７に進む。ステップＳ１７において、依存ストリーム符号化回路２４は、R画像の画像信号を符号化し、VS_TYPE生成回路２１からのVS_TYPEと表示時刻情報生成回路２２からの表示時刻情報を付加して多重化回路２５に出力する。
【００９９】
また、ステップＳ１６でTSタイプは「同時刻タイプ」または「別時刻タイプ」ではないと判定された場合、即ちTSタイプは「片側タイプ」である場合、処理はステップＳ１８に進む。
【０１００】
ステップＳ１８において、依存ストリーム符号化回路２４は、R画像の画像信号を符号化し、VS_TYPE生成回路２１からのVS_TYPEを付加して多重化回路２５に出力する。
【０１０１】
ステップＳ１４，Ｓ１７、またはＳ１８の処理後、ステップＳ１９において、多重化回路２５は、ビデオ符号化回路２３から供給されるL画像の符号化データと依存ストリーム符号化回路２４から供給されるR画像の符号化データを多重化する。そして、多重化回路２５は、多重化の結果得られる1つのビットストリームを出力し、処理を終了する。
【０１０２】
図１１は、VS_TYPE生成回路２１によるVS_TYPE生成処理を説明するフローチャートである。
【０１０３】
ステップＳ３１において、VS_TYPE生成回路２１は、LRペアのうちのL画像の画像信号がR画像の画像信号より先に供給されたかどうかを判定する。ステップＳ３１でL画像の画像信号がR画像の画像信号より先に供給されたと判定された場合、ステップＳ３２において、VS_TYPE生成回路２１は、L画像、R画像の順を表す撮像順情報と第２の撮像タイプをVS_TYPEとして生成し、処理を終了する。
【０１０４】
一方、ステップＳ３１でL画像の画像信号がR画像の画像信号より先に供給されていないと判定された場合、ステップＳ３３において、LRペアのうちのR画像の画像信号がL画像の画像信号より先に供給されたかどうかを判定する。
【０１０５】
ステップＳ３３でR画像の画像信号がL画像の画像信号より先に供給されたと判定された場合、ステップＳ３４において、VS_TYPE生成回路２１は、R画像、L画像の順を表す撮像順情報と第２の撮像タイプをVS_TYPEとして生成し、処理を終了する。
【０１０６】
また、ステップＳ３３でR画像の画像信号がL画像の画像信号より先に供給されていないと判定された場合、即ちLRペアの画像信号が同一のタイミングで供給された場合、処理はステップＳ３５に進む。
【０１０７】
ステップＳ３５において、VS_TYPE生成回路２１は、第１の撮像タイプをVS_TYPEとして生成し、処理を終了する。
【０１０８】
[符号化システムの第１実施の形態の他の構成例]
図１２は、本発明を適用した符号化システムの第１実施の形態の他の構成例を示すブロック図である。
【０１０９】
図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１０】
図１２の符号化システム１０の構成は、左眼用撮像装置１１と右眼用撮像装置１２の代わりに共通の撮像装置１０１が設けられている点が図１の構成と異なる。即ち、図１２の符号化システム１０では、１つの撮像装置で時分割でL画像とR画像が撮像され、L画像とR画像の画像信号がパラレルに多視点符号化装置に入力される。
【０１１１】
具体的には、撮像装置１０１は、撮像部１１１、分岐部１１２、並びに、２つの撮像処理部１１３および撮像処理部１１４を備える。撮像部１１１は、撮像処理部１１３の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１３に供給する。また、撮像部１１１は、撮像処理部１１４の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１４に供給する。
【０１１２】
撮像処理部１１３は、撮像部１１１を制御して、撮像処理部１１４の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１３は、その結果分岐部１１２から供給される画像信号をL画像の画像信号として多視点符号化装置１３に供給する。
【０１１３】
撮像処理部１１４は、撮像部１１１を制御して、撮像処理部１１３の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１４は、その結果分岐部１１２から供給される画像信号をR画像の画像信号として多視点符号化装置１３に供給する。
【０１１４】
[符号化システムの第１実施の形態の他の構成例]
図１３は、本発明を適用した符号化システムの第１実施の形態の他の構成例を示すブロック図である。
【０１１５】
図１３の符号化システム１０は、撮像装置１２１と多視点符号化装置１２２により構成される。撮像装置１２１は、撮像部１１１、分岐部１１２、撮像処理部１３１および撮像処理部１３２、合成部１３３および合成部１３４、並びに撮像タイプ設定部１３５により構成される。符号化システム１０では、１つの撮像装置でL画像とR画像が撮像され、L画像とR画像の画像信号が所定の順でシリアルに多視点符号化装置に入力される。
【０１１６】
なお、図１３に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１７】
撮像装置１２１の撮像処理部１３１は、撮像部１１１を制御して、撮像タイプ設定部１３５により設定された撮像タイプに応じて、撮像処理部１３２の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１３１は、その結果得られる画像信号をL画像の画像信号として合成部１３３に供給する。また、撮像処理部１３１は、撮像時刻を合成部１３４に供給する。
【０１１８】
撮像処理部１３２は、撮像部１１１を制御して、撮像タイプ設定部１３５により設定された撮像タイプに応じて、撮像処理部１３１の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１３２は、その結果得られる画像信号をR画像の画像信号として合成部１３３に供給する。また、撮像処理部１３１は、撮像時刻を合成部１３４に供給する。
【０１１９】
合成部１３３は、撮像処理部１３１から供給されるL画像の画像信号と撮像処理部１３２から供給されるR画像の画像信号を所定の順で多視点符号化装置１２２に出力する。
【０１２０】
合成部１３４は、撮像処理部１３１から供給される撮像時刻と、撮像処理部１３２から供給される撮像時刻を所定の順で多視点符号化装置１２２に出力する。
【０１２１】
撮像タイプ設定部１３５は、撮像タイプを設定し、撮像処理部１３１、撮像処理部１３２、および多視点符号化装置１２２に供給する。
【０１２２】
多視点符号化装置１２２は、合成部１３３から供給されるL画像の画像信号とR画像の画像信号を符号化する。多視点符号化装置１２２は、符号化の結果得られるL画像の符号化データおよびR画像の符号化データに、合成部１３４からの撮像時刻と撮像タイプ設定部１３５からの撮像タイプに基づくVS_TYPEと表示時刻情報を付加する。そして、多視点符号化装置１２２は、VS_TYPEと表示時刻情報が付加されたL画像の符号化データとR画像の符号化データを多重化し、出力する。
【０１２３】
図１４は、合成部１３３から出力される画像信号を説明する図である。
【０１２４】
図１４に示すように、撮像装置１２１では、撮像処理部１３１の制御により撮像されたL画像の画像信号と撮像処理部１３２の制御により撮像されたR画像の画像信号が、合成部１３３から所定の順（図１４の例ではL画像、R画像の順）で、高フレームレートで出力される。
【０１２５】
[多視点符号化装置の構成例]
図１５は、図１３の多視点符号化装置１２２の構成例を示すブロック図である。
【０１２６】
図１５の多視点符号化装置１２２の構成は、分離回路１５０が新たに設けられている点、VS_TYPE生成回路２１、表示時刻情報生成回路２２の代わりにVS_TYPE生成回路１５１、表示時刻情報生成回路１５２が設けられている点が図４の構成と異なる。
【０１２７】
図１５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２８】
分離回路１５０は、合成部１３４から供給される画像信号のうち、L画像の画像信号をビデオ符号化回路２３に供給し、R画像の画像信号を依存ストリーム符号化回路２４に供給する。
【０１２９】
VS_TYPE生成回路１５１は、撮像タイプ設定部１３５から供給される撮像タイプが第１の撮像タイプである場合、第１の撮像タイプをVS_TYPEとしてビデオ符号化回路２３および依存ストリーム符号化回路２４に供給する。
【０１３０】
また、VS_TYPE生成回路１５１は、撮像タイプ設定部１３５から供給される撮像タイプが第２の撮像タイプである場合、合成部１３４から供給されるLRペアの撮像時刻に基づいて撮像順情報を生成する。そして、VS_TYPE生成回路１５１は、第２の撮像タイプと撮像順情報をVS_TYPEとして、ビデオ符号化回路２３と依存ストリーム符号化回路２４に供給する。
【０１３１】
表示時刻情報生成回路１５２は、合成部１３４から供給されるLRペアの撮像時刻に基づいて、LRペアのL画像の表示時刻とR画像の表示時刻を決定する。そして、表示時刻情報生成回路１５２は、LRペアのL画像の表示時刻を表す表示時刻情報をビデオ符号化回路２３に供給し、R画像の表示時刻を表す表示時刻情報を依存ストリーム符号化回路２４に供給する。
【０１３２】
[VS_TYPE生成処理の説明]
図１６は、VS_TYPE生成回路１５１によるVS_TYPE生成処理を説明するフローチャートである。
【０１３３】
図１６のステップＳ５０において、VS_TYPE生成回路１５１は、撮像タイプ設定部１３５から供給される撮像タイプが第２の撮像タイプであるかどうかを判定する。
【０１３４】
ステップＳ５０で撮像タイプが第２の撮像タイプであると判定された場合、ステップＳ５１において、VS_TYPE生成回路１５１は、合成部１３４から供給されるLRペアのうちのL画像の撮像時刻がR画像の撮像時刻より先であるかどうかを判定する。ステップＳ５１でL画像の撮像時刻がR画像の撮像時刻より先であると判定された場合、処理はステップＳ５２に進む。
【０１３５】
ステップＳ５２において、VS_TYPE生成回路１５１は、L画像、R画像の順を表す撮像順情報と第２の撮像タイプをVS_TYPEとして生成し、処理を終了する。
【０１３６】
一方、ステップＳ５１でL画像の撮像時刻がR画像の撮像時刻より先ではないと判定された場合、即ちR画像の撮像時刻がL画像の撮像時刻より先である場合、処理はステップＳ５３に進む。
【０１３７】
ステップＳ５３において、VS_TYPE生成回路１５１は、R画像、L画像の順を表す撮像順情報と第２の撮像タイプをVS_TYPEとして生成し、処理を終了する。
【０１３８】
また、ステップＳ５０で撮像タイプが第１の撮像タイプであると判定された場合、ステップＳ５４において、VS_TYPE生成回路１５１は、第１の撮像タイプをVS_TYPEとして生成し、処理を終了する。
【０１３９】
なお、図１３の符号化システム１０では、撮像装置１２１から多視点符号化装置１２２に撮像タイプが入力されるようにしたが、撮像タイプは多視点符号化装置１２２に入力されなくてもよい。この場合、VS_TYPE生成回路１５１は、LRペアの撮像時刻に基づいて撮像タイプを決定する。
【０１４０】
[符号化システムの第１実施の形態の他の構成例]
図１７は、本発明を適用した符号化システムの第１実施の形態の他の構成例を示すブロック図である。
【０１４１】
図１７の符号化システム１０の構成は、撮像装置１２１の代わりに、左眼用撮像装置１７１と右眼用撮像装置１７２が設けられ、合成部１３３および合成部１３４が撮像装置の外部に設けられている点が図１３の構成と異なる。即ち、符号化システム１０では、L画像とR画像が別の撮像装置で撮像され、L画像とR画像の画像信号が所定の順でシリアルに多視点符号化装置１２２に入力される。
【０１４２】
なお、図１７に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４３】
符号化システム１０の左眼用撮像装置１７１は、L画像を撮像する撮像装置であり、右眼用撮像装置１７２は、R画像を撮像する撮像装置である。左眼用撮像装置１７１から右眼用撮像装置１７２には同期信号が入力され、左眼用撮像装置１７１と右眼用撮像装置１７２は、互いに同期する。
【０１４４】
左眼用撮像装置１７１は、右眼用撮像装置１７２の撮像タイミングと同一または連続する異なるタイミングで撮像を行い、その結果得られる画像信号をL画像の画像信号として合成部１３３に供給する。また、左眼用撮像装置１７１は、撮像時刻を合成部１３４に供給する。さらに、左眼用撮像装置１７１は、撮像タイプを多視点符号化装置１２２に供給する。
【０１４５】
右眼用撮像装置１７２は、左眼用撮像装置１７１の撮像タイミングと同一または連続する異なるタイミングで撮像を行い、その結果得られる画像信号をR画像の画像信号として合成部１３３に供給する。また、右眼用撮像装置１７２は、撮像時刻を合成部１３４に供給する。さらに、右眼用撮像装置１７２は、撮像タイプを多視点符号化装置１２２に供給する。
【０１４６】
なお、右眼用撮像装置１７２から出力される撮像タイプは、左眼用撮像装置１７１から出力される撮像タイプと同一である。従って、撮像タイプは、左眼用撮像装置１７１と右眼用撮像装置１７２のいずれか一方からのみ出力されるようにしてもよい。
【０１４７】
図１８は、合成部１３３から出力される画像信号を説明する図である。
【０１４８】
図１８に示すように、左眼用撮像装置１７１による撮像の結果得られるL画像の画像信号と右眼用撮像装置１７２による撮像の結果得られるR画像の画像信号は、合成部１３３から所定の順（図１８の例ではL画像、R画像の順）で、高フレームレートで出力される。
【０１４９】
なお、上述した説明では、L画像の符号化データとR画像の符号化データは1つのビットストリームに多重化されるようにしたが、2以上の数のビットストリームに多重化されるようにしてもよい。
【０１５０】
[復号システムの構成例]
図１９は、上述した符号化システム１０から出力されたビットストリームを復号する復号システムの構成例を示すブロック図である。
【０１５１】
図１９の復号システム２００は、多視点復号装置２０１と３Ｄビデオ表示装置２０２により構成される。
【０１５２】
多視点復号装置２０１は、符号化システム１０から出力されたビットストリームをMVC符号化方式に対応する方式で復号する。多視点復号装置２０１は、その結果得られるアナログ信号であるLRペアの画像信号を、連続する異なるタイミングで3Dビデオ表示装置２０２に出力する。
【０１５３】
3Dビデオ表示装置２０２は、多視点復号装置２０１から入力されるL画像またはR画像の画像信号に基づいて画像を表示する。これにより、3Dビデオ表示装置２０２には、LRペアが連続する異なるタイミングで表示される。その結果、ユーザは、立体画像を見ることができる。
【０１５４】
なお、L画像およびR画像は、フィールド単位で表示されるようにしてもよいし、フレーム単位で表示されるようにしてもよい。
【０１５５】
[多視点復号装置の構成例]
図２０は、図１９の多視点復号装置２０１の構成例を示すブロック図である。
【０１５６】
図２０に示すように、多視点復号装置２０１は、分離回路２１１、ビデオ復号回路２１２、依存ストリーム復号回路２１３、フレームメモリ２１４、画像サイズ変換回路２１５、フレームレート変換回路２１６、D/A(Digital/Analog)変換回路２１７、およびコントローラ２１８により構成される。
【０１５７】
分離回路２１１は、符号化システム１０から出力されたビットストリームを受け取る。分離回路２１１は、そのビットストリームに多重化されているL画像の符号化データとR画像の符号化データを分離する。分離回路２１１は、L画像の符号化データをビデオ復号回路２１２に供給するとともに、R画像の符号化データを依存ストリーム復号回路２１３に供給する。
【０１５８】
ビデオ復号回路２１２は、分離回路２１１から供給されるL画像の符号化データをベースストリームとして、MVC符号化方式に対応する方式で復号する。ビデオ復号回路２１２は、復号の結果得られるL画像のディジタル信号である画像データを、依存ストリーム復号回路２１３とフレームメモリ２１４に供給する。また、ビデオ復号回路２１２は、復号の結果得られるVS_TYPEと表示時刻情報をコントローラ２１８に供給する。
【０１５９】
依存ストリーム復号回路２１３は、分離回路２１１から供給されるR画像の符号化データを依存ストリームとして、ビデオ復号回路２１２からのL画像の画像データを用いてMVC符号化方式に対応する方式で復号する。依存ストリーム復号回路２１３は、復号の結果得られるR画像のディジタル信号である画像データをフレームメモリ２１４に供給する。また、依存ストリーム復号回路２１３は、復号の結果得られるVS_TYPEと表示時刻情報をコントローラ２１８に供給する。
【０１６０】
フレームメモリ２１４は、ビデオ復号回路２１２から供給されるL画像の画像データと依存ストリーム復号回路２１３から供給されるR画像の画像データを記憶する。フレームメモリ２１４は、コントローラ２１８の制御にしたがって、記憶しているLRペアのうちのL画像の画像データとR画像の画像データを連続して読み出し、画像サイズ変換回路２１５に出力する。
【０１６１】
画像サイズ変換回路２１５は、フレームメモリ２１４から供給されるL画像またはR画像の画像データの画像サイズを所定のサイズに拡大または縮小し、フレームレート変換回路２１６に供給する。
【０１６２】
フレームレート変換回路２１６は、コントローラ２１８の制御にしたがって、L画像およびR画像のフレームレートが所定のレートになるように、画像サイズ変換回路２１５から供給されるL画像およびR画像の画像データの出力タイミングを制御しながら、L画像およびR画像の画像データを出力する。
【０１６３】
コントローラ２１８は、ビデオ復号回路２１２から供給されるVS_TYPEと表示時刻情報に基づいて、L画像の表示時刻とR画像の表示時刻を決定する。コントローラ２１８は、フレームメモリ２１４を制御し、そのL画像の表示時刻およびR画像の表示時刻に基づくタイミングで、フレームメモリ２１４からL画像およびR画像の画像データを出力させる。また、コントローラ２１８は、L画像の表示時刻およびR画像の表示時刻に基づいてフレームレート変換回路２１６を制御し、画像サイズ変換回路２１５から出力されるL画像およびR画像の画像データのフレームレートを所定のフレームレートに変換して出力させる。
【０１６４】
D/A変換回路２１７は、フレームレート変換回路２１６から出力されたL画像またはR画像の画像データに対してD/A変換を行い、その結果得られるアナログ信号である画像信号を3Dビデオ表示装置２０２に出力する。
【０１６５】
なお、フレームメモリ２１４、画像サイズ変換回路２１５、フレームレート変換回路２１６、およびD/A変換回路２１７は、多視点復号装置２０１に備えられるのではなく、3Dビデオ表示装置２０２に備えられるようにしてもよい。
【０１６６】
[ビデオ復号回路の構成例]
図２１は、図２０のビデオ復号回路２１２の構成例を示すブロック図である。
【０１６７】
分離回路２１１から供給されるL画像の符号化データは、蓄積バッファ２７１に供給される。蓄積バッファ２７１は、そこに供給される符号化データを一時記憶し、可逆符号復号部２７２に供給する。
【０１６８】
可逆符号復号部２７２は、蓄積バッファ２７１からの符号化データに対して、その符号化データのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。
【０１６９】
可逆符号復号部２７２で得られる量子化値は、逆量子化部２７３に供給され、イントラ予測モードは、イントラ予測部２７７に供給される。また、可逆符号復号部２７２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部２７８に供給される。
【０１７０】
さらに、可逆符号復号部２７２は、符号化データから、VS_TYPEと表示時刻情報を抽出し、コントローラ２１８に供給する。
【０１７１】
逆量子化部２７３、逆直交変換部２７４、演算部２７５、フレームメモリ２７６、イントラ予測部２７７、及び、動き予測／動き補償部２７８は、図６の逆量子化部４９、逆直交変換部５０、演算部５１、フレームメモリ５２、イントラ予測部５３、及び、動き予測／動き補償部５４とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。
【０１７２】
すなわち、逆量子化部２７３は、可逆符号復号部２７２からの量子化値を、変換係数に逆量子化し、逆直交変換部２７４に供給する。
【０１７３】
逆直交変換部２７４は、符号化データのフォーマットに基づき、逆量子化部２７３からの変換係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、演算部２７５に供給する。
【０１７４】
演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部２７７から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部２７８から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。
【０１７５】
演算部２７５で得られた復号画像は、必要に応じて、フレームメモリ２７６に供給されるとともに、画像並べ替えバッファ２７９に供給される。
【０１７６】
フレームメモリ２７６は、演算部２７５から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部２７７や動き予測／動き補償部２７８に供給する。また、フレームメモリ２７６は、記憶している復号画像を、依存ストリーム復号回路２１３で予測画像を生成するのに用いる参照画像として、依存ストリーム復号回路２１３に供給する。
【０１７７】
イントラ予測部２７７は、演算部２７５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ２７６からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部２７５に供給する。
【０１７８】
すなわち、イントラ予測部２７７は、可逆符号復号部２７２からのイントラ予測モードに従い、演算部２７５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ２７６に記憶されている画素から予測画像を生成し、演算部２７５に供給する。
【０１７９】
一方、動き予測／動き補償部２７８は、演算部２７５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部２７５に供給する。
【０１８０】
すなわち、動き予測／動き補償部２７８は、可逆符号復号部２７２からのピクチャタイプ等に従い、フレームメモリ２７６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部２７８は、フレームメモリ２７６からの参照画像に対して、可逆符号復号部２７２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部２７５に供給する。
【０１８１】
演算部２７５では、以上のようにして、イントラ予測部２７７、又は、動き予測／動き補償部２７８から供給される予測画像を、逆直交変換部２７４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。
【０１８２】
画像並べ替えバッファ２７９は、演算部２７５からのピクチャ（復号画像）を一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、フレームメモリ２１４に供給する。
【０１８３】
[依存ストリーム復号回路の構成例]
図２２は、図２０の依存ストリーム復号回路２１３の構成例を示すブロック図である。
【０１８４】
図２２に示すように、依存ストリーム復号回路２１３は、蓄積バッファ２９１、可逆符号復号部２９２、逆量子化部２９３、逆直交変換部２９４、演算部２９５、フレームメモリ２９６、イントラ予測部２９７、動き予測/動き補償部２９８、および画像並べ替えバッファ２９９により構成される。
【０１８５】
図２２の依存ストリーム復号回路２１３における各部の処理は、フレームメモリ２９６および動き予測/動き補償部２９８の処理を除いて、ビデオ復号回路２１２と同様であるため、異なる処理についてのみ説明する。
【０１８６】
依存ストリーム復号回路２１３のフレームメモリ２９６は、演算部２９５から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部２９７や動き予測／動き補償部２９８に供給する。
【０１８７】
動き予測／動き補償部２９８は、可逆符号復号部２９２からのピクチャタイプ等に従い、フレームメモリ２９６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。また、動き予測／動き補償部２９８は、可逆符号復号部２９２からのピクチャタイプ等に従い、ビデオ復号回路２１２のフレームメモリ２７６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。そして、動き予測／動き補償部２９８は、フレームメモリ２９６およびフレームメモリ２７６からの参照画像に対して、可逆符号復号部２９２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部２９５に供給する。
【０１８８】
[復号システムの処理の説明]
図２３は、復号システム２００のコントローラ２１８による表示制御処理を説明するフローチャートである。この表示制御処理は、例えば、コントローラ２１８に供給されるLRペアのVS_TYPEに含まれる撮像タイプが第２の撮像タイプであるときに、LRペアごとに行われる。
【０１８９】
ステップＳ７１において、コントローラ２１８は、ビデオ復号回路２１２および依存ストリーム復号回路２１３から供給される、LRペアのVS_TYPEに含まれるTSタイプは「TSなしタイプ」であるかどうかを判定する。
【０１９０】
ステップＳ７１でTSタイプは「TSなしタイプ」であると判定された場合、ステップＳ７２において、コントローラ２１８は、撮像順情報に基づいて、撮像順と表示順が同一になるように、LRペアの表示時刻を決定する。
【０１９１】
具体的には、撮像順情報がL画像、R画像の順を表す場合、コントローラ２１８は、LRペアのL画像の表示時刻が所定の時間だけR画像の表示時刻より先になるように、LRペアの表示時刻を決定する。一方、撮像順情報がR画像、L画像の順を表す場合、コントローラ２１８は、LRペアのR画像の表示時刻が所定の時間だけL画像の表示時刻より先になるように、LRペアの表示時刻を決定する。
【０１９２】
また、ステップＳ７２でTSタイプは「TSなしタイプ」ではないと判定された場合、ステップＳ７３において、コントローラ２１８は、そのTSタイプは「同時刻タイプ」であるかどうかを判定する。
【０１９３】
ステップＳ７２でTSタイプは「同時刻タイプ」であると判定された場合、ステップＳ７４において、コントローラ２１８は、撮像順情報と表示時刻情報に基づいて、撮像順と表示順が同一になるように、LRペアの表示時刻を決定する。
【０１９４】
具体的には、撮像順情報がL画像、R画像の順を表す場合、コントローラ２１８は、例えば表示時刻情報が表す表示時刻をL画像の表示時刻とし、その表示時刻から所定の時間だけ後の表示時刻をR画像の表示時刻とする。一方、撮像順情報がR画像、L画像の順を表す場合、コントローラ２１８は、例えば表示時刻情報が表す表示時刻をR画像の表示時刻とし、その表示時刻から所定の時間だけ後の表示時刻をL画像の表示時刻とする。
【０１９５】
また、ステップＳ７３でTSタイプは「同時刻タイプ」ではないと判定された場合、ステップＳ７５において、コントローラ２１８は、そのTSタイプは「片側タイプ」であるかどうかを判定する。
【０１９６】
ステップＳ７５でTSタイプは「片側タイプ」であると判定された場合、ステップＳ７６において、コントローラ２１８は、撮像順情報とL画像の表示時刻情報に基づいて、撮像順と表示順が同一になるように、LRペアの表示時刻を決定する。
【０１９７】
具体的には、撮像順情報がL画像、R画像の順を表す場合、コントローラ２１８は、L画像の表示時刻情報が表す表示時刻をL画像の表示時刻とし、その表示時刻から所定の時間だけ後の表示時刻をR画像の表示時刻とする。一方、撮像順情報がR画像、L画像の順を表す場合、コントローラ２１８は、L画像の表示時刻情報が表す表示時刻をL画像の表示時刻とし、その表示時刻から所定の時間だけ前の表示時刻をR画像の表示時刻とする。
【０１９８】
また、ステップＳ７５でTSタイプは「片側タイプ」ではないと判定された場合、即ちそのTSタイプは「別時刻タイプ」である場合、処理はステップＳ７７に進む。
【０１９９】
ステップＳ７７において、コントローラ２１８は、L画像の表示時刻情報に基づいてL画像の表示時刻を決定し、R画像の表示時刻情報に基づいてR画像の表示時刻を決定する。
【０２００】
ステップＳ７２，Ｓ７４，Ｓ７６、またはＳ７７の処理後、処理はステップＳ７８に進む。ステップＳ７８において、コントローラ２１８は、フレームメモリ２１４を制御し、ステップＳ７２，Ｓ７４，Ｓ７６、またはＳ７７で決定されたLRペアの表示時刻に基づくタイミングで、L画像およびR画像の画像データをそれぞれ読み出させて出力させる。そして処理は終了する。
【０２０１】
以上のように、符号化システム１０は、連続する異なるタイミングで撮像されたLRペアの符号化データに、第２の撮像タイプと撮像順情報を付加する。従って、復号システム２００は、符号化データに付加された第２の撮像タイプと撮像順情報に基づいて、連続する異なるタイミングで撮像されたLRペアを撮像順と同一の順に表示することができる。その結果、撮像時の自然な動きが忠実に再現された違和感のない立体視画像を表示することができる。これにより、立体画像の臨場感が向上する。
【０２０２】
＜第２実施の形態＞
［符号化システムの第２実施の形態の構成例］
図２４は、本発明を適用した符号化システムの第２実施の形態の構成例を示すブロック図である。
【０２０３】
図２４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２０４】
図２４の符号化システム３００の構成は、多視点符号化装置１３の代わりにビデオ符号化装置３０１が設けられている点が図１の構成と異なる。即ち、図２４の符号化システム３００では、L画像とR画像の画像信号がMVC符号化方式に準拠して符号化されるのではなく、AVC符号化方式に準拠して符号化される。
【０２０５】
詳細には、ビデオ符号化装置３０１は、左眼用撮像装置１１により撮像されたL画像の画像信号と右眼用撮像装置１２により撮像されたR画像の画像信号を所定の順序で符号化の対象とし、AVC符号化方式に準拠した符号化を行う。ビデオ符号化装置３０１は、符号化の結果得られる符号化データをビットストリームとして出力する。
【０２０６】
[ビデオ符号化装置の構成例]
図２５は、図２４のビデオ符号化装置３０１の構成例を示すブロック図である。
【０２０７】
図２５に示すように、ビデオ符号化装置３０１は、VS_TYPE生成回路２１、表示時刻情報生成回路２２、ビデオ合成回路３１１、および符号化回路３１２により構成される。
【０２０８】
なお、図２５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２０９】
ビデオ合成回路３１１は、LRペアごとに、左眼用撮像装置１１により撮像されたL画像の画像信号と、右眼用撮像装置１２により撮像されたR画像の画像信号を、所定の順序で連続して符号化回路３１２に供給する。
【０２１０】
符号化回路３１２は、ビデオ合成回路３１１から入力される画像信号を、AVC符号化方式に準拠して符号化する。即ち、符号化回路３１２では、LRペアのうちのL画像およびR画像の画像信号が所定の順序で連続して符号化される。そして、符号化回路３１２は、符号化の結果得られる符号化データに、VS_TYPE生成回路２１からのVS_TYPEと表示時刻情報生成回路２２からの表示時刻情報を付加し、ビットストリームとして出力する。
【０２１１】
[符号化回路の構成例]
図２６は、図２５の符号化回路３１２の構成例を示すブロック図である。
【０２１２】
図２６に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１３】
図２６の符号化回路３１２の構成は、フレームメモリ５２の代わりにフレームメモリ３２１が設けられている点が図４のビデオ符号化回路２３の構成と異なる。即ち、図２６の符号化回路３１２では、復号画像が自分の符号化回路３１２でのみ用いられる。
【０２１４】
[ビデオ符号化装置の処理の説明]
図２７は、ビデオ符号化装置３０１による符号化処理を説明するフローチャートである。
【０２１５】
図２７のステップＳ１０１において、VS_TYPE生成回路２１は、図１０のステップＳ１１の処理と同様に、LRペアの画像信号の入力タイミングに基づいて、VS_TYPEを生成する。また、表示時刻情報生成回路２２は、ステップＳ１１の処理と同様に、LRペアの画像信号の入力タイミングに基づいて、同一の表示時刻または異なる表示時刻を表す、LRペアの表示時刻情報を生成する。
【０２１６】
ステップＳ１０２において、符号化回路３１２の可逆符号化部４６は、VS_TYPE生成回路２１から供給されるVS_TYPEに含まれるTSタイプは「TSなしタイプ」であるかどうかを判定する。
【０２１７】
ステップＳ１０２でTSタイプは「TSなしタイプ」であると判定された場合、ステップＳ１０３において、符号化回路３１２は、ビデオ合成回路３１１から供給される画像信号を符号化し、VS_TYPE生成回路２１から供給されるVS_TYPEを付加する。そして、符号化回路３１２は、その結果得られる符号化データをビットストリームとして出力し、処理を終了する。
【０２１８】
一方、ステップＳ１０２でTSタイプは「TSなしタイプ」ではないと判定された場合、処理はステップＳ１０４に進む。ステップＳ１０４において、符号化回路３１２の可逆符号化部６６は、VS_TYPE生成回路２１から供給されるVS_TYPEに含まれるTSタイプは「同時刻タイプ」または「別時刻タイプ」であるかどうかを判定する。
【０２１９】
ステップＳ１０４でTSタイプは「同時刻タイプ」または「別時刻タイプ」であると判定された場合、処理はステップＳ１０５に進む。ステップＳ１０５において、符号化回路３１２は、ビデオ合成回路３１１から供給される画像信号を符号化し、VS_TYPE生成回路２１からのVS_TYPEと表示時刻情報生成回路２２からの表示時刻情報を付加する。そして、符号化回路３１２は、その結果得られる符号化データをビットストリームとして出力し、処理を終了する。
【０２２０】
また、ステップＳ１０４でTSタイプは「同時刻タイプ」または「別時刻タイプ」ではないと判定された場合、即ちTSタイプは「片側タイプ」である場合、処理はステップＳ１０６に進む。
【０２２１】
ステップＳ１０６において、符号化回路３１２は、ビデオ合成回路３１１から供給される画像信号はL画像の画像信号であるかどうかを判定する。
【０２２２】
ステップＳ１０６で画像信号はL画像の画像信号であると判定された場合、処理は上述したステップＳ１０５に進み、符号化回路３１２は、ビデオ合成回路３１１から供給されるL画像の画像信号を符号化し、VS_TYPEと表示時刻情報を付加する。そして、符号化回路３１２は、その結果得られる符号化データをビットストリームとして出力し、処理を終了する。
【０２２３】
一方、ステップＳ１０６で画像信号はL画像の画像信号ではないと判定された場合、即ち画像信号はR画像の画像信号である場合、処理はステップＳ１０７に進む。ステップＳ１０７において、符号化回路３１２は、ビデオ合成回路３１１から供給されるR画像の画像信号を符号化し、VS_TYPE生成回路２１からのVS_TYPEを付加する。そして、符号化回路３１２は、その結果得られる符号化データをビットストリームとして出力し、処理を終了する。
【０２２４】
なお、符号化システム３００では、L画像の撮像用の撮像装置とR画像の撮像用の撮像装置が別々に設けられたが、図１２の場合と同様に、１つの撮像装置でL画像とR画像が撮像されるようにしてもよい。
【０２２５】
また、符号化システム３００では、L画像とR画像が撮像装置からパラレルに出力されたが、図１３や図１７の場合と同様に、シリアルに出力されるようにしてもよい。この場合、ビデオ符号化装置３０１にはビデオ合成回路３１１は設けられない。
【０２２６】
[復号システムの構成例]
図２８は、上述した符号化システム３００から出力されたビットストリームを復号する復号システムの構成例を示すブロック図である。
【０２２７】
図２８に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２２８】
図２８の復号システム４００の構成は、多視点復号装置２０１の代わりにビデオ復号装置４０１が設けられている点が図１９の構成と異なる。即ち、図２８の復号システム４００では、ビットストリームがMVC符号化方式に対応する方式に準拠して復号されるのではなく、AVC符号化方式に対応する方式に準拠して復号される。
【０２２９】
ビデオ復号装置４０１は、符号化システム３００から出力されたビットストリームをAVC符号化方式に対応する方式で復号する。ビデオ復号装置４０１は、その結果得られるアナログ信号であるLRペアの画像信号を、連続する異なるタイミングで3Dビデオ表示装置２０２に出力する。
【０２３０】
[ビデオ復号装置４０１の構成例]
図２９は、図２８のビデオ復号装置４０１の構成例を示すブロック図である。
【０２３１】
図２９に示すように、ビデオ復号装置４０１は、復号回路４１１、フレームメモリ４１２、画像サイズ変換回路２１５、フレームレート変換回路２１６、D/A変換回路２１７、およびコントローラ２１８により構成される。なお、図２９に示す構成のうち、図２０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２３２】
復号回路４１１は、符号化システム３００から出力されたビットストリームをAVC符号化方式に対応する方式で復号する。復号回路４１１は、復号の結果得られるディジタル信号である画像データを、フレームメモリ４１２に供給する。また、復号回路４１１は、復号の結果得られるVS_TYPEと表示時刻情報をコントローラ２１８に供給する。
【０２３３】
フレームメモリ４１２は、復号回路４１１から供給される画像データを記憶する。フレームメモリ４１２は、コントローラ２１８の制御にしたがって、記憶しているLRペアのうちのL画像の画像データとR画像の画像データを連続して読み出し、画像サイズ変換回路２１５に出力する。
【０２３４】
[復号回路の構成例]
図３０は、図２９の復号回路４１１の構成例を示すブロック図である。
【０２３５】
図３０に示す構成のうち、図２１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２３６】
図３０の復号回路４１１の構成は、フレームメモリ２７６の代わりにフレームメモリ４２１が設けられている点が図２１のビデオ復号回路２１２の構成と異なる。即ち、図３０の復号回路４１１では、復号画像が自分の復号回路４１１でのみ用いられる。
【０２３７】
なお、本発明は、LRペアを連続する異なるタイミングで表示する3Dビデオ表示装置のみが接続可能な復号装置だけでなく、LRペアを連続する異なるタイミングで表示する3Dビデオ表示装置とLRペアを同時に表示する3Dビデオ表示装置の両方が接続可能な復号装置にも適用することができる。この場合、復号装置は、3Dビデオ表示装置の表示方法を表す情報を3Dビデオ表示装置から取得し、その表示方法がLRペアを連続する異なるタイミングで表示する方法である場合、上述した表示制御処理を行う。
【０２３８】
また、本実施の形態では、VS_TYPEおよび表示時刻情報が符号化データに付加(記述)されたが、VS_TYPEおよび表示時刻情報は、画像データ(又はビットストリーム)と別に伝送(記録)されてもよい。また、VS_TYPEおよび表示時刻情報は画像データ(又はビットストリーム)と連結されるようにしてもよい。
【０２３９】
なお、本実施の形態では、「連結」を以下のように定義する。「連結」とは、画像データ(又はビットストリーム)とVS_TYPEおよび表示時刻情報とが互いにリンクされている状態を指す。連結対象の画像データとVS_TYPEおよび表示時刻情報とは、別の伝送路で伝送されてもよい。また、連結対象の画像データ(又はビットストリーム)とVS_TYPEおよび表示時刻情報とは、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録されてもよい。なお、画像データ(又はビットストリーム)とVS_TYPEおよび表示時刻情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)にすることができる。
【０２４０】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２４１】
そこで、図３１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２４２】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部６０８やROM６０２に予め記録しておくことができる。
【０２４３】
あるいはまた、プログラムは、リムーバブルメディア６１１に格納（記録）しておくことができる。このようなリムーバブルメディア６１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア６１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２４４】
なお、プログラムは、上述したようなリムーバブルメディア６１１からドライブ６１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部６０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２４５】
コンピュータは、CPU(Central Processing Unit)６０１を内蔵しており、CPU６０１には、バス６０４を介して、入出力インタフェース６０５が接続されている。
【０２４６】
CPU６０１は、入出力インタフェース６０５を介して、ユーザによって、入力部６０６が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)６０２に格納されているプログラムを実行する。あるいは、CPU６０１は、記憶部６０８に格納されたプログラムを、RAM(Random Access Memory)６０３にロードして実行する。
【０２４７】
これにより、CPU６０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０５を介して、出力部６０７から出力、あるいは、通信部６０９から送信、さらには、記憶部６０８に記録等させる。
【０２４８】
なお、入力部６０６は、キーボードや、マウス、マイク等で構成される。また、出力部６０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２４９】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２５０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２５１】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２５２】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５３】
例えば、上述した符号化システム１０（３００）や復号システム２００（４００）は、任意の電子機器に適用することができる。以下にその例について説明する。
【０２５４】
［テレビジョン受像機の構成例］
図３２は、本発明を適用した復号システムを用いるテレビジョン受像機の主な構成例を示すブロック図である。
【０２５５】
図３２のテレビジョン受像機７００は、上述した符号化システム１０（３００）で得られるビットストリームを、ディジタル放送の放送信号やコンテンツデータの少なくとも一部として取得し、復号システム２００（４００）と同様の処理を行って立体視画像を表示する。
【０２５６】
テレビジョン受像機７００の地上波チューナ７１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、画像信号を取得し、それをビデオデコーダ７１５に供給する。ビデオデコーダ７１５は、地上波チューナ７１３から供給された映像信号に対してデコード処理を施し、得られたディジタルのコンポーネント信号を映像信号処理回路７１８に供給する。
【０２５７】
映像信号処理回路７１８は、ビデオデコーダ７１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路７１９に供給する。
【０２５８】
グラフィック生成回路７１９は、表示パネル７２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路７２０に供給する。また、グラフィック生成回路７１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路７２０に供給するといった処理も適宜行う。
【０２５９】
パネル駆動回路７２０は、グラフィック生成回路７１９から供給されたデータに基づいて表示パネル７２１を駆動し、番組の映像や上述した各種の画面を表示パネル７２１に表示させる。
【０２６０】
表示パネル７２１は、パネル駆動回路７２０による制御に従って番組の映像などを表示させる。
【０２６１】
また、テレビジョン受像機７００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路７２２、エコーキャンセル／音声合成回路７２３、音声増幅回路７２４、およびスピーカ７２５も有する。
【０２６２】
地上波チューナ７１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ７１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
【０２６３】
音声A/D変換回路３１４は、地上波チューナ７１３から供給された音声信号に対してA/D変換処理を施し、得られたディジタルの音声信号を音声信号処理回路７２２に供給する。
【０２６４】
音声信号処理回路７２２は、音声A/D変換回路７１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路７２３に供給する。
【０２６５】
エコーキャンセル／音声合成回路７２３は、音声信号処理回路７２２から供給された音声データを音声増幅回路７２４に供給する。
【０２６６】
音声増幅回路７２４は、エコーキャンセル／音声合成回路７２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ７２５から出力させる。
【０２６７】
さらに、テレビジョン受像機７００は、デジタルチューナ７１６およびMPEGデコーダ７１７も有する。
【０２６８】
デジタルチューナ７１６は、ディジタル放送（地上ディジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）ディジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ７１７に供給する。
【０２６９】
MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ７１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路７２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路７１８に供給する。また、MPEGデコーダ７１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU７３２に供給する。
【０２７０】
MPEGデコーダ７１７から供給された映像データは、ビデオデコーダ７１５から供給された映像データの場合と同様に、映像信号処理回路７１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路７１９において、生成された映像データ等が適宜重畳され、パネル駆動回路７２０を介して表示パネル７２１に供給され、その画像が表示される。
【０２７１】
テレビジョン受像機７００は、このように映像パケットをデコードして表示パネル７２１に画像を表示する処理として、上述した多視点復号装置２０１またはビデオ復号装置４０１と同様の処理を行う。その結果、例えば、番組の立体視画像を違和感なく表示することができる。
【０２７２】
MPEGデコーダ７１７から供給された音声データは、音声A/D変換回路７１４から供給された音声データの場合と同様に、音声信号処理回路７２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路７２３を介して音声増幅回路７２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ７２５から出力される。
【０２７３】
また、テレビジョン受像機７００は、マイクロホン７２６、およびA/D変換回路７２７も有する。
【０２７４】
A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データをエコーキャンセル／音声合成回路７２３に供給する。
【０２７５】
エコーキャンセル／音声合成回路７２３は、テレビジョン受像機７００のユーザ（ユーザＡ）の音声のデータがA/D変換回路７２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路７２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。
【０２７６】
さらに、テレビジョン受像機７００は、音声コーデック７２８、内部バス７２９、SDRAM（Synchronous Dynamic Random Access Memory)７３０、フラッシュメモリ７３１、CPU７３２、USB（Universal Serial Bus) I/F７３３、およびネットワークI/F７３４も有する。
【０２７７】
A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データを音声コーデック７２８に供給する。
【０２７８】
音声コーデック７２８は、A/D変換回路７２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス７２９を介してネットワークI/F７３４に供給する。
【０２７９】
ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F７３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック７２８から供給された音声データを送信する。また、ネットワークI/F７３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子７３５を介して受信し、それを、内部バス７２９を介して音声コーデック７２８に供給する。
【０２８０】
音声コーデック７２８は、ネットワークI/F７３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路７２３に供給する。
【０２８１】
エコーキャンセル／音声合成回路７２３は、音声コーデック７２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。
【０２８２】
SDRAM７３０は、CPU７３２が処理を行う上で必要な各種のデータを記憶する。
【０２８３】
フラッシュメモリ７３１は、CPU７３２により実行されるプログラムを記憶する。フラッシュメモリ７３１に記憶されているプログラムは、テレビジョン受像機７００の起動時などの所定のタイミングでCPU７３２により読み出される。フラッシュメモリ７３１には、ディジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
【０２８４】
例えば、フラッシュメモリ７３１には、CPU７３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ７３１は、例えばCPU７３２の制御により、そのMPEG-TSを、内部バス７２９を介してMPEGデコーダ７１７に供給する。
【０２８５】
MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機７００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ７１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
【０２８６】
また、テレビジョン受像機７００は、リモートコントローラ７５１から送信される赤外線信号を受光する受光部７３７も有する。
【０２８７】
受光部７３７は、リモートコントローラ７５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU７３２に出力する。
【０２８８】
CPU７３２は、フラッシュメモリ７３１に記憶されているプログラムを実行し、受光部７３７から供給される制御コードなどに応じてテレビジョン受像機７００の全体の動作を制御する。CPU７３２とテレビジョン受像機７００の各部は、図示せぬ経路を介して接続されている。
【０２８９】
USB I/F７３３は、USB端子７３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機７００の外部の機器との間でデータの送受信を行う。ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
【０２９０】
［携帯電話機の構成例］
図３３は、本発明を適用した符号化システムおよび復号システムを用いる携帯電話機の主な構成例を示すブロック図である。
【０２９１】
図３３の携帯電話機８００は、上述した符号化システム１０（３００）と同様の処理を行い、立体視画像を表示するためのビットストリームを得る。また、携帯電話機８００は、上述した符号化システム１０（３００）で得られるビットストリームを受信して、復号システム２００（４００）と同様の処理を行い、立体視画像を表示する。
【０２９２】
図３３の携帯電話機８００は、各部を統括的に制御するようになされた主制御部８５０、電源回路部８５１、操作入力制御部８５２、画像エンコーダ８５３、カメラI/F部８５４、LCD制御部８５５、画像デコーダ８５６、多重分離部８５７、記録再生部８６２、変復調回路部８５８、および音声コーデック８５９を有する。これらは、バス８６０を介して互いに接続されている。
【０２９３】
また、携帯電話機８００は、操作キー８１９、CCD（Charge Coupled Devices）カメラ８１６、液晶ディスプレイ８１８、記憶部８２３、送受信回路部８６３、アンテナ８１４、マイクロホン（マイク）８２１、およびスピーカ８１７を有する。
【０２９４】
電源回路部８５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機８００を動作可能な状態に起動する。
【０２９５】
携帯電話機８００は、CPU、ROMおよびRAM等でなる主制御部８５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２９６】
例えば、音声通話モードにおいて、携帯電話機８００は、マイクロホン（マイク）８２１で集音した音声信号を、音声コーデック８５９によってディジタル音声データに変換し、これを変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
【０２９７】
また、例えば、音声通話モードにおいて、携帯電話機８００は、アンテナ８１４で受信した受信信号を送受信回路部８６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部８５８でスペクトラム逆拡散処理し、音声コーデック８５９によってアナログ音声信号に変換する。携帯電話機８００は、その変換して得られたアナログ音声信号をスピーカ８１７から出力する。
【０２９８】
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機８００は、操作キー８１９の操作によって入力された電子メールのテキストデータを、操作入力制御部８５２において受け付ける。携帯電話機８００は、そのテキストデータを主制御部８５０において処理し、LCD制御部８５５を介して、画像として液晶ディスプレイ８１８に表示させる。
【０２９９】
また、携帯電話機８００は、主制御部８５０において、操作入力制御部８５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機８００は、その電子メールデータを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
【０３００】
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機８００は、復元された電子メールデータを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示する。
【０３０１】
なお、携帯電話機８００は、受信した電子メールデータを、記録再生部８６２を介して、記憶部８２３に記録する（記憶させる）ことも可能である。
【０３０２】
この記憶部８２３は、書き換え可能な任意の記憶媒体である。記憶部８２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
【０３０３】
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機８００は、撮像によりCCDカメラ８１６で画像データを生成する。CCDカメラ８１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部８５４を介して、画像エンコーダ８５３で、例えばMVCやAVC等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
【０３０４】
携帯電話機８００は、このように撮像により生成された画像データを圧縮符号化する処理として、上述した多視点符号化装置１３（１２２）またはビデオ符号化装置３０１と同様の処理を行う。その結果、復号時に、撮像画像の立体視画像を違和感なく表示することができる。
【０３０５】
携帯電話機８００は、多重分離部８５７において、画像エンコーダ８５３から供給された符号化画像データと、音声コーデック８５９から供給されたディジタル音声データとを、所定の方式で多重化する。携帯電話機８００は、その結果得られる多重化データを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
【０３０６】
なお、画像データを送信しない場合、携帯電話機８００は、CCDカメラ８１６で生成した画像データ等を、画像エンコーダ８５３を介さずに、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させることもできる。
【０３０７】
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機８００は、多重分離部８５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
【０３０８】
携帯電話機８００は、画像デコーダ８５６において、符号化画像データを、MVCやAVC等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ８１８に表示される。
【０３０９】
携帯電話機８００は、このように符号化画像データをデコードして液晶ディスプレイ８１８に表示する処理として、上述した多視点復号装置２０１またはビデオ復号装置４０１と同様の処理を行う。その結果、例えば、簡易ホームページにリンクされた動画像ファイルに対応する立体視画像を違和感なく表示することができる。
【０３１０】
なお、電子メールの場合と同様に、携帯電話機８００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部８６２を介して、記憶部８２３に記録する（記憶させる）ことも可能である。
【０３１１】
また、携帯電話機８００は、主制御部８５０において、撮像されてCCDカメラ８１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
【０３１２】
さらに、携帯電話機８００は、赤外線通信部８８１で赤外線により外部の機器と通信することができる。
【０３１３】
なお、以上において、携帯電話機８００が、CCDカメラ８１６を用いるように説明したが、このCCDカメラ８１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機８００は、CCDカメラ８１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
【０３１４】
また、以上においては携帯電話機８００について説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機８００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機８００の場合と同様に、上述した符号化システムおよび復号システムを適用することができる。
【０３１５】
［ハードディスクレコーダの構成例］
図３４は、本発明を適用した復号システムを用いるハードディスクレコーダとモニタの主な構成例を示すブロック図である。
【０３１６】
図３４のハードディスクレコーダ（HDDレコーダ）９００は、上述した符号化システム１０（３００）で得られるビットストリームを、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）等の一部として取得し、内蔵するハードディスクに保存する。そして、ハードディスクレコーダ９００は、ユーザの指示に応じたタイミングで、保存されているビットストリームを用いて復号システム２００（４００）と同様の処理を行い、立体視画像をモニタ９６０に表示させる。
【０３１７】
ハードディスクレコーダ９００は、受信部９２１、復調部９２２、デマルチプレクサ９２３、オーディオデコーダ９２４、ビデオデコーダ９２５、およびレコーダ制御部９２６を有する。ハードディスクレコーダ９００は、さらに、EPGデータメモリ９２７、プログラムメモリ９２８、ワークメモリ９２９、ディスプレイコンバータ９３０、OSD（On Screen Display）制御部９３１、ディスプレイ制御部９３２、記録再生部９３３、D/Aコンバータ９３４、および通信部９３５を有する。
【０３１８】
また、ディスプレイコンバータ９３０は、ビデオエンコーダ９４１を有する。記録再生部９３３は、エンコーダ９５１およびデコーダ９５２を有する。
【０３１９】
受信部９２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部９２６に出力する。レコーダ制御部９２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ９２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部９２６は、このとき、ワークメモリ９２９を必要に応じて使用する。
【０３２０】
通信部９３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部９３５は、レコーダ制御部９２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
【０３２１】
復調部９２２は、チューナより供給された信号を、復調し、デマルチプレクサ９２３に出力する。デマルチプレクサ９２３は、復調部９２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ９２４、ビデオデコーダ９２５、またはレコーダ制御部９２６に出力する。
【０３２２】
オーディオデコーダ９２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部９３３に出力する。ビデオデコーダ９２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ９３０に出力する。レコーダ制御部９２６は、入力されたEPGデータをEPGデータメモリ９２７に供給し、記憶させる。
【０３２３】
ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されたビデオデータを、ビデオエンコーダ９４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部９３３に出力する。
【０３２４】
ハードディスクレコーダ９００は、このようにビデオデータをエンコードする処理として、上述した多視点符号化装置１３（１２２）またはビデオ符号化装置３０１と同様の処理を行う。その結果、復号再生時に、番組の立体視画像を違和感なく表示することができる。
【０３２５】
また、ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されるビデオデータの画面のサイズを、モニタ９６０のサイズに対応するサイズに変換する。ディスプレイコンバータ９３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ９４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部９３２に出力する。
【０３２６】
ディスプレイ制御部９３２は、レコーダ制御部９２６の制御のもと、OSD（On Screen Display）制御部９３１が出力したOSD信号を、ディスプレイコンバータ９３０より入力されたビデオ信号に重畳し、モニタ９６０のディスプレイに出力し、表示させる。
【０３２７】
ハードディスクレコーダ９００は、このようにビデオデータをデコードしてモニタ９６０に画像を表示する処理として、上述した多視点復号装置２０１またはビデオ復号装置４０１と同様の処理を行う。その結果、例えば、番組の立体視画像を違和感なく表示することができる。
【０３２８】
モニタ９６０にはまた、オーディオデコーダ９２４が出力したオーディオデータが、D/Aコンバータ９３４によりアナログ信号に変換されて供給されている。モニタ９６０は、このオーディオ信号を内蔵するスピーカから出力する。
【０３２９】
記録再生部９３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
【０３３０】
記録再生部９３３は、例えば、オーディオデコーダ９２４より供給されるオーディオデータを、エンコーダ９５１によりMPEG方式でエンコードする。また、記録再生部９３３は、ディスプレイコンバータ９３０のビデオエンコーダ９４１より供給されるビデオデータを、エンコーダ９５１によりMPEG方式でエンコードする。記録再生部９３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部９３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
【０３３１】
記録再生部９３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部９３３は、デコーダ９５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部９３３は、復号したオーディオデータをD/A変換し、モニタ９６０のスピーカに出力する。また、記録再生部９３３は、復号したビデオデータをD/A変換し、モニタ９６０のディスプレイに出力する。
【０３３２】
レコーダ制御部９２６は、受信部９２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ９２７から最新のEPGデータを読み出し、それをOSD制御部９３１に供給する。OSD制御部９３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部９３２に出力する。ディスプレイ制御部９３２は、OSD制御部９３１より入力されたビデオデータをモニタ９６０のディスプレイに出力し、表示させる。これにより、モニタ９６０のディスプレイには、EPG（電子番組ガイド）が表示される。
【０３３３】
また、ハードディスクレコーダ９００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
【０３３４】
通信部９３５は、レコーダ制御部９２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部９２６に供給する。レコーダ制御部９２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部９３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部９２６および記録再生部９３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
【０３３５】
また、レコーダ制御部９２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ９３０に供給する。ディスプレイコンバータ９３０は、ビデオデコーダ９２５から供給されるビデオデータと同様に、レコーダ制御部９２６から供給されるビデオデータを処理し、ディスプレイ制御部９３２を介してモニタ９６０に供給し、その画像を表示させる。
【０３３６】
また、この画像表示に合わせて、レコーダ制御部９２６が、復号したオーディオデータを、D/Aコンバータ９３４を介してモニタ９６０に供給し、その音声をスピーカから出力させるようにしてもよい。
【０３３７】
さらに、レコーダ制御部９２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ９２７に供給する。
【０３３８】
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ９００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ９００の場合と同様に、上述した符号化システムおよび復号システムを適用することができる。
【０３３９】
［カメラの構成例］
図３５は、本発明を適用した符号化システムおよび復号システムを用いるカメラの主な構成例を示すブロック図である。
【０３４０】
図３５のカメラ１０００は、符号化システム１０（３００）と同様の処理を行い、ビットストリームを得る。また、カメラ１０００は、復号システム２００（４００）と同様の処理を行い、そのビットストリームを用いて立体視画像を表示させる。
【０３４１】
カメラ１０００のレンズブロック１０１１は、光（すなわち、被写体の映像）を、CCD/CMOS１０１２に入射させる。CCD/CMOS１０１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１０１３に供給する。
【０３４２】
カメラ信号処理部１０１３は、CCD/CMOS１０１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１０１４に供給する。画像信号処理部１０１４は、コントローラ１０２１の制御の下、カメラ信号処理部１０１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１０４１で例えばAVCやMVCといった方式により符号化したりする。
【０３４３】
カメラ１０００は、このように撮像により生成された画像信号を符号化する処理として、上述した多視点符号化装置１３（１２２）またはビデオ符号化装置３０１と同様の処理を行う。その結果、復号時に、撮像画像の立体視画像を違和感なく表示することができる。
【０３４４】
画像信号処理部１０１４は、画像信号を符号化して生成した符号化データを、デコーダ１０１５に供給する。さらに、画像信号処理部１０１４は、オンスクリーンディスプレイ（OSD）１０２０において生成された表示用データを取得し、それをデコーダ１０１５に供給する。
【０３４５】
以上の処理において、カメラ信号処理部１０１３は、バス１０１７を介して接続されるDRAM（Dynamic Random Access Memory）１０１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１０１８に保持させる。
【０３４６】
デコーダ１０１５は、画像信号処理部１０１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１０１６に供給する。また、デコーダ１０１５は、画像信号処理部１０１４から供給された表示用データをLCD１０１６に供給する。LCD１０１６は、デコーダ１０１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
【０３４７】
カメラ１０００は、このように符号化データを復号してLCD１０１６に表示する処理として、上述した多視点復号装置２０１またはビデオ復号装置４０１と同様の処理を行う。その結果、例えば、撮像画像の立体視画像を違和感なく表示することができる。
【０３４８】
オンスクリーンディスプレイ１０２０は、コントローラ１０２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１０１７を介して画像信号処理部１０１４に出力する。
【０３４９】
コントローラ１０２１は、ユーザが操作部１０２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１０１７を介して、画像信号処理部１０１４、DRAM１０１８、外部インタフェース１０１９、オンスクリーンディスプレイ１０２０、およびメディアドライブ１０２３等を制御する。FLASH ROM１０２４には、コントローラ１０２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
【０３５０】
例えば、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５に代わって、DRAM１０１８に記憶されている画像データを符号化したり、DRAM１０１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１０１４やデコーダ１０１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
【０３５１】
また、例えば、操作部１０２２から画像印刷の開始が指示された場合、コントローラ１０２１は、DRAM１０１８から画像データを読み出し、それを、バス１０１７を介して外部インタフェース１０１９に接続されるプリンタ１０３４に供給して印刷させる。
【０３５２】
さらに、例えば、操作部１０２２から画像記録が指示された場合、コントローラ１０２１は、DRAM１０１８から符号化データを読み出し、それを、バス１０１７を介してメディアドライブ１０２３に装着される記録メディア１０３３に供給して記憶させる。
【０３５３】
記録メディア１０３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１０３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、
非接触ICカード等であっても良い。
【０３５４】
また、メディアドライブ１０２３と記録メディア１０３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０３５５】
外部インタフェース１０１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１０３４と接続される。また、外部インタフェース１０１９には、必要に応じてドライブ１０３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１０３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１０２４にインストールされる。
【０３５６】
さらに、外部インタフェース１０１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１０２１は、例えば、操作部１０２２からの指示に従って、DRAM１０１８から符号化データを読み出し、それを外部インタフェース１０１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１０２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１０１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部１０１４に供給したりすることができる。
【０３５７】
なお、カメラ１０００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
【０３５８】
もちろん、上述した符号化システム１０（３００）および復号システム２００（４００）は、上述した装置以外の装置やシステムにも適用可能である。
【符号の説明】
【０３５９】
１０  符号化システム，  １３  多視点符号化装置，  ２１  VS_TYPE生成回路，  ２２  表示時刻情報生成回路，  ４６  可逆符号化部，  １２２  多視点符号化装置，  ２００  復号システム，  ２０１  多視点復号装置，  ２１８  コントローラ，  ３００  符号化システム，  ３０１  ビデオ符号化装置，  ４００  復号システム，  ４０１  ビデオ復号装置
【図１】
2011087195.tif 000003
【図２】
2011087195.tif 000004
【図３】
2011087195.tif 000005
【図４】
2011087195.tif 000006
【図５】
2011087195.tif 000007
【図６】
2011087195.tif 000008
【図７】
2011087195.tif 000009
【図８】
2011087195.tif 000010
【図９】
2011087195.tif 000011
【図１０】
2011087195.tif 000012
【図１１】
2011087195.tif 000013
【図１２】
2011087195.tif 000014
【図１３】
2011087195.tif 000015
【図１４】
2011087195.tif 000016
【図１５】
2011087195.tif 000017
【図１６】
2011087195.tif 000018
【図１７】
2011087195.tif 000019
【図１８】
2011087195.tif 000020
【図１９】
2011087195.tif 000021
【図２０】
2011087195.tif 000022
【図２１】
2011087195.tif 000023
【図２２】
2011087195.tif 000024
【図２３】
2011087195.tif 000025
【図２４】
2011087195.tif 000026
【図２５】
2011087195.tif 000027
【図２６】
2011087195.tif 000028
【図２７】
2011087195.tif 000029
【図２８】
2011087195.tif 000030
【図２９】
2011087195.tif 000031
【図３０】
2011087195.tif 000032
【図３１】
2011087195.tif 000033
【図３２】
2011087195.tif 000034
【図３３】
2011087195.tif 000035
【図３４】
2011087195.tif 000036
【図３５】
2011087195.tif 000037