(57)【特許請求の範囲】
【請求項１】
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、
前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段と
を備える画像処理装置。
【請求項２】
前記N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報を設定する指定情報設定手段を更に備える
請求項１に記載の画像処理装置。
【請求項３】
前記伝送手段は、前記基本画像データ及び前記追加画像データのビットストリームと前記指定情報とを連結して伝送する
請求項２に記載の画像処理装置。
【請求項４】
前記指定情報設定手段は、１以上の連続するピクチャごとに、前記指定情報を設定する
請求項２に記載の画像処理装置。
【請求項５】
前記変換手段は、前記N個の視点の画像データを、1個の前記基本画像データとN-1個の前記追加画像データとに変換する
請求項１に記載の画像処理装置。
【請求項６】
前記N個の視点の画像データは、左眼で観察される左眼用視点画像データ、及び、右眼で観察される右眼用視点画像データである
請求項１に記載の画像処理装置。
【請求項７】
N個の視点の画像データを符号化してビットストリームを生成する符号化手段を更に備える
請求項１に記載の画像処理装置。 
【請求項８】
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換ステップと、
前記変換ステップにおいて変換された前記基本画像データ及び前記追加画像データと、
前記指定情報とを伝送する伝送ステップと
を含む画像処理方法。
【請求項９】
コンピュータを、
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、
前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段と
して機能させるためのプログラム。
【請求項１０】
コンピュータを、
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、
前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段と
して機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１１】
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
を受け取る受け取り手段と、
前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段と
を備える画像処理装置。
【請求項１２】
前記N個の視点の画像データを、立体視用の立体視画像データに変換する立体視画像変換手段をさらに備える
請求項１１に記載の画像処理装置。
【請求項１３】
前記受け取り手段は、前記指定情報と、前記N個の視点の画像データから得られた1個の前記基本画像データおよびN-1個の前記追加画像データと、を受け取る
請求項１１に記載の画像処理装置。
【請求項１４】
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
を受け取る受け取りステップと、
前記受け取りステップにおいて受け取られた前記指定情報に従い、前記受け取りステップにおいて受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元ステップと
を含む画像処理方法。
【請求項１５】
コンピュータを、
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
を受け取る受け取り手段と、
前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段と
して機能させるためのプログラム。
【請求項１６】
コンピュータを、
N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、
基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、
前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データと
を受け取る受け取り手段と、
前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段と
して機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに、記録媒体に関し、特に、例えば、立体視のための複数の視点の画像データからなるコンテンツを、２次元画像として表示する場合に、コンテンツの制作者が意図する画像等を表示することができるようにする画像処理装置および方法、プログラム、並びに、記録媒体に関する。
【背景技術】
【０００２】
近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。【０００３】
すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。【０００４】
例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。【０００５】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。【０００６】
さらに、近年、当初テレビ会議用の画像符号化を目的として、H.264(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.264は、MPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.264をベースに、H.264ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced−Compression Video Codingとして行われている。【０００７】
Joint Video Team で標準化が行われている符号化方式（JVT Codec）については、符号化効率を、MPEG2やMPEG4等の既存技術よりも向上させるために、様々な改善が検討されている。例えば、離散コサイン変換では、４×４画素のブロックを対象として、整数の変換係数への変換が行われる。また、動き補償については、ブロックサイズが可変であり、より最適な動き補償を行うことができるようになっている。但し、符号化の基本的なアルゴリズムは、MPEG2やMPEG4等の既存技術と同様である。【０００８】
ところで、上述のような符号化の対象となる画像のコンテンツとしては、２次元画像のコンテンツの他、立体視が可能な立体視画像のコンテンツがある。【０００９】
立体視画像の表示には、専用のデバイス（以下、立体視用デバイス）が必要であり、そのような立体視用デバイスとしては、例えば、NHK（日本放送協会）が開発したIP(Integral Photography)立体画像システムがある。【００１０】
立体視画像の画像データは、複数の視点の画像データ（複数の視点から撮影された画像の画像データ）からなり、視点の数が多く、かつ、視点が広範囲にわたるほど、様々な方向から被写体を見ることができる、いわば「のぞけるテレビ」を実現することができる。【００１１】
ここで、立体視画像の画像データ、すなわち、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2008-182669号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
立体視画像のうちの、視点の数が最も少ないのは、視点の数が２視点のステレオ画像であり、ステレオ画像の画像データは、左眼で観察される画像（以下、左眼用画像という）の画像データと、右眼で観察される画像（以下、右眼用画像という）の画像データとからなる。【００１４】
ステレオ画像を含む立体視画像は、立体視用デバイスがあれば、立体視をすることができるが、２次元画像を表示するデバイス（以下、２次元表示デバイスともいう）、すなわち、例えば、一般のTV（テレビジョン受像機）等のディスプレイであっても、２次元画像として表示することができる。【００１５】
すなわち、ステレオ画像を含む立体視画像は、複数の視点の画像のうちのいずれか１個の視点の画像を表示することで、２次元画像として表示することができる。【００１６】
ところで、２次元表示デバイスにおいて、立体視画像を、２次元画像として表示する場合、複数の視点の画像のうちのいずれの視点の画像を表示するかが問題となる。【００１７】
すなわち、例えば、ステレオ画像の左眼用画像と右眼用画像とは、視差が僅かに異なる同一のシーンの画像であるが、輝度（光の反射）や色味等に違いがある。【００１８】
このため、２次元表示デバイスにおいて、例えば、ステレオ画像を、２次元画像として表示する場合、そのステレオ画像のコンテンツの制作者からは、左眼用画像と、右眼用画像とを、自身の意図に即して、適応的に切り換えて表示したいという要請がある。【００１９】
しかしながら、従来においては、ステレオ画像を含む複数の視点の画像からなる立体視画像を２次元画像として表示する場合に、複数の視点の画像について、２次元画像として表示する画像をコントロールする仕組みが提案されていなかった。【００２０】
このため、２次元表示デバイスにおいて、ステレオ画像を、２次元画像として表示する場合には、例えば、２次元表示デバイスの仕様等によって、左眼用画像、又は、右眼用画像のうちのいずれか一方が、コンテンツの制作者の意図に関係なく表示され続けることになることが予想される。【００２１】
本発明は、このような状況に鑑みてなされたものであり、立体視画像のコンテンツを、２次元画像として表示する場合に、コンテンツの制作者が意図する画像等を表示することができるようにするものである。
【課題を解決するための手段】
【００２２】
本発明の第１の側面の画像処理装置は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段とを備える画像処理装置である。
【００２３】
前記N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報を設定する指定情報設定手段を更に備えることができる。
【００２４】
前記伝送手段は、前記基本画像データ及び前記追加画像データのビットストリームと前記指定情報とを連結して伝送することができる。
【００２５】
前記指定情報設定手段は、１以上の連続するピクチャごとに、前記指定情報を設定することができる。
前記変換手段は、前記N個の視点の画像データを、1個の前記基本画像データとN-1個の前記追加画像データとに変換することができる。
【００２６】
前記N個の視点の画像データは、左眼で観察される左眼用視点画像データ、及び、右眼で観察される右眼用視点画像データであるようにすることができる。【００２７】
N個の視点の画像データを符号化してビットストリームを生成する符号化手段を更に備えることができる。【００２８】
本発明の第１の側面の画像処理方法は、画像処理装置が、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換ステップと、前記変換ステップにおいて変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送ステップとを含む画像処理方法である。
本発明の第１の側面のプログラムは、コンピュータを、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段として機能させるためのプログラムである。
本発明の第１の側面の記録媒体は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の前記指定情報により指定されていない画像データを、他の視点の前記指定情報により指定される画像データと入れ替えることにより、前記N個の視点の画像データを、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換する変換手段と、前記変換手段により変換された前記基本画像データ及び前記追加画像データと、前記指定情報とを伝送する伝送手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
【００２９】
本発明の第１の側面においては、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報に従い、基準とする視点の指定情報により指定されていない画像データを、他の視点の指定情報により指定される画像データ入れ替えることにより、N個の視点の画像データが、２次元画像の表示に用いる画像データである基本画像データと、追加画像データとに変換され、その変換された基本画像データ及び追加画像データと、指定情報とが伝送される。
【００３０】
本発明の第２の側面の画像処理装置は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取り手段と、前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段とを備える画像処理装置である。
【００３１】
前記N個の視点の画像データを、立体視用の立体視画像データに変換する立体視画像変換手段をさらに備えることができる。
前記受け取り手段は、前記指定情報と、前記N個の視点の画像データから得られた1個の前記基本画像データおよびN-1個の前記追加画像データと、を受け取ることができる。
【００３２】
本発明の第２の側面の画像処理方法は、画像処理装置が、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取りステップと、前記受け取りステップにおいて受け取られた前記指定情報に従い、前記受け取りステップにおいて受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元ステップとを含む画像処理方法である。
本発明の第２の側面のプログラムは、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取り手段と、前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段として機能させるためのプログラムである。
本発明の第２の側面の記録媒体は、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の前記指定情報により指定されていない画像データが、他の視点の前記指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、前記他の視点の前記指定情報により指定される画像データが、前記基準とする視点の前記指定情報により指定されていない画像データと入れ替えられた追加画像データとを受け取る受け取り手段と、前記受け取り手段により受け取られた前記指定情報に従い、前記受け取り手段により受け取られた前記基本画像データ及び前記追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データを復元する復元手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
【００３３】
本発明の第２の側面においては、N個の視点の画像データから２次元画像の表示に用いる画像データを指定する指定情報と、基準とする視点の指定情報により指定されていない画像データが、他の視点の指定情報により指定される画像データと入れ替えられた、２次元画像の表示に用いる画像データである基本画像データと、他の視点の指定情報により指定される画像データが、基準とする視点の指定情報により指定されていない画像データと入れ替えられた追加画像データとが受け取られ、その受け取られた指定情報に従い、同じく受け取られた基本画像データ及び追加画像データの、入れ替えられた画像データを逆に入れ替えることで、N個の視点の画像データが復元される。
【００４６】
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００４７】
本発明の第１ないし第４の側面によれば、２次元画像の表示に用いる画像データを指定することができる。その結果、例えば、立体視画像のコンテンツを、２次元画像として表示する場合に、コンテンツの制作者が意図する画像等を表示することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【図２】符号化部１１1の構成例を示すブロック図である。
【図３】フラグ設定部１２によるビュースイッチングフラグの設定を説明する図である。
【図４】第１実施の形態の符号化処理を説明するフローチャートである。
【図５】本発明を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【図６】復号部４２1の構成例を示すブロック図である。
【図７】ステレオ画像が２次元画像として表示される場合の、復号装置の処理を説明する図である。
【図８Ａ】第１実施の形態の復号処理を説明するフローチャートである。
【図８Ｂ】第１実施の形態の復号処理を説明するフローチャートである。
【図９】本発明を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【図１０】第２実施の形態の入れ替え部７１の処理を説明する図である。
【図１１】第２実施の形態の符号化処理を説明するフローチャートである。
【図１２】本発明を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【図１３Ａ】第２実施の形態の復号処理を説明するフローチャートである。
【図１３Ｂ】第２実施の形態の復号処理を説明するフローチャートである。
【図１４】本発明を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
【図１５】第３実施の形態の符号化処理を説明するフローチャートである。
【図１６】本発明を適用した復号装置の第３実施の形態の構成例を示すブロック図である。
【図１７Ａ】第３実施の形態の復号処理を説明するフローチャートである。
【図１７Ｂ】第３実施の形態の復号処理を説明するフローチャートである。
【図１８】本発明を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
【図１９】第４実施の形態の入れ替え部７１の処理を説明する図である。
【図２０】第４実施の形態の符号化処理を説明するフローチャートである。
【図２１】本発明を適用した復号装置の第４実施の形態の構成例を示すブロック図である。
【図２２Ａ】第４実施の形態の復号処理を説明するフローチャートである。
【図２２Ｂ】第４実施の形態の復号処理を説明するフローチャートである。
【図２３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図２４】本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。
【図２５】本発明を適用した携帯電話機の主な構成例を示すブロック図である。
【図２６】本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。
【図２７】本発明を適用したカメラの主な構成例を示すブロック図である。
【図２８】マクロブロックサイズの例を示す図である。
【発明を実施するための形態】
【００４９】
＜第１実施の形態＞
【００５０】
［符号化装置の第１実施の形態］
【００５１】
図１は、本発明を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【００５２】
図１において、符号化装置は、左眼用画像の画像データ（以下、左眼用視点画像データともいう）と、右眼用画像の画像データ（以下、右眼用視点画像データともいう）とからなるステレオ画像の画像データを符号化する。
【００５３】
すなわち、図１において、符号化装置は、複数である２個の符号化部１１1及び１１2、フラグ設定部１２、並びに、生成部１３から構成される。
【００５４】
符号化部１１1には、ステレオ画像の左眼用視点画像データが供給される。
【００５５】
符号化部１１1は、そこに供給される左眼用視点画像データを、例えば、MPEG2やAVC/H.264方式等の所定の符号化方式に従って符号化し、その結果得られる符号化データ（以下、左眼用符号化データともいう）を、生成部１３に供給する。
【００５６】
符号化部１１2には、ステレオ画像の右眼用視点画像データが供給される。
【００５７】
符号化部１１2は、そこに供給される右眼用視点画像データを、例えば、符号化部１１1と同様に符号化し、その結果得られる符号化データ（以下、右眼用符号化データともいう）を、生成部１３に供給する。
【００５８】
フラグ設定部１２は、例えば、ステレオ画像の制作者等のユーザの操作等に応じて、ステレオ画像の２個の視点の左眼用視点画像データ、及び、右眼用視点画像データのうちの、２次元画像の表示に用いる画像データを、例えば、シーン等ごとに指定するフラグであるビュースイッチングフラグ(view_switching_flag)を設定し、生成部１３に供給する。
【００５９】
生成部１３は、ステレオ画像の画像データと、ビュースイッチングフラグとを含むビットストリームを生成して出力する。
【００６０】
すなわち、生成部１３は、符号化部１１1からの左眼用符号化データと、符号化部１１2からの右眼用符号化データとを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含めて出力する。
【００６１】
［符号化部１１1の構成例］
【００６２】
図２は、図１の符号化部１１1の構成例を示すブロック図である。
【００６３】
なお、図１の符号化部１１2も、符号化部１１1と同様に構成される。
【００６４】
符号化部１１1は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置である。
【００６５】
符号化対象の画像データは、A／D(Analog/Digital)変換部２１に供給される。A／D変換部２１は、そこに供給される画像データがアナログ信号の画像データである場合に、その画像データをA/D変換することで、ディジタル信号の画像データに変換し、画面並べ替えバッファ２２に供給する。
【００６６】
画面並べ替えバッファ２２は、A/D変換部２１からの画像データを一時記憶し、必要に応じて読み出すことで、符号化部１１1の出力である符号化データのGOP(Group of Pictures)構造に応じて、画像データのピクチャ（フレーム）（フィールド）の並べ替えを行う。
【００６７】
画面並べ替えバッファ２２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部２３に供給される。
【００６８】
演算部２３は、画面並べ替えバッファ２２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部３３から供給される予測画像の画素値を減算し、直交変換部２４に供給する。
【００６９】
直交変換部２４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部２５に供給する。
【００７０】
量子化部２５は、直交変換部２４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部２６に供給する。
【００７１】
可逆符号化部２６は、量子化部２５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ２７に供給する。
【００７２】
蓄積バッファ２７は、可逆符号化部２６からの符号化データを一時記憶し、所定のレートで出力する。
【００７３】
レート制御部２８は、蓄積バッファ２７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部２５の量子化ステップ等の、量子化部２５の挙動を制御する。
【００７４】
量子化部２５で得られる量子化値は、可逆符号化部２６に供給される他、逆量子化部２９にも供給される。逆量子化部２９は、量子化部２５からの量子化値を、変換係数に逆量子化し、逆直交変換部３０に供給する。
【００７５】
逆直交変換部３０は、逆量子化部２９からの変換係数を逆直交変換し、演算部３１に供給する。
【００７６】
演算部３１は、逆直交変換部３０から供給されるデータに対して、必要に応じて、イントラ予測部３３から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ３２に供給する。
【００７７】
フレームメモリ３２は、演算部３１から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部３３や動き予測／動き補償部３４に供給する。
【００７８】
イントラ予測部３３は、イントラピクチャの中で、演算部２３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ３２に記憶されている画素から予測画像を生成し、演算部２３及び３１に供給する。
【００７９】
イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部３３から演算部２３に予測画像が供給される場合、演算部２３では、画像並べ替えバッファ２２から供給されるピクチャから、イントラ予測部３３から供給される予測画像が減算される。
【００８０】
また、演算部３１では、演算部２３で減算された予測画像が、逆直交変換部３０から供給されるデータに加算される。
【００８１】
一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ２２から、演算部２３、及び、動き予測／動き補償部３４に供給される。
【００８２】
動き予測／動き補償部３４は、フレームメモリ３２から、画像並べ替えバッファ２２からのノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部３４は、フレームメモリ３２からの参照画像を用いて、画像並べ替えバッファ２２からのノンイントラピクチャについて、動きベクトルを検出する。
【００８３】
そして、動き予測／動き補償部３４は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部２３及び３１に供給する。
【００８４】
演算部２３では、画像並べ替えバッファ２２から供給されるノンイントラピクチャから、イントラ予測部３３から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
【００８５】
なお、イントラ予測部３３が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部３３から可逆符号化部２６に供給される。また、動き予測／動き補償部３４で得られる動きベクトル、及び、動き予測／動き補償部３４が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部３４から可逆符号化部２６に供給される。
【００８６】
可逆符号化部２６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。
【００８７】
［フラグ設定部１２によるビュースイッチングフラグの設定の説明］
【００８８】
次に、図３を参照して、図１のフラグ設定部１２によるビュースイッチングフラグの設定について説明する。
【００８９】
いま、図１の符号化装置での符号化の対象のステレオ画像が、図３に示すように、シーン#1,#2,#3から構成されることとする。
【００９０】
さらに、ステレオ画像が、２次元画像として表示される場合に、ステレオ画像の制作者が、２次元画像として表示される画像（以下、提示画像ともいう）として、シーン#1については、左眼用画像を、シーン#2については、右眼用画像を、シーン#3については、左眼用画像を選択するように、フラグ設定部１２を操作したこととする。
【００９１】
この場合、フラグ設定部１２は、シーン#1及び#3については、左眼用画像を提示画像として指定する値である、例えば、0を、ビュースイッチングフラグとして設定する。
【００９２】
また、フラグ設定部１２は、シーン#2については、右眼用画像を提示画像として指定する値である、例えば、1を、ビュースイッチングフラグとして設定する。
【００９３】
したがって、ここでは、ビュースイッチングフラグとしては、１ビットのフラグを採用することができる。
【００９４】
ここで、シーンとは、１以上の（連続する）ピクチャ（の集まり）であり、例えば、シーンチェンジの直後のピクチャから、次のシーンチェンジの直前のピクチャまでや、GOP等を、１シーンとすることができる。
【００９５】
なお、シーンごとに、提示画像の選択を可能とするため、図１の符号化部１１1において、AVC/H.264方式で符号化が行われる場合には、シーンの先頭のピクチャは、IDRピクチャとして符号化される。符号化部１１2でも同様である。
【００９６】
また、図１のフラグ設定部１２でのビュースイッチングフラグの設定では、例えば、１シーンごとに、１つのビュースイッチングフラグを設定することもできるし、１ピクチャごとに、１つのビュースイッチングフラグを設定することもできる。
【００９７】
したがって、シーンに対するビュースイッチングフラグの設定は、シーンに、１つのビュースイッチングフラグを設定することによって行うこともできるし、シーンを構成する各ピクチャに、ビュースイッチングフラグを設定することによって行うこともできる。
【００９８】
なお、図１の生成部１３において、ビュースイッチングフラグは、多重化データの、例えば、システムレイヤやピクチャレイヤのヘッダ等に含められる。具体的には、例えば、符号化部１１1及び１１2において、例えば、AVC/H.264方式で符号化が行われる場合には、ビュースイッチングフラグは、例えば、ユーザデータであるSEI (Supplemental Enhancement Information) に含めることができる。
【００９９】
［符号化装置の処理の説明］
【０１００】
図４を参照して、図１の符号化装置の処理（符号化処理）を説明する。
【０１０１】
図１の符号化装置では、フラグ設定部１２が、ステレオ画像の制作者によって操作されると、ステップＳ１１において、フラグ設定部１２が、ステレオ画像の制作者の操作に従って、ステレオ画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３に供給する。
【０１０２】
その後、符号化装置に対して、ステレオ画像の画像データである左眼用視点画像データ、及び、右眼用視点画像データが供給されるのを待って、処理は、ステップＳ１１からステップＳ１２に進み、符号化部１１1及び１１2は、符号化を行う。
【０１０３】
すなわち、符号化部１１1は、左眼用視点画像データを符号化し、その結果得られる左眼用符号化データを、生成部１３に供給する。また、符号化部１１2は、右眼用視点画像データを符号化し、その結果得られる右眼用符号化データを、生成部１３に供給する。
【０１０４】
その後、処理は、ステップＳ１２からステップＳ１３に進み、生成部１３は、符号化部１１1からの左眼用符号化データと、符号化部１１2からの右眼用符号化データとを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
【０１０５】
そして、処理は、ステップＳ１３からステップＳ１４に進み、符号化装置は、まだ符号化すべきステレオ画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ１２に戻り、以下、ステップＳ１２ないしＳ１４の処理が繰り返される。
【０１０６】
ここで、ステップＳ１２ないしＳ１４の処理は、例えば、ビュースイッチングフラグが設定されるシーン等の単位で行われる。
【０１０７】
一方、ステップＳ１４において、符号化すべきステレオ画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
【０１０８】
以上のようにして、生成部１３が出力する多重化データ、すなわち、ステレオ画像の画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
【０１０９】
［復号装置の第１実施の形態］
【０１１０】
図５は、本発明を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【０１１１】
図５において、復号装置は、図１の符号化装置が出力する多重化データを復号する。
【０１１２】
すなわち、図５において、復号装置は、抽出部４１、複数である２個の復号部４２1及び４２2、立体視画像変換部４３、選択部４４、並びに、復号部４５から構成される。
【０１１３】
抽出部４１は、多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給する。
【０１１４】
また、抽出部４１は、多重化データから、左眼用符号化データ、及び、右眼用符号化データを分離（逆多重化）し、左眼用符号化データを、復号部４２1に、右眼用符号化データを、復号部４２2に、それぞれ供給する。
【０１１５】
さらに、抽出部４１は、左眼用符号化データ、及び、右眼用符号化データを、選択部４４に供給する。
【０１１６】
復号部４２1は、抽出部４１からの左眼用符号化データを復号し、その結果得られる左眼用視点画像データを、立体視画像変換部４３に供給する。
【０１１７】
復号部４２2は、抽出部４１からの右眼用符号化データを復号し、その結果得られる右眼用視点画像データを、立体視画像変換部４３に供給する。
【０１１８】
立体視画像変換部４３は、復号部４２1からの左眼用視点画像データ、及び、復号部４２2からの右眼用視点画像データを、立体視用デバイスで扱うことができるフォーマットの立体視用の立体視画像データに変換し、図示せぬ立体視用デバイスに供給する。
【０１１９】
選択部４４は、抽出部４１から供給されるビュースイッチングフラグに従い、同じく抽出部４１から供給される左眼用符号化データ、又は、右眼用符号化データのうちの一方を、２次元画像の表示に用いる画像データの符号化データとして、ビュースイッチングフラグが設定されているシーンやピクチャ等の単位で選択し、復号部４５に供給する。
【０１２０】
復号部４５は、選択部４４から供給される符号化データ（左眼用符号化データ、又は、右眼用符号化データ）を復号し、その結果得られる画像データ（左眼用視点画像データ、又は、右眼用視点画像データ）を、図示せぬ２次元表示デバイスに供給する。
【０１２１】
なお、図５では、選択部４４は、抽出部４１が出力する、復号前のデータである左眼用符号化データ、又は、右眼用符号化データを選択するようになっているが、選択部４４では、その他、例えば、復号後のデータ、すなわち、復号部４２1で得られる左眼用視点画像データ、又は、復号部４２2で得られる右眼用視点画像データを選択することが可能である。この場合、図５の復号装置は、復号部４５を設けずに構成することができる。後述する図１６でも同様である。
【０１２２】
［復号部４２1の構成例］
【０１２３】
図６は、図５の復号部４２1の構成例を示すブロック図である。
【０１２４】
なお、図５の復号部４２2及び４５も、復号部４２1と同様に構成される。
【０１２５】
復号部４２1は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置で得られる符号化データを復号する画像情報復号装置である。
【０１２６】
復号の対象となる符号化データは、蓄積バッファ５１に供給される。蓄積バッファ５１は、そこに供給される符号化データを一時記憶し、可逆符号復号部５２に供給する。
【０１２７】
可逆符号復号部５２は、蓄積バッファ５１からの符号化データに対して、その符号化データのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。
【０１２８】
可逆符号復号部５２で得られる量子化値は、逆量子化部５３に供給され、イントラ予測モードは、イントラ予測部５７に供給される。また、可逆符号復号部５２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部５８に供給される。
【０１２９】
逆量子化部５３、逆直交変換部５４、演算部５５、フレームメモリ５６、イントラ予測部５７、及び、動き予測／動き補償部５８は、図２の逆量子化部２９、逆直交変換部３０、演算部３１、フレームメモリ３２、イントラ予測部３３、及び、動き予測／動き補償部３４とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。
【０１３０】
すなわち、逆量子化部５３は、可逆符号復号部５２からの量子化値を、変換係数に逆量子化し、逆直交変換部５４に供給する。
【０１３１】
逆直交変換部５４は、逆量子化部５３からの変換係数を逆直交変換し、演算部５５に供給する。
【０１３２】
演算部５５は、逆直交変換部５４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部５７から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部５５は、逆直交変換部５４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部５８から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。
【０１３３】
演算部５５で得られた復号画像は、必要に応じて、フレームメモリ５６に供給されるとともに、画像並べ替えバッファ５９に供給される。
【０１３４】
フレームメモリ５６は、演算部５５から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５７や動き予測／動き補償部３４に供給する。
【０１３５】
イントラ予測部５７は、演算部５５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ５６からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部５５に供給する。
【０１３６】
すなわち、イントラ予測部５７は、可逆符号復号部５２からのイントラ予測モードに従い、演算部５５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５６に記憶されている画素から予測画像を生成し、演算部５５に供給する。
【０１３７】
一方、動き予測／動き補償部５８は、演算部５５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部５５に供給する。
【０１３８】
すなわち、動き予測／動き補償部５８は、可逆符号復号部５２からのピクチャタイプ等に従い、フレームメモリ５６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５８は、フレームメモリ５６からの参照画像に対して、可逆符号復号部５２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部５５に供給する。
【０１３９】
演算部５５では、以上のようにして、イントラ予測部５７、又は、動き予測／動き補償部５８から供給される予測画像を、逆直交変換部５４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。
【０１４０】
画像並べ替えバッファ５９は、演算部５５からのピクチャ（復号画像）を一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A(Digital/Analog)変換部６０に供給する。
【０１４１】
D/A変換部６０は、画像並べ替えバッファ５９からの復号画像をアナログ信号で出力する必要がある場合に、その復号画像をD/A変換して出力する。
【０１４２】
［２次元画像が表示される場合の復号装置の処理］
【０１４３】
次に、図７を参照して、ステレオ画像が２次元画像として表示される場合の、図５の復号装置の処理を説明する。
【０１４４】
なお、図７において、Iは、I(Intra)ピクチャを表し、Pは、P(Predictive)ピクチャを表す。
【０１４５】
図７のＡは、図５の抽出部４１が出力する左眼用符号化データと、右眼用符号化データとを示している。
【０１４６】
左眼用符号化データにおいては、シーンの先頭のピクチャは、Iピクチャ（IDRピクチャ）になっており、他のピクチャは、Pピクチャになっている。右眼用符号化データについても同様である。
【０１４７】
図７のＢは、図７のＡの左眼用符号化データと、右眼用符号化データとが多重化された状態の多重化データを示している。
【０１４８】
図７のＢでは、左眼用符号化データと、右眼用符号化データとが、シーンごとに多重化されている。さらに、図７のＢでは、シーンに対して設定されたビュースイッチングフラグが、多重化データに含まれている。図７のＢでは、シーン#1には、値が0のビュースイッチングフラグが設定されており、シーン#2には、値が1のビュースイッチングフラグが設定されている。
【０１４９】
図７のＣは、２次元画像として表示されるピクチャを示している。
【０１５０】
シーン#1には、値が0のビュースイッチングフラグが設定されており、この場合、図５の選択部４４は、抽出部４１から供給される左眼用符号化データ、又は、右眼用符号化データのうちの、左眼用符号化データを選択して、復号部４５に供給する。
【０１５１】
したがって、この場合、２次元表示デバイスでは、シーン#1については、左眼用符号化データを復号して得られる画像データに対応する左眼用画像が表示される。
【０１５２】
一方、シーン#2には、値が1のビュースイッチングフラグが設定されており、この場合、選択部４４は、抽出部４１から供給される左眼用符号化データ、又は、右眼用符号化データのうちの、右眼用符号化データを選択して、復号部４５に供給する。
【０１５３】
したがって、この場合、２次元表示デバイスでは、シーン#2については、右眼用符号化データを復号して得られる画像データに対応する右眼用画像が表示される。
【０１５４】
［復号装置の処理の説明］
【０１５５】
図８Ａおよび図８Ｂを参照して、図５の復号装置の処理（復号処理）を説明する。
【０１５６】
図８Ａは、立体視画像の表示が行われる場合の、図５の復号装置の復号処理を説明するフローチャートである。
【０１５７】
立体視画像の表示が行われる場合、ステップＳ２１において、抽出部４１は、そこに供給される多重化データから、左眼用符号化データ、及び、右眼用符号化データを分離する。さらに、抽出部４１は、左眼用符号化データを、復号部４２1に、右眼用符号化データを、復号部４２2に、それぞれ供給して、処理は、ステップＳ２１からステップＳ２２に進む。
【０１５８】
ステップＳ２２では、多重化データに多重化されているすべての符号化データが復号され、処理は、ステップＳ２３に進む。
【０１５９】
すなわち、復号部４２1は、抽出部４１からの左眼用符号化データを復号し、その結果得られる左眼用視点画像データを、立体視画像変換部４３に供給する。さらに、復号部４２2は、抽出部４１からの右眼用符号化データを復号し、その結果得られる右眼用視点画像データを、立体視画像変換部４３に供給する。
【０１６０】
ステップＳ２３では、立体視画像変換部４３は、復号部４２1からの左眼用視点画像データ、及び、復号部４２2からの右眼用視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ２４に進む。
【０１６１】
ステップＳ２４では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ２１に戻り、以下、ステップＳ２１ないしＳ２４の処理が繰り返される。
【０１６２】
また、ステップＳ２４において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０１６３】
図８Ｂは、２次元画像の表示が行われる場合の、図５の復号装置の復号処理を説明するフローチャートである。
【０１６４】
２次元画像の表示が行われる場合、ステップＳ３１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給して、処理は、ステップＳ３２に進む。
【０１６５】
ステップＳ３２では、抽出部４１は、多重化データから、左眼用符号化データ、及び、右眼用符号化データを分離し、選択部４４に供給して、処理は、ステップＳ３３に進む。
【０１６６】
ステップＳ３３では、選択部４４は、抽出部４１からのビュースイッチングフラグが0又は１のうちのいずれであるかを判定する。
【０１６７】
ステップＳ３３において、ビュースイッチングフラグが0であると判定された場合、すなわち、２次元画像の表示に用いる画像データとして、左眼用画像データが指定されている場合、処理は、ステップＳ３４に進み、選択部４４は、抽出部４１からの左眼用符号化データ、又は、右眼用符号化データのうちの左眼用符号化データを選択符号化データとして選択し、復号部４５に供給して、処理は、ステップＳ３６に進む。
【０１６８】
この場合、ステップＳ３６では、復号部４５は、選択部４４から供給される左眼用符号化データ（選択符号化データ）を復号し、その結果得られる左眼用視点画像データを、図示せぬ２次元表示デバイスに供給して、処理は、ステップＳ３７に進む。
【０１６９】
したがって、この場合、２次元表示デバイスでは、２次元画像として、左眼用視点画像データに対応する左眼用画像が表示される。
【０１７０】
一方、ステップＳ３３において、ビュースイッチングフラグが1であると判定された場合、すなわち、２次元画像の表示に用いる画像データとして、右眼用画像データが指定されている場合、処理は、ステップＳ３５に進み、選択部４４は、抽出部４１からの左眼用符号化データ、又は、右眼用符号化データのうちの右眼用符号化データを選択符号化データとして選択し、復号部４５に供給して、処理は、ステップＳ３６に進む。
【０１７１】
この場合、ステップＳ３６では、復号部４５は、選択部４４から供給される右眼用符号化データ（選択符号化データ）を復号し、その結果得られる右眼用視点画像データを、図示せぬ２次元表示デバイスに供給して、処理は、ステップＳ３７に進む。
【０１７２】
したがって、この場合、２次元表示デバイスでは、２次元画像として、右眼用視点画像データに対応する右眼用画像が表示される。
【０１７３】
ステップＳ３７では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ３１に戻り、以下、ステップＳ３１ないしＳ３７の処理が繰り返される。
【０１７４】
ここで、ステップＳ３１ないしＳ３７の処理は、ビュースイッチングフラグが設定されるシーン等の単位で行われる。
【０１７５】
一方、ステップＳ３７において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０１７６】
以上のように、図１の符号化装置では、２個の視点の画像データである左眼用視点画像データ及び右眼用視点画像データと、ビュースイッチングフラグとを含む多重化データが生成される。そして、図５の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、左眼用視点画像データと右眼用視点画像データとから、２次元画像の表示に用いる画像データがシーン単位等で選択される。
【０１７７】
したがって、ビュースイッチングフラグによって、２次元画像の表示に用いる画像データをシーン単位等で指定することができるので、ステレオ画像のコンテンツを、２次元画像として表示する場合に、左眼用画像、又は、右眼用画像のうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
【０１７８】
なお、ビュースイッチングフラグは、２次元画像の表示に用いる画像データを指定するフラグであるが、図５の復号装置では、ビュースイッチングフラグに従い、２次元画像として表される画像が、左眼用画像、又は、右眼用画像に切り替えられる。したがって、図５の復号装置では、ビュースイッチングフラグは、２次元画像として表される画像を切り替えるフラグとして機能する。
【０１７９】
＜第２実施の形態＞
【０１８０】
［符号化装置の第２実施の形態］
【０１８１】
図９は、本発明を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【０１８２】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８３】
図９の符号化装置は、符号化部１１1及び１１2、フラグ設定部１２、及び、生成部１３を有する点で、図１の場合と共通し、入れ替え部７１をさらに有する点で、図１の場合と相違する。
【０１８４】
入れ替え部７１には、ステレオ画像の左眼用視点画像データ及び右眼用視点画像データが供給される。
【０１８５】
また、入れ替え部７１には、フラグ設定部１２からビュースイッチングフラグが供給される。
【０１８６】
入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、２個の視点の画像データである左眼用視点画像データ及び右眼用視点画像データのうちの1個の視点の画像データを、他の視点の画像データと入れ替えることにより、２個の視点の画像データを、２次元画像の表示に用いる画像データである1個の基本画像データと、２次元画像の表示に用いない画像データである1個の追加画像データとに変換する。
【０１８７】
なお、入れ替え部７１は、基本画像データを、符号化部１１1に供給し、追加画像データを、符号化部１１2に供給する。
【０１８８】
このため、図９では、符号化部１１1は、左眼用視点画像データに代えて、入れ替え部７１からの基本画像データを符号化し、その結果得られる符号化データ（以下、基本符号化データともいう）を、生成部１３に供給する。
【０１８９】
また、符号化部１１2は、右眼用視点画像データに代えて、入れ替え部７１からの追加画像データを符号化し、その結果得られる符号化データ（以下、追加符号化データともいう）を、生成部１３に供給する。
【０１９０】
そして、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2からの追加符号化データとを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含める。
【０１９１】
すなわち、図９において、生成部１３で得られる多重化データには、基本画像データ及び追加画像データ、並びに、ビュースイッチングフラグが含まれる。
【０１９２】
［入れ替え部７１の処理の説明］
【０１９３】
図１０を参照して、図９の入れ替え部７１の処理について説明する。
【０１９４】
いま、図９の符号化装置での符号化の対象のステレオ画像が、図３に示したように、シーン#1,#2,#3から構成されることとする。
【０１９５】
さらに、ステレオ画像が、２次元画像として表示される場合に、ステレオ画像の制作者が、２次元画像として表示される画像（提示画像）として、シーン#1については、左眼用画像を、シーン#2については、右眼用画像を、シーン#3については、左眼用画像を、それぞれ選択するように、フラグ設定部１２を操作したこととする。
【０１９６】
この場合、フラグ設定部１２は、シーン#1及び#3については、左眼用画像を提示画像として指定する値である、例えば、0を、ビュースイッチングフラグとして設定する。
【０１９７】
また、フラグ設定部１２は、シーン#2については、左眼用画像を提示画像として指定する値である、例えば、1を、ビュースイッチングフラグとして設定する。
【０１９８】
ここで、以上のことは、図３で説明したことと同様である。
【０１９９】
入れ替え部７１は、上述したように、ビュースイッチングフラグに従い、２個の視点の画像データである左眼用視点画像データ及び右眼用視点画像データのうちの1個の視点の画像データを、他の視点の画像データと入れ替えることにより、２個の視点の画像データを、２次元画像の表示に用いる画像データである1個の基本画像データと、２次元画像の表示に用いない画像データである1個の追加画像データとに変換する。
【０２００】
すなわち、入れ替え部７１は、左眼用視点画像データ及び右眼用視点画像データのうちの1個である、例えば、左眼用視点画像データのシーンのうちの、ビュースイッチングフラグが左眼用視点画像データを指定していないシーン、つまり、右眼用視点画像データを指定するシーンについては、そのシーンの左眼用視点画像データを、右眼用視点画像データに入れ替える（左眼用視点画像データと、右眼用視点画像データとを、互いに入れ替える）。
【０２０１】
図１０では、左眼用視点画像データのシーン#1ないし#3のうちの、シーン#2が、ビュースイッチングフラグによって右眼用視点画像データが指定されているシーンになっているので、左眼用視点画像データのシーン#1ないし#3のうちの、シーン#2のデータが、右眼用視点画像データのシーン#2のデータと入れ替えられ、その入れ替え後の画像データが、基本画像データとされる。
【０２０２】
そして、右眼用視点画像データのシーン#1ないし#3のうちの、シーン#2のデータが、左眼用視点画像データのシーン#2のデータと入れ替えられ、その入れ替え後の画像データが、追加画像データとされる。
【０２０３】
この場合、基本画像データにおいては、シーン#1及び#3のデータは、左眼用視点画像データとなっており、シーン#2のデータは、右眼用視点画像データになっている。そして、基本画像データは、２次元画像の表示に用いる画像データとしてビュースイッチングフラグが指定するデータになっている。
【０２０４】
したがって、ステレオ画像を２次元画像として表示する場合には、基本画像データに対応する画像を表示することで、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
【０２０５】
一方、追加画像データにおいては、シーン#1及び#3のデータは、右眼用視点画像データとなっており、シーン#2のデータは、左眼用視点画像データになっている。
【０２０６】
追加画像データは、２次元画像の表示には必要がなく、立体視画像（ステレオ画像）を表示するときに、基本画像データとともに用いられる。
【０２０７】
［符号化装置の処理の説明］
【０２０８】
図１１を参照して、図９の符号化装置の処理（符号化処理）を説明する。
【０２０９】
図９の符号化装置では、フラグ設定部１２が、ステレオ画像の制作者によって操作されると、ステップＳ５１において、フラグ設定部１２が、ステレオ画像の制作者の操作に従って、ステレオ画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３及び入れ替え部７１に供給する。
【０２１０】
その後、符号化装置に対して、ステレオ画像の画像データである左眼用視点画像データ、及び、右眼用視点画像データが供給されるのを待って、処理は、ステップＳ５１からステップＳ５２に進み、入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、図１０で説明したように、左眼用視点画像データを、右眼用画像データと入れ替えることにより、左眼用視点画像データ、及び、右眼用画像データを、1個の基本画像データと、1個の追加画像データとに変換する（左眼用視点画像データ、及び、右眼用画像データから、基本画像データ、及び、追加画像データを生成する）。
【０２１１】
なお、ここでは、左眼用視点画像データを、右眼用画像データと入れ替えることにより、左眼用視点画像データ、及び、右眼用画像データを、基本画像データ、及び、追加画像データに変換することとしたが、逆に、右眼用視点画像データを、左眼用画像データと入れ替えることにより、左眼用視点画像データ、及び、右眼用画像データを、基本画像データ、及び、追加画像データに変換することも可能である。
【０２１２】
また、左眼用視点画像データと、右眼用画像データとの入れ替えは、例えば、ビュースイッチングフラグが設定される単位と同一のシーン単位等で行うことができる。
【０２１３】
ステップＳ５２の処理後、入れ替え部７１は、基本画像データを符号化部１１1に供給するとともに、追加画像データを符号化部１１2に供給する。
【０２１４】
そして、その後、処理は、ステップＳ５３ないしＳ５５に順次進み、図４のステップＳ１２ないしＳ１４の場合とそれぞれ同様の処理が行われる。
【０２１５】
すなわち、ステップＳ５３では、符号化部１１1が、入れ替え部７１からの基本画像データを符号化し、その結果得られる基本符号化データを、生成部１３に供給する。さらに、ステップＳ５３では、符号化部１１2が、入れ替え部７１からの追加画像データを符号化し、その結果得られる追加符号化データを、生成部１３に供給して、処理は、ステップＳ５４に進む。
【０２１６】
ステップＳ５４では、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2からの追加符号化データとを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
【０２１７】
そして、処理は、ステップＳ５４からステップＳ５５に進み、符号化装置は、まだ符号化すべきステレオ画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ５２に戻り、以下、ステップＳ５２ないしＳ５５の処理が繰り返される。
【０２１８】
一方、ステップＳ５５において、符号化すべきステレオ画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
【０２１９】
以上のようにして、生成部１３が出力する多重化データ、すなわち、ステレオ画像の画像データを変換した基本画像データ及び追加画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
【０２２０】
［復号装置の第２実施の形態］
【０２２１】
図１２は、本発明を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【０２２２】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２２３】
図１２の復号装置は、抽出部４１、復号部４２1及び４２2、並びに、立体視画像変換部４３を有する点で、図５の場合と共通する。但し、図１２の復号装置は、図５の選択部４４及び復号部４５が設けられていない点、並びに、復元部８１が新たに設けられている点で、図５の場合と相違する。
【０２２４】
図１２において、復号装置は、図９の符号化装置が出力する多重化データを復号する。
【０２２５】
ここで、図９の符号化装置が出力する多重化データは、左眼用符号化データ、及び、右眼用符号化データに代えて、基本符号化データ、及び、追加符号化データを含んでいる。
【０２２６】
このため、図１２の復号装置では、抽出部４１は、多重化データから、基本符号化データ、及び、追加符号化データを分離する。そして、抽出部４１は、基本符号化データを復号部４２1に、追加符号化データを復号部４２2に、それぞれ供給する。
【０２２７】
復号部４２1は、左眼用符号化データに代えて、抽出部４１からの基本符号化データを復号する。また、復号部４２2は、右眼用符号化データに代えて、抽出部４１からの追加符号化データを復号する。
【０２２８】
復号部４２1が基本符号化データを復号することにより得られる基本画像データと、復号部４２2が追加符号化データを復号することにより得られる追加画像データとは、復元部８１に供給される。
【０２２９】
ここで、ステレオ画像が２次元画像として表示される場合には、復号部４２1が基本符号化データを復号することにより得られる基本画像データが、図示せぬ２次元表示デバイスに供給される。そして、２次元表示デバイスでは、復号部４２1からの基本画像データに対応する画像が表示される。
【０２３０】
復元部８１には、上述のように、復号部４２1から基本画像データが供給されるとともに、復号部４２2から追加画像データが供給される他、多重化データから抽出されたビュースイッチングフラグが、抽出部４１から供給される。
【０２３１】
復元部８１は、抽出部４１からのビュースイッチングフラグに従い、復号部４２1からの基本画像データを、復号部４２2からの追加画像データと入れ替えることで、基本画像データ、及び、追加画像データを、元の左眼用画像データ、及び、右眼用画像データに変換する。
【０２３２】
すなわち、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、追加画像データを対象に、図９の入れ替え部７１の場合と逆の入れ替えを行うことで、左眼用画像データ、及び、右眼用画像データを復元する。
【０２３３】
そして、復元部８１は、左眼用画像データ、及び、右眼用画像データを、立体視画像変換部４３に供給する。
【０２３４】
［復号装置の処理の説明］
【０２３５】
図１３Ａおよび図１３Ｂを参照して、図１２の復号装置の処理（復号処理）を説明する。
【０２３６】
図１３Ａは、立体視画像の表示が行われる場合の、図１２の復号装置の復号処理を説明するフローチャートである。
【０２３７】
立体視画像の表示が行われる場合、ステップＳ６１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、復元部８１に供給して、処理は、ステップＳ６２に進む。
【０２３８】
ステップＳ６２では、抽出部４１は、多重化データから、基本符号化データ、及び、追加符号化データを分離し、基本符号化データを、復号部４２1に、追加符号化データを、復号部４２2に、それぞれ供給して、処理は、ステップＳ６３に進む。
【０２３９】
ステップＳ６３では、多重化データに多重化されているすべての符号化データが復号され、処理は、ステップＳ６４に進む。
【０２４０】
すなわち、復号部４２1は、抽出部４１からの基本符号化データを復号し、その結果得られる基本画像データを、復元部８１に供給する。さらに、復号部４２2は、抽出部４１からの追加符号化データを復号し、その結果得られる追加画像データを、復元部８１に供給する。
【０２４１】
ステップＳ６４では、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、追加画像データを対象に、図９の入れ替え部７１の場合と逆の入れ替えを行い、これにより、左眼用画像データ、及び、右眼用画像データを復元する。
【０２４２】
そして、復元部８１は、左眼用画像データ、及び、右眼用画像データを、立体視変換部４３に供給する。
【０２４３】
その後、処理は、ステップＳ６４からステップＳ６５及びＳ６６に順次進み、図８ＡのステップＳ２３及びＳ２４の場合とそれぞれ同様の処理が行われる。
【０２４４】
すなわち、ステップＳ６５では、立体視画像変換部４３は、復元部８１からの左眼用視点画像データ、及び、右眼用視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ６６に進む。
【０２４５】
ステップＳ６６では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ６１に戻り、以下、ステップＳ６１ないしＳ６６の処理が繰り返される。
【０２４６】
また、ステップＳ６６において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０２４７】
図１３Ｂは、２次元画像の表示が行われる場合の、図１２の復号装置の復号処理を説明するフローチャートである。
【０２４８】
２次元画像の表示が行われる場合、ステップＳ７１において、抽出部４１は、そこに供給される多重化データから、基本符号化データを分離し、復号部４２1に供給して、処理は、ステップＳ７２に進む。
【０２４９】
ステップＳ７２では、復号部４２1は、抽出部４１から供給される基本符号化データを復号し、その結果得られる基本画像データを、図示せぬ２次元表示デバイスに供給する。
【０２５０】
したがって、２次元表示デバイスでは、２次元画像として、基本画像データに対応する画像が表示される。
【０２５１】
その後、処理は、ステップＳ７２からステップＳ７３に進み、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ７１に戻り、以下、ステップＳ７１ないしＳ７３の処理が繰り返される。
【０２５２】
一方、ステップＳ７３において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０２５３】
以上のように、図９の符号化装置では、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグに従い、左眼用画像データ又は右眼用画像データのうちの、一方を、他方と入れ替えることにより、左眼用画像データ、及び、右眼用画像データが、基本画像データと追加画像データとに変換され、基本画像データ、及び、追加画像データと、ビュースイッチングフラグとを含む多重化データが生成される。
【０２５４】
したがって、図１２の復号装置では、ステレオ画像のコンテンツを、２次元画像として表示する場合に、基本画像データに対応する画像を表示することにより、左眼用画像、又は、右眼用画像のうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
【０２５５】
また、図１２の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、基本画像データ、及び、追加画像データが、元の左眼用視点画像データと右眼用視点画像データとに復元される。
【０２５６】
したがって、立体視用デバイスにおいて、ステレオ画像を表示することができる。
【０２５７】
なお、ビュースイッチングフラグは、２次元画像の表示に用いる画像データを指定するフラグであるが、図１２の復号装置では、ビュースイッチングフラグに従い、基本画像データ、及び、追加画像データのそれぞれから、左眼用視点画像データと、右眼用視点画像データとが分離される。したがて、図１２の復号装置では、基本画像データ、及び、追加画像データの中の、左眼用視点画像データと、右眼用視点画像データとのそれぞれを指定するフラグとして機能する。
【０２５８】
また、図９の符号化装置では、ステレオ画像の画像データである左眼用視点画像データ及び右眼用視点画像データは、基本画像データと追加画像データとにされてから、その基本画像データと追加画像データとのそれぞれが符号化される。
【０２５９】
したがって、基本画像データ全体については、復号画像の画質の劣化を抑制するような符号化パラメータ（量子化パラメータやエントロピー符号化方式など）を採用して、符号化を行うことができる。
【０２６０】
すなわち、左眼用視点画像データと、右眼用視点画像データとのそれぞれを符号化する場合には、左眼用視点画像データと、右眼用視点画像データとのうちの一方について、復号画像の画質の劣化を抑制する符号化パラメータを採用しても、復号装置において、２次元画像として表示される画像全体の画質の劣化が抑制されるとは限らない。
【０２６１】
これに対して、図９の符号化装置では、基本画像データと追加画像データとのそれぞれが符号化されるため、２次元画像の表示に用いられる基本画像データの符号化に、復号画像の画質の劣化を抑制する符号化パラメータを採用することにより、復号装置において、２次元画像として表示される画像全体の画質の劣化を抑制することができる。
【０２６２】
以上、第１実施の形態及び第２実施の形態では、２個の視点の画像データである左眼用視点画像データと右眼用視点画像データからなるステレオ画像の画像データを、符号化の対象としたが、符号化の対象としては、２個を超えるN個の視点の画像データを採用することができる。
【０２６３】
そこで、以下では、２個を超えるN個の視点の画像データを符号化の対象とする実施の形態について説明する。
【０２６４】
＜第３実施の形態＞
【０２６５】
［符号化装置の第３実施の形態］
【０２６６】
図１４は、本発明を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
【０２６７】
なお、図１４において、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２６８】
図１４の符号化装置は、２個の符号化部１１1及び１１2に代えて、N個の符号化部１１1，１１2，・・・，１１Nが設けられていることを除いて、図１の場合と同様に構成されている。
【０２６９】
図１４において、符号化装置は、３個以上のN個の視点の画像データ（以下、視点画像データともいう）からなる立体視画像の画像データを符号化する。
【０２７０】
すなわち、立体視画像の画像データのうちの、n番目の視点の画像データである第n視点画像データは、符号化部１１nに供給される。
【０２７１】
符号化部１１nは、そこに供給される第n視点画像データを、例えば、MPEG2やAVC/H.264方式等の所定の符号化方式に従って符号化し、その結果得られる符号化データ（以下、第n視点符号化データともいう）を、生成部１３に供給する。
【０２７２】
フラグ設定部１２は、例えば、立体視画像の制作者等のユーザの操作等に応じて、立体視画像のN個の視点画像データのうちの、２次元画像の表示に用いる画像データを指定するフラグであるビュースイッチングフラグを設定し、生成部１３に供給する。
【０２７３】
なお、第１実施の形態、及び、第２実施の形態では、ビュースイッチングフラグは、上述したように、１ビットのフラグを採用することができるが、第３実施の形態（及び、後述する第４実施の形態）では、ビュースイッチングフラグは、log2N以上のビット数のフラグを採用することができる。
【０２７４】
ここで、２次元画像の表示に用いる画像データが、第n視点画像データである場合、ビュースイッチングフラグの値は、例えば、n-1とされることとする。なお、第n視点画像データを撮影したカメラに、そのカメラを識別するためのインデクスが付されている場合には、第n視点画像データを、２次元画像の表示に用いる画像データに指定するビュースイッチングフラグの値としては、その第n視点画像データを撮影したカメラのインデクスを採用することができる。
【０２７５】
生成部１３は、立体視画像の画像データと、ビュースイッチングフラグとを含むビットストリームを生成して出力する。
【０２７６】
すなわち、生成部１３は、符号化部１１1ないし１１Nそれぞれからの第１視点符号化データないし第N視点符号化データを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含める。
【０２７７】
［符号化装置の処理の説明］
【０２７８】
図１５を参照して、図１４の符号化装置の処理（符号化処理）を説明する。
【０２７９】
図１４の符号化装置では、フラグ設定部１２が、立体視画像の制作者によって操作されると、ステップＳ１０１において、フラグ設定部１２が、立体視画像の制作者の操作に従って、立体視画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３に供給する。
【０２８０】
その後、符号化装置に対して、立体視画像の画像データである第１視点画像データないし第N視点画像データが供給されるのを待って、処理は、ステップＳ１０１からステップＳ１０２に進み、符号化部１１1ないし１１Nは、符号化を行う。
【０２８１】
すなわち、符号化部１１nは、第n視点画像データを符号化し、その結果得られる第n視点符号化データを、生成部１３に供給する。
【０２８２】
その後、処理は、ステップＳ１０２からステップＳ１０３に進み、生成部１３は、符号化部１１1ないし１１Nそれぞれからの第１視点符号化データないし第N視点符号化データを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
【０２８３】
そして、処理は、ステップＳ１０３からステップＳ１０４に進み、符号化装置は、まだ符号化すべき立体視画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ１０２に戻り、以下、ステップＳ１０２ないしＳ１０４の処理が繰り返される。
【０２８４】
一方、ステップＳ１０４において、符号化すべき立体視画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
【０２８５】
以上のようにして、生成部１３が出力する多重化データ、すなわち、立体視画像の画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
【０２８６】
［復号装置の第３実施の形態］
【０２８７】
図１６は、本発明を適用した復号装置の第３実施の形態の構成例を示すブロック図である。
【０２８８】
なお、図１６において、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２８９】
図１６の復号装置は、復号部４２1及び４２2に代えて、N個の復号部４２1，４２2，・・・，４２Nが設けられている他は、図５の場合と同様に構成されている。
【０２９０】
図１６において、復号装置は、図１４の符号化装置が出力する多重化データを復号する。
【０２９１】
すなわち、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給する。
【０２９２】
また、抽出部４１は、多重化データから、第1視点符号化データないし第N視点符号化データを分離し、第n視点符号化データを、復号部４２nに供給する。
【０２９３】
さらに、抽出部４１は、第1視点符号化データないし第N視点符号化データのすべてを、選択部４４に供給する。
【０２９４】
復号部４２nは、抽出部４１からの第n視点符号化データを復号し、その結果得られる第n視点画像データを、立体視画像変換部４３に供給する。
【０２９５】
立体視画像変換部４３は、復号部４２1ないし４２Nそれぞれから供給される第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給する。
【０２９６】
選択部４４は、抽出部４１から供給される、シーン等ごとのビュースイッチングフラグに従い、同じく抽出部４１から供給される第1視点符号化データないし第N視点符号化データのうちの１つを、２次元画像の表示に用いる画像データの符号化データとして選択し、選択符号化データとして、復号部４５に供給する。
【０２９７】
復号部４５は、選択部４４から供給される選択符号化データを復号し、その結果得られる画像データ（第1視点画像データないし第N視点画像データのうちのいずれか）を、図示せぬ２次元表示デバイスに供給する。
【０２９８】
［復号装置の処理の説明］
【０２９９】
図１７Ａおよび図１７Ｂを参照して、図１６の復号装置の処理（復号処理）を説明する。
【０３００】
図１７Ａは、立体視画像の表示が行われる場合の、図１６の復号装置の復号処理を説明するフローチャートである。
【０３０１】
立体視画像の表示が行われる場合、ステップＳ１１１において、抽出部４１は、そこに供給される多重化データから、第1視点符号化データないし第N視点符号化データのそれぞれを分離する。さらに、抽出部４１は、第n視点符号化データを、復号部４２nに供給して、処理は、ステップＳ１１１からステップＳ１１２に進む。
【０３０２】
ステップＳ１１２では、多重化データに多重化されている第1視点符号化データないし第N視点符号化データのすべてが復号され、処理は、ステップＳ１１３に進む。
【０３０３】
すなわち、復号部４２nは、抽出部４１からの第n視点符号化データを復号し、その結果得られる第n視点画像データを、立体視画像変換部４３に供給する。
【０３０４】
ステップＳ１１３では、立体視画像変換部４３は、復号部４２1ないし４２Nそれぞれから供給される第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ１１４に進む。
【０３０５】
ステップＳ１１４では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１１１に戻り、以下、ステップＳ１１１ないしＳ１１４の処理が繰り返される。
【０３０６】
また、ステップＳ１１４において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０３０７】
図１７Ｂは、２次元画像の表示が行われる場合の、図１６の復号装置の復号処理を説明するフローチャートである。
【０３０８】
２次元画像の表示が行われる場合、ステップＳ１２１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、選択部４４に供給して、処理は、ステップＳ１２２に進む。
【０３０９】
ステップＳ１２２では、抽出部４１は、多重化データから、第1視点符号化データないし第N視点符号化データを分離し、選択部４４に供給して、処理は、ステップＳ１２３に進む。
【０３１０】
ステップＳ１２３では、選択部４４は、抽出部４１からのビュースイッチングフラグに従い、抽出部４１からの第1視点符号化データないし第N視点符号化データのうちの１つを、選択符号化データとして選択する。
【０３１１】
すなわち、選択部４４は、抽出部４１からのビュースイッチングフラグの値がn-1である場合、抽出部４１からの第1視点符号化データないし第N視点符号化データのうちの、第n視点符号化データを、選択符号化データとして選択する。
【０３１２】
そして、選択部４４は、選択符号化データを、復号部４５に供給して、処理は、ステップＳ１２３からステップＳ１２４に進む。
【０３１３】
ステップＳ１２４では、復号部４５は、選択部４４から供給される選択符号化データを復号し、その結果得られる画像データを、図示せぬ２次元表示デバイスに供給して、処理は、ステップＳ１２５に進む。
【０３１４】
ステップＳ１２５では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１２１に戻り、以下、ステップＳ１２１ないしＳ１２５の処理が繰り返される。
【０３１５】
一方、ステップＳ１２５において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０３１６】
以上のように、図１４の符号化装置では、N個の視点の画像データである第1視点画像データないし第N視点画像データと、ビュースイッチングフラグとを含む多重化データが生成される。そして、図１６の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、第1視点画像データないし第N視点画像データから、２次元画像の表示に用いる画像データがシーン等の単位で選択される。
【０３１７】
したがって、ビュースイッチングフラグによって２次元画像の表示に用いる画像データを指定することができるので、立体視画像のコンテンツを、２次元画像として表示する場合に、第1視点画像データないし第N視点画像データのうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
【０３１８】
＜第４実施の形態＞
【０３１９】
［符号化装置の第４実施の形態］
【０３２０】
図１８は、本発明を適用した符号化装置の第４実施の形態の構成例を示すブロック図である。
【０３２１】
なお、図中、図９又は図１４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３２２】
図１８の符号化装置は、符号化部１１1及び１１2に代えて、N個の符号化部１１1，１１2，・・・，１１Nが設けられていることを除いて、図９の場合と同様に構成されている。
【０３２３】
入れ替え部７１には、立体視画像の第1視点画像データないし第N視点画像データが供給される。
【０３２４】
入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、N個の視点の画像データである第1視点画像データないし第N視点画像データのうちの1個の視点の画像データを、他の視点の画像データと入れ替えることにより、N個の第1視点画像データないし第N視点画像データを、２次元画像の表示に用いる画像データである1個の基本画像データと、２次元画像の表示に用いない画像データであるN-1個の追加画像データ#1ないし#N-1とに変換する。
【０３２５】
なお、入れ替え部７１は、基本画像データを、符号化部１１1に供給し、追加画像データ#nを、符号化部１１n+1に供給する。
【０３２６】
このため、図１８では、符号化部１１1は、入れ替え部７１からの基本画像データを符号化し、その結果得られる符号化データ（基本符号化データ）を、生成部１３に供給する。
【０３２７】
また、符号化部１１n+1は、入れ替え部７１からの追加画像データ#nを符号化し、その結果得られる符号化データ（以下、追加符号化データ#nともいう）を、生成部１３に供給する。
【０３２８】
そして、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2ないし１１Nそれぞれからの追加符号化データ#1ないし#N-1とを多重化して多重化データとし、その多重化データのヘッダ等に、フラグ設定部１２からのビュースイッチングフラグを含める。
【０３２９】
したがって、図１８において、生成部１３で得られる多重化データには、1個の基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1、並びに、ビュースイッチングフラグが含まれる。
【０３３０】
［入れ替え部７１の処理の説明］
【０３３１】
図１９を参照して、図１８の入れ替え部７１の処理について説明する。
【０３３２】
なお、以下、第n視点画像データに対応する画像を、第n視点画像ともいう。
【０３３３】
いま、図１８の符号化装置での符号化の対象の立体視画像が、例えば、シーン#1,#2,#3,#4,#5から構成され、また、立体視画像の画像データが、3個の視点の画像データである第1視点画像データ、第2視点画像データ、及び、第3視点画像データからなることとする。
【０３３４】
さらに、立体視画像が、２次元画像として表示される場合に、立体視画像の制作者が、２次元画像として表示される画像（提示画像）として、図中、太線の枠で囲んで示すように、シーン#1及びシーン#4については、第1視点画像を、シーン#2及び#3については、第2視点画像を、シーン#5については、第3視点画像を、それぞれ選択するように、フラグ設定部１２を操作したこととする。
【０３３５】
この場合、フラグ設定部１２は、シーン#1及び#4については、第1視点画像を提示画像として指定する値である、例えば、0を、ビュースイッチングフラグとして設定する。
【０３３６】
また、フラグ設定部１２は、シーン#2及び#3については、第2視点画像を提示画像として指定する値である、例えば、1を、ビュースイッチングフラグとして設定する。
【０３３７】
さらに、フラグ設定部１２は、シーン#5については、第3視点画像を提示画像として指定する値である、例えば、2を、ビュースイッチングフラグとして設定する。
【０３３８】
入れ替え部７１は、上述したように、ビュースイッチングフラグに従い、３個の視点の画像データである第1視点画像データないし第3視点画像データのうちの1個の視点の画像データと、他の視点の画像データとを、ビュースイッチングフラグが設定されたシーン等の単位で入れ替えることにより、３個の第1視点画像データないし第3視点画像データを、1個の基本画像データと、2個の追加画像データ#1及び#2とに変換する。
【０３３９】
すなわち、入れ替え部７１は、３個の第1視点画像データないし第3視点画像データのうちの1個である、例えば、第2視点画像データを基準として、その第2視点画像データのシーンのうちの、ビュースイッチングフラグが基準である第2視点画像データを指定していないシーン、つまり、第1視点画像データ又は第3視点画像データを指定するシーンについては、そのシーンの第2視点画像データを、ビュースイッチングフラグが指定する画像データに入れ替える。
【０３４０】
図１９では、基準である第2視点画像データのシーン#1ないし#5のうちの、シーン#1及び#4が、ビュースイッチングフラグが第2視点画像データではない第1視点画像データを指定するシーンになっている。このため、第2視点画像データのシーン#1ないし#5のうちの、シーン#1及び#4のデータが、第1視点画像データのシーン#1及び#4のデータとそれぞれ入れ替えられる。
【０３４１】
さらに、図１９では、基準である第2視点画像データのシーン#1ないし#5のうちの、シーン#5が、ビュースイッチングフラグが第2視点画像データではない第3視点画像データを指定するシーンになっている。このため、第2視点画像データのシーン#1ないし#5のうちの、シーン#5のデータが、第3視点画像データのシーン#5のデータと入れ替えられる。
【０３４２】
そして、第2視点画像データについて、シーンの画像データが基準以外の第1視点画像データ又は第3視点画像データと入れ替えられることにより得られる画像データが、基本画像データとされる。
【０３４３】
また、第1視点画像データについて、シーンの画像データが基準である第2視点画像データと入れ替えられることにより得られる画像データが、追加画像データ#1とされる。さらに、第3視点画像データについて、シーンの画像データが基準である第2視点画像データと入れ替えられることにより得られる画像データが、追加画像データ#2とされる。
【０３４４】
この場合、基本画像データにおいては、シーン#1及び#4のデータは、第1視点画像データに、シーン#2及び#3のデータは、第2視点画像データに、シーン#5のデータは、第3視点画像データに、それぞれなっている。
【０３４５】
すなわち、基本画像データは、２次元画像の表示に用いる画像データとしてビュースイッチングフラグが指定するデータになっている。
【０３４６】
したがって、立体視画像を２次元画像として表示する場合には、基本画像データに対応する画像を表示するだけで、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
【０３４７】
一方、追加画像データ#1においては、シーン#1及び#4のデータは、第2視点画像データに、シーン#2,#3、及び#5のデータは、第1視点画像データに、それぞれなっている。
【０３４８】
さらに、追加画像データ#2においては、シーン#1ないし#4のデータは、第3視点画像データに、シーン#5のデータは、第2視点画像データに、それぞれなっている。
【０３４９】
追加画像データ#1及び#2は、２次元画像の表示には必要がなく、立体視画像（立体視画像）を表示するときに、基本画像データとともに用いられる。
【０３５０】
［符号化装置の処理の説明］
【０３５１】
図２０を参照して、図１８の符号化装置の処理（符号化処理）を説明する。
【０３５２】
図１８の符号化装置では、フラグ設定部１２が、立体視画像の制作者によって操作されると、ステップＳ１４１において、フラグ設定部１２が、立体視画像の制作者の操作に従って、立体視画像の各シーンに対するビュースイッチングフラグを設定し、生成部１３及び入れ替え部７１に供給する。
【０３５３】
その後、符号化装置に対して、立体視画像の画像データである第1視点画像データないし第N視点画像データが供給されるのを待って、処理は、ステップＳ１４１からステップＳ１４２に進み、入れ替え部７１は、フラグ設定部１２からのビュースイッチングフラグに従い、図１９で説明したように、第1視点画像データないし第N視点画像データのうちの、1個の視点の画像データを、他の視点の画像データと入れ替えることにより、第1視点画像データないし第N視点画像データを、1個の基本画像データと、N-1個の追加画像データ#1ないし#N-1とに変換する（第1視点画像データないし第N視点画像データから、1個の基本画像データと、N-1個の追加画像データ#1ないし#N-1とを生成する）。
【０３５４】
ステップＳ１４２の処理後、入れ替え部７１は、基本画像データを符号化部１１1に供給するとともに、追加画像データ#nを符号化部１１n+1に供給する。
【０３５５】
その後、処理は、ステップＳ１４３に進み、符号化部１１1が、入れ替え部７１からの基本画像データを符号化し、その結果得られる基本符号化データを、生成部１３に供給する。さらに、ステップＳ１４３では、符号化部１１n+1が、入れ替え部７１からの追加画像データ#nを符号化し、その結果得られる追加符号化データ#nを、生成部１３に供給して、処理は、ステップＳ１４４に進む。
【０３５６】
ステップＳ１４４では、生成部１３は、符号化部１１1からの基本符号化データと、符号化部１１2ないし１１Nそれぞれからの追加符号化データ#1ないし#N-1とを多重化し、多重化データとする。さらに、生成部１３は、多重化データのヘッダに、フラグ設定部１２からのビュースイッチングフラグを含め、多重化データを出力する。
【０３５７】
そして、処理は、ステップＳ１４４からステップＳ１４５に進み、符号化装置は、まだ符号化すべき立体視画像の画像データがあるかどうかを判定し、あると判定された場合、処理は、ステップＳ１４２に戻り、以下、ステップＳ１４２ないしＳ１４５の処理が繰り返される。
【０３５８】
一方、ステップＳ１４５において、符号化すべき立体視画像の画像データがないと判定された場合、符号化装置は、符号化処理を終了する。
【０３５９】
以上のようにして、生成部１３が出力する多重化データ、すなわち、立体視画像の画像データを変換した1個の基本画像データ、及び、N-1個の追加画像データ（を符号化した符号化データ）と、ビュースイッチングフラグとを含むビットストリームは、例えば、伝送媒体を介して伝送され、又は、記録媒体に記録される。
【０３６０】
［復号装置の第４実施の形態］
【０３６１】
図２１は、本発明を適用した復号装置の第４実施の形態の構成例を示すブロック図である。
【０３６２】
なお、図中、図１２又は図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３６３】
図２１の復号装置は、復号部４２1及び４２2に代えて、N個の復号部４２1ないし４２Nが設けられていることを除けば、図１２の場合と同様に構成されている。
【０３６４】
図２１において、復号装置は、図１８の符号化装置が出力する多重化データを復号する。
【０３６５】
ここで、図１８の符号化装置が出力する多重化データは、1個の基本符号化データ、及び、N-1個の追加符号化データ#1ないし#N-1を含んでいる。
【０３６６】
このため、図２１の復号装置では、抽出部４１は、多重化データから、1個の基本符号化データ、及び、N-1個の追加符号化データ#1ないし#N-1のそれぞれを分離する。そして、抽出部４１は、基本符号化データを復号部４２1に、追加符号化データ#nを復号部４２n+1に、それぞれ供給する。
【０３６７】
したがって、復号部４２1は、抽出部４１からの基本符号化データを復号し、復号部４２n+1は、抽出部４１からの追加符号化データ#nを復号する。
【０３６８】
復号部４２1が基本符号化データを復号することにより得られる基本画像データと、復号部４２n+1が追加符号化データ#nを復号することにより得られる追加画像データ#nとは、復元部８１に供給される。
【０３６９】
ここで、立体視画像が２次元画像として表示される場合には、復号部４２1が基本符号化データを復号することにより得られる基本画像データが、図示せぬ２次元表示デバイスに供給される。そして、２次元表示デバイスでは、復号部４２1からの基本画像データに対応する画像が表示される。
【０３７０】
復元部８１には、上述のように、復号部４２1から基本画像データが供給されるとともに、復号部４２n+1から追加画像データ#nが供給される他、多重化データから抽出されたビュースイッチングフラグが、抽出部４１から供給される。
【０３７１】
復元部８１は、抽出部４１からのビュースイッチングフラグに従い、復号部４２1からの基本画像データを、復号部４２n+1からの追加画像データ#nと入れ替えることで、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1を、元のN個の第1視点画像データないし第N視点画像データに変換する。
【０３７２】
すなわち、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1を対象に、図１８の入れ替え部７１の場合と逆の入れ替えを行うことで、N個の第1視点画像データないし第N視点画像データを復元する。
【０３７３】
そして、復元部８１は、第1視点画像データないし第N視点画像データを、立体視画像変換部４３に供給する。
【０３７４】
立体視画像変換部４３は、復元部８１からの第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給する。
【０３７５】
［復号装置の処理の説明］
【０３７６】
図２２Ａおよび図２２Ｂを参照して、図２１の復号装置の処理（復号処理）を説明する。
【０３７７】
図２２Ａは、立体視画像の表示が行われる場合の、図２１の復号装置の復号処理を説明するフローチャートである。
【０３７８】
立体視画像の表示が行われる場合、ステップＳ１５１において、抽出部４１は、そこに供給される多重化データから、ビュースイッチングフラグを抽出し、復元部８１に供給して、処理は、ステップＳ１５２に進む。
【０３７９】
ステップＳ１５２では、抽出部４１は、多重化データから、基本符号化データ、及び、N-1個の追加符号化データ#1ないし#N-1を分離し、基本符号化データを、復号部４２1に、追加符号化データ#nを、復号部４２n+1に、それぞれ供給して、処理は、ステップＳ１５３に進む。
【０３８０】
ステップＳ１５３では、多重化データに多重化されているすべての符号化データが復号され、処理は、ステップＳ１５４に進む。
【０３８１】
すなわち、復号部４２1は、抽出部４１からの基本符号化データを復号し、その結果得られる基本画像データを、復元部８１に供給する。さらに、復号部４２n+1は、抽出部４１からの追加符号化データ#nを復号し、その結果得られる追加画像データ#nを、復元部８１に供給する。
【０３８２】
ステップＳ１５４では、復元部８１は、抽出部４１からのビュースイッチングフラグに従い、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1を対象に、図１８の入れ替え部７１の場合と逆の入れ替えを行い、これにより、N個の第1視点画像データないし第N視点画像データを復元する。
【０３８３】
そして、復元部８１は、第1視点画像データないし第N視点画像データを、立体視変換部４３に供給する。
【０３８４】
その後、処理は、ステップＳ１５４からステップＳ１５５に進み、立体視画像変換部４３は、復元部８１からの第1視点画像データないし第N視点画像データを、立体視画像データに変換し、図示せぬ立体視用デバイスに供給して、処理は、ステップＳ１５６に進む。
【０３８５】
ステップＳ１５６では、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１５１に戻り、以下、ステップＳ１５１ないしＳ１５６の処理が繰り返される。
【０３８６】
また、ステップＳ１５６において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０３８７】
図２２Ｂは、２次元画像の表示が行われる場合の、図２１の復号装置の復号処理を説明するフローチャートである。
【０３８８】
２次元画像の表示が行われる場合、ステップＳ１６１において、抽出部４１は、そこに供給される多重化データから、基本符号化データを分離し、復号部４２1に供給して、処理は、ステップＳ１６２に進む。
【０３８９】
ステップＳ１６２では、復号部４２1は、抽出部４１から供給される基本符号化データを復号し、その結果得られる基本画像データを、図示せぬ２次元表示デバイスに供給する。
【０３９０】
したがって、２次元表示デバイスでは、２次元画像として、基本画像データに対応する画像が表示される。
【０３９１】
その後、処理は、ステップＳ１６２からステップＳ１６３に進み、抽出部４１が、まだ処理していない多重化データがあるかどうかを判定し、あると判定した場合、処理は、ステップＳ１６１に戻り、以下、ステップＳ１６１ないしＳ１６３の処理が繰り返される。
【０３９２】
一方、ステップＳ１６３において、まだ処理していない多重化データがないと判定された場合、復号装置は、復号処理を終了する。
【０３９３】
以上のように、図１８の符号化装置では、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグに従い、N個の第1視点画像データないし第N視点画像データのうちの、1個の視点の画像データを、他の視点の画像データと入れ替えることにより、N個の第1視点画像データないし第N視点画像データが、1個の基本画像データとN-1個の追加画像データ#1ないし#N-1とに変換され、基本画像データ、及び、追加画像データ#1ないし#N-1と、ビュースイッチングフラグとを含む多重化データが生成される。
【０３９４】
したがって、図２１の復号装置では、立体視画像のコンテンツを、２次元画像として表示する場合に、基本画像データに対応する画像を表示することにより、N個の第1視点画像データないし第N視点画像データのうちの、コンテンツの制作者が意図する画像をシーン単位等で表示することができる。
【０３９５】
また、図２１の復号装置では、その多重化データから、ビュースイッチングフラグが抽出され、そのビュースイッチングフラグに従い、基本画像データ、及び、N-1個の追加画像データ#1ないし#N-1が、元のN個の第1視点画像データないし第N視点画像データに復元される。
【０３９６】
したがって、立体視用デバイスにおいて、立体視画像を表示することができる。
【０３９７】
なお、上述の符号化装置、及び、復号装置では、立体視画像以外の複数の視点の画像を対象として、処理を行うこともできる。
【０３９８】
すなわち、上述の符号化装置、及び、復号装置では、例えば、ある俳優Aをメインに撮影するカメラで得られた画像と、他の俳優Bをメインに撮影するカメラで得られた画像VAとの2個の視点の画像VBを、対象として処理を行うことができる。
【０３９９】
この場合、復号装置に、例えば、ユーザの操作に応じて、画像VA及びVBのうちのいずれかを選択する手段を設けることにより、ユーザは、興味がある俳優をメインとした画像を視聴することができる。
【０４００】
但し、この場合、画像VA及びVBは、立体視画像ではないため、画像の表示は、２次元画像の表示しか行うことができず、立体視画像の表示を行うことはできない。
【０４０１】
［本発明を適用したコンピュータの実施の形態］
【０４０２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０４０３】
そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４０４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０４０５】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０４０６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０４０７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０４０８】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０４０９】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０４１０】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０４１１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０４１２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０４１４】
すなわち、例えば、本実施の形態では、画像データを、AVC/H.264方式等によって符号化し、復号することとしたが、画像データの符号化、及び、復号は、行わなくても良い。
【０４１５】
また、本実施の形態では、フラグをビットストリームに多重化(記述)するものとして説明したが、多重化する以外にも、フラグと画像データ(又はビットストリーム)とを伝送(記録)してもよい。さらに、フラグと画像データ(又はビットストリーム)と連結する形態もある。
【０４１６】
本実施の形態では、連結を以下のように定義する。連結とは、画像データ(又はビットストリーム)とフラグとが互いにリンクされている状態であれば良い。例えば、画像データ(又はビットストリーム)とフラグとを、別の伝送路で伝送してもよい。また、画像データ(又はビットストリーム)とフラグとを、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録してもよい。なお、画像データ(又はビットストリーム)とフラグとをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)で設定してもよい。
【０４１７】
ここで、図１等の符号化装置において、符号化部１１1及び１１2、並びに生成部１３は、複数であるN個の視点の画像データを符号化してビットストリームを生成する符号化手段として機能するとみなすことができる。また、フラグ設定部１２は、N個の視点の画像データのうちの、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグを生成する生成手段として機能するとみなすことができる。さらに、生成部１３は、N個の視点の画像データを符号化したビットストリームと、ビュースイッチングフラグとを伝送する伝送手段として機能するとみなすことができる。
【０４１８】
また、図５等の復号装置において、抽出部４１は、複数であるN個の視点の画像データを符号化して得られるビットストリームと、N個の視点の画像データのうちの、２次元画像の表示に用いる画像データを指定するビュースイッチングフラグと、を受け取る受け取り手段として機能するとみなすことができる。さらに、選択部４４は、ビュースイッチングフラグに従い、ビットストリームに含まれるN個の視点の画像データから、２次元画像の表示に用いる画像データを選択する選択手段として機能するとみなすことができる。
【０４１９】
［本発明を適用した電子機器の実施の形態］
【０４２０】
例えば、上述した符号化装置や復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
【０４２１】
図２４は、本発明を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
【０４２２】
図２４に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。
【０４２３】
地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。
【０４２４】
映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。
【０４２５】
グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。
【０４２６】
パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。
【０４２７】
表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。
【０４２８】
また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。
【０４２９】
地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。
【０４３０】
音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。
【０４３１】
音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。
【０４３２】
エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。
【０４３３】
音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。
【０４３４】
さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。
【０４３５】
デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。
【０４３６】
MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。
【０４３７】
テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。なお、放送局等より送信されるMPEG-TSは、図１、図９、図１４、または図１８を参照して上述した符号化装置によって符号化されており、複数の画像データが符号化されて１つのビットストリームとされている。
【０４３８】
MPEGデコーダ１０１７は、図５、図１２、図１６、または図２１の復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、MPEGデコーダ１０１７は、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
【０４３９】
MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。
【０４４０】
MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。
【０４４１】
また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。
【０４４２】
A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。
【０４４３】
エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。
【０４４４】
さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。
【０４４５】
A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。
【０４４６】
音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。
【０４４７】
ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。
【０４４８】
音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。
【０４４９】
エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。
【０４５０】
SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。
【０４５１】
フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
【０４５２】
例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。
【０４５３】
MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
【０４５４】
また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。
【０４５５】
受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。
【０４５６】
CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。
【０４５７】
USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
【０４５８】
テレビジョン受像機１０００は、MPEGデコーダ１０１７として、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いることにより、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示することができる。
【０４５９】
図２５は、本発明を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
【０４６０】
図２５に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。
【０４６１】
また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。
【０４６２】
電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。
【０４６３】
携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０４６４】
例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
【０４６５】
また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。
【０４６６】
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。
【０４６７】
また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
【０４６８】
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。
【０４６９】
なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。
【０４７０】
この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
【０４７１】
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。
【０４７２】
携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、図１、図９、図１４、または図１８を参照して上述した符号化装置を用いる。画像エンコーダ１０５３は、これらの符号化装置の場合と同様に、複数の視点の画像データをそれぞれ符号化し、それらの符号化データをビュースイッチングフラグと多重化する。これにより、画像エンコーダ１０５３は、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
【０４７３】
なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。
【０４７４】
携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
【０４７５】
なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。
【０４７６】
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
【０４７７】
携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。
【０４７８】
携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。つまり、画像デコーダ１１５６は、これらの復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、画像デコーダ１１５６は、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
【０４７９】
このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
【０４８０】
なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。
【０４８１】
また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
【０４８２】
さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。
【０４８３】
携帯電話機１１００は、画像エンコーダ１１５３として図１、図９、図１４、または図１８を参照して上述した符号化装置を用いることにより、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
【０４８４】
また、携帯電話機１１００は、画像デコーダ１１５６として図５、図１２、図１６、または図２１を参照して上述した復号装置を用いることにより、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
【０４８５】
なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
【０４８６】
また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、上述した符号化装置や復号装置を適用することができる。
【０４８７】
図２６は、本発明を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
【０４８８】
図２６に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
【０４８９】
ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
【０４９０】
さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。
【０４９１】
もちろん、この他の動作も可能である。
【０４９２】
図２６に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。
【０４９３】
また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。
【０４９４】
受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。
【０４９５】
通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
【０４９６】
復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。
【０４９７】
オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。
【０４９８】
ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。
【０４９９】
ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。
【０５００】
モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。
【０５０１】
記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
【０５０２】
記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
【０５０３】
記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。
【０５０４】
レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。
【０５０５】
また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
【０５０６】
通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
【０５０７】
また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。
【０５０８】
また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。
【０５０９】
さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。
【０５１０】
以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして、図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。つまり、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、これらの復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、それぞれ、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
【０５１１】
したがって、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５によるビデオデータ（符号化データ）の受信の際や、記録再生部１２３３によるビデオデータ（符号化データ）のハードディスクからの再生の際に、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
【０５１２】
また、ハードディスクレコーダ１２００は、エンコーダ１２５１として図１、図９、図１４、または図１８を参照して上述した符号化装置を用いる。したがって、エンコーダ１２５１は、これらの符号化装置の場合と同様に、複数の視点の画像データをそれぞれ符号化し、それらの符号化データをビュースイッチングフラグと多重化する。したがって、ハードディスクレコーダ１２００は、例えば、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
【０５１３】
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、上述した符号化装置や復号装置を適用することができる。
【０５１４】
図２７は、本発明を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。
【０５１５】
図２７に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。
【０５１６】
レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。
【０５１７】
カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。
【０５１８】
以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。
【０５１９】
デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
【０５２０】
オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。
【０５２１】
コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
【０５２２】
例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
【０５２３】
また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。
【０５２４】
さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。
【０５２５】
記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
【０５２６】
また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０５２７】
外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。
【０５２８】
さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。
【０５２９】
以上のようなカメラ１３００は、デコーダ１３１５として図５、図１２、図１６、または図２１を参照して上述した復号装置を用いる。つまり、デコーダ１３１５は、これらの復号装置の場合と同様に、ビュースイッチングフラグに基づいて２次元画像として表示される画像データの符号化データを選択し、復号するか、若しくは、符号化装置がビュースイッチングフラグによる指定に基づいて画像を入れ替えながら生成した、２次元画像表示に用いる基本画像データを符号化した基本符号化データを復号する。したがって、デコーダ１３１５は、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
【０５３０】
したがって、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３からビデオデータの符号化データを読み出す際や、ネットワークを介してビデオデータの符号化データを取得する際に、複数の視点の画像データからなるコンテンツの、そのコンテンツの制作者が意図する画像を表示させるようにすることができる。
【０５３１】
また、カメラ１３００は、エンコーダ１３４１として図１、図９、図１４、または図１８を参照して上述した符号化装置を用いる。エンコーダ１３４１は、これらの符号化装置の場合と同様に、複数の視点の画像データをそれぞれ符号化し、それらの符号化データをビュースイッチングフラグと多重化する。これにより、エンコーダ１３４１は、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
【０５３２】
したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に符号化データを記録する際や、符号化データを他の装置に提供する際に、復号側において、ビュースイッチングフラグが用いられてコンテンツの制作者が意図する画像が表示されるようにすることができる。
【０５３３】
なお、コントローラ１３２１が行う復号処理に上述した復号装置の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に上述した符号化装置の符号化方法を適用するようにしてもよい。
【０５３４】
また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
【０５３５】
もちろん、上述した符号化装置および復号装置は、上述した装置以外の装置やシステムにも適用可能である。
【０５３６】
［拡張マクロブロック］
また、マクロブロックの大きさは任意である。本発明は、例えば図２８に示されるようなあらゆる大きさのマクロブロックに対して適用することができる。例えば、本発明は、通常の１６×１６画素のようなマクロブロックだけでなく、３２×３２画素のような拡張されたマクロブロック（拡張マクロブロック）にも適用することができる。
【０５３７】
図２８において、上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。また、中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。さらに、下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
【０５３８】
すなわち、３２×３２画素のマクロブロックは、上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
【０５３９】
上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
【０５４０】
中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
【０５４１】
これらのブロックは、以下の３階層に分類することができる。すなわち、図２８の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と称する。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と称する。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と称する。
【０５４２】
このような階層構造を採用することにより、１６×１６画素のブロック以下に関しては、H．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックを定義することができる。
【０５４３】
例えば、本発明を適用した符号化装置や復号装置が、階層毎にフィルタ係数を算出するようにしてもよい。また、例えば、本発明を適用した符号化装置や復号装置が、第２の階層よりブロックサイズが大きい階層である第１階層に対応するフィルタ係数を、第２階層に対しても設定するようにしてもよい。さらに、例えば、本発明を適用した符号化装置や復号装置が、過去の同一の階層に対するフィルタ係数を設定するようにしてもよい。
【０５４４】
第１階層や第２階層のように、比較的大きなブロックサイズを用いて符号化が行われるマクロブロックは、比較的高周波成分を含んでいない。これに対して、第３階層のように、比較的小さなブロックサイズを用いて符号化が行われるマクロブロックは、比較的、高周波成分を含んでいると考えられる。
【０５４５】
そこで、ブロックサイズの異なる各階層に応じて、別々にフィルタ係数を算出することにより、画像の持つ、局所的性質に適した符号化性能向上を実現させることが可能である。
【０５４６】
なお、フィルタのタップ数も、階層毎に異なるものであってもよい。
【符号の説明】
【０５４７】
１１1ないし１１N  符号化部，  １２  フラグ設定部，  １３  生成部，  ２１  A/D変換部，  ２２  画像並べ替えバッファ，  ２３  演算部，  ２４  直交変換部，  ２５  量子化部，  ２６  可逆符号化部，  ２７  蓄積バッファ，  ２８  レート制御部，  ２９  着量子化部，  ３０  逆直交変換部，  ３１  演算部，  ３２  フレームメモリ，  ３３  イントラ予測部，  ３４  動き予測／動き補償部，  ４１  抽出部，  ４２1ないし４２N  復号部，  ４３  立体視画像変換部，  ４４  選択部，  ４５  復号部，  ５１  蓄積バッファ，  ５２  可逆符号復号部，  ５３  逆量子化部，  ５４  逆直交変換部，  ５５  演算部，  ５６  フレームメモリ，  ５７  イントラ予測部，  ５８  動き予測／動き補償部，  ５９  画像並べ替えバッファ，  ６０  D/A変換部，  ７１  入れ替え部，  ８１  復元部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
0005594536.tif 000002
【図２】
0005594536.tif 000003
【図３】
0005594536.tif 000004
【図４】
0005594536.tif 000005
【図５】
0005594536.tif 000006
【図６】
0005594536.tif 000007
【図７】
0005594536.tif 000008
【図８Ａ】
0005594536.tif 000009
【図８Ｂ】
0005594536.tif 000010
【図９】
0005594536.tif 000011
【図１０】
0005594536.tif 000012
【図１１】
0005594536.tif 000013
【図１２】
0005594536.tif 000014
【図１３Ａ】
0005594536.tif 000015
【図１３Ｂ】
0005594536.tif 000016
【図１４】
0005594536.tif 000017
【図１５】
0005594536.tif 000018
【図１６】
0005594536.tif 000019
【図１７Ａ】
0005594536.tif 000020
【図１７Ｂ】
0005594536.tif 000021
【図１８】
0005594536.tif 000022
【図１９】
0005594536.tif 000023
【図２０】
0005594536.tif 000024
【図２１】
0005594536.tif 000025
【図２２Ａ】
0005594536.tif 000026
【図２２Ｂ】
0005594536.tif 000027
【図２３】
0005594536.tif 000028
【図２４】
0005594536.tif 000029
【図２５】
0005594536.tif 000030
【図２６】
0005594536.tif 000031
【図２７】
0005594536.tif 000032
【図２８】
0005594536.tif 000033