(57)【特許請求の範囲】
【請求項１】
複数の立体画像表現方式の表示装置に対応した立体画像符号化装置であって、立体画像表現方式が異なると画像を立体的に表示する際に必要となる画像情報が異なり、前記画像情報はビットストリームを復号することにより得られ、
前記立体画像符号化装置は、
左右の視点のそれぞれに対応して撮像された画像データに基づいて、解像度が原画像よりも粗く、かつ、異なるｎ個の画像情報（ｎは２以上の整数）であって、前記画像情報を組合わせることにより前記立体画像表現方式に必要な解像度の画像が得られる、ｎ個の画像情報を作成するための作成手段と、
前記視点に対応させて、前記視点ごとに、前記ｎ個の画像情報を結合して、ｎ個の結合画像情報を作成するための画像結合手段と、
前記結合画像情報を符号化して、ビットストリームを作成するための符号化手段と、
前記選択されたビットストリームを表わす情報を含むビットストリームを、前記立体画像表現方式を備えた表示装置に送出するための送出手段とを含む、立体画像符号化装置。
【請求項２】
前記作成手段は、
前記画像データを、水平方向のサンプル位置に基づいて、水平方向の間引きの周期をｎとして、ｎ個の画像データに分離するための手段と、
水平方向に分離して作成された前記ｎ個の画像データのそれぞれを、垂直方向のサンプル位置に基づいて、垂直方向の間引きの周期をｍとして、ｍ個の画像データ（ｍは２以上の整数）に分離するための手段と、
水平方向および垂直方向に分離して作成された画像データを、ｎ×ｍ個の画像情報として作成するための手段とを含む、請求項１に記載の立体画像符号化装置。
【請求項３】
前記作成手段は、
前記画像データを、水平方向における、低域バンドと高域バンドとに分割するための第１のサブバンド分割手段と、
前記画像データを、垂直方向における、低域バンドと高域バンドとに分割するための第２のサブバンド分割手段と、
前記第１のサブバンド分割手段および前記第２のサブバンド分割手段を組合せて、水平方向低域バンドかつ垂直方向低域バンドにサブバンド分割された画像データ、水平方向低域バンドかつ垂直方向高域バンドにサブバンド分割された画像データ、水平方向高域バンドかつ垂直方向低域バンドにサブバンド分割された画像データ、および水平方向高域バンドかつ垂直方向高域バンドにサブバンド分割された画像データを生成し、前記第１のサブバンド分割手段および前記第２のサブバンド分割手段とからなる組み合わせを再帰的に繰り返して得られた画像データをｎ個の画像情報として作成するための手段とを含む、請求項１に記載の立体画像符号化装置。
【請求項４】
前記符号化手段は、ｎ個の結合画像情報の中の、複数の立体画像表現方式に共通して必要な画像情報である、基本結合画像情報を符号化するための手段と、前記基本結合画像情報を復号した基本結合画像情報と前記結合画像情報との差分情報を符号化するための手段とを含む、請求項１に記載の立体画像符号化装置。
【請求項５】
前記作成手段は、
前記画像データを、水平方向に縮小するための第１の縮小手段と、
前記画像データを、垂直方向に縮小するための第２の縮小手段と、
前記第１の縮小手段により縮小された画像データ、前記第２の縮小手段により縮小された画像データ、前記第１の縮小手段および前記第２の縮小手段により縮小された画像データ、および入力された画像データを、ｎ個の画像情報（ｎ＝４）として作成するための手段とを含む、請求項１に記載の立体画像符号化装置。
【請求項６】
前記作成手段は、一方の視点に対応した画像データに基づいてｎ個の画像情報を作成するとともに、他方の視点に対応した画像データに基づいてｎ個の画像情報を作成するための手段を含み、
前記符号化手段は、
前記一方の視点に対応したｎ個の画像情報を符号化して、ｎ個のビットストリームを作成するための第１の符号化手段と、
前記一方の視点に対応するｋ番目（ｋ＝１〜ｎ）の画像情報と、前記他方の視点に対応するｋ番目の画像情報との差分情報を符号化するための第２の符号化手段とを含む、請求項１に記載の立体画像符号化装置。
【請求項７】
請求項１に記載の立体画像符号化装置で符号化されたビットストリームを復号して、左右の視点のそれぞれに対応した画像データを生成する画像復号装置であって、
立体画像表示に必要な解像度の画像を得ることができるように、ｎ個の前記ビットストリームの中から必要なビットストリームを選択するための選択手段と、
前記選択されたビットストリームを復号して、結合画像情報を作成するための復号手段と、
前記作成された結合画像情報を分離して、左右の視点のそれぞれに対応させた画像情報を作成するための画像分離手段と、
前記作成された画像情報に基づいて、前記画像情報を組合わせて立体画像表示に必要な解像度の画像を得ることができる、左右の視点のそれぞれに対応させた出力画像情報を作成するための作成手段と、
前記出力画像情報を出力フォーマットに合致するように変換するための変換手段とを含む、立体画像復号装置。
【請求項８】
前記立体画像復号装置は、請求項２に記載の立体画像符号化装置で符号化されたビットストリームを復号する装置であって、
前記作成手段は、前記画像情報を、水平方向および垂直方向の少なくとも１の方向に、前記複数の画像情報が互い違いになるように組合せた出力画像情報を作成するための手段を含む、請求項７に記載の立体画像復号装置。
【請求項９】
前記立体画像復号装置は、請求項３に記載の立体画像符号化装置で符号化されたビットストリームを復号する装置であって、
前記作成手段は、
水平方向にサブバンド合成するための第１のサブバンド合成手段と、
垂直方向にサブバンド合成するための第２のサブバンド合成手段と、
予め定められた条件を満足するように、前記第１のサブバンド合成手段および前記第２のサブバンド合成手段によりサブバンド合成して、出力画像情報を作成するための手段とを含む、請求項７に記載の立体画像復号装置。
【請求項１０】
前記立体画像復号装置は、請求項４に記載の立体画像符号化装置で符号化されたビットストリームを復号する装置であって、
前記復号手段は、
ｎ個のビットストリームの中から基本結合画像情報を復号するための手段と、
結合画像情報に対応する差分情報を復号するための手段と、
前記復号された前記基本結合画像情報と前記差分情報とに基づいて、ｎ個の結合画像情報を作成するための手段とを含む、請求項７に記載の立体画像復号装置。
【請求項１１】
前記立体画像復号装置は、請求項５に記載の立体画像符号化装置で符号化されたビットストリームを復号する装置であって、
前記作成手段は、
前記画像データを、水平方向に補間するための第１の補間手段と、
前記画像データを、垂直方向に補間するための第２の補間手段と、
前記選択手段により選択されて復号手段により復号された複数の画像情報を、予め定められた条件を満足するように組合せて、前記第１の補間手段および前記第２の補間手段によりデータを補完して出力画像情報を作成するための手段とを含む、請求項７に記載の立体画像復号装置。
【請求項１２】
前記立体画像復号装置は、請求項６に記載の立体画像符号化装置で符号化されたビットストリームを復号する装置であって、
前記復号手段は、
前記一方の視点に対応したｎ個のビットストリームを復号してｎ個の画像情報を作成するための第１の復号手段と、
前記差分情報を作成するための第２の復号手段と、
前記第１の復号手段により復号された前記一方の視点に対応するｋ番目（ｋ＝１〜ｎ）の画像情報と、前記第２の復号手段により復号された前記他方の視点に対応するｋ番目（ｋ＝１〜ｎ）の差分情報とに基づいて、前記他方の視点に対応する画像情報を作成するための手段とを含む、請求項７に記載の立体画像復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体画像を表示するための左画像と右画像とを含む複数の画像データを、通信路や記録媒体を介して、立体画像復号装置へ送出する技術に関し、特に、立体表示のために必要な画像情報が異なる複数の立体画像復号装置に、少ない情報量の画像データを送出する技術に関する。
【０００２】
【従来の技術】
物体を人の目に立体的に認知させる立体画像を複数のカメラを用いて生成して、この立体画像情報を記録媒体に保存または通信路を介して伝送して、立体画像を表示する立体画像を表示するための処理装置がある。このような処理装置における立体画像の表示方式として主として２つの方法がある。
【０００３】
第１番目は、パララックスバリア法やレンチキュラー板を用いた方法など、液晶等のディスプレイの前に縦長のスリットが数多く開けられたスリット板を配置し、視聴者の右側からはディスプレイ上の右用の画像が、左側からはディスプレイ上の左用の画像が、それぞれ見えるように構成されたものである。
【０００４】
特開平１１−１８１１１号公報は、このような原理により立体画像を表示する装置を開示する。この公報に開示された立体画像表示装置は、撮影した右画像情報と左画像情報とをそれぞれ、水平方向に１画素毎の間引き処理を行い、右用の画像情報と左用の画像情報とが一走査線上に交互に出現するように配置する。これにより、視聴者の右眼には右用の画像が、左眼には左用の画像が入力される光学系が構成されて、視聴者は、立体画像が認知することができる。
【０００５】
第２番目は、表示装置に左用画像と右用画像を時間的に交互に表示させ、その切換え時に液晶シャッタなどのシャッタを同期させたゴーグルによって左右の画像を区別し、視聴者の網膜上の残像によって立体感を得るものがある。
【０００６】
特開平９−９２９３号公報は、このような原理により立体画像を表示する装置を開示する。この公報に開示された立体画像表示装置は、撮影された右画像および左画像の水平ラインを１ライン単位で間引き、得られた画像のそれぞれをフィールド画像に対応させ、インタレース方式のモニタに表示させて予め定められた時間毎に左右を切換えて表示する。これにより、このように表示された画像とゴーグルのシャッタとを同期させることにより、視聴者が立体画像を認知できるようになる。
【０００７】
立体画像情報は、左右の両眼に対する画像情報が必要であるため、画像情報のデータ量が膨大である。このため、立体画像情報を保存、伝送するためには、これを高圧縮することが不可欠である。立体画像の圧縮方式として、左右両眼の画像をＭＰＥＧ（Moving Picture Experts Group）やＪＰＥＧ（Joint Photographic Experts Group）規格に準拠して、左右個々に圧縮する方法が考えられる。また、ＩＥＯ／ＩＥＣ  ＭＰＥＧ−２では、マルチビュープロファイルという枠組で立体画像の圧縮手法が規格化されている。ＭＰＥＧ−２では、時間階層性（Temporal Scalability）技術を用い、左画像情報（もしくは右画像情報）のみを通常方式で符号化し、これに対応する右画像情報（もしくは左画像情報）と左画像情報との差分情報を別途符号化する。
【０００８】
【発明が解決しようとする課題】
しかしながら、前述のように例示した２つの立体画像符号化方式においても、立体画像表示装置の立体画像表現方式の種類が異なると、水平方向の解像度が半分にする必要であったり、垂直方向の解像度が半分にする必要であったりするなど、表示装置において必要な画像情報の種類が異なる。そのため、従来は表示方式毎に（たとえば、レンチキュラー板を用いる場合、水平方向の解像度を半分にして符号化する必要があるのに対し、電子シャッターを用いる場合には垂直方向の解像度を半分にして符号化する必要があるので）、異なる左右画像情報が必要となる。
【０００９】
このため、レンチキュラー板を用いた立体画像表示装置と電子シャッターを用いた立体画像表示装置などの立体画像の表示方式の異なる少なくとも２台の立体画像表示装置に同時に画像情報を送出する場合、同一の立体画像であってもそれぞれの方式に対応した画像情報を別途作成して送出する必要がある。その結果、送出側の装置における画像情報の保存領域のサイズが大きくなったり、通信路を用いて送信する場合回線容量を無駄に消費することになる。
【００１０】
本発明は、前述の課題を解決するためになされたものであって、立体表示のために必要な画像情報が異なる複数の立体画像復号装置に送出される画像情報を少なくできる立体画像符号化装置およびその立体画像符号化装置により符号化されたビットストリームを復号する立体画像復号装置を提供することである。
【００１１】
【課題を解決するための手段】
第１の発明に係る立体画像符号化装置は、複数の視点のそれぞれに対応した２以上の画像データを符号化する。この立体画像符号化装置は、各画像データに基づいて、ｎ個の画像情報（ｎは２以上の整数）を作成するための作成手段と、各視点に対応させてｎ個の画像情報を結合して、ｎ個の結合画像情報を作成するための画像結合手段と、ｎ個の結合画像情報を符号化して、ｎ個のビットストリームを作成するための符号化手段とを含む。
【００１２】
第１の発明によると、たとえば、作成手段は、２つの視点（左眼の視点および右眼の視点）の画像データのそれぞれに基づいて、たとえば４個の画像情報を作成する。この４個の画像情報は、たとえば、（Ａ）画面の垂直方向および水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｂ）画面の垂直方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｃ）画面の水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｄ）画面の垂直方向および水平方向の解像度を変化させていない画像情報である。画像結合手段は、左右の視点に対応させて、このような４個の画像情報を組合せた結合画像情報を作成する。符号化手段は、結合画像情報を符号化処理する。これにより、たとえば、レンチキュラー板を用いた立体画像表示装置（水平方向の解像度が半分）には、（Ａ）の画像データを符号化したビットストリームと、（Ｂ）の画像データを符号化したビットストリームとを送出し、電子シャッターを用いた立体画像表示装置（垂直方向の解像度が半分）には、（Ａ）の画像データを符号化したビットストリームと、（Ｃ）の画像情報を符号化したビットストリームとを送出すればよい。このようにすると、レンチキュラー板を用いた立体画像表示装置と電子シャッターを用いた立体画像表示装置とが接続された伝送路に、（Ａ）の画像データを符号化したビットストリームを１回送出するだけでよい。また、立体画像符号化装置においても、[（Ａ）の画像データを符号化したビットストリーム＋（Ｂ）の画像データを符号化したビットストリーム]、[（Ａ）の画像データを符号化したビットストリーム＋（Ｃ）の画像データを符号化したビットストリーム]の両方を記憶する必要がなく、（Ａ）の画像データを符号化したビットストリームを重複して記憶する領域を削減できる。その結果、立体表示のために必要な画像情報が異なる複数の立体画像復号装置に送出される画像情報を少なくできる立体画像符号化装置を提供することができる。
【００１３】
第２の発明に係る立体画像符号化装置は、第１の発明の構成に加えて、作成手段は、ビットストリームを復号して立体画像を表示する装置に対応させて、ｎ個の画像情報を作成するための手段を含む。
【００１４】
第２の発明によると、立体画像符号化装置がビットストリームを送出するレンチキュラー板を用いた立体画像表示装置、電子シャッターを用いた立体画像表示装置などに対応させて、水平方向の解像度を１／ｎにしたｎ個の画像情報を作成できる。これにより、立体画像符号化装置は、送出先の立体画像表示装置が必要とする画像情報を符号化したビットストリームを作成して、送出できる。
【００１５】
第３の発明に係る立体画像符号化装置は、第１または第２の発明の構成に加えて、ビットストリームを復号して立体画像を表示する装置に対応させて、符号化手段により符号化されたｎ個のビットストリームの中から必要なビットストリームを選択して、装置に送出するための送出手段をさらに含む。
【００１６】
第３の発明によると、送出手段は、送出先の立体画像表示装置が必要とする画像情報を符号化したビットストリームを、その送出先の立体画像表示装置に対応させて選択して、選択されたビットストリームを送出する。立体画像表示装置は、立体画像符号化装置から送出されたビットストリームを復号処理して立体画像を表示する。
【００１７】
第４の発明に係る立体画像符号化装置は、第１または第２の発明の構成に加えて、ビットストリームを復号して立体画像を表示する装置に対応させて、符号化手段により符号化されたｎ個のビットストリームの中から必要なビットストリームを選択して、選択されたビットストリームを表わす情報を含むビットストリームを装置に送出するための送出手段をさらに含む。
【００１８】
第４の発明によると、送出手段は、送出先の立体画像表示装置が必要とする画像情報を符号化したビットストリームを、その送出先の立体画像表示装置に対応させて選択して、選択されたビットストリームを表わす情報を含むビットストリームを送出する。立体画像表示装置は、立体画像符号化装置から送出されたビットストリームの中から選択されたビットストリームを表わす情報を復号処理して、必要な画像情報のみを復号することができる。
【００１９】
第５の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、作成手段は、画像データを、水平方向のサンプル位置によりｎ個の画像データに分離するための手段と、水平方向に分離して作成されたｎ個の画像データのそれぞれを、垂直方向のサンプル位置によりｍ個の画像データ（ｍは２以上の整数）に分離するための手段と、水平方向および垂直方向に分離して作成された画像データを、ｎ×ｍ個の画像情報として作成するための手段とを含む。
【００２０】
第５の発明によると、作成手段は、たとえば、複数の視点の画像データのそれぞれに基づいて、４個（ｎ＝２、ｍ＝２）の画像情報を作成する。この４個の画像情報は、（Ａ）画面の垂直方向および水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｂ）画面の垂直方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｃ）画面の水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｄ）画面の垂直方向および水平方向の解像度を変化させていない画像情報である。このような４つの画像情報がそれぞれ符号化処理されて、レンチキュラー板を用いた立体画像表示装置や電子シャッターを用いた立体画像表示装置に、必要なビットストリームが送出される。
【００２１】
第６の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、作成手段は、画像データを、水平方向における、低域バンドと高域バンドとに分割するための第１のサブバンド分割手段と、画像データを、垂直方向における、低域バンドと高域バンドとに分割するための第２のサブバンド分割手段と、第１のサブバンド分割手段および第２のサブバンド分割手段を組合せて、水平方向低域バンドかつ垂直方向低域バンドにサブバンド分割された画像データ、水平方向低域バンドかつ垂直方向高域バンドにサブバンド分割された画像データ、水平方向高域バンドかつ垂直方向低域バンドにサブバンド分割された画像データ、および水平方向高域バンドかつ垂直方向高域バンドにサブバンド分割された画像データを生成し、第１のサブバンド分割手段および第２のサブバンド分割手段とからなる組み合わせを再帰的に繰り返して得られた画像データをｎ個の画像情報として作成するための手段とを含む。
【００２２】
第６の発明によると、第１のサブバンド分割手段および第２のサブバンド分割手段を組合せて、水平方向低域バンドかつ垂直方向低域バンドの画像データ、水平方向低域バンドかつ垂直方向高域バンドの画像データ、水平方向高域バンドかつ垂直方向低域バンドの画像データ、水平方向高域バンドかつ垂直方向高域バンドの４つの画像データが生成される。このようにすると、画像情報の低周波成分を集中して符号化することができるので、高能率の符号化処理を実行できる。
【００２３】
第７の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、符号化手段は、ｎ個の結合画像情報の中の基本結合画像情報を符号化するための手段と、基本結合画像情報を復号した基本結合画像情報と結合画像情報との差分情報を符号化するための手段とを含む。
【００２４】
第７の発明によると、符号化手段は、基本結合画像情報および基本結合画像情報からの差分情報を符号化して、ビットストリームを生成する。通常、基本結合画像情報からの差分は少ないため、差分情報についてのビットストリームのデータ量を低減することができる。
【００２５】
第８の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、作成手段は、画像データを、水平方向に縮小するための第１の縮小手段と、画像データを、垂直方向に縮小するための第２の縮小手段と、第１の縮小手段により縮小された画像データ、第２の縮小手段により縮小された画像データ、第１の縮小手段および第２の縮小手段により縮小された画像データ、および入力された画像データを、ｎ個の画像情報（ｎ＝４）として作成するための手段とを含む。
【００２６】
第８の発明によると、立体画像表示装置の画面の大きさに対応させて、画像データを水平方向に縮小した画像情報を符号化したビットストリームと、画像データを垂直方向に縮小した画像情報を符号化したビットストリームと、水平方向および垂直方向の両方向に縮小した画像情報を符号化したビットストリームとを作成して、立体画像表示装置の画面の大きさに対応させて、必要なビットストリームのみを送出できる。
【００２７】
第９の発明に係る立体画像符号化装置は、第１の視点と第２の視点のそれぞれに対応した２以上の画像データを符号化する。この立体画像符号化装置は、第１の視点に対応した画像データに基づいてｎ個の画像情報（ｎは２以上の整数）を作成するとともに、第２の視点に対応した画像データに基づいてｎ個の画像情報を作成するための作成手段と、第１の視点に対応したｎ個の画像情報を符号化して、ｎ個のビットストリームを作成するための第１の符号化手段と、第１の視点に対応するｋ番目（ｋ＝１〜ｎ）の画像情報と、第２の視点に対応するｋ番目の画像情報との差分情報を符号化するための第２の符号化手段とを含む。
【００２８】
第９の発明によると、第１の視点（たとえば左眼の視点）の画像情報を基準として、第２の視点（たとえば右眼の視点）の画像情報は、第１の視点の画像情報との差分情報が符号化される。通常、視点が異なる画像情報の間においては相関関係が非常に強いため、差分は少なく、差分情報についてのビットストリームのデータ量を低減することができる。
【００２９】
第１０の発明に係る立体画像復号装置は、ｎ個のビットストリーム（ｎは２以上の整数）を復号して、複数の視点のそれぞれに対応した２以上の画像データを生成する。この画像復号装置は、ｎ個のビットストリームの中から、必要なビットストリームを選択するための選択手段と、選択されたビットストリームを復号して、結合画像情報を作成するための復号手段と、作成された結合画像情報を分離して、各視点に対応させた画像情報を作成するための画像分離手段と、作成された画像情報に基づいて、各視点に対応させた出力画像情報を作成するための作成手段と、出力画像情報を出力フォーマットに合致するように変換するための変換手段とを含む。
【００３０】
第１０の発明によると、たとえば、選択手段は、２つの視点（左眼の視点および右眼の視点）の、たとえば４つのビットストリームの中から、必要なビットストリームを選択する。この４個のビットストリームは、たとえば、（Ａ）画面の垂直方向および水平方向の解像度が１／２になるように抽出された画像情報を符号化したビットストリーム、（Ｂ）画面の垂直方向の解像度が１／２になるようにを抽出された画像情報を符号化したビットストリーム、（Ｃ）画面の水平方向の解像度が１／２になるように抽出された画像情報を符号化したビットストリーム、（Ｄ）画面の垂直方向および水平方向の解像度を変化させていない画像情報を符号化したビットストリームである。これらのビットストリームの中から立体画像復号装置の立体表現方式に適合する画像情報を符号化したビットストリームを選択する。選択されたビットストリームは、復号手段により復号され、画像分離手段により、たとえば左右の視点に対応させた画像情報に分離される。作成手段は、複数の視点に対応させた出力画像情報を作成し、変換手段により出力フォーマットに合致するように（たとえば、左画像情報と右画像情報との並べ方を規定したフォーマット）、出力画像情報を変換する。これにより、（Ａ）のビットストリームと（Ｂ）のビットストリームと（Ｃ）のビットストリームとを受取った立体画像復号装置は、その装置が、たとえば、レンチキュラー板を用いた装置（水平方向の解像度が半分）の場合には、（Ａ）の画像データを符号化したビットストリームと、（Ｂ）の画像データを符号化したビットストリームとが選択される。また、その装置が、たとえば、電子シャッターを用いた装置（垂直方向の解像度が半分）の場合には、（Ａ）の画像データを符号化したビットストリームと、（Ｃ）の画像情報を符号化したビットストリームとが選択される。このようにすると、画像符号化装置から立体画像復号装置に送信されるビットストリームのデータ量を小さくできる。その結果、立体表示のために必要な画像情報が異なる場合において、画像情報を少なくできる立体画像符号化装置に対応した立体画像復号装置を提供することができる。
【００３１】
第１１の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、選択手段により選択されて復号手段により復号された画像情報を、予め定められた条件を満足するように組合せた出力画像情報を作成するための手段を含む。
【００３２】
第１１の発明によると、作成手段は、選択された複数の画像情報を、レンチキュラー板を用いた立体画像表示方式および電子シャッターを用いた立体画像表示方式などに対応させて、たとえば、解像度が予め定められた条件を満足するように、右画像情報と左画像情報とを交互に組合せるなどして、出力画像情報を作成する。
【００３３】
第１２の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、選択手段により選択されて復号手段により復号された画像情報を、予め定められた解像度に関する条件を満足するように組合せた出力画像情報を作成するための手段を含む。
【００３４】
第１２の発明によると、作成手段は、水平方向の解像度、垂直方向の解像度が、立体画像復号装置の出力フォーマットに適合するように、画像情報を適宜組合せて出力画像情報を作成する。
【００３５】
第１３の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、選択手段により選択された複数の画像情報を、水平方向および垂直方向の少なくとも１の方向に、複数の画像情報が互い違いになるように組合せた出力画像情報を作成するための手段を含む。
【００３６】
第１３の発明によると、水平方向の解像度、垂直方向の解像度が、立体画像復号装置の出力フォーマットに適合するように、複数の画像情報を水平方向および垂直方向の少なくとも１の方向に組合せて、水平方向および垂直方向の解像度が出力フォーマットに適合する出力画像情報を作成する。
【００３７】
第１４の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、水平方向にサブバンド合成するための第１のサブバンド合成手段と、垂直方向にサブバンド合成するための第２のサブバンド合成手段と、予め定められた条件を満足するように、第１のサブバンド合成手段および第２のサブバンド合成手段によりサブバンド合成して、出力画像情報を作成するための手段とを含む。
【００３８】
第１４の発明によると、第１のサブバンド合成手段および第２のサブバンド合成手段を組合せて、水平方向低域バンドかつ垂直方向低域バンドの画像データ、水平方向低域バンドかつ垂直方向高域バンドの画像データ、水平方向高域バンドかつ垂直方向低域バンドの画像データ、水平方向高域バンドかつ垂直方向高域バンドの４つの画像データを合成する。このようにすると、画像情報の低周波成分を集中して符号化されているので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００３９】
第１５の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、復号手段は、ｎ個のビットストリームの中から基本結合画像情報を復号するための手段と、結合画像情報に対応する差分情報を復号するための手段と、復号された基本結合画像情報と差分情報とに基づいて、ｎ個の結合画像情報を作成するための手段とを含む。
【００４０】
第１５の発明によると、復号手段は、基本結合画像情報および基本結合画像情報からの差分情報を復号して、画像情報を生成する。通常、基本結合画像情報からの差分は少ないため、差分情報についてのビットストリームのデータ量を低減されているので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００４１】
第１６の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、画像データを、水平方向に補間するための第１の補間手段と、画像データを、垂直方向に補間するための第２の補間手段と、選択手段により選択されて復号手段により復号された複数の画像情報を、予め定められた条件を満足するように組合せて、第１の補間手段および第２の補間手段によりデータを補完して出力画像情報を作成するための手段とを含む。
【００４２】
第１６の発明によると、作成手段は、立体画像を表示する画面の大きさに基づいて、ビットストリームを復号して得られた画像データを水平方向に補間したり、垂直方向に補間したりして、出力画像情報を作成する。補間される前の画像データは、データ量が低減されてその画像データを符号化したビットストリームもデータ量が少ないので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００４３】
第１７の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、複数の視点に対応する画像情報の中から必要な画像情報を選択することにより、立体画像表示用の画像情報および２次元画像表示用の画像情報のいずれかを作成するための画像作成手段をさらに含む。
【００４４】
第１７の発明によると、画像作成手段は、画像表示装置が立体画像表示用回路を有していない場合、２次元画像表示用の画像情報を、画像表示装置が立体画像表示用回路を有している場合、立体画像表示用の画像情報を作成する。これにより、画像表示装置が立体画像表示用回路を有していない場合であっても、２次元画像を表示させることができる。
【００４５】
第１８の発明に係る立体画像復号装置は、第１の視点と第２の視点のそれぞれに対応したｎ個のビットストリーム（ｎは２以上の整数）を復号して、第１の視点および第２の視点のそれぞれに対応した２以上の画像データを生成する。この画像復号装置は、第１の視点に対応したｎ個のビットストリームを復号してｎ個の画像情報を作成するための第１の復号手段と、第２の視点に対応したｎ個のビットストリームを復号してｎ個の差分情報を作成するための第２の復号手段と、第１の復号手段により復号された第１の視点に対応するｋ番目（ｋ＝１〜ｎ）の画像情報と、第２の復号手段により復号された第２の視点に対応するｋ番目（ｋ＝１〜ｎ）の差分情報とに基づいて、第２の視点に対応する画像情報を作成するための作成手段とを含む。
【００４６】
第１８の発明によると、第１の視点（たとえば左眼の視点）の画像情報を基準として、第２の視点（たとえば右眼の視点）の画像情報は、第１の視点の画像情報との差分情報が符号化される。通常、視点が異なる画像情報の間においては相関関係が非常に強いため、差分は少なく、差分情報についてのビットストリームのデータ量が低減されるので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００４７】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００４８】
＜第１の実施の形態＞
図１に、本実施の形態に係る立体画像符号化装置の制御ブロック図を示す。この立体画像符号化装置は、被写体を撮影する右カメラ１０１および左カメラ１０２と、撮影された画像を表わす画像情報を処理して複数の画像情報（基本右画像情報１、拡張右画像情報２〜拡張右画像情報ｎ）を生成する入力右画像生成部１０３と、撮影された画像情報を処理して複数の画像情報（基本左画像情報１、拡張左画像情報２〜拡張左画像情報ｎ）を生成する入力左画像生成部１０４と、それぞれ対応する右画像情報と左画像情報とを結合する第１の画像結合部１０５〜第ｎの画像結合部１０７と、第１の画像結合部１０５〜第ｎの画像結合部１０７により生成された符号化情報１〜符号化情報ｎをそれぞれ符号化する第１の符号化部１０８〜第ｎの符号化部１１０とを含む。
【００４９】
右カメラ１０１および左カメラ１０２で撮影された右画像を表わす右画像情報および左画像を表わす左画像情報は、それぞれの入力右画像生成部１０３および入力左画像生成部１０４に入力される。
【００５０】
入力右画像生成部１０３は、右カメラ１０１から入力された右画像情報から、基本右画像情報１および拡張右画像情報２〜拡張右画像情報ｎのｎ個の画像情報を生成して、第１の画像結合部１０５、第２の画像結合部１０６〜第ｎの画像結合部１０７に出力する。
【００５１】
入力左画像生成部１０４は、左カメラ１０２から入力された左画像情報から、基本左画像情報１および拡張左画像情報２〜拡張左画像情報ｎのｎ個の画像情報を生成して、第１の画像結合部１０５、第２の画像結合部１０６〜第ｎの画像結合部１０７に出力する。
【００５２】
図２に、入力右画像生成部１０３の詳細な制御ブロック図を示す。図２に示すように、入力右画像生成部１０３は、入力された右画像情報を処理する水平分離部２０１と、水平分離部２０１から出力された右画像情報を処理する垂直分離部２０２および垂直分離部２０３とを含む。
【００５３】
水平分離部２０１は、入力された右画像情報から、水平方向の解像度が半分の画像情報を２つ生成し、垂直分離部２０２および垂直分離部２０３にそれぞれ入力する。図３に示すように、水平分離部２０１は、入力された右画像情報の垂直ラインを１ライン毎に抽出して、画像情報を分割する。垂直分離部２０２および垂直分離部２０３は、水平分離部２０１から入力された右画像情報から、垂直方向の解像度が半分の画像を２つ生成する。図４に示すように、垂直分離部２０２および垂直分離部２０３は、入力された右画像情報の水平ラインを１ライン毎に抽出して分割する。このようにして、水平方向および垂直方向の解像度がそれぞれ半分の画像が４個生成される。
【００５４】
このような４つの画像を生成した場合、図２に示す画像情報１〜画像情報４のいずれかを、基本右画像情報１に設定する。なお、４つの画像情報を生成した場合、いずれを基本右画像情報１にしても良いが、画像情報１〜画像情報４の中から、基本左画像情報１に対応した画像情報を選択する必要がある。また、拡張右画像情報２〜拡張右画像情報４と拡張左画像情報２〜拡張左画像情報４もそれぞれ対応させる必要がある。
【００５５】
水平分離部２０１と、垂直分離部２０２および垂直分離部２０３との順序は、図２に示した順序の逆でもよい。すなわち、垂直分離の処理をしてから、水平分離の処理をしてもよい。さらに、前述のように４つの画像情報を抽出するものとして説明したがこれに限定されない。例えば、水平ライン間引きの周期をｎとし（ｎは２以上の整数）ライン位置をｎで割った余りが０のラインを集めた画像、ライン位置をｎで割った余りが１のラインを集めた画像、…、ライン位置をｎで割った余りがｎ−１のラインを集めた画像のｎ個に分け、また各々の画像を垂直ラインを間引いて同様にｍ個（ｍは２以上の整数）に分け、ｎ×ｍの画像情報を生成することができる。
【００５６】
入力左画像生成部１０４の構成は、前述した入力右画像生成部１０３において、右画像を左画像にしたものであるため、入力左画像生成部１０４についての詳細な説明は繰返さない。
【００５７】
第１の画像結合部１０５は、入力右画像生成部１０３および入力左画像生成部１０４から入力された基本右画像情報１および基本左画像情報１を、図５に示すように左右に並列させて結合させて、符号化情報１として、第１の符号化部１０８に出力する。また、左右の画像を別の時刻の画像として時間方向に並べ直して、右左右左…という順序で出力しても良い。
【００５８】
第２の画像結合部１０９〜第ｎの画像結合部１１０は、前述した第１の画像結合部１０５において、基本右画像情報１を拡張右画像情報２〜拡張右画像情報ｎに、基本左画像情報１を拡張左画像情報２〜拡張左画像情報ｎにしたものであるため、第２の画像結合部１０９〜第ｎの画像結合部１１０についての詳細な説明は繰返さない。
【００５９】
第１の符号化部１０８は、入力された符号化情報１を符号化して、基本ビットストリーム１を生成する。第１の符号化部１０８で使用される符号化方式としては、たとえばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などのＩＳＯ／ＩＥＣで標準化された符号化方式を用いることが可能である。ただし、符号化方式は、これらに限定されない。
【００６０】
第２の符号化部１０９〜第ｎの符号化部１１０は、生成される基本ビットストリーム１を拡張ビットストリーム２〜拡張ビットストリームｎにしたものであるため、第２の符号化部１０９〜第ｎの符号化部１１０についてのここでの詳細な説明は繰返さない。
【００６１】
基本ビットストリーム１および拡張ビットストリーム２〜拡張ビットストリームｎは、記録媒体に保存されるか通信路に送出される。
【００６２】
以上のような構造を有する本実施の形態に係る立体画像符号化装置の動作について説明する。なお、以下の説明においては、ｎ＝４と想定して説明する。
【００６３】
右カメラ１０１および左カメラ１０２により撮像された右画像情報および左画像情報は、それぞれ入力右画像生成部１０３および入力左画像生成部１０４に入力される。入力右画像生成部１０３により、水平方向および垂直方向の解像度が１／２にされた画像情報１〜画像情報４が生成される。このうちの１つが基本右画像情報１として設定される。同じようにして、基本右画像情報１に対応する基本左画像情報１が設定される。これら設定された基本右画像情報１と基本左画像情報１とは、対応する画像情報である。
【００６４】
入力右画像生成部１０３により、基本右画像情報１に対応して、基本右画像情報１と組合せることにより、水平方向の解像度が２倍になる拡張右画像情報２、垂直方向の解像度が２倍になる拡張右画像情報３、元の解像度になる拡張右画像情報４が生成される。同様にして、入力右画像生成部１０４により、基本左画像情報１に対応して、基本左画像情報１と組合せることにより、水平方向の解像度が２倍になる拡張左画像情報２、垂直方向の解像度が２倍になる拡張左画像情報３、元の解像度になる拡張左画像情報４が生成される。
【００６５】
第１の画像結合部１０５は、基本右画像情報１と基本左画像情報１とを結合させて、符号化情報１を第１の符号化部１０８に出力する。第１の符号化部１０８は、符号化情報１を予め定められた方式で符号化処理して、基本ビットストリーム１を出力する。第１の画像結合部１０６は、拡張右画像情報２と拡張左画像情報２とを結合させて、符号化情報２を第２の符号化部１０９に出力する。第２の符号化部１０９は、符号化情報２を予め定められた規格で符号化処理して、拡張ビットストリーム２を出力する。同じようにして、第３の符号化部から拡張ビットストリーム３が出力され、第４の符号化部から拡張ビットストリーム４が出力される。
【００６６】
このような動作の結果、４つのストリームは、以下のように構成される。
・ ストリーム１（基本ビットストリーム１）
・ ストリーム２（拡張ビットストリーム２。ストリーム１と組み合わせて水平方向の解像度が２倍の画像を復号できる）
・ ストリーム３（拡張ビットストリーム３。ストリーム１と組み合わせて垂直方向の解像度が２倍の画像を復号できる）
・ ストリーム４（拡張ビットストリーム４。ストリーム１〜ストリーム３と組み合わせて元の解像度の画像を復号できる）
立体画像符号化装置は、水平方向にのみ解像度が半分の画像情報が必要な立体画像復号装置Ａ、垂直方向にのみ解像度が半分の画像情報が必要な立体画像復号装置Ｂ、水平方向および垂直方向に解像度が半分の画像情報が必要な立体画像復号装置Ｃが接続された通信路に、これらの３つのストリーム（ストリーム１、ストリーム２およびストリーム３）を送出する。このようにすると、ストリーム１、ストリーム２、ストリーム３が分離されているので、これらストリーム１、ストリーム２、ストリーム３を１回送出すれば、以下のような問題が発生しない。
【００６７】
すなわち、このようにしてストリームが分離されていない場合、水平方向のみ解像度が半分の画像が必要な立体画像復号装置Ａには、（ストリーム１＋ストリーム２）に相当する情報を、垂直方向の解像度が半分の画像が必要な立体画像復号装置Ｂには（ストリーム１＋ストリーム３）に相当する情報をそれぞれ送出するため、結果として、放送などで立体画像復号装置Ａおよび立体画像復号装置Ｂの両方にデータを送信する場合、ストリーム１に相当する情報を２度送出することになる。
【００６８】
これに対して、本実施の形態に係る立体画像符号化装置は、ストリーム１を複数回分送る必要がなく、複数の異なる方式の立体画像復号装置に対して同時に送信する情報を、これらの方式に共通して必要な情報と、それぞれの立体画像復号装置固有の情報とに分離することにより共通な情報が１つになる。その結果、立体画像符号化装置における保存領域もしくは必要な伝送帯域を削減できる。
【００６９】
なお、通信路に送出する際、基本ビットストリームおよび全ての拡張ビットストリームを送出してもよいが、基本ビットストリームおよび立体画像復号装置が必要とする拡張ビットストリームを予め選択して送出することで、必要とする伝送帯域をさらに低減できる。
【００７０】
また、本実施の形態に係る立体画像符号化装置を用いて符号化処理することにより、基本ビットストリームと複数の拡張ビットストリームを生成することができる。立体画像復号装置は、適切なビットストリームのみを復号するだけで必要サイズの画像を復号できる。この時、立体画像符号化装置では、たとえば、基本ビットストリームおよび複数の拡張ビットストリームを互いに識別する情報を、ビットストリームに埋め込んでおき、立体画像復号装置は、この埋め込まれた情報を参照して、必要なビットストリームを選択するようにできる。
【００７１】
また、第１の符号化部〜第ｎの符号化部が生成する基本ビットストリーム１、拡張ビットストリーム２〜拡張ビットストリームｎの蓄積時のファイルフォーマットおよび通信路にて送出される通信方式については、既存の標準方式を用いることが可能であるが、それぞれ標準方式に限定されるものではない。
【００７２】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る立体画像符号化装置について説明する。図６に、本実施の形態に係る立体画像符号化装置における入力右画像生成部および入力左画像生成部の制御ブロック図を示す。図６に示す立体画像符号化装置は、前述の第１の実施の形態に係る立体画像符号化装置における入力右画像生成部１０３および入力左画像生成部１０４を、図６のように構成したものである。これ以外の構成については、前述の第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【００７３】
図６を参照して、入力右画像生成部および入力左画像生成部について説明する。なお、以下の説明では、左右共通の構成であるため、特に記述しない限り、左右を区別しないで説明する。
【００７４】
入力画像生成部は、水平方向にローパスフィルタ処理を実行するＨ−ＬＰＦ６０１と、水平方向にハイパスフィルタ処理を実行するＨ−ＨＰＦ６０２と、垂直方向にローパスフィルタ処理を実行するＶ−ＬＰＦ６０５およびＶ−ＬＰＦ６０９と、垂直方向にハイパスフィルタ処理を行うＶ−ＨＰＦ６０６およびＶ−ＨＰＦ６１０と、水平方向に画素間引きを行うダウンサンプル部６０３およびダウンサンプル部６０４と、垂直方向に画素間引きを行うダウンサンプル部６０７、ダウンサンプル部６０８、ダウンサンプル部６１１およびダウンサンプル部６１２と含む。
【００７５】
Ｈ−ＬＰＦ６０１は、入力された左画像情報または右画像情報に対して、水平方向のローパスフィルタ処理を実行する。Ｈ−ＨＰＦ６０２は、入力された左画像情報または右画像情報に対して、水平方向のハイパスフィルタ処理を実行する。
【００７６】
ダウンサンプリング部６０３は、Ｈ−ＬＰＦ６０１によりローパスフィルタ処理された画像情報が入力されると、水平方向に画素間引きを行って水平方向の解像度が半分の画像情報を生成する。ダウンサンプリング部６０４は、Ｈ−ＨＰＦ６０２によりハイパスフィルタ処理された画像情報が入力されると、水平方向に画素間引きを行って水平方向の解像度が半分の画像を生成する。
【００７７】
Ｖ−ＬＰＦ６０５は、ダウンサンプリング部６０３から入力された、水平方向の解像度が半分の画像情報に対して、垂直方向にローパスフィルタ処理を実行する。Ｖ−ＨＰＦ６０６は、ダウンサンプリング部６０３から入力された、水平方向の解像度が半分の画像情報に対して、垂直方向にハイパスフィルタ処理を実行する。
【００７８】
ダウンサンプル部６０７は、Ｖ−ＬＰＦ６０５によりローパスフィルタ処理された画像情報が入力されると、垂直方向に画素間引きを行って垂直方向の解像度が半分の画像を生成する。ダウンサンプリング部６０８は、Ｖ−ＨＰＦ６０６によりハイパスフィルタ処理された画像を入力されると、垂直方向に画素間引きを行って垂直方向の解像度が半分の画像を生成する。
【００７９】
Ｖ−ＬＰＦ６０９、Ｖ−ＨＰＦ６１０、ダウンサンプル部６１１、ダウンサンプル部６１２の機能は、Ｖ−ＬＰＦ６０５、Ｖ−ＨＰＦ６０６、ダウンサンプル部６０７、ダウンサンプル部６０８とそれぞれ同じであるのでここでの詳細な説明は繰返さない。
【００８０】
このような構成により、ダウンサンプル部６０７から画像情報１が、ダウンサンプル部６０８から画像情報２が、ダウンサンプル部６１１から画像情報３が、ダウンサンプル部６１２から画像情報４が、それぞれ出力される。これらの画像情報１〜画像情報４は、水平、垂直方向の解像度がそれぞれ半分である。
【００８１】
Ｖ−ＬＰＦ、Ｈ−ＬＰＦ、Ｖ−ＨＰＦおよびＨ−ＬＰＦは、たとえば、サブバンド符号化で用いられるＱＭＦ（Quadrature Mirror Filter）などである。
【００８２】
このような構成により、生成された画像情報１〜画像情報４のうち、画像情報１には多くの符号化すべき情報が集中するため、残りの画像情報２〜画像情報４の符号量は少なくなり、結果として全体の符号化効率は高くなる。
【００８３】
また、本実施の形態において、出力されるビットストリームは４つの例を説明したが、図６に示す入力画像生成部を複数段組み合わせ、画像情報１〜画像情報４のおのおのに対し、もしくはその一部を次段の入力画像生成部の入力にする構成とすることで、４つ以上のビットストリームを生成することも可能である。
【００８４】
このようにして、本実施の形態に係る立体画像符号化装置を用いて符号化すると、画像情報１に画像情報の低周波成分が集中するので、多くの符号化すべき情報を集中させることができるため、より高能率な符号化を行うことが可能である。
【００８５】
＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る立体画像符号化装置について説明する。図７に、本実施の形態に係る立体画像符号化装置の制御ブロック図を示す。図７に示す立体画像符号化装置は、前述の第１の実施の形態に係る立体画像符号化装置に第１の復号部が追加されるとともに、第１の復号部からの復号画像出力が、第２の符号化部〜第ｎの符号化部に入力される点が異なる。これ以外の構成については、前述の第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【００８６】
第１の復号部７０１から出力される基本ビットストリームは、この立体画像符号化装置に保存されるか、通信路に送出されると同時に、第１の復号部７０２に入力される。第１の復号部７０２は、入力された基本ビットストリームを復号して、復号画像情報を第２の符号化部７０３〜第ｎの符号化部７０５へそれぞれ入力する。
【００８７】
第２の符号化部７０３は、第１の復号部７０２により入力された復号画像情報を利用して、第２の画像結合部から出力された符号化情報２を符号化して、拡張ビットストリーム２を出力する。第３の符号化部７０３〜第ｎの符号化部７０５も、第２の符号化部７０３と同じであるので、ここでの詳細な説明は繰返さない。この復号画像情報は、入力された基本ビットストリームを復号したものであって、すべての立体画像方式で共通して必要な情報である。したがって、この復号画像情報を復号するための基本ビットストリームは、すべての立体画像方式を採用した立体画像復号装置に送出される。
【００８８】
本実施の形態に係る立体画像符号化装置においては、第１の復号部７０２から出力された基本右画像情報１および基本左画像情報１と、拡張右画像情報２〜拡張右画像情報ｎおよび拡張左画像情報２〜拡張左画像情報ｎとの差分情報を符号化する。すなわち、拡張右画像情報２〜拡張右画像情報ｎおよび拡張左画像情報２〜拡張左画像情報ｎを符号化するにあたり、画像情報そのものを符号化する代わりに差分情報を符号化する。この場合、その差分情報は、対応する画素単位で引き算をした画像を用いることが考えられる。また、入力された画像間の動ベクトルを算出し、動き補償画像を生成して対応する画素単位で引き算をした画像および動ベクトルとする方法も考えられる。前述のように、基本ビットストリームは、すべての立体画像方式を採用した立体画像復号装置に送出されているので、立体画像復号装置は、この基本ビットストリームを復号した基本右画像情報１および基本左画像情報１と差分情報とに基づいて、拡張右画像情報２〜拡張右画像情報ｎおよび拡張左画像情報２〜拡張左画像情報ｎを得ることができる。
【００８９】
本実施の形態に係る立体画像符号化装置によると、符号化情報と復号画像の差分を符号化するため、効率的に符号化することが可能である。
【００９０】
なお、本実施の形態に係る立体画像符号化装置の第１の復号部７０１は、基本ビットストリーム１を復号して復号情報を取得するようにしたが、第１の符号化部が局部復号部を備える場合は、第１の復号部を追加せず、その局部復号部にて得られた復号情報を、第２の符号化部〜第ｎの符号化部に入力するようにしてもよい。
【００９１】
＜第４の実施の形態＞
以下、本発明の第４の実施の形態に係る立体画像符号化装置について説明する。図８に、本実施の形態に係る立体画像符号化装置における入力右画像生成部および入力左画像生成部の制御ブロック図を示す。図８に示す立体画像符号化装置は、前述の第３の実施の形態に係る立体画像符号化装置における入力右画像生成部および入力左画像生成部を、図８のように構成したものである。これ以外の構成については、前述の第３の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【００９２】
図８を参照して、入力右画像生成部および入力左画像生成部について説明する。なお、以下の説明では、左右共通の構成であるため、特に記述しない限り、左右を区別しないで説明する。
【００９３】
入力画像生成部は、水平方向にローパスフィルタ処理を行うＨ−ＬＰＦ８０１と、垂直方向にローパスフィルタ処理を行うＶ−ＬＰＦ８０２およびＶ−ＬＰＦ８０５と、水平方向に画素間引きを行うダウンサンプル部８０３と、垂直方向に画素間引きを行うダウンサンプル部８０４およびダウンサンプル部８０６とを含む。
【００９４】
Ｈ−ＬＰＦ８０１は、入力された左画像情報または右画像情報に対して、水平方向のローパスフィルタ処理を実行する。
【００９５】
ダウンサンプリング部８０３は、Ｈ−ＬＰＦ８０１により水平方向にローパスフィルタ処理された画像情報が入力されると、水平方向に画素間引きを行って水平方向の解像度が半分の画像情報を生成する。生成された画像情報は、Ｖ−ＬＰＦ８０５に入力されると同時に、画像情報２として出力される。
【００９６】
Ｖ−ＬＰＦ８０５は、ダウンサンプル部８０３により水平方向に画素間引きされた画像情報が入力されると、垂直方向のローパスフィルタ処理を実行する。
【００９７】
ダウンサンプル部８０６は、垂直方向にローパスフィルタ処理された画像に対して、垂直方向に画素間引きを行い、垂直方向の解像度が半分の画像情報を生成する。生成された画像情報は、画像情報１として出力される。
【００９８】
Ｖ−ＬＰＦ８０２は、入力された左画像情報または右画像情報に対して、垂直方向のローパスフィルタ処理を実行する。
【００９９】
ダウンサンプリング部８０４は、Ｖ−ＬＰＦ８０２によりローパスフィルタ処理された画像情報が入力されると、垂直方向に画素間引きを行って垂直方向の解像度が半分の画像情報を生成する。生成された画像情報は、画像情報３として出力される。
【０１００】
また、入力画像生成部に入力された左画像情報または右画像情報は、そのまま画像情報４として出力される。
【０１０１】
図９は、前述した入力画像生成部が生成する画像のサイズを表わす。図９に示すように、左画像もしくは右画像の画像サイズは水平方向にＸ画素、垂直方向にＹ画素であるものとする。このような画像情報が作成されるため、第２の符号化部７０３〜第ｎの符号化部７０６では画像結合部から入力される画像サイズが異なる。このため、事前に入力画像を補完してサイズを合わせた後に符号化を行う。
【０１０２】
本実施の形態に係る立体画像符号化装置によると、必要な画像サイズ毎にビットストリームを生成しているため、立体画像復号装置で基本ビットストリームと適切なビットストリームを１つ復号するだけで必要なサイズの画像を得ることができ、立体画像復号装置の構成を簡略化できる。なお、適切なビットストリームは、立体画像復号装置で選択してもよいし、立体画像復号装置にビットストリームを送出する際に適切なビットストリームを選択するようにしてもよい。立体画像復号装置で基本ビットストリームと適切なビットストリームとを選択する場合、たとえば、立体画像符号化装置で基本ビットストリームおよび複数の拡張ビットストリームを互いに識別する情報をビットストリームに埋め込んでおき、立体画像復号装置は、この情報を参照して必要なビットストリームを選択するようにするとよい。
【０１０３】
＜第５の実施の形態＞
以下、本発明の第５の実施の形態に係る立体画像符号化装置について説明する。図１０に、本実施の形態に係る立体画像符号化装置の制御ブロック図を示す。図１０に示す立体画像符号化装置は、被写体を撮影する右カメラ１００１および左カメラ１００２と、撮影された画像を処理して複数の画像を生成する入力右画像生成部１００３および入力左画像生成部１００４と、生成された画像を符号化する第１の符号化部１０１２〜第２ｎの符号化部１０１７と、生成されたビットストリームを復号する第１の復号部１００６、第３の復号部１００８、…、第（２ｎ−１）の復号部１０１０と、画像情報と復号された画像情報の差分を算出する第２の減算部１００７、第４の減算部１００９、…、第２ｎの減算部１０１１とを含む。これ以外の構成については、前述の第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。また、右カメラ１００１、左カメラ１００２、入力右画像生成部１００３および入力左画像生成部１００４は、第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【０１０４】
第１の符号化部１０１２は、入力された右画像情報１を符号化して、基本ビットストリーム１を生成する。ここで使用される符号化方式としては、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などのＩＳＯ／ＩＥＣで標準化された符号化方式を用いることが可能である。ただし、符号化方式としてはこれらに限定されない。
【０１０５】
第１の符号化部１０１２で生成された基本ビットストリーム１は、記録媒体に保存されるか、通信路に送出されると同時に、第１の復号部１００６に入力される。第１の復号部１００６は、入力された基本ビットストリームを復号し、復号画像情報１を生成する。
【０１０６】
第２の減算部１００７は、生成された復号画像情報１と左画像情報（ｎ＋１）の差分である符号化情報２を生成し、第２の符号化部１０１３に入力する。減算の方法としては、前述したように、対応する画素単位で引き算することが考えられる。また、入力した画像間の動ベクトルを算出し、動き補償画像を生成して対応する画素単位で引き算をした画像および動ベクトルとする方法も考えられる。
【０１０７】
第２の符号化部１０１３は、入力された符号化情報２を符号化し、拡張ビットストリーム２を生成する。ここで使用される符号化方式としては、たとえばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などのＩＳＯ／ＩＥＣで標準化された符号化方式を用いることが可能であるが。これらに限定されない。
【０１０８】
第３の符号化部１０１４〜第２ｎの符号化部１０１７、第４の減算部１００９〜第２ｎの減算部１０１１の構成は、第１の符号化部１０１２、第２の符号化部１０１３および第２の減算部１００７と同じであるため、これらについての詳細な説明は繰返さない。
【０１０９】
基本ビットストリーム１および拡張ビットストリーム２〜拡張ビットストリーム２ｎは、記録媒体に保存されるか通信路に送出される。蓄積時のファイルフォーマット、通信路にて送出される通信方式も既存の標準方式を用いることが可能である。ただし、それらの標準方式に限定されない。
【０１１０】
本実施の形態に係る立体画像符号化装置によると、右画像と左画像を分けて符号化し、右または左の画像のみを伝送することで、立体表示に対応していない表示装置でも画像表示が可能となる。
【０１１１】
＜第６の実施の形態＞
以下、本発明の第６の実施の形態に係る立体画像復号装置について説明する。図１１に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１１に示す立体画像復号装置は、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１１２】
本実施の形態に係る立体画像復号装置は、入力された拡張ビットストリームから必要なビットストリームのみを選択するビットストリーム選択部１１０１と、選択されたビットストリームを復号する第１の復号部１１０２〜第ｋの復号部１１０４と、復号画像から左右の画像情報を分離する第１の分離部１１０６〜第ｋの分離部１１０９と、入力された画像情報から表示に必要な画像情報を生成する出力右画像変換部１１１０および出力左画像変換部１１１１と、入力された左右画像から表示装置が必要なフォーマットにデータの並べ替えを行う並べ替え変換部１１１２とを含む。
【０１１３】
記録媒体に保存あるいは通信路を介して送信された基本ビットストリーム１は、第１の復号部１１０２に入力される。記録媒体に保存あるいは通信路を介して送信された拡張ビットストリーム２〜拡張ビットストリームｎは、ビットストリーム選択部１１０１に入力される。
【０１１４】
ビットストリーム選択部１１０１は、入力された複数のビットストリームのうち（ｋ−１）個を選択し、第２の復号部１１０３〜第ｋの復号部１１０５へそれぞれ入力する。ここで、ｋは、この立体画像復号装置が必要とするストリームの個数である。
【０１１５】
第１の復号部１１０２は、入力された基本ビットストリーム１を復号し、復号情報１を出力する。出力された復号情報１は、第１の画像分離部１１０６にて、基本右画像情報１および基本左画像情報１に分離され、基本右画像情報１は出力右画像変換部１１１０に、基本左画像情報１は出力左画像変換部１１１１にそれぞれ入力される。
【０１１６】
第１の画像分離部１１０６は、図１に示す第１の画像結合部１０５の機能と逆の機能を有する。
【０１１７】
第２の復号部１１０３は、入力された拡張ストリームをそれぞれ復号して、復号情報２を出力する。出力された復号情報２は、第２の画像分離部１１０７にて拡張右画像情報２および拡張左画像情報２に分離され、拡張右画像情報２は出力右画像変換部１１１０に、拡張左画像情報２は出力左画像変換部１１１１にそれぞれ入力される。
【０１１８】
第２の画像分離部１１０７は、図１に示す第２の画像結合部１０６の機能と逆の機能を有する。
【０１１９】
第３の復号部１１０４〜第ｋの復号部１１０５は第１の復号部１１０２と、第３の画像分離部１１０８〜第ｋの画像分離部１１０９は第１の画像分離部１１０６と、それぞれ同じ構成であるため、それらについてのここでの詳細な説明は繰返さない。
【０１２０】
出力右画像変換部１１１０は、入力された基本右画像情報１および拡張右画像情報２〜拡張右画像情報ｋとから、表示装置が必要とするサイズの右画像を生成する。たとえば、基本画像情報１のサイズに対して水平方向に２倍のサイズの右画像もしくは左画像を生成する場合、図２に示す間引きの逆処理を行うことになる。すなわち、入力された基本画像情報１と、水平方向の解像度を２倍にする差分画像情報を水平方向に互い違いに重ね合わせて所望の画像を得る。
【０１２１】
また、基本画像情報１のサイズに対して垂直方向に２倍のサイズの右画像もしくは左画像が必要な場合、図３に示した間引き処理の逆処理を行うことになる。すなわち、入力された基本画像情報１と、垂直方向の解像度を２倍にする差分画像情報を垂直方向に互い違いに重ね合わせて所望のサイズの画像を得る。
【０１２２】
出力左画像変換部１１１１は、出力右画像変換部の機能と同じであるため、ここでの詳細な説明は繰返さない。
【０１２３】
並べ替え処理部１１１２は、生成された左画像および右画像を変換し、表示装置が必要とするフォーマットを生成する。図１２に、表示装置がパララックスバリア方法やレンチキュラー板を配置方法を用いた場合の処理方法を示す。この場合、入力された右画像、および左画像を垂直ラインに分け、右画像の垂直ラインと左画像の垂直ラインを交互に並べて出力する。また、電子シャッターにより左右の画像を交互に出力する表示装置の場合、左画像および右画像を時系列方向に交互に出力する。
【０１２４】
本実施の形態に係る立体画像復号装置によると、基本ビットストリームと適切な拡張ビットストリームのみを復号するだけで表示装置が必要とするサイズの画像を復号できる。
【０１２５】
＜第７の実施の形態＞
以下、本発明の第７の実施の形態に係る立体画像復号装置について説明する。図１３に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１３に示す立体画像復号装置は、前述の第２の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第２の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１２６】
図１３に示す立体画像復号装置は、前述の第６の実施の形態に係る立体画像復号装置の出力右画像生成部１１１０および出力左画像生成部１１１１を、図１３に示す構成にしたものである。これ以外の構成については、前述の第６の実施の形態と同じである。したがって、それらについてのここでの詳細な説明は繰返さない。
【０１２７】
図１３を参照して、出力右画像生成部および出力左画像生成部について説明する。なお、以下の説明では、左右共通の構成であるため、特に記述しない限り、左右を区別しないで説明する。
【０１２８】
出力画像変換部の構成は、表示装置が必要とする画像サイズにより、図１３（１）、（２）、（３）の３通りの構成が考えられる。このうち、図１３（２）、（３）は、図１３（１）のサブセットであるため、以下、図１３（１）のみ説明する。
【０１２９】
図１３（１）に示す出力画像変換部は、水平方向にローパスフィルタ処理を行うＨ−ＬＰＦ１３０５およびＨ−ＬＰＦ１３０７と、水平方向にハイパスフィルタ処理を行うＨ−ＨＰＦ１３０６およびＨ−ＨＰＦ１３０８と、垂直方向にローパスフィルタ処理を行うＶ−ＬＰＦ１３１３と、垂直方向にハイパスフィルタ処理を行うＶ−ＨＰＦ１３１４と、水平方向に画素をアップサンプルするアップサンプル部１３０１〜アップサンプル部１３０４と、垂直方向に画素をアップサンプルするアップサンプル部１３１１およびアップサンプル部１３１２、画像を合成する合成部１３０９と、合成部１３１０および合成部１３１５とを含む。
【０１３０】
アップサンプル部１３０１〜アップサンプル部１３０４は、入力された基本右画像情報１および差分右画像情報２〜差分右画像情報４に対して、水平方向にアップサンプリング処理を実行する。これにより、水平方向の解像度が２倍の画像が生成される。
【０１３１】
Ｈ−ＬＰＦ１３０５、Ｈ−ＬＰＦ１３０７およびＨ−ＨＰＦ１３０６、Ｈ−ＨＰＦ１３０８は、アップサンプルされた入力画像に対して、それぞれローパスフィルタおよびハイパスフィルタを適用して処理した画像情報を、合成部１３０９および合成部１３１０に入力する。
【０１３２】
合成部１３０９および合成部１３１０は、入力された画像の水平方向偶数位置サンプルの画素と、もう一方画像の水平方向奇数位置サンプルの画素とからなる画像を合成する。合成部１３０９および合成部１３１０の出力を、アップサンプル部１３１１およびアップサンプル部１３１２で垂直方向にアップサンプルした後、Ｖ−ＬＰＦ１３１３でローパスフィルタを、Ｖ−ＨＰＦ１３１４ではハイパスフィルタを適用して処理した画像情報を合成部１３１５に入力する。
【０１３３】
合成部１３１５は、入力された画像の垂直方向偶数位置サンプルの画素と、もう一方画像の垂直方向奇数位置サンプルの画素とからなる画像を合成出力して、垂直方向の解像度を２倍にする。このような構成により、出力画像は水平方向および垂直方向とも２倍の解像度となる。
【０１３４】
本実施の形態に係る立体画像復号装置を用いることで、基本ビットストリームおよびより高能率に符号化された適切な拡張ビットストリームのみを復号するだけで表示装置が必要とするサイズの画像を復号できる。
【０１３５】
＜第８の実施の形態＞
以下、本発明の第８の実施の形態に係る立体画像復号装置について説明する。図１４に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１４に示す立体画像復号装置は、前述の第３の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第３の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１３６】
図１４に示す立体画像復号装置は、前述の第６の実施の形態に係る立体画像復号装置の第１の復号部〜第ｋの復号部を図１５に示す構成としたものである。これ以外の構成については、前述の第６の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【０１３７】
図１４に示す第２の復号部１４０１は、第１の復号部で復号された復号情報１を利用し、ビットストリーム選択部１１０１で選択された拡張ビットストリームを復号し、復号情報２を生成して第２の画像分離部１１０７へ出力する。
【０１３８】
図１５は、第２の復号部１４０１の制御ブロック図である。第２の復号部１４０１は、復号処理部１５０１と加算部１５０２とを含む。復号処理部１５０１は、入力された拡張ビットストリームを復号し復号画像情報を生成する。加算部１５０２は、復号画像情報と別途入力された復号情報１と足し合わせて画像情報を生成し、生成された画像情報を差分画像情報２として出力する。
【０１３９】
第３の復号部１４０２〜第ｋの復号部１４０３は、第２の復号部１１０７と同じ構成であるため、それらについてのここでの詳細な説明は繰返さない。
【０１４０】
本実施の形態に係る立体画像復号装置によると、基本ビットストリームと適切な基本ビットストリームから復号される画像との差分から成る拡張ビットストリームのみを復号するだけで表示装置が必要とするサイズの画像を復号することができる。
【０１４１】
＜第９の実施の形態＞
以下、本発明の第９の実施の形態に係る立体画像復号装置について説明する。図１６に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１６に示す立体画像復号装置は、前述の第４の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第４の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１４２】
本実施の形態に係る立体画像復号装置は、複数の拡張ビットストリームから適切な拡張ビットストリームを１つだけ選択するビットストリーム選択部１６０１と、ビットストリームの復号を行う第１の復号部１１０２および第２の復号部１６０２と、復号された画像から右画像および左画像を抽出する第１の画像分離部１１０６と、表示装置が必要とする形式に変換する並べ替え処理部１１１２とを含む。このうち、第１の復号部１１０２、第１の画像分離部１１０６、並べ替え処理部１１１２は、第６の実施の形態と同じである。したがって、それらについての詳細な説明なここでは繰返さない。
【０１４３】
ビットストリーム選択部１６０１は、入力された拡張ビットストリーム２〜拡張ビットストリームｎから、適切なビットストリーム１つだけを選択し、選択ビットストリームとして第２の復号部１６０２に入力する。
【０１４４】
第２の復号部１６０２は、第１の復号部１１０２で復号された復号情報１を利用し、選択ビットストリームを復号した復号情報２を生成する。
【０１４５】
図１７は、第２の復号部１６０２の詳細な制御ブロック図である。第２の復号部１６０２は、復号処理部１７０１と、補間部１７０２と、加算部１７０３とを含む。
【０１４６】
復号処理部１７０１は、選択ビットストリームを復号して復号画像を生成する。補間部１７０２は、復号情報１の画素を補間して、復号画像と同じサイズの画像を生成する。加算部１７０３は、補間部１７０２により補間された復号情報１と、復号処理部１７０１により復号された画像とを足し合わせて、復号情報２を生成する。
【０１４７】
本実施の形態に係る立体画像復号装置によると、基本ビットストリームと適切なビットストリームを１つ選択するだけで必要なサイズの画像を得ることができ、装置の構成を簡略化できる。
【０１４８】
＜第１０の実施の形態＞
以下、本発明の第１０の実施の形態に係る立体画像復号装置について説明する。図１８に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１８に示す立体画像復号装置は、前述の第５の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第５の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１４９】
本実施の形態に係る立体画像復号装置は、入力された拡張ビットストリームから必要なビットストリームのみを選択するビットストリーム選択部１８０１と、選択されたビットストリームを復号する第１の復号部１８０２〜第２ｋの復号部１８０７と、復号された画像の加算処理を行う第（ｋ＋１）の加算部１８０８〜第２ｋの加算部１８１０と、入力された画像情報から表示に必要な画像情報を生成する出力右画像変換部１８１１および出力左画像変換部１８１２と、入力された左右画像から表示装置が必要なフォーマットにデータの並べ替えを行う並べ替え変換部１８１３とから構成される。
【０１５０】
第１の復号部１８０２は、記録媒体に保存、通信回線を介して送信された基本ビットストリーム１が入力されると、復号情報１を生成する。ビットストリーム選択部１８０１は、記録媒体に保存、通信回線を介して送信された拡張ビットストリーム２〜拡張ビットストリーム２ｎが入力されると、入力された（２ｎ−１）個の拡張ビットストリームのうち（２ｋ−１）個を選択し、第２の復号部１８０２〜第２ｋの復号部１８０７へそれぞれ入力する。ここで、２ｋは、この立体画像復号装置が必要とするストリームの個数である。
【０１５１】
第１の復号部１８０２は、入力された基本ビットストリーム１を復号し、復号情報１を出力して、復号情報１は、出力左画像変換部１８１１に入力される。第（ｋ＋１）の復号部１８０５は、入力された拡張ビットストリームを復号し、復号情報（ｋ＋１）を生成する。
【０１５２】
第（ｋ＋１）の加算部１８０８は、復号情報１と復号情報ｋ＋１を足し合わせ、出力右画像変換部に出力する。第２の復号部１８０３〜第ｋの復号部１８０４は、第１の復号部１８０２と、第（ｋ＋２）の復号部１８０６〜第２ｋの復号部１８０７は、第（ｋ＋１）の復号部１８０５と、第（ｋ＋２）の加算部１８０９〜第２ｋの加算部１８１０は、第（ｋ＋１）の加算部１８０８と、それぞれ同じ構成であるため、それらについてのここでの詳細な説明は繰返さない。
【０１５３】
出力右画像変換部１８１１、出力左画像変換部１８１２および並べ替え処理部１８１３は、前述の第６の実施の形態と同じであるため、それらについてのここでの詳細な説明は繰返さない。
【０１５４】
本実施の形態に係る立体画像復号装置によると、右画像用のビットストリームを復号する復号装置と、左画像用のビットストリームを復号する復号装置を別の構成としたため、より汎用性の高い立体画像の復号が可能となる。
【０１５５】
＜第１１の実施の形態＞
以下、本発明の第１１の実施の形態に係る立体画像復号装置について説明する。図１９に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１９に示す立体画像復号装置は、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１５６】
本実施の形態に係る立体画像復号装置は、図１１に示した立体画像復号装置に、２Ｄ／３Ｄ選択部１９０３を追加した構成を有する。これ以外の構成については、前述の第６の実施の形態と同じである。したがって、それらについてのここでの詳細な説明は繰返さない。
【０１５７】
図１９に示す２Ｄ／３Ｄ選択部１９０２は、表示装置が立体画像を表示する場合、出力右画像変換部１９０１および出力左画像変換部１９０２が出力する画像情報をそのまま出力し、並べ替え変換部１９０４へ入力する。２Ｄ／３Ｄ選択部１９０２は、表示装置が２次元画像を表示する場合、出力右画像変換部１９０１および出力左画像変換部１９０２のいずれかから出力される画像情報のみを出力する。
【０１５８】
本実施の形態に係る立体画像復号装置によると、２Ｄ／３Ｄの表示情報を切り替えることが可能な構成としているため、立体表示機能を有しない復号装置でも、２次元画像としてコンテンツを表示することが可能となる。
【０１５９】
＜その他の変形例＞
前述した実施の形態において、図１１、１４、１６、１８、１９に示した立体画像復号装置は、ビットストリーム選択部を備えたものとして説明したが、これに限定されるものではない。たとえば、拡張ビットストリームの送出時にビットストリームを選択して立体画像復号装置に入力するようにすると、ビットストリーム選択部を備える必要はなくなる。
【０１６０】
また、図１、７、１０に示した立体画像符号化装置は、立体画像が左右２つの画像から構成されるものとして説明したが、これに限定されない。たとえば、カメラおよび入力画像生成部を追加することで、２つ以上の多眼の立体画像符号化装置とすることもできる。同様にして、図１１、１４、１６、１８に示した立体画像復号装置は、立体画像が左右２つの画像から構成されるものとして説明したが、これに限定されない。たとえば、出力画像変換部を追加することで、２つ以上の多眼の立体画像復号装置とすることもできる。このような多眼式の立体画像復号装置によると、視聴者が移動した場合に、それまで見えなかった部分の立体表示が可能になる。
【０１６１】
さらに、前述した説明においては、説明の便宜上、各ビットストリームに対応した複数の符号化部や複数の復号部を備えているものとしたが、これに限定されない。たとえば、複数の符号化部や複数の復号部をまとめて、一つの符号化部や一つの復号部で実現してもよい。この場合、たとえば、時分割処理によって各ビットストリームを符号化あるいは復号するようにするとよい。
【０１６２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態に係る立体画像符号化装置の制御ブロック図である。
【図２】  図１に示す入力画像生成部の詳細な制御ブロック図である。
【図３】  図１に示す入力画像生成部における水平方向の間引き処理を説明するための図である。
【図４】  図１に示す入力画像生成部における垂直方向の間引き処理を説明するための図である。
【図５】  図１の画像結合部の結合処理を説明するための図である。
【図６】  本発明の第２の実施の形態に係る立体画像符号化装置における入力画像生成部の詳細な制御ブロック図である。
【図７】  本発明の第３の実施の形態に係る立体画像符号化装置の制御ブロック図である。
【図８】  本発明の第４の実施の形態に係る立体画像符号化装置における入力画像生成部の詳細な制御ブロック図である。
【図９】  図８の入力画像生成部の生成処理を説明するための図である。
【図１０】  本発明の第５の実施の形態に係る立体画像符号化装置の制御ブロック図である。
【図１１】  本発明の第６の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１２】  図１１の並べ替え処理部の並べ替え処理を説明するための図である。
【図１３】  本発明の第７の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１４】  本発明の第８の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１５】  図１４に示す第２の復号部〜第ｋの復号部の詳細な制御ブロック図である。
【図１６】  本発明の第９の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１７】  図１６に示す第２の復号部の詳細な制御ブロック図である。
【図１８】  本発明の第１０の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１９】  本発明の第１１の実施の形態に係る立体画像復号装置の制御ブロック図である。
【符号の説明】
１０１、１００１  右カメラ、１０２、１００２  左カメラ、１０３、１００３  入力右画像変換部、１０４、１００４  入力左画像変換部、１０５  第１の画像結合部、１０６  第２の画像結合部、１０７  第ｎの画像結合部、１０８、７０１、１０１２  第１の符号化部、１０９、７０３、１０１３  第２の符号化部、１１０、７０５  第ｎの符号化部、２０１  水平分離部、２０２、２０３  垂直分離部、６０１、８０１、１３０５、１３０７  Ｈ−ＬＰＦ、６０２、１３０６、１３０８  Ｈ−ＨＰＦ、６０３、６０４、６０７、６０８、６１１、６１２、８０３、８０４、８０６  ダウンサンプリング部、６０５、６０９、８０２、８０５、１３１３  Ｖ−ＬＰＦ、６０６、６１０、１３１４  Ｖ−ＨＰＦ、７０２、１００６  第１の復号部、１００７  第２の減算部、１００８  第３の復号部、１００９  第４の減算部、１０１０  第（２ｎ−１）の復号部、１０１１第２ｎの減算部、１０１６  第（２ｎ−１）の符号化部、１０１７  第２ｎの符号化部、１１０１、１６０１、１８０１  ビットストリーム選択部、１１０２、１８０２  第１の復号部、１１０３、１４０１、１６０２、１８０３  第２の復号部、１１０４、１４０２  第３の復号部、１１０５、１４０３、１８０４  第ｋの復号部、１１０６  第１の画像分離部、１１０７  第２の画像分離部、１１０８  第３の画像分離部、１１０９  第ｋの画像分離部、１１１０  出力右画像変換部、１１１１  出力左画像変換部、１１１２、１８１３、１９０４  並べ替え処理部、１３０１、１３０２、１３０３、１３０４、１３１１、１３１２  アップサンプル部、１３０９、１３１０、１３１５  合成部、１５０１、１７０１  復号処理部、１５０２、１７０３、１８０８、１８０９、１８１０  加算部、１７０２  補間部、１８０５  第（ｋ＋１）の復号部、１８０６  第（ｋ＋２）の復号部、１８０７  第２ｋの復号部、１８１１、１８１２、１９０１、１９０２  出力画像変換部、１９０３  ２Ｄ／３Ｄ選択部。
【図１】
0004104895.tif 000002
【図２】
0004104895.tif 000003
【図３】
0004104895.tif 000004
【図４】
0004104895.tif 000005
【図５】
0004104895.tif 000006
【図６】
0004104895.tif 000007
【図７】
0004104895.tif 000008
【図８】
0004104895.tif 000009
【図９】
0004104895.tif 000010
【図１０】
0004104895.tif 000011
【図１１】
0004104895.tif 000012
【図１２】
0004104895.tif 000013
【図１３】
0004104895.tif 000014
【図１４】
0004104895.tif 000015
【図１５】
0004104895.tif 000016
【図１６】
0004104895.tif 000017
【図１７】
0004104895.tif 000018
【図１８】
0004104895.tif 000019
【図１９】
0004104895.tif 000020