(57)【要約】【課題】従来の立体視画像符号化装置では、符号化時に多視点画像を構成するそれぞれの複数のチャンネルの画像信号を、１フレーム又は１フィールド毎に順次に配列してから、符号化手段により符号化順に並び替えて符号化するので、並び替えるためのバッファが必要であり、その際に遅延が生じる。【解決手段】並べ替えバッファ１０３は入力される視点画像Ｍ（ｖ）を格納する。視点画像Ｍ（ｖ）は各視点毎に独立したチャンネルで並列に入力する方法と、各視点の信号がインターリーブされた信号として１つのチャンネルでシリアルに入力する方法がある。符号化ビット列生成部１１１は、符号化モード判定部１０５からの符号化モード及び動きベクトルまたは視差ベクトルと、残差信号符号化部１０７からの多視点の残差信号等をハフマン符号化、算術符号化等のエントロピー符号化を行って符号化ビット列を生成する。【選択図】図１
2008034892.tif 000002
【特許請求の範囲】
【請求項１】
設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
各視点毎にそれぞれ独立したチャンネルで供給される各視点の画像信号を随時画像バッファに格納する画像信号格納手段と、
前記画像バッファに格納された前記各視点の画像信号を読み出して多視点画像信号として符号化して前記符号化データを生成する符号化手段と
を有することを特徴とする多視点画像符号化装置。
【請求項２】
設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
各視点の画像信号がインターリーブされた信号として１つのチャンネルでシリアルに供給される多視点画像信号を随時画像バッファに格納する画像信号格納手段と、
前記画像バッファに格納された前記多視点画像信号を符号化して前記符号化データを生成する符号化手段と
を有することを特徴とする多視点画像符号化装置。
【請求項３】
設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮影して得られた画像信号、又は前記一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、
前記多視点画像信号の視点の数Ｖ、前記各視点をそれぞれ特定する番号ｖ（０以上Ｖ未満の整数）、及びそれぞれの視点での復号画像の出力順序を示す番号ｄ（整数）から次式        ｏ＝ｄ・Ｖ＋ｖ
により視点を特定する番号とそれぞれの視点での復号画像の出力順序を一括で示す復号画像出力順番号ｏを算出する算出手段と、
前記多視点画像信号を画像バッファに格納する格納手段と、
前記視点の数Ｖ、前記復号画像出力順番号ｏ、及び前記画像バッファに格納された前記多視点画像信号をそれぞれ符号化して前記符号化データを生成する符号化手段と
を有することを特徴とする多視点画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は多視点画像符号化装置に係り、特に異なる視点から撮影された多視点画像を符号化して多視点画像符号化データを生成する多視点画像符号化装置に関する。
【背景技術】
【０００２】
＜動画像符号化方式＞
現在、時間軸上に連続する動画像をディジタル信号の情報として取り扱い、その際、効率の高い情報の放送、伝送又は蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置、システムが、普及している。
【０００３】
１９９５年に制定されたＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式は、汎用の動画像圧縮符号化方式として定義されており、プログレッシブ走査画像に加えてインターレース走査画像にも対応し、ＳＤＴＶ（標準解像度画像）のみならずＨＤＴＶ（高精細画像）まで対応しており、光ディスクであるＤＶＤ（Digital Versatile Disk）や、Ｄ−ＶＨＳ（登録商標）規格のディジタルＶＴＲによる磁気テープなどの蓄積メディアや、ディジタル放送等のアプリケーションとして広く用いられている。
【０００４】
また、ネットワーク伝送や携帯端末等のアプリケーションにおいて、より高い符号化効率を目標とする、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式の標準化が行われ、１９９８年に国際標準として制定された。
【０００５】
更に、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ‐ＴではＨ.２６４の規格番号がつけられている。以下、これをＡＶＣ／Ｈ.２６４符号化方式と呼ぶ）が国際標準として制定された。
このＡＶＣ／Ｈ.２６４符号化方式では、従来のＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式に比べ、より高い符号化効率を実現している。
【０００６】
ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＰピクチャでは、表示順序で直前のＩピクチャまたはＰピクチャのみから動き補償予測を行っていた。これに対して、ＡＶＣ／Ｈ.２６４符号化方式では、複数のピクチャを参照ピクチャとして用いることができ、この中からブロック毎に最適なものを選択して動き補償を行うことができる。また、表示順序で先行するピクチャに加えて、既に符号化済みの表示順序で後続のピクチャも参照することができる。また、ＭＰＥＧ−２ビデオやＭＰＥＧ−４ビジュアル等の符号化方式のＢピクチャは、表示順序で前方１枚の参照ピクチャ、後方１枚の参照ピクチャ、もしくはその２枚の参照ピクチャを同時に参照し、２つのピクチャの平均値を予測ピクチャとし、対象ピクチャと予測ピクチャの差分データを符号化していた。
【０００７】
一方、ＡＶＣ／Ｈ.２６４符号化方式では、表示順序で前方１枚、後方１枚という制約にとらわれず、前方や後方に関係なく任意の参照ピクチャを予測のために参照可能となった。さらに、Ｂピクチャを参照ピクチャとして参照することも可能となっている。
【０００８】
また、ＡＶＣ／Ｈ.２６４符号化方式では復号画像を出力する際に符号化順序から復号画像の出力順序（出力先の表示装置等で表示する際に望ましい順序）に並び替えるために、参照ピクチャと、非参照ピクチャの両方をメモリに格納しなければならないが、参照ピクチャと非参照ピクチャを復号画像バッファと呼ばれる１つのメモリで統一的に管理する仕組みが導入されている。符号化された符号化列（ビットストリーム）には、画像毎にピクチャ・オーダー・カウント（picture order count）と呼ばれる出力順序を示す情報が符号化されており、復号画像の出力順序で番号がつけられている。復号されて復号画像バッファに格納されている画像で、picture order countの値が最も小さい画像から順次出力する。また、picture order countはＩＤＲピクチャ（符号化順序でそのピクチャより前のピクチャの情報を使わなくても、それ以後のピクチャが正常に復号できることを意味するピクチャ）でリセットされる。
【０００９】
＜多視点画像符号化方式＞
一方、２眼式立体テレビジョンにおいては、２台のカメラにより異なる２方向から撮影された左眼用画像、右眼用画像を生成し、これを同一画面上に表示して立体画像を見せるようにしている。この場合、左眼用画像、及び右眼用画像はそれぞれ独立した画像として別個に伝送、あるいは記録されている。しかし、これでは単一の２次元画像の約２倍の情報量が必要となってしまう。
【００１０】
そこで、従来より、左右いずれか一方の画像を主画像とし、他方の画像（副画像）情報を一般的な圧縮符号化方法によって情報圧縮して情報量を抑える手法が提案されている（例えば、特許文献１参照）。この特許文献１に記載された立体テレビジョン画像伝送方式では、小領域毎に他方の画像での相関の高い相対位置を求め、その位置偏移量（視差ベクトル）と差信号（予測残差信号）とを伝送するようにしている。差信号も伝送、記録するのは、主画像と視差情報であるずれ量や位置偏移量を用いれば副画像に近い画像が復元できるが、物体の影になる部分など主画像がもたない副画像の情報は復元できないからである。
【００１１】
また、１９９６年に単視点画像の符号化国際標準であるＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １４４９６−２）符号化方式に、マルチビュープロファイルと呼ばれるステレオ画像の符号化方式が追加された（ＩＳＯ／ＩＥＣ １４４９６−２／ＡＭＤ３）。ＭＰＥＧ−２ビデオ・マルチビュープロファイルは左眼用画像を基本レイヤー、右眼用画像を拡張レイヤーで符号化する２レイヤーの符号化方式となっており、時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換に加えて、視点間の冗長性を利用した視差補償予測を用いて符号化圧縮する。
【００１２】
更に、多視点画像を符号化・復号する際に、１系統の符号化経路及び復号経路を用いる手法が提案されている（例えば、特許文献２参照）。この手法では、符号化側（送信側）で、図２０に示すように複数の方向から撮影して得られる複数のチャンネルの画像信号を、順次化手段３０１にて各チャンネル毎に順次１フレーム又は１フィールドずつ遅延させる。制御手段３０４は、フレーム周期またはフィールド周期のスイッチ信号を出力して、順次化手段３０１から複数のチャンネルの信号を順次に取り出すよう、マルチプレクサ３０２を制御する。
【００１３】
マルチプレクサ３０２では１フレーム又は１フィールド毎に順次に挿入することで順次に配列して、１つの画像信号とする。符号化手段３０３はマルチプレクサ３０２から出力された画像信号を符号化して、符号化ビット列を伝送路に出力する。
【００１４】
復号側（受信側）では、図２１に示すように復号化手段３０５で前記符号化ビット列を復号する。制御手段３０８は、復号された画像信号から、フレーム周期またはフィールド周期のスイッチ信号を出力して、デマルチプレクサ３０６を制御する。これにより、デマルチプレクサ３０６からは復号された画像信号の各フレームまたはフィールドが順次に抜き取られて同時化手段３０７に供給され、ここで１フレーム又は１フィールドずつ順次遅延して同時化し、撮影時と同様な複数チャンネルの画像信号として出力する。
【００１５】
【特許文献１】特開昭６１-１４４１９１号公報
【特許文献２】特開平１０−２４３４１９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、従来の立体視画像符号化・復号化方法及び装置では、符号化時に多視点画像信号を構成するそれぞれの複数のチャンネルの画像信号を、１フレーム又は１フィールド毎に順次に配列し、１つの画像信号としてから符号化手段３０３に入力し、さらに符号化手段３０３で符号化順に並び替えて符号化するので、１フレーム又は１フィールド毎に順次に並び替えるためのバッファが必要であり、その際に遅延が生じることがある。
【００１７】
また、復号時にも、復号化手段３０５で復号された画像信号を１フレーム又は１フィールド毎に順次に配列して出力してから、１フレーム又は１フィールドずつ順次遅延して同時化するので、視点毎に並び替えるためのバッファが必要となり、その際に遅延が生じることがある。
【００１８】
本発明は以上の点に鑑みてなされたもので、バッファサイズを削減すると共に、遅延時間を短くする多視点画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、第１の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、各視点毎にそれぞれ独立したチャンネルで供給される各視点の画像信号を随時画像バッファに格納する画像信号格納手段と、画像バッファに格納された各視点の画像信号を読み出して多視点画像信号として符号化して符号化データを生成する符号化手段と、を有することを特徴とする。この発明では、各視点の画像信号を各視点毎にそれぞれ独立したチャンネルで随時画像バッファに遅延させることなく供給して格納させ、その画像バッファから各視点の画像信号を読み出して符号化する。
【００２０】
また、上記目的を達成するため、第２の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、各視点の画像信号がインターリーブされた信号として１つのチャンネルでシリアルに供給される多視点画像信号を随時画像バッファに格納する画像信号格納手段と、画像バッファに格納された多視点画像信号を符号化して符号化データを生成する符号化手段と、を有することを特徴とする。この発明では、各視点の画像信号を互いにインターリーブされた信号として１つのチャンネルでシリアルに随時画像バッファに遅延させることなく供給して格納させ、その画像バッファから各視点の画像信号を読み出して符号化する。
【００２１】
また、上記目的を達成するため、第３の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮影して得られた画像信号、又は一の視点から仮想的に撮影したものとして生成した画像信号である多視点画像信号を符号化した符号化データを生成する多視点画像符号化装置であって、多視点画像信号の視点の数Ｖ、各視点をそれぞれ特定する番号ｖ（０以上Ｖ未満の整数）、及びそれぞれの視点での復号画像の出力順序を示す番号ｄ（整数）から次式
ｏ＝ｄ・Ｖ＋ｖ
により視点を特定する番号とそれぞれの視点での復号画像の出力順序を一括で示す復号画像出力順番号ｏを算出する算出手段と、多視点画像信号を画像バッファに格納する格納手段と、視点の数Ｖ、復号画像出力順番号ｏ、及び画像バッファに格納された多視点画像信号をそれぞれ符号化して符号化データを生成する符号化手段と、を有することを特徴とする。
【００２２】
この発明では、多視点画像信号を構成する各視点の画像信号の各視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを復号画像出力順番号ｏとして一括して管理し、復号画像出力順番号ｏを多視点画像信号の視点の数Ｖと共に符号化するようにしたため、復号側でこのようにして符号化された符号化データを復号させることで、上記の視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄに応じて多視点画像表示装置等に適切に出力させることができる。
【発明の効果】
【００２３】
本発明によれば、各視点の画像信号がそれぞれ独立したチャンネルで並列に入力する方法と、各視点の画像信号がインターリーブされた信号として１つのチャンネルでシリアルに入力する方法のいずれにおいても遅延させることなく、随時画像バッファに入力し、格納するようにしたため、従来の立体視画像符号化方法及び装置のように符号化の前に１フレーム又は１フィールド毎に順次配列する必要が無く、順次化のための画像バッファを持たず、遅延時間を短くすることができる。
【００２４】
また、本発明によれば、多視点画像信号を構成する各視点の画像信号の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏを多視点画像信号の視点の数Ｖと共に符号化することにより、復号側でこのようにして符号化された符号化データを復号させることで、上記の視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄに応じて多視点画像表示装置等に適切に出力させることができる。
【００２５】
これにより、本発明によれば、従来の単一視点の画像符号化／復号方式を本発明の多視点画像符号化／復号方式に拡張する際に、本発明の復号画像出力順番号ｏを従来の符号化方式の復号画像の出力順序を示す番号として扱い、符号化／復号することで、小さな改良により従来の符号化／復号方式との互換をとることができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面と共に本発明の実施の形態を説明する。図１は本発明になる多視点画像符号化装置の一実施の形態のブロック図、図２は図１の多視点画像符号化装置の処理手順を説明するフローチャートである。
【００２７】
図１に示すように、本実施の形態の多視点画像符号化装置は符号化管理部１０１、復号画像出力順番号算出部１０２、並べ替えバッファ１０３、動き／視差補償予測部１０４、符号化モード判定部１０５、残差信号算出部１０６、残差信号符号化部１０７、残差信号復号部１０８、残差信号重畳部１０９、復号画像バッファ１１０、符号化ビット列生成部１１１を備えている。
【００２８】
次に、図１に示す本実施の形態の多視点画像符号化装置の動作について、図２のフローチャートを併せ参照して説明する。まず、図１の符号化管理部１０１には多視点画像符号化装置に供給される多視点画像の視点数、及び撮影時の各視点のカメラの位置、向き等のカメラパラメータ情報が供給される。これらの情報は受信側でも多視点画像を表示する際に必要な情報であり、多視点画像の視点数Ｖ、及びカメラパラメータ情報は、復号画像出力順番号算出部１０２を経由して符号化ビット列生成部１１１に供給されて符号化ビット列として生成される（図２のステップＳ１０１）。
【００２９】
さらに、符号化管理部１０１には多視点画像を構成する各画像のそれぞれについて、各視点をそれぞれ特定する情報、タイムスタンプ等の情報が供給される。これらの情報や画像の入力順序等を基に、各画像がどの視点に属するか、それぞれの視点での復号画像の出力順序（本多視点画像符号化装置で符号化して得られる符号化ビット列を復号側で復号して得られるそれぞれの視点での復号画像の出力順序）、各視点間の同期等を管理する。各画像のそれぞれについて、視点を特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序を示す番号ｄをつけ、各画像にそれぞれ対応付ける。
【００３０】
ここで、各視点のそれぞれを特定する視点番号ｖの値のつけ方について説明する。視点番号ｖには０、または視点数を示すＶ未満の正の整数を各視点のそれぞれに割り当てる。
同じ視点の画像にはそれぞれ同一の値を割り当て、異なる視点の画像にはそれぞれ異なる値を割り当てる。以上の様にそれぞれの画像の視点番号ｖに値を割り当てることで、視点番号ｖによりそれぞれの画像がどの視点のものかを特定することができる。
【００３１】
次に、それぞれの視点での復号画像の出力順序を示す番号ｄの値のつけ方について説明する。番号ｄにはそれぞれ整数を割り当て、その値は復号画像の出力順序に応じて増加させる。ただし、視点間のそれぞれの復号画像の出力時刻が同じ場合、番号ｄの値はそれぞれ同一にする。以上のようにそれぞれの復号画像の出力順序を示す番号ｄに値を割り当てることで、復号側では番号ｄの値に応じて番号ｄの小さい画像から出力することで、所望の出力順序で出力することができ、また、視点間においては番号ｄが等しい場合、出力時刻が同じであることが判別できるので、視点間で同期させて出力することができる。加えて、符号化管理部１０１では各画像の符号化順序を管理すると共に、動き補償予測／視差補償予測に用いる参照画像を管理する。
【００３２】
図３は本実施の形態の多視点画像符号化装置で符号化する多視点画像を構成する各画像のそれぞれについて、視点を特定する視点番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄに値を割り当てた場合の一例を示す図である。同図において、縦軸が視点方向を表し、横軸は時間方向を表している。また、Ｍ（ｖ）（ｖ＝０，１，２，・・・，Ｖ−１）は多視点画像を構成する視点画像を示しており、ｖは各視点のそれぞれを特定する視点番号である。さらに、ｍ（ｖ，ｄ）（ｖ＝０，１，２，・・・，Ｖ−１；ｄ＝０，１，２，・・・）は、視点画像Ｍ（ｖ）を構成する画像を示しており、ｖは各視点のそれぞれを特定する視点番号、ｄはそれぞれの視点での復号画像の出力順序を示す番号である。例えば、ある２つの画像ｍ（ｖ，ｄ）を比較する際に、両者の番号ｖの値が同じ場合は、両者は同じ視点の画像であり、両者の番号ｖの値が異なる場合は、両者はそれぞれ異なる視点の画像である。また、両者の番号ｄの値が同じ場合は、同じ時刻の画像である。
両者の番号ｄの値が異なる場合は、異なる時刻の画像であり、値の小さい方が早い時刻の画像である。
【００３３】
多視点画像信号の視点の数Ｖを符号化するのに加えて、視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを個別に符号化することもできるが、本発明では、両者を一括で示す復号画像出力順番号ｏとして符号化する。従来の単一視点の画像符号化／復号方式を本実施の形態の多視点画像符号化／復号方式に拡張する際に、本方式の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄとを一括で示す復号画像出力順番号ｏを従来の単一視点の画像符号化／復号方式の復号画像の出力順序を示す番号として扱い、符号化／復号することで、小さな改良により従来の単一視点の画像符号化／復号方式との互換をとることができる。具体的には、ＡＶＣ／Ｈ.２６４方式を多視点符号化方式に拡張する際には、本方式の復号画像出力順番号ｏをＡＶＣ／Ｈ.２６４方式の復号画像の出力順序を示す番号であるピクチャ・オーダー・カウント（picture order count）として扱う。
【００３４】
図１の復号画像出力順番号算出部１０２では符号化する多視点画像の視点数Ｖ、各視点のそれぞれを特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序ｄから復号画像出力順番号ｏを算出する（図２のステップＳ１０３）。復号画像出力順番号ｏは次式により算出する。
【００３５】
ｏ＝ｄ・Ｖ＋ｖ      （１）
図４は本実施の形態の多視点画像符号化装置で符号化する５視点（Ｖ＝５）の多視点画像を構成する各画像のそれぞれについて（１）式により、復号画像出力順番号ｏを算出し、値を割り当てた場合の一例を示す図である。符号化ビット列生成部１１１は、復号画像出力順番号算出部１０２で算出された復号画像出力順番号ｏをビット列に符号化する（図２のステップＳ１０４）。
【００３６】
また、復号側である後述する多視点画像復号装置では本実施の形態の多視点画像符号化装置で符号化されたビット列を復号して得られる多視点画像の視点数Ｖと復号画像出力順番号ｏから（１）式を満たす各画像の視点を特定する視点番号ｖ（ただし、ｖは０以上Ｖ未満の整数）とそれぞれの視点での復号画像の出力順序を示す番号ｄ（整数）を算出する。具体的には、番号ｄは復号画像出力順番号ｏを視点数Ｖで整数演算により除算して得た商とする。また、番号ｖは復号画像出力順番号ｏを視点数Ｖで整数演算により除算したときの剰余の値とする。または、視点番号ｖは番号ｄを算出した後で次式により算出してもよい。
【００３７】
ｖ＝ｏ−ｄ・Ｖ      （２）
また、並べ替えバッファ１０３は供給される多視点画像を格納する。ここで、多視点画像を構成する視点画像Ｍ（ｖ）（ｖ＝０，１，２，・・・，Ｖ−１）は各視点毎にそれぞれ独立したチャンネルで並列に入力する方法と、各視点の画像信号がインターリーブされた信号として１つのチャンネルでシリアルに入力する方法がある。各視点の画像信号をインターリーブする方法としては、各視点の画像信号を画素単位でインターリーブする方法、複数の画素を纏めた単位でインターリーブする方法、水平方向のライン単位でインターリーブする方法、画像単位でインターリーブする方法、複数の画像を纏めた単位でインターリーブする方法等がある。
【００３８】
入力される視点画像Ｍ（ｖ）のインターリーブ構造の例を図５〜図１２を用いて説明する。図５は各視点の信号を画素単位でインターリーブした場合の例である。同図において、ｐ（ｖ，ｉ）は各視点画像の画素を表し、ｖは視点を特定する視点番号、ｉは画素のインデックスである。
【００３９】
図６は各視点の信号を複数の画素を纏めた単位でインターリーブした場合の例である。
同図において、ｐｙ（ｖ，ｉｙ）は各視点画像の輝度信号の画素を表し、ｖは視点を特定する視点番号、ｉｙは輝度信号の画素のインデックスである。ｐｕ（ｖ，ｉｕ）は色差信号（Ｕ）の画素を表し、ｉｕは色差信号（Ｕ）の画素のインデックスである。ｐｖ（ｖ，ｉｖ）は色差信号（Ｖ）の画素を表し、ｉｖは色差信号（Ｖ）の画素のインデックスである。
【００４０】
図７は各視点の信号を水平方向１６画素、垂直方向１６画素の画素ブロック単位、あるいは水平方向１６画素、垂直方向８画素の画素ブロック単位でインターリーブした場合の例を示す。同図において、ｂ（ｖ，ｉｂ）は各視点画像の画素を表し、ｖは視点を特定する視点番号、ｉｂは画素ブロックのインデックスである。画素ブロックを水平ラインで走査することにより、複数画素を纏めた単位でインターリーブしたものの一種であるといえる。
【００４１】
図８は各視点の信号を水平方向のライン単位でインターリーブした場合の例である。同図において、ｌ（ｖ，ｊ）は各視点画像のラインを表し、ｖは視点を特定する視点番号、ｊはラインのインデックスである。ラインは複数の画素から構成されるので、複数画素を纏めた単位でインターリーブしたものの一種であるといえる。
【００４２】
また、図９は各視点の信号を１つの画像に纏めた形式でインターリーブした場合も１つに纏めた画像を水平ラインで走査することにより、水平ライン単位でインターリーブしたものの一種であるといえる。図９（Ａ）は各視点の信号を纏めた１つの画像を示し、同図（Ｂ）は水平ライン単位でインターリーブした画像を示す。同図において、ｖは視点を特定する視点番号、ｄはそれぞれの視点での画像の撮影順序を示す番号（それぞれの視点での復号画像の出力順序を示す番号）を示す。また、ｌ（ｖ，ｊ）のｊはラインインデックスを示す。
【００４３】
図１０は各視点の信号を複数のラインを纏めたスライス単位でインターリーブした場合の例を示す。同図において、ｓ（ｖ，ｋ）は各視点画像の輝度信号の画素を表し、ｖは視点を特定する視点番号、ｋは複数のラインを纏めたスライスのインデックスである。スライスは複数の画素から構成されるので、複数画素を纏めた単位でインターリーブしたものの一種であるといえると共に、画素ブロック単位でインターリーブしたものの一種であるともいえる。
【００４４】
図１１は各視点の信号を画像単位でインターリーブした場合の例を示す。同図において、ｍ（ｖ，ｄ）は各視点画像を構成する画像を表し、ｖは視点を特定する視点番号、ｄはそれぞれの視点での画像の撮影順序を示す番号（それぞれの視点での復号画像の出力順序を示す番号）である。
【００４５】
図１２は各視点の信号を複数の画像を纏めた単位でインターリーブした場合の例を示す。同図において、ｍ（ｖ，ｄ）は図１１と同様に各視点画像を構成する画像を表し、ｖは視点を特定する視点番号、ｄはそれぞれの視点での画像の撮影順序を示す番号（それぞれの視点での復号画像の出力順序を示す番号）である。
【００４６】
本発明においては、図５〜図１２のうちのいずれの方法で画像信号を入力する場合においても、遅延させることなく、随時並べ替えバッファ１０３に入力し、格納する。更に、符号化管理部１０１で制御される符号化順に応じて、並べ替えバッファ１０３に格納された画像信号を画素ブロック単位で、動き／視差補償予測部１０４及び残差信号算出部１０６にそれぞれ供給する（図２のステップＳ１０６）。
【００４７】
符号化管理部１０１で制御する符号化順序について図１３を用いて説明する。図１３は５視点（Ｖ＝５）の多視点画像を構成する各画像ｍ（ｖ，ｄ）の符号化順序、及び動き補償／視差補償の参照関係の一例を示す図である。同図において、視点画像Ｍ（０）、Ｍ（２）、Ｍ（４）は他の視点の画像を参照する視差補償予測を行わずに符号化する。例えば、視点画像Ｍ（０）の画像ｍ（０，０）は他の画像を参照せず、画面内だけで独立して符号化するピクチャとして符号化する。
【００４８】
視点画像Ｍ（０）の画像ｍ（０，３）は同一視点の表示順序で前方の画像ｍ（０，０）の復号画像を参照画像とし、動き補償予測を用いて、符号化する。更に、視点画像Ｍ（０）の画像ｍ（０，１）は同一視点の表示順序で前方の画像ｍ（０，０）及び後方の画像ｍ（０，３）の復号画像を参照画像とし、動き補償予測を用いて、符号化する。
【００４９】
一方、視点画像Ｍ（１）、Ｍ（３）は動き補償予測に加えて、他の視点の画像を参照画像として予測する視差補償予測を用いて符号化する。例えば、視点画像Ｍ（１）の画像ｍ（１，１）は同一視点の表示順序で前方の画像ｍ（１，０）及び後方の画像ｍ（１，３）の復号画像を参照画像とし、動き補償予測を行うのに加えて、別視点の画像ｍ（０，１）及びｍ（２，１）の復号画像を参照画像とし、視差補償予測を用いて符号化する。
【００５０】
視点画像Ｍ（１）の画像ｍ（１，１）を符号化する際には、参照画像となる画像ｍ（１，０）、ｍ（１，３）、ｍ（０，１）及びｍ（２，１）は符号化、復号が完了し、復号画像バッファ１１０に格納されていなければならない。本例では、ｍ（０，０）、ｍ（２，０）、ｍ（１，０）、ｍ（４，０）、ｍ（３，０）、ｍ（０，３）、ｍ（２，３）、ｍ（１，３）、ｍ（４，３）、ｍ（３，３）、ｍ（０，１）、ｍ（２，１）、ｍ（１，１）、ｍ（４，１）、ｍ（３，１）、ｍ（０，２）、ｍ（２，２）、ｍ（１，２）、ｍ（４，２）、ｍ（３，２）、ｍ（０，６）、ｍ（２，６）、ｍ（１，６）、ｍ（４，６）、ｍ（３，６）、ｍ（０，４）、ｍ（２，４）、ｍ（１，４）、・・・の符号化順で符号化すればよい。この符号化順を示す符号化順番号ｃは、復号画像出力順番号ｏと１対１に対応しており、符号化管理部１０１で管理される。
【００５１】
動き／視差補償予測部１０４は、従来のＡＶＣ／Ｈ.２６４方式等と同様に動き補償予測を行うのに加えて、前述の視差補償予測を行う（図２のステップＳ１０７）。動き補償予測は表示順序で前方または後方の同一視点の画像を参照画像とするが、視差補償予測は別視点の画像を参照画像とすれば共通の処理を行うことができる。符号化管理部１０１の制御に応じて、並べ替えバッファ１０３から供給される画素ブロックと、復号画像バッファ１１０から供給される参照画像との間でブロックマッチングを行い、動き補償予測の場合は動きベクトル、視差補償予測の場合は視差ベクトルを検出し、動き補償予測／視差補償予測ブロック信号を作成して動き補償予測／視差補償予測ブロック信号、及び動きベクトル／視差ベクトルを符号化モード判定部１０５に供給する。
【００５２】
動き補償予測／視差補償予測を行うか否か、参照画像の数、どの復号画像を参照画像とするか、画素ブロックのサイズ等の候補の組み合わせは符号化管理部１０１で制御され、この制御に応じて動き補償予測／視差補償予測に関するすべての符号化モードの候補となるすべての組み合わせについて動き補償予測／視差補償予測を行い、それぞれの動き補償予測／視差補償予測ブロック信号、及び動きベクトル／視差ベクトルを符号化モード判定部１０５に供給する。ここでの画素ブロックのサイズの候補とは、画素ブロックを更に分割したそれぞれの小ブロックのことである。例えば、画素ブロックを水平方向１６画素、垂直方向１６画素（すなわち、１６×１６）とした場合、１６×８、８×１６、８×８、８×４、４×８、４×４等の小ブロックに分割して動き補償予測を行い、候補とする。
【００５３】
符号化モード判定部１０５では、動き補償予測、視差補償予測のどの手法をどの参照画像を用いてどのような画素ブロック単位で選択、組み合わせると効率の良い符号化が実現できるかを判定して符号化モードを決定し、得られた符号化モード、及び当該動きベクトル／視差ベクトルを符号化ビット列生成部１１１に供給すると共に、当該動き補償予測／視差補償予測ブロック信号を残差信号演算部１０６に供給する（図２のステップＳ１０８）。
【００５４】
例えば、時間軸上で前と後の参照画像からの動き補償予測を組み合わせる場合、前の参照画像から動き補償予測を行って得られた動き補償予測ブロックと、後の参照画像から動き補償予測を行って得られた動き補償予測ブロックの各画素値を平均したブロックを生成して候補とする。また、動き補償予測と視差補償予測と組み合わせることもできる。さらに、画素値を平均する際には１：１の平均のみならず、１：２、１：３などの重み付けをしてもよい。また、画素ブロックを４×４画素から１６×１６画素の小ブロックに分割して符号化モードの候補とした場合、それぞれの小ブロックの予測方法を変えることもできる。
【００５５】
符号化モードを判定する手法については様々なものがあるが、例えば各符号化モードについて符号量と歪み量を算出し、これら符号量と歪み量のバランスにおいて最適な符号化モードを選択する手法がある。この符号化モード判定では、まずそれぞれの符号化モードの組み合わせに対して、残差信号を算出し、この残差信号やベクトル及び符号化モードを符号化して得られる符号化列のビット長を算出し、符号量とする。さらに、符号化した残差信号を復号し、予測信号と加算された復号信号と符号化前の画像信号との絶対値誤差和、あるいは二乗和を算出し、歪み量とする。符号量に予め定めた乗数を乗じ、歪み量に加算し、評価値とする。候補となるすべての符号化モードの組み合わせの評価値の中で最小のものを選択し、当該画素ブロックの符号化モードとする。
【００５６】
残差信号演算部１０６は、並べ替えバッファ１０３から供給される画素ブロック信号から、符号化モード判定部１０５から供給される動き補償予測／視差補償予測ブロック信号を減算し、残差信号を得る（図２のステップＳ１０９）。残差信号符号化部１０７は、残差信号演算部１０６から入力された残差信号に対して直交変換、量子化等の残差信号符号化処理を行い、符号化残差信号を算出する（図２のステップＳ１１０）。
【００５７】
符号化管理部１０１は、当該符号化画像が符号化順序で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測の参照画像として利用されるか否かを管理しており（図２のステップＳ１１１）、参照画像として利用される場合は、符号化残差信号を復号し、復号画像信号を復号画像バッファ１１０に画素ブロック単位で順次格納する（図２のステップＳ１１２〜Ｓ１１４）。
【００５８】
まず、残差信号復号部１０８は、残差信号符号化部１０７から入力された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する（図２のステップＳ１１２）。残差信号重畳部１０９は符号化モード判定部１０５から供給される予測信号に、残差信号復号部１０８から供給される復号残差信号を重畳し、復号画像信号を算出し（図２のステップＳ１１３）、その復号画像信号を復号画像バッファ１１０に画素ブロック単位で順次格納する（図２のステップＳ１１４）。この復号画像バッファ１１０に格納された復号画像信号は、必要に応じて、符号化順で後に続く画像の動き補償予測、もしくは他の視点の視差補償予測の参照画像となる。
【００５９】
符号化ビット列生成部１１１は、符号化モード判定部１０５から入力される符号化モード、及び、動きベクトルまたは視差ベクトル、残差信号符号化部１０７から入力される符号化残差信号等をハフマン符号化、算術符号化等のエントロピー符号化を用いて順次符号化し、符号化ビット列を生成する（図２のステップＳ１１５）。
【００６０】
以上、図２のステップＳ１０６からステップＳ１１５までの処理を画素ブロック単位で符号化画像内のすべての画素ブロックの符号化が完了するまで繰り返す（図２のステップＳ１０５〜Ｓ１１６）。更に、図２のステップＳ１０３からステップＳ１１６までの処理を符号化画像毎に繰り返す（図２のステップＳ１０２〜Ｓ１１７）。
【００６１】
次に、復号側について図面を参照して説明する。図１４は多視点画像復号装置の一例のブロック図、図１５は図１４の多視点画像復号装置の処理手順を説明するフローチャートである。図１４に示すように、多視点画像復号装置は、符号化ビット列復号部２０１、復号画像管理情報算出部２０２、動き／視差補償予測部２０３、予測信号合成部２０４、残差信号復号部２０５、残差信号重畳部２０６、復号画像バッファ２０７、復号画像管理部２０８、復号画像出力部２０９を備えている。
【００６２】
次に、図１４の多視点画像復号装置の動作について、図１５のフローチャートを併せ参照して説明する。まず、符号化ビット列復号部２０１は図１に示した本実施の形態の多視点画像符号化装置によりハフマン符号化、算術符号化等のエントロピー符号化を用いて符号化された符号化ビット列を復号し、多視点画像の視点数Ｖ、カメラの視点位置等のカメラパラメータ情報を得る（図１５のステップＳ２０１）。これらのカメラパラメータ情報は復号した多視点画像を出力先となる多視点画像表示装置等にて表示する際に必要な情報である。また、視点数Ｖは多視点画像を構成する各画像の視点を特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序を示す番号ｄを算出する際にも用いる。
【００６３】
また、符号化ビット列復号部２０１は多視点画像を構成する各画像の視点を特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序を示す番号ｄを算出するために必要な復号画像出力順番号ｏを得る（図１５のステップＳ２０３）。
【００６４】
復号画像管理情報算出部２０２は、符号化ビット列復号部２０１から供給される視点数Ｖと復号画像出力順番号ｏとから（１）式を満たす各画像の視点を特定する視点番号ｖ（ただし、ｖは０以上Ｖ未満の整数）とそれぞれの視点での復号画像の出力順序を示す番号ｄ（整数）を算出する（図１５のステップＳ２０４）。具体的には、番号ｄは復号画像出力順番号ｏを視点数Ｖで整数演算により除算して得た商とする。また、番号ｖは復号画像出力順番号ｏを視点数Ｖで整数演算により除算したときの剰余の値とする。または、視点番号ｖは番号ｄを算出した後で（２）式により算出してもよい。
【００６５】
符号化ビット列復号部２０１から供給される視点数Ｖ、復号画像出力順番号ｏ、及び復号画像管理情報算出部２０２で算出された視点を特定する視点番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄは、後述する復号画像管理部２０８に供給され、復号画像バッファ２０７に格納される復号画像の管理に用いる。
【００６６】
ここで、多視点画像復号装置では、符号化の場合と同様に、従来の単一視点の復号方式を多視点復号方式として拡張する際に、本方式の復号画像出力順番号ｏを従来の単一視点の復号方式の復号画像の出力順序を示す番号として扱うことで、従来の復号方式との互換をとることができる。
【００６７】
例えば、ＡＶＣ／Ｈ.２６４方式を多視点符号化方式に拡張する際には、本方式の復号画像出力順番号ｏをＡＶＣ／Ｈ.２６４方式の復号画像の出力順序を示す番号であるピクチャ・オーダー・カウント（picture order count）として扱う。また、多視点画像復号装置では符号化側で符号化された順序で復号するため、符号化順序は復号順序と等しくなる。更に、符号化ビット列復号部２０１では、復号する画素ブロックの符号化モード、動きベクトルまたは視差ベクトル、符号化残差信号（符号化された予測残差信号）等の情報を得る（図１５のステップＳ２０６）。
【００６８】
続いて、動き／視差補償予測部２０３は、符号化ビット列復号部２０１で復号された符号化モードに応じて、動き補償予測／視差補償予測を行う（図１５のステップＳ２０７）。この動き補償予測／視差補償予測では、符号化モードに応じて復号画像バッファ２０７から供給される画像を参照し、符号化ビット列復号部２０１で復号された動きベクトル／視差ベクトルが指し示す位置の画素ブロックを動き補償予測／視差補償予測ブロックとする。上記の画素ブロックのサイズは小ブロックに分割され、それぞれの小ブロックの予測方法、動きベクトル／視差ベクトルが異なる場合もある。また、複数の参照ピクチャから予測されている場合もある。このような場合は、複数の動き補償予測／視差補償予測を行い、複数の予測ブロックを得る。
【００６９】
予測信号合成部２０４は、当該画素ブロックが小ブロックに分割されている場合や、複数の参照ピクチャから予測されている場合は複数の予測ブロックを合成し、当該画素ブロックの予測信号を生成する（図１５のステップＳ２０８）。一方、残差信号復号部２０５は、符号化ビット列復号部２０１から入力された符号化残差信号に対して、逆量子化、逆直交変換等の残差信号復号処理を行い、復号残差信号を生成する（図１５のステップＳ２０９）。
【００７０】
残差信号重畳部２０６は、予測信号合成部２０４から供給される予測信号に、残差信号復号部２０５から供給される復号残差信号を重畳して復号画像信号を算出し（図１５のステップＳ２１０）、復号画像バッファ２０７に画素ブロック単位で復号画像信号を順次格納する（図１５のステップＳ２１１）。この復号画像バッファ２０７に格納された復号画像信号は、必要に応じて、符号化順で後に続く画像を復号する際に参照画像となる。
【００７１】
以上、図１５のステップＳ２０６からステップＳ２１１までの処理を画素ブロック単位で符号化画像内のすべての画素ブロックの復号が完了するまで繰り返す（図１５のステップＳ２０５〜Ｓ２１２）。
【００７２】
復号画像管理部２０８は、復号画像管理情報算出部２０２から供給される視点数Ｖ、復号画像出力順番号ｏ、各画像の視点を特定する視点番号ｖ、及びそれぞれの視点での復号画像の出力順序を示す番号ｄと復号画像バッファ２０７に格納された復号画像信号を対応付けて管理する。復号画像管理部２０８は、これらのパラメータを基に復号画像バッファ２０７に格納された復号画像を出力するかどうか判定する（図１５のステップＳ２１３）。
【００７３】
復号順序と復号画像の出力順序が異なり、出力のタイミングが異なる場合は遅延が必要となり、復号画像を出力しない場合もある。復号画像管理部２０８では、復号画像バッファ２０７に格納されている復号画像信号のそれぞれについて、番号ｖにより視点を特定し、番号ｄによりそれぞれの視点での復号画像の出力順序を管理して各視点の復号画像信号の番号ｄの値が等しい画像を同時、または連続的に出力するように各視点を互いに同期させ、番号ｄの値が小さいものから順に出力するように制御する。復号画像出力部２０９は、復号画像バッファ２０７に格納された復号画像を復号画像管理部２０８の制御に応じて、各視点の復号画像信号を互いに同期させて多視点画像表示装置等に出力する（図１５のステップＳ２１４）。
【００７４】
復号された視点画像Ｍ（ｖ）の各視点の画像を互いに同期させて出力する方法としては、各視点の画像信号をそれぞれ独立したチャンネルで並列に出力する方法と、各視点の画像信号をインターリーブして１つのチャンネルでシリアルに出力する方法がある。復号画像出力部２０９で各視点の画像信号をそれぞれ独立したチャンネルで並列に出力する場合には、各視点の同時刻の画像信号、すなわちそれぞれの視点での復号画像の出力順序を示す番号ｄが等しい各視点の復号画像信号を互いに同期させてそれぞれ出力する（図１５のステップＳ２１３、Ｓ２１４）。
【００７５】
前述の多視点画像符号化装置の説明で用いた図３を用いて説明すると、各視点画像Ｍ（ｖ）のそれぞれについて、各画像ｍ（ｖ，ｄ）の番号ｄの値が小さいものから順に出力させることで、復号画像を出力先の多視点画像表示装置等で表示する際に望ましい順序で出力させることができる。また、番号ｄの値が同じそれぞれの復号画像信号を同時刻に出力することで、各視点の復号画像信号を互いに同期させることができる。その際、すべての視点の画像が復号された後に復号画像の出力を開始することで、各視点の復号画像を欠落することなく出力することができる（図１５のステップＳ２１３、Ｓ２１４）
復号画像出力部２０９で各視点をインターリーブした信号として１つのチャンネルでシリアルに出力する場合には、それぞれの視点での復号画像の出力順序を示す番号ｄの値が小さいものから順に、各視点の同時刻の画像、すなわちそれぞれの視点での復号画像の出力順序を示す番号ｄが等しい各視点の復号画像信号を互いにインターリーブすることで同期させて出力する。各視点をインターリーブした信号としてシリアルに出力する方法としては、それぞれの視点の信号を画素単位でインターリーブする方法、複数の画素を纏めた単位でインターリーブする方法、水平方向のライン単位でインターリーブする方法、画像単位でインターリーブする方法、複数の画像を纏めた単位でインターリーブする方法等がある。
【００７６】
出力する復号画像信号のインターリーブ構造については図５〜図１２に示した前述の多視点画像符号化装置に入力される視点画像のインターリーブ構造と同様である。それぞれ独立したチャンネルで並列に出力する場合と同様に、それぞれの視点の信号を画素単位でインターリーブする方法、複数の画素を纏めた単位でインターリーブする方法、水平方向のライン単位でインターリーブする方法では例えば図５〜図１０に示したように番号ｄが等しい各視点のそれぞれの画像信号を画素単位、複数の画素を纏めた単位、水平方向のライン単位でインターリーブして出力することで、各視点の画像信号を同時刻に出力することができ、視点間を互いに同期して出力することができる。
【００７７】
この際、インターリーブの対象となるすべての視点の画像が復号された後に復号画像のインターリーブ、及び出力を開始することで、各視点の復号画像を欠落することなく出力することができる（図１５のステップＳ２１３、Ｓ２１４）。また、画像単位でインターリーブする方法では、図１１に示したように番号ｄが等しい各視点のそれぞれの画像信号を画像単位で連続的に出力することで、各視点を互いに同期して出力することができる。
更に、図１５のステップＳ２０３からステップＳ２１４までの処理を符号化画像毎に繰り返す（図１５のステップＳ２０２〜Ｓ２１５）。
【００７８】
以上のように、図１に示した本実施の形態の多視点画像符号化装置において、前記各視点がそれぞれ独立したチャンネルで並列に入力する方法と、前記各視点がインターリーブされた信号として１つのチャンネルでシリアルに入力する方法のいずれにおいても遅延させることなく、随時並べ替えバッファ１０３に入力し、格納する。従って、従来例の立体視画像符号化方法及び装置のように符号化の前に１フレーム又は１フィールド毎に順次配列する必要が無く、順次化のための画像バッファを持たず、遅延時間を短くすることができるという効果を得ることができる。
【００７９】
一方、図１４の多視点画像復号装置において、復号画像バッファ２０７に格納された復号画像を多視点画像表示装置等に出力する際には表示装置等の入力に合わせた形式、すなわち前記各視点がそれぞれ独立したチャンネルで並列に出力する方法、または前記各視点がインターリーブされた信号として１つのチャンネルでシリアルに出力する方法で出力する。従って、従来例の立体視画像復号化方法及び装置のように復号後に１フレーム又は１フィールド毎に順次配列して出力してから同時化する必要が無く、同時化のための画像バッファを持たず、遅延時間を短くすることができるという効果を得ることができる。
【００８０】
それに加えて、本実施の形態の多視点画像符号化装置では、多視点画像信号を構成する各画像の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを復号画像出力順番号ｏとして一括で示す復号画像出力順番号ｏを多視点画像信号の視点の数Ｖと共に符号化する。一方、多視点画像復号装置では、このようにして符号化された符号化データを確実に復号することができ、多視点画像信号を構成する各視点画像の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄに応じて、多視点画像表示装置等に適切に出力することができる。
【００８１】
従来の単一視点の画像符号化／復号方式を多視点画像符号化／復号方式に拡張する際に、本方式の各視点画像の視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを一括で示す復号画像出力順番号ｏを従来の単一視点の画像符号化／復号方式の復号画像の出力順序を示す番号（例えば、ＡＶＣ／Ｈ．２６４のpicture order count）として扱い、符号化／復号することで、小さな改良により従来の単一視点の画像符号化／復号方式との互換を取ることができるという効果を得ることができる。
【００８２】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、本実施の形態の多視点画像符号化装置において、画像を入力する際に、遅延させることなく、随時並べ替えバッファ１０３に入力し、格納したが、入力される画像の形式と並べ替えバッファ１０３の格納形式が異なるなど、並べ替えバッファ１０３への格納時に画素の並び替えが必要な場合、一時記憶用のラインバッファを設け、入力画像信号をラインバッファに一時的に書き込んでから随時画素を並び替えて並べ替えバッファ１０３に格納したり、画素を並び替えてラインバッファに一時的に書き込んでから随時並べ替えバッファ１０３に格納したりすることもでき、本発明に含まれる。
【００８３】
同様に、図１４の多視点画像復号装置において、画像を出力する際に、復号画像バッファ２０７に格納された復号画像を多視点画像表示装置等に出力する際に、画素の並び替えが必要な場合、復号画像出力部２０９の内部、または外部に一時記憶用のラインバッファを設け、復号画像バッファ２０７から読み出した復号画像信号をラインバッファに一時的に書き込んでから随時画素を並び替えて出力したり、復号画像バッファ２０７から読み出した復号画像信号を画素を並び替えてラインバッファに一時的に書き込んでから随時出力したりすることもできる。
【００８４】
また、以上の図１４の多視点画像復号装置の説明においては、復号画像出力部２０９では、復号画像バッファ２０７に格納された復号画像を復号画像管理情報算出部２０２で視点数Ｖと復号画像出力順番号ｏから算出された視点を特定する視点番号ｖとそれぞれの視点での復号画像の出力順序を示す番号ｄを基に復号画像管理部２０８の制御に応じて、復号された各視点の画像信号を互いに同期させて出力したが、各視点を画像単位でインターリーブして１つのチャンネルでシリアルに出力する場合には復号画像出力順番号ｏをもとに出力することもできる。この場合、各復号画像の復号画像出力順番号ｏの値が小さいものから順に出力させることで、各視点を画像単位でインターリーブして互いに同期させて出力させることができる。
【００８５】
また、以上の説明においては、符号化、復号に用いる多視点画像は異なる視点から実際に撮影された多視点画像を符号化、復号することもできるが、実際には撮影していない仮想的な視点の位置を周辺の視点から補間する等、変換または生成された視点画像を符号化、復号することもでき、本発明に含まれる。また、コンピュータグラフィックス等の多視点画像を符号化、復号することもでき、本発明に含まれる。
【００８６】
例えば、Ａ，Ｂ，Ｃ，Ｄの４つの視点の画像信号を備えた多視点画像信号は、（１）４つの視点の画像信号がすべて各視点で実際に撮影して得られた画像信号である場合、（２）４つの視点の画像信号がすべて各視点で仮想的に撮影したものとして生成した画像信号である場合、（３）Ａ，Ｂ視点の画像信号が各視点で実際に撮影して得られた画像信号、Ｃ，Ｄ視点の画像信号が各視点で仮想的に撮影したものとして生成した画像信号といったように、実際に撮影して得られた画像信号と仮想的に撮影したものと生成した画像信号とが混在している場合の３つの場合が想定される。
【００８７】
また、本発明で用いる多視点画像の各視点の位置はどのような配置でもよい。このことについて、図１６〜図１９と共に説明する。図１６〜図１９中に示される番号は視点位置を示す視点番号ｖ（ｖ＝０，１，２，・・・）である。図１６は視点を水平方向に配置した例である。カメラを水平方向に並べて撮影されたものである。図１７は視点を垂直方向に配置した例である。カメラを垂直方向に並べて撮影されたものである。図１８、図１９は視点を水平／垂直２次元の方向に配置した例である。カメラを水平／垂直２次元の方向に配置し並べて撮影されたものである。視点を特定する視点番号ｖの値は各視点と１対１で対応し、０以上視点数Ｖ未満の整数をそれぞれ割り当てければならないが、カメラパラメータ等で符号化側と復号側で整合性が取れればどのような順番でもよい。
【００８８】
以上の多視点画像符号化、及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の多視点画像符号化装置の一実施の形態のブロック図である。
【図２】図１の多視点画像符号化処理説明用フローチャートである。
【図３】各画像の視点を特定する視点番号ｖ及びそれぞれの視点での復号画像の出力順序を示す番号ｄに値を割り当てた場合の一例を説明する図である。
【図４】各画像の復号画像出力順番号ｏに値を割り当てた場合の一例を説明する図である。
【図５】各視点の信号を画素単位でインターリーブした場合の一例を説明する図である。
【図６】各視点の信号を複数の画素を纏めた単位でインターリーブした場合の一例を説明する図である。
【図７】各視点の信号を１６×１６、１６×８画素等の画素ブロック単位でインターリーブした場合の一例を説明する図である。
【図８】各視点の信号を水平方向のライン単位でインターリーブした場合の一例を説明する図である。
【図９】各視点の信号を１つの画像に纏めた形式でインターリーブした場合の一例を説明する図である。
【図１０】各視点の信号を複数のラインを纏めたスライス単位でインターリーブした場合の一例を説明する図である。
【図１１】各視点の信号を画像単位でインターリーブした場合の一例を説明する図である。
【図１２】各視点の信号を複数の画像を纏めた単位でインターリーブした場合の一例を説明する図である。
【図１３】各画像の符号化順序、及び動き補償／視差補償の参照関係の一例を説明する図である。
【図１４】本発明多視点画像符号化装置により生成した符号化ビット列を復号する多視点画像復号装置の一例のブロック図である。
【図１５】図１４の多視点画像復号処理説明用のフローチャートである。
【図１６】視点を水平方向に配置された場合の一例を説明する図である。
【図１７】視点を垂直方向に配置された場合の一例を説明する図である。
【図１８】視点を水平／垂直２次元の方向に配置された場合の一例を説明する図である。
【図１９】視点を水平／垂直２次元の方向に配置された場合の一例を説明する図である。
【図２０】従来の立体視多視点画像符号化装置の一例の構成図である。
【図２１】従来の立体視画像復号化装置の一例の構成図である。
【符号の説明】
【００９０】
１０１  符号化管理部  
１０２  復号画像出力順番号算出部  
１０３  並べ替えバッファ
１０４  動き／視差補償予測部
１０５  符号化モード判定部
１０６  残差信号算出部
１０７  残差信号符号化部
１０８  残差信号復号部
１０９  残差信号重畳部
１１０  復号画像バッファ
１１１  符号化ビット列生成部
２０１  符号化ビット列復号部
２０２  復号画像管理情報算出部
２０３  動き／視差補償予測部
２０４  予測信号合成部
２０５  残差信号復号部
２０６  残差信号重畳部
２０７  復号画像バッファ
２０８  復号画像管理部
２０９  復号画像出力部
【図１】
2008034892.tif 000003
【図２】
2008034892.tif 000004
【図３】
2008034892.tif 000005
【図４】
2008034892.tif 000006
【図５】
2008034892.tif 000007
【図６】
2008034892.tif 000008
【図７】
2008034892.tif 000009
【図８】
2008034892.tif 000010
【図９】
2008034892.tif 000011
【図１０】
2008034892.tif 000012
【図１１】
2008034892.tif 000013
【図１２】
2008034892.tif 000014
【図１３】
2008034892.tif 000015
【図１４】
2008034892.tif 000016
【図１５】
2008034892.tif 000017
【図１６】
2008034892.tif 000018
【図１７】
2008034892.tif 000019
【図１８】
2008034892.tif 000020
【図１９】
2008034892.tif 000021
【図２０】
2008034892.tif 000022
【図２１】
2008034892.tif 000023