(57)【要約】【課題】視差情報を生成するために必要な演算量を低減させることを可能とする多視点画像符号化装置【解決手段】多視点画像符号化装置１は、基準視点から撮像した基準視点画像を受け取って符号化し、符号化した基準視点画像を基準視点画像に復元する基準視点画像符号化部４と、非基準視点から撮像した非基準視点画像に対応する奥行き画像を符号化し、符号化した奥行き画像を奥行き画像に復元する奥行き画像符号化部５と、奥行き画像符号化部５により復元された奥行き画像と、基準視点画像と非基準視点画像とを撮像するための撮像条件情報とに基づいて、基準視点と非基準視点との間の視差情報を生成する視差情報生成部２と、基準視点画像符号化部４により復元された基準視点画像と、視差情報生成部２により生成された視差情報とに基づいて、非基準視点画像を受け取って符号化する非基準視点画像符号化部３とを備える。【選択図】図１
2012100019.tif 000002
【特許請求の範囲】
【請求項１】
第１視点から撮像した第１視点画像を受け取って符号化し、符号化した第１視点画像を第１視点画像に復元する第１視点画像符号化手段と、
第２視点から撮像した第２視点画像に対応する奥行き画像を符号化し、符号化した奥行き画像を奥行き画像に復元する奥行き画像符号化手段と、
前記奥行き画像符号化手段により復元された奥行き画像と、前記第１視点画像と前記第２視点画像とを撮像するための撮像条件情報とに基づいて、前記第１視点と前記第２視点との間の視差情報を生成する視差情報生成手段と、
前記第１視点画像符号化手段により復元された第１視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、前記第２視点画像を受け取って符号化する第２視点画像符号化手段とを備えたことを特徴とする多視点画像符号化装置。
【請求項２】
前記視差情報生成手段は、前記復元された奥行き画像を分割したブロックの代表奥行き値を決定する代表奥行き値決定手段を有する請求項１記載の多視点画像符号化装置。
【請求項３】
前記代表奥行き値決定手段は、前記復元された奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、前記代表奥行き値を決定する請求項２記載の多視点画像符号化装置。
【請求項４】
前記撮像条件情報は、前記第１視点に配置された第１カメラと前記第２視点に配置された第２カメラとの間のカメラ間距離、及び前記第１及び第２カメラと被写体との間の撮影距離を含み、
前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する視差情報算出手段をさらに有する請求項２記載の多視点画像符号化装置。
【請求項５】
前記第２視点画像符号化手段は、前記奥行き画像符号化手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第１視点画像内の画素値を利用して予測符号化する請求項１記載の多視点画像符号化装置。
【請求項６】
前記撮像条件情報を受け取って符号化する撮像条件情報符号化手段をさらに備え、
前記第１視点画像は、基準となる視点からの視点画像である基準視点画像であり、
前記第２視点画像は、前記基準視点画像以外の視点画像である請求項１記載の多視点画像符号化装置。
【請求項７】
符号化された第１視点画像を受け取って復号する第１視点画像復号手段と、
符号化された奥行き画像を受け取って復号する奥行き画像復号手段と、
符号化された撮像条件情報を受け取って復号する撮像条件情報復号手段と、
前記奥行き画像復号手段により復号された奥行き画像と、前記撮像条件情報復号手段により復号された撮像条件情報とに基づいて、第１視点と第２視点との間の視差情報を生成する視差情報生成手段と、
前記第１視点画像復号手段により復号された第１視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、符号化された第２視点画像を受け取って復号する第２視点画像復号手段とを備えたことを特徴とする多視点画像復号装置。
【請求項８】
前記視差情報生成手段は、前記復号された奥行き画像を分割したブロックの代表奥行き値を決定し、
前記撮像条件情報復号手段により復号された撮像条件情報は、第１視点に配置された第１カメラと第２視点に配置された第２カメラとの間のカメラ間距離、及び前記第１及び第２カメラと被写体との間の撮影距離を含み、
前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する請求項７記載の多視点画像復号装置。
【請求項９】
前記第２視点画像復号手段は、前記奥行き画像復号手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第１視点画像内の画素値を利用して復号する請求項７記載の多視点画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から撮影された画像とその奥行き画像とを符号化する多視点画像符号化装置と、それらを復号する多視点画像復号装置に関する。
【背景技術】
【０００２】
近年、立体画像ディスプレイおよび立体画像コンテンツの普及が進みつつある。立体画像ディスプレイで現在主流のものは、２眼式の立体画像ディスプレイに分類されるもので、その一方式として、アクティブシャッター方式がある。アクティブシャッター方式の立体画像ディスプレイは、左眼用画像と右眼用画像を時分割で交互にスクリーンに表示させる一方、画像の観賞者が装着する液晶シャッターメガネを、左右画像を表示するタイミングに同期させて開閉することにより、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せて、その結果として立体感を知覚させるものである。
【０００３】
立体画像を表示・観賞するためには、上記の通り左眼用と右眼用の２視点分の画像データが必要になるため、従来の平面画像と比べると情報量が約２倍に増加する。これを効率よく圧縮・記録するための符号化方式の一つに、国際標準であるＩＴＵ−Ｔ  Ｈ．２６４およびＡｄｖａｎｃｅｄ  Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＩＳＯ／ＩＥＣ  １４４９６−１０）のＡｎｎｅｘ  Ｈとして、Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、ＭＶＣと記す）が規定されている。ＭＶＣは、多視点の動画像を効率よく圧縮するための符号化方式であるが、そのアプリケーションの一つとして、３Ｄ映画などの立体画像作品をＢｌｕ−ｒａｙ  Ｄｉｓｃに格納する際の符号化方式として採用されている。
【０００４】
上記のような、左眼用と右眼用の２視点の画像を表示する２眼式の立体画像ディスプレイの普及が進む一方で、多眼式の立体画像ディスプレイの普及も期待される。多眼式の立体画像ディスプレイは、スクリーン面から発する光の方向を制御するための光学的な機構を備えることにより、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せるものである。そのため、アクティブシャッター方式で使用するようなメガネを不要とし、さらに、２視点を超える視点数の画像表示、すなわち観察位置の移動に伴う観察画像の変化も可能にしている。光学的な機構の例としてはパララクスバリアやレンティキュラレンズなどがあり、その構造と加工の精細度により、観察可能な視点数が決定される。現状では、５視点や８視点などの多眼式立体画像ディスプレイが実用化されている。
【０００５】
多眼式の立体画像ディスプレイを使用すると、視点が２視点に限定されないため、立体画像の観察における自由度や自然さが向上するという利点がある。しかし一方で、視点数が増えることによって、必要となる画像のデータ量が増加するため、記録や伝送にかかるコストが増大するという問題がある。
【０００６】
この問題を解決する一方法として、特許文献１では、複数視点の画像を符号化すると共に、複数視点の画像から生成した奥行き情報も符号化し、両者を含む符号化ストリームを生成する画像符号化装置が開示されている。ここで生成・符号化された奥行き情報は、実在する視点の画像信号から、存在しない所望の仮想視点の画像信号を生成するために用いられる。すなわち、視点の数が多いためにそれらの視点すべての画像を撮影、伝送または蓄積することが困難な場合に、より少ない視点数の画像から、多数の視点画像を生成することを可能とするものである。
【０００７】
特許文献１では、多視点画像の符号化効率を向上させるために、視差予測符号化方式を利用している。視差予測符号化方式は、撮影視点が異なることにより生じる視差を画像から抽出し、視差を補償して予測符号化を行うことによって、従来の単視点画像の符号化で行われていた時間方向の予測符号化による冗長度削減と同様に、視差間の冗長度削減を実現するものである。視差予測符号化方式は、前述のＭＶＣでも導入されている技術である。
【０００８】
ここで、従来の単視点画像の符号化方式および視差予測符号化方式に基づく画像符号化処理について簡単に説明する。図７は、従来の単一視点の動画像符号化装置７００の機能構成を示すブロック図である。動画像符号化装置７００は、ＤＣＴ量子化部７０１を備えている。ＤＣＴ量子化部７０１は、入力画像から過去または未来の画像を減算したデータに対して、まず変換符号化処理であるＤＣＴおよび量子化処理を行う。動画像符号化装置７００には、減算器７０９が設けられている。減算器７０９は、入力画像から過去または未来の画像を減算したデータをＤＣＴ量子化部７０１に与える。
【０００９】
動画像符号化装置７００は、逆量子化逆ＤＣＴ部７０２を備えている。逆量子化逆ＤＣＴ部７０２は、ＤＣＴ量子化部７０１によりＤＣＴおよび量子化処理されたデータに対して、逆量子化逆ＤＣＴ処理を行って加算器７１０に供給する。加算器７１０は、逆量子化逆ＤＣＴ部７０２により逆量子化逆ＤＣＴ処理が行われたデータに、予測結果を加算して、画像信号に復元する。復元された画像信号は、さらにデブロッキングフィルタ７０３によりＤＣＴに起因するブロック歪みを低減した上で、参照メモリ７０４に蓄えられる。
【００１０】
動画像符号化装置７００には、動きベクトル検出部７０５が設けられている。動きベクトル検出部７０５は、時間方向の画像間の冗長度を削減するため、入力画像から動きベクトルを探索・検出する。動画像符号化装置７００は、動き補償・予測部７０６を備えている。動き補償・予測部７０６は、動きベクトル検出部７０５により検出された動きベクトルに基づいて、参照画像との間で動き補償・予測を行う。
【００１１】
動画像符号化装置７００には、画面内予測部７０７が設けられている。画面内予測部７０７は、入力画像に基づいて、画像内の空間的な冗長度を削減するため、画面内予測を行う。動画像符号化装置７００は、スイッチ７０８を備えている。スイッチ７０８は、動き補償・予測部７０６の処理結果、または、画面内予測部７０７の処理結果を減算器７０９及び加算器７１０に供給する。このように、動き補償・予測部７０６または画面内予測部７０７のいずれかの処理結果が、予測画像データとして利用される。
【００１２】
動画像符号化装置７００には、エントロピー符号化部７１１が設けられている。エントロピー符号化部７１１は、ＤＣＴ量子化部７０１によりＤＣＴおよび量子化処理された画像データと、動きベクトル検出部７０５により検出された動きベクトルとを可変長符号に変換し、符号化ストリームとして動画像符号化装置７００の外部へ出力する。
【００１３】
以上が、単一視点の動画像を対象とする従来の符号化方式である。図７および上記説明の通り、空間的な冗長度を削減するための画面内予測と、時間方向の冗長度を削減するための動き補償・予測を適応的に切り替え、トータルの符号化向上を図っている。この動き補償・予測すなわち時間方向の予測符号化を複数視点の画像間に適用したものが視差予測符号化方式である。前述の多視点用画像符号化方式ＭＶＣは、所定の符号化処理単位で、前述の画面内予測、時間方向予測、視差予測のいずれかを選択し、トータルの符号化効率向上を図っている。
【００１４】
視差予測符号化方式における視差の抽出は、従来の時間方向の予測符号化でも同様であるが、主にブロックマッチングにより行われる。ブロックマッチングは、対象画像を所定サイズで分割したブロックごとに、参照画像との比較で最も一致度の高いブロックを探索する処理である。特許文献２には、ブロックマッチングを複数画像間に適用して視差ベクトルを検出する符号化方式が開示されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０１０−１５７８２３号公報（２０１０年７月１５日公開）
【特許文献２】特開平６−９８３１２号公報（１９９４年４月８日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１６】
多視点画像を符号化する際に、符号化対象とする視点数を減らして効率よく記録・伝送するために、特許文献１のように奥行き画像を利用して符号化する手法は有効性が高い。しかしながら、視点画像の数を減らす一方で、奥行き画像を符号化する処理が別途必要になるため、処理量および発生符号量の観点から充分な効率向上効果が得られるとは限らない。特に、視点画像間の視差予測符号化方式において視差ベクトルを抽出する際のブロックマッチング処理は、特許文献２の図８にも示されている通り、ブロック内の全画素を対象に誤差評価を行いながら所定のサーチ範囲にわたって処理・判定を行う必要があるため、演算コストが高く、画像符号化のリアルタイム処理を困難にする要因の一つになっている。
【００１７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、複数の視点画像と奥行き画像を符号化する際に、奥行き画像を利用して視点画像の符号化効率を向上させると共に、視差ベクトルを生成するために必要な演算量を低減させることを可能とする多視点画像符号化装置及び多視点画像復号装置を提供することにある。
【課題を解決するための手段】
【００１８】
上記の課題を解決するために、本発明に係る多視点画像符号化装置は、第１視点から撮像した第１視点画像を受け取って符号化し、符号化した第１視点画像を第１視点画像に復元する第１視点画像符号化手段と、第２視点から撮像した第２視点画像に対応する奥行き画像を符号化し、符号化した奥行き画像を奥行き画像に復元する奥行き画像符号化手段と、前記奥行き画像符号化手段により復元された奥行き画像と、前記第１視点画像と前記第２視点画像とを撮像するための撮像条件情報とに基づいて、前記第１視点と前記第２視点との間の視差情報を生成する視差情報生成手段と、前記第１視点画像符号化手段により復元された第１視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、前記第２視点画像を受け取って符号化する第２視点画像符号化手段とを備えたことを特徴とする。
【００１９】
この特徴により、前記奥行き画像符号化手段により復元された奥行き画像と、前記第１視点画像と前記第２視点画像とを撮像するための撮像条件情報とに基づいて、前記第１視点と前記第２視点との間の視差情報を生成するので、視点画像間でブロックマッチングをとるような演算コストの高い処理を行うかわりに、前記奥行き画像符号化手段により復元された奥行き画像と、前記第１視点画像と前記第２視点画像とを撮像するための撮像条件情報とに基づいて生成された第１視点と第２視点との間の視差情報を用いて予測処理を行うことができ、符号化処理の演算量を削減することができる。
【００２０】
本発明に係る多視点画像符号化装置では、前記視差情報生成手段は、前記復元された奥行き画像を分割したブロックの代表奥行き値を決定する代表奥行き値決定手段を有することが好ましい。
【００２１】
上記構成により、最も出現頻度の高い奥行き値を抽出して代表値として決定するためである。
【００２２】
本発明に係る多視点画像符号化装置では、前記代表奥行き値決定手段は、前記復元された奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、前記代表奥行き値を決定することが好ましい。
【００２３】
上記構成により、視差予測の予測誤差を小さくすることができる。
【００２４】
本発明に係る多視点画像符号化装置では、前記撮像条件情報は、前記第１視点に配置された第１カメラと前記第２視点に配置された第２カメラとの間のカメラ間距離、及び前記第１及び第２カメラと被写体との間の撮影距離を含み、前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する視差情報算出手段をさらに有することが好ましい。
【００２５】
上記構成により、簡単な数式に従って視差情報を算出することができる。
【００２６】
本発明に係る多視点画像符号化装置では、前記第２視点画像符号化手段は、前記奥行き画像符号化手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第１視点画像内の画素値を利用して予測符号化することが好ましい。
【００２７】
上記構成により、簡単な構成により第２視点画像を符号化することができる。
【００２８】
本発明に係る多視点画像符号化装置では、前記撮像条件情報を受け取って符号化する撮像条件情報符号化手段をさらに備え、前記第１視点画像は、基準となる視点からの視点画像である基準視点画像であり、前記第２視点画像は、前記基準視点画像以外の視点画像であることが好ましい。
【００２９】
上記構成によれば、撮像条件情報を符号化して伝送することができ、基準視点から撮像した画像と基準視点以外の視点から撮像した画像とを符号化して伝送することができる。
【００３０】
本発明に係る多視点画像復号装置は、符号化された第１視点画像を受け取って復号する第１視点画像復号手段と、符号化された奥行き画像を受け取って復号する奥行き画像復号手段と、符号化された撮像条件情報を受け取って復号する撮像条件情報復号手段と、前記奥行き画像復号手段により復号された奥行き画像と、前記撮像条件情報復号手段により復号された撮像条件情報とに基づいて、第１視点と第２視点との間の視差情報を生成する視差情報生成手段と、前記第１視点画像復号手段により復号された第１視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、符号化された第２視点画像を受け取って復号する第２視点画像復号手段とを備えたことを特徴とする。
【００３１】
この特徴により、前記奥行き画像復号手段により復号された奥行き画像と、前記撮像条件情報復号手段により復号された撮像条件情報とに基づいて、第１視点と第２視点との間の視差情報を生成するので、復号された奥行き画像に基づいて視差情報が生成される。このため、視差ベクトルは、符号化装置から伝送されることなく、復号装置側で生成することができる。従って、符号化装置から復号装置へ伝送される符号量を削減し、符号化データの伝送及び記録の際の伝送路の利用効率及び記録メディアの利用効率を高めることができる。
【００３２】
本発明に係る多視点画像復号装置では、前記視差情報生成手段は、前記復号された奥行き画像を分割したブロックの代表奥行き値を決定し、前記撮像条件情報復号手段により復号された撮像条件情報は、第１視点に配置された第１カメラと第２視点に配置された第２カメラとの間のカメラ間距離、及び前記第１及び第２カメラと被写体との間の撮影距離を含み、前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出することが好ましい。
【００３３】
上記構成によれば、最も出現頻度の高い奥行き値を抽出して代表値として決定し、簡単な数式に従って視差情報を算出することができる。
【００３４】
本発明に係る多視点画像復号装置では、前記第２視点画像復号手段は、前記奥行き画像復号手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第１視点画像内の画素値を利用して復号することが好ましい。
【００３５】
上記構成によれば、簡単な構成により第２視点画像を復号することができる。
【発明の効果】
【００３６】
本発明に係る多視点画像符号化装置は、前記第１視点画像と前記第２視点画像とを撮像するための撮像条件情報とに基づいて、前記第１視点と前記第２視点との間の視差情報を生成する視差情報生成手段を設けたので、奥行き画像符号化手段により復元された奥行き画像と、第１視点画像と第２視点画像とを撮像するための撮像条件情報とに基づいて生成された第１視点と第２視点との間の視差情報を用いて予測処理を行うことができ、符号化処理の演算量を削減することができる。
【図面の簡単な説明】
【００３７】
【図１】実施の形態１に係る多視点画像符号化装置の構成を示すブロック図である。
【図２】上記多視点画像符号化装置に設けられた視差情報生成部の構成を示すブロック図である。
【図３】上記視差情報生成部に設けられた代表奥行き値決定部による代表奥行き値決定処理の概念図である。
【図４】奥行き値と視差値との関係を示す概念図である。
【図５】（ａ）は平行法撮影における撮影距離を示す図であり、（ｂ）は交差法撮影における撮影距離を示す図である。
【図６】実施の形態２に係る多視点画像復号装置の構成を示すブロック図である。
【図７】従来の画像符号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００３８】
本発明の多視点画像符号化装置及び多視点画像復号装置に関する実施の一形態について図１〜図６に基づいて説明すれば以下のとおりである。
【００３９】
（実施の形態１）
（多視点画像符号化装置の基本構成）
図１は、実施の形態１に係る多視点画像符号化装置１の構成を示すブロック図である。
【００４０】
多視点画像符号化装置１に入力される入力データは、基準視点から撮像した基準視点の視点画像（基準視点画像）、非基準視点から撮像した非基準視点の視点画像（非基準視点画像）、非基準視点画像に対応する奥行き画像、および基準視点画像と非基準視点画像とを撮像するための撮影条件情報である。基準視点画像は単一の視点による画像に限定されるが、非基準視点画像は複数の視点による画像が複数入力されてもよい。また、奥行き画像は、非基準視点画像の対応するひとつの奥行き画像でもよいし、全ての非基準視点画像に対応する複数の奥行き画像が入力されてもよい。なお、各視点画像、奥行き画像は、静止画像であっても良いし、動画像であってもよい。
【００４１】
多視点画像符号化装置１は、基準視点画像符号化部４を備えている。基準視点画像符号化部４は、基準視点から撮像した基準視点画像を受け取って符号化し、さらに、符号化した基準視点画像を再び基準視点画像に復元する。多視点画像符号化装置１には、奥行き画像符号化部５が設けられている。奥行き画像符号化部５は、非基準視点から撮像した非基準視点画像に対応する奥行き画像を符号化し、さらに、符号化した奥行き画像を再び奥行き画像に復元する。
【００４２】
多視点画像符号化装置１は、撮像条件情報符号化部６を備えている。撮像条件情報符号化部６は、基準視点画像と非基準視点画像とを撮像するための撮像条件情報を受け取って符号化する。
【００４３】
多視点画像符号化装置１は、視差情報生成部２を備えている。視差情報生成部２は、奥行き画像符号化部５により復元された奥行き画像と、基準視点画像と非基準視点画像とを撮像するための撮像条件情報とに基づいて、基準視点と非基準視点との間の視差情報を生成する。多視点画像符号化装置１には、非基準視点画像符号化部３が設けられている。非基準視点画像符号化部３は、非基準視点画像を受け取って、基準視点画像符号化部４により復元された基準視点画像と、視差情報生成部２により生成された視差情報とに基づいて、符号化する。非基準視点画像符号化部３は、奥行き画像符号化部５により復元された奥行き画像を分割したブロックに対応するブロックごとに、視差情報生成部２により生成された視差情報が示す基準視点画像内の画素値を利用して予測符号化する。
【００４４】
基準視点画像符号化部４は、基準視点画像を視点内予測符号化方式により圧縮符号化する。視点内予測符号化方式とは、単一の視点内の画像データのみに基づいて画像データを圧縮符号化する予測符号化方式をいう。視点内予測符号化方式では、図７に示した従来の動画像符号化装置７００と同様に、画面内予測及び動き補償を行って画像データを圧縮符号化する。
【００４５】
基準視点画像符号化部４は、同時に、圧縮符号化した基準視点画像に対して、逆処理すなわち復号を行い、基準視点画像に復元しておく。後述する非基準視点画像の符号化の際に参照するためである。
【００４６】
基準視点画像は、視差予測符号化方式において参照画像として使用される。視差予測符号化方式によって符号化された非基準視点画像は、さらに、動き補償時や別の視点画像からの視差予測の際の参照画像として使用される可能性がある。この時、非基準視点画像が入力画像を参照していると、復号装置側では入力画像と同一の画像は得られないので（ここでの符号化方式は非可逆圧縮を前提としている）、符号化時と復号時で、参照した画素値に不一致が生じる。不一致が生じると、それを参照してさらに動き補償や視差予測を行った別の画像の復号時にさらに不一致（＝誤差）が生じ、それが誤差となって伝播して符号化画像の品質を悪化させてしまう。従って、符号化装置側でも一旦復号した結果の画像を視差予測符号化方式の参照画像用に使用する。
【００４７】
奥行き画像符号化部５は、奥行き画像を、基準視点画像符号化部４と同様に、視点内予測符号化方式により圧縮符号化する。即ち、奥行き画像符号化部５は、奥行き画像のみに基づいて奥行き画像を圧縮符号化する。同時に、奥行き画像符号化部５は、圧縮符号化した奥行き画像に対して逆処理すなわち復号を行い、奥行き画像を表すデータに復元しておく。後述する視差情報を生成する際に参照するためである。
【００４８】
復元した奥行き画像を視差ベクトル生成に使用するのは、入力した奥行き画像から視差ベクトルを生成した場合、復号装置側では復号奥行き画像からしか視差ベクトルを生成することができないので、画像符号化装置側で生成した視差ベクトルと画像復号装置側で生成した視差ベクトルとの間に不一致が生じ、このような不一致が生じた異なる視差ベクトルを用いて符号化／復号を続けると、視差補償時や、さらにその符号化結果を参照して動き補償及び視差補償を行う際に不一致が生じ、それが誤差として伝播されてしまうからである。
【００４９】
視差情報生成部２は、奥行き画像符号化部５により復元された奥行き画像および、撮影条件情報に基づいて、視差情報を生成する。視差情報生成の詳細については後述する。
【００５０】
非基準視点画像符号化部３は、基準視点画像符号化部４により復元された基準視点画像と、視差情報生成部２により生成された視差情報とに基づいて、非基準視点画像を視点間予測符号化方式により圧縮符号化する。視点間予測符号化方式とは、ある視点から撮像した画像データを、別視点から撮像した画像データを利用して圧縮符号化する予測符号化方式をいう。
【００５１】
撮影条件情報符号化部６は、複数視点の視点画像を撮影した際の条件である撮影条件情報を、所定の符号に変換する符号化処理を行う。最終的に、基準視点画像、非基準視点画像、奥行き画像、撮影条件情報の各符号化データは、図示しない符号構成部により連結・並べ替えがなされ、符号化ストリームとして多視点画像符号化装置１の外部へ出力される。
【００５２】
（視差情報生成部の構成）
図２は、視差情報生成部２の構成を示すブロック図である。視差情報生成部２は、ブロック分割部７を有している。ブロック分割部７は、入力される奥行き画像を所定のサイズ（例えば、８画素×８画素）に従うブロックに分割して、代表奥行き値決定部８に供給する。代表奥行き値決定部８は、ブロック分割部７により分割されたブロック内の奥行き値の頻度分布に基づいて代表奥行き値を決定する。
【００５３】
視差情報生成部２には、距離情報抽出部１３が設けられている。距離情報抽出部１３は、撮影条件情報の中から、カメラ間距離Ａと撮影距離ａ（図４）に相当する情報を抽出し、視差情報算出部９へ伝送する。視差情報算出部９は、代表奥行き値決定部８により決定された代表奥行き値と、距離情報抽出部１３により抽出されたカメラ間距離Ａ及び撮影距離ａに基づいて視差情報を算出し、非基準視点画像符号化部３に供給する。
【００５４】
（代表奥行き値決定処理）
図３は、視差情報生成部２に設けられた代表奥行き値決定部８による代表奥行き値決定処理の概念図である。代表奥行き値決定部８は、ブロック分割部７により分割されたブロックごとに奥行き値の代表値を決定する。具体的には、ブロック内の奥行き値の頻度分布（ヒストグラム）を作成し、最も出現頻度の高い奥行き値を抽出して代表奥行き値として決定する。
【００５５】
図３を参照すると、視点画像１４に対応する奥行き画像１５が与えられているとする。奥行き画像１５は、輝度のみのモノクロ画像として表される。輝度が高い（＝奥行き値が大きい）領域ほどカメラからの距離が近いことを意味し、輝度が低い（＝奥行き値が小さい）領域ほどカメラからの距離が遠いことを意味する。奥行き画像１５の中の分割されたブロック１６において奥行き値が頻度分布１７に示すように現れる場合、最も出現頻度の高い奥行き値１８を、そのブロック１６の代表奥行き値として決定する。
【００５６】
なお、奥行き値の代表値を決定する方法として、前述のようなヒストグラムに基づく方法の例を説明したが、本発明はこれに限定されない。ヒストグラムに基づく方法の他に、以下の方法に従って決定してもよい。例えば、ブロック内奥行き値の（ａ）中間値；（ｂ）出現頻度を考慮した平均値；（ｃ）カメラからの距離が最も近い値（ブロック内奥行き値の最大値）；（ｄ）カメラからの距離が最も遠い値（ブロック内奥行き値の最小値）；をそれぞれ抽出して代表値として決定しても良い。どの方法を選択するかについては、例えば、それぞれの方法に基づいて得られた奥行き代表値を用いて視差予測をした際のもっとも予測誤差の小さい方法を選択するという方法がある。
【００５７】
奥行き値の代表値を決定する方法を選択する方法の具体例を以下に説明する。まず、上記（ａ）〜（ｄ）を含む各方法に基づいて決定した奥行き値の代表値および、カメラ間距離と撮影距離とから、後述の方法に従って視差情報を算出する。得られる視差情報は、非基準視点画像における符号化対象ブロックの、基準視点画像に対する画像のズレを意味するものであるから、そのズレに対応する基準視点画像上の画像ブロックの画素値と、現在の符号化対象ブロックの画素値との差分をとると、その差分は充分小さな値になるはずである。この差分値が小さければ小さいほど符号化する際の効率が良くなるため、もっとも差分値が小さくなる視差情報すなわち奥行き代表値が得られる決定方法を選択すればよい。
【００５８】
また、奥行き画像１５を分割する際のブロックサイズは、前述の８画素×８画素サイズに限らず、１６画素×１６画素、４画素×４画素などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素などのサイズでもよい。これらのサイズは、奥行き画像１５及び対応する視点画像１４に含まれる被写体の大きさや、要求される圧縮率などに応じて最適なサイズを選択する。
【００５９】
視差情報算出部９は、代表奥行き値決定部８により決定された代表奥行き値Ｚと、距離情報抽出部１３により撮影条件情報から抽出されたカメラ間隔Ａおよび撮影距離ａを示す情報とに基づいて、後述する（式１）に従って、該当ブロックの視差値（視差情報）ｖを算出する。
【００６０】
この視差情報を算出する際、奥行き画像１５に含まれる奥行き値は、カメラから被写体までの距離そのものではなく、撮影した画像に含まれる距離レンジを所定の数値範囲（例えば０〜２５５）によって表したものである。このため、撮影条件情報に含まれる撮影時の距離レンジを表す情報（例えば、画像に含まれる被写体に関するカメラからの距離の最小値と最大値で構成される）に基づいて、奥行き値を実際の距離である画像距離に変換し、撮影距離ａ及びカメラ間隔Ａなどの実距離を示す数値と次元を合わせておく。視差値の算出式は次の（式１）の通り定義する。
【００６１】
ｖ＝（ａ−Ｚ）／Ｚ×Ａ＝（ａ／Ｚ−１）×Ａ  …（式１）
ただし、
ｖ  …  視差値（視差情報）
ａ  …  撮影距離
Ａ  …  カメラ間隔
Ｚ  …  代表奥行き値
ここで、（式１）と各パラメータの意味を説明する。図４は、奥行き値と視差値との関係を示す概念図である。２つの視点すなわちカメラ１０Ａ・１０Ｂと、２つの被写体１２Ａ・１２Ｂとが、図４のような位置関係にある場合を想定する。この時、各被写体１２Ａ・１２Ｂ上の正面の点１９Ａ・１９Ｂは、カメラ１０Ａ・１０Ｂから撮影距離ａだけ離れた平面２０上の位置ＰＬ１・ＰＲ１及び位置ＰＬ２・ＰＲ２に投影される。
【００６２】
平面２０が観察時のスクリーン面に相当するとみなすと、位置ＰＬ１及びＰＲ１は、被写体１２Ａ上の点１９Ａに関する左視点画像上と右視点画像上との画素の対応点を意味する。同様に位置ＰＬ２・ＰＲ２は、被写体１２Ｂ上の点１９Ｂに関する左視点画像上と右視点画像上との画素の対応点を意味する。
【００６３】
そして、２つのカメラ１０Ａ・１０Ｂの間の距離をＡ、カメラ１０Ａ・１０Ｂの撮影距離をａ、被写体１２Ａ・１２Ｂの正面の点１９Ａ・１９Ｂまでの距離（代表奥行き値）をＺ１、Ｚ２とすると、被写体１２Ａに対応するカメラ１０Ａの視点からの画像とカメラ１０Ｂの視点からの画像との間の視差ｄ１と、被写体１２Ｂに対応するカメラ１０Ａの視点からの画像とカメラ１０Ｂの視点からの画像との間の視差ｄ２と、上記各パラメータ（カメラ間隔Ａ、撮影距離ａ、代表奥行き値Ｚ１・Ｚ２）との間には、以下の関係が成り立つ。ここで、代表奥行き値Ｚ１・Ｚ２は、（式１）における画像距離（代表値）Ｚと同様に、カメラからの実距離であって、奥行き画像における奥行き値そのものではない。
【００６４】
Ａ：Ｚ１＝ｄ１：（ａ−Ｚ１）  …（式２）
Ａ：Ｚ２＝ｄ２：（Ｚ２−ａ）  …（式３）
そして、視差値ｖを、右視点画像の対応点に対する左視点画像の対応点の位置（ベクトル）として定義すると、前述の（式１）で視差値ｖを与えることができる。視差値ｖは、図２および図３を用いて説明した通り、所定のブロック単位で算出することができる。このため、奥行き画像をブロック分割部７で分割する際のブロックサイズを、非基準視点画像符号化部３における視差予測符号化方式の処理単位と同じサイズに設定することにより、視差情報算出部９で生成した視差値を、そのまま非基準視点画像に関する視差ベクトルとして扱うことができる。すなわち、非基準視点画像符号化部３は、視差予測符号化を行う際に、視点画像間でブロックマッチングをとるような演算コストの高い処理を行う代わりに、（式１）に従って視差情報生成部２が算出した視差値をそのまま用いて視差予測符号化を行うことができる。
【００６５】
図５（ａ）は平行法撮影における撮影距離を示す図であり、（ｂ）は交差法撮影における撮影距離を示す図である。上述したカメラ１０Ａ・１０Ｂの撮影距離ａは、平行法撮影の場合、すなわち２つのカメラ１０Ａ・１０Ｂの光軸が平行の場合には、撮影時にピントを合わせた距離（焦点距離）を撮影距離ａに相当するとみなし（図５（ａ））、交差法撮影の場合、すなわち２つのカメラ１０Ａ・１０Ｂの光軸が前方で交差する場合には、カメラ１０Ａ・１０Ｂから交差点（クロスポイント）までの距離を撮影距離ａに相当するとみなしてよい（図５（ｂ））。
【００６６】
以上、本発明の実施の形態の一つである多視点画像符号化装置１について説明した。図１に示したように、本実施の形態では視点画像が基準視点画像と非基準視点画像との２つ、奥行き画像が１つであるケースを例に挙げているが、視点画像が３つ以上の場合や、奥行き画像が２つ以上の場合でも、本発明の思想に基づいて多視点画像符号化装置を構成することができる。例えば視点画像が３つの場合は、１つの視点画像を基準視点として扱って視点内予測符号化方式により圧縮符号化し、残りの２つの視点画像は非基準視点の視点画像として視点間予測符号化方式により圧縮符号化する。あるいは、基準視点の視点画像が２つで、残りの１つの視点画像のみ非基準視点の視点画像としてもよい。奥行き画像が２つの場合は、２つとも視点内予測符号化方式により圧縮符号化してもよいし、一方を基準視点、他方を非基準視点とみなして、それぞれ視点内予測符号化方式と視点間予測符号化方式により圧縮符号化してもよい。奥行き画像が３つの場合は、視点画像が３つの場合と同様の考え方を適用できる。さらに、視点画像と奥行き画像がそれぞれ３つを超える場合も、同様の考え方を適用することができる。
【００６７】
なお、本実施形態において、奥行き画像は、入力データとしてあらかじめ用意されているものとして扱っているが、奥行き画像は、複数の視点画像からブロックマッチング等により推定する方法や、赤外線や超音波などを被写体に向けて放射しその反射時間を測定する方法等によって、生成することができる。
【００６８】
（実施の形態２）
（多視点画像復号装置の構成）
図６は、実施の形態２に係る多視点画像復号装置５０の構成を示すブロック図である。多視点画像復号装置５０に入力されるデータは、実施形態１に係る多視点画像符号化装置１から出力される基準視点画像の符号化データ、非基準視点画像の符号化データ、奥行き画像の符号化データ、撮影条件情報の符号化データである。各符号化データは、符号化ストリームとして連結されて伝送されたものを、図示しない符号分離部により分離・抽出することによって与えられる。
【００６９】
多視点画像復号装置５０は、基準視点画像復号部５３を備えている。基準視点画像復号部５３は、符号化された基準視点画像を受け取って復号する。多視点画像復号装置５０には、奥行き画像復号部５４が設けられている。奥行き画像復号部５４は、符号化された奥行き画像を受け取って復号する。多視点画像復号装置５０は、撮像条件情報復号部５５を備えている。撮像条件情報復号部５５は、符号化された撮像条件情報を受け取って復号する。
【００７０】
多視点画像復号装置５０には、視差情報生成部５１が設けられている。視差情報生成部５１は、奥行き画像復号部５４により復号された奥行き画像と、撮像条件情報復号部５５により復号された撮像条件情報とに基づいて、基準視点と非基準視点との間の視差情報を生成する。多視点画像復号装置５０は、非基準視点画像復号部５２を備えている。非基準視点画像復号部５２は、基準視点画像復号部５３により復号された基準視点画像と、視差情報生成部５１により生成された視差情報とに基づいて、符号化された非基準視点画像を受け取って復号する。
【００７１】
視差情報生成部５１は、復号された奥行き画像を分割したブロックの代表奥行き値を決定する。撮像条件情報復号部５５により復号された撮像条件情報は、基準視点に配置されたカメラと非基準視点に配置されたカメラとの間のカメラ間距離、及び両カメラと被写体との間の撮影距離を含む。視差情報生成部５１は、各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて視差情報を算出する。
【００７２】
非基準視点画像復号部５２は、奥行き画像復号部５４により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す基準視点画像内の画素値を利用して復号する。
【００７３】
基準視点画像復号部５３は、視点内予測符号化方式により、圧縮符号化された符号化データを復号し、基準視点画像を復元する。復元した基準視点画像は、そのまま表示に使用されると共に、後述する非基準視点画像の復号にも使用される。奥行き画像復号部５４は、基準視点画像復号部５３と同様に、視点内予測符号化に従う方式により、圧縮符号化された符号化データを復号し、奥行き画像を復元する。復元した奥行き画像は、非基準視点画像を生成・表示するために使用される。
【００７４】
撮影条件情報復号部５５は、撮影条件情報の符号化データから、撮影時のカメラ間距離と撮影距離とを含む情報を復元する。復元した撮影条件情報は、奥行き画像と共に、必要な視点画像を生成・表示するために使用される。視差情報生成部５１は、復元された前記奥行き画像および、撮影条件情報に基づいて、視差情報を生成する。視差情報生成の方法・手順は、前述の多視点画像符号化装置１における視差情報生成部２と同様である。
【００７５】
非基準視点画像復号部５２は、視点間予測符号化に従う方式により、圧縮符号化された非基準視点画像の符号化データを、復元された前記基準視点画像と、前記視差情報とに基づいて復号し、非基準視点画像を復元する。最終的に、基準視点画像、非基準視点画像は、そのまま表示用画像として使用され、また、必要に応じて、奥行き画像と撮影条件情報とに基づいて、その他の視点の画像が表示用に生成される。視点画像の生成処理については、多視点画像復号装置５０内で行ってもよいし、多視点画像復号装置５０の外部で行ってもよい。
【００７６】
ここで、多視点画像復号装置５０に入力される符号化データのうち、視点間予測符号化方式により圧縮符号化された非基準視点画像の符号化データについてさらに説明する。前述の画像符号化装置１に関する説明の通り、視差予測符号化方式に必要な視差ベクトルは、複数の視点画像から検出するのではなく、奥行き画像から生成することによって得られている。画像復号装置５０においても、奥行き画像が符号化データとして与えられるため、奥行き画像を復元した後、復元された奥行き画像から視差ベクトルを生成している。すなわち、視差ベクトルは、画像符号化装置から伝送されることなく、画像復号装置側で生成することができる。この構成により、画像符号化装置から画像復号装置へ伝送される符号量を削減し、符号化データの伝送や記録の際に、伝送路や記録メディアの利用効率を高めることができる。
【００７７】
前述した特許文献１に記載の画像符号化装置では、符号化データの中に視差ベクトルも含む構成となっているが（特許文献１：明細書段落［０１０５］）、実施の形態２に係る多視点画像復号装置５０では、奥行き画像から視差ベクトルを生成することができ、復号装置側でも視差ベクトルを生成することができるので、実施の形態１に係る多視点画像符号化装置１では視差ベクトルを符号化する必要がなくなり、その分の符号量を削減することができる。
【００７８】
（画像符号化・復号装置のソフトウェア的実現方法）
最後に、多視点画像符号化装置１および多視点画像復号装置５０の各ブロック、特に基準視点画像符号化部４、奥行き画像符号化部５、視差情報生成部２、非基準視点画像符号化部３、基準視点画像復号部５３、奥行き画像復号部５４、視差情報生成部５１、および非基準視点画像復号部５２、は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。
【００７９】
後者の場合、多視点画像符号化装置１および多視点画像復号装置５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像符号化装置１００および画像復号装置６００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００８０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【００８１】
また、多視点画像符号化装置１および多視点画像復号装置５０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【００８２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００８３】
本発明は、複数の視点から撮影された画像とその奥行き画像とを符号化する多視点画像符号化装置と、それらを復号する多視点画像復号装置に適用することができる。
【符号の説明】
【００８４】
１  多視点画像符号化装置
２  視差情報生成部（視差情報生成手段）
３  非基準視点画像符号化部（第２視点画像符号化手段）
４  基準視点画像符号化部（第１視点画像符号化手段）
５  奥行き画像符号化部（奥行き画像符号化手段）
６  撮像条件情報符号化部（撮像条件情報符号化手段）
７  ブロック分割部
８  代表奥行き値決定部（代表奥行き値決定手段）
９  視差情報算出部
１０Ａ、１０Ｂ  カメラ（第１カメラ、第２カメラ）
１２Ａ、１２Ｂ  被写体
１３  距離情報抽出部
１４  視点画像
１５  奥行き画像
１６  ブロック
１７  頻度分布
１８  奥行き値
１９Ａ、１９Ｂ  点
２０  平面
ＰＲ１、ＰＬ１、ＰＲ２、ＰＬ２  位置
【図１】
2012100019.tif 000003
【図２】
2012100019.tif 000004
【図４】
2012100019.tif 000005
【図５】
2012100019.tif 000006
【図６】
2012100019.tif 000007
【図７】
2012100019.tif 000008
【図３】
2012100019.tif 000009
【手続補正書】
【提出日】平成23年12月16日(2011.12.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１視点から撮像した第１視点画像を受け取って符号化し、符号化した第１視点画像を第１視点画像に復元する第１視点画像符号化手段と、
第２視点から撮像した第２視点画像に対応する奥行き画像を符号化し、符号化した奥行き画像を奥行き画像に復元する奥行き画像符号化手段と、
前記奥行き画像符号化手段により復元された奥行き画像と、前記第１視点画像と前記第２視点画像とを撮像するための撮像条件情報とに基づいて、前記第１視点と前記第２視点との間の視差情報を生成する視差情報生成手段と、
前記第１視点画像符号化手段により復元された第１視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、前記第２視点画像を受け取って符号化する第２視点画像符号化手段とを備え、
前記第２視点画像符号化手段は、前記奥行き画像符号化手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第１視点画像内の画素値を利用して予測符号化することを特徴とする多視点画像符号化装置。
【請求項２】
前記視差情報生成手段は、前記復元された奥行き画像を分割したブロックの代表奥行き値を決定する代表奥行き値決定手段を有する請求項１記載の多視点画像符号化装置。
【請求項３】
前記代表奥行き値決定手段は、前記復元された奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、前記代表奥行き値を決定する請求項２記載の多視点画像符号化装置。
【請求項４】
前記撮像条件情報は、前記第１視点に配置された第１カメラと前記第２視点に配置された第２カメラとの間のカメラ間距離、及び前記第１及び第２カメラと被写体との間の撮影距離を含み、
前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する視差情報算出手段をさらに有する請求項２記載の多視点画像符号化装置。
【請求項５】
前記撮像条件情報を受け取って符号化する撮像条件情報符号化手段をさらに備え、
前記第１視点画像は、基準となる視点からの視点画像である基準視点画像であり、
前記第２視点画像は、前記基準視点画像以外の視点画像である請求項１記載の多視点画像符号化装置。
【請求項６】
符号化された第１視点画像を受け取って復号する第１視点画像復号手段と、
符号化された奥行き画像を受け取って復号する奥行き画像復号手段と、
符号化された撮像条件情報を受け取って復号する撮像条件情報復号手段と、
前記奥行き画像復号手段により復号された奥行き画像と、前記撮像条件情報復号手段により復号された撮像条件情報とに基づいて、第１視点と第２視点との間の視差情報を生成する視差情報生成手段と、
前記第１視点画像復号手段により復号された第１視点画像と、前記視差情報生成手段により生成された視差情報とに基づいて、符号化された第２視点画像を受け取って復号する第２視点画像復号手段とを備え、
前記第２視点画像復号手段は、前記奥行き画像復号手段により復元された奥行き画像を分割したブロックに対応するブロックごとに、前記視差情報が示す第１視点画像内の画素値を利用して復号することを特徴とする多視点画像復号装置。
【請求項７】
前記視差情報生成手段は、前記復号された奥行き画像を分割したブロックの代表奥行き値を決定し、
前記撮像条件情報復号手段により復号された撮像条件情報は、第１視点に配置された第１カメラと第２視点に配置された第２カメラとの間のカメラ間距離、及び前記第１及び第
２カメラと被写体との間の撮影距離を含み、
前記視差情報生成手段は、前記各ブロックの代表奥行き値と、前記カメラ間距離及び前記撮影距離とに基づいて、前記視差情報を算出する請求項６記載の多視点画像復号装置。