(57)【要約】【課題】奥行き画像の符号化を行わずに、複数の視点画像を符号化できる。【解決手段】第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像に対応する奥行き画像と、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第１の視点と前記第２の視点との間の視差を示す視差情報を生成する視差情報生成部と、前記第１視点画像と前記視差情報とに基づいて、前記第２視点画像を視点間予測符号化する第２視点画像符号化部と、を備える。【選択図】図２
2013085063.tif 000002
【特許請求の範囲】
【請求項１】
第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像に対応する奥行き画像と、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第１の視点と前記第２の視点との間の視差を示す視差情報を生成する視差情報生成部と、
前記第１視点画像と前記視差情報とに基づいて、前記第２視点画像を視点間予測符号化する第２視点画像符号化部と、
を備えることを特徴とする多視点画像符号化装置。
【請求項２】
前記奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、ブロックごとの代表奥行き値を決定する代表奥行き値決定部を備え、
前記視差情報生成部は、前記代表奥行き値に基づいて前記視差情報を生成する
ことを特徴とする、請求項１に記載の多視点画像符号化装置。
【請求項３】
前記撮影条件情報は、前記第１視点に配置された第１の撮像部と前記第２視点に配置された第２の撮像部との間の撮像部間距離を示す情報、及び前記第１又は第２撮像部と被写体との間の撮影距離を示す情報を含み、
前記視差情報生成部は、前記代表奥行き値決定部によって決定されたブロックごとの代表奥行き値と、前記撮像部間距離及び前記撮影距離とに基づいて、ブロックごとの視差情報を生成することを特徴とする請求項１又は２に記載の多視点画像符号化装置。
【請求項４】
第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像と、前記第１視点画像と前記第２視点画像とから、前記第１の視点と前記第２の視点との間の視差情報を生成する視差情報生成部と、
前記第１視点画像と、前記視差情報とに基づいて、前記第２視点画像を視点間予測符号化する第２視点画像符号化部と、
前記第１視点画像と前記第２視点画像とを撮影した際の、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１又は第２撮像部と被写体との間の撮影距離を含む撮影条件情報を符号化する撮影条件情報符号化部と、
を備えることを特徴とする多視点画像符号化装置。
【請求項５】
第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像とをそれぞれ圧縮符号化する視点画像符号化部と、
前記第２視点画像に対応する奥行き画像と、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１又は第２撮像部と被写体との間の撮影距離とに基づいて、前記第１の視点と前記第２の視点との間の視差情報を生成する視差情報生成部と、
を備えることを特徴とする多視点画像符号化装置。
【請求項６】
第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像と、第１視点画像と第２視点画像間のブロック単位の視差情報を取得する第２視点画像取得部と、
前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報を取得する撮影条件情報取得部と、
前記第２視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第２視点画像に対応する奥行き画像を生成する奥行き画像生成部と
を備えることを特徴とする多視点画像復号装置。
【請求項７】
前記撮影条件情報から、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１又は第２撮像部と被写体との間の撮影距離を抽出する距離情報抽出部と、
前記第２視点画像復号部によって抽出された視差情報と、前記撮像部間距離及び撮影距離とから、ブロック単位の代表奥行き値を算出する代表奥行き値算出部と、
前記代表奥行き値に基づいて画素単位の奥行き画像を生成する奥行き値マッピング部とを備えることを特徴とする、請求項６に記載の多視点画像復号装置。
【請求項８】
多視点画像符号化装置における方法であって、
視差情報生成部が、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像に対応する奥行き画像と、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第１の視点と前記第２の視点との間の視差を示す視差情報を生成する視差情報生成過程と、
第２視点画像符号化部が、前記第１視点画像と前記視差情報とに基づいて、前記第２視点画像を視点間予測符号化する第２視点画像符号化過程と、
を有することを特徴とする多視点画像符号化方法。
【請求項９】
多視点画像復号装置における方法であって、
第２視点画像取得部が、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像と、第１視点画像と第２視点画像間のブロック単位の視差情報を取得する第２視点画像取得過程と、
撮影条件情報取得部が、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報を取得する撮影条件情報取得過程と、
奥行き画像生成部が、前記第２視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第２視点画像に対応する奥行き画像を生成する奥行き画像生成過程と、
を有することを特徴とする多視点画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、及び多視点画像復号方法に関する。
【背景技術】
【０００２】
近年、立体画像ディスプレイ及び立体画像コンテンツの普及が進みつつある。立体画像ディスプレイでは、２眼式の立体画像ディスプレイが広く用いられている。２眼式の立体画像ディスプレイの方式の一つにアクティブシャッター方式がある。アクティブシャッター方式の立体画像ディスプレイは、左眼用画像と右眼用画像を時分割で交互にスクリーンに表示させる。一方、観賞者が装着する液晶シャッターメガネは、左眼と右眼に対応したシャッターを、それぞれ左眼用画像、右眼用画像を表示するタイミングに同期させて開閉する。これにより、左眼は左眼用画像のみ、右眼は右眼用画像のみを見ることが可能となる。その結果、鑑賞者は、ディスプレイに表示された画像について立体感を知覚することができる。
【０００３】
立体画像を表示・鑑賞するためには、上記の通り左眼用と右眼用の２視点分の画像データが必要になる。従って、立体画像の画像データは、従来の平面画像の画像データと比べると情報量が約２倍に増加する。これを効率よく圧縮・記録するための符号化方式として、国際標準であるＩＴＵ−Ｔ  Ｈ．２６４、及びＡｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＩＳＯ／ＩＥＣ  １４４９６−１０）のＡｎｎｅｘ  Ｈとして、Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、ＭＶＣと記す）が規定されている。ＭＶＣは、多視点の動画像を効率よく圧縮するための符号化方式である。ＭＶＣは、例えば３Ｄ（３次元；ｔｈｒｅｅ  ｄｉｍｅｎｓｉｏｎ）映画などの立体映像をＢｌｕ−ｒａｙ  Ｄｉｓｃに格納する際の符号化方式として採用されている。
【０００４】
上記のような、左眼用画像と右眼用画像の２視点の画像を表示する２眼式の立体画像ディスプレイの普及が進む一方で、多眼式の立体画像ディスプレイの普及も期待されている。多眼式の立体画像ディスプレイは、スクリーン面から発する光の方向を制御するための光学的な機構を備える。多眼式の立体画像ディスプレイは、この機構により、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せる。そのため、多眼式の立体画像ディスプレイでは、アクティブシャッター方式で使用するようなメガネは不要となる。さらに、多眼式の立体画像ディスプレイでは、２視点を超える視点数での画像表示、すなわち観賞位置の移動に伴う観賞画像の変化を再現させることも可能となる。このような光学的な機構の例としてはパララクスバリアやレンティキュラレンズなどがある。これらの機構では、その構造と加工の精細度により、観賞可能な視点数が決定される。現状では、５視点や８視点などの多眼式立体画像ディスプレイが実用化されている。
【０００５】
多眼式の立体画像ディスプレイを使用すると、視点が２視点に限定されないため、立体画像の観賞における自由度や自然さが向上するという利点がある。しかし一方で、視点数が増えることによって、必要となる画像のデータ量が増加するため、記録や伝送にかかるコストが増大するという問題がある。
【０００６】
この問題に対して、特許文献１では、複数の視点画像を符号化すると共に、複数の視点画像から生成した奥行き画像も符号化し、両者を含む符号化ストリームを生成する画像符号化装置が開示されている。奥行き画像を利用することで、入力された視点画像から、入力にない仮想視点の画像を生成することができるため、多視点画像を効率よく伝送または蓄積することができる。
ここで、特許文献１記載の技術では、視差補償予測符号化方式が利用されている。視差補償予測符号化方式は、撮影視点が異なることにより生じる視差を画像から抽出し、視差を補償して予測符号化を行うものである。視差補償予測符号化方式は、前述のＭＶＣでも導入されている技術である。
【０００７】
視差補償予測符号化方式における視差の抽出は、ブロックマッチングにより行われる。ブロックマッチングとは、対象画像を所定サイズで分割したブロックごとに、参照画像との比較で最も一致度の高いブロックを探索する処理である。特許文献２には、ブロックマッチングを複数画像間に適用して視差ベクトルを検出する符号化方式が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１５７８２３号公報
【特許文献２】特開平６−９８３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１記載の技術では、符号化する視点画像の数を減らす一方で、奥行き画像を符号化する処理が必要になるため、処理量及び生成される符号量が増大してしまう。また、特許文献２記載の技術では、ブロックマッチング処理において、ブロック内の全画素を対象に誤差評価を行いながら所定のサーチ範囲にわたって算出、判定を行う。このため、ブロックマッチング処理には、大きな処理負荷がかかってしまう。
つまり、従来技術では、複数視点の画像処理に膨大な処理負荷がかかるという問題点があった。
【００１０】
本発明は上記の点に鑑みてなされたものであり、複数視点の画像処理における処理負荷を軽減できる多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、及び多視点画像復号方法を提供する。
【課題を解決するための手段】
【００１１】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像に対応する奥行き画像と、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第１の視点と前記第２の視点との間の視差を示す視差情報を生成する視差情報生成部と、前記第１視点画像と前記視差情報とに基づいて、前記第２視点画像を視点間予測符号化する第２視点画像符号化部と、を備えることを特徴とする多視点画像符号化装置である。
【００１２】
（２）また、本発明の一態様は、上記の多視点画像符号化装置において、前記奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、ブロックごとの代表奥行き値を決定する代表奥行き値決定部を備え、前記視差情報生成部は、前記代表奥行き値に基づいて前記視差情報を生成することを特徴とする。
【００１３】
（３）また、本発明の一態様は、上記の多視点画像符号化装置において、前記撮影条件情報は、前記第１視点に配置された第１の撮像部と前記第２視点に配置された第２の撮像部との間の撮像部間距離を示す情報、及び前記第１又は第２撮像部と被写体との間の撮影距離を示す情報を含み、前記視差情報生成部は、前記代表奥行き値決定部によって決定されたブロックごとの代表奥行き値と、前記撮像部間距離及び前記撮影距離とに基づいて、ブロックごとの視差情報を生成することを特徴とする。
【００１４】
（４）また、本発明の一態様は、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像と、前記第１視点画像と前記第２視点画像とから、前記第１の視点と前記第２の視点との間の視差情報を生成する視差情報生成部と、前記第１視点画像と、前記視差情報とに基づいて、前記第２視点画像を視点間予測符号化する第２視点画像符号化部と、前記第１視点画像と前記第２視点画像とを撮影した際の、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１又は第２撮像部と被写体との間の撮影距離を含む撮影条件情報を符号化する撮影条件情報符号化部と、を備えることを特徴とする多視点画像符号化装置である。
【００１５】
（５）また、本発明の一態様は、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像とをそれぞれ圧縮符号化する視点画像符号化部と、前記第２視点画像に対応する奥行き画像と、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１又は第２撮像部と被写体との間の撮影距離とに基づいて、前記第１の視点と前記第２の視点との間の視差情報を生成する視差情報生成部と、を備えることを特徴とする多視点画像符号化装置である。
【００１６】
（６）また、本発明の一態様は、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像と、第１視点画像と第２視点画像間のブロック単位の視差情報を取得する第２視点画像取得部と、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報取得する撮影条件情報取得部と、前記第２視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第２視点画像に対応する奥行き画像を生成する奥行き画像生成部と
を備えることを特徴とする多視点画像復号装置である。
【００１７】
（７）また、本発明の一態様は、前記撮影条件情報から、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び前記第１又は第２撮像部と被写体との間の撮影距離を抽出する距離情報抽出部と、前記第２視点画像復号部によって抽出された視差情報と、前記撮像部間距離及び撮影距離とから、ブロック単位の代表奥行き値を算出する代表奥行き値算出部と、前記代表奥行き値に基づいて画素単位の奥行き画像を生成する奥行き値マッピング部とを備えることを特徴とする。
【００１８】
（８）また、本発明の一態様は、多視点画像符号化装置における方法であって、視差情報生成部が、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像に対応する奥行き画像と、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第１の視点と前記第２の視点との間の視差を示す視差情報を生成する視差情報生成過程と、第２視点画像符号化部が、前記第１視点画像と前記視差情報とに基づいて、前記第２視点画像を視点間予測符号化する第２視点画像符号化過程と、を有することを特徴とする多視点画像符号化方法である。
【００１９】
（９）また、本発明の一態様は、多視点画像復号装置における方法であって、第２視点画像取得部が、第１の視点の画像である第１視点画像と、第２の視点の画像である第２視点画像と、第１視点画像と第２視点画像間のブロック単位の視差情報を取得する第２視点画像取得過程と、撮影条件情報取得部が、前記第１視点画像と前記第２視点画像とを撮影した際の撮影条件を示す撮影条件情報を取得する撮影条件情報取得過程と、奥行き画像生成部が、前記第２視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第２視点画像に対応する奥行き画像を生成する奥行き画像生成過程と、を有することを特徴とする多視点画像復号方法である。
【発明の効果】
【００２０】
本発明によれば、複数視点の画像処理における処理負荷を軽減できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る多視点画像符号システムを示す概念図である。
【図２】本実施形態に係る撮像機器の構成を示す概略ブロック図である。
【図３】本実施形態に係る表示機器の構成を示す概略ブロック図である。
【図４】本実施形態に係る多視点画像符号化装置の構成を示す概略ブロック図である。
【図５】本実施形態に係る視差情報生成部の構成を示す概略ブロック図である。
【図６】本実施形態に係る代表奥行き値決定処理を説明する説明図である。
【図７】本実施形態に係る奥行き値と視差値との関係を説明する説明図である。
【図８】本実施形態に係る撮影距離を説明する説明図である。
【図９】本実施形態に係る多視点画像符号化装置の処理を示すフローチャートである。
【図１０】本実施形態に係る多視点画像復号装置の構成を示す概略ブロック図である。
【図１１】本実施形態に係る奥行き画像生成部の構成を示すブロック図である。
【図１２】本実施形態に係る多視点画像復号装置の処理を示すフローチャートである。
【図１３】本発明の第２の実施形態に係る多視点画像符号化装置の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００２２】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本実施形態に係る多視点画像処理システムＡを示す概念図である。
図示する例では、多視点画像処理システムＡは、撮像機器１及び表示機器２を具備する。
【００２３】
撮像機器１は、複数の撮像部１１−１、１１−２を有する。撮像機器１は、撮像部１１−１、１１−２を用いて撮像し、それぞれ基準視点画像及び非基準視点画像を撮像する。撮像機器１は、撮像した複数の画像に基づいて、符号化ストリームを生成する。
表示機器２は、撮像機器１で生成された符号化ストリームを復号し立体画像情報を生成する。表示機器２は、生成した立体画像情報に基づいて立体画像を表示部２４に表示する。
図１では、撮像機器１は小型のディジタルカメラに実装されており、２視点のものを示したが、本発明の実施形態はこれに限定されない。
【００２４】
図２は、撮像機器１の構成を示す概略ブロック図である。撮像機器１は、撮像部１１−１、１１−２、撮影制御部１２、多視点画像符号化装置１３、通信部１４を含んで構成される。
撮像部１１−１、１１−２は、画像を撮像する。ここで、撮像部１１−１、１１−２は、撮影制御部１２から焦点距離を設定され、設定された焦点距離となるようにレンズを調整して撮像する。撮像部１１−１、１１−２は、異なる視点から同一視野角内の画像を撮像する。撮像部１１−１、１１−２は、それぞれが異なる視点に対応する。基準視点は、多視点画像データを生成する際の基準となる視点であり、撮像部１１−１のレンズが設けられた位置に対応する。非基準視点は、基準視点とは別の視点であり、撮像部１１−２のレンズが設けられた位置に対応する。撮像部１１−１、１１−２は、撮像した画像データを撮影制御部１２に出力する。
【００２５】
撮影制御部１２は、撮像部１１−１、１１−２の各々から入力された画像データに基づいて、基準視点画像、非基準視点画像を生成する。ここで、基準視点画像とは、撮像部１１−１で撮像した画像データに基づいて生成した画像である。非基準視点画像とは、撮像部１１−２で撮像した画像データに基づいて生成した画像である。
撮影制御部１２は、距離測定手段（図示しない）によって測定した距離であって、被写体と撮像部１１−２との間の距離に基づいて、奥行き画像を生成する。奥行き画像とは、撮像された被写体と撮像部１１−２との間の距離を、非基準視点画像と同じ視野の各画素の画素値に割り当てた画像である。奥行き画像の詳細については後述する。
【００２６】
撮影制御部１２は、撮像部間距離Ｂや、焦点距離（撮影距離）Ｌ等を含む撮影条件情報を生成する。ここで、撮像部間距離Ｂとは、予め定められた撮像部１１−１、１１−２の間の距離である。また、焦点距離Ｌとは、撮影制御部１２が設定した撮像部１１−１、１１−２と被写体との距離である。撮影制御部１２は、基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を多視点画像符号化装置１３に出力する。
【００２７】
多視点画像符号化装置１３は、奥行き画像と撮影条件情報とに基づいて、基準視点と非基準視点との間の視差情報を生成する。多視点画像符号化装置１３は、基準視点画像、非基準視点画像、及び生成した視差情報に基づいて、非基準視点画像を視点間予測符号化することで、残差画像を生成する。ここで、残差画像とは、非基準視点画像の各画素の画素値から基準視点画像の各画素の画素値を減じた画像である。
多視点画像符号化装置１３は、残差画像、基準視点画像、視差情報及び撮影条件情報を符号化することで、それぞれ符号化残差画像、符号化基準視点画像、符号化視差情報及び符号化撮影条件情報を生成する。符号化多視点画像符号化装置１３は、符号化基準視点画像、符号化残差情報、符号化視差情報、及び符号化撮影条件情報を通信部１４に出力する。なお、多視点画像符号化装置１３の詳細については後述する。
【００２８】
通信部１４は、多視点画像符号化装置１３から入力された符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を含む符号化ストリームを生成する。通信部１４は、生成した符号化ストリームを表示機器２に送信する。符号化ストリームの送信は、インターフェイスを介する有線又は無線伝送手段により行う。無線による伝送には赤外線を用いるものも含む。
【００２９】
図３は、表示機器２の構成を示す概略ブロック図である。表示機器２は、通信部２１、多視点画像復号装置２２、画像処理部２３、及び表示部２４を含んで構成される。
通信部２１は、撮像機器１から送信された符号化ストリームを受信する。通信部２１は、受信した符号化ストリームから符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を抽出する。通信部２１は、抽出した符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を多視点画像復号装置２２に出力する。
【００３０】
多視点画像復号装置２２は、通信部２１から入力された符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を復号することで、基準視点画像、残差画像、視差情報、及び撮影条件情報を生成する。多視点画像復号装置２２は、基準視点画像及び残差画像に基づいて非基準視点画像を生成する。また、多視点画像復号装置２２は、視差情報及び撮影条件情報に基づいて、非基準視点画像に対応する奥行き画像を生成する。多視点画像復号装置２２は、生成した基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を画像処理部２３に出力する。なお、多視点画像復号装置２２の詳細については後述する。
【００３１】
画像処理部２３は、多視点画像復号装置２２から入力された基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報に基づいて、立体画像情報を生成する。画像処理部２３は、図示しない操作手段や制御手段からの指示に応じて、基準視点画像や非基準視点画像とは異なる視点に対応する仮想視点画像を生成する。仮想視点画像の生成の際は、奥行き画像を利用して、基準視点画像および非基準視点画像の各画素値に基づいて仮想視点画像を生成する。画像処理部２３は、基準視点画像、非基準視点画像、生成した仮想視点画像から、２視点以上の画像を含んで構成される立体画像情報を生成し、生成した立体画像情報を表示部２４に出力する。
表示部２４は、画像処理部２３から入力された立体画像情報に基づいて、立体画像を表示する。
【００３２】
図４は、本実施形態に係る多視点画像符号化装置１３の構成を示す概略ブロック図である。多視点画像符号化装置１３は、視点画像符号化部１３１、視差情報生成部１３２、撮影条件情報符号化部１３３を含んで構成される。
視点画像符号化部１３１は、基準視点画像符号化部１３１１及び非基準視点画像符号化部１３１２を含んで構成される。
【００３３】
基準視点画像符号化部１３１１は、撮影制御部１２から入力された基準視点画像を視点内予測符号化方式により圧縮符号化することで、符号化基準視点画像を生成する。ここで、視点内予測符号化方式とは、単一視点の画像データのみに基づいて画像データを圧縮符号化する符号化方式である。視点内予測符号化方式では、画面内予測及び動き補償・予測を行って画像データを圧縮符号化する。
基準視点画像符号化部１３１１は、生成した符号化基準視点画像を復号することで、基準視点画像を生成する。基準視点画像符号化部１３１１は、生成した基準視点画像を非基準視点画像符号化部１３１２に出力する。基準視点画像符号化部１３１１は、符号化基準視点画像を通信部１４に出力する。
【００３４】
非基準視点画像符号化部１３１２は、撮影制御部１２から入力された非基準視点画像を視点間予測符号化方式により圧縮符号化する。ここで、視点間予測符号化方式とは、ある視点（ここでは、非基準視点）から撮像した画像データと、別の視点（ここでは、基準視点）から撮像した画像データとの差分を計算し、計算された差分について圧縮符号化する符号化方式である。
【００３５】
具体的には、非基準視点画像符号化部１３１２は、入力された基準視点画像および非基準視点画像を所定のブロック単位に分割し、分割したブロック毎に以下の処理を行う。非基準視点画像符号化部１３１２は、処理対象のブロックにおける非基準視点画像の画素値を抽出する。非基準視点画像符号化部１３１２は、処理対象のブロックにおける視差情報であって、視差情報生成部１３２から入力された視差情報が示すブロックにおいて、基準視点画像の画素値を抽出する。非基準視点画像符号化部１３１２は、抽出した非基準視点画像の画素値から、抽出した基準画像の画素値を減算する。つまり、非基準視点画像符号化部１３１２は、視差情報を視点間の動きベクトル（＝視差ベクトル）とみなし、画素値を減算するブロックを決定している。非基準視点画像符号化部１３１２は、以上の処理を施した後、処理対象ブロックの画素値を減算後の画素値とみなした画像（残差画像）を生成する。
なお、非基準視点画像符号化部１３１２は、残差画像の生成を行う際の基準視点画像として、基準視点画像符号化部１３１１によって一度符号化し、その後復号された基準視点画像を使用する。これは、復号装置側での視差補償の結果を符号化装置における結果と一致させ、符号化誤差の伝播による符号化画像の品質劣化を回避するためである。
【００３６】
非基準視点画像符号化部１３１２は、生成した残差画像を離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）、及び量子化することで、符号化非基準視点画像を生成する。また、非基準視点画像符号化部１３１２は、視差情報を圧縮符号化し、符号化視差情報を生成する。非基準視点画像符号化部１３１２は、符号化非基準視点画像及び符号化視差情報を通信部１４に出力する。
【００３７】
視差情報生成部１３２は、撮影制御部１２から入力された奥行き画像及び撮影条件情報に基づいて、ブロック毎に、基準視点と非基準視点との間の視差情報を生成する。視差情報生成の詳細については後述する。視差情報生成部１３２は、生成したブロック毎の視差を示す視差情報を非基準視点画像符号化部１３１２に出力する。なお、視差情報生成部１３２の詳細については後述する。
撮影条件情報符号化部１３３は、撮影制御部１２から入力された撮影条件情報を符号化することで、符号化撮影条件情報を生成する。撮影条件情報符号化部１３３は、生成した符号化撮影条件情報を通信部１４に出力する。
【００３８】
図５は、視差情報生成部１３２の構成を示す概略ブロック図である。
視差情報生成部１３２は、ブロック分割部１３２１、代表奥行き値決定部１３２２、距離情報抽出部１３２３、及び視差情報算出部１３２４を含んで構成される。
ブロック分割部１３２１は、撮影制御部１２から入力された奥行き画像を、所定のサイズ（例えば、８画素×８画素）のブロックに分割する。ブロック分割部１３２１は、分割したブロックを示すブロック情報及び奥行き画像を代表奥行き値決定部１３２２に出力する。
【００３９】
代表奥行き値決定部１３２２は、ブロック分割部１３２１から入力されたブロック情報及び奥行き画像に基づいて、ブロック情報が示すブロック内の各画素の奥行き値について頻度分布（ヒストグラム）を生成する。代表奥行き値決定部１３２２は、生成した頻度分布に基づいて、各ブロック単位の奥行き値である代表奥行き値を決定する（代表奥行き値決定処理と呼ぶ）。代表奥行き値決定部１３２２は、決定した代表奥行き値を視差情報算出部１３２４に出力する。なお、代表奥行き値決定処理の詳細については後述する。
距離情報抽出部１３２３は、撮影条件情報に含まれる撮像部間距離Ｂと撮影距離Ｌを抽出する。距離情報抽出部１３２３は、抽出した撮像部間距離Ｂと撮影距離Ｌを視差情報算出部１３２４に出力する。
視差情報算出部１３２４は、代表奥行き値決定部１３２２から入力された代表奥行き値と、距離情報抽出部１３２３から入力された撮像部間距離Ｂ及び撮影距離Ｌに基づいて視差情報を算出する（視差情報算出処理と呼ぶ）。視差情報算出部１３２４は、算出した視差情報を非基準視点画像符号化部１３１２に出力する。なお、視差情報算出処理の詳細については後述する。
【００４０】
（代表奥行き値決定処理）
図６は、代表奥行き値決定部１３２２における代表奥行き値決定処理を説明する説明図である。代表奥行き値決定部１３２２は、ブロック内の各画素の奥行き値の頻度分布を作成し、最も出現頻度の高い奥行き値をブロック奥行き値として抽出する。
【００４１】
符号３ａを付した画像は、撮像部１１−２が撮像した非基準視点画像である。符号３ｂを付した画像は、該非基準視点画像に対応する奥行き画像である。奥行き画像は、奥行き値が輝度で表されるモノクロ画像である。奥行き画像内の各画素は、輝度が高い（＝奥行き値が大きい）領域ほど撮像部１１−２からの距離が近く、輝度が低い（＝奥行き値が小さい）領域ほど撮像部１１−２からの距離が遠いことを意味する。
符号３ｄを付したグラフは、符号３ｃを付したブロック内の各画素の輝度値（すなわち、奥行き値）から生成したヒストグラムである。横軸が奥行きを表し、縦軸が出現頻度を表す。
【００４２】
代表奥行き値決定部１３２２は、ブロック内の各画素の輝度値を用いて、符号３ｄを付したヒストグラムを生成する。代表奥行き値決定部１３２２は、符号３ｅを付した最も出現頻度の高い奥行き値を、そのブロックのブロック奥行き値とする（方法（ａ）と呼ぶ）。
なお、代表奥行き値決定部１３２２がブロック奥行き値を算出する方法としては、前述のようなヒストグラムに基づく方法（ａ）のみでなく、ブロック内の各画素の輝度の（ｂ）中央値；（ｃ）平均値；（ｄ）撮像部からの距離が最も近い値（ブロック内の各画素の奥行き値の最大値）；（ｅ）撮像部からの距離が最も遠い値（ブロック内の各画素の奥行き値の最小値）；をそれぞれ抽出してブロック奥行き値としてもよい。代表奥行き値決定部１３２２は、上記の複数の方法によって得たブロック奥行き値から代表奥行き値を決定してもよい。
【００４３】
代表奥行き値決定部１３２２が、方法（ａ）〜（ｅ）で算出したブロック奥行き値から代表奥行き値を決定する方法の具体例を以下に説明する。まず、代表奥行き値決定部１３２２は、上記（ａ）〜（ｅ）の各方法に基づいてブロック奥行き値を算出する。視差情報算出部１３２４は、代表奥行き値決定部１３２２が各方法に基づいて算出したブロック奥行き値と、距離情報抽出部１３２３が抽出した撮像部間距離Ｂと、撮影距離Ｌと、に基づいて、後述の方法に従って視差情報を生成する。つまり、各方法に共通の撮像部間距離Ｂと、撮影距離Ｌと、各方法に基づいて算出したブロック奥行き値とに基づいて、視差情報を生成する。
【００４４】
視差情報算出部１３２４が算出する視差情報は、ブロック情報が示す基準視点画像のブロック位置と、ブロック情報が示す基準視点画像内の画像に対応する非基準視点画像上の画像ブロックの位置との差を示す情報である。代表奥行き値決定部１３２２は、ブロック情報が示す基準視点画像上の画像ブロック内の画素の画素値と、非基準視点画像上の画素の画素値との差分値を、ブロック内の全ての画素に関して算出する。代表奥行き値決定部１３２２は、算出された差分値の絶対値を全ての画素に関して加算する（差分絶対値和とよぶ）。差分絶対値和が小さいほど、そのブロックを符号化する際の効率が良いため、代表奥行き値決定部１３２２は、方法（ａ）〜（ｅ）のうち、最も総差分値が小さくなる方法によって決定されたブロック奥行き値を代表奥行き値として決定する。
（視差情報生成処理）
【００４５】
視差情報算出部１３２４は、式１を用いてブロックの視差（視差情報）ｖを算出する。
ｖ＝（Ｌ−Ｚ）／Ｚ×Ｂ＝（Ｌ／Ｚ−１）×Ｂ  …〔式１〕
ここで、ｖは視差を、Ｌは撮影距離を、Ｂは撮像部間隔を、Ｚは代表奥行き値を表す。
【００４６】
図７は、奥行き値と視差との関係を説明する説明図である。ここでは、２つの視点、すなわち撮像部４１Ａ、４１Ｂ（それぞれ、撮像部１１−１、１１−２に対応する）と、２つの被写体、すなわち４２Ａ、４２Ｂとが、図７に示す位置関係にある場合について説明する。被写体４２Ａ上の点４３Ａは、撮像部４１Ａ、４１Ｂから撮影距離Ｌだけ離れた平面４０上の位置ＰＬ１及びＰＲ１に投影される。同様に、被写体４２Ｂ上の点４３Ｂは、位置ＰＬ２、ＰＲ２に投影される。
平面４０が観賞時のスクリーン面に相当するとみなすと、位置ＰＬ１は、点４３Ａの左視点画像上の対応する画素を意味する。同様に、位置ＰＲ１は、点４３Ａの右視点画像上の対応する画素を意味する。また、位置ＰＬ２は、被写体４２Ｂ上の点４３Ｂに関する左視点画像上の対応する画素を意味する。位置ＰＲ２は、被写体４２Ｂ上の点４３Ｂに関する右視点画像上の対応する画素を意味する。
【００４７】
２つの撮像部４１Ａ、４１Ｂの間の距離をＢ、撮像部４１Ａ、４１Ｂの撮影距離をＬ、撮像部４１Ａ、４１Ｂから点４３Ａ、４３Ｂまでの距離（代表奥行き値）をそれぞれＺ１、Ｚ２とする。被写体４２Ａに対応する撮像部４１Ａの視点から見た画像と撮像部４１Ｂの視点から見た画像との間の視差をｄ１とする。被写体４２Ｂに対応する撮像部４１Ａの視点から見た画像と撮像部４１Ｂの視点から見た画像との間の視差をｄ２とする。視差ｄ１、撮像部間隔Ｂ、撮影距離Ｌ、及び代表奥行き値Ｚ１との間には、〔式２〕の関係が成り立つ。同様に、視差ｄ２、撮像部間隔Ｂ、撮影距離Ｌ、及び代表奥行き値Ｚ２との間には、〔式３〕の関係が成り立つ。
Ｂ：Ｚ１＝ｄ１：（Ｌ−Ｚ１）  …〔式２〕
Ｂ：Ｚ２＝ｄ２：（Ｚ２−Ｌ）  …〔式３〕
〔式２〕、〔式３〕は、〔式１〕をそれぞれ被写体４２Ａ上の点４３Ａ、及び被写体４２Ｂ上の点４３Ｂに適用したものである。つまり〔式２〕ではｖ＝ｄ１、〔式３〕ではｖ＝ｄ２となる。ここで、視差ｖを、平面４０上の右視点画像の対応する点と左視点画像の対応する点の間の距離として定義する。つまり、ＰＲ１とＰＬ１との間の距離をｄ１、ＰＲ２とＰＬ２との間の距離をｄ２と定義する。視差ｖは、ｄ１が正の値、視差ｄ２が負の値をとるものと定義する。つまり、被写体が平面４０より撮像部に近いときに視差ｖは正の値をとり、被写体が平面４０より撮像部に遠いときに視差ｖは負の値をとる。視差ｖは、代表奥行き値Ｚに対応して、１つの視差が定まる。
【００４８】
図８は、撮影距離を説明する説明図である。図８（ａ）は本実施形態で採用する平行法撮影における撮影距離を示している。平行法とは、２つの撮像部４１Ａ、４１Ｂの光軸を平行にして撮影する方法である。平行法では、撮影距離は焦点距離と等しくなる。
なお、立体画像の撮影法は、平行法に限られない。図８（ｂ）は交差法における撮影距離を示す図である。交差法とは、２つの撮像部４１Ａ、４１Ｂの光軸が前方で交差するようにして撮影する方法である。交差法の場合、撮像部４１Ａ、４１Ｂから光軸の交差点（クロスポイント）までの距離を撮影距離Ｌとする。
【００４９】
図９は、本実施形態に係る多視点画像符号化装置１３の内部処理手順を示すフローチャートである。
まず、基準視点画像、非基準視点画像、奥行き画像、撮影条件情報が入力される（ステップＳ０１）。各入力データは、各処理部において次の通り処理される。
基準視点画像符号化部１３１１は、基準視点画像を、視点内予測符号化により圧縮符号化する（ステップＳ０２）。このとき、圧縮符号化された符号化基準視点画像は、非基準視点画像の符号化用に一旦復号し、基準視点画像として復元しておく。そして、符号化された基準視点画像データを、装置外部へ出力する（ステップＳ０３）。
視差情報生成部１３２は、入力された奥行き画像と撮影条件情報に基づいて、基準視点画像と非基準視点画像間の視差情報を生成する（ステップＳ０４）。
撮影条件情報符号化部１３３は、撮影条件情報を圧縮符号化して（ステップＳ０５）、装置外部へ出力する（ステップＳ０６）。
非基準視点画像符号化部１３１２は、基準視点画像符号化部から得られる復元された基準視点画像と、視差情報生成部１３２から得られる視差情報とに基づいて、ステップＳ０１で入力された非基準視点画像を視点間予測符号化により圧縮符号化し（ステップＳ０７）、符号化された非基準視点画像データを装置外部へ出力する（ステップＳ０８）。
入力データが動画像の場合は、以上の処理手順（ステップＳ０１〜ステップＳ０８）を繰り返す。
【００５０】
（多視点画像復号装置の構成）
図１０は、多視点画像復号装置２２の構成を示す概略ブロック図である。
多視点画像復号装置２２は、視点画像復号部２２１、撮影条件情報復号部２２２、及び奥行き画像生成部２２３を含んで構成される。視点画像復号部２２１はさらに、基準視点画像復号部２２１１、非基準視点画像復号部２２１２を含んで構成される。
【００５１】
基準視点画像復号部２２１１は、通信部２１から入力された符号化基準視点画像を復号し、基準視点画像を生成する。基準視点画像復号部２２１１は、生成した基準視点画像を非基準視点画像復号部２２１２及び画像処理部２３に出力する。
非基準視点画像復号部２２１２は、基準視点画像復号部２２１１から入力された基準視点画像及び通信部２１から入力された符号化残差画像、符号化視差情報に基づいて非基準視点画像を生成する。
【００５２】
具体的には、非基準視点画像復号部２２１２は、符号化非基準視点画像を逆量子化し、逆量子化した符号化非基準視点画像を逆離散コサイン変換することで、残差画像を生成する。非基準視点画像復号部２２１２は、残差画像の各画素値に基準視点画像の対応する各画素値を加算することにより、仮非基準視点画像を生成する。非基準視点画像復号部２２１２は、符号化視差情報を復号して視差情報を生成し、生成した仮非基準視点画像を、視差情報が示すブロックの非基準視点画像とする。非基準視点画像復号部２２１２は、生成した非基準視点画像を画像処理部２３に出力する。また、非基準視点画像復号部２２１２は、生成した視差情報を奥行き画像生成部２２３に出力する。
【００５３】
撮影条件情報復号部２２２は、通信部２１から入力された符号化撮影条件情報を復号し、撮影条件情報を生成する。撮影条件情報復号部２２２は、生成した撮影条件情報を奥行き画像生成部２２３及び画像処理部２３に出力する。
奥行き画像生成部２２３は、非基準視点画像復号部２２１２から入力された視差情報と、撮影条件情報復号部２２２から入力された撮影条件情報とに基づいて、非基準視点画像復号部２２１２で生成した非基準視点画像に対応する奥行き画像を生成する（奥行き画像生成処理と呼ぶ）。奥行き画像生成部２２３は、生成した奥行き画像を画像処理部２３に出力する。奥行き画像生成処理の詳細については後述する。
【００５４】
（奥行き画像生成処理）
図１１は、奥行き画像生成部２２３の内部構成を示すブロック図である。奥行き画像生成部２２３は、距離情報抽出部２２３１、代表奥行き値算出部２２３２、及び奥行き値マッピング部２２３３を含んで構成される。
距離情報抽出部２２３１は、撮影条件情報復号部２２２から入力された撮影条件情報から、撮像部間距離Ｂと撮影距離Ｌを抽出し、抽出した撮像部間距離Ｂと撮影距離Ｌを代表奥行き値算出部２２３２へ出力する。
代表奥行き値算出部２２３２は、〔式１〕を用い、非基準視点画像復号部２２１２から入力された視差値ｖと、距離情報抽出部２２３１で抽出された撮像部間距離Ｂと、撮影距離Ｌとに基づいてブロック単位の奥行き値である代表奥行き値を算出する。代表奥行き値算出部２２３２は、算出した代表奥行き値を奥行き値マッピング部２２３３に出力する。
【００５５】
（奥行き値マッピング処理）
奥行き値マッピング部２２３３は、代表奥行き値算出部２２３２によって算出された代表奥行き値に基づいて、ブロックを構成する画素単位の奥行き値を決定する。具体的には、奥行き値マッピング部２２３３は、代表奥行き値を、ブロックの中心に位置する画素の奥行き値と定める。奥行き値マッピング部２２３３は、当該ブロックの中心以外の画素に関しては、隣接する上下左右のブロックの代表奥行き値と、当該ブロックの代表奥行き値とを用いて線形補間を行い、各画素位置に対応した奥行き値を求める。このようにして、ブロック内の各画素の奥行き値を計算し、奥行き画像を生成する（方法（ａ）と呼ぶ）。
【００５６】
なお、奥行き値マッピング部２２３３による奥行き値マッピングの方法としては、前述の方法に限定されず、以下の方法に従って決定してもよい。例えば、奥行き値マッピング部２２３３は、（ｂ）隣接する左右のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。；（ｃ）隣接する上下のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。；（ｄ）代表奥行き値でブロック内一様の奥行き値とする。
上記の方法（ｂ）〜（ｄ）の選択は、例えば、以下のようにする。対応する視点画像内の領域において公知の方法によりエッジ検出を行い、垂直方向のエッジ（被写体と背景の境界）が表れている場合は、左右方向の奥行き変化が大きいと推測されるため方法（ｂ）を選択する。同様に視点画像内の対応する領域において水平方向のエッジが表れている場合は、上下方向の奥行き変化が大きいと推測されるため方法（ｃ）を選択する。対応する視点画像の領域内にエッジがなく、かつブロックサイズが小さい（例えば２×２画素、４×４画素）場合には、方法（ｄ）を選択する。
図１２は、本実施形態に係る多視点画像復号装置２２の内部処理手順を示すフローチャートである。
まず、多視点画像符号化装置１３により符号化されたデータである、符号化基準視点画像、符号化非基準視点画像（符号化残差画像、符号化視差情報）、符号化撮影条件情報が入力される（ステップＳ２１）。各入力データは、各処理部において次の通り処理される。
基準視点画像復号部２２１１は、符号化基準視点画像を復号して基準視点画像を生成し（ステップＳ２２）、生成された基準視点画像を装置外部へ出力する（ステップＳ２３）。
非基準視点画像復号部２２１２は、ステップＳ２１で入力された符号化視差情報を復号して、基準視点と非基準視点間の視差情報を生成する（ステップＳ２４）。次に、基準視点画像復号部から得られる基準視点画像と、入力された符号化残差画像、および生成された視差情報に基づいて、符号化非基準視点画像を復号して非基準視点画像を生成し（ステップＳ２５）、生成された非基準視点画像を装置外部へ出力する（ステップＳ２６）。
撮影条件情報復号部２２２は、符号化撮影条件情報を復号して撮影条件情報を生成し（ステップＳ２７）、生成された撮影条件情報を装置外部へ出力する（ステップＳ２８）。
奥行き画像生成部２２３は、非基準視点画像復号部２２１２から得られる視差情報と、撮影条件情報復号部２２２から得られる撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成し（ステップＳ２９）、生成された奥行き画像を装置外部へ出力する（ステップＳ３０）。
入力データが動画像に関するデータの場合は、以上の処理手順（ステップＳ２１〜ステップＳ３０）を繰り返す。
【００５７】
上記のように、本実施形態では、撮像部１１−１が基準視点画像を撮像し、撮像部１１−２が撮影した非基準視点画像に対応する奥行き画像と、基準視点画像と非基準視点画像とを撮影した際の撮像部間距離Ｂや撮影距離Ｌとに基づいて、撮像部１１−１と撮像部１１−２の視点との間の視差情報を生成する。視点画像符号化部１３１は、基準視点画像と、視差情報とに基づいて、非基準視点画像を視点間予測符号化する。これにより、多視点画像符号化装置１３では、視点画像のブロックマッチングで視差を算出する従来の方法と比較して、視差補償、予測符号化処理における演算負荷を軽減することができる。
【００５８】
また、本実施形態では、代表奥行き値決定部１３２２は、奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいてブロックごとの代表奥行き値を決定する。撮影条件情報は、撮像部１１−１及び１１−２との間の撮像部間距離Ｂ、及び撮像部１１−１、１１−２と被写体との間の撮影距離Ｌを含み、視差情報算出部１３２４は、代表奥行き値決定部１３２２によって決定されたブロックごとの代表奥行き値と、距離Ｂ及び撮影距離Ｌとに基づいて、ブロックごとの視差情報を算出する。これにより、多視点画像符号化装置１３では、視差情報を正確に決定することができる。
【００５９】
また、本実施形態では、視点画像復号部２２１は、基準視点画像と非基準視点画像と、基準視点画像と非基準視点画像との間のブロック単位の視差情報を取得する。撮影条件情報取得部２２２は、基準視点画像と非基準視点画像を撮影した際の撮像部間距離Ｂと撮影距離Ｌとを取得する。奥行き画像生成部２２３は、視点画像復号部２２１によって抽出された視差情報と、撮影条件情報取得部２２２によって復号された撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成する。これにより、多視点画像復号装置２２では、視差情報から奥行き画像を生成することができる。
【００６０】
また、本実施形態では、上記の構成をとることにより、奥行き画像から算出した視差情報を利用して視点画像の予測符号化を行う。また、奥行き画像自体を符号化・伝送せずに視差情報から奥行き画像を生成する。したがって、奥行き画像を利用した仮想視点画像の生成を可能にするとともに、奥行き画像の符号化に必要な演算コストおよび符号量を削減することができ、装置の小型化・低コスト化および伝送路や記録メディアの利用効率を高めることを可能にする。
【００６１】
なお、本実施形態において、奥行き画像は、多視点画像符号化装置１３の外部から入力されるデータとして扱っているが、多視点画像符号化装置１３が奥行き画像を生成する手段を備えてもよい。奥行き画像を生成する方法としては、複数の視点画像からブロックマッチングにより推定する方法や、赤外線や超音波などを被写体に向けて放射しその反射時間を測定して被写体までの距離を算出する方法等を用いてもよい。
【００６２】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、多視点画像符号化装置が、奥行き情報を用いて符号化非基準視点画像を生成する場合について説明した。本実施形態では、多視点画像符号化装置が、基準視点画像及び非基準視点画像を用いて符号化非基準視点画像を生成する場合について説明する。
【００６３】
図１３は、第２の実施形態に係る多視点画像符号化装置１３ａの構成を示す概略ブロック図である。多視点画像符号化装置１３ａは、視点画像符号化部１３１ａ及び撮影条件情報符号化部１３２ａを含んで構成される。視点画像符号化部１３１ａはさらに、基準視点画像符号化部１３１１ａ、視差情報生成部１３１２ａ、及び非基準視点画像符号化部１３１３ａを含んで構成される。
多視点画像符号化装置１３ａにおいて、基準視点画像符号化部１３１１ａ、非基準視点画像符号化部１３１３ａ、及び撮影条件情報符号化部１３２ａは、第１の実施形態に係る多視点画像符号化装置１３における、基準視点画像符号化部１３１１、非基準視点画像符号化部１３１２、及び撮影条件情報符号化部１３３と同様であるため、説明は省略する。
【００６４】
視差情報生成部１３１２ａは、撮影制御部１２から入力された基準視点画像及び非基準視点画像に基づいて、基準視点画像と非基準視点画像の間の視差情報を生成する。具体的には、視差情報生成部１３１２ａは、予め定めたサイズの画像ブロックごとに視差情報を生成する。視差情報生成部１３１２ａは、非基準視点画像内の画像ブロック（対象ブロックと呼ぶ）について、対象ブロックと対応する基準視点画像内の位置を中心とする予め定めた範囲（差分計算範囲と呼ぶ）内で、画素差分値を計算する。ここで、画素差分値とは、対象ブロックの画像と基準視点画像内の画像の各画素の差分の絶対値である。視差情報生成部１３１２ａは、対象ブロック内の全ての画素について、計算した画素差分値の和を計算する。
【００６５】
視差情報生成部１３１２ａは、差分計算範囲に含まれるブロックについて計算した画素差分値の和を比較し、最も一致度の高い（画素差分値の和が最も小さい）ブロックを抽出する。視差情報生成部１３１２ａは、最も一致度の高い基準視点画像内のブロックと対象ブロックとの間の、画像上の水平方向の距離を、非基準視点画像内の対象ブロックに関する基準視点画像との視差とする。視差情報生成部１３１２ａは、生成した視差（視差情報）を、非基準視点画像符号化部１３１３ａに出力する。
【００６６】
（多視点画像復号装置）
本実施形態に係る多視点画像復号装置２２ａ（図示しない）は、第１の実施形態に係る多視点画像復号装置２２と同様の構成であるため、説明は省略する。
【００６７】
このように、本実施形態では、視差情報生成部１３１２ａは、基準視点の画像である基準視点画像と、非基準視点の画像である非基準視点画像とに基づいて、基準視点と非基準視点との間の視差情報を生成する。非基準視点画像符号化部１３１３ａは、基準視点画像と、視差情報とに基づいて、非基準視点画像を視点間予測符号化する。撮影条件情報符号化部１３２ａは、基準視点画像と非基準視点画像とを撮影した際の、前記第１の視点に配置された第１撮像部と前記第２の視点に配置された第２撮像部との間の撮像部間距離、及び撮像部１１−１又は１１−２と被写体との間の撮影距離Ｌを含む撮影条件情報を符号化する。
【００６８】
これにより、本実施形態では、複数の視点画像から算出した視差情報を利用して視点画像の予測符号化を行い、多視点復号装置側で視差情報から奥行き画像を生成することができるため、多視点符号化装置側での奥行き画像の生成や入力を必要としない。また、奥行き画像を利用した仮想視点画像の生成を可能にする。また、奥行き画像の生成や符号化に必要な演算コストおよび符号量を削減することができ、装置の小型化・低コスト化および伝送路や記録メディアの利用効率を高めることを可能にする。
【００６９】
なお、上記の各実施形態に係る基準視点画像の符号化処理では、視点内予測符号化によって符号化データを生成するため、生成された符号化データは従来の単一視点用の符号化方式で生成したデータと同等である。従って、本発明による基準視点画像の符号化データは従来の単一視点用の画像復号装置（例えば、符号化方式の国際規格であるＨ．２６４に従う画像復号装置）で復号し、非基準視点画像とは独立した画像として利用することも可能である。
【００７０】
また、非基準視点画像の符号化処理に関して、作成および利用している視差情報（視差）は、第１の実施形態および第２の実施形態ともに従来技術のように視点画像間のブロックマッチング等で生成した視差値と同等の情報であり、視差値に基づく視差補償予測符号化処理は従来と同一の方法が適用できる。従って、本発明による非基準視点画像の符号化データは、従来の多視点画像用の画像復号装置（例えば、多視点画像符号化方式の国際規格であるＭＶＣに従う画像復号装置）で復号することが可能である。
【００７１】
このように、本発明に従う符号化装置（視点画像符号化部１３１、１３１ａ）によって生成される符号化基準視点画像及び符号化非基準視点画像は、既存の画像復号装置で復号して画像として再生できる（すなわちデータの互換性を維持している）。
【００７２】
なお、多視点画像符号化装置１３、１３ａが出力する各符号化データは、通信部（１４、２１）を介さずにそれぞれが直接、多視点画像復号装置２２に入力されて与えられてもよい。
【００７３】
なお、奥行き画像３ｂを分割する際のブロックサイズは、前述の８画素×８画素サイズに限らず、１６画素×１６画素、４画素×４画素、２画素×２画素などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素などのサイズでもよい。これらのサイズは、奥行き画像３ｂ及び対応する視点画像３ａに含まれる被写体の大きさや、画像の複雑さなどに応じて最適なサイズを選択してもよい。
【００７４】
なお、上記の各実施形態では視点画像が基準視点画像と非基準視点画像との２つ、奥行き画像が１つである場合を例に挙げているが、視点画像が３つ以上の場合や、奥行き画像が２つ以上の場合でも、本発明の思想に基づいて多視点画像符号化装置を構成することができる。例えば視点画像が３つの場合は、１つの視点画像を基準視点として扱って視点内予測符号化方式により圧縮符号化し、残りの２つの視点画像は非基準視点の視点画像として視点間予測符号化方式により圧縮符号化する。あるいは、基準視点の視点画像が２つで、残りの１つの視点画像のみ非基準視点の視点画像としてもよい。奥行き画像に関しては、非基準視点画像に対応する各奥行き画像に関して、撮影条件情報を基に視差情報を生成し、得られた視差情報を、対応する非基準視点画像の視点間予測符号化に使用できる。視点画像と奥行き画像がそれぞれ３つを超える場合も、同様の考え方を適用することができる。なお、各視点画像、奥行き画像は、静止画像であっても良いし、動画像であってもよい。
なお、上記の実施形態において、撮像部は、水平に配置される例を示したが、垂直に配置してもよい。
なお、撮像部１１−１を非基準視点、撮像部１１−２を基準視点としてもよい。
【００７５】
なお、多視点画像符号化装置１３、１３ａ、および多視点画像復号装置２２の各機能要素、特に基準視点画像符号化部１３１１、１３１１ａ、非基準視点画像符号化部１３１２、１３１３ａ、視差情報生成部１３２、１３１２ａ、撮影条件情報符号化部１３３、１３２ａ、基準視点画像復号部２２１１、非基準視点画像復号部２２１２、奥行き画像生成部２２３、および撮影条件情報復号部２２２は、集積回路（ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）チップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いてソフトウェア的に実現してもよい。この場合、多視点画像符号化装置１３、１３ａおよび多視点画像復号装置２２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。なお、上述した機能を実現するソフトウェアである多視点画像符号化装置１３、１３ａおよび多視点画像復号装置２２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）））が記録媒体に記録されているプログラムコードを読み出し実行するようにしてもよい。
【００７６】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）／ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）／ＣＤ−Ｒ（ＣＤ  Ｒｅｃｏｒｄａｂｌｅ）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）／ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の論理回路類などを用いることができる。
【００７７】
また、多視点画像符号化装置１３、１３ａおよび多視点画像復号装置２２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）、ＶＡＮ（Ｖａｌｕｅ−Ａｄｄｅｄ  ｎｅｔｗｏｒｋ）、ＣＡＴＶ（Ｃｏｍｍｕｎｉｔｙ  Ａｎｔｅｎｎａ  ＴｅｌｅＶｉｓｉｏｎ）通信網、仮想専用網（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  ｅｌｅｃｔｒｏｎｉｃ  ｅｎｇｉｎｅｅｒｓ）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｏｏｐ）回線等の有線でも、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（Ｈｉｇｈ  ＤａｔａＲａｔｅ）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＤＬＮＡ（Ｄｉｇｉｔａｌ  Ｌｉｖｉｎｇ  Ｎｅｔｗｏｒｋ  Ａｌｌｉａｎｃｅ）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【００７８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００７９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８０】
Ａ・・・多視点画像処理システム、１・・・撮像機器、２・・・表示機器、１１−１、１１−２・・・撮像部、１２・・・撮影制御部、１３、１３ａ・・・多視点画像符号化装置、１４・・・通信部、２１・・・通信部、２２・・・多視点画像復号装置（撮影条件情報取得部）、２３・・・画像処理部、２４・・・表示部、１３１・・・視点画像符号化部、１３２、１３１２ａ・・・視差情報生成部、１３３、１３２ａ・・・撮影条件情報符号化部、２２１・・・視点画像復号部、２２２・・・撮影条件情報復号部、２２３・・・奥行き画像生成部、１３１１、１３１１ａ・・・基準視点画像符号化部、１３１２、１３１３ａ・・・非基準視点画像符号化部（第２視点画像符号化部）、１３２１・・・ブロック分割部、１３２２・・・代表奥行き値決定部、１３２３・・・距離情報抽出部、１３２４・・・視差情報算出部、２２３１・・・距離情報抽出部、２２３２・・・代表奥行き値算出部、２２１１・・・基準視点画像復号部、２２１２・・・非基準視点画像復号部（第２視点画像符号化部）、２２３１・・・距離情報抽出部、２２３３・・・奥行き値マッピング部
【図１】
2013085063.tif 000003
【図２】
2013085063.tif 000004
【図３】
2013085063.tif 000005
【図４】
2013085063.tif 000006
【図５】
2013085063.tif 000007
【図６】
2013085063.tif 000008
【図７】
2013085063.tif 000009
【図８】
2013085063.tif 000010
【図９】
2013085063.tif 000011
【図１０】
2013085063.tif 000012
【図１１】
2013085063.tif 000013
【図１２】
2013085063.tif 000014
【図１３】
2013085063.tif 000015