(57)【特許請求の範囲】
【請求項１】
複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算部と、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部と
を備え、
前記生成部は、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像を生成する
画像処理装置。
【請求項２】
前記生成部は、複数の前記第１のペアの前記最高相関視差値の平均値を前記視点視差画像の視差値とし、複数の前記第２のペアの前記最高相関視差値の平均値を前記オクルージョン視差画像の視差値とする
請求項１に記載の画像処理装置。
【請求項３】
前記複数の視点の撮像画像と前記生成部により生成された前記基準視点の視差画像、または、前記基準視点とは異なる視点の視差画像とに基づいて、仮想視点の撮像画像を生成する仮想視点画像生成部
をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記仮想視点画像生成部により生成された前記仮想視点の撮像画像と前記複数の視点の撮像画像を用いて、仮想フォーカスの撮像画像を生成する仮想フォーカス画像生成部
をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
画像処理装置が、
複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算ステップと、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成ステップとを含み、
前記生成ステップの処理は、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像を生成する
画像処理方法。
【請求項６】
複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算部と、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部と
を備える画像処理装置。
【請求項７】
画像処理装置が、
複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算ステップと、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法に関し、特に、少ない演算量で複数の視点の視差画像を高精度に生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、ライトフィールドカメラ等と呼ばれる撮像装置が注目されている。この撮像装置は、複数の撮像部を用いて複数の視点の撮像画像を取得し、撮像画像から仮想視点の撮像画像を生成（ビューインターポレーション）し、これらの撮像画像を用いて仮想フォーカスの撮像画像などを生成する（例えば、特許文献１参照）。【０００３】
このような撮像装置において、仮想視点の画像は、複数の視点の撮像画像に対応する視差画像（デプスマップ）を生成し、視点ごとに視差画像を用いて撮像画像から仮想視点の撮像画像を生成（イメージレジストレーション）し、合成することにより生成される。従って、仮想視点の撮像画像を高精度で生成するためには、視差画像を高精度で生成する必要がある。なお、視差画像とは、例えば、撮像画像の各画素の視差値を画素値とした画像である。ここでは、奥側の被写体の画像ほど視差値が小さく、手前側の被写体の画像ほど視差値が大きくなるものとする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７０６８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複数の視点の視差画像を生成する方法としては、基準となる１つの視点である基準視点の撮像画像から視差画像を生成し、その視差画像から基準視点以外の視点の視差画像を推定する方法がある。【０００６】
しかしながら、この方法では、例えば、基準視点の撮像画像にオクルージョンが発生する場合、基準視点のオクルージョン領域の視差値を正確に推定することができず、基準視点以外の視点の視差画像を高精度に生成することができない。なお、本明細書では、基準視点のオクルージョン領域とは、基準視点では見えないが、基準視点以外の視点では見える領域のことを指す。【０００７】
また、複数の視点の視差画像を生成する方法としては、視点ごとに撮像画像から視差画像を生成する方法もある。この方法では、高精度の視差画像を生成することができるが、膨大な演算量が必要とされる。【０００８】
本開示は、このような状況に鑑みてなされたものであり、少ない演算量で複数の視点の視差画像を高精度に生成することができることができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の画像処理装置は、複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値を演算する演算部と、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部とを備え、前記生成部は、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像を生成する画像処理装置である。
【００１０】
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。【００１１】
本開示の第１の側面においては、複数の視点の撮像画像を用いて前記複数の視点のペアの撮像画像の相関値が演算され、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの第１のペアおよび前記第１のペアとは異なる第２のペアとを対応付けたテーブルに基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とが、前記基準視点の異なる階層の視差画像として生成され、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像が生成され、前記複数の視点のペアのうちの前記第１のペアの最も高い前記相関値に対応する視差値である最高相関視差値に基づいて前記視点視差画像が生成され、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの前記最高相関視差値に基づいて前記オクルージョン視差画像が生成される。
【００１２】
本開示の第２の側面の画像処理装置は、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを生成し、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像を生成する生成部とを備える画像処理装置である。
【００１３】
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。【００１４】
本開示の第２の側面においては、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値が演算され、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とが生成され、前記視点視差画像と前記オクルージョン視差画像とから、前記基準視点とは異なる視点の視差画像が生成される。
【００１５】
なお、本開示の第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することもできる。【００１６】
また、本開示の第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本開示によれば、少ない演算量で複数の視点の視差画像を高精度に生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本開示を適用した画像処理装置としての撮像装置の一実施の形態の構成例を示すブロック図である。
【図２】撮像アレイの構成例を示す斜視図である。
【図３】検出部の構成例を示すブロック図である。
【図４】相関生成部に対応する１６個の視点のペアを示す図である。
【図５】相関生成部による相関検出を説明する図である。
【図６】処理対象画素エリアの一部の例を示す図である。
【図７】相関値情報の例を示す図である。
【図８】処理対象画素エリアの最高相関視差値のグループを示す図である。
【図９】他の処理対象画素エリアの最高相関視差値のグループを示す図である。
【図１０】階層テーブルの例を示す図である。
【図１１】基準視点の第１階層および第２階層の視差画像の例を示す図である。
【図１２】基準視点以外の視点の視差画像の例を示す図である。
【図１３】従来の基準視点以外の視点の視差画像の例を示す図である。
【図１４】仮想視点の例を示す図である。
【図１５】仮想視点の撮像画像の生成について説明する図である。
【図１６】仮想視点の撮像画像の生成について説明する図である。
【図１７】仮想視点の撮像画像の生成について説明する図である。
【図１８】仮想視点の撮像画像の生成について説明する図である。
【図１９】仮想視点の撮像画像の生成について説明する図である。
【図２０】仮想視点の撮像画像の生成について説明する図である。
【図２１】撮像処理を説明するフローチャートである。
【図２２】撮像アレイの他の構成例を示す斜視図である。
【図２３】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
＜一実施の形態＞
（撮像装置の一実施の形態の構成例）
図１は、本開示を適用した画像処理装置としての撮像装置の一実施の形態の構成例を示すブロック図である。
【００２０】
図１の撮像装置１０は、撮像アレイ１２、および画像処理部１３により構成される。撮像装置１０は、複数の視点の撮像画像を取得し、仮想フォーカスの撮像画像をリフォーカス画像として生成する。
【００２１】
具体的には、撮像装置１０の撮像アレイ１２は、撮像レンズ、CCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子、A/D変換部などよりなる複数の撮像部が２次元配列されることにより構成される。
【００２２】
撮像アレイ１２の各撮像部は、被写体から入力された光を、撮像レンズを介して撮像素子により受光し、その結果得られるアナログ信号に対してA/D変換部によるA/D変換等を行って撮像画像を取得する。これにより、撮像アレイ１２は、撮像部ごとに異なる視点の撮像画像を取得する。撮像アレイ１２は、取得された各視点の撮像画像を画像処理部１３に供給する。
【００２３】
画像処理部１３は、例えばLSI（Large Scale Integration）により構成される。画像処理部１３は、検出部２１、仮想視点画像生成部２２、およびリフォーカス画像生成部２３を備える。
【００２４】
検出部２１は、撮像アレイ１２から供給される基準視点と基準視点以外の視点との撮像画像の相関値だけでなく、基準視点以外の視点どうしの撮像画像の相関値にも基づいて視差値を検出する。これにより、基準視点の視差値と基準視点のオクルージョン領域の視差値とが検出される。なお、本実施の形態では、説明を簡単にするため、基準視点のオクルージョン領域は１つであるものとする。
【００２５】
検出部２１は、基準視点の視差値からなる視差画像を第１階層の視差画像（視点視差画像）とし、基準視点のオクルージョン領域の視差値からなる視差画像を第２階層の視差画像（オクルージョン視差画像）とすることにより、基準視点の２つの階層の視差画像を生成する。そして、検出部２１は、基準視点の２つの階層の視差画像を仮想視点画像生成部２２に供給する。
【００２６】
仮想視点画像生成部２２は、検出部２１から供給される基準視点の２つの階層の視差画像を保持する。仮想視点画像生成部２２は、保持されている基準視点の２つの階層の視差画像を用いて、基準視点以外の視点の視差画像を生成する。
【００２７】
仮想視点画像生成部２２は、生成された各視点の視差画像と撮像アレイ１２から供給される各視点の撮像画像とを用いて、撮像部に対応する視点以外の仮想視点の撮像画像を生成する。仮想視点画像生成部２２は、撮像アレイ１２から供給される各視点の撮像画像と仮想視点の撮像画像を、超多視点画像としてリフォーカス画像生成部２３に供給する。
【００２８】
リフォーカス画像生成部２３は、仮想フォーカス画像生成部として機能し、仮想視点画像生成部２２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２３は、生成されたリフォーカス画像を出力する。
【００２９】
（撮像アレイの構成例）
図２は、図１の撮像アレイ１２の構成例を示す図であり、撮像アレイ１２を被写体側から見た斜視図である。
【００３０】
図２の撮像アレイ１２では、９個の撮像部４１−０乃至４１−８が縦方向および横方向に等間隔で３つずつ熱伸縮率の小さい安定した基盤平面４０上に配置される。図２に示すように、撮像部４１−０乃至４１−８のそれぞれは、撮像レンズ４２を有している。なお、本実施の形態では、撮像部４１−０に対応する視点が基準視点とされる。
【００３１】
また、以下では、基準視点に対応する撮像部４１−０の中心を通る垂直な直線と、撮像部４１−０と撮像部４１−１乃至４１−８のそれぞれの中心を結ぶ直線のなす角を、それぞれ、角度θ１乃至θ８という。角度θ１乃至θ８は、それぞれ、４５度、３６０度、３１５度、９０度、２７０度、１３５度、１８０度、２２５度である。
【００３２】
また、撮像部４１−０と撮像部４１−１乃至４１−８のそれぞれの中心を結ぶ直線の長さを、それぞれ、距離Ｌ１乃至Ｌ８という。
【００３３】
（検出部の構成例）
図３は、図１の検出部２１の構成例を示すブロック図である。
【００３４】
図３に示すように、検出部２１は、相関生成部６１−１乃至６１−１６、高相関検出部６２−１乃至６２−１６、生成部６３、およびデータベース６４により構成される。
【００３５】
相関生成部６１−１は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−２から供給される撮像画像を取得する。相関生成部６１−１は、例えば、最初に、基準視点の撮像画像の左上の画素エリアを処理対象画素エリアとし、その後順に１画素ずつラスタスキャン方向にずらして処理対象画素エリアとする。なお、画素エリアの形状は任意の形状にすることができる。
【００３６】
相関生成部６１−１は、演算部として機能し、処理対象画素エリアと、その処理対象画素エリアに対する撮像部４１−２から供給される撮像画像の参照画素エリアとの相関検出を行い、相関検出結果として相関値を得る。相関検出の方法としては、例えば、ブロックマッチング法等の位相差から相関値を検出する方法、処理対象画素エリアと参照画素エリアを合成し、合成結果のコントラストから相関値を検出する方法などがある。
【００３７】
また、相関生成部６１−１は、処理対象画素エリアと参照画素エリアの距離に基づいて視差値を生成する。そして、相関生成部６１−１は、処理対象画素エリアの視差値とその視差値に対応する相関値との関係を表す相関値情報を高相関検出部６２−１に供給する。
【００３８】
相関生成部６１−２は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−１から供給される撮像画像を取得する。そして、相関生成部６１−２は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−２に供給する。
【００３９】
相関生成部６１−３は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−４から供給される撮像画像を取得する。そして、相関生成部６１−３は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−３に供給する。
【００４０】
相関生成部６１−４は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−６から供給される撮像画像を取得する。そして、相関生成部６１−４は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−４に供給する。
【００４１】
相関生成部６１−５は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−７から供給される撮像画像を取得する。そして、相関生成部６１−５は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−５に供給する。
【００４２】
相関生成部６１−６は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−８から供給される撮像画像を取得する。そして、相関生成部６１−６は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−６に供給する。
【００４３】
相関生成部６１−７は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−５から供給される撮像画像を取得する。そして、相関生成部６１−７は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−７に供給する。
【００４４】
相関生成部６１−８は、撮像部４１−０から供給される基準視点の撮像画像と、撮像部４１−３から供給される撮像画像を取得する。そして、相関生成部６１−８は、相関生成部６１−１と同様に相関検出を行い、相関値情報を高相関検出部６２−８に供給する。
【００４５】
以上のように、相関生成部６１−１乃至６１−８は、基準視点の撮像画像と基準視点以外の視点の撮像画像の相関値情報を生成する。従って、この相関値情報から基準視点の視差値を検出することができる。
【００４６】
相関生成部６１−９は、撮像部４１−２から供給される撮像画像と、撮像部４１−２に隣接する撮像部４１−１から供給される撮像画像を取得する。そして、相関生成部６１−９は、相関生成部６１−１と同様に処理対象画素エリアを決定する。
【００４７】
また、相関生成部６１−９は、撮像部４１−２からの撮像画像の処理対象画素エリアに対応する画素エリアと、その処理対象画素エリアに対する撮像部４１−１からの撮像画像の参照画素エリアとの相関検出を行い、相関検出結果として相関値を得る。相関生成部６１−９は、処理対象画素エリアに対応する画素エリアと参照画素エリアの距離に基づいて視差値を生成する。そして、相関生成部６１−９は、相関値情報を高相関検出部６２−９に供給する。
【００４８】
相関生成部６１−１０は、撮像部４１−１から供給される撮像画像と、撮像部４１−１に隣接する撮像部４１−４から供給される撮像画像を取得する。そして、相関生成部６１−１０は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１０に供給する。
【００４９】
相関生成部６１−１１は、撮像部４１−４から供給される撮像画像と、撮像部４１−４に隣接する撮像部４１−６から供給される撮像画像を取得する。そして、相関生成部６１−１１は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１１に供給する。
【００５０】
相関生成部６１−１２は、撮像部４１−６から供給される撮像画像と、撮像部４１−６に隣接する撮像部４１−７から供給される撮像画像を取得する。そして、相関生成部６１−１２は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１２に供給する。
【００５１】
相関生成部６１−１３は、撮像部４１−７から供給される撮像画像と、撮像部４１−７に隣接する撮像部４１−８から供給される撮像画像を取得する。そして、相関生成部６１−１３は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１３に供給する。
【００５２】
相関生成部６１−１４は、撮像部４１−８から供給される撮像画像と、撮像部４１−８に隣接する撮像部４１−５から供給される撮像画像を取得する。そして、相関生成部６１−１４は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１４に供給する。
【００５３】
相関生成部６１−１５は、撮像部４１−５から供給される撮像画像と、撮像部４１−５に隣接する撮像部４１−３から供給される撮像画像を取得する。そして、相関生成部６１−１５は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１５に供給する。
【００５４】
相関生成部６１−１６は、撮像部４１−３から供給される撮像画像と、撮像部４１−３に隣接する撮像部４１−２から供給される撮像画像を取得する。そして、相関生成部６１−１６は、相関生成部６１−９と同様に相関検出を行い、相関値情報を高相関検出部６２−１６に供給する。
【００５５】
以上のように、相関生成部６１−９乃至６１−１６は、基準視点以外の撮像画像どうしの相関値情報を生成する。従って、この相関値情報から基準視点のオクルージョン領域の視差値を検出することができる。
【００５６】
高相関検出部６２−１は、相関生成部６１−１から供給される処理対象画素エリアの相関値情報に基づいて処理対象画素エリアの最も高い相関値を検出する。高相関検出部６２−１は、処理対象画素エリアの最も高い相関値が閾値以上である場合、その最も高い相関値に対応する視差値（以下、最高相関視差値という）を生成部６３に供給する。
【００５７】
一方、最も高い相関値が閾値より小さい場合、高相関検出部６２−１は、処理対象画素エリアの視差値が無効であることを示す無効情報を生成部６３に供給する。なお、ここで用いられる閾値は、例えば、同一の画像に対して相関検出を行ったときの相関値の最小値である。
【００５８】
高相関検出部６２−２乃至６２−１６も、高相関検出部６２−１と同様に、相関生成部６１−２乃至６１−１６のそれぞれから供給される相関値情報に基づいて、最高相関視差値または無効情報を生成部６３に供給する。
【００５９】
生成部６３は、データベース６４から、相関生成部６１−１乃至６１−１６に対応する１６個の視点のペアの最も高い相関値に対応する視差値のパターンと、各階層の視差値に対応するペアとを対応付けた階層テーブルを読み出す。生成部６３は、高相関検出部６２−１乃至６２−１６から供給される処理対象画素エリアの最高相関視差値または無効情報と、テーブルとに基づいて、各階層のペアを認識する。
【００６０】
生成部６３は、階層ごとに、認識されたペアの最高相関視差値の平均値を求め、処理対象画素エリアの視差値として保持する。そして、生成部６３は、階層ごとに全ての画素エリアの視差値を合成して視差画像を生成し、仮想視点画像生成部２２に供給する。
【００６１】
データベース６４は、階層テーブルを記憶する。
【００６２】
なお、以下では、相関生成部６１−１乃至６１−１６を特に区別する必要がない場合、それらをまとめて相関生成部６１という。同様に、高相関検出部６２−１乃至６２−１６をまとめて高相関検出部６２という。
【００６３】
（相関生成部に対応する視点のペアの説明）
図４は、図３の相関生成部６１−１乃至６１−１６に対応する１６個の視点のペアを示す図である。
【００６４】
なお、図４の例では、撮像装置１０は、Ａ乃至Ｚのアルファベットが記載された背景と背景の手前側に存在するサッカーボールを撮像している。このことは、後述する図５乃至図９においても同様である。
【００６５】
図４に示すように、相関生成部６１−１は、撮像部４１−０に対応する基準視点と撮像部４１−２に対応する視点のペア（以下、ペア＃１という）に対応する。相関生成部６１−２は、基準視点と撮像部４１−１に対応する視点のペア（以下、ペア＃２という）に対応する。相関生成部６１−３は、基準視点と撮像部４１−４に対応する視点のペア（以下、ペア＃３という）に対応する。
【００６６】
相関生成部６１−４は、基準視点と撮像部４１−６に対応する視点のペア（以下、ペア＃４という）に対応する。相関生成部６１−５は、基準視点と撮像部４１−７に対応する視点のペア（以下、ペア＃５という）に対応する。相関生成部６１−６は、基準視点と撮像部４１−８に対応する視点のペア（以下、ペア＃６という）に対応する。
【００６７】
相関生成部６１−７は、基準視点と撮像部４１−５に対応する視点のペア（以下、ペア＃７という）に対応する。相関生成部６１−８は、基準視点と撮像部４１−３に対応する視点のペア（以下、ペア＃８という）に対応する。
【００６８】
相関生成部６１−９は、撮像部４１−２に対応する視点と撮像部４１−１に対応する視点のペア（以下、ペア＃９という）に対応する。相関生成部６１−１０は、撮像部４１−１に対応する視点と撮像部４１−４に対応する視点のペア（以下、ペア＃１０という）に対応する。相関生成部６１−１１は、撮像部４１−４に対応する視点と撮像部４１−６に対応する視点のペア（以下、ペア＃１１という）に対応する。
【００６９】
相関生成部６１−１２は、撮像部４１−６に対応する視点と撮像部４１−７に対応する視点のペア（以下、ペア＃１２という）に対応する。相関生成部６１−１３は、撮像部４１−７に対応する視点と撮像部４１−８に対応する視点のペア（以下、ペア＃１３という）に対応する。相関生成部６１−１４は、撮像部４１−８に対応する視点と撮像部４１−５に対応する視点のペア（以下、ペア＃１４という）に対応する。
【００７０】
相関生成部６１−１５は、撮像部４１−５に対応する視点と撮像部４１−３に対応する視点のペア（以下、ペア＃１５という）に対応する。相関生成部６１−１６は、撮像部４１−３に対応する視点と撮像部４１−２に対応する視点のペア（以下、ペア＃１６という）に対応する。
【００７１】
(相関検出の説明)
図５は、相関生成部６１による相関検出を説明する図である。
【００７２】
図５に示すように、例えば基準視点の撮像画像の座標（x０,y０）を中心とした微小の画素エリア８０が処理対象画素エリアであるとき、相関生成部６１−１は、撮像部４１−２からの撮像画像の参照画素エリア８１の中心の座標（x１,y１）を、座標（x０,y０）に基づいて決定する。
【００７３】
具体的には、相関生成部６１−１は、座標（x０,y０）を初期値として、撮像部４１−２に対応する角度θ２＋180度の方向、即ちエピポーラ線の方向に微小間隔Δd２ずつずらした座標を、順に座標（x１,y１）に決定する。そして、相関生成部６１−１は、画素エリア８０と参照画素エリア８１に対して相関検出を行う。
【００７４】
相関生成部６１−２乃至６１−８は、相関生成部６１−１と同様に相関検出を行う。即ち、相関生成部６１−ｉ（i=2,3,4,5,6,7,8）は、参照画素エリア８ｉの中心の座標（xｉ,yｉ）を、座標（x０,y０）を初期値として角度θｊ+180度（j=1,4,6,7,8,5,3）の方向に微小間隔Δdｊだけずらすことにより決定する。そして、相関生成部６１−ｉは、それぞれ、画素エリア８０と参照画素エリア８ｉに対して相関検出を行う。
【００７５】
以上のように、基準視点とのペアに対応する相関生成部６１−１乃至６１−８では、処理対象画素エリアに対して参照画素エリアが設定され、処理対象画素エリアと参照画素エリアとに対して相関検出が行われる。
【００７６】
一方、相関生成部６１−９は、処理対象画素エリアに対応する画素エリアを決定する。具体的には、相関生成部６１−９は、処理対象画素エリアの中心の座標が座標（x０,y０）であるとき、座標（x０,y０）を初期値として、撮像部４１−２に対応する角度θ２＋180度の方向に△d２ずつずらした座標を、順に処理対象画素エリアに対応する画素エリアの中心の座標に決定する。
【００７７】
また、相関生成部６１−９は、座標（x０,y０）を初期値として、撮像部４１−１に対応する角度θ１＋180度の方向に△d１ずつずらした座標を、順に参照画素エリアの中心の座標に決定する。そして、相関生成部６１−９は、処理対象画素エリアに対応する画素エリアと参照画素エリアに対して相関検出を行う。相関生成部６１−１０乃至６１−１６は、相関生成部６１−９と同様に相関検出を行う。
【００７８】
以上のように、基準視点以外の視点どうしのペアに対応する相関生成部６１−９乃至６１−１６では、処理対象画素エリアに対して処理対象画素エリアに対応する画素エリアと参照画素エリアが設定される。そして、処理対象画素エリアに対応する画素エリアと参照画素エリアとに対して相関検出が行われる。
【００７９】
なお、Δd１乃至Δd８は、以下の式（１）で定義される値である。
【００８０】
【数１】
0006551743.tif 000002
【００８１】
（階層テーブルの説明）
図６は、図５の基準視点の撮像画像内の処理対象画素エリアの一部の例を示す図である。
【００８２】
図６に示すように、図５の基準視点の撮像画像では、背景に記載されたＪの一部を含む画素エリア１０１、Ｋの一部を含む画素エリア１０２、サッカーボールで隠されたＬを含む画素エリア１０３などが処理対象画素エリアとされる。
【００８３】
図７は、図５の撮像画像に対して画素エリア１０１乃至１０３の中心の座標を処理対象画素エリアの中心の座標としたときの相関値情報を示す図である。
【００８４】
なお、図７において、横軸は、相関値情報の視差値を表し、縦軸は、相関値を表す。
【００８５】
図７の左側に示すように、画素エリア１０１の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１乃至ペア＃１６の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
【００８６】
即ち、図５の撮像画像では、全ての視点において画素エリア１０１の背景の画像が存在する。従って、ペア＃１乃至ペア＃１６の全てにおいて最も高い相関値は閾値以上となり、最高相関視差値は、背景の視差値となる。
【００８７】
このように、ペア＃１乃至ペア＃１６の全てにおいて最高相関視差値が背景の視差値となる場合、その視差値を用いて処理対象画素エリアの第１階層の視差値を生成することができる。
【００８８】
また、図７の中央に示すように、画素エリア１０２の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
【００８９】
即ち、図５の撮像画像では、撮像部４１−０、撮像部４１−２、撮像部４１−３、撮像部４１−５、撮像部４１−７、および撮像部４１−８により撮像された撮像画像において画素エリア１０２の背景の画像が存在する。従って、ペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６において最も高い相関値は閾値以上となり、最高相関視差値は背景の視差値となる。
【００９０】
一方、ペア＃２乃至ペア＃４、ペア＃９、およびペア＃１２の相関値情報では、最も高い相関値が閾値より小さく、ペア＃１０およびペア＃１１の相関値情報では、サッカーボールの視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
【００９１】
即ち、図５の撮像画像では、撮像部４１−１、撮像部４１−４、および撮像部４１−６により撮像された撮像画像において、画素エリア１０２の背景の画像は、サッカーボールの画像により隠されている。従って、撮像部４１−１、撮像部４１−４、および撮像部４１−６の画素エリア１０２に対応する画像と、撮像部４１−０、撮像部４１−２、撮像部４１−３、撮像部４１−５、撮像部４１−７、および撮像部４１−８の画素エリア１０２に対応する画像は異なる。
【００９２】
よって、撮像部４１−１、撮像部４１−４、および撮像部４１−６のいずれかと、撮像部４１−０、撮像部４１−２、撮像部４１−３、撮像部４１−５、撮像部４１−７、および撮像部４１−８のいずれかに対応するペア＃２乃至ペア＃４、ペア＃９、およびペア＃１２において、最も高い相関値は閾値より小さくなる。
【００９３】
これに対して、撮像部４１−１、撮像部４１−４、および撮像部４１−６の画素エリア１０２に対応する画像は同一であり、サッカーボールの画像である。従って、撮像部４１−１、撮像部４１−４、および撮像部４１−６のいずれか２つに対応するペア＃１０およびペア＃１１において、最も高い相関値は閾値以上となり、最高相関視差値はサッカーボールの視差値となる。
【００９４】
以上のように、画素エリア１０２の中心の座標を処理対象画素エリアの中心の座標としたとき図８の点線の矩形１２１で囲われたペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６の相関値情報では、最高相関視差値が背景の視差値となる。また、点線の矩形１２２で囲われたペア＃１０およびペア＃１１の相関値情報では、最高相関視差値がサッカーボールの視差値となる。
【００９５】
このような場合、基準視点以外の視点どうしの全てのペアに対応する最高相関視差値は、基準視点とのペアに対応する最高相関視差値以上であるため、基準視点のオクルージョン領域の視差値ではない。従って、基準視点とのペアの最高相関視差値である背景の視差値と、その背景の視差値を最高相関視差値とするペア＃１３乃至ペア＃１６の最高相関視差値とを用いて、処理対象画素エリアの第１階層の視差値のみを生成することができる。
【００９６】
また、図７の右側に示すように、画素エリア１０３の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１乃至ペア＃１３およびペア＃１６の相関値情報では、サッカーボールの視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
【００９７】
即ち、図５の撮像画像では、撮像部４１−０乃至４１−２、撮像部４１−４、撮像部４１−６、および撮像部４１−７により撮像された撮像画像において、画素エリア１０３に対応する画像はサッカーボールの画像である。また、全ての視点の撮像画像には、サッカーボールの画像が存在する。従って、撮像部４１−０乃至４１−２、撮像部４１−４、撮像部４１−６、および撮像部４１−７に対応する視点とのペア＃１乃至ペア＃１３およびペア＃１６において、最も高い相関値は閾値以上となり、最高相関視差値は、サッカーボールの視差値となる。
【００９８】
一方、ペア＃１４およびペア＃１５の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
【００９９】
即ち、図５の撮像画像では、撮像部４１−３、撮像部４１−５、および撮像部４１−８により撮像された撮像画像において、画素エリア１０３に対応する画像は背景の画像であり、その背景の画像が互いに存在する。従って、撮像部４１−３、撮像部４１−５、および撮像部４１−８のいずれかに対応する視点のペアであるペア＃１４およびペア＃１５において、最も高い相関値は閾値以上となり、最高相関視差値は背景の視差値となる。
【０１００】
以上のように、画素エリア１０３の中心の座標を処理対象画素エリアの中心の座標としたとき図９の点線の矩形１４１で囲われたペア＃１乃至ペア＃１３およびペア＃１６の相関値情報では、最高相関視差値がサッカーボールの視差値となる。また、点線の矩形１４２で囲われたペア＃１４およびペア＃１５の相関値情報では、最高相関視差値が背景の視差値となる。
【０１０１】
このような場合、基準視点以外の視点どうしの全てのペアに対応する最高相関視差値は、基準視点とのペアに対応する最高相関視差値以上ではない。即ち、処理対象画素エリアにおいて基準視点のオクルージョンが発生する。
【０１０２】
従って、基準視点以外の視点どうしのペアの最高相関視差値のうちの、基準視点とのペアに対応する最高相関視差値より小さい視差値を用いて、処理対象画素エリアの第２階層の視差値を生成することができる。
【０１０３】
また、基準視点とのペアの最高相関視差値である背景の視差値と、その背景の視差値を最高相関視差値とするペア＃９乃至ペア＃１３およびペア＃１６の最高相関視差値とを用いて、処理対象画素エリアの第１階層の視差値のみを生成することができる。
【０１０４】
図７乃至図９で説明したように、各ペアの最も高い相関値に対応する視差値のパターンに応じて、処理対象画素エリアにおいて基準視点のオクルージョンが発生するかどうかを判定し、処理対象画素エリアの視差値の階層数、および、各階層の視差値の生成に用いられる視差値を決定することができる。従って、階層テーブルでは、各ペアの最も高い相関値に対応する視差値のパターンと、各階層の視差値に対応するペアとが対応付けられる。
【０１０５】
図１０は、階層テーブルの例を示す図である。
【０１０６】
図１０に示すように、階層テーブルでは、ペア＃１乃至ペア＃１６の全ての最高相関視差値の最小値と最大値の範囲が所定の範囲内であるパターンと、第１階層の視差値に対応するペアとしてのペア＃１乃至ペア＃１６とが対応付けられる。これにより、全てのペアの最高相関視差値の最小値と最大値の範囲が所定の範囲内である場合、即ち全てのペアの最高相関視差値が１種類の視差値である場合、第１階層の視差値が全てのペアの最高相関視差値を用いて生成される。
【０１０７】
また、ペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１０およびペア＃１１において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６が対応付けられる。
【０１０８】
同様に、ペア＃１、ペア＃２、ペア＃６乃至９、およびペア＃１４乃至ペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１１およびペア＃１２において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
【０１０９】
同様に、ペア＃１乃至ペア＃３、ペア＃７乃至ペア＃１０、ペア＃１５、およびペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１２およびペア＃１３において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
【０１１０】
同様に、ペア＃１乃至ペア＃４、ペア＃８乃至ペア＃１１、およびペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１３およびペア＃１４において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
【０１１１】
同様に、ペア＃１乃至ペア＃５およびペア＃９乃至ペア＃１２において最高相関視差値がより奥側の視差値であり、ペア＃１４およびペア＃１５において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
【０１１２】
同様に、ペア＃２乃至ペア＃６およびペア＃１０乃至ペア＃１３において最高相関視差値がより奥側の視差値であり、ペア＃１５およびペア＃１６において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
【０１１３】
同様に、ペア＃３乃至ペア＃７およびペア＃１１乃至ペア＃１４において最高相関視差値がより奥側の視差値であり、ペア＃９およびペア＃１６において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
【０１１４】
同様に、ペア＃４乃至ペア＃８およびペア＃１２乃至ペア＃１５において最高相関視差値がより奥側の視差値であり、ペア＃９およびペア＃１０において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
【０１１５】
以上により、基準視点とのペアの最高相関視差値がより奥側の視差値である場合、第１階層の視差値が、最高相関視差値がより奥側の視差値となるペアの最高相関視差値を用いて生成される。
【０１１６】
また、ペア＃１乃至ペア＃１３およびペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１４およびペア＃１５において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１０、およびペア＃１１の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１４およびペア＃１５が対応付けられる。
【０１１７】
同様に、ペア＃１乃至ペア＃１４において最高相関視差値がより手前側の視差値であり、ペア＃１５およびペア＃１６において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１１、およびペア＃１２の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１５およびペア＃１６が対応付けられる。
【０１１８】
同様に、ペア＃１乃至ペア＃８およびペア＃１０乃至ペア＃１５において最高相関視差値がより手前側の視差値であり、ペア＃９およびペア＃１６において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１２、およびペア＃１３の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃９およびペア＃１６が対応付けられる。
【０１１９】
同様に、ペア＃１乃至ペア＃８およびペア＃１１乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃９およびペア＃１０において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１３、およびペア＃１４の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃９およびペア＃１０が対応付けられる。
【０１２０】
同様に、ペア＃１乃至ペア＃９およびペア＃１２乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１０およびペア＃１１において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１４、およびペア＃１５の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１０およびペア＃１１が対応付けられる。
【０１２１】
同様に、ペア＃１乃至ペア＃１０およびペア＃１３乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１１およびペア＃１２において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１５、およびペア＃１６の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１１およびペア＃１２が対応付けられる。
【０１２２】
同様に、ペア＃１乃至ペア＃１１およびペア＃１４乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１２およびペア＃１３において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃９、およびペア＃１６の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１２およびペア＃１３が対応付けられる。
【０１２３】
同様に、ペア＃１乃至ペア＃１２、ペア＃１５、およびペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１３およびペア＃１４において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃１０の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１３およびペア＃１４が対応付けられている。
【０１２４】
以上により、基準視点とのペアの最高相関視差値がより手前側の視差値である場合、第１階層の視差値が、最高相関視差値がより手前側の視差値となるペアの最高相関視差値を用いて生成される。また、第２階層の視差値が、最高相関視差値がより奥側の視差値となるペアの最高相関視差値を用いて生成される。
【０１２５】
なお、図１０の例では、最高相関視差値がより手前側の視差値となるペアのうちの１０個のペアのみが第１階層と対応付けられたが、最高相関視差値がより手前側の視差値となるペアの全てが第１階層と対応付けられるようにしてもよい。
【０１２６】
（基準視点の第１階層および第２階層の視差画像の例）
図１１は、図４の基準視点の撮像画像の第１階層および第２階層の視差画像の例を示す図である。
【０１２７】
図１１に示すように、基準視点の撮像画像１６１に対して、基準視点の視差値からなる視差画像１６２が、基準視点の第１の階層の視差画像として生成される。視差画像１６２は、撮像画像１６１内のサッカーボールに対応する領域１６２Ａの視差値が大きく、背景に対応する領域１６２Ｂの視差値が小さい視差画像である。
【０１２８】
また、図１１に示すように、基準視点の撮像画像１６１に対して、基準視点のオクルージョン領域の視差値からなる視差画像１６３が、基準視点の第２の階層の視差画像として生成される。視差画像１６３は、撮像画像１６１内のサッカーボールと背景の境界から所定の距離だけ内側の領域に対応する輪形状の領域１６３Ａの視差値として背景の視差値を有する視差画像である。なお、視差画像１６３の領域１６３Ａ以外の領域１６３Ｂの視差値は、無効を表す値である。
【０１２９】
（基準視点以外の視点の視差画像の例）
図１２は、図１１の視差画像１６２と視差画像１６３を用いて生成される基準視点以外の視点の視差画像の例を示す図である。
【０１３０】
図１２の例では、基準視点に対応する撮像部４１−０の被写体に向かって左側に位置する撮像部４１−５の視点の視差画像と、右側に位置する撮像部４１−４の視点の視差画像のみを示すが、他の基準視点以外の視点についても同様である。また、図１２のグラフにおいて、横軸は、各画素の水平方向（Ｘ軸方向）の位置を表し、縦軸は、視差値を表している。このことは、後述する図１３においても同様である。
【０１３１】
図１２の中央のグラフで表すように、基準視点の撮像画像内のオクルージョン領域に対応する領域の視差画像１６２と視差画像１６３により表される視差値は、背景とサッカーボールの視差値の両方となる。即ち、視差画像１６２と視差画像１６３は、オクルージョン領域に対応する領域において重複して視差値を有する。
【０１３２】
これにより、仮想視点画像生成部２２は、撮像部４１−５の視点の撮像画像１８１に対応する視差画像１８２と、撮像部４１−４の視点の撮像画像１９１に対応する視差画像１９２を正確に生成することができる。
【０１３３】
即ち、仮想視点画像生成部２２は、視差画像１６２の領域１６２Ａの視差値を右方向にずらすことにより視差画像１８２を生成するが、オクルージョン領域の視差値は対応する視差値が視差画像１６２に存在しないため、正確に生成することができない。
【０１３４】
しかしながら、仮想視点画像生成部２２は、視差画像１６３も用いることができるため、オクルージョン領域の視差値として視差画像１６３の視差値を用いることにより、正確な視差画像１８２を生成することができる。
【０１３５】
同様に、仮想視点画像生成部２２は、視差画像１６２の領域１６２Ａの視差値を左方向にずらすことにより視差画像１９２を生成するが、オクルージョン領域の視差値を、視差画像１６３の視差値を用いて正確に生成することができる。
【０１３６】
これに対して、視差画像１６２のみが生成される場合、図１３の中央のグラフに示すように、オクルージョン領域の視差値は生成されない。従って、撮像画像１８１に対応する視差画像２１１におけるオクルージョン領域２１１Ａの視差値が視差画像１６２には存在しないため、オクルージョン領域２１１Ａの視差値を正確に生成することができない。
【０１３７】
同様に、撮像画像１９１に対応する視差画像２１２におけるオクルージョン領域２１２Ａの視差値が視差画像１６２には存在しないため、オクルージョン領域２１２Ａの視差値を正確に生成することができない。
【０１３８】
（仮想視点の例）
図１４は、仮想視点の例を示す図である。
【０１３９】
図１４の例では、仮想視点は、撮像部４１−２、撮像部４１−３、撮像部４１−７、および撮像部４１−８の中央に位置する仮想撮像部２３１に対応する視点である。
【０１４０】
（仮想視点の撮像画像の生成方法の説明）
図１５乃至図２０は、図１４の仮想視点の撮像画像の生成について説明する図である。
【０１４１】
図１５に示すように、仮想視点画像生成部２２は、図１４の仮想視点の撮像画像２５０を生成する際、撮像部４１−３の撮像画像２５１、撮像部４１−２の撮像画像２５２、撮像部４１−８の撮像画像２５３、および撮像部４１−７の撮像画像２５４を用いる。また、仮想視点画像生成部２２は、撮像画像２５１乃至２５４に対応する視差画像２６１乃至２６４も用いる。
【０１４２】
具体的には、まず、図１６に示すように、仮想視点画像生成部２２は、撮像画像２５１と視差画像２６１を用いて、仮想視点の撮像画像２８１を生成する。具体的には、例えば、仮想視点画像生成部２２は、撮像画像２５１の各画素を、その画素の視差画像２６１の視差値、並びに、基準視点、撮像部４１−２の視点、および仮想視点の位置関係に基づく値だけずらすことにより、仮想視点の撮像画像２８１を生成する。
【０１４３】
次に、図１７に示すように、仮想視点画像生成部２２は、撮像画像２５２と視差画像２６２を用いて、撮像画像２８１と同様に仮想視点の撮像画像２８２を生成する。また、図１８に示すように、仮想視点画像生成部２２は、撮像画像２５３と視差画像２６３を用いて撮像画像２８１と同様に仮想視点の撮像画像２８３を生成する。また、図１９に示すように、仮想視点画像生成部２２は、撮像画像２５４と視差画像２６４を用いて撮像画像２８１と同様に仮想視点の撮像画像２８４を生成する。
【０１４４】
そして、仮想視点画像生成部２２は、図２０に示すように、仮想視点の撮像画像２８１乃至２８４を合成し、最終的な仮想視点の撮像画像２５０を生成する。
【０１４５】
（撮像装置の処理の説明）
図２１は、図１の撮像装置１０の撮像処理を説明するフローチャートである。
【０１４６】
図２１のステップＳ１１において、撮像装置１０の撮像アレイ１２は、撮像部４１−０乃至４１−８の各視点の撮像画像を取得し、検出部２１に供給する。ステップＳ１２において、検出部２１の相関生成部６１（図３）は、基準視点の撮像画像の画素エリアを処理対象画素エリアに設定する。
【０１４７】
具体的には、相関生成部６１は、基準視点の撮像画像において、所定のサイズの画素エリアを左上から１画素ずつラスタスキャン方向にずらすことにより、所定のサイズの画素エリアを設定する。そして、相関生成部６１は、最初のステップＳ１２の処理において左上の画素エリアを処理対象画素エリアとし、以降のステップＳ１２の処理では、ラスタスキャン順に画素エリアを処理対象画素エリアとする。
【０１４８】
ステップＳ１３において、相関生成部６１は、処理対象画素エリアについて撮像画像の相関検出を行い、相関値情報を生成する。相関生成部６１は、相関値情報を高相関検出部６２に供給する。
【０１４９】
ステップＳ１４において、高相関検出部６２は、相関生成部６１から供給される相関値情報に基づいて、処理対象画素エリアの最も高い相関値を検出する。ステップＳ１５において、高相関検出部６２は、検出された最も高い相関値が閾値以上であるかどうかを判定する。
【０１５０】
ステップＳ１５で最も高い相関値が閾値以上であると判定された場合、ステップＳ１６において、高相関検出部６２は、最高相関視差値を生成部６３に出力し、処理をステップＳ１８に進める。
【０１５１】
一方、ステップＳ１５で最も高い相関値が閾値以上ではないと判定された場合、ステップＳ１７において、高相関検出部６２は、無効情報を生成部６３に出力し、処理をステップＳ１８に進める。
【０１５２】
ステップＳ１８において、生成部６３は、データベース６４から階層テーブルを読み出す。ステップＳ１９において、生成部６３は、階層テーブルと、高相関検出部６２のそれぞれから供給される最高相関視差値または無効情報とに基づいて、各階層のペアを認識する。
【０１５３】
ステップＳ２０において、生成部６３は、階層ごとにステップＳ１９で認識されたペアの最高相関視差値の平均値を求める。ステップＳ２１において、生成部６３は、ステップＳ２０で求められた各階層の最高相関視差値の平均値を、基準視点の各階層の視差画像の処理対象画素エリアの視差値として保持する。
【０１５４】
ステップＳ２２において、相関生成部６１は、全ての画素エリアを処理対象画素エリアとしたかどうかを判定する。ステップＳ２２でまだ全ての画素エリアを処理対象画素エリアとしていないと判定された場合、処理はステップＳ１２に戻り、全ての画素エリアを処理対象画素エリアとするまで、ステップＳ１２乃至Ｓ２２の処理が繰り返される。
【０１５５】
一方、ステップＳ２２で全ての画素エリアを処理対象画素エリアとしたと判定された場合、ステップＳ２３において、生成部６３は、保持されている基準視点の第１階層および第２階層の視差画像を仮想視点画像生成部２２に出力する。
【０１５６】
ステップＳ２４において、仮想視点画像生成部２２は、生成部６３から供給される基準視点の第１階層および第２階層の視差画像を用いて、基準視点以外の視点の視差画像を生成する。
【０１５７】
ステップＳ２５において、仮想視点画像生成部２２は、各視点の視差画像と撮像アレイ１２から供給される各視点の撮像画像とを用いて、仮想視点の撮像画像を生成する。仮想視点画像生成部２２は、撮像アレイ１２から供給される各視点の撮像画像と仮想視点の撮像画像を、超多視点画像としてリフォーカス画像生成部２３に供給する。
【０１５８】
ステップＳ２６において、リフォーカス画像生成部２３は、仮想視点画像生成部２２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２３は、生成されたリフォーカス画像を出力する。
【０１５９】
以上のように、撮像装置１０は、基準視点の視差値からなる視差画像を第１の階層の視差画像として生成し、基準視点のオクルージョン領域の視差値からなる視差画像を第２の階層の視差画像として生成する。従って、基準視点以外の視点の視差画像を正確に生成することができる。
【０１６０】
また、撮像装置１０は、基準視点以外の視点の視差画像を基準視点の視差画像から生成する。従って、各視点の視差画像を撮像画像から生成する場合に比べて、各視点の視差画像を生成するために必要な演算量は少ない。また、各視点の視差画像を用いる後段の処理のために、基準視点の視差画像のみを保持すれば良いため、視差画像の保持量が少なくて済む。これに対して、各視点の視差画像を撮像画像から生成する場合、全ての視点の視差画像を保持する必要がある。
【０１６１】
さらに、撮像装置１０は、基準視点の視差値からなる視差画像と基準視点のオクルージョン領域の視差値からなる視差画像を階層化して保持するため、基準視点の視差値とオクルージョン領域の視差値を効率良く保持することができる。また、撮像装置１０は、階層テーブルに基づいて、視差画像の生成に用いる最高相関視差値を容易かつ正確に選択することができる。
【０１６２】
（撮像アレイの他の構成例）
図２２は、図１の撮像アレイ１２の他の構成例を示す図であり、撮像アレイ１２を被写体側から見た斜視図である。
【０１６３】
図２２の撮像アレイ１２では、撮像部３０１−１乃至３０１−６が撮像部３０１−０を中心とした正六角形の頂点に位置するように、７個の撮像部３０１−０乃至３０１−６が基盤平面４０上に配置される。
【０１６４】
なお、図２２の例では、撮像部３０１−１乃至３０１−６が正六角形の頂点になっているが、撮像部３０１−１乃至３０１−６は六角形の頂点になっていてもよい。即ち、撮像部３０１−１乃至３０１−６のうちの隣り合う撮像部どうしの距離は同一でなくてもよい。
【０１６５】
また、撮像アレイ１２を構成する撮像部の数や位置は、図２や図２２の例に限定されない。
【０１６６】
なお、本実施の形態では、説明を簡単にするため、基準視点のオクルージョン領域が１つであるものとしたが、複数であってもよい。即ち、撮像画像は、複数の被写体が背景の手前に存在する画像であってもよい。この場合、基準視点の視差画像の階層数は、オクルージョン領域の数に１を加算した数となる。
【０１６７】
（本開示を適用したコンピュータの説明）
上述した一連の処理は、上述したようにハードウエアにより実行することができるが、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１６８】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１６９】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０１７０】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、撮像部６０６、入力部６０７、出力部６０８、記憶部６０９、通信部６１０、及びドライブ６１１が接続されている。
【０１７１】
撮像部６０６は、撮像アレイ１２などよりなり、複数の視点の撮像画像を取得する。入力部６０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０８は、ディスプレイ、スピーカなどよりなる。記憶部６０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部６１０は、ネットワークインタフェースなどよりなる。ドライブ６１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１２を駆動する。
【０１７２】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０９に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７３】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１７４】
コンピュータでは、プログラムは、リムーバブルメディア６１２をドライブ６１１に装着することにより、入出力インタフェース６０５を介して、記憶部６０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６１０で受信し、記憶部６０９にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０９に、あらかじめインストールしておくことができる。
【０１７５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７６】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７７】
例えば、超多視点画像を用いてリフォーカス画像以外の画像（例えば、撮像画像と照明の異なる画像など）が生成されるようにしてもよい。
【０１７８】
また、基準視点の視差値および基準視点のオクルージョン領域の視差値は、各階層に対応するペアの最高相関視差値の平均値以外の、最高相関視差値に基づく値(例えば、最高相関視差値の最大値など)にすることができる。
【０１７９】
さらに、撮像装置１０は、階層テーブルを記憶しなくてもよい。この場合、最高相関視差値の種類が１種類である場合、その最高相関視差値が基準視点の視差値とされる。一方、最高相関視差値の種類が複数種類である場合、基準視点とのペアの最高相関視差値が基準視点の視差値とされ、その最高相関視差値より奥側の最高相関視差値が基準視点のオクルージョン領域の視差値とされる。
【０１８０】
また、相関検出対象とされる撮像画像のペアは、上述した１６個のペア以外のペアにすることもできる。相関検出の方法としてコントラストから相関値を検出する方法が採用される場合には、３つ以上の撮像画像の相関値を生成するようにしてもよい。
【０１８１】
さらに、本技術は、複数の撮像部により多視点の撮像画像を取得する撮像装置だけでなく、撮像レンズとマイクロレンズアレイにより多視点の撮像画像を取得する撮像装置にも適用することができる。
【０１８２】
また、本開示は、以下のような構成もとることができる。
【０１８３】
（１）
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
前記演算部により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成部と
を備える画像処理装置。
（２）
前記生成部は、最も高い前記相関値に対応する視差値である最高相関視差値に基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記生成部は、前記複数の視点のペアのうちの第１のペアの最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの最高相関視差値に基づいて前記オクルージョン視差画像を生成する
前記（２）に記載の画像処理装置。
（４）
前記生成部は、複数の前記第１のペアの前記最高相関視差値の平均値を前記視点視差画像の視差値とし、複数の前記第２のペアの前記最高相関視差値の平均値を前記オクルージョン視差画像の視差値とする
前記（３）に記載の画像処理装置。
（５）
前記生成部は、各ペアの前記相関値のパターンと、前記第１のペアおよび前記第２のペアとを対応付けたテーブルに基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
前記（３）または（４）に記載の画像処理装置。
（６）
前記複数の視点の撮像画像と前記生成部により生成された前記基準視点の視差画像とに基づいて、仮想視点の撮像画像を生成する仮想視点画像生成部
をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記仮想視点画像生成部により生成された前記仮想視点の撮像画像と前記複数の視点の撮像画像を用いて、仮想フォーカスの撮像画像を生成する仮想フォーカス画像生成部
をさらに備える
前記（６）に記載の画像処理装置。
（８）
画像処理装置が、
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
前記演算ステップの処理により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成ステップと
を含む画像処理方法。
（９）
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成部と
を備える画像処理装置。
（１０）
画像処理装置が、
複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成ステップと
を含む画像処理方法。
【符号の説明】
【０１８４】
１０  撮像装置，  １３  画像処理部，  ２１  検出部，  ２２  仮想視点画像生成部，  ２３  リフォーカス画像生成部，  ６１−１乃至６１−１６  相関生成部，  ６３  生成部
【図１】
0006551743.tif 000003
【図２】
0006551743.tif 000004
【図３】
0006551743.tif 000005
【図４】
0006551743.tif 000006
【図５】
0006551743.tif 000007
【図６】
0006551743.tif 000008
【図７】
0006551743.tif 000009
【図８】
0006551743.tif 000010
【図９】
0006551743.tif 000011
【図１０】
0006551743.tif 000012
【図１１】
0006551743.tif 000013
【図１２】
0006551743.tif 000014
【図１３】
0006551743.tif 000015
【図１４】
0006551743.tif 000016
【図１５】
0006551743.tif 000017
【図１６】
0006551743.tif 000018
【図１７】
0006551743.tif 000019
【図１８】
0006551743.tif 000020
【図１９】
0006551743.tif 000021
【図２０】
0006551743.tif 000022
【図２１】
0006551743.tif 000023
【図２２】
0006551743.tif 000024
【図２３】
0006551743.tif 000025