(57)【要約】  本開示は、高精度の視差画像を生成することができるようにする画像生成装置および画像生成方法に関する。視差画像生成部は、２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、２視点のペアの視差を表す視差画像を生成する。本開示は、例えば、HDR全天球画像を生成する画像生成装置等に適用することができる。
2017217241.tif 000002
【特許請求の範囲】
【請求項１】
２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成部
を備える画像生成装置。
【請求項２】
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部と、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の各画素値から前記画素値の最小値を減算し、その結果得られる差分のビット数を所定のビット数に変換した値を、前記ハイダイナミックレンジ画像の各画素値として伝送する伝送部と
をさらに備える
請求項１に記載の画像生成装置。
【請求項３】
前記伝送部は、前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の画素値の範囲を示す情報を伝送する
ように構成された
請求項２に記載の画像生成装置。
【請求項４】
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部
をさらに備え、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像を表示する表示装置は、表示する前記ハイダイナミックレンジ画像の視点を変更する場合、変更後の視点の前記ハイダイナミックレンジ画像の画素値の範囲を、変更前の視点の前記ハイダイナミックレンジ画像の画素値の範囲から段階的に移行する
ように構成された
請求項１に記載の画像生成装置。
【請求項５】
前記複数露出ペア画像は、前記視点ごと、かつ、露出値ごとに設けられた撮影装置により撮影される
ように構成された
請求項１に記載の画像生成装置。
【請求項６】
前記複数露出ペア画像は、前記視点ごとに設けられた撮影装置により撮影され、
各２視点のペアの前記撮影装置は、露出値を順に変更することにより、前記複数露出ペア画像を撮影する
ように構成された
請求項１に記載の画像生成装置。
【請求項７】
前記複数露出ペア画像の前記除外領域を検出する領域検出部
をさらに備える
請求項１に記載の画像生成装置。
【請求項８】
前記視差画像生成部は、前記複数露出ペア画像の各領域を、その領域が除外領域である度合に応じた重みで用いて、前記視差画像を生成する
ように構成された
請求項１に記載の画像生成装置。
【請求項９】
画像生成装置が、
２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成ステップと
を含む画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像生成装置および画像生成方法に関し、特に、高精度の視差画像を生成することができるようにした画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】
近年、複数視点の画像を入力とした画像処理技術の研究が進んでいる。このような画像処理技術としては、例えば、単眼カメラで視点を動かしながら広い範囲を撮影することにより得られた撮影画像を用いて１枚のパノラマ画像を生成する技術や、複眼カメラで撮影された撮影画像を用いて３次元情報の復元を行う技術などがある。【０００３】
また、１台の複眼カメラで複数の露出値で撮影された複数視点の撮影画像から、視差を用いて所定の視点のHDR(High Dynamic Range)画像を生成する技術もある(例えば、特許文献１参照)。特許文献１に記載されている技術では、複数の露出値で撮影が行われるが、視差は、同一の露出値で撮影された複数視点の撮影画像を用いたマッチングにより検出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2015-207862公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、視差の検出に用いられる撮影画像の露出値が適切ではなく、撮影画像に白飛び領域や黒潰れ領域が発生する場合、マッチング精度が劣化し、高精度で視差を検出することができない。【０００６】
本開示は、このような状況に鑑みてなされたものであり、高精度の視差画像を生成することができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の画像生成装置は、２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成部を備える画像生成装置である。【０００８】
本開示の一側面の画像生成方法は、本開示の一側面の画像生成装置に対応する。【０００９】
本開示の一側面においては、２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像が生成される。【００１０】
なお、本開示の一側面の画像生成装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１１】
また、本開示の一の側面の画像生成装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１２】
本開示の一側面によれば、高精度の視差画像を生成することができる。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１の撮影装置のカメラモジュールの第１の構成例を示す図である。
【図３】図１の撮影装置のカメラモジュールの第２の構成例を示す図である。
【図４】図１の画像生成装置の構成例を示す図である。
【図５】図４の画像処理部の構成例を示すブロック図である。
【図６】白飛びマスクと黒潰れマスクの例を示す図である。
【図７】平均値Cost(x,y,d)の例を示す図である。
【図８】第１実施の形態における効果を説明する図である。
【図９】伝送データを説明する図である。
【図１０】図１の画像生成装置のHDR全天球画像生成処理を説明するフローチャートである。
【図１１】図１０の視差画像生成処理を説明するフローチャートである。
【図１２】図１の表示装置の構成例を示すブロック図である。
【図１３】各表示視点のHDR全天球画像の画素値の範囲を示す図である。
【図１４】表示画像の画素値の範囲を示す図である。
【図１５】図１２の表示装置の表示処理を説明するフローチャートである。
【図１６】本開示を適用した画像表示システムの第２実施の形態における画像処理部の構成例を示すブロック図である。
【図１７】マスクの例を示す図である。
【図１８】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像表示システム（図１乃至図１５）
２．第２実施の形態：画像表示システム（図１６および図１７）
３．第３実施の形態：コンピュータ（図１８）
【００１６】
＜第１実施の形態＞
（画像表示システムの第１実施の形態の構成例）
図１は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。
【００１７】
画像表示システム１０は、撮影装置１１、画像生成装置１２、表示装置１３により構成される。画像表示システム１０は、２視点のペアごとに複数の露出値で撮影された静止画像である複数露出ペア画像を用いて、ハイダイナミックレンジの全天球画像(以下、HDR全天球画像という)を生成し、表示する。
【００１８】
具体的には、画像表示システム１０の撮影装置１１は、各２視点のペアの複数露出ペア画像を撮影するカメラモジュールが、水平方向に360度、垂直方向に180度広がるように配置されることにより構成される。以下では、複数露出ペア画像のうちの、露出が同一である画像を同一露出ペア画像といい、視点が同一である画像を同一視点画像といい、複数露出ペア画像の各画像を特に区別する必要がない場合、その画像を単に画像という。
【００１９】
撮影装置１１は、各カメラモジュールにより撮影された各２視点のペアの複数露出ペア画像の各画像に対してキャリブレーションを行う。撮影装置１１は、各２視点のペアの複数露出ペア画像と、各画像のキャリブレーションにより推定された、その画像を撮影するカメラの位置や姿勢、焦点距離、収差などを含むカメラパラメータとを、画像生成装置１２に供給する。
【００２０】
画像生成装置１２は、撮影装置１１から供給される複数露出ペア画像の各画像の白飛び領域および黒潰れ領域等のマッチング精度が劣化する領域を、視差の検出に用いない除外領域として検出する。画像生成装置１２は、２視点のペアごとに、複数露出ペア画像の除外領域以外の領域を用いて、２視点のペアの視差を表す視差画像（被写体の奥行き方向の位置を表す奥行き情報）を生成する。このとき、画像生成装置１２は、必要に応じて、カメラパラメータを参照する。
【００２１】
画像生成装置１２は、各２視点のペアの視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて３次元再構成を行うことにより、水平方向に360度、垂直方向に180度広がる各表示視点のHDR画像をHDR全天球画像として生成し、記憶する。画像生成装置１２は、表示装置１３から送信されてくる、表示対象とするHDR全天球画像の表示視点を示す表示視点情報に基づいて、その表示視点のHDR全天球画像を読み出す。画像生成装置１２は、読み出されたHDR全天球画像に基づいて、そのHDR全天球画像の伝送データを生成し、表示装置１３に送信する。
【００２２】
表示装置１３は、画像生成装置１２から送信されてくる伝送データに基づいてHDR全天球画像を表示する。また、表示装置１３は、視聴者からの入力などに応じて、表示対象とするHDR全天球画像の表示視点を決定し、表示視点情報を画像生成装置１２に送信する。
【００２３】
（カメラモジュールの第１の構成例）
図２は、図１の撮影装置１１のカメラモジュールの第１の構成例を示す図である。
【００２４】
図２の例では、複数露出ペア画像の露出値（EV）が+1.0と-1.0である。従って、図２の撮影装置１１のカメラモジュール３０は、水平方向に並ぶ２視点のペアの画像を露出値+1.0で撮影するカメラ３１−１およびカメラ３１−２と、水平方向に並ぶ２視点のペアの画像を露出値-1.0で撮影するカメラ３２−１およびカメラ３２−２とにより構成される。また、図２の例では、カメラ３１−１とカメラ３２−１、カメラ３１−２とカメラ３１−２は、それぞれ、垂直方向に並んで配置される。
【００２５】
即ち、カメラモジュール３０は、視点ごと、かつ、露出値ごとに設けられ、２（水平方向）×２(垂直方向)で配列されたカメラ３１−１、カメラ３１−２、カメラ３２−１、およびカメラ３２−２（撮影装置）により構成される。なお、以下では、カメラ３１−１、カメラ３１−２、カメラ３２−１、およびカメラ３２−２を特に区別する必要がない場合、それらをまとめてカメラ３１（３２）という。
【００２６】
以上のように、図２のカメラモジュール３０では、カメラ３１（３２）が、視点ごと、かつ、露出値ごとに設けられるため、複数露出ペア画像の全てを同時に撮影することが可能である。従って、カメラモジュール３０は、複数露出ペア画像として、静止画像だけでなく、一定間隔で連写するタイムラプス画像や動画像を撮影する場合にも適している。
【００２７】
なお、図２の例では、複数露出ペア画像の露出値の種類が２種類であるため、カメラモジュール３０を構成するカメラ３１（３２）の数は４台であったが、カメラ３１（３２）の数は露出値の種類数によって異なる。例えば、複数露出ペア画像の露出値の種類が+2.0,-1.0,0.0,+1.0,+2.0の５種類である場合、カメラ３１（３２）の数は、１０台である。複数露出ペア画像の露出値の種類が多いほど、HDR全天球画像のダイナミックレンジを高めることができる。
【００２８】
また、２視点のペアのカメラ３１（３２）どうしは、必ずしも平行に配置される必要はない。但し、２視点のペアのカメラ３１（３２）どうしが平行に配置される方が、各視点の画像間で重複する領域が広くなる。後述するように、視差は、２視点のペアの複数露出ペア画像を用いたブロックマッチングにより検出されるため、２視点のペアのカメラ３１（３２）どうしが平行に配置される方が、高精度で視差検出可能な範囲が広くなる。
【００２９】
（カメラモジュールの第２の構成例）
図３は、図１の撮影装置１１のカメラモジュールの第２の構成例を示す図である。
【００３０】
図３の例では、図２の場合と同様に、複数露出ペア画像の露出値が+1.0と-1.0であるが、図３の撮影装置１１のカメラモジュール５０には、水平方向に並ぶ２つのカメラ５１−１とカメラ５１−２のみが設けられる。即ち、カメラモジュール５０は、視点ごとに設けられ、２（水平方向）×１(垂直方向)で配列されたカメラ５１−１とカメラ５１−２（撮影装置）により構成される。なお、以下では、カメラ５１−１とカメラ５１−２を特に区別する必要がない場合、それらをまとめてカメラ５１という。
【００３１】
図３０のカメラモジュール５０では、各カメラ５１は、露出値を+1.0と-1.0に順に変更して撮影を行う（AE(Automatic Exposure)ブラケット撮影を行う）ことにより、露出値が+1.0と-1.0である複数露出ペア画像を撮影し、この複数露出ペア画像の撮影時刻を同時刻とする。即ち、複数露出ペア画像のうちの、露出値が+1.0である同一露出ペア画像の撮影時刻と、露出値が-1.0である同一露出ペア画像の撮影時刻は実際には連続する異なる時刻であるが、同一の時刻とされる。
【００３２】
カメラモジュール５０は、複数露出ペア画像を同時に撮影することができないため、複数露出ペア画像として静止画像やタイムラプス画像を撮影する場合に適している。
【００３３】
なお、図３０のカメラモジュール５０では、カメラ５１が視点ごとに設けられるため、複数露出ペア画像の露出値の種類によってカメラモジュール５０を構成するカメラ５１の数は変化しない。例えば、複数露出ペア画像の露出値の種類が+2.0,-1.0,0.0,+1.0,+2.0の５種類である場合であっても、カメラ５１の数は２台である。また、図２の場合と同様に、２視点のペアのカメラ５１どうしは、必ずしも平行に配置される必要はない。
【００３４】
（画像生成装置の構成例）
図４は、図１の画像生成装置１２の構成例を示す図である。
【００３５】
図４の画像生成装置１２は、画像取得部７１、パラメータ取得部７２、画像処理部７３、HDR画像生成部７４、記憶部７５、受け取り部７６、および伝送部７７により構成される。
【００３６】
画像生成装置１２の画像取得部７１は、撮影装置１１から供給される各２視点のペアの複数露出ペア画像を取得し、画像処理部７３に供給する。パラメータ取得部７２は、撮影装置１１から供給される各画像のカメラパラメータを取得し、画像処理部７３に供給する。
【００３７】
画像処理部７３は、パラメータ取得部７２から供給される各画像のカメラパラメータのうちの収差に基づいて、画像取得部７１から供給される複数露出ペア画像の各画像を補正する。画像処理部７３は、補正後の各画像の白飛び領域および黒潰れ領域を除外領域として検出する。画像処理部７３は、２視点のペアごとに、カメラパラメータのうちのカメラの位置および姿勢並びに焦点距離と、補正後の複数露出ペア画像の除外領域以外の領域とを用いて、２視点のペアの視差画像を生成する。画像処理部７３は、各２視点のペアの視差画像と各複数露出ペア画像をHDR画像生成部７４に供給する。
【００３８】
HDR画像生成部７４は、画像処理部７３から供給される、各２視点のペアの視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて３次元再構成を行うことにより、各表示視点のHDR全天球画像を生成する。HDR画像生成部７４は、各表示視点のHDR全天球画像を記憶部７５に供給し、記憶させる。
【００３９】
また、HDR画像生成部７４は、受け取り部７６から供給される表示視点情報が示す表示視点のHDR全天球画像を記憶部７５から読み出し、伝送部７７に供給する。
【００４０】
記憶部７５は、HDR画像生成部７４から供給される各表示視点のHDR全天球を記憶する。受け取り部７６は、図１の表示装置１３から送信されてくる表示視点情報を受け取り、HDR画像生成部７４に供給する。
【００４１】
伝送部７７は、HDR画像生成部７４から供給されるHDR全天球像のビット数を伝送用のビット数に変換し、伝送用のビット数のHDR全天球画像と復元データを含む伝送データを生成する。復元データとは、伝送用のビット数のHDR全天球画像を変換前のビット数のHDR全天球画像に戻す際に用いられるメタデータである。HDR画像生成部７４は、伝送データを図１の表示装置１３に伝送する。
【００４２】
（画像処理部の構成例）
図５は、図４の画像処理部７３の構成例を示すブロック図である。
【００４３】
図５の画像処理部７３は、補正部９０、白飛び領域検出部９１、黒潰れ領域検出部９２、および視差画像生成部９３により構成される。
【００４４】
図４の画像取得部７１から入力される各２視点のペアの複数露出ペア画像は、補正部９０に入力されるとともに、図４のHDR画像生成部７４に出力される。また、パラメータ取得部７２から入力される各画像のカメラパラメータは、補正部９０と視差画像生成部９３に供給される。
【００４５】
補正部９０は、複数露出ペア画像の各画像のカメラパラメータのうちの収差に基づいて、その画像を補正する。補正部９０は、補正後の複数露出ペア画像のうちの、露出値が０以上である同一露出ペア画像を、+EVペア画像として白飛び領域検出部９１と視差画像生成部９３に供給する。また、補正部９０は、補正後の複数露出ペア画像のうちの、露出値EVが負である同一露出ペア画像を、-EVペア画像として白飛び領域検出部９１と視差画像生成部９３に供給する。
【００４６】
白飛び領域検出部９１は、補正部９０から供給される+EVペア画像の各画像の白飛び領域を検出する。具体的には、白飛び領域検出部９１は、各画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、白飛び領域検出部９１は、各ブロックのヒストグラムに基づいて、白飛び領域判定用の閾値より大きい画素値が多いブロックを白飛び領域として検出する。白飛び領域検出部９１は、画像ごとに、白飛び領域をマスクする白飛びマスクを生成し、視差画像生成部９３に供給する。
【００４７】
黒潰れ領域検出部９２は、補正部９０から供給される-EVペア画像の各画像の黒潰れ領域を検出する。具体的には、黒潰れ領域検出部９２は、各画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、黒潰れ領域検出部９２は、各ブロックのヒストグラムに基づいて、黒潰れ領域判定用の閾値より小さい画素値が多いブロックを黒潰れ領域として検出する。黒潰れ領域検出部９２は、画像ごとに、黒潰れ領域をマスクする黒潰れマスクを生成し、視差画像生成部９３に供給する。
【００４８】
視差画像生成部９３は、補正部９０から供給される+EVペア画像の各画像に対して、その画像の白飛びマスクを用いることにより、各画像の白飛び領域を除外領域とする。また、視差画像生成部９３は、補正部９０から供給される-EVペア画像の各画像に対して、その画像の黒潰れマスクを用いることにより、各画像の黒潰れ領域を除外領域とする。
【００４９】
視差画像生成部９３は、２視点のペアごとに、例えばプレーンスイープ（Plane Sweep）法により、白飛び領域または黒潰れ領域が除外領域とされた複数露出ペア画像を用いて、２視点のペアの視差を検出し、視差画像を生成する。
【００５０】
具体的には、視差画像生成部９３は、ある基準視点に対して、白飛び領域または黒潰れ領域が除外領域とされた同一露出ペア画像を、所定の範囲内の候補となる各視差に対応する奥行き方向の位置ｄに射影変換し、被写体が各位置ｄに存在する場合の基準視点の画像を生成する。
【００５１】
そして、視差画像生成部９３は、位置ｄごとに、以下の式（１）により、基準視点の画像どうしのブロックマッチングを行い、各ブロックのマッチングコストを算出する。なお、候補となる視差の範囲は、カメラパラメータのうちのカメラの位置および姿勢並びに焦点距離に基づいて決定される。また、ブロックは、１以上の画素からなる。
【００５２】
【数１】
2017217241.tif 000003
【００５３】
なお、Sub_Cost(x,y,d)は、被写体が位置ｄに存在する場合の基準視点の画像内の位置（x,y）のブロックのマッチングコストである。I0（x,y,d）は、２視点のペアのうちの一方に対応する、被写体が位置ｄに存在する場合の基準視点の画像内の位置（x,y）のブロック（の各画素値）である。また、I1（x,y,d）は、２視点のペアのうちの他方に対応する、被写体が位置ｄに存在する場合の基準視点の画像内の位置（x,y）のブロック（の各画素値）である。
【００５４】
式（１）によれば、マッチングコストSub_Cost(x,y,d)は、ブロックI0（x,y,d）とブロックI1（x,y,d）の絶対誤差である。なお、マッチングコストSub_Cost(x,y,d)は、ブロックI0（x,y,d）とブロックI1（x,y,d）のいずれか一方に除外領域が含まれる場合算出されない。また、マッチングコストSub_Cost(x,y,d)は、ブロックI0（x,y,d）とブロックI1（x,y,d）の二乗誤差などであってもよい。
【００５５】
視差画像生成部９３は、２視点のペアごとに、以下の式（２）により、算出された全ての露出値のマッチングコストSub_Cost(x,y,d)を平均化する。
【００５６】
【数２】
2017217241.tif 000004
【００５７】
Cost(x,y,d)は、マッチングコストSub_Cost(x,y,d)の平均値であり、Ｎは、算出されたマッチングコストSub_Cost(x,y,d)の数である。
【００５８】
視差画像生成部９３は、ブロックごとに平均値Cost(x,y,d)が最も小さい場合の位置ｄを視差として検出し、基準視点の視差画像を生成する。視差画像生成部９３は、各２視点のペアの基準視点の視差画像を、図４のHDR画像生成部７４に供給する。
【００５９】
（白飛びマスクと黒潰れマスクの例）
図６は、白飛びマスクと黒潰れマスクの例を示す図である。
【００６０】
図６の例では、被写体が、人物、木、太陽であり、人物は、太陽の手前に存在する。そして、人物に適切な露出値で+EVペア画像が撮影されると太陽が白飛びし、太陽に適切な露出値で-EVペア画像が撮影されると人物が黒潰れする。
【００６１】
この場合、白飛び領域検出部９１は、+EVペア画像内の太陽の領域を白飛び領域として検出する。従って、白飛び領域検出部９１は、+EVペア画像の各画像内の太陽の領域を除外領域（図中黒色の領域）とし、太陽以外の領域を有効領域（図中白色の領域）とする２値の白飛びマスクを生成する。
【００６２】
また、黒潰れ領域検出部９２は、-EVペア画像内の人物の領域を黒潰れ領域として検出する。従って、黒潰れ領域検出部９２は、-EVペア画像の各画像内の人物の領域を除外領域（図中黒色の領域）とし、人物以外の領域を有効領域（図中白色の領域）とする２値の黒潰れマスクを生成する。
【００６３】
（平均値Cost(x,y,d)の例）
図７は、平均値Cost(x,y,d)の例を示す図である。
【００６４】
図７のグラフにおいて、横軸は奥行き方向の位置ｄを表し、縦軸はマッチングコストの平均値Cost(x,y,d)を表す。また、図７の例では、複数露出ペア画像が１つの+EVペア画像と１つの-EVペア画像により構成される。
【００６５】
この場合、図７のＡに示すように、+EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックと、-EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックの全てが除外領域ではない場合、平均値Cost(x,y,d)は、図７のＡ中実線で示すようになる。即ち、平均値Cost(x,y,d)は、+EVペア画像と-EVペア画像のそれぞれから生成されたマッチングコストSub_Cost(x,y,d)の平均値である。
【００６６】
これに対して、図７のＢに示すように、+EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックの少なくとも一方が白飛び領域である場合、+EVペア画像からマッチングコストSub_Cost(x,y,d)は生成されない。従って、平均値Cost(x,y,d)は、図７のＢ中実線で示す、-EVペア画像から生成されたマッチングコストSub_Cost(x,y,d)になる。
【００６７】
また、図７のＣに示すように、-EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックの少なくとも一方が黒潰れ領域である場合、-EVペア画像からマッチングコストSub_Cost(x,y,d)は生成されない。従って、平均値Cost(x,y,d)は、図７のＣ中実線で示す、+EVペア画像から生成されたマッチングコストSub_Cost(x,y,d)になる。
【００６８】
以上のように、平均値Cost(x,y,d)は、白飛び領域または黒潰れ領域以外の領域のマッチングコストSub_Cost(x,y,d)を用いて生成される。
【００６９】
従って、視差画像生成部９３は、+EVペア画像と−EVペア画像の両方の除外領域以外の領域であるブロックの視差を、+EVペア画像と-EVペア画像の両方を用いて精度良く検出することができる。また、視差画像生成部９３は、+EVペア画像の少なくとも一方の白飛び領域であるブロックの視差を-EVペア画像のみを用いて精度良く検出することができる。さらに、視差画像生成部９３は、−EVペア画像の少なくとも一方の黒潰れ領域であるブロックの視差を+EVペア画像のみを用いて精度良く検出することができる。
【００７０】
（効果の説明）
図８は、第１実施の形態における効果を説明する図である。
【００７１】
図８の+EVペア画像と-EVペア画像は、図６と同一である。また、図８の例では、複数露出ペア画像が１つの+EVペア画像と１つの-EVペア画像により構成される。
【００７２】
図８のＡに示すように、視差画像生成部９３は、+EVペア画像と-EVペア画像の除外領域以外の領域を用いて視差画像を生成する。従って、視差画像生成部９３は、+EVペア画像と−EVペア画像の両方の除外領域以外の領域であるブロックの視差を、+EVペア画像と-EVペア画像の両方を用いて精度良く検出することができる。
【００７３】
また、視差画像生成部９３は、+EVペア画像の少なくとも一方の白飛び領域であるブロックの視差を-EVペア画像のみを用いて精度良く検出することができる。さらに、視差画像生成部９３は、−EVペア画像の少なくとも一方の黒潰れ領域であるブロックの視差を+EVペア画像のみを用いて精度良く検出することができる。その結果、図８のＡに示すように、白飛び領域や黒潰れ領域においても精度が劣化しない視差画像を生成することができる。
【００７４】
これに対して、図８のＢの左側に示すように、+EVペア画像のみから視差画像が生成される場合、基準視点の画像内の白飛び領域である太陽の領域のマッチングの精度が劣化するため、太陽の領域の視差画像の精度が劣化する。また、図８のＢの右側に示すように、-EVペア画像のみから視差画像が生成される場合、基準視点の画像内の黒潰れ領域である人物の領域のマッチングの精度が劣化するため、人物の領域の視差画像の精度が劣化する。
【００７５】
（伝送データの説明）
図９は、伝送データを説明する図である。
【００７６】
図９のグラフにおいて、横軸は、表示視点の位置を表し、縦軸は、記憶部７５に保持されている各表示視点のHDR全天球画像の使用ビットである保持ビット、または、伝送データに含まれる各表示視点のHDR全天球画像の使用ビットでる伝送ビットを表す。
【００７７】
また、図９の例では、記憶部７５に保持されている各表示視点のHDR全天球画像の保持用のビット数は２５６ビットであり、伝送データに含まれる各表示視点のHDR全天球画像の伝送用のビット数は８ビットである。
【００７８】
表示視点のHDR全天球画像の保持用のビット数を伝送用のビット数に変換する場合、一般的には、表示視点のHDR全天球画像の保持用のビット数が、伝送用のビット数/保持用のビット数倍（図９の例では8/256(=1/32)倍）される。
【００７９】
これにより、例えば、図９のＡに示すように、保持ビットが０ビットから２５６ビットまでの範囲である表示視点Ｖ１のHDR全天球画像の伝送ビットは、図９のＢに示すように、０ビットから８ビットまでの範囲になる。また、図９のＡに示すように、保持ビットが０ビットから６４ビットまでの範囲である表示視点Ｖ２のHDR全天球画像の伝送ビットは、図９のＢに示すように、０ビットから２ビットまでの範囲になる。
【００８０】
さらに、図９のＡに示すように、保持ビットが１９２ビットから２５６ビットまでの範囲である表示視点Ｖ３のHDR全天球画像の伝送ビットは、図９のＢに示すように、６ビットから８ビットまでの範囲になる。
【００８１】
これに対して、伝送部７７は、保持用のビット数の表示視点のHDR全天球画像の各画素値から画素値の最小値を減算し、その結果得られる差分のビット数を伝送用のビット数に変換することにより、表示視点のHDR全天球画像の保持用のビット数を伝送用のビット数に変換する。
【００８２】
例えば、伝送部７７は、図９のＡに示すように、保持ビットが０ビットから２５６ビットまでの範囲である表示視点Ｖ１のHDR全天球画像の各画素値から画素値の最小値である０を減算する。そして、伝送部７７は、図９のＣに示すように、その結果得られる２５６ビットの差分のビット数を8/256(=1/32)倍して８ビットにした値を、伝送用のビット数の表示視点Ｖ１のHDR全天球画像の画素値とする。
【００８３】
また、伝送部７７は、図９のＡに示すように、保持ビットが０ビットから６４ビットまでの範囲である表示視点Ｖ２のHDR全天球画像の各画素値から画素値の最小値である０を減算する。そして、伝送部７７は、図９のＣに示すように、その結果得られる６４ビットの差分のビット数を64/256(=1/8)倍して８ビットにした値を、伝送用のビット数の表示視点Ｖ２のHDR全天球画像の画素値とする。
【００８４】
さらに、伝送部７７は、図９のＡに示すように、保持ビットが１９２ビットから２５６ビットまでの範囲である表示視点Ｖ３のHDR全天球画像の各画素値から画素値の最小値である２192-１を減算する。そして、伝送部７７は、図９のＣに示すように、その結果得られる６４ビットの差分のビット数を64/256(=1/8)倍して８ビットにした値を、伝送用のビット数の表示視点Ｖ３のHDR全天球画像の画素値とする。
【００８５】
以上のように、伝送部７７は、HDR全天球画像の画素値そのものではなく、画素値の最小値との差分のビット数を伝送用のビット数に変換する。従って、HDR全天球画像の保持ビットが保持用のビット数より小さい場合、HDR全天球画像の画素値そのもののビット数を変換する場合に比べて、伝送による階調の減少を抑制することができる。即ち、表示視点Ｖ２や表示視点Ｖ３では、HDR全天球画像の画素値そのもののビット数を変換する場合階調は1/32倍になるが、画素値の最小値との差分のビット数を伝送用のビット数に変換する場合、階調は1/8倍になる。
【００８６】
また、以上のようにして生成された８ビットのHDR全天球画像のビット数を元の２５６ビットに戻すためには、ビット数変換前のHDR全天球画像の画素値の範囲が必要である。従って、伝送部７７は、８ビットのHDR全天球画像とともに、ビット数変換前のHDR全天球画像の画素値の範囲を復元データとして含めて伝送データを生成し、表示装置１３に伝送する。
【００８７】
なお、復元データは、ビット数変換前のHDR全天球画像の画素値の範囲を示す情報であれば、範囲そのものでなくてもよい。例えば、保持用のビット数を何分割したときの下から何分割目（例えば、表示視点Ｖ２の場合４分割したときの下から１分割目）であることを示す情報であってもよい。また、HDR全天球画像の画素値から減算される画素値の最小値は、そのHDR全天球画像を含む所定の範囲の表示視点のHDR全天球画像の画素値の最小値であってもよい。この場合、復元データは、所定の範囲の表示視点のHDR全天球画像の伝送ごとに伝送されてもよい。
【００８８】
（画像生成装置の処理の説明）
図１０は、図１の画像生成装置１２のHDR全天球画像生成処理を説明するフローチャートである。このHDR全天球画像生成処理は、例えば、図１の撮影装置１１から各２視点のペアの複数露出ペア画像と各画像のカメラパラメータが供給されたとき、開始される。
【００８９】
図１０のステップＳ１１において、画像生成装置１２の画像取得部７１は、撮影装置１１から供給される各２視点のペアの複数露出ペア画像を取得する。画像取得部７１は、取得された複数露出ペア画像を画像処理部７３に供給するとともに、画像処理部７３を介してHDR画像生成部７４に供給する。ステップＳ１２において、パラメータ取得部７２は、撮影装置１１から供給される各画像のカメラパラメータを取得し、画像処理部７３に供給する。
【００９０】
ステップＳ１３において、画像処理部７３の補正部９０は、パラメータ取得部７２から供給される各画像のカメラパラメータのうちの収差に基づいて、画像取得部７１から供給される複数露出ペア画像の各画像を補正する。補正部９０は、補正後の複数露出ペア画像のうちの+EVペア画像を白飛び領域検出部９１と視差画像生成部９３に供給し、-EVペア画像を白飛び領域検出部９１と視差画像生成部９３に供給する。
【００９１】
ステップＳ１４において、白飛び領域検出部９１は、補正部９０から供給される+EVペア画像の各画像の白飛び領域を検出して白飛びマスクを生成し、視差画像生成部９３に供給する。ステップＳ１５において、黒潰れ領域検出部９２は、補正部９０から供給される-EVペア画像の各画像の黒潰れ領域を検出して黒潰れマスクを生成し、視差画像生成部９３に供給する。
【００９２】
ステップＳ１６において、視差画像生成部９３は、補正部９０から供給される+EVペア画像の各画像に対して、その画像の白飛びマスクを用いることにより、各画像の白飛び領域を除外領域とする。ステップＳ１７において、視差画像生成部９３は、補正部９０から供給される-EVペア画像の各画像に対して、その画像の黒潰れマスクを用いることにより、各画像の黒潰れ領域を除外領域とする。
【００９３】
ステップＳ１８において、視差画像生成部９３は、各２視点のペアの基準視点の視差画像を生成する視差画像生成処理を行う。この視差画像生成処理の詳細は、後述する図１１を参照して説明する。
【００９４】
ステップＳ１９において、HDR画像生成部７４は、画像処理部７３から供給される、各２視点のペアの基準視点の視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて３次元再構成を行うことにより、各表示視点のHDR全天球画像を生成する。HDR画像生成部７４は、各表示視点のHDR全天球画像を記憶部７５に供給し、記憶させる。
【００９５】
図１１は、図１０のステップＳ１８の視差画像生成処理を説明するフローチャートである。
【００９６】
図１１のステップＳ２０において、視差画像生成部９３は、まだ処理対象として設定されていない２視点のペアを処理対象とし、マッチングコストSub_Cost(x,y,d)の積算数Ｎを０に設定する。また、視差画像生成部９３は、奥行き方向の位置ｄを、候補とする視差の範囲に対応する位置ｄの範囲の最小値ｄｍｉｎに設定し、基準視点の画像上のブロックの位置（x,y）を、まだ設定されていない位置に設定する。さらに、視差画像生成部９３は、露出値の種類が、処理対象の２視点のペアの複数露出ペア画像の露出値の種類のうちの何番目の種類であるかを示すｅを１に設定する。
【００９７】
ステップＳ２１において、視差画像生成部９３は、ある基準視点に対して、処理対象の２視点のペアのｅ番目の露出値の同一露出ペア画像の各画像を奥行き方向の位置ｄに射影変換して得られる基準視点の画像の位置（x,y）のブロックの少なくとも一方が除外領域であるかどうかを判定する。
【００９８】
ステップＳ２１で両方の基準視点の画像の位置（x,y）のブロックが除外領域ではないと判定された場合、処理はステップＳ２２に進む。ステップＳ２２において、視差画像生成部９３は、上述した式（１）により、基準視点の画像の位置（x,y）のブロックからマッチングコストSub_Cost(x,y,d)を算出する。
【００９９】
ステップＳ２３において、視差画像生成部９３は、ステップＳ２１で算出されたマッチングコストSub_Cost(x,y,d)を、保持しているマッチングコストSub_Cost(x,y,d)の積算値に積算し、その結果得られる積算値を保持する。なお、マッチングコストSub_Cost(x,y,d)の積算値がまだ保持されていない場合には、ステップＳ２１で算出されたマッチングコストSub_Cost(x,y,d)をそのまま保持する。
【０１００】
ステップＳ２４において、視差画像生成部９３は、積算数Ｎを１だけインクリメントし、処理をステップＳ２５に進める。
【０１０１】
一方、ステップＳ２１で少なくとも一方の基準視点の画像の位置（x,y）のブロックが除外領域であると判定された場合、ステップＳ２２乃至Ｓ２４の処理はスキップされ、処理はステップＳ２５に進む。即ち、この場合、マッチングコストSub_Cost(x,y,d)は算出されず、マッチングコストSub_Cost(x,y,d)の積算は行われない。
【０１０２】
ステップＳ２５において、ｅが、処理対象の２視点のペアの複数露出ペア画像の露出値の種類数Ｅ以上であるかどうかを判定する。ステップＳ２５でｅが種類数Ｅ以上ではないと判定された場合、ステップＳ２６において、視差画像生成部９３は、ｅを１だけインクリメントする。そして、処理はステップＳ２１に戻り、ｅが種類数Ｅ以上となるまで、ステップＳ２１乃至Ｓ２６の処理が繰り返される。
【０１０３】
一方、ステップＳ２６でｅが種類数Ｅ以上であると判定された場合、即ち、両方の基準視点の画像の位置（x,y）のブロックが除外領域とならない全ての露出値のマッチングコストSub_Cost(x,y,d)が積算された場合、処理はステップＳ２７に進む。
【０１０４】
ステップＳ２７において、視差画像生成部９３は、マッチングコストSub_Cost(x,y,d)の積算値を積算数Ｎで除算し、マッチングコストSub_Cost(x,y,d)の平均値Cost(x,y,d)を算出する。
【０１０５】
ステップＳ２８において、視差画像生成部９３は、奥行き方向の位置ｄが、候補とする視差の範囲に対応する位置ｄの範囲の最大値ｄｍａｘ以上であるかどうかを判定する。ステップＳ２８で位置ｄが最大値ｄｍａｘ以上ではないと判定された場合、処理はステップＳ２９に進む。
【０１０６】
ステップＳ２９において、視差画像生成部９３は、奥行き方向の位置ｄを１だけインクリメントし、処理をステップＳ２１に戻す。そして、奥行き方向の位置ｄが最大値ｄｍａｘになるまで、ステップＳ２１乃至Ｓ２９の処理が繰り返される。
【０１０７】
一方、ステップＳ２８で位置ｄが最大値ｄｍａｘ以上であると判定された場合、処理はステップＳ３０に進む。ステップＳ３０において、視差画像生成部９３は、各位置ｄの位置(x,y)のブロックの平均値Cost(x,y,d)のうちの、平均値Cost(x,y,d)が最小となる位置ｄを、位置(x,y)の視差として検出する。
【０１０８】
ステップＳ３１において、視差画像生成部９３は、基準視点の画像内の全てのブロックの位置を位置（x,y）に設定したかどうかを判定する。ステップＳ３１でまだ基準視点の画像内の全てのブロックの位置を位置（x,y）に設定していないと判定された場合、処理はステップＳ２０に戻る。そして、基準視点の画像内の全てのブロックの位置を位置（x,y）に設定するまで、ステップＳ２０乃至Ｓ３１の処理が繰り返される。
【０１０９】
ステップＳ３１で基準視点の画像内の全てのブロックの位置を位置（x,y）に設定したと判定された場合、処理はステップＳ３２に進む。
【０１１０】
ステップＳ３２において、視差画像生成部９３は、全ての２視点のペアの視差画像を生成したかどうかを判定する。ステップＳ３２で全ての２視点のペアの視差画像を生成していないと判定された場合、処理はステップＳ２０に戻り、全ての２視点のペアの視差画像が生成されるまで、ステップＳ２０乃至Ｓ３２の処理が繰り返される。
【０１１１】
一方、ステップＳ３２で全ての２視点のペアの視差画像を生成したと判定された場合、処理は図１０のステップＳ１８に戻り、ステップＳ１９に進む。
【０１１２】
以上のように、画像生成装置１２は、複数露出ペア画像の除外領域を除外した領域を用いて視差画像を生成する。従って、画像生成装置１２は、+EVペア画像と-EVペア画像の除外領域以外の領域では、+EVペア画像と-EVペア画像の両方を用いて視差画像を生成することができる。よって、+EVペア画像と-EVペア画像のいずれか一方を用いて視差画像を生成する場合に比べて、視差画像の精度を向上させることができる。
【０１１３】
また、画像生成装置１２は、+EVペア画像の少なくとも一方の白飛び領域では、-EVペア画像のみを用いて高精度の視差画像を生成することができる。さらに、画像生成装置１２は、−EVペア画像の少なくとも一方の黒潰れ領域では、+EVペア画像のみを用いて高精度の視差画像を生成することができる。第１実施の形態のように、撮影装置１１が、水平方向に360度、垂直方向に180度広がる視点の画像を撮影する場合、いずれかの視点の画像が光源を含むため、白飛び領域などにおいても高精度の視差画像を生成可能にすることは、特に有用である。
【０１１４】
さらに、画像生成装置１２は、高精度の視差画像を用いて高精度のHDR全天球画像を生成することができる。
【０１１５】
（表示装置の構成例）
図１２は、図１の表示装置１３の構成例を示すブロック図である。
【０１１６】
撮影装置１１の表示装置１３は、指定部１１１、伝送部１１２、受け取り部１１３、表示画像生成部１１４、および表示部１１５により構成される。
【０１１７】
表示装置１３の指定部１１１は、視聴者による表示視点の変更の指令（最初の表示視点の指定も含む）を受け付け、その表示視点の表示視点情報を生成する。指定部１１１は、表示視点情報を伝送部１１２と表示画像生成部１１４に供給する。伝送部１１２は、指定部１１１から供給される表示視点情報を図１の画像生成装置１２に送信する。受け取り部１１３は、図１の画像生成装置１２から送信されてくる伝送データを受け取り、表示画像生成部１１４に供給する。
【０１１８】
表示画像生成部１１４は、受け取り部１１３から供給される伝送データに含まれる復元データに基づいて、HDR全天球画像の伝送用のビット数を保持用のビット数に変換する。表示画像生成部１１４は、指定部１１１から供給される表示視点情報が示す変更後の表示視点のビット数変換後のHDR全天球画像の画素値の範囲が、変更前の表示視点のビット数変換後のHDR全天球画像の画素値の範囲から段階的に移行するように、変更後の表示視点のビット数変換後のHDR全天球画像の画素値を変更する。表示画像生成部１１４は、画素値が変更されたHDR全天球画像を表示画像として表示部１１５に供給する。
【０１１９】
表示部１１５は、表示画像生成部１１４から供給される表示画像を表示する。
【０１２０】
なお、図１２の例では、表示部１１５が表示可能な画像のビット数が保持用のビット数であるため、表示画像生成部１１４は、HDR全天球画像の伝送用のビット数を保持用のビット数に変換したが、表示部１１５が表示可能な画像のビット数が伝送用のビット数である場合、表示画像生成部１１４は、変換を行わない。
【０１２１】
（表示画像の説明）
図１３は、表示画像生成部１１４によるビット数変換後の各表示視点のHDR全天球画像の画素値の範囲を示す図であり、図１４は、図１３が画素値の範囲を示す各表示視点のHDR全天球画像から生成された表示画像の画素値の範囲を示す図である。
【０１２２】
図１３の上段は、下段のグラフの横軸が表す各表示視点のビット数変換後のHDR全天球画像を示している。図１３の下段は、ビット数変換後の各表示視点のHDR全天球画像の画素値の範囲を示すグラフである。図１３の下段のグラフにおいて、横軸は表示視点を表し、縦軸は各表示視点のHDR全天球画像の画素値を表す。また、図１４のグラフにおいて、横軸は表示時刻を表し、縦軸は、各表示時刻の表示画像の画素値を表す。
【０１２３】
図１３の例では、ビット数変換後の表示視点Ｖ１１のHDR全天球画像の画素値の最小値と最大値の範囲は、範囲Ｄ１である。また、ビット数変換後の表示視点Ｖ１２のHDR全天球画像の画素値の最小値と最大値の範囲は、範囲Ｄ２である。
【０１２４】
この場合、図１４に示すように、表示時刻ｔ２において、表示視点情報が示す表示視点が表示視点Ｖ１１から表示視点Ｖ１２に変更されるとき、表示時刻ｔ２の表示画像は、ビット数変換後の表示視点Ｖ１２のHDR全天球画像から生成されるが、画素値の最小値と最大値の範囲は、ビット数変換後の表示視点Ｖ１１のHDR全天球画像の範囲Ｄ１にされる。そして、表示時刻ｔ２から表示時刻ｔ３までの間に、表示画像の画素値の最小値と最大値の範囲は、ビット数変換後の表示視点Ｖ１１のHDR全天球画像の範囲Ｄ１から、ビット数変換後の表示視点Ｖ１２のHDR全天球画像の範囲Ｄ２へ段階的に移行される。
【０１２５】
従って、表示時刻ｔ２において、表示画像の画素値の最小値と最大値の範囲が、範囲Ｄ１から範囲Ｄ２に急激に変化する場合に比べて、視聴者は、眼を徐々に範囲Ｄ２に順応させることができる。表示画像が全天球画像である場合、表示視点によって画素値の最小値と最大値の範囲が大きく異なる場合があるため、このことは特に有用である。
【０１２６】
表示画像の画素値の最小値と最大値の範囲の移行時間は、視聴者により設定されてもよいし、予め設定されていてもよい。また、表示視点の変更前と変更後で画素値の範囲の変更が大きい場合にのみ、表示画像の画素値の範囲を段階的に移行させるようにしてもよい。
【０１２７】
（表示装置の処理の説明）
図１５は、図１２の表示装置１３の表示処理を説明するフローチャートである。この表示処理は、例えば、視聴者により表示視点の変更の指令が行われたとき、開始される。
【０１２８】
図１５のステップＳ５１において、表示装置１３の指定部１１１は、視聴者による表示視点の変更の指令を受け付け、その表示視点の表示視点情報を生成する。指定部１１１は、表示視点情報を伝送部１１２と表示画像生成部１１４に供給する。
【０１２９】
ステップＳ５２において、伝送部１１２は、指定部１１１から供給される表示視点情報を図１の画像生成装置１２に送信する。ステップＳ５３において、受け取り部１１３は、表示視点情報に応じて画像生成装置１２から伝送データが送信されてきたかどうかを判定する。ステップＳ５３でまだ伝送データが送信されてきていないと判定された場合、受け取り部１１３は、伝送データが送信されてくるまで待機する。
【０１３０】
一方、ステップＳ５３で伝送データが送信されてきたと判定された場合、受け取り部１１３は、送信されてきた伝送データを受け取り、表示画像生成部１１４に供給する。ステップＳ５５において、表示画像生成部１１４は、受け取り部１１３から供給される伝送データに含まれる復元データに基づいて、HDR全天球画像の伝送用のビット数を保持用のビット数に変換する。
【０１３１】
ステップＳ５６において、表示画像生成部１１４は、指定部１１１から供給される表示視点情報が示す変更後の表示視点のビット数変換後のHDR全天球画像の画素値の範囲が、変更前の表示視点のHDR全天球画像の画素値の範囲から段階的に移行するように、変更後の表示視点のビット数変換後のHDR全天球画像の画素値を変更する。
【０１３２】
ステップＳ５７において、表示画像生成部１１４は、画素値が変更されたHDR全天球画像を表示画像として表示部１１５に供給し、表示画像を表示部１１５に表示させる。そして、処理は終了する。
【０１３３】
＜第２実施の形態＞
（画像表示システムの第２実施の形態における画像処理部の構成例）
本開示を適用した画像表示システムの第２実施の形態の構成は、画像処理部を除いて、図１の画像表示システム１０の構成と同様である。従って、以下では、画像処理部についてのみ説明する。
【０１３４】
図１６は、本開示を適用した画像表示システムの第２実施の形態における画像処理部の構成例を示すブロック図である。
【０１３５】
図１６に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３６】
図１６の画像処理部１３０の構成は、白飛び領域検出部９１と黒潰れ領域検出部９２の代わりに領域検出部１３１が設けられる点、および視差画像生成部９３の代わりに視差画像生成部１３２が設けられる点が、図５の画像処理部７３の構成と異なる。画像処理部１３０は、２値の白飛びマスクまたは黒潰れマスクの代わりに、多値のマスクを生成する。
【０１３７】
具体的には、画像処理部１３０の領域検出部１３１には、補正部９０から+EVペア画像と-EVペア画像の両方が供給される。領域検出部１３１は、+EVペア画像と-EVペア画像の各画像の各ブロックの除外領域の度合を表す値を算出する。
【０１３８】
より詳細には、領域検出部１３１は、画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、領域検出部１３１は、ブロックごとに、ヒストグラムに基づいて、例えば、白飛び領域判定用の閾値より大きい画素値、または、黒潰れ領域判定用の閾値より小さい画素値が多いほど大きくなるように、除外領域の度合を表す値を算出する。領域検出部１３１は、各ブロックの除外領域の度合を表す値をマスク値とするマスクを生成する。マスク値は、０から１までの範囲の多値であり、除外領域の度合が大きいほど大きい。
【０１３９】
視差画像生成部１３２は、領域検出部１３１から供給される+EVペア画像と-EVペア画像の各画像に対して、その画像のマスクを用いることにより、以下の式（３）により各画像の各ブロックに対して重みweightを設定する。
【０１４０】
【数３】
2017217241.tif 000005
【０１４１】
M(x,y)は、画像内の位置（x,y）のブロックのマスク値である。式（３）によれば、重みは、必ず、１より大きい値となる。
【０１４２】
視差画像生成部１３２は、２視点のペアごとに、例えばプレーンスイープ法により、複数露出ペア画像の各ブロックを、そのブロックに対して設定された重みで用いて、２視点のペアの視差を検出し、視差画像を生成する。
【０１４３】
具体的には、視差画像生成部１３２は、ある基準視点に対して、各ブロックに対して重みが設定された同一露出ペア画像を、所定の範囲内の候補となる各視差に対応する奥行き方向の位置ｄに射影変換し、被写体が各位置ｄに存在する場合の基準視点の画像を生成する。そして、視差画像生成部１３２は、図５の視差画像生成部９３と同様に、位置ｄごとに、上述した式（１）により、各ブロックのマッチングコストSub_Cost(x,y,d)を得る。但し、マッチングコストSub_Cost(x,y,d)は、全てのブロックについて算出される。
【０１４４】
視差画像生成部１３２は、２視点のペアごとに、以下の式（３）により、算出された全ての露出値のマッチングコストSub_Cost(x,y,d)を重み付け加算し、重み付け加算値の平均値Cost(x,y,d)´を求める。
【０１４５】
【数４】
2017217241.tif 000006
【０１４６】
Ｌは、複数露出ペア画像の露出値の種類数である。また、weight´は、マッチングコストSub_Cost(x,y,d)の算出に用いられたブロックI0（x,y,d）とブロックI1（x,y,d）の射影変換前のブロックの重みに基づいて決定される重みである。
【０１４７】
視差画像生成部１３２は、ブロックごとに平均値Cost(x,y,d)´が最も小さい場合の位置ｄを視差として検出し、基準視点の視差画像を生成する。視差画像生成部１３２は、各２視点のペアの基準視点の視差画像を、図４のHDR画像生成部７４に供給する。
【０１４８】
（マスクの例）
図１７は、図１６の領域検出部１３１により生成されるマスクの例を示す図である。
【０１４９】
図１７の例では、被写体が、人物、木、太陽であり、人物は、太陽の手前に存在する。そして、太陽に適切な露出値で-EVペア画像が撮影されると人物が黒潰れする。この場合、例えば、-EVペア画像のうちの１つの画像内の人物の内側の領域、人物の外側の領域、木の領域、その他の領域の除外領域の度合は、順に小さくなる。従って、領域検出部１３１は、-EVペア画像のうちの１つの画像内の人物の内側の領域、人物の外側の領域、木の領域、その他の領域のマスク値が順に小さくなるマスクを生成する。なお、図１７では、マスク値を色の濃淡で表しており、色が濃いほどマスク値は大きい。
【０１５０】
図１６の画像処理部１３０のHDR全天球画像生成処理は、白飛びマスクと黒潰れマスクがマスクに代わる点、および、視差画像生成処理を除いて、図１０のHDR全天球画像生成処理と同一である。
【０１５１】
また、画像処理部１３０の視差画像生成処理は、除外領域であるかどうかの判定が行われない点、および、平均値Cost(x,y,d)の代わりに平均値Cost(x,y,d)´が算出される点を除いて、図１１の視差画像処理と同一である。
【０１５２】
以上のように、画像処理部１３０は、各画像の除外領域の度合に基づいて多値のマスクを生成する。従って、各画像の除外領域の度合に基づいて、その画像の視差画像への影響度合をより細かく設定することができる。その結果、高精度の視差画像を生成することができる。
【０１５３】
なお、第１および第２実施の形態では、白飛び領域と黒潰れ領域の両方を除外領域としたが、いずれか一方を除外領域とするようにしてもよい。
【０１５４】
また、第１および第２実施の形態では、カメラモジュールが水平方向に360度、垂直方向に180度広がるように配置されるようにしたが、水平方向にのみ360度広がるように（円周状に並べて）配置されるようにしてもよい。この場合、視差画像と複数露出ペア画像を用いて、水平方向に360度広がる全天周画像が生成される。
【０１５５】
さらに、第１および第２実施の形態では、各表示視点のHDR全天球画像が予め記憶されず、表示視点情報が受け取られたときに、その表示視点情報が示す表示視点のHDR全天球画像のみが生成されるようにしてもよい。
【０１５６】
また、複数露出ペア画像は動画像であってもよい。各同一露出ペア画像に対応する２視点のペアの位置は異なっていてもよい。
【０１５７】
さらに、第１および第２実施の形態では、表示装置１３が表示画像を生成したが、画像生成装置１２が表示画像を生成し、表示装置１３に送信するようにしてもよい。
【０１５８】
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１５９】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１６０】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１６１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１６２】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１６３】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６４】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１６５】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１６６】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６７】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１６８】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１６９】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７０】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７３】
なお、本開示は、以下のような構成もとることができる。
【０１７４】
（１）
２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成部
を備える画像生成装置。
（２）
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部と、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の各画素値から前記画素値の最小値を減算し、その結果得られる差分のビット数を所定のビット数に変換した値を、前記ハイダイナミックレンジ画像の各画素値として伝送する伝送部と
をさらに備える
前記（１）に記載の画像生成装置。
（３）
前記伝送部は、前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の画素値の範囲を示す情報を伝送する
ように構成された
前記（２）に記載の画像生成装置。
（４）
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部
をさらに備え、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像を表示する表示装置は、表示する前記ハイダイナミックレンジ画像の視点を変更する場合、変更後の視点の前記ハイダイナミックレンジ画像の画素値の範囲を、変更前の視点の前記ハイダイナミックレンジ画像の画素値の範囲から段階的に移行する
ように構成された
前記（１）に記載の画像生成装置。
（５）
前記複数露出ペア画像は、前記視点ごと、かつ、露出値ごとに設けられた撮影装置により撮影される
ように構成された
前記（１）乃至（４）のいずれかに記載の画像生成装置。
（６）
前記複数露出ペア画像は、前記視点ごとに設けられた撮影装置により撮影され、
各２視点のペアの前記撮影装置は、露出値を順に変更することにより、前記複数露出ペア画像を撮影する
ように構成された
前記（１）乃至（４）のいずれかに記載の画像生成装置。
（７）
前記複数露出ペア画像の前記除外領域を検出する領域検出部
をさらに備える
前記（１）乃至（６）のいずれかに記載の画像生成装置。
（８）
前記視差画像生成部は、前記複数露出ペア画像の各領域を、その領域が除外領域である度合に応じた重みで用いて、前記視差画像を生成する
ように構成された
前記（１）乃至（７）のいずれかに記載の画像生成装置。
（９）
画像生成装置が、
２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成ステップと
を含む画像生成方法。
【符号の説明】
【０１７５】
１２  画像生成装置，  １３  表示装置，  ３１−１，３１−２，３２−１，３２−２，５１−１，５１−２  カメラ，  ７４  HDR画像生成部，  ７７  伝送部，  ９１  白飛び領域検出部，  ９２  黒潰れ領域検出部，  ９３  視差画像生成部，  １３１  領域検出部，  １３２  視差画像生成部
【図１】
2017217241.tif 000007
【図２】
2017217241.tif 000008
【図３】
2017217241.tif 000009
【図４】
2017217241.tif 000010
【図５】
2017217241.tif 000011
【図６】
2017217241.tif 000012
【図７】
2017217241.tif 000013
【図８】
2017217241.tif 000014
【図９】
2017217241.tif 000015
【図１０】
2017217241.tif 000016
【図１１】
2017217241.tif 000017
【図１２】
2017217241.tif 000018
【図１３】
2017217241.tif 000019
【図１４】
2017217241.tif 000020
【図１５】
2017217241.tif 000021
【図１６】
2017217241.tif 000022
【図１７】
2017217241.tif 000023
【図１８】
2017217241.tif 000024
【国際調査報告】
2017217241.tif 000025
2017217241.tif 000026
2017217241.tif 000027
2017217241.tif 000028