(57)【要約】【課題】多視点画像から任意の視点における画像を生成する際に、ホールの発生及び二重投影の発生を抑制すること。【解決手段】設定された仮想視点の画像平面に平行な複数の探索レイヤを設定し、設定された探索レイヤに基づいて、参照画像の各画素における奥行き値を推定し、推定された奥行き値に基づいて、仮想視点の画像を生成する。【選択図】図５
2014155069.tif 000002
【特許請求の範囲】
【請求項１】
予め生成された複数の参照画像を用いて仮想視点の画像を生成する画像生成装置であって、
設定された仮想視点の画像平面に平行な複数の探索レイヤを設定する探索レイヤ設定部と、
前記探索レイヤ設定部によって設定された探索レイヤに基づいて、前記参照画像の各画素における奥行き値を推定する奥行き推定部と、
前記奥行き推定部によって推定された奥行き値に基づいて、前記仮想視点の画像を生成する画像生成部と、
を備える画像生成装置。
【請求項２】
前記奥行き推定部は、投影元の参照画像の画素値と投影先の参照画像の画素値との差のうち、所定の閾値よりも小さい値の差の累積値を前記探索レイヤ毎に算出し、前記累積値が最も小さい探索レイヤに基づいて前記奥行き値を推定する、請求項１に記載の画像生成装置。
【請求項３】
前記参照画像は、複数の画素を含む複数のセグメントに分割されており、
前記画像生成部は、前記セグメントの境界領域の画素値には相対的に低い重み付けを与え、前記境界領域以外の画素値には相対的に高い重み付けを与えることによって前記画像を生成する、請求項１又は２に記載の画像生成装置。
【請求項４】
予め生成された複数の参照画像を用いて仮想視点の画像を生成する画像生成方法であって、
設定された仮想視点の画像平面に平行な複数の探索レイヤを設定する探索レイヤ設定ステップと、
前記探索レイヤ設定ステップにおいて設定された探索レイヤに基づいて、前記参照画像の各画素における奥行き値を推定する奥行き推定ステップと、
前記奥行き推定ステップにおいて推定された奥行き値に基づいて、前記仮想視点の画像を生成する画像生成ステップと、
を有する画像生成方法。
【請求項５】
請求項１から３のいずれか一項に記載の画像生成装置としてコンピュータを動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、参照画像から任意の視点における画像を生成する技術に関する。
【背景技術】
【０００２】
近年、映像メディアの分野では高臨場化及びパーソナライズ化の流れが急速に進んでいる。高い臨場感を提供可能な三次元映像は、映画、テレビ及びゲーム機等の幅広い分野で普及している。それに加え、解像度がフルＨＤの４倍もある４Ｋ映像や、スーパーハイビジョン映像など、映像の大画面化も進んでいる。また、ネットワークを介したビデオオンデマンドサービスの普及は著しい。このことから、映像のパーソナライズ化が進んでいることがわかる。
【０００３】
このような背景の中、高臨場とパーソナライズ化を更に加速させる新しい映像メディアの一つとして、自由視点映像がある。自由視点映像は、所望の視点からの映像を視聴することが可能となる新しい映像メディアである。自由視点映像は、例えば以下のような処理によって生成される。まず、複数の予め撮影された画像（以下、「参照画像」という。）に対して、参照画像間の１画素ずつの画素対応を求める。次に、撮影シーンの三次元形状を復元する奥行き推定を行う。そして、所望の仮想視点位置に参照画像の画素を投影し映像を合成する。
【０００４】
奥行き推定手法は、実カメラ依存型奥行き推定（非特許文献１参照）と、仮想視点依存型奥行き推定（非特許文献２参照）とに分ける事が出来る。
実カメラ依存型奥行き推定は、各カメラ画像の画素ごとの奥行きを推定し、仮想視点へと画素を投影する手法である。実カメラ依存型奥行き推定では、実カメラの一つの画素には一つの奥行きが推定される。そのため二重投影と呼ばれる問題が発生しない。
【０００５】
一方、仮想視点依存型奥行き推定は、仮想視点から観測できる空間領域のみの奥行きを推定し、仮想視点画像を合成する。仮想視点依存型奥行き推定では、仮想視点の全ての画素に対して処理が行われる。そのため、仮想視点への画素投影時に仮想視点画像上にホールと呼ばれる輝度値不明の画素が発生しにくいというメリットがある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Masayuki Tanimoto、 Mehrdad Panahpour Tehrani、 Toshiaki Fujii、Tomohiro Yendo”Free-Viewpoint TV”、IEEE Signal Process. Mag. 28(1) 67-76、2011
【非特許文献２】福嶋慶繁、圓道知博、藤井俊彰、谷本正幸“Multi-Pass Dynamic Programming による光線空間補間”、電子情報通信学会論文誌D、vol.J90-D、No.7、pp.1721-1725、July 2007
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、実カメラ依存型奥行き推定では、実カメラの画素と仮想視点の画素とが１対１対応ではないために、仮想視点への画素投影時にホールが発生してしまうことがある。また、仮想視点依存型奥行き推定では、実カメラにおける各画素は複数の奥行きを持つことが許容されるため、二重投影の状態が発生する頻度が上昇してしまう。そのため、奥行き推定の精度が低下してしまう。
【０００８】
上記事情に鑑み、本発明は、参照画像から任意の視点における画像を生成する際に、ホールの発生及び二重投影の発生を抑制する技術の提供を目的としている。
【課題を解決するための手段】
【０００９】
本発明の一態様は、予め生成された複数の参照画像を用いて仮想視点の画像を生成する画像生成装置であって、設定された仮想視点の画像平面に平行な複数の探索レイヤを設定する探索レイヤ設定部と、前記探索レイヤ設定部によって設定された探索レイヤに基づいて、前記参照画像の各画素における奥行き値を推定する奥行き推定部と、前記奥行き推定部によって推定された奥行き値に基づいて、前記仮想視点の画像を生成する画像生成部と、を備える画像生成装置である。
【００１０】
本発明の一態様は、上記の画像生成装置であって、前記奥行き推定部は、投影元の参照画像の画素値と投影先の参照画像の画素値との差のうち、所定の閾値よりも小さい値の差の累積値を前記探索レイヤ毎に算出し、前記累積値が最も小さい探索レイヤに基づいて前記奥行き値を推定する。
【００１１】
本発明の一態様は、上記の画像生成装置であって、前記参照画像は、複数の画素を含む複数のセグメントに分割されており、前記画像生成部は、前記セグメントの境界領域の画素値には相対的に低い重み付けを与え、前記境界領域以外の画素値には相対的に高い重み付けを与えることによって前記画像を生成する。
【００１２】
本発明の一態様は、予め生成された複数の参照画像を用いて仮想視点の画像を生成する画像生成方法であって、設定された仮想視点の画像平面に平行な複数の探索レイヤを設定する探索レイヤ設定ステップと、前記探索レイヤ設定ステップにおいて設定された探索レイヤに基づいて、前記参照画像の各画素における奥行き値を推定する奥行き推定ステップと、前記奥行き推定ステップにおいて推定された奥行き値に基づいて、前記仮想視点の画像を生成する画像生成ステップと、を有する画像生成方法である。
【００１３】
本発明の一態様は、上記の画像生成装置としてコンピュータを動作させるためのプログラムである。
【発明の効果】
【００１４】
本発明により、参照画像から任意の視点における画像を生成する際に、ホールの発生及び二重投影の発生を抑制することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】仮想視点画像生成システム１のシステム構成を表すシステム構成図である。
【図２】領域分割部２０５によって行われる領域分割処理の具体例を示す図である。
【図３】探索レイヤの具体例を示す図である。
【図４】奥行き推定部３０３の処理の具体例を示す図である。
【図５】奥行き推定部３０３の処理の具体例を示す図である。
【図６】図５の処理を全てのカメラ１０（１０−１，１０−３，１０−４）に対して実行した結果を表す図である。
【図７】奥行き評価部３０４の処理の具体例を示す図である。
【図８】領域分割部２０５の処理の流れの具体例を表すフローチャートである。
【図９】画像生成装置３００の処理の流れの具体例を表すフローチャートである。
【図１０】奥行き値推定処理の流れの具体例を表すフローチャートである。
【図１１】奥行き推定部３０３の変形例における処理の具体例を示す図である。
【図１２】画像生成部３０６における課題の概略を示す図である。
【発明を実施するための形態】
【００１６】
図１は、仮想視点画像生成システム１のシステム構成を表すシステム構成図である。仮想視点画像生成システム１は、一つの撮影シーンを撮影することによって予め生成された画像（以下、「参照画像」という。）を複数用いることによって、任意の視点（以下、「仮想視点」という。）からそのシーンを見た画像（以下、「仮想視点画像」という。）を生成する。複数の参照画像の組み合わせを、「多視点画像群」という。
【００１７】
仮想視点画像生成システム１は、前処理装置２００及び画像生成装置３００を備える。前処理装置２００は、仮想視点画像を生成するために必要となる前処理を行う。画像生成装置３００は、前処理装置２００によって行われた前処理の結果を用いることによって、複数の参照画像から仮想視点画像を生成する。
【００１８】
以下、各装置の構成について説明する。
前処理装置２００は、は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、前処理プログラムを実行する。前処理プログラムの実行によって、前処理装置２００は、画像入力部２０１、画像蓄積部２０２、カメラパラメータ取得部２０３、カメラパラメータ蓄積部２０４、領域分割部２０５、セグメント情報蓄積部２０６を備える装置として機能する。なお、前処理装置２００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。前処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。前処理プログラムは、電気通信回線を介して送受信されても良い。
【００１９】
画像入力部２０１は、前処理装置２００に対して入力される多視点画像群のデータを受け付ける。画像入力部２０１は、例えばＣＤ−ＲＯＭやＵＳＢメモリ（Universal Serial Bus Memory）等の記録媒体に記録された多視点画像群のデータを読み出しても良い。また、画像入力部２０１は、スチルカメラやビデオカメラによって撮像された多視点画像群を、カメラから受信しても良い。また、前処理装置２００がスチルカメラやビデオカメラ若しくはカメラを備えた情報処理装置に内蔵されている場合は、画像入力部２０１は撮像された画像又は撮像前の画像を多視点画像群としてバスから受信しても良い。また、画像入力部２０１は、ネットワークを介して他の情報処理装置から多視点画像群のデータを受信しても良い。画像入力部２０１は、多視点画像群のデータの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。
【００２０】
画像蓄積部２０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像蓄積部２０２は、画像入力部２０１によって入力された多視点画像群のデータを記憶する。
【００２１】
カメラパラメータ取得部２０３は、多視点画像群に含まれる各参照画像が撮影された際のカメラパラメータを取得する。カメラパラメータ取得部２０３は、例えばＣＤ−ＲＯＭやＵＳＢメモリ等の記録媒体に記録されたカメラパラメータのデータを読み出しても良い。また、カメラパラメータ取得部２０３は、各参照画像を撮影したスチルカメラやビデオカメラからカメラパラメータを受信しても良い。また、前処理装置２００がスチルカメラやビデオカメラ若しくはカメラを備えた情報処理装置に内蔵されている場合は、カメラパラメータ取得部２０３は、各参照画像が撮影された時点のカメラパラメータを取得しても良い。また、カメラパラメータ取得部２０３は、ネットワークを介して他の情報処理装置からカメラパラメータのデータを受信しても良い。カメラパラメータ取得部２０３は、カメラキャリブレーション手法のひとつであるStructure from Motion手法によってカメラパラメータを取得しても良い。カメラパラメータ取得部２０３は、多視点画像群のカメラパラメータを取得可能な構成であれば、さらに異なる態様で構成されても良い。
【００２２】
カメラパラメータ蓄積部２０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。カメラパラメータ蓄積部２０４は、カメラパラメータ取得部２０３によって取得されたカメラパラメータのデータを記憶する。
【００２３】
領域分割部２０５は、多視点画像群に含まれる各参照画像を、複数の部分領域（以下、「セグメント」という。）に分割する。
【００２４】
セグメント情報蓄積部２０６は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。セグメント情報蓄積部２０６は、領域分割部２０５によって生成された各セグメントを表す情報（以下「セグメント情報」という。）を記憶する。セグメント情報は、例えば各セグメントの領域を表す情報（例えば各頂点の座標及び並び順）である。
【００２５】
前処理装置２００の各蓄積部に記憶されたデータは、画像生成装置３００の処理において使用される。画像生成装置３００は、必要に応じて前処理装置２００の各蓄積部にアクセス可能に構成されても良いし、前処理装置２００の各蓄積部に蓄積されたデータを取得して記憶しても良い。
【００２６】
画像生成装置３００は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像生成プログラムを実行する。画像生成プログラムの実行によって、画像生成装置３００は、仮想視点情報取得部３０１、探索レイヤ設定部３０２、奥行き推定部３０３、奥行き評価部３０４、再推定部３０５、画像生成部３０６を備える装置として機能する。なお、画像生成装置３００の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。画像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像生成プログラムは、電気通信回線を介して送受信されても良い。
【００２７】
仮想視点情報取得部３０１は、画像生成装置３００が生成する仮想視点画像の視点（仮想視点）に関する情報（以下、「仮想視点情報」という。）を取得する。仮想視点情報は、仮想視点位置の空間座標と、視線方向のベクトルとを表す。仮想視点情報取得部３０１は、例えば何らかのアプリケーションによって指定された仮想視点情報を取得しても良い。仮想視点情報取得部３０１は、キーボードやポインティングデバイス等の入力装置を介してユーザによって指定された仮想視点情報を取得しても良い。仮想視点情報取得部３０１は、他の情報処理装置から仮想視点情報を表すデータを受信することによって仮想視点情報を取得しても良い。仮想視点情報取得部３０１は、仮想視点情報を取得可能な構成であれば、さらに異なる態様で構成されても良い。
【００２８】
探索レイヤ設定部３０２は、仮想視点情報取得部３０１によって取得された仮想視点情報に応じて、複数の探索レイヤを設定する。具体的には以下のとおりである。探索レイヤ設定部３０２は、仮想視点情報に基づいて仮想視点位置に応じた画像平面（以下、「仮想画像平面」という。）を設定する。探索レイヤ設定部３０２は、探索レイヤ同士の距離を離して、仮想画像平面に平行に複数の探索レイヤを設定する。例えば、探索レイヤ設定部３０２は、仮想視点位置からそれぞれｄ１〜ｄ４だけ離れた点を中心とした仮想画像平面に平行なレイヤを設定する。
【００２９】
奥行き推定部３０３は、探索レイヤ設定部３０２によって設定された探索レイヤに基づいて、多視点画像群に含まれる各参照画像のセグメント毎に奥行き値を推定する。奥行き推定部３０３によって推定される奥行き値は、仮想視点位置からの距離を表す。
【００３０】
奥行き評価部３０４は、奥行き推定部３０３によって推定された各参照画像の各セグメントの奥行き値に基づいて、各セグメントの奥行き値を仮想画像平面に投影する。奥行き評価部３０４は、仮想画像平面の画素のうち複数の奥行き値が投影された画素において、投影された奥行き値を評価する。複数の奥行き値の分散が大きい場合には、奥行き評価部３０４は、投影された奥行き値を破棄する。一方、複数の奥行き値の分散が小さい場合には、奥行き評価部３０４は、投影された複数の奥行き値に基づいて一つの奥行き値（平均値等の統計値）の推定値を決定する。なお、奥行き評価部３０４は、例えば予め設定されている閾値よりも分散が大きいか否かに基づいて処理を行っても良い。
【００３１】
再推定部３０５は、奥行き評価部３０４によって奥行き値が破棄された画素について、奥行き推定部３０３とは異なる手法を用いることによって奥行き値を推定する。再推定部３０５は、例えば通常のブロックマッチングや、仮想視点依存型奥行き推定を用いることによって奥行き値を推定する。
【００３２】
画像生成部３０６は、奥行き評価部３０４及び再推定部３０５による推定結果に基づいて、多視点画像群の各参照画像の各セグメントを仮想画像平面に投影する。画像生成部３０６は、投影されたセグメントの画素値に基づいて、仮想画像平面の各画素の画素値を決定する。この処理によって、画像生成部３０６は仮想視点画像を生成する。画像生成部３０６は、生成された仮想視点画像を出力する。
【００３３】
図２は、領域分割部２０５によって行われる領域分割処理の具体例を示す図である。図２（Ａ）は、領域分割処理における初期状態を表す図である。図２（Ｂ）は、領域分割処理の結果を示す図である。図２に示される例では、領域分割部２０５は、Ｋ−ｍｅａｎｓ法を用いることによって領域を分割する。
【００３４】
まず、領域分割部２０５は、画像８０を所定の大きさの部分領域に分割することによって、初期状態を作る。例えば、領域分割部２０５は、画像８０を１０ピクセル×１０ピクセルの格子状に分割することによって、初期状態を作る。
【００３５】
領域分割部２０５は、各領域（セグメント）の重心位置（Ｘｇ，Ｙｇ）と、セグメントに属している画素の平均ＲＧＢ輝度値（Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅ）とを用いて、Ｅ値を算出する。Ｅ値は、各画素（ｘ，ｙ）の輝度値（Ｒ，Ｇ，Ｂ）に応じて、以下の式（１）に基づいて算出される。
【数１】
2014155069.tif 000003
【００３６】
領域分割部２０５は、領域分割の対象となっている参照画像の全ての画素において、セグメント毎にＥ値を算出する。すなわち、領域分割部２０５は、一つの参照画像において、画素数×セグメント数の数だけＥ値を算出する。領域分割部２０５は、画素毎に、最も小さいＥ値が算出されたセグメントを探す。領域分割部２０５は、処理対象となっている画素が、探し出されたセグメントに属するとみなす。領域分割部２０５は、このような処理を複数回繰り返すことによって、セグメントを決定する。なお、式（１）において、αは画素の座標位置に関する重み付け係数である。αは、例えば１より大きい値をとる。αは１に等しくても良い。
【００３７】
図３は、探索レイヤの具体例を示す図である。図３において、複数のカメラ１０（１０−１〜１０−４）は、それぞれ参照画像を撮像する際に用いられたカメラの位置を表す。カメラ１０−１によって撮影された参照画像は、画像平面２０−１に撮影シーンの映像を投影することによって生成された画像である。同様に、カメラ１０−２〜１０−４によって撮影された参照画像は、それぞれ画像平面２０−２〜２０−４に撮影シーンの映像を投影することによって生成された画像である。
【００３８】
仮想カメラ１０−ｖは、仮想視点位置に配置された仮想のカメラである。仮想画像平面２０−ｖは、仮想カメラ１０−ｖの視点位置から視線方向に向けて配置された画像平面である。複数の探索レイヤ３０（３０−１〜３０−４）は、仮想画像平面２０−ｖに平行に配置される。各探索レイヤ３０の大きさは、仮想カメラ１０−ｖの視野に応じて決定される。そのため、各探索レイヤ３０の大きさは、仮想カメラ１０−ｖの視点位置から離れるほど大きくなる。探索レイヤ３０−１〜３０−４と仮想カメラ１０−ｖの視点位置との距離は、それぞれｄ１〜ｄ４である。
【００３９】
図４は、奥行き推定部３０３の処理の具体例を示す図である。奥行き推定部３０３は、カメラ１０−２（投影元カメラ）の画像平面２０−２（投影元画像平面）に位置する画素４０（投影元画素）を、この画素４０に写っている物体が探索レイヤ３０−１上に存在したと仮定して、カメラ１０−３（投影先カメラ）の画像平面２０−３（投影先画像平面）に投影する。具体的には、奥行き推定部３０３は、視点位置１１−２と画素４０とを結ぶ直線（視線）と探索レイヤ３０−１との交点１４１の三次元座標を算出する。そして、奥行き推定部３０３は、交点１４１と視点位置１１−３とを結ぶ直線（視線）と画像平面２０−３との交点となる画素（以下、「投影先画素」という。）４１−３の画像平面座標（ｘ３１，ｙ３１）を算出する。
【００４０】
次に、奥行き推定部３０３は、投影元カメラ１０−２の画像平面２０−２に位置する投影元画素４０を、この画素に写っている物体が探索レイヤ３０−２上に存在したと仮定して、投影先カメラ１０−３の画像平面２０−３に投影する。具体的には、奥行き推定部３０３は、視点位置１１−２と画素４０とを結ぶ直線（視線）と探索レイヤ３０−２との交点１４２の三次元座標を算出する。そして、奥行き推定部３０３は、交点１４２と視点位置１１−３とを結ぶ直線（視線）と画像平面２０−３との交点となる投影先画素４２−３の画像平面座標（ｘ３２，ｙ３２）を算出する。
【００４１】
図５は、奥行き推定部３０３の処理の具体例を示す図である。図５は、図４に示された状態を上から見下ろした図である。奥行き推定部３０３は、投影元画素４０について、同様の処理を全ての探索レイヤ３０（３０−１〜３０−４）に対して実行する。この処理によって、投影元画素４０に写っている物体が各探索レイヤ３０上の点（１４１〜１４４）に存在したと仮定された場合の画像平面２０−３への投影が行われる。その結果、画像平面２０−３に対応する投影先画素（４１−３〜４４−３）が、探索レイヤの数と同数取得される。奥行き推定部３０３は、投影先画素のうち、投影先となった画像平面２０−３の枠からはみ出ているものを破棄する。図５の具体例では、奥行き推定部３０３は、投影先画素４４−３を破棄する。
【００４２】
次に、奥行き推定部３０３は、投影元画素４０に関する上述した処理を、全てのカメラに対して行う。全てのカメラとは、多視点画像群に含まれる参照画像のカメラ全てを意味する。
図６は、図５の処理を全てのカメラ１０（１０−１，１０−３，１０−４）に対して実行した結果を表す図である。奥行き推定部３０３は、投影元画素４０に写っている物体が各探索レイヤ３０上の点（１４１〜１４４）に存在したと仮定された場合の画像平面２０−１（カメラ１０−１の画像平面）への投影を行った結果、投影先画素４１−１〜４４−１の画像平面座標を得る。また、奥行き推定部３０３は、投影元画素４０に写っている物体が各探索レイヤ３０上の点（１４１〜１４４）に存在したと仮定された場合の画像平面２０−４（カメラ１０−４の画像平面）への投影を行った結果、投影先画素４１−４〜４３−４の画像平面座標を得る。
【００４３】
奥行き推定部３０３は、投影元画素４０に写っている物体が各探索レイヤ３０−１上の点１４１に存在したと仮定された場合の各投影先画素（４１−１，４１−３，４１−４）の画素値と、投影元画素４０の画素値との差の合計値（以下、「第一差分値」という。）を算出する。奥行き推定部３０３は、処理対象となっているセグメントＳに属している全ての画素に対して上述した処理を行うことによって、各投影元画素４０の第一差分値を算出する。奥行き推定部３０３は、処理対象となっているセグメントＳに属している全ての画素の第一差分値の合計値を、処理対象となっているセグメントＳのマッチングコストＭとして算出する。セグメントＳのマッチングコストＭは、例えば以下のような式（２）を用いて算出されても良い。
【数２】
2014155069.tif 000004
【００４４】
式（２）において、ｍは投影元カメラ１０を表し、Ｓは処理対象となっているセグメントを表し、ｄは画素４０に写っている物体が存在すると仮定されている探索レイヤ３０の奥行き値を表し、ｐは投影元画素４０を表し、ｎは投影先カメラ１０を表す。Ｉ（ｍ，ｐ）は、カメラｍの画素ｐの画素値を表す。ｐ’（ｎ，ｄ）は、投影元カメラｍの画素４０が奥行き値ｄの探索レイヤ３０に基づいて投影先カメラｎの画像平面に投影された場合の投影先画素を表す。
【００４５】
奥行き推定部３０３は、全ての探索レイヤ３０について、マッチングコストＭを算出する。そして、奥行き推定部３０３は、マッチングコストＭが最も小さい探索レイヤ３０に対応する奥行き値を、セグメントＳの奥行き値の推定値Ｄとして決定する。数式で表すと式（３）の通りである。
【数３】
2014155069.tif 000005
【００４６】
奥行き推定部３０３は、上述した処理を、処理対象となっている参照画像の全てのセグメントに対して実行する。さらに、奥行き推定部３０３は、上述した処理を、多視点画像群に含まれる全ての参照画像に対して実行する。以上の処理により、多視点画像群に含まれる全ての参照画像の全てのセグメントについて奥行き値の推定値が得られる。
【００４７】
図７は、奥行き評価部３０４の処理の具体例を示す図である。奥行き評価部３０４は、奥行き推定部３０３によって得られた奥行き値に基づいて、多視点画像群に含まれる各参照画像の各セグメントを仮想画像平面に投影する。投影後のセグメントに含まれる各画素には、投影元のセグメントの奥行き値が与えられる。この処理によって、仮想画像平面の一つの画素に対して１又は複数の奥行き値が与えられる。
【００４８】
奥行き評価部３０４は、全ての参照画像及び全てのセグメントについて投影処理が終了すると、仮想画像平面の各画素のうち複数の奥行き値が与えられた画素について、与えられた複数の奥行き値の分散の大小を評価する。奥行き値の分散が所定の閾値よりも小さい場合、奥行き評価部３０４は、処理対象となっている画素に与えられた奥行き値の推定値が正しいと判定する。一方、奥行き値の分散が所定の閾値よりも大きい場合、奥行き評価部３０４は、処理対象となっている画素に与えられた奥行き値の推定値が誤っていると判定し、推定値を破棄する。この場合、上述したように、再推定部３０５がブロックマッチング等の手法を用いて奥行き値を推定する。
【００４９】
画像生成部３０６は、仮想画像平面の各画素について、奥行き評価部３０４によって与えられた奥行き値に基づいて、多視点画像群に含まれる各参照画像の各セグメントを仮想画像平面に投影する。また、画像生成部３０６は、再推定部３０５によって奥行き値が推定された画素については、再推定部３０５によって与えられた奥行き値に基づいて仮想画像平面に投影する。画像生成部３０６は、仮想画像平面の各画素の画素値を、投影元画素の画素値に基づいて決定する。例えば、画像生成部３０６は、仮想画像平面の一つの画素に対して複数の投影元画素が投影された場合、投影元画素の画素値の統計値（例えば平均値）を画素値として決定する。
【００５０】
図８は、領域分割部２０５の処理の流れの具体例を表すフローチャートである。まず、領域分割部２０５が、画像蓄積部２０２に記憶されている多視点画像群の中から処理対象となる参照画像を入力する（ステップＳ１０１）。以下、領域分割部２０５によって入力された参照画像を入力画像という。
【００５１】
領域分割部２０５は、入力画像を所定の条件で格子状に分割し、初期状態を作る（ステップＳ１０２）。次に、領域分割部２０５は、画素ｐがセグメントｓに属した場合のＥ値を算出する（ステップＳ１０３）。領域分割部２０５は、画素ｐについて、全てのセグメントｓに対するＥ値が算出されるまでステップＳ１０３の処理を繰り返し実行する（ステップＳ１０４−ＮＯ）。画素ｐについて、全てのセグメントｓに対するＥ値が算出されると（ステップＳ１０４−ＹＥＳ）、領域分割部２０５は次の処理を実行する。領域分割部２０５は、Ｅ値が最も小さいセグメントｓを、画素ｐが属するセグメントとして選択する（ステップＳ１０５）。領域分割部２０５は、ステップＳ１０３〜Ｓ１０５の処理を、入力画像の全ての画素について実行する（ステップＳ１０６−ＮＯ）。
【００５２】
入力画像の全ての画素についてセグメントの選択が完了すると、領域分割部２０５は、終了条件が満たされているか否か判定する（ステップＳ１０７）。終了条件とは、例えばステップＳ１０３〜Ｓ１０６の処理の繰り返し回数が所定の回数に至ったことであっても良いし、全ての画素ｐのセグメントに変化が生じなかった事であっても良いし、画素毎に算出された最小のＥ値のうち最大のものが閾値よりも小さいことであっても良いし、他の条件であっても良い。終了条件が満たされると、領域分割部２０５は入力画像に対する領域分割処理を終了する。
【００５３】
図９は、画像生成装置３００の処理の流れの具体例を表すフローチャートである。まず、仮想視点情報取得部３０１が仮想視点情報を取得する（ステップＳ２０１）。次に、探索レイヤ設定部３０２が、取得された仮想視点情報に基づいて探索レイヤを設定する（ステップＳ２０２）。次に、設定された探索レイヤに基づいて、奥行き推定部３０３が奥行き値推定処理を行う（ステップＳ２０３）。次に、奥行き評価部３０４が、仮想画像平面の各画素の奥行き値の分散を算出する（ステップＳ２０４）。次に、再推定部３０５が、分散が閾値よりも大きい画素の奥行き値を再推定する（ステップＳ２０５）。いいかえると、再推定部３０５は、分散が閾値よりも大きいがその奥行き値を、奥行き推定部３０３とは異なる方法を用いて推定する。そして、画像生成部３０６が、奥行き推定部３０３及び再推定部３０５によって推定された奥行き値に基づいて画像を生成する（ステップＳ２０６）。
【００５４】
図１０は、奥行き値推定処理の流れの具体例を表すフローチャートである。まず、奥行き推定部３０３は、処理の対象となる画像（カメラｍによって撮影された画像）、セグメントＳ、画素ｐ、探索レイヤ（奥行き値ｄ）を選択する。奥行き推定部３０３は、選択された条件に基づいて、投影先画像平面（カメラｎの画像平面）における投影先画素ｐ’の位置を算出する（ステップＳ３０１）。奥行き推定部３０３は、投影元の画素ｐの画素値と投影先の画素ｐ’の画素値との差を算出する。奥行き推定部３０３は、前述した差の値を、投影先カメラｎ毎に算出し、その累積値を第一差分値として取得する（ステップＳ３０２）。
【００５５】
奥行き推定部３０３は、処理対象となっているセグメントＳに属する全ての画素ｐについて、第一差分値を取得する（ステップＳ３０３）。奥行き推定部３０３は、処理対象となっているセグメントＳの全ての第一差分値を合計することによって、セグメントＳのマッチングコストＭを算出する（ステップＳ３０４）。マッチングコストＭは、処理の対象となる画像（カメラｍによって撮影された画像）、セグメントＳ、探索レイヤ（奥行き値ｄ）の組み合わせ毎に算出される。
【００５６】
奥行き推定部３０３は、処理の対象となる画像（カメラｍによって撮影された画像）、セグメントＳの組み合わせに対する全ての探索レイヤについてマッチングコストＭが算出されると、最小のマッチングコストＭの探索レイヤの奥行き値ｄを、処理対象となっているセグメントＳの奥行き値の推定値として決定する（ステップＳ３０６）。以上の処理を、処理対象となっている画像の全てのセグメントＳについて実行し、さらに全ての画像に対して実行する（ステップＳ３０７及びＳ３０８）。以上の処理によって、全ての画像の全てのセグメントについて、奥行き値の推定値が取得される。
【００５７】
このように構成された仮想視点画像生成システム１によれば、多視点画像群から任意の視点（仮想視点）における画像を生成する際に、ホールの発生及び二重投影の発生を抑制することが可能となる。詳細は以下のとおりである。
【００５８】
画像生成装置３００では、仮想視点の光軸上に平面中心を持ち、仮想画像平面に平行な探索レイヤが設定される。画像生成装置３００は、このような探索レイヤを用いて、各参照画像の各セグメントに対してセグメントマッチングによる奥行推定を行う。これにより、一つのセグメントに対して一つの奥行き値が推定される。言い換えれば、一つのセグメントに対して複数の奥行き値が推定されることがない。そのため、二重投影を防ぐ事が出来る。さらに、上述したように仮想画像平面に対して平行な探索レイヤが用いられることにより、仮想画像平面の画素間隔に依存したサンプリングを行う事が出来る。そのため、ホールの発生を抑制する事が出来る。
【００５９】
＜変形例＞
（奥行き推定部の変形例）
奥行き推定部３０３の変形例における処理について説明する。
奥行き推定部３０３は、投影元の画素の画素値と投影先の画素の画素値との差が閾値よりも大きい場合、算出された差をマッチングコストＭに対して加算しないように構成されても良い。数式で表すと、以下の式（４）のように表せる。
【数４】
2014155069.tif 000006
【００６０】
式（４）において、ａは１又は０の値をとる。投影元の画素の画素値と投影先の画素の画素値との差が閾値よりも大きい場合、ａ＝０である。一方、投影元の画素の画素値と投影先の画素の画素値との差が閾値よりも小さい場合、ａ＝１である。Ｃは、ａの合計値である。このような処理を行う事により、遮蔽（オクルージョン）による誤推定を低減する事が可能となる。
【００６１】
図１１は、奥行き推定部３０３の変形例における処理の具体例を示す図である。カメラ１０−２、カメラ１０−３及びカメラ１０−４からは、奥行きｄ３に位置する物体９２上の点１４３を見ることができる。そのため、投影元画像平面上の画素４０には、物体９２上の点１４３の色が画素値として与えられている。一方、カメラ１０−１からは、奥行きｄ２に位置する物体９１によって遮られてしまうため、物体９２上の点１４３を見ることができない。そのため、カメラ１０−１に対応する投影先画素４３−１には、物体９１の色が画素値として与えられている。
【００６２】
このような状態で、投影元の画素４０の画素値（物体９２の色）と、投影先の画素４３−１の画素値（物体９１）との差を算出すると、投影元の画素４０の奥行きｄ３が正しい値であるとしても、大きな差が算出されてしまう。そのため、マッチングコストＭの値が大きくなってしまい、正しい奥行き推定値が破棄されてしまう虞が生じる。
【００６３】
一方、上述したような処理を行う事によって、投影元の画素４０の画素値（物体９２の色）と、投影先の画素４３−１の画素値（物体９１）との差がマッチングコストＭに加算されない。そのため、マッチングコストＭの値が不当に大きくなることを防ぎ、正しい奥行き推定値が破棄されることを抑制できる。
【００６４】
（画像生成部の変形例）
図１２は、画像生成部３０６における課題の概略を示す図である。図１２（Ａ）及び（Ｂ）は、多視点画像群に含まれる画像の一部を示す図である。セグメントＡよりも視点に近い位置に前景物体が存在する。図１２（Ａ）に示されるように、前景物体よりも十分に離れて位置するセグメントＡでは、前景物体の色が影響していない。一方、図１２（Ｂ）に示されるように、前景物体の近くに位置する（接して位置する）セグメントＢでは、前景物体の色がにじんでしまう。
【００６５】
図１２（Ｃ）は、仮想視点画像の具体例を示す図である。仮想視点画像において、セグメントＢは、前景物体から離れているにもかかわらず、前景物体の色がにじんだ状態となっている。そのため、不自然な画像が生成されてしまっている。そこで、画像生成部３０６の変形例では、このような問題を解消する。以下、画像生成部３０６の変形例における処理を説明する。
【００６６】
画像生成部３０６は、セグメントに含まれる画素のうち、境界領域に属する画素と属さない画素とで異なる処理を行う。境界領域とは、セグメントの領域のうち、境界部分に近い領域である。例えば、セグメントの境界に一部でも接している画素が境界領域の画素として定義されても良い。また、近傍８画素に境界が位置する画素が境界領域の画素として定義されても良い。
【００６７】
画像生成部３０６は、境界領域に属する画素に対しては相対的に低い重みを与える。一方、セグメントに含まれる画素のうち、非境界領域に属する画素に対しては相対的に高い重みを与える。すなわち、境界領域の画素値は、非境界領域の画素値に比べて、最終的に生成される画素値に与える影響が小さい。そのため、生成される画像において、他の物体の色があまりにじんでいない部分の色に近い画素値が得られる。
このような処理は、例えばセグメントに含まれる画素の重心位置を中心とするガウス重みをつけることによって行われても良い。これにより多重像の発生を防ぎながら仮想視点画像を生成することが可能となる。数式で表すと、以下の式（５）のように表せる。式（５）において、Ｉは仮想視点ｖの画素ｐの輝度値を表す。
【数５】
2014155069.tif 000007
【００６８】
（その他の変形例）
画像生成装置３００は、複数のセグメントに分割されていない画像を用いて仮想視点画像を生成しても良い。言い換えれば、１つのセグメントが１つの画素に一致する状態で処理が行われても良い。
前処理装置２００と画像生成装置３００とは、一体の装置として構成されても良い。
【００６９】
前処理装置２００は、機能が複数の装置に跨がって構成されても良い。画像生成装置３００も同様に、機能が複数の装置に跨がって構成されても良い。例えば、画像生成装置３００の機能のうち仮想視点情報取得部３０１が端末装置に実装され、残る機能がサーバに実装されても良い。この場合、サーバは、仮想視点画像のデータを端末装置に送信する。端末装置は、サーバから受信した仮想視点画像を表示する。
【００７０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７１】
１…仮想視点画像生成システム，  ２００…前処理装置，  ２０１…画像入力部，  ２０２…画像蓄積部，  ２０３…カメラパラメータ取得部，  ２０４…カメラパラメータ蓄積部，  ２０５…領域分割部，  ２０６…セグメント情報蓄積部，  ３００…画像生成装置，  ３０１…仮想視点情報取得部，  ３０２…探索レイヤ設定部，  ３０３…奥行き推定部，  ３０４…奥行き評価部，  ３０５…再推定部，  ３０６…画像生成部
【図１】
2014155069.tif 000008
【図２】
2014155069.tif 000009
【図３】
2014155069.tif 000010
【図４】
2014155069.tif 000011
【図５】
2014155069.tif 000012
【図６】
2014155069.tif 000013
【図７】
2014155069.tif 000014
【図８】
2014155069.tif 000015
【図９】
2014155069.tif 000016
【図１０】
2014155069.tif 000017
【図１１】
2014155069.tif 000018
【図１２】
2014155069.tif 000019