(57)【要約】【課題】所望の視点位置において得られる被写体の画像を生成する際に生じる計算機リソースを節約すること。【解決手段】複数の元画像から被写体の特徴点を検出する特徴点検出ステップと、原画像の特徴点のうち、複数の画像間に共通する特徴点を対応点として検出する対応点検出ステップと、対応点を、元画像を撮影した撮像装置の視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で対応点が存在する位置又は範囲を推定し、位置又は範囲を含む投影面を設定し、投影面について各元画像を射影変換することによって複数の投影画像を生成し、複数の投影画像の色又は輝度情報の合成演算により、投影面上の各点における被写体の色又は輝度情報を算出し、投影面が複数の場合に、基準視点から見て重なりを持つ投影面上の各画素の色情報又は輝度情報を合成演算することにより基準視点位置画像を生成する画像生成ステップと、を有する画像生成方法。【選択図】図２
2016001386.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる視点位置から被写体を撮影した複数の元画像に基づいて、所望の視点位置である基準視点において得られる被写体の画像を生成する画像生成装置における画像生成方法であって、
前記複数の元画像から前記被写体の特徴点を検出する特徴点検出ステップと、
検出された原画像の特徴点のうち、複数の画像間に共通する特徴点を対応点として検出する対応点検出ステップと、
検出された前記対応点を、元画像を撮影した撮像装置の視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で前記対応点が存在する位置又は範囲を推定し、推定した前記位置又は範囲を含む投影面を設定し、設定した前記投影面について各元画像を射影変換することによって複数の投影画像を生成し、前記複数の投影画像の色又は輝度情報の合成演算により、前記投影面上の各点における被写体の色又は輝度情報を算出し、前記投影面が複数の場合に、前記基準視点から見て重なりを持つ投影面上の各画素の色情報又は輝度情報を合成演算することにより基準視点位置画像を生成する画像生成ステップと、
を有する画像生成方法。
【請求項２】
前記投影面上の各画素は、色情報又は輝度情報の他に前記被写体が投影面に存在する可能性を示す存在情報を持ち、
前記投影面が複数の場合に、前記画像生成ステップにおいて、原画像を対応点の周りの小領域毎に分割し、共通の投影面上に射影して得られた投影面上の投影面小領域を取得し、前記投影面小領域の積演算から存在情報を計算し、前記存在情報と、前記色情報又は輝度情報の合成演算により前記基準視点位置画像を生成する、請求項１に記載の画像生成方法。
【請求項３】
前記存在情報は０から１までの階調的な値を持ち、
前記存在情報は、前記投影面上の各点に対応する元画像における点の色情報又は輝度情報の類似の程度により決定される、請求項２に記載の画像生成方法。
【請求項４】
複数の異なる視点位置から被写体を撮影した複数の元画像に基づいて、所望の視点位置である基準視点において得られる被写体の画像を生成する画像生成装置であって、
前記複数の元画像から前記被写体の特徴点を検出する特徴点検出部と、
検出した原画像の特徴点のうち、複数の画像間に共通する特徴点を対応点として検出する対応点検出部と、
検出された前記対応点を、元画像を撮影した撮像装置の視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で前記対応点が存在する位置又は範囲を推定し、推定した前記位置又は範囲を含む投影面を設定し、設定した前記投影面について各元画像を射影変換することによって複数の投影画像を生成し、前記複数の投影画像の色又は輝度情報の合成演算により、前記投影面上の各点における被写体の色又は輝度情報を算出し、前記投影面が複数の場合に、前記基準視点から見て重なりを持つ投影面上の各画素の色情報又は輝度情報を合成演算することにより基準視点位置画像を生成する画像生成部と、
を備える画像生成装置。
【請求項５】
前記投影面上の各画素は、色情報又は輝度情報の他に前記被写体が投影面に存在する可能性を示す存在情報を持ち、
前記投影面が複数の場合に、前記画像生成部は、原画像を対応点の周りの小領域毎に分割し、共通の投影面上に射影して得られた投影面上の投影面小領域を取得し、前記投影面小領域の積演算から存在情報を計算し、前記存在情報と、前記色情報又は輝度情報の合成演算により前記基準視点位置画像を生成する、請求項４に記載の画像生成装置。
【請求項６】
前記存在情報は０から１までの階調的な値を持ち、
前記存在情報は、前記投影面上の各点に対応する元画像における点の色情報又は輝度情報の類似の程度により決定される、請求項５に記載の画像生成装置。
【請求項７】
請求項１から３のいずれか１項に記載の画像生成方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所望の視点位置における画像を生成する技術に関する。
【背景技術】
【０００２】
近年、コンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）の分野では、カメラが設置された視点位置からだけでなく、利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が盛んに研究されている。
これらの技術の代表的なものとして、被写体の形状を推定し、所望の視点位置からレンダリングする幾何ベースの方法と、被写体から飛来する光線を所望の視点位置で再サンプリングする光線ベースの方法とがある。
【０００３】
幾何ベースの方法では、被写体の幾何形状を推定するために画像間のステレオ対応を用いる方法（例えば、非特許文献１参照）や、視体積交差法を用いる方法（例えば、非特許文献２参照）がある。
また、光線ベースの方法では、光線の強度を位置、方向、時間、波長に対する関数であるPlenoptic Functionにより記述されることに基づき、その次元を落とし、ある視点位置を与えたときにその視点位置を通る光線群を再サンプリングするのに適した表現方法として、いくつかの方式が提案されている（例えば、非特許文献３、４参照）。
【０００４】
一般的に、光線ベースの方法の方が幾何ベースの方法に比べて計算機に生じる負荷は小さく、実時間処理が求められるアプリケーションに適している。しかし、光線ベースの方法では、被写体が存在すると仮定した面の付近でしか正しく画像生成できないことが知られている（例えば、非特許文献５、６参照）。このように、光線ベースの方法では、予め被写体の位置を利用者が仮定する必要があるため利便性が悪い。さらに、被写体が動いた場合に正しく画像生成できないという欠点があった。
【０００５】
このような問題を解決するために、多層の投影面を設定し、被写体が存在すると仮定する範囲を拡げる手法が提案されている（例えば、特許文献１参照）。しかしながら、特許文献１に記載の方法であっても、利用者が多層の投影面の位置を決定する必要があった。そして、被写体が動く範囲を多層の投影面でカバーしきれていない場合、適切に画像生成ができないという問題があった。また、たとえ多層の投影面が被写体をカバーしていたとしても、投影面の数が多すぎた場合にはメモリなどの計算機リソースを多く消費してしまいう。また、必要以上に多層の投影面の範囲が広い場合には生成画像の劣化を招いていた。さらに、多層投影面がカバーできていない被写体以外の場所は、多重像などが生じて生成画像の見た目が悪くなってしまう。
そこで、複数の画像に基づいて所望の視点位置から被写体が撮影された画像を生成する際、被写体の存在する場所が未知である場合であっても、計算機リソースを節約しつつ適切に画像を生成する手法が提案された（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許４０５２３３１号公報
【特許文献２】特開２０１０−１４００９７号公報
【非特許文献】
【０００７】
【非特許文献１】T.Kanade, P.J.Narayanan, and P.W.Rander:“Virtualized Reality: Concepts and Early Results”, In Proc. of IEEE Workshop of the Representation of Visual Scenes, pp.69-76(1995)
【非特許文献２】W. Matusik, C.Buehler, R.Raskar, s.J.Gortler, and L McMillan: “Image-Based Visual Hulls”, In Proc.of SIGGRAPH 2000, pp.369-374(2000)
【非特許文献３】M. Levoy and P. Hanrahan: “Light Field Rendering” In Proc. of SIGGRAPH ’96, pp.31-41(1993)
【非特許文献４】S.J.Gortler, R.Grzeszczuk, R.Szeliski, and M.F.Cohen:“The Lumigraph”,In Proc. of SIGGRAPH ’96, pp.43-54(1996)
【非特許文献５】Y.Kunita, M.Inami, T.Maeda, and S.Tachi:“Realtime Rendering System of Moving Objects”, In Proc. of the 1999 IEEE Workshop on Multi-View Modeling& Analysis of Visual Scenes (MVIEW ’99), pp.81-88(1999)
【非特許文献６】J.-X. Chai, X. Tong, S.-C. Chan, and H.-Y. Shum:“Plenoptic Sampling”,In Proc. of SIGGRAPH 2000, pp.307-318(2000）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２に記載されている手法であっても、撮影した画像から被写体が存在する領域を特定する必要がある。そのため、被写体が存在する領域を特定する処理に計算機リソースを多く消費してしまうという問題があった。
【０００９】
上記事情に鑑み、本発明は、所望の視点位置において得られる被写体の画像を生成する際に生じる計算機リソースを節約することができる技術の提供を目的としている。
【課題を解決するための手段】
【００１０】
本発明の一態様は、複数の異なる視点位置から被写体を撮影した複数の元画像に基づいて、所望の視点位置である基準視点において得られる被写体の画像を生成する画像生成装置における画像生成方法であって、前記複数の元画像から前記被写体の特徴点を検出する特徴点検出ステップと、検出された原画像の特徴点のうち、複数の画像間に共通する特徴点を対応点として検出する対応点検出ステップと、検出された前記対応点を、元画像を撮影した撮像装置の視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で前記対応点が存在する位置又は範囲を推定し、推定した前記位置又は範囲を含む投影面を設定し、設定した前記投影面について各元画像を射影変換することによって複数の投影画像を生成し、前記複数の投影画像の色又は輝度情報の合成演算により、前記投影面上の各点における被写体の色又は輝度情報を算出し、前記投影面が複数の場合に、前記基準視点から見て重なりを持つ投影面上の各画素の色情報又は輝度情報を合成演算することにより基準視点位置画像を生成する画像生成ステップと、を有する画像生成方法である。
【００１１】
本発明の一態様は、上記の画像生成方法であって、前記投影面上の各画素は、色情報又は輝度情報の他に前記被写体が投影面に存在する可能性を示す存在情報を持ち、前記投影面が複数の場合に、前記画像生成ステップにおいて、原画像を対応点の周りの小領域毎に分割し、共通の投影面上に射影して得られた投影面上の投影面小領域を取得し、前記投影面小領域の積演算から存在情報を計算し、前記存在情報と、前記色情報又は輝度情報の合成演算により前記基準視点位置画像を生成する。
【００１２】
本発明の一態様は、上記の画像生成方法であって、前記存在情報は０から１までの階調的な値を持ち、前記存在情報は、前記投影面上の各点に対応する元画像における点の色情報又は輝度情報の類似の程度により決定される。
【００１３】
本発明の一態様は、複数の異なる視点位置から被写体を撮影した複数の元画像に基づいて、所望の視点位置である基準視点において得られる被写体の画像を生成する画像生成装置であって、前記複数の元画像から前記被写体の特徴点を検出する特徴点検出部と、検出した原画像の特徴点のうち、複数の画像間に共通する特徴点を対応点として検出する対応点検出部と、検出された前記対応点を、元画像を撮影した撮像装置の視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で前記対応点が存在する位置又は範囲を推定し、推定した前記位置又は範囲を含む投影面を設定し、設定した前記投影面について各元画像を射影変換することによって複数の投影画像を生成し、前記複数の投影画像の色又は輝度情報の合成演算により、前記投影面上の各点における被写体の色又は輝度情報を算出し、前記投影面が複数の場合に、前記基準視点から見て重なりを持つ投影面上の各画素の色情報又は輝度情報を合成演算することにより基準視点位置画像を生成する画像生成部と、を備える画像生成装置である。
【００１４】
本発明の一態様は、上記の画像生成装置であって、前記投影面上の各画素は、色情報又は輝度情報の他に前記被写体が投影面に存在する可能性を示す存在情報を持ち、前記投影面が複数の場合に、前記画像生成部は、原画像を対応点の周りの小領域毎に分割し、共通の投影面上に射影して得られた投影面上の投影面小領域を取得し、前記投影面小領域の積演算から存在情報を計算し、前記存在情報と、前記色情報又は輝度情報の合成演算により前記基準視点位置画像を生成する。
【００１５】
本発明の一態様は、上記の画像生成装置であって、前記存在情報は０から１までの階調的な値を持ち、前記存在情報は、前記投影面上の各点に対応する元画像における点の色情報又は輝度情報の類似の程度により決定される。
【００１６】
本発明の一態様は、コンピュータに対し、上記の画像生成方法を実行させるためのコンピュータプログラムである。
【００１７】
本発明の一態様は、上記コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明により、所望の視点位置において得られる被写体の画像を生成する際に生じる計算機リソースを節約することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像表示システムによる画像生成方法における被写体と撮像装置との位置関係を示す概略図である。
【図２】第１実施形態における画像表示システム１００のシステム構成を示すブロック図である。
【図３】第１実施形態における画像生成装置２０の処理の流れを示すフローチャートである。
【図４】第２実施形態における画像表示システム１００ａのシステム構成を示すブロック図である。
【図５】第２実施形態における画像生成装置２０ａの処理の流れを示すフローチャートである。
【図６】第３実施形態における画像表示システム１００ｂのシステム構成を示すブロック図である。
【図７】第３実施形態における画像生成装置２０ｂの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明の画像表示システムによる画像生成方法における被写体と撮像装置との位置関係を示す概略図である。
ここで、撮像装置（例えば、カメラ）の集合を｛Ｃｉ｜ｉ∈Ｎ｝、撮像装置Ｃｉにより撮影された被写体を含む画像をＩｉ（ｍ）とおく（ｍは行列）。ｍ≡［ｕ，ｖ］tは、画像座標系であり、画像の画素の位置を表している。また、以下では、式１のように、チルダ記号（〜）を付けた場合には、拡張ベクトルを示すものとする。
【数１】
2016001386.tif 000003
【００２１】
また、コンピュータビジョンの分野でよく用いられるように、焦点距離や画像中心、画素サイズなどの撮像装置固有の情報を含む３×３の行列（内部行列）をＡｉとおき、世界座標系から撮像装置のローカル座標系への回転行列、及び並進ベクトルをＲｉ←Ｗ、ｔｉ←Ｗとおく。これにより、世界座標系の３次元の点から撮像装置の画像座標上の２次元の点への射影変換は、以下の式２で示す行列の式で表すことができる。
【数２】
2016001386.tif 000004
【００２２】
ここで、本発明における目的は、複数の撮像装置で撮影された画像｛Ｉｉ（ｍ）｜ｉ∈Ｎ｝に基づいて、図１に示す基準視点Ｖから見た画像Ｉｖ（ｍ）を推定して生成することである。また、ここでは、各撮像装置の内部行列、及び外部行列は、何らかのキャリブレーション手段により求められているものとする。キャリブレーション方法の代表的なものとしては、例えば、「Ｔｓａｉの方法」や「Ｚｈａｎｇの方法」を用いることができる。また、後述するＳＦＭ（Structure from Motion）の手法を用いることにより、画像中で検出された特徴点の対応により各撮像装置の内部行列、及び外部行列を求めることもできる。
以下、本発明の具体的な構成例（第１実施形態〜第３実施形態）について説明する。
【００２３】
［第１実施形態］
図２は、第１実施形態における画像表示システム１００のシステム構成を示すブロック図である。本発明の画像表示システム１００は、撮像装置１０、画像生成装置２０及び画像表示装置３０を備える。
撮像装置１０は、複数の異なる視点位置から被写体を撮影する。撮像装置１０は、被写体を含む画像（以下、「原画像」という。）を画像生成装置２０に出力する。撮像装置１０は、例えばＣＣＤ（Charge Coupled Device）カメラなどである。
画像生成装置２０は、撮像装置１０から出力された複数の原画像に基づいて、所望の視点位置である基準視点において得られる被写体の画像（以下、「基準視点位置画像」という。）を生成する。
画像表示装置３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置である。画像表示装置３０は、画像生成装置２０によって生成された基準視点位置画像を表示する。
【００２４】
次に、画像生成装置２０の詳細について説明する。
画像生成装置２０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像生成プログラムを実行する。画像生成プログラムの実行によって、画像生成装置２０は、視点位置入力部２０１、基準視点決定部２０２、画像データ取得部２０３、特徴点検出部２０４、対応点検出部２０５、画像生成部２０６、出力部２０７を備える装置として機能する。なお、画像生成装置２０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像生成プログラムは、電気通信回線を介して送受信されてもよい。
【００２５】
視点位置入力部２０１は、キーボード、ポインティングデバイス（マウス、タブレット等）、タッチパネル、ボタン等の既存の入力装置を用いて構成される。視点位置入力部２０１は、ユーザの指示を画像生成装置２０に入力する際にユーザによって操作される。視点位置入力部２０１は、視点位置の入力を受け付ける。また、視点位置入力部２０１は、入力装置を画像生成装置２０に接続するためのインタフェースであってもよい。この場合、視点位置入力部２０１は、入力装置においてユーザの入力に応じて生成された入力信号を画像生成装置２０に入力する。
【００２６】
基準視点決定部２０２は、ユーザが視点位置入力部２０１を用いて入力した視点（基準視点）のパラメータを決定する。
画像データ取得部２０３は、撮像装置１０によって複数の視点位置から撮影された被写体の画像（原画像）を複数取得する。
特徴点検出部２０４は、画像データ取得部２０３が取得した原画像から被写体の特徴点を検出する。画像中の特徴点の検出方法としては、例えばＳＩＦＴ（Scale-Invariant Feature Transform）（例えば、参考文献１参照）やＳＵＲＦ（Speed-Up Robust Features）（例えば、参考文献２参照）の技術が用いられてもよい。参考文献１：David G. Lowe: “Object recognition from local scale-invariant features”. International Conference on Computer Vision, pages 1150-1157, 1999. 参考文献２：Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, “SURF: Speeded Up Robust Features”, Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359, 2008.
【００２７】
対応点検出部２０５は、特徴点検出部２０４が検出した原画像の特徴点のうち、複数の原画像間に共通する特徴点を対応点として検出する。例えば、ＳＩＦＴの場合における対応点の求め方としては、以下の通りである。対応点検出部２０５は、複数の原画像それぞれから検出された１２８次元のＳＩＦＴ特徴点において、各原画像の各ＳＩＦＴ特徴点と距離との組み合わせを求め、ユークリッド距離が１番小さいものをそれぞれのＳＩＦＴ特徴点に対応する対応点として検出する。より具体的には、例えば原画像として画像Ａと画像Ｂがあり、画像Ａからａ個、画像Ｂからｂ個のＳＩＦＴ特徴点が検出されたとする。すると、対応点の組み合わせとしてはａ×ｂ通りになる。そして、画像Ａ上のある特徴点ｘにおける対応点の候補としてはｂ個ある。そこで、対応点検出部２０５は、このｂ通りについてそれぞれＳＩＦＴ特徴量空間中（１２８次元）におけるユークリッド距離を算出する。その後、対応点検出部２０５は、算出したユークリッド距離を参照して、１番ユークリッド距離が小さい画像Ｂ上の特徴点と、画像Ａ上のある特徴点ｘとを対応点のペアとして検出する。対応点検出部２０５は、上述した処理を画像Ａ上の各ＳＩＦＴ特徴点について繰り返し行うことによって、画像Ａと画像Ｂとの対応点を検出する。なお、こうして得られた対応点が８点以上ある場合、ＳＦＭによりカメラパラメータを求めることができる。そのため、このような処理を対応点検出部２０５の処理に入れておけば、予めカメラパラメータが既知である必要はない。ＳＦＭについての具体的な処理については、例えば参考文献３に開示されている。参考文献３：R. I. Hartley, A Zisserman: “Multiple View Geometry in Computer Vision”. Cambridge University Press, 2004.
【００２８】
画像生成部２０６は、基準視点位置画像を生成する。以下、画像生成部２０６の具体的な処理について説明する。画像生成部２０６は、対応点検出部２０５によって検出された対応点を、元画像を撮影した撮像装置１０の視点位置を撮影中心として３次元空間中に投影処理する。さらに、画像生成部２０６は、３次元空間上で対応点が存在する位置又は範囲を推定し、位置又は範囲を含む１つ以上の投影面を設定する。ここで、３次元空間への投影は、カメラ画像面中の対応点と撮像装置１０の中心とを結ぶ直線の交点として求めることができる。また、投影面は、対応点群に平面を当てはめることにより求めることができる。例えば、以下のように求めることができる。
【００２９】
＜１つの投影面を求める場合＞
投影面は、対応点と平面との距離が最小となるように最小二乗法により求めることができる。より具体的には、画像生成部２０６は、全ての３次元の対応点から平面に下した垂線の長さの自乗の合計が最小になるような平面を推定する。これにより、画像生成部２０６は、１つの投影面を求めることができる。
＜２つ以上の投影面を求める場合＞
対応点のうち、距離が近いサブセットに平面を当てはめ、その平面に近い対応点を加え、遠い対応点を除外するといった繰り返し処理により求めることができる。ここで、サブセットとは、全ての対応点がクラスタリングにより、組分けされた後のひとまとまりのグループを表す。２つ以上の投影面を求める手法としては、以下の参考文献４の技術が用いられてもよい。参考文献４：山口 拓真, 川崎 洋, 古川 亮, 中山 利宏, " 画素単位のレジストレーションによる 3 次元形状物体画像の超解像処理", 第12回画像の認識・理解シンポジウム論文集(MIRU2010論文集), pp.1223-1230, 2010.なお、対応点群の当てはめで得た投影面群の前後に投影面群を加え、より広い範囲の被写体をカバーするようにしてもよい。また、クラスタリングの方法としては、例えばｋ−ｍｅａｎｓ法などが用いられる。
上述したように求められた投影面群を｛Ｌｊ｜ｊ∈Ｊ｝とする。
【００３０】
次に、画像生成部２０６は、設定した１つ以上の投影面に対して原画像を投影処理し、基準視点から見た画像に射影変換することによって複数の投影画像を生成する。具体的には、この射影変換は、一般にホモグラフィと呼ばれる行列により対応付けられる。撮像装置１０（例えば、図１の撮像装置Ｃｉ）の画像Ｉｉ（ｍ）上の点ｍｉから投影面Ｌｊを介して基準視点Ｖにおいて撮像装置１０が撮影した画像Ｉｖ（ｍ）上の点ｍｖへの写像は、以下の式３に基づいて算出される。
【数３】
2016001386.tif 000005
【数４】
2016001386.tif 000006
【００３１】
ただし、基準視点Ｖの撮像装置１０Ｃｖの座標系において、投影面Ｌｊの正規ベクトルをｎ、原点からの距離をｄｊで表している。また、Ｒｖ←ｉ、ｔｖ←ｉは撮像装置１０Ｃｉの座標系における点Ｘｉを基準視点Ｖの撮像装置１０Ｃｖの座標系における点Ｘｖに変換して、Ｘｖ＝Ｒｖ←ｉＸｉ＋ｔｖ←ｉとの関係がある。
【００３２】
画像生成部２０６は、生成した投影画像の色情報又は輝度情報の合成演算により投影面上の各点における被写体の色情報又は輝度情報を算出する。具体的には、画像生成部２０６は、投影面Ｌｊに対応する撮像装置１０の画像Ｉｖｉｊ（ｍ）を合成処理することによって以下の式５に基づいて投影面上の各点における被写体の色情報又は輝度情報Ｉｖｊ（ｍ）を算出する。
【数５】
2016001386.tif 000007
【００３３】
式５の重み係数Ｗｉｊの代表例としては、撮像装置１０の寄与が均等であるとして、以下の式６のように表すことができる。
【数６】
2016001386.tif 000008
ここで、Ｎｕｍ（）は、引数として集合をとり、値として要素数を返す関数とする。また、Ｗｉｊは、撮像装置１０の位置関係により重みをつけることもできる。例えば、Ｗｉｊが投影面上での位置に依存した値をとり、基準視点Ｖから見た画像座標系で表すとして、Ｗｖｉｊ（ｍ）と表す。そして、位置ｍにおいて交差する基準視点Ｖからの直線と撮像装置１０（例えば、図１のカメラＣｉ）の視点からの直線がなす角度をθｉｊ（ｍ）としたとき、Ｗｖｉｊ（ｍ）は以下の式７のように表すことができる。
【００３４】
【数７】
2016001386.tif 000009
これにより、角度θｉｊ（ｍ）が小さい撮像装置１０ほど寄与率が大きくなるように重み係数Ｗｖｉｊ（ｍ）を設定することができる。
【００３５】
その後、画像生成部２０６は、基準視点から見た画像を合成処理することによって基準視点位置画像を生成する。例えば、投影面が１つの場合には、唯一の投影面の画像をそのまま用いて以下の式８のようにすることができる。
【数８】
2016001386.tif 000010
投影面が複数の場合には、複数の投影画像を以下の式９により合成する。
【数９】
2016001386.tif 000011
【００３６】
ここで、各投影面の寄与を表す係数ｑｊは、例えば、以下の式１０とすることができる。
【数１０】
2016001386.tif 000012
上述したような処理により基準視点位置画像が生成される。以上で、画像生成部２０６の処理についての説明を終了する。
【００３７】
出力部２０７は、画像生成装置２０に接続された画像表示装置３０に対して、画像生成部２０６によって生成された基準視点位置画像の画像データを出力する。
【００３８】
図３は、第１実施形態における画像生成装置２０の処理の流れを示すフローチャートである。
画像データ取得部２０３は、撮像装置１０によって複数の異なる視点から撮影された原画像の画像データを取得する（ステップＳ１０１）。画像データ取得部２０３は、取得した画像データを特徴点検出部２０４及び画像生成部２０６に出力する。特徴点検出部２０４は、出力された画像データから被写体の特徴点を検出する（ステップＳ１０２）。対応点検出部２０５は、検出された特徴点のうち、複数の原画像間に共通する特徴点を対応点として検出する（ステップＳ１０３）。
【００３９】
画像生成部２０６は、原画像を撮影した撮像装置１０の視点位置を撮影中心として対応点を３次元空間中に投影処理し、３次元空間上で対応点が存在する位置又は範囲を推定し、位置又は範囲を含む１つ以上の投影面を設定する（ステップＳ１０４）。画像生成部２０６は、画像データ取得部２０３によって取得された原画像を、設定した投影面に投影処理し、基準視点から見た画像に射影変換することによって投影画像を生成する（ステップＳ１０５）。画像生成部２０６は、投影面上の各点における被写体の色情報又は輝度情報を算出する（ステップＳ１０６）。画像生成部２０６は、基準視点における合成演算処理を行うことによって基準視点位置画像を生成する（ステップＳ１０７）。その後、出力部２０７は、生成された基準視点位置画像の画像データを画像表示装置３０に出力する（ステップＳ１０８）。
【００４０】
以上のように構成された画像生成装置２０によれば、複数の原画像に撮像されている被写体の特徴点に基づいて基準視点位置画像が生成される。したがって、被写体と背景との分離が難しい撮像画像であっても、複雑な処理を行わずに基準視点位置画像を生成することができる。そのため、容易に所望の視点位置において得られる被写体の画像を生成することが可能になる。
【００４１】
また、画像生成装置２０は、複数の原画像からそれぞれ被写体の特徴点を検出し、検出した特徴点のうち、複数の原画像間で共通する特徴点である対応点を利用して基準視点位置画像が生成される。このように、全ての特徴点のデータを利用するのではなく、複数の原画像間で共通する特徴点のみ利用される。そのため、所望の視点位置において得られる被写体の画像（基準視点位置画像）を生成する際のリソースを節約することが可能になる。
【００４２】
また、先に元画像中で２次元的に被写体を検出し、３次元空間中での１つ以上の２次元面の集合として被写体の位置が限定される。したがって、被写体の存在しない余計な３次元空間中の領域で計算処理が発生することがない。そのため、所望の視点位置において得られる被写体の画像を生成する際のリソースを節約することが可能になる。
【００４３】
また、従来では、被写体の存在する領域の分離を容易にするために、背景をブルーバックやグリーンバックと言われるような色情報で判別しやすいものにした場合、適用できる撮影シーンが制限されてしまうという問題もあった。それに対し、本発明における画像生成部２０６では、原画像に撮像されている被写体の特徴点を検出して利用する。したがって、背景を色情報で判別しやすいものにする必要がない。そのため、従来に比べて適用できる撮影シーンを拡大することが可能になる。
【００４４】
＜変形例＞
画像表示システム１００が１台の撮像装置１０を備える構成を示しているが、画像表示システム１００は複数台の撮像装置１０を備えるように構成されてもよい。
本実施形態では、投影面が全て平行である場合を例に説明したが、投影面は曲線であってもよいし、複数の投影面が必ずしも全て平行である必要はない。また、投影面は凹凸構造を持っていてもよく、この際、奥行きマップ（Depth Map）と呼ばれる被写体の表面形状に応じた構造を持っていてもよい。
【００４５】
［第２実施形態］
第１実施形態では、元画像を全て投影面に射影して合成に用いていた。それに対して、第２実施形態における画像生成装置２０ａでは、原画像を対応点の周りの小領域毎に分割し、対応点に対応する小領域を投影面に射影し、投影面で交差する領域を小領域が存在する情報として用いる。このようにすることで、実際に小領域に相当する部分が３次元空間上で存在する付近の投影面のみで描画される。以下、具体的に説明する。
【００４６】
図４は、第２実施形態における画像表示システム１００ａのシステム構成を示すブロック図である。本発明の画像表示システム１００ａは、撮像装置１０ａ、画像生成装置２０ａ及び画像表示装置３０ａを備える。なお、撮像装置１０ａ及び画像表示装置３０ａについては、第１実施形態における撮像装置１０及び画像表示装置３０と同様の構成であるため、説明を省略する。そこで、画像生成装置２０ａについてのみ説明する。
【００４７】
画像生成装置２０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像生成プログラムを実行する。画像生成プログラムの実行によって、画像生成装置２０ａは、視点位置入力部２０１、基準視点決定部２０２、画像データ取得部２０３、特徴点検出部２０４、対応点検出部２０５、画像生成部２０６ａ、出力部２０７を備える装置として機能する。なお、画像生成装置２０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像生成プログラムは、電気通信回線を介して送受信されてもよい。
【００４８】
画像生成装置２０ａは、画像生成部２０６に代えて画像生成部２０６ａを備える点で画像生成装置２０と構成が異なる。画像生成装置２０ａは、他の構成については画像生成装置２０と同様である。そのため、画像生成装置２０ａ全体の説明は省略し、画像生成部２０６ａについて説明する。
【００４９】
画像生成部２０６ａは、基準視点位置画像を生成する。以下、画像生成部２０６ａの具体的な処理について説明する。画像生成部２０６ａは、対応点検出部２０５によって検出された対応点に基づいて、対応点と対応点周りの画素を含む小領域に分割する。対応点と対応点周りの画素を含む小領域に分割する方法としては、例えば参考文献５の技術が用いられてもよい。参考文献５：F. Aurenhammer, "Voronoi Diagrams -A Survey of a Fundamental Geometric Data Structure," ACM Computing Surveys, 23 (1991), 345-405.
参考文献５に記載の技術を用いることで、対応点に距離が近い画素を小領域として分割することができる。
【００５０】
上述した処理により得られた対応点毎の小領域をΓｉ（ｍ）と表し、Γｉ（ｍ）＝１となる画像座標では被写体が小領域に含まれるとし、Γｉ（ｍ）＝０となる画像座標では被写体が小領域に含まれないものとする。
投影面ＬｊにマスクΓｉ（ｍ）を投影し、基準視点から見たものをΓＶｉｊ（ｍ）とおくと、全ての撮像装置１０ａによる論理積は以下の式１１に基づいて算出される。
【数１１】
2016001386.tif 000013
【００５１】
画像生成部２０６ａは、上述した式１１に基づいて算出された論理積を投影面の中での被写体の存在する位置示す情報として用いて、ある投影面において被写体が存在するところのみに被写体の画像を描画する。そのために、投影面上でマスクのある位置のみで描画を行うようにする。
具体的には、画像生成部２０６ａは、以下の式１２及び１３により、正規化された被写体の存在情報ｑｊ（ｍ）を算出し、上記式９を画素単位の表現に書き直し、以下の式１４のように基準視点位置画像を生成する。存在情報とは、被写体が投影面に存在する可能性を示す情報である。
【数１２】
2016001386.tif 000014
【数１３】
2016001386.tif 000015
【数１４】
2016001386.tif 000016
ただし、上記式１３の分母が０となるようなｍに関しては、例えばｑｊ（ｍ）＝０としたり、ＩＶ（ｍ）に特定の色を与えるなどして０による除算を行わないようにする。
【００５２】
図５は、第２実施形態における画像生成装置２０ａの処理の流れを示すフローチャートである。なお、図３と同様の処理については、図５において図３と同様の符号を付して説明を省略する。
ステップＳ１０３の処理において、対応点検出部２０５が画像間の対応点を検出すると、画像生成部２０６は原画像を撮影した撮像装置１０ａの視点位置を撮影中心として対応点を３次元空間中に投影処理し、３次元空間上で対応点が存在する位置又は範囲を推定し、位置又は範囲を含む１つ以上の投影面を設定する（ステップＳ１０４）。また、画像生成部２０６は、原画像を対応点の周りの小領域毎に分割する（ステップＳ２０１）。その後、画像生成部２０６は、対応点に対応する小領域を投影面に射影することによって投影画像を生成する（ステップＳ２０２）。その後、ステップＳ１０６以降の処理が行なわれる。
【００５３】
以上のように構成された画像生成装置２０ａによれば、複数の原画像に撮像されている被写体の特徴点に基づいて基準視点位置画像が生成される。したがって、被写体と背景との分離が難しい撮像画像であっても、複雑な処理を行わずに基準視点位置画像を生成することができる。そのため、容易に所望の視点位置において得られる被写体の画像を生成することが可能になる。
【００５４】
また、画像生成装置２０ａは、複数の原画像からそれぞれ被写体の特徴点を検出し、検出した特徴点のうち、複数の原画像間で共通する特徴点である対応点に基づいて、対応点と対応点周りの画素を含む小領域に分割する。そして、小領域毎に投影面に射影して得られた投影画像を利用して基準視点位置画像が生成される。このように、原画像を全て投影面に射影することによって基準視点位置画像が生成されるのではなく、小領域に相当する部分が３次元空間上で存在する付近の投影面のみ利用される。そのため、基準視点位置画像を生成する際のリソースを節約することが可能になる。
【００５５】
また、先に元画像中で２次元的に被写体を検出し、３次元空間中での１つ以上の２次元面の集合として被写体の位置が限定される。したがって、被写体の存在しない余計な３次元空間中の領域で計算処理が発生することがない。そのため、所望の視点位置において得られる被写体の画像を生成する際のリソースを節約することが可能になる。
【００５６】
また、従来では、被写体の存在する領域の分離を容易にするために、背景をブルーバックやグリーンバックと言われるような色情報で判別しやすいものにした場合、適用できる撮影シーンが制限されてしまうという問題もあった。それに対し、本発明における画像生成部２０６では、原画像に撮像されている被写体の特徴点を検出して利用する。したがって、背景を色情報で判別しやすいものにする必要がない。そのため、従来に比べて適用できる撮影シーンを拡大することが可能になる。
【００５７】
＜変形例＞
第２実施形態は、第１実施形態と同様に変形されてもよい。
対応点と対応点周りの画素を含む小領域に分割する方法は、上述の方法に限定される必要はない。例えば、対応点を水源として、色情報の勾配を手掛かりとしたｗａｔｅｒｓｈｅｄ法に基づいて行われてもよい。ｗａｔｅｒｓｈｅｄ法として、例えば以下の参考文献５に開示されている技術が適用されてもよい。参考文献５：Meyer, F. , "Color image segmentation," Proceedings of the 4th Conference on Image Processing and its Applications, pp.303--306, 1992.
上述したように、ｗａｔｅｒｓｈｅｄ法を利用することによって、画像生成部２０６は対応点の付近の色が近い画素を小領域として分割することができる。
【００５８】
［第３実施形態］
図６は、第３実施形態における画像表示システム１００ｂのシステム構成を示すブロック図である。本発明の画像表示システム１００ｂは、撮像装置１０ｂ、画像生成装置２０ｂ及び画像表示装置３０ｂを備える。なお、撮像装置１０ｂ及び画像表示装置３０ｂについては、第１実施形態における撮像装置１０及び画像表示装置３０と同様の構成であるため、説明を省略する。そこで、画像生成装置２０ｂについてのみ説明する。
【００５９】
画像生成装置２０ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像生成プログラムを実行する。画像生成プログラムの実行によって、画像生成装置２０ｂは、視点位置入力部２０１、基準視点決定部２０２、画像データ取得部２０３、特徴点検出部２０４、対応点検出部２０５、画像生成部２０６ｂ、出力部２０７を備える装置として機能する。なお、画像生成装置２０ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像生成プログラムは、電気通信回線を介して送受信されてもよい。
【００６０】
画像生成装置２０ｂは、画像生成部２０６に代えて画像生成部２０６ｂを備える点で画像生成装置２０と構成が異なる。画像生成装置２０ｂは、他の構成については画像生成装置２０と同様である。そのため、画像生成装置２０ｂ全体の説明は省略し、画像生成部２０６ｂについて説明する。
【００６１】
画像生成部２０６ｂは、基準視点位置画像を生成する。以下、画像生成部２０６ｂの具体的な処理について説明する。画像生成部２０６ｂは、撮像装置１０ｂが撮影した被写体の色が、各投影面上で一致している程度に応じて被写体が存在する可能性を算出し、算出した可能性に基づいて基準視点位置画像を生成する。そのため、第２実施形態で用いた存在情報ｑｊ（ｍ）を以下のように拡張する。例えば、ある投影面Ｌｊ上に投影して基準視点から見た元画像Ｉｖｉｊ（ｍ）の各点において、ＲＧＢ表色系における分散値の和を以下の式１５としたとき、
【数１５】
2016001386.tif 000017
【数１６】
2016001386.tif 000018
とすると、上記式１６のｑｊ（ｍ）（ｑの上にハットを表記。）は、分散が小さいとき、すなわち、色の一致度が高いときほど大きな値をとる。
【００６２】
色が一致しているときほど、同じ被写体上の点を異なる撮像装置１０ｂで撮影している可能性が高く、すなわちその場所で被写体が存在する可能性が高い。そのため、このようなｑｊ（ｍ）（ｑの上にハットを表記。）を上記式１３の正規化処理すれば、ｑｊ（ｍ）を投影面上で被写体の存在する確率とみなすことができる。また、第２実施形態で述べたようにマスクの影響も考慮してｑｊ（ｍ）（ｑの上にハットを表記。）を以下の式１７とすることもできる。
【数１７】
2016001386.tif 000019
【００６３】
画像生成部２０６ｂは、上述のように算出したｑｊ（ｍ）（ｑの上にハットを表記。）を用いて上記式１３により正規化された被写体の存在情報ｑｊ（ｍ）を算出し、上記式９を画素単位の表現に書き直し、上記式１４により基準視点位置画像を生成する。なお、上記例では、ＲＧＢ表色系における分散値の指数関数を例に説明したが、他の表色系、他の評価値によっても被写体が投影面に存在する可能性（存在情報）を算出することもできる。
【００６４】
図７は、第３実施形態における画像生成装置２０ｂの処理の流れを示すフローチャートである。なお、図５と同様の処理については、図７において図５と同様の符号を付して説明を省略する。
ステップＳ１０６までの処理が終了すると、画像生成部２０６ｂは撮像装置１０ｂが撮影した被写体の色が、各投影面上で一致している程度に応じて被写体が存在する可能性を算出し、算出した可能性に基づいて基準視点位置画像を生成する（ステップＳ３０１）。その後、ステップＳ１０８の処理が実行される。
【００６５】
以上のように構成された画像生成装置２０ｂによれば、撮像装置１０ｂが撮影した被写体の色が、各投影面上で一致している程度に応じて被写体が存在する可能性（存在情報）が算出される。したがって、各投影面上で一致している程度が高いほど、その投影面上に被写体が存在している可能性が高いと判定される。そして、存在情報に基づいて正規化された式を用いて基準視点位置画像が生成される。そのため、第２実施形態に比べてより精度の高い基準視点位置画像を生成することができる。
【００６６】
また、先に元画像中で２次元的に被写体を検出し、３次元空間中での１つ以上の２次元面の集合として被写体の位置が限定される。したがって、被写体の存在しない余計な３次元空間中の領域で計算処理が発生することがない。そのため、所望の視点位置において得られる被写体の画像を生成する際のリソースを節約することが可能になる。
【００６７】
また、従来では、被写体の存在する領域の分離を容易にするために、背景をブルーバックやグリーンバックと言われるような色情報で判別しやすいものにした場合、適用できる撮影シーンが制限されてしまうという問題もあった。それに対し、本発明における画像生成部２０６では、原画像に撮像されている被写体の特徴点を検出して利用する。したがって、背景を色情報で判別しやすいものにする必要がない。そのため、従来に比べて適用できる撮影シーンを拡大することが可能になる。
【００６８】
＜変形例＞
第３実施形態は、第１実施形態と同様に変形されてもよい。
対応点と対応点周りの画素を含む小領域に分割する方法は、上述の方法に限定される必要はない。例えば、対応点を水源として、色情報の勾配を手掛かりとしたｗａｔｅｒｓｈｅｄ法に基づいて行われてもよい。
【００６９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７０】
１０、１０ａ、１０ｂ…撮像装置，  ２０、２０ａ、２０ｂ…画像生成装置，  ３０、３０ａ、３０ｂ…画像表示装置，  ２０１…視点位置入力部，  ２０２…基準視点決定部，  ２０３…画像データ取得部，  ２０４…特徴点検出部，  ２０５…対応点検出部，  ２０６、２０６ａ、２０６ｂ…画像生成部，  ２０７…出力部
【図１】
2016001386.tif 000020
【図２】
2016001386.tif 000021
【図３】
2016001386.tif 000022
【図４】
2016001386.tif 000023
【図５】
2016001386.tif 000024
【図６】
2016001386.tif 000025
【図７】
2016001386.tif 000026