(57)【要約】【課題】背景と前景の位置精度を向上した仮想視点画像を生成可能にする。【解決手段】複数のカメラにより撮影された多視点画像から仮想視点画像を生成する画像生成装置は、複数のカメラのうちの特定のカメラの位置を含む仮想直線または仮想平面を表す仮想モデルと、背景の三次元形状を表す背景モデルとを、三次元空間に設定する設定部と、多視点画像と背景モデルを用いて、指定された仮想視点からの仮想視点画像を生成する生成部と、を備え、生成部は、指定された仮想視点と仮想モデルとの距離が近いほど、特定のカメラによる撮影画像を他のカメラによる撮影画像よりも優先して仮想視点画像の生成に利用する。【選択図】  図１
2020140519.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラにより撮影された多視点画像から仮想視点画像を生成する画像生成装置であって、
前記複数のカメラのうちの特定のカメラの位置を含む仮想直線または仮想平面を表す仮想モデルと、背景の三次元形状を表す背景モデルとを、三次元空間に設定する設定手段と、
前記多視点画像と前記背景モデルを用いて、指定された仮想視点からの仮想視点画像を生成する生成手段と、を備え、
前記生成手段は、前記指定された仮想視点と前記仮想モデルとの距離が近いほど、前記特定のカメラによる撮影画像を他のカメラによる撮影画像よりも優先して前記仮想視点画像の生成に利用することを特徴とする画像生成装置。
【請求項２】
複数のカメラにより撮影された多視点画像から仮想視点画像を生成する画像生成装置であって、
前記複数のカメラのうちの特定のカメラの位置を含む仮想直線または仮想平面を表す仮想モデルと、前記仮想視点画像の生成に用いる背景の三次元形状を表す背景モデルとを、三次元空間に設定する設定手段と、
前記特定のカメラによる撮影画像に、前記特定のカメラと一致する仮想視点から観察される前記仮想モデルを描画する描画手段と、
前記撮影画像と描画された前記仮想モデルとが整合するように前記背景モデルを調整する調整手段と、
前記複数のカメラにより撮影された多視点画像と前記調整手段により調整された前記背景モデルを用いて仮想視点画像を生成する生成手段と、を備えることを特徴とする画像生成装置。
【請求項３】
前記生成手段は、前記特定のカメラによる撮影画像を、他のカメラによる撮影画像よりも優先して前記仮想視点画像の生成に利用することを特徴とする請求項２に記載の画像生成装置。
【請求項４】
仮想視点画像の生成のために指定された仮想視点と前記仮想モデルとの位置および方向の近さを評価する評価手段をさらに備え、
前記生成手段は、前記評価手段により評価された前記近さが所定のレベル以上の場合に、前記特定のカメラによる撮影画像を他のカメラによる撮影画像よりも優先して用いて仮想視点画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
【請求項５】
仮想視点画像の生成のために指定された仮想視点と前記仮想モデルとの位置および方向の近さを評価する評価手段と、
前記評価手段により評価された前記近さが所定のレベル以上の場合に、表示に用いる画像を、前記生成手段により生成される仮想視点画像から前記特定のカメラによる撮影画像に切り替える切り替え手段と、をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
【請求項６】
前記切り替え手段は、表示に用いる画像を前記特定のカメラによる撮影画像に切り替えた場合に、カメラによる実際の撮影画像であることを示す表示を追加することを特徴とする請求項５に記載の画像生成装置。
【請求項７】
前記仮想モデルは一つの交線で交わる複数の仮想平面を含み、前記特定のカメラの視線方向は前記一つの交線に含まれることを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
【請求項８】
前記仮想モデルは一つの交線で交わる複数の仮想平面を含み、前記特定のカメラの視線方向は前記一つの交線に含まれており、
前記評価手段は、前記複数の仮想平面のそれぞれについて仮想視点画像の生成のために指定された仮想視点との近さの評価結果を統合して、前記仮想モデルと前記指定された仮想視点との近さを評価することを特徴とする請求項４乃至６のいずれか１項に記載の画像生成装置。
【請求項９】
前記設定手段は、
前記複数のカメラによる多視点画像と前記背景モデルに基づいて生成された仮想視点画像を画面に表示させ、
前記画面において、表示されている仮想視点画像に対してユーザが指定した位置に基づいて仮想平面または仮想直線を決定することにより前記仮想モデルを設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像生成装置。
【請求項１０】
前記仮想モデルは仮想平面であり、
前記評価手段は、前記仮想平面の位置および方向と、前記指定された仮想視点の位置および方向の近さを評価することを特徴とする請求項４、５、６、８のいずれか１項に記載の画像生成装置。
【請求項１１】
複数のカメラにより撮影された多視点画像から仮想視点画像を生成する画像生成装置の制御方法であって、
前記複数のカメラのうちの特定のカメラの位置を含む仮想直線または仮想平面を表す仮想モデルと、背景の三次元形状を表す背景モデルとを、三次元空間に設定する設定工程と、
前記多視点画像と前記背景モデルを用いて、指定された仮想視点からの仮想視点画像を生成する生成工程と、を備え、
前記生成工程では、前記指定された仮想視点と前記仮想モデルとの距離が近いほど、前記特定のカメラによる撮影画像を他のカメラによる撮影画像よりも優先して前記仮想視点画像の生成に利用することを特徴とする画像生成装置の制御方法。
【請求項１２】
複数のカメラにより撮影された多視点画像から仮想視点画像を生成する画像生成装置の制御方法であって、
前記複数のカメラのうちの特定のカメラの位置を含む仮想直線または仮想平面を表す仮想モデルと、前記仮想視点画像の生成に用いる背景の三次元形状を表す背景モデルとを、三次元空間に設定する設定工程と、
前記特定のカメラによる撮影画像に、前記特定のカメラと一致する仮想視点から観察される前記仮想モデルを描画する描画工程と、
前記撮影画像と描画された前記仮想モデルとが整合するように前記背景モデルを調整する調整工程と、
前記複数のカメラにより撮影された多視点画像と前記調整工程により調整された前記背景モデルを用いて仮想視点画像を生成する生成工程と、を備えることを特徴とする画像生成装置の制御方法。
【請求項１３】
請求項１１または１２のいずれか１項に記載された制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラにより撮影された多視点画像から仮想視点画像を生成する画像生成装置及びその制御方法に関する。
【背景技術】
【０００２】
複数のカメラを異なる位置に設置して多視点位置から撮影し、当該撮影により得られた多視点画像を用いて、任意に指定された視点位置からの仮想視点画像を生成する技術が知られている。この技術によれば、様々な視点の位置、角度から得られる画像を視聴することが出来る。そのため、例えばサッカーやバスケットボールなどのハイライトシーンについて、通常の画像と比較して視聴者に高臨場感を与えることが出来る画像を提供することができる。
【０００３】
特許文献１では、スタジアムを複数のカメラで同期撮影して得られた多視点画像から仮想視点画像を生成する技術が開示されている。特許文献１によれば、多視点画像から前景テクスチャ画像、背景テクスチャ画像、三次元モデルなどを生成し、任意に指定された視点からの三次元モデルに適切な前景テクスチャ、背景テクスチャをマッピングして重畳合成することで仮想視点画像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２１１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法で生成された仮想視点画像において、前景と背景の位置関係の精度が低いことによる課題が生じる場合がある。例えば、スタジアムをあらかじめ計測し、三次元モデリングによって背景の三次元形状モデル（以下、背景モデル）を生成する場合に、計測誤差や三次元モデリング精度の低さなどにより背景モデルと現実のスタジアムの形状とに誤差が生じる可能性がある。結果、前景画像を背景画像中の正確な位置に重畳することが出来なくなる。競走や競泳などで複数の選手がほぼ同時にゴールインするようなフィニッシュシーンの仮想視点画像において、選手とフィニュッシュラインの位置関係にずれが発生すると、仮想視点画像をビデオ判定へ利用する場合に正確な判定が行えない。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、背景と前景の位置精度を向上した仮想視点画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明の一態様による画像生成装置は以下の構成を備える。すなわち、
複数のカメラにより撮影された多視点画像から仮想視点画像を生成する画像生成装置であって、
前記複数のカメラのうちの特定のカメラの位置を含む仮想直線または仮想平面を表す仮想モデルと、背景の三次元形状を表す背景モデルとを、三次元空間に設定する設定手段と、
前記多視点画像と前記背景モデルを用いて、指定された仮想視点からの仮想視点画像を生成する生成手段と、を備え、
前記生成手段は、前記指定された仮想視点と前記仮想モデルとの距離が近いほど、前記特定のカメラによる撮影画像を他のカメラによる撮影画像よりも優先して前記仮想視点画像の生成に利用する。
【発明の効果】
【０００８】
本発明によれば、背景と前景の位置精度が向上した仮想視点画像を生成することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第一実施形態における仮想視点画像生成装置の構成例を示す図。
【図２】第一実施形態における短距離走フィニッシュ位置における仮想平面を表す図。
【図３】第一実施形態における仮想平面と仮想視点の視線を説明する図。
【図４】第一実施形態における背景モデルの補正を説明するフローチャート。
【図５】第一実施形態における仮想平面生成と背景モデル補正を説明する図。
【図６】仮想視点画像の生成処理を説明するフローチャート。
【図７】仮想視点画像の表示例を表す図。
【図８】第三実施形態における撮像システムと仮想視点を説明する図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１１】
＜第一実施形態＞
図１は、第一実施形態における仮想視点画像生成装置１００の全体構成を例示するブロック図である。
【００１２】
図１において、撮像システム１１０は、仮想視点画像生成に必要な多視点画像を撮影するシステムであり、複数のカメラ（撮影装置）１０１ａ〜１０１ｚから構成される。カメラ１０１ａ〜１０１ｚは、例えばスタジアムなど競技場の競技フィールドを取り囲むように設置され、各々にＩＰアドレスが割り当てられている。画像処理部１０３は、カメラ１０１ａ〜１０１ｚのシャッタースピード、絞り値、焦点距離などの撮影条件、および、撮影開始／終了を制御し、同期撮影を行う。撮像システム１１０によって撮影された複数の撮影画像からなる多視点画像は通信回線１０２を介して画像処理部１０３の画像入力部１０４に入力される。画像入力部１０４は、明るさ補正、諧調補正、解像力補正等の各種補正処理を撮影画像に施した後、処理された撮影画像を分離部１０５へ出力する。
【００１３】
分離部１０５は、カメラ１０１ａ〜１０１ｚの撮影画像から、競技選手など主被写体である前景領域と、主被写体以外の背景領域とに分離し、前景テクスチャ生成部１０６、背景テクスチャ生成部１０７、および画像生成部１０８に出力する。分離部１０５が用いる前景背景分離方法には公知の技術を適用できる。例えば、競技開始前にあらかじめ競技場のみを撮影し、該撮影像を参照画像として記憶しておき、カメラ撮影画像と参照画像との画素毎の差分値があらかじめ決められた閾値以上のとき前景領域と判断する方法があげられる。或いは、同一カメラの異なる時間で撮影された複数画像の画素毎の差分値があらかじめ決められた閾値以上のとき前景領域と判断する方法があげられる。操作ＵＩ１０９は、仮想カメラ（仮想視点）の指定、仮想平面（後述する）の指定をユーザに行わせるためのインターフェースである。
【００１４】
前景テクスチャ生成部１０６および背景テクスチャ生成部１０７は、カメラ１０１ａ〜１０１ｚによる全ての撮影画像の前景テクスチャおよび背景テクスチャをカメラＩＤごとに分類し蓄積する。画像生成部１０８は、前景モデル、前景テクスチャ、背景モデル、背景テクスチャ、仮想視点、仮想平面、および仮想視線評価値に基づいて仮想視点画像を生成する。なお、前景モデルは、分離部１０５から入力される前景画像に基づいて画像生成部１０８が生成し保持する。また、背景モデルは、後述のようにあらかじめ計測データなどに基づいて生成されており、画像生成部１０８が保持している。
【００１５】
主被写体である前景は、主被写体の全周からの画像が撮像システム１１０によって撮影される。そのため、前景の三次元形状モデル（前景モデル）はカメラベース（イメージベース）の手法によって生成される。一方、競技場や構造物などは視界にあるカメラ台数が少ないため、背景の三次元形状モデル（背景モデル）をカメラベースで生成することが難しい。よって、あらかじめ競技場や構造物の形状を、図示しないレーザースキャナーなどで計測した計測データから、三次元モデリングソフトウェアなどで三次元形状モデルデータを作成し、背景モデルとして画像生成部１０８に保存しておく。背景モデルでは、計測誤差やモデリングにおける近似誤差によって実際の背景形状との間に誤差が発生する。この誤差により、背景モデルとカメラベースの前景モデルとを重畳合成した場合に、位置ずれが発生する。本実施形態では、後述の仮想平面生成部１１２によって生成される仮想平面を利用して、上記誤差を解消するための補正が行われる。
【００１６】
次に、画像生成部１０８は、操作ＵＩ１０９によって指定された仮想カメラの情報（仮想視点の位置、方向）に基づき、前景テクスチャおよび背景テクスチャを前景モデルと背景モデルにマッピングし、仮想視点画像を生成する。背景テクスチャ及び前景テクスチャとしてどのカメラの撮影画像を用いるかは、後述の視線判定部１１４の出力値に応じて決定される。画像生成部１０８は、生成した仮想視点画像をディスプレイ１１１に表示する。
【００１７】
次に、仮想平面生成部１１２よって生成される仮想平面について説明する。仮想平面生成部１１２は、複数のカメラのうちの特定のカメラの位置を含む仮想直線または仮想平面を表す仮想モデルと、仮想視点画像の生成に用いる背景モデルとを、同一の三次元仮想空間に設定する設定部として機能する構成の一例である。以下では、仮想モデルとして、仮想視点の視線方向と平行な仮想平面を設定する構成について説明する。本実施形態の仮想平面は、競技場内の特徴的な領域を含む平面であり、仮想視点画像上に重畳表示され、背景画像と前景画像の位置誤差補正に利用される。また仮想平面は、例えば、図２に示すように、短距離走の順位判定のための補助的な表示として利用され得る。
【００１８】
図２は、第一実施形態による仮想視点画像生成装置１００を短距離走フィニッシュ時の仮想視点画像の生成に適用した例を示す図である。競技用のトラック２０５上に引かれたフィニッシュライン２０４を含み、トラック２０５の面（平面）に直交する平面が仮想平面２０１として設定されている。複数台数のカメラを有する撮像システム１１０は、トラック２０５上に引かれたフィニッシュライン２０４を通過する選手２０２、２０３を撮影し多視点画像を得る。画像処理部１０３は、取得した多視点画像から仮想視点画像を生成し、ディスプレイ１１１に表示する。
【００１９】
選手２０２および選手２０３を含むフィニッシュライン２０４の近傍を撮像システム１１０で撮影された多視点画像から生成する場合を想定する。この場合、分離部１０５は、選手２０２および選手２０３の領域を前景画像、その他の領域を背景画像として分離する。また、背景モデルは、あらかじめトラック２０５を含むスタジアム形状を計測し、三次元モデリングによって生成された三次元形状モデルである。画像生成部１０８は、背景モデルの表面に背景テクスチャをマッピングして仮想視点から観察される背景画像を生成し、前景モデルの表面に前景テクスチャをマッピングして仮想視点から観察される前景画像を生成する。画像生成部１０８は、生成された背景画像と前景画像とを重畳合成して仮想視点画像を生成する。
【００２０】
視聴者（ユーザ）は、フィニッシュライン２０４の近傍の仮想視点からの仮想視点画像を観察することで、各選手の順位を容易に判定することが可能となる。しかしながら、フィニッシュライン２０４を含む背景画像と前景画像の位置関係に誤差があると、正確な順位を判定することができない。本実施形態では、そのような背景画像と前景画像の位置関係の誤差を解消する。以下、背景画像と前景画像の位置の誤差を解消する構成について説明する。
【００２１】
図３は、第一実施形態による撮像システム１１０を陸上競技に適用した例を示す図である。図４は、第一実施形態による背景モデルの調整処理を説明するフローチャートである。図３に示されるように、カメラ１０１ａ〜１０１ｆは撮影対象領域であるフィニッシュライン２０４を取り囲むようにほぼ均等間隔に配置されている。これら複数のカメラのうちカメラ１０１ａとカメラ１０１ｄはフィニッシュライン２０４の両延長線上部に配置され、その視線方向はフィニッシュライン２０４に向いている（Ｓ４０１）。カメラ１０１ａとカメラ１０１ｄは、その視線方向が、フィニッシュライン２０４を含み地面に直交する仮想平面２０１に含まれているカメラであり、以下、特定のカメラとも称する。なお、図４の例では特定のカメラが２台であるが、これに限られるものではなく、特定カメラの台数は１台でもよいし、３台以上であってもよい。なお、本実施形態では特定のカメラがフィニッシュライン２０４に向いており、特定のカメラの視線方向と仮想平面２０１とが平行であるものとするが、これに限定されない。例えば、特定のカメラの位置が仮想平面２０１に含まれており、且つ、そのカメラの撮影範囲に仮想平面が含まれていれば、仮想平面が撮影範囲の中心に位置しなくてもよい。
【００２２】
図５は、カメラ１０１ａまたはカメラ１０１ｄによる撮影画像の例を示す図である（以下、カメラ１０１ｄの撮影画像として説明する）。短距離走のような競技の場合、図５（ａ）のようにフィニッシュラインの延長線上からの撮影画像を用いるとフィニッシュ順位を判定し易い。そのため、本実施形態では、撮像システム１１０を構成する複数のカメラのうち、少なくとも１台のカメラをフィニッシュラインの延長線上に配置している。但し、配置位置はスポーツ競技の種類によって異なるため、競技種に合わせて最適な配置場所が設定される。
【００２３】
カメラ配置後、ユーザは、操作ＵＩ１０９を用いて、フィニッシュライン２０４を見易い位置に仮想視点を指定し、仮想視点画像の生成を指示する。画像処理部１０３は、撮像システム１１０によって撮影した多視点画像を用いて、指定された仮想視点からの仮想視点画像を生成し、ディスプレイ１１１に表示する（Ｓ４０２）。なお、Ｓ４０２で指定される仮想視点は、背景モデルに基づいてあらかじめ設定されていてもよいし、背景モデルに基づいて自動的に設定されてもよい。
【００２４】
仮想平面生成部１１２は、ディスプレイ１１１に表示された仮想視点画像において、操作ＵＩ１０９によってフィニッシュライン２０４上の２点をユーザに指定させる（Ｓ４０３）。仮想平面生成部１１２は、表示画面上で指定された２点を、背景モデルにおけるトラック２０５を含む面に対して指定された点として扱い、指定された２点を両端とする線分ＡＢを決定する。そして、仮想平面生成部１１２は、線分ＡＢを含み、トラック２０５の面（例えば地面）と直交する平面を、図３に示した座標ＸＹＺ軸に基づいて、平面方程式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０として算出する（Ｓ４０４）。仮想平面生成部１１２は、算出した平面方程式を仮想モデルとして仮想平面記憶部１１３に記憶する。仮想平面記憶部１１３に記憶された仮想平面は、画像生成部１０８に送られる。
【００２５】
画像生成部１０８は、特定のカメラ（カメラ１０１ｄ）による撮影画像に、特定のカメラと一致する仮想視点から観察される仮想モデルを描画する描画部の一例である。例えば、画像生成部１０８は、平面方程式で表される仮想平面を背景モデルの構成物の一部とし、仮想視点の位置を特定のカメラ１０１ｄの位置に設定して、当該仮想視点からの仮想平面２０１の画像を生成する。そして、画像生成部１０８は、カメラ１０１ｄの撮影画像に前述の仮想平面２０１の画像を重畳してディスプレイ１１１に表示する（Ｓ４０５）。図５（ｂ）は、カメラ１０１ｄの撮影画像に仮想平面２０１を重畳したディスプレイ１１１の表示画像である。図５（ｂ）では、背景モデルの誤差によって、カメラ１０１ｄの撮影画像に映されたフィニッシュライン２０４と仮想平面２０１にずれが生じている。
【００２６】
ユーザは、ディスプレイ１１１に表示されているカメラ１０１ｄによる撮影画像と仮想平面２０１との位置を確認し、それぞれが一致するまで背景モデルを修正（調整）する（Ｓ４０６、Ｓ４０７）。例えば、ユーザは、背景モデルを移動／回転することで、背景モデルと撮影画像を整合させる。こうして、画像生成部１０８は、特定カメラの撮影画像と描画された仮想モデルとが整合するように三次元モデルを調整する調整部の一例である。図５（ｃ）は、背景モデルの修正（調整）が完了し、カメラ１０１ｄの撮影画像と仮想平面２０１とが整合した状態（仮想平面２０１が直線として観察されるとともに、当該直線がフィニッシュライン２０４と一致した状態）を示す。以上のような背景モデルの調整により、カメラ１０１ｄによる撮影画像と背景モデルの位置、方向が高精度に一致する。
【００２７】
その後、画像生成部１０８は、上記複数のカメラにより撮影された多視点画像と上記のごとく調整された背景モデルを用いて、指定された仮想視点に対応する仮想視点画像を生成する生成部の一例である。以上のように、特定のカメラからの撮影画像と背景モデルを仮想モデルの画像を用いて整合させることで、仮想モデルの近傍における仮想視点画像の背景画像と前景画像の間の位置関係の精度が向上する。よって、例えばフィニッシュライン２０４を含む仮想平面を仮想モデルとして設定することで、フィニッシュライン２０４付近を観察する仮想視点画像において、フィニッシュライン２０４と選手との位置関係をより高精度に再現することができる。
【００２８】
なお、背景モデルと特定のカメラ１０１ｄとの関係が高精度に調整されるので、仮想視点画像の生成においては、特定のカメラによる撮影画像（テクスチャ）を他のカメラによる撮影画像よりも優先して利用することが好ましい。例えば、仮想視点が仮想平面に近いほど特定のカメラによる撮影画像を優先して用いて仮想視点画像を生成するようにすれば、注目する領域を観察する仮想視点画像における前景画像と背景画像の位置関係をより高精度に再現できる。以下、このような制御の具体例について説明する。本実施形態では、画像生成部１０８は、仮想視点画像の生成のために指定された仮想視点と仮想モデルとの位置および方向の近さを評価する。そして、画像生成部１０８は、評価された近さが所定のレベル以上の場合に、特定のカメラによる撮影画像を他のカメラによる撮影画像よりも優先して用いて仮想視点画像を生成する。
【００２９】
図６（ａ）は、第一実施形態による仮想視点画像の生成処理を説明するフローチャートである。まず、視線判定部１１４は、操作ＵＩ１０９を介して入力される仮想視点のユーザ指定を受け付ける（Ｓ６０１）。次に、視線判定部１１４は、指定された仮想視点と仮想平面の近さを評価し、評価値ｐを取得する（Ｓ６０２）。例えば、視線判定部１１４は、仮想視点と仮想平面との距離、および仮想視点の視線方向と仮想平面（法線）とのなす角度をもとに評価値を算出する。以下に視線判定部１１４による評価値ｐの算出の一実施形態を説明する。
【００３０】
ＸＹＺを三次元座標軸、ａｂｃを平面の方向ベクトルとすると、平面方程式はａｘ＋ｂｙ＋ｃｚ＋ｄ＝０である。視線判定部１１４は、仮想視点と仮想平面との距離、および仮想視点視線方向と仮想平面とのなす角を基準に評価値を算出する。
【００３１】
図３には、仮想平面２０１と、仮想平面２０１の近傍に指定された仮想カメラ（仮想視点３０１）の位置と視線方向（光軸方向）が示されている。図３に示されるように、仮想視点３０１の位置を（ｘ１，ｙ１，ｚ１）、仮想視点３０１の視線方向の方向ベクトルを（ｌ，ｍ，ｎ）とすると、仮想視点３０１から仮想平面２０１までの距離ｈは［数１］のように表される。
【００３２】
【数１】
2020140519.tif 000003
【００３３】
また、仮想視点３０１の視線方向と仮想平面２０１のなす角度θは［数２］のように表される。
【００３４】
【数２】
2020140519.tif 000004
【００３５】
視線判定部１１４は、仮想カメラから平面までの距離ｈと仮想カメラ視線方向と平面のなす角θの関数ｐ＝ｆ(ｈ,θ)として評価値を求める。評価値ｐの一実施形態として距離ｈとなす角θに感度係数αおよびβをそれぞれ乗算し、それらの和ｐ＝αｈ＋βθを評価値とする。仮想視点視線が仮想平面に沿うほど評価値ｐは小さくなり、ｐ＝０のとき、仮想視点の視線は仮想平面に完全に含まれる。
【００３６】
視線判定部１１４は、以上のように算出した評価値ｐを画像生成部１０８に送る。画像生成部１０８は、仮想平面と仮想視点との位置及び方向の関係に基づく評価値ｐがεより小さい場合（ｐ＜ε）、特定のカメラによる撮影画像を他のカメラによる撮影画像よりも優先して用いて仮想視点画像を生成する（Ｓ６０３，Ｓ６０４）。すなわち、画像生成部１０８は、カメラ１０１ｄによって撮影された背景テクスチャと前景テクスチャを、他のカメラに優先して仮想視点画像のテクスチャマッピングの参照元として利用する。こうして、仮想視点が仮想平面２０１に近い場合に、上記のように調整された背景モデルにカメラ１０１ｄによって撮影されたテクスチャがマッピングされる。他方、ｐ≧εの場合は、画像生成部１０８は、特定のカメラからの撮影画像を優先することなく、多視点画像を用いて仮想視点画像を生成する（Ｓ６０３、Ｓ６０５）。
【００３７】
図７（ａ）、図７（ｂ）は、選手のフィニッシュ時の仮想視点画像をディスプレイ１１１に表示した図である。図７（ａ）は仮想カメラが仮想平面から離れた位置（ｐ≧ε）にある時の仮想視点画像である。図７（ａ）のように、ディスプレイ１１１に仮想平面２０１を重畳して表示することで、選手とフィニッシュラインとの位置関係がより解り易くなる。図７（ｂ）は、仮想視点を仮想平面２０１上に配置して得られた仮想視点画像、すなわち評価値ｐ＝０での仮想視点画像である。
【００３８】
以上のように、仮想視点３０１と仮想平面２０１に関して評価された近さが所定のレベル以上の場合（本例では、ｐ＜εの場合）に、画像生成部１０８は、背景モデルと前景モデルに張り付けるテクスチャを可能な限りカメラ１０１ｄの撮影画像から取得する。背景モデルのうちカメラ１０１ｄの撮影画像に含まれない部分のテクスチャについては、他のカメラの撮影画像から取得される。例えば、図７（ｂ）の仮想視点画像には背景テクスチャと前景テクスチャとしてカメラ１０１ｄの撮影画像が優先的に用いられる。図４に示した処理により、カメラ１０１ｄの撮影画像と背景モデルは高精度に位置合わせされているので、仮想視点画像において背景画像と前景画像の位置関係が正確に再現される。
【００３９】
以上のように、第一実施形態によれば、図７（ｂ）で示すように、背景画像と前景画像の位置誤差が補正され、仮想視点画像における背景画像と前景画像の位置ずれが解消される。そのため、例えば、仮想平面をフィニッシュライン上に重畳表示することで短距離走フィニッシュ時の順位判定の補助として利用可能となる。また、第一実施形態によれば、仮想視点画像の視野内に設定された仮想平面に仮想視点視線が近いほど、背景画像と前景画像の配置精度が向上する。
【００４０】
なお、仮想平面２０１に視線方向が含まれるカメラが複数台ある場合は、さらに、仮想視点の視線方向／位置と、カメラの視線方向／位置との関係を考慮して、どちらのカメラによる撮影画像を用いるかを決定するようにしてもよい。すなわち、仮想視点とカメラの距離、仮想視点とカメラの視線方向の内積に基づいて近さを評価し、この評価結果に基づいてどちらのカメラの撮影画像を優先して用いるかを決定するようにしてもよい。例えば、図３で説明したように、カメラ１０１ａとカメラ１０１ｄの視線が仮想平面２０１に含まれる場合、上述した評価結果に基づいて優先して用いるカメラが決定される。
【００４１】
＜第二実施形態＞
以下、第二実施形態による仮想視点画像生成装置について説明する。第二実施形態の仮想視点画像生成装置１００では、仮想視点と仮想平面の近さが所定のレベル以上の場合（ｐ＜ε）に、仮想視点画像から特定のカメラによる撮影画像に切り替える。なお、仮想視点画像生成装置１００の構成は、第一実施形態（図１、図２）と同様である。但し、視線判定部１１４の判定結果が分離部１０５にも入力される。
【００４２】
第二実施形態における仮想平面の生成、仮想平面情報の記憶は第一実施形態と同様である。視線判定部１１４は第一実施形態と同様に評価値ｐを計算する。仮想カメラ視線が仮想平面内に含まれているかどうかを判断するために評価値ｐとの比較に用いられる閾値εは、あらかじめ設定されているものとする。図６（ｂ）は、第二実施形態による仮想視点画像の生成処理を説明するフローチャートである。以下、図６（ｂ）のフローチャートを参照して、第二実施形態による画像生成部１０８の動作を説明する。
【００４３】
仮想視点の指定を受け付けて、仮想視点と仮想平面の近さを評価する評価値ｐを取得する処理は、第１実施形態（図６（ａ）のＳ６０１〜Ｓ６０２）と同様である。操作ＵＩ１０９の操作によって指定された仮想視点３０１と仮想平面２０１の近さが所定レベル以上の場合（ｐ＜εの場合）、画像生成部１０８は、特定のカメラによる撮影画像を仮想視点画像に替えてディスプレイ１１１に表示する（Ｓ６１３、Ｓ６１４）。他方、仮想視点３０１と仮想平面２０１の近さが所定レベル以上でない場合（ｐ≧ε）、画像生成部１０８は、多視点画像を用いて指定された仮想視点からの仮想視点画像を生成する（Ｓ６１３、Ｓ６１５）。
【００４４】
Ｓ６１４による画像表示処理の一例についてより具体的に説明する。仮想視点３０１と仮想平面２０１の近さが所定レベル以上の場合（ｐ＜εの場合）、視線判定部１１４は、評価値ｐを０として画像生成部１０８と分離部１０５に出力する。分離部１０５は、視線判定部１１４からｐ＝０を受信した場合、特定のカメラ（カメラ１０１ｄ）による撮影画像の全体を前景画像として前景テクスチャ生成部１０６に送信する。また、画像生成部１０８は、視線判定部１１４からｐ＝０を受信した場合、特定のカメラによる撮影画像の全体である前景画像を前景テクスチャ生成部１０６から取得し、そのままディスプレイ１１１に表示する。この動作により、ディスプレイ１１１における表示は、多視点画像から生成される仮想視点画像から特定のカメラにより撮影された撮影画像に切り替わる。
【００４５】
図７（ａ）〜（ｃ）は、選手のフィニッシュ時の仮想視点画像をディスプレイ１１１に表示した状態の例を示す図である。第一実施形態でも説明したように、図７（ａ）は仮想カメラが仮想平面から離れた位置（ｐ≧ε）にある場合の仮想視点画像である。図７（ａ）のように、ディスプレイ１１１に仮想平面２０１を重畳して表示することで、選手とフィニッシュラインとの位置関係がより解り易くなる。図７（ｂ）は、仮想視点をフィニッシュライン延長線上に配置（ｐ＝０）して得られた、フィニッシュ時の仮想視点画像をディスプレイ１１１に表示した状態を示す図である。図７（ｂ）は第一実施形態の図１の画像処理ブロックにより生成された画像であり、上述したように、三次元背景モデルに仮想平面が重畳され、順位判定の補助となる。
【００４６】
図７（ｃ）は、本実施形態の画像生成部１０８が、仮想平面内に配置されたカメラ（例えば図４のカメラ１０１ｄ）による撮影画像をディスプレイ１１１に表示した状態を示す図である。図７（ｃ）は第二実施形態のＳ６１４で生成された画像であり、フィニッシュライン延長線上に配置されたカメラ１０１ｄによる撮影画像そのものである。すなわち、フィニッシュラインと選手を分離して生成する仮想視点画像に替えて、撮影画像そのものが表示されている。なお、ディスプレイ１１１の画面にカメラ番号表示７０１を追加するようにしてもよい。カメラ番号表示７０１により、仮想視点画像生成装置１００をカメラ判定（ビデオ判定）に利用する場合に、審判員にどのカメラの画像であるかを明示することができる。
【００４７】
なお、仮想視点画像から特定カメラによる撮影画像への切り替えを行うか否かを判断するための評価値ｐは、上記に限られるものではない。例えば、特定のカメラの位置および／または視線方向と、仮想視点の位置および／または視線方向の差が所定範囲内であることを条件としてもよい。或いは、仮想視点の視線がフィニッシュラインの近傍の特定の範囲を向いていることを条件としてもよい。また、第１実施形態と第２実施形態の動作を組み合わせてもよい。例えば、２つの閾値ε１とε２（ε１＞ε２）を設定し、ε１＞ｐ≧ε２の場合には特定カメラの撮影画像を優先して用いて仮想視点画像を生成し（第１実施形態のＳ６０４）、ｐ＜２の場合に特定カメラの撮影画像への切り替えを行うようにしてもよい。或いは、異なる条件で複数の評価値を算出し、それら評価値に基づいてＳ６０４の処理を実行するかＳ６１４の処理を実行するかを切り替えてもよい。
【００４８】
＜第三実施形態＞
第一実施形態、第二実施形態では、一つの仮想平面が三次元空間に設定される場合を説明した。しかしながら、仮想平面の数は一つに限られるものではない。第三実施形態では、一つの交線で交わる複数の仮想平面（二つの仮想平面）が設定される場合を説明する。
【００４９】
図８はウィンタースポーツのカーリングに仮想視点画像生成装置１００を適用した構成の例を示す図である。図８（ａ）は、カーリングの競技エリアの上部に撮像システム１１０（多視点カメラ）を配置した様子を表した図である。
【００５０】
カーリングの競技エリアであるシート８００の上部には、多視点画像を撮影するための複数のカメラとして５台のカメラ１０１ａ〜１０１ｅからなる撮像システム１１０が配置されている。５台中４台のカメラ１０１ａ〜１０１ｄは、ハウス８０３を中心にその近傍の多視点画像を生成するために、ハウス８０３の周辺を取り囲むように配置されている。また１台のカメラ１０１ｅをハウス８０３の中心の鉛直上部に配置してある。すなわち、カメラ１０１ｅは、その視線方向が仮想平面８０４と仮想平面８０５の交線に含まれる、特定のカメラとして用いられている。
【００５１】
図８（ｂ）は仮想視点をハウス８０３中心の鉛直上部に指定したときの画像である。この視点位置からの画像は、視聴者による競技状況の把握や勝敗理解の助けになる。第三実施形態では２つの仮想平面を設定する。すなわち、センターライン８０１を含みシート８００の面と直交する平面を第一の仮想平面８０４とし、ティーライン８０２を含みシート８００の面と直交する平面を第二の仮想平面８０５とする。
【００５２】
仮想平面生成部１１２は、センターライン８０１上における２つの指定位置から仮想平面８０４を、ティーライン８０２上の２つの指定位置から仮想平面８０５を仮想モデルとして生成し、それらの平面方程式を取得する。センターライン８０１、ティーライン８０２における位置の指定は、第一実施形態と同様に、仮想平面生成部１１２と接続された操作ＵＩ１０９を介して、ユーザにより行われる。仮想平面生成部１１２は、仮想平面８０４，８０５のそれぞれの平面方程式を画像生成部１０８に提供する。
【００５３】
視線判定部１１４は、仮想視点と仮想平面との距離、および、仮想視点の方向と仮想平面の法線とのなす角度に関する評価値ｐを、仮想平面８０４と仮想平面８０５のそれぞれについて計算し、評価値ｐ８０４、評価値ｐ８０５を得る。そして、これら評価値を統合して新たな評価値を得る。例えば、それぞれの評価値の線形和ｐ＝γｐ８０４＋ξｐ８０５を新たな評価値とする。第三実施形態においては、仮想視点位置および視線方向が仮想平面８０４と仮想平面８０５の交線８０６上にあるとき、最も視聴者の競技状況や勝敗理解の助けになり有効である。このとき、仮想視点は、仮想平面８０４及び仮想平面８０５の面上にあるため、評価値ｐは０となる。
【００５４】
評価値ｐ＝γｐ８０４＋ξｐ８０５は、視線判定部１１４から画像生成部１０８に送られる。以下、画像生成部１０８は、第一実施形態または第二実施形態と同様に、評価値ｐに基づいて仮想視点画像の生成処理を切り替えることができる。なお、評価値ｐとして2つの仮想平面との関係を評価したが、これに限られるものではない。例えば、２つの仮想平面の交線と仮想視点の関係（例えば、交線の方向ベクトルと支線の方向ベクトルの内積、交線と仮想視点との距離）を評価してもよい。
【００５５】
以上、上記各実施形態では仮想モデルとして仮想平面を用いたが、仮想直線が用いられてもよい。例えば、ハウスの中心を指定することにより、シート面に垂直で、ハウスの中心をとおる仮想直線が設定される。この場合、仮想直線は、上記交線と一致する。評価値は、例えば、仮想直線と仮想視点との距離、仮想直線の方向と仮想視点の視線方向の差に基づいて算出することができる。
【００５６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５７】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００５８】
１００：仮想視点画像生成装置、１１０：撮像システム、１０１ａ〜１０１ｚ カメラ、１０２：通信回線、１０３：画像処理部、１０４：画像入力部、１０５：分離部、１０６：前景テクスチャ生成部、１０７：背景テクスチャ生成部、１０８：画像生成部、１０９：操作ＵＩ、１１１：ディスプレイ、１１２：仮想平面生成部、１１４：視線判定部
【図１】
2020140519.tif 000005
【図２】
2020140519.tif 000006
【図３】
2020140519.tif 000007
【図４】
2020140519.tif 000008
【図５】
2020140519.tif 000009
【図６】
2020140519.tif 000010
【図７】
2020140519.tif 000011
【図８】
2020140519.tif 000012