(57)【要約】【課題】対象フィールドの幾何的情報をもとに各カメラの射影行列を推定し、人物の位置情報を大まかに算出することで、人物領域の合成を高精度に実現する。【解決手段】複数の視点画像を、１つまたは複数の移動領域と背景領域に分割し、複数の視点画像内の幾何情報をもとに、モデル座標空間を構築し、視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成する。また、前記背景領域の画像から、仮想視点での背景領域の画像を生成する。生成された移動領域の画像と生成された背景領域の画像を合成し、仮想視点での画像を生成する。【選択図】図１
2011170487.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点画像から、仮想視点での画像を生成する方法であって、
前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割するステップと、
前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築するステップと、
視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成するステップと、
前記背景領域の画像から、仮想視点での背景領域の画像を生成するステップと、
前記生成された移動領域の画像と前記生成された背景領域の画像を合成するステップと、
を含むことを特徴とする仮想視点での画像を生成する方法。
【請求項２】
前記移動領域の画像を生成するステップは、
視点画像毎に、該視点画像と前記モデル座標空間との間で成立する平面射影行列を算出するサブステップと、
前記平面射影行列により、視点画像毎に前記移動領域の座標を前記モデル座標空間における床平面に射影するサブステップと、
前記射影された座標から、前記移動領域のモデル座標空間における座標を算出するサブステップと、
仮想視点において前記モデル座標空間との間で成立する空間射影行列を算出し、該空間射影行列により、前記モデル座標空間中の座標をもとに仮想視点での移動領域の画像を生成するサブステップと、
を含むことを特徴とする請求項１に記載の仮想視点での画像を生成する方法。
【請求項３】
前記移動領域のモデル座標空間における座標の算出は、各座標間の距離をもとに該座標をグループ化して、同一グループ内の重心を算出することを特徴とする請求項２に記載の仮想視点での画像を生成する方法。
【請求項４】
前記仮想視点での移動領域の画像を生成するサブステップは、モデル座標空間中の移動領域ごとに、適当な大きさの長方形領域を設定し、該長方形領域の仮想視点での対応領域および実視点での対応領域を算出し、仮想視点での対応領域のテクスチャを仮想視点に近い実視点での対応領域から抽出することを特徴とする請求項２または３に記載の仮想視点での画像を生成する方法。
【請求項５】
前記仮想視点での対応領域および実視点での対応領域の算出は、前記仮想視点および実視点において前記モデル座標空間との間で成立する中心射影行列を算出し、該中心射影行列により、前記モデル空間中の移動領域ごとに設定された長方形領域を各仮想画像および実視点に射影することで画像領域を決定することを特徴とする請求項４に記載の仮想視点での画像を生成する方法。
【請求項６】
前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記仮想視点での対応領域と前記実視点での対応領域間の平面射影行列を算出し、実視点での対応領域のテクスチャを仮想視点での対応領域に射影することを特徴とする請求項４または５に記載の仮想視点での画像を生成する方法。
【請求項７】
前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記実視点での対応領域においてオクルージョンが生じているか否かを判定する機能を有し、生じている場合は、他の実視点での対応領域をもとに合成することを特徴とする請求項４から６のいずれか１項に記載の仮想視点での画像を生成する方法。
【請求項８】
前記幾何情報は、前記視点画像内の線分の長さおよび対応点であり、
前記座標空間を構築するステップは、原点を定め、前記線分の長さをもとに対応点に座標を割り当てることを特徴とする請求項１から７のいずれか１項に記載の仮想視点での画像を生成する方法。
【請求項９】
前記幾何情報は、前記視点画像内の平行線であり、
前記座標空間を構築するステップは、前記平行線が同一方向になるように各視点画像を回転させ、該視点画像の平行線上の点を距離をもとにグループ化して、同一グループ内の重心を対応点として、該対応点に座標を割り当てることを特徴とする請求項１から７のいずれか１項に記載の仮想視点での画像を生成する方法。
【請求項１０】
前記平面射影行列は、前記対応点から算出されることを特徴とする請求項８または９に記載の仮想視点での画像を生成する方法。
【請求項１１】
複数の視点画像から、仮想視点での画像を生成するためのコンピュータを、
前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割する手段と、
前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築する手段と、
視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成する手段と、
前記背景領域の画像から、仮想視点での背景領域の画像を生成する手段と、
前記生成された移動領域の画像と前記生成された背景領域の画像を合成する手段と、
して機能させ、仮想視点での画像を生成することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ間の仮想視点画像を生成する方法およびプログラムに関するものである。より詳細には、大規模な空間で行われるイベントを撮影した多視点画像をもとに仮想視点における画像を生成する方法およびプログラムに関する。
【背景技術】
【０００２】
仮想視点画像生成を生成する代表的な合成方法であるモデルベース手法は、３次元のボクセルモデルを作成することにより行われる。この方法は、空間内のユークリッド座標系とカメラ座標系との射影関係を推定するカメラの強校正を予め行う必要がある。しかしながら、大規模な空間において、カメラの強校正を正確に行うことは極めて困難である。
【０００３】
そのため、非特許文献１では、大規模な空間において、仮想視点画像を生成する方法として、カメラ間に成り立つ射影幾何的関係のみを用い、実カメラの中間に視点を移動させた画像を合成する手法を提案している。ここでは、画像を時間とともに位置や形状の変化する移動領域と、カメラからの距離が遠い遠景領域と、それ以外のフィールド領域の三領域に分割して、それぞれに対する合成画像を生成し、それらを重ね合わせることで仮想視点画像を生成している。
【０００４】
上記の移動領域は、複数の移動領域に分割して処理される。まず、隣接する２視点で得られた画像に対して背景差分・２値化を行い、全移動領域が抽出されたシルエット画像を２枚作成する。それぞれの画像に対してラベリングを行い、各移動領域に分割する。分割された各シルエット画像に対して視点間で対応付けを行い、対応のとれた各シルエットに対してエピポーラ線を投影して対応点を算出する。得られた対応点情報をもとにモーフィングを行い仮想視点での画像を合成している。
【０００５】
また、フィールド領域は、平面近似を行い移動領域と同様に対応点を求め、モーフィングにより仮想視点の合成画像を生成している。遠景領域は、イメージモザイキングによって連結し、パノラマ画像からその中間領域を切り出すことで視点の内挿を行っている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】稲本奈穂，斎藤英雄，「サッカーシーンにおける自由視点映像生成のための視点内挿法」  ＴＶＲＳＪ  ｖｏｌ．７，  ｎｏ．４，  ２００２年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、移動領域の合成は、視点間における人物どうしの対応付けが重要であるが、従来技術においては、人物どうしが重なるオクルージョンの影響や、背景差分時に生じるシルエット画像中のノイズ等の影響により精度が大きく低下してしまうという問題があった。
【０００８】
したがって、本発明は、対象フィールドの幾何的情報をもとに各カメラの射影行列を推定し、人物の位置情報を大まかに算出することで、人物領域の合成を高精度に実現する仮想視点画像生成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を実現するため本発明による仮想視点での画像を生成する方法は、複数の視点画像から、仮想視点での画像を生成する方法であって、前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割するステップと、前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築するステップと、視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成するステップと、前記背景領域の画像から、仮想視点での背景領域の画像を生成するステップと、前記生成された移動領域の画像と前記生成された背景領域の画像を合成するステップとを含む。
【００１０】
また、前記移動領域の画像を生成するステップは、視点画像毎に、該視点画像と前記モデル座標空間との間で成立する平面射影行列を算出するサブステップと、前記平面射影行列により、視点画像毎に前記移動領域の座標を前記モデル座標空間における床平面に射影するサブステップと、前記射影された座標から、前記移動領域のモデル座標空間における座標を算出するサブステップと、仮想視点において前記モデル座標空間との間で成立する空間射影行列を算出し、該空間射影行列により、前記モデル座標空間中の座標をもとに仮想視点での移動領域の画像を生成するサブステップとを含むことも好ましい。
【００１１】
また、前記移動領域のモデル座標空間における座標の算出は、各座標間の距離をもとに該座標をグループ化して、同一グループ内の重心を算出することも好ましい。
【００１２】
また、前記仮想視点での移動領域の画像を生成するサブステップは、モデル座標空間中の移動領域ごとに、適当な大きさの長方形領域を設定し、該長方形領域の仮想視点での対応領域および実視点での対応領域を算出し、仮想視点での対応領域のテクスチャを仮想視点に近い実視点での対応領域から抽出することも好ましい。
【００１３】
また、前記仮想視点での対応領域および実視点での対応領域の算出は、前記仮想視点および実視点において前記モデル座標空間との間で成立する中心射影行列を算出し、該中心射影行列により、前記モデル空間中の移動領域ごとに設定された長方形領域を各仮想画像および実視点に射影することで画像領域を決定することも好ましい。
【００１４】
また、前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記仮想視点での対応領域と前記実視点での対応領域間の平面射影行列を算出し、実視点での対応領域のテクスチャを仮想視点での対応領域に射影することも好ましい。
【００１５】
また、前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記実視点での対応領域においてオクルージョンが生じているか否かを判定する機能を有し、生じている場合は、他の実視点での対応領域をもとに合成することも好ましい。
【００１６】
また、前記幾何情報は、前記視点画像内の線分の長さおよび対応点であり、前記座標空間を構築するステップは、原点を定め、前記線分の長さをもとに対応点に座標を割り当てることも好ましい。
【００１７】
また、前記幾何情報は、前記視点画像内の平行線であり、前記座標空間を構築するステップは、前記平行線が同一方向になるように各視点画像を回転させ、該視点画像の平行線上の点を距離をもとにグループ化して、同一グループ内の重心を対応点として、該対応点に座標を割り当てることも好ましい。
【００１８】
また、前記平面射影行列は、前記対応点から算出されることも好ましい。
【００１９】
上記目的を実現するため本発明によるプログラムは、複数の視点画像から、仮想視点での画像を生成するためのコンピュータを、前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割する手段と、前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築する手段と、視点画像毎に前記移動領域の座標を算出し、該座標から前期モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成する手段と、前記背景領域の画像から、仮想視点での背景領域の画像を生成する手段と、前記生成された移動領域の画像と前記生成された背景領域の画像を合成する手段として機能させ、仮想視点での画像を生成する。
【発明の効果】
【００２０】
本発明により，従来手法で問題となっていたオクルージョンの影響および背景差分時に生じるシルエット画像中のノイズ等の影響に対してロバストな結果を得ることができ、高精度の仮想視点画像を生成することが可能になった。
【図面の簡単な説明】
【００２１】
【図１】本発明による仮想視点画像を構築する方法を示すフローチャートである。
【図２】本発明による対応点の位置を決定する処理を示すフローチャートである。
【図３】フットサルコートの縦横のラインから、消失点Ｖ１，Ｖ２算出の例を示す。
【図４】フットサルコートの画像をフィールド平面が正面に来るように変換した画像を示す。
【図５】フットサルコートの画像内の直線上の対応点を平面にマッピングした例を示す。
【図６】フットサルコートにおける平面座標での選手位置の算出の例を示す。
【図７】フットサルコートにおける平面座標での全視点分のマッピング結果の例を示す。
【図８】視点画像および背景画像に射影された長方形領域を示す。
【図９】フットサルコートにおける視点１、視点２のカメラ画像と、該カメラ画像から生成された仮想視点画像の例を示す。
【発明を実施するための形態】
【００２２】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による仮想視点画像を構築する方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。
【００２３】
本発明は、カメラの強校正を前提としない、画像情報のみを用いた合成方式として、対象フィールドの幾何的情報をもとに、対象フィールドに座標空間を構築し、各カメラ画像の射影行列を推定し、移動領域の位置情報を算出し、仮想視点における射影行列により、移動領域の位置に移動領域の画像を作成することで、仮想視点の画像を高精度に生成する。
【００２４】
ステップ１：複数台のカメラにより、対象フィールドの視点画像と背景画像を複数枚取得する。なお、背景画像は、移動領域が写っていない画像である。本カメラの強校正は予め行う必要はない。また、対象フィールドの幾何的情報として、対象フィールド内の線分の長さ、対応点を予め測定しておく。少なくとも、視点画像毎に４点以上の平面座標、２点以上の空間座標が分かるように測定しておく。また、対象フィールドの幾何的情報として、視点画像内に平行線が２組以上含まれるように撮影することも可能である。平行線とは、例えば、競技コートのラインである。この場合、平行線から対応点を求める。
【００２５】
ステップ２：対象フィールドの視点画像を移動領域と背景領域に分割する。移動領域は、時間とともに位置や形状の変化する領域であり、対象フィールドがフットサルコートである場合、人物領域に該当する。
【００２６】
ステップ３：視点画像間の対応点の位置を決定し、モデル座標空間を構築し、視点画像毎に平面射影行列Ｈ、焦点距離ｆ、中心射影行列Ｐを算出する。
【００２７】
本実施形態は、対応点を予め測定してないため、視点画像内に平行線から対応点を求める。図２は、本発明による対応点の位置を決定する処理を示すフローチャートである。以下、本フローチャートに基づいて説明する。
【００２８】
ステップ２１：消失点から焦点距離を計算する。各カメラ視点画像中の２組の平行な２直線の交点座標から消失点Ｖ１（ｕ１，ｖ１），Ｖ２（ｕ２，ｖ２）を求め、
ｕ１ｕ２＋ｖ１ｖ２＋ｆ２＝０
から、焦点距離ｆを求める。図３は、フットサルコートの縦横のラインから、消失点Ｖ１，Ｖ２算出の例を示す。
【００２９】
ステップ２２：フィールド正面視点へ画像を変換する。基準となる方向の平行線を定め、その消失点に対し方位角θが０°、仰角φが−９０°となるように回転し、コートラインが画像上で正面に来るようにし、コートが画像内に来るように平行移動する。図４は、フットサルコートの画像をフィールド平面が正面に来るように変換した画像を示す。
【００３０】
上記方位角θ、仰角φは、基準となる消失点Ｖ１（ｕ１，ｖ１）と、焦点距離ｆから
【数１】
2011170487.tif 000003
により求まる。なお、ｕ∞、ｖ∞は、画像中心の座標を表している。例えば、１９２０×１０８０の画像の場合、ｕ∞＝９６０，ｖ∞＝５４０となる。
【００３１】
フィールド平面を正面化する変換行列ＨＦは、
【数２】
2011170487.tif 000004
と表される。なお、Ａは視点での内部パラメータ行列である。
【００３２】
ステップ２３：直線上の対応点を距離をもとにグループ化し、対応点の位置を決定する。視点画像毎に直線上に対応点を取り、平面にマッピングする。マッピングされた対応点は、ユークリッド距離によるグループ分けされ、グループ内の点を１つの点にまとめる。最初小さな閾値から初め、その閾値内の点を１つにまとめるが、１つにまとまらない場合がある。その場合は、閾値を徐々に大きくしていき、対応点を１つにまとめ、対応点の位置を決定する。
【００３３】
図５は、フットサルコートの画像内の直線上の対応点を平面にマッピングした例を示す。３本の直線上にそれぞれ７つの対応点を取った例を示している。図５ａ、図５ｂ、図５ｃ、図５ｄと閾値を徐々に大きくして対応点をまとめている。図５ｄで、直線上の対応点の位置が決定される。
【００３４】
上記のようにして、各視点画像に対応点の位置が決定され、この対応点を用いて、各視点画像に座標空間を構築し、平面射影行列Ｈ、焦点距離ｆ、中心空間射影行列Ｐを求めることが可能になる。
【００３５】
平面射影行列Ｈは、視点画像の４つ以上の平面上の対応点、例えば、４つのコートラインの座標から算出する。焦点距離ｆは、視点画像の４つ以上の対応点、例えば、コートラインの頂点座標から消失点Ｖ１（ｕ１，ｖ１），Ｖ２（ｕ２，ｖ２）を求め、
ｕ１ｕ２＋ｖ１ｖ２＋ｆ２＝０
から求まる。中心射影行列Ｐは、視点画像の４つ以上の平面上の対応点、および２つ以上の空間上の対応点の位置と高さから算出する。
【００３６】
ステップ４：平面射影行列Ｈにより、各移動領域のモデル座標における床平面での座標を算出する。視点画像と背景画像を用意し、各色成分と色相で差分をとり、２値化し、移動領域（選手位置）を検出する。各移動領域をラベリングし、各移動領域の足元点を検出する。平面射影行列Ｈにより各移動領域の足元点を、床平面にマッピングする。
【００３７】
図６は、フットサルコートにおける平面座標での選手位置の算出の例を示す。図６ａは視点画像であり、図６ｂは２進化した画像であり、図６ｃは、選手位置をＬ０からＬ８にラベリングした図であり、図６ｄは、足元点を平面にマッピングした画像であり、足元点は＋で示されている。
【００３８】
ステップ５：全視点分のマッピング結果を用い、モデル座標上の移動領域位置を決定する。各視点からの足元位置のマッピング結果には、
・重なっているところは、一番手前の選手の位置しかマッピングできていない
・同じ選手のマッピングでもＨ行列の精度で微妙にずれている
・対応していないごみエリアを含んでいる
という状態を含んでいる。図７は、フットサルコートにおける平面座標での全視点分のマッピング結果の例を示す。ここで、図７ａは、全視点分がマッピングされた画像である。例えば、矢印１で示されるところは、それぞれ同じ選手のずれている位置であるが、微妙にずれていることがわかる。
【００３９】
移動領域位置は、ユークリッド距離によるグループ分けにより、決定される。
・モデル座標上にマッピングされたｎ個の点Ｐ１（ｘ１，ｙ１，０），・・・，Ｐｎ（ｘｎ，ｙｎ，０）に対し、全ての点間でのユークリッド２乗距離
ｄｉｊ２＝（ｘｉ−ｘｊ）２＋（yｉ−yｊ）２  （ｉ，ｊ＝１，２，・・・，ｎ）
を求め、
ｄｉｊ＜閾値
である場合、点Ｐｉ（ｘｉ，ｙｉ，０）と点Ｐｊ（ｘｊ，ｙｊ，０）は同じグループに属すると判断される。逆に、
ｄｉｊ≧閾値
である場合、点Ｐｉ（ｘｉ，ｙｉ，０）と点Ｐｊ（ｘｊ，ｙｊ，０）は同じグループに属さないと判断される。
【００４０】
次に、グループ内の要素数が１の場合は、ゴミであると判断して、その点を消去する。要素数が２以上の場合は、グループ内の点の重心を求め、その点を選手の位置とする。図７ｂは、グループ分けにより、移動領域位置が決定された図である。矢印１で示す点は、それぞれ１つにまとめられたことがわかる。
【００４１】
ステップ６：モデル座標上の移動領域位置に長方形領域を設定し、各視点画像に射影する。床平面座標上の選手位置の座標を中心にして、選手エリアを想定する。選手エリアは長方形と仮定し、鉛直方向２ｍ（２０ｐｘ）、幅１ｍ（１０ｐｘ）を割り当て、向きは、各カメラ視点方向正面とする。カメラ位置と各移動領域との距離を求め、奥行き情報を得る。次に、中心射影行列Ｐを用いて、長方形領域を視点画像および背景画像に射影する。投影された長方形領域内に、選手領域（移動領域）が含まれている。図８は、視点画像および背景画像に射影された長方形領域を示す。
【００４２】
ステップ７：長方形領域のテクスチャを切り出す。各視点に射影された長方形領域に含まれる部分を、視点画像から切り出す。背景差分により選手領域の部分以外は取り除く。視点の向き情報とともにビルボードとして、全視点分のテクスチャを集める。
【００４３】
ステップ８：長方形領域の重なりを判定し、オクルージョン処理を行う。カメラ位置に対して、フィールド平面上での各選手位置とのユークリッド距離を求める。このユークリッド距離を元に重なり順をもとめる。各視点画像において長方形領域の全ての組に対して、重なり判定を行なう。他の長方形領域と重なっていてかつ手前にある場合、抜き出したテクスチャ領域に対して次の処理を行なう。
・隣の視点でオクルージョンを起こしていない場合：隣の視点の背景領域を、オクルージョンしている視点に射影する。射影した背景領域を用いて人物領域のテクスチャを抜き出す。
・隣の視点でもオクルージョンを起こしている場合：この場合、抜き出したテクスチャをそのまま利用する。
【００４４】
ステップ９：２視点のカメラパラメータ行列と、内挿比αを用いて、仮想視点ｃでの空間射影行列ＰＣを算出する。仮想視点ｃでの空間射影行列ＰＣは、以下のように求められる。
・視点１、視点２の内部パラメータ行列Ａ１，Ａ２から仮想視点ｃでの内部パラメータ行列Ａｃを求める。内部パラメータ行列Ａ１，Ａ２は、
【数３】
2011170487.tif 000005
と表せる。ここで、ｆＡ１，ｆＡ２は、視点１、２における焦点距離ｆであり、ｘＡ１，ｘＡ２は、画像の縦の長さであり、ｙＡ１，ｙＡ２は、画像の横の長さである。
【００４５】
画像中心は不変であり、仮想視点ｃでの焦点距離は視点１と２での焦点距離と内挿比αを用いて、次のように表せる。
ｆＡｃ＝（１−α）ｆＡ１＋αｆＡ２
このｆＡｃを用いて、仮想視点ｃでの内部パラメータ行列Ａｃは、
【数４】
2011170487.tif 000006
と表せる。
・視点１、視点２の回転行列Ｒ１，Ｒ２から仮想視点ｃでの回転行列Ｒｃを求める。回転行列Ｒ１，Ｒ２に対して、方位角θ、仰角φ、チルト角τに分解する（ただし、本実施形態では水平線に対して傾いていることは想定しないのでτ＝０とする）。回転行列Ｒ１，Ｒ２の方位角θ１，θ２、仰角φ１，φ２、すると、仮想視点ｃの方位角θｃ、φｃは、
θｃ＝（１−α）θ１＋αθ２
φｃ＝（１−α）φ１＋αφ２
と表せる。このθｃ、φｃとを組み合わせて、Ｒｃが求まる。
・視点１、視点２の並進ベクトルＴ１，Ｔ２から仮想視点ｃでの並進ベクトルＴｃを求める。視点１、視点２、仮想視点ｃのモデル座標上での位置を、それぞれ
【数５】
2011170487.tif 000007
とすると、
【数６】
2011170487.tif 000008
であるため、仮想視点ｃのモデル座標上での位置は、
【数７】
2011170487.tif 000009
と表せる。並進ベクトルＴｃは、
【数８】
2011170487.tif 000010
より求めることができる。
・空間射影行列Ｐｃは、Ａｃ、Ｒｃ、Ｔｃから、
Ｐｃ＝Ａｃ［Ｒｃ｜Ｔｃ］
で求められる。ここで、［Ｒｃ｜Ｔｃ］は、３×３の行列Ｒｃと１×３のベクトルＴｃを、あわせた３×４の行列である。Ａｃとこの行列の積により、空間射影行列Ｐｃが求まる。
【００４６】
ステップ１０：モデル座標上の移動領域位置に長方形領域を設定し、仮想視点に射影する。床平面座標上の選手位置の座標を中心にして、選手エリアを想定する。選手エリアは長方形と仮定し、鉛直方向２ｍ（２０ｐｘ）、幅１ｍ（１０ｐｘ）を割り当て、向きは、各カメラ視点方向正面とする。カメラ位置と各移動領域との距離を求め、奥行き情報を得る。次に、空間射影行列Ｐｃを用いて、長方形領域を仮想視点に射影する。
【００４７】
ステップ１１：ビルボードを選択し、テクスチャマッピングを行い内挿画像を合成する。各長方形領域において、仮想視点方向に最も近い向きのビルボードを選択する。ただし、選択したビルボードがオクルージョンしている場合、オクルージョンしていない最も近い向きのビルボードを選択する。選択されたビルボードのテクスチャを仮想視点の長方形領域の大きさに合わせてマッピングし内挿画像を合成する。
【００４８】
ステップ１２：背景領域の画像から、仮想視点での背景領域の画像を生成する。仮想視点での背景領域の画像は、既存の手法により生成される。例えば、背景領域を遠景領域およびフィールド領域に分割して、非特許文献１に記載の方法により作成することができる。
【００４９】
ステップ１３：生成された移動領域の画像と生成された背景領域の画像を合成し、仮想視点の画像を生成する。本合成も既存の手法により行われる。
【００５０】
次に本発明の効果を実際に生成された仮想視点での画像により示す。図９は、フットサルコートにおける視点１、視点２のカメラ画像と、該カメラ画像から生成された仮想視点画像の例を示す。図９ａは、視点１のカメラ画像の例であり、図９ｂは、視点２のカメラ画像の例であり、図９ｃは、図９ａと図９ｂから、従来技術により生成された仮想視点画像の例であり、図９ｄは、図９ａと図９ｂから、本発明の方法により生成された仮想視点画像の例である。図９ｃおよび図９ｄは、視点１と視点２の中間（α＝０．５）の仮想視点の画像である。なお、それぞれ元の画像は、１９２０×１０８０のフルＨＤの画像であるが、比較のため、一部を抽出している。
【００５１】
図９ｃおよび図９ｄを比較すると、図９ｃでは、画像間の対応がとれないため、人物の画像が除去されてしまい、映っていない場合があるが、図９ｄでは、削除されることがない。また、人物画像同士を比較すると、図９ｄの方が鮮明に写っており、画像の精度が高いことが分かる。
【００５２】
以上に述べた実施形態は、全て本発明を例示的に示すものであって、限定的に示すものではない、本発明は、他の種々の変形形態及び変更態様で実施できる。従って本発明の範囲は、特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【図１】
2011170487.tif 000011
【図２】
2011170487.tif 000012
【図３】
2011170487.tif 000013
【図４】
2011170487.tif 000014
【図５】
2011170487.tif 000015
【図６】
2011170487.tif 000016
【図７】
2011170487.tif 000017
【図８】
2011170487.tif 000018
【図９】
2011170487.tif 000019