(57)【特許請求の範囲】
【請求項１】
同一の被写体を複数のロボットカメラで撮影した多視点映像を用いて、前記被写体を異なる視点で表示すると共に前記多視点映像内のオブジェクトの動きに関する解析データを合成する多視点映像表現装置であって、
前記ロボットカメラ毎に、当該ロボットカメラの位置及び姿勢が含まれるカメラパラメータをカメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記オブジェクトを追跡し、予め設定された座標系変換式により、追跡した前記オブジェクトの画像座標から世界座標を算出するオブジェクト追跡部と、
前記オブジェクトの世界座標の変化により、前記解析データを生成する解析データ生成部と、
前記多視点映像のうちの基準フレーム画像、及び、前記多視点映像のうちの前記基準フレーム画像以外の参照フレーム画像に前記解析データのＣＧを合成するＣＧ合成部と、
前記ロボットカメラ及び前記基準フレーム画像毎に、前記被写体の位置を表す注視点が前記多視点映像で所定位置となるように射影変換するための射影変換行列を生成する射影変換行列生成部と、
前記ロボットカメラ毎に、前記参照フレーム画像の射影変換行列を、前記射影変換行列生成部が生成した基準フレーム画像の射影変換行列から補間する射影変換行列群生成部と、
前記基準フレーム画像及び前記参照フレーム画像の射影変換行列により、前記解析データが合成された前記基準フレーム画像及び前記参照フレーム画像を射影変換する射影変換部と、
射影変換された前記基準フレーム画像及び前記参照フレーム画像を切り替える多視点映像表現部と、
を備えることを特徴とする多視点映像表現装置。
【請求項２】
前記解析データ生成部は、前記解析データとして、前記多視点映像で連続するフレーム画像に含まれる前記オブジェクトの世界座標の変化により、前記オブジェクトの軌跡データを生成することを特徴とする請求項１に記載の多視点映像表現装置。
【請求項３】
前記解析データ生成部は、前記解析データとして、単位時間における前記オブジェクトの世界座標の変化により、前記オブジェクトの速度データを生成することを特徴とする請求項１又は請求項２に記載の多視点映像表現装置。
【請求項４】
前記オブジェクト追跡部は、光軸のなす角が直角に最も近くなる２台の前記ロボットカメラが予め選択され、選択された前記ロボットカメラの多視点映像に含まれる前記オブジェクトを追跡することを特徴とする請求項１から請求項３の何れか一項に記載の多視点映像表現装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載の多視点映像表現装置として機能させるための多視点映像表現プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、被写体を異なる視点で表示すると共にオブジェクトの解析データを合成する多視点映像表現装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来から、多視点映像表現として、被写体を取り囲むように多視点カメラを配置し、多視点映像をカメラの並びに沿って切り替えることで、時間を止めて被写体の周囲を視点が回り込むような映像表現が行われている。この多視点映像表現を実現する従来技術としては、多視点ハイビジョン映像生成システムや多視点ロボットカメラシステムが知られている（例えば、非特許文献１，２参照）。
【０００３】
従来の多視点ハイビジョン映像生成システムでは、三脚にハイビジョンカメラを設置した固定型多視点カメラを撮影に使用する。一方、従来の多視点ロボットカメラシステムでは、パン、チルト制御が可能な電動雲台に小型ハイビジョンカメラを設置した可動型多視点ロボットカメラを撮影に使用する。そして、従来技術の両方とも、多視点映像に射影変換を施すことで、カメラを任意の被写体へ仮想的に方向制御し、カメラの並びに沿って映像を切り替えることで、多視点映像表現を実現する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】冨山仁博  岩舘祐一，「多視点ハイビジョン映像生成システムの開発」，映像情報メディア学会誌，64，4，pp.622-628 (2010)
【非特許文献２】「多視点ロボットカメラシステムを用いた映像制作」，兼六館出版，「放送技術」，2013年66巻11月号，pp.102-105
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の多視点ハイビジョン映像生成システムでは、ボールや選手等のオブジェクトの動きをカバーできるように広い画角で撮影するため、相対的に画面内でオブジェクトが小さくなり、オブジェクトの動きが分かりにくくなる。そこで、オブジェクトの動きを解析し、解析データのＣＧを多視点映像に合成することで、オブジェクトの動きをより分かりやすく視聴者に伝えたいという要望がある。
【０００６】
本願発明は、オブジェクトの動きが分かりやすい多視点映像表現装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願発明に係る多視点映像表現装置は、同一の被写体を複数の撮影カメラで撮影した多視点映像を用いて、被写体を異なる視点で表示すると共に多視点映像内のオブジェクトの動きに関する解析データを合成する多視点映像表現装置であって、カメラキャリブレーション部と、オブジェクト追跡部と、解析データ生成部と、ＣＧ合成部と、射影変換行列生成部と、射影変換行列群生成部と、射影変換部と、多視点映像表現部と、を備える構成とした。
【０００８】
なお、オブジェクトとは、後記する解析データを生成する対象となる移動体（例えば、人物、動物、物体）のことである。また、オブジェクトは、被写体と同一であってもよく、被写体とは別の移動体であってもよい。例えば、球技のスポーツ映像であれば、選手が被写体となり、ボールがオブジェクトとなる。
【０００９】
かかる構成によれば、多視点映像表現装置は、カメラキャリブレーション部によって、前記撮影カメラ毎に、当該撮影カメラの位置及び姿勢が含まれるカメラパラメータをカメラキャリブレーションにより算出する。
多視点映像表現装置は、オブジェクト追跡部によって、前記オブジェクトを追跡し、予め設定された座標系変換式により、追跡した前記オブジェクトの画像座標から世界座標を算出する。
【００１０】
多視点映像表現装置は、解析データ生成部によって、前記オブジェクトの世界座標の変化によりオブジェクトの動きを解析し、オブジェクトの軌跡や速度等の解析データを生成する。そして、多視点映像表現装置は、ＣＧ合成部によって、前記多視点映像のうちの基準フレーム画像、及び、前記多視点映像のうちの前記基準フレーム画像以外の参照フレーム画像に前記解析データのＣＧを合成する。
多視点映像表現装置は、射影変換行列生成部によって、前記ロボットカメラ及び前記基準フレーム画像毎に、前記被写体の位置を表す注視点が前記多視点映像で所定位置となるように射影変換するための射影変換行列を生成する。
多視点映像表現装置は、射影変換行列群生成部によって、前記ロボットカメラ毎に、前記参照フレーム画像の射影変換行列を、前記射影変換行列生成部が生成した基準フレーム画像の射影変換行列から補間する。
多視点映像表現装置は、射影変換部によって、前記基準フレーム画像及び前記参照フレーム画像の射影変換行列により、前記解析データが合成された前記基準フレーム画像及び前記参照フレーム画像を射影変換する。
多視点映像表現装置は、多視点映像表現部によって、射影変換された前記基準フレーム画像及び前記参照フレーム画像を切り替える。
【発明の効果】
【００１１】
本願発明によれば、以下のような優れた効果を奏する。
本願発明によれば、多視点映像表現を行う際、オブジェクトの軌跡や速度等の解析データが表示されるので、オブジェクトの動きが分かりやすくなる。これによって、本願発明によれば、多視点表現映像の臨場感を高くすることができる。
【図面の簡単な説明】
【００１２】
【図１】本願発明の実施形態に係る多視点映像表現装置の構成を示すブロック図である。
【図２】図１の多視点映像撮影部を説明する説明図である。
【図３】本願発明の実施形態において、（ａ）はロボットカメラの方向誤差を説明する説明図であり、（ｂ）はロボットカメラの仮想的な方向制御を説明する説明図である。
【図４】本願発明の実施形態において、ロボットカメラの姿勢を説明する図であり、（ａ）はロボットカメラを側面視した図であり、（ｂ）はロボットカメラを正面視した図であり、（ｃ）はロボットカメラを上面視した図である。
【図５】本願発明の実施形態において、（ａ）〜（ｅ）は、ボールの軌跡データの生成を説明する説明図である。
【図６】本願発明の実施形態において、（ａ）及び（ｂ）は、ボールの速度データの生成を説明する説明図である。
【図７】本願発明の実施形態において、データの指定及び射影変換行列の補間を説明する説明図である。
【図８】本願発明の実施形態において、ロボットカメラのチルト軸と、三脚と、設置面との位置関係を説明する説明図であり、ロボットカメラを正面視した図である。
【図９】図１のチルト軸算出部によるチルト軸の算出を説明する説明図であり、ロボットカメラを側面視した図である。
【図１０】図１の射影変換部による射影変換を説明する説明図である。
【図１１】本願発明の実施形態において、（ａ）及び（ｂ）はボールの速度データが合成された多視点表現映像を説明する説明図であり、（ｃ）及び（ｄ）はボールの軌跡データが合成された多視点表現映像を説明する説明図である。
【図１２】図１の多視点映像表現装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
［多視点映像表現装置の構成］
図１を参照し、本願発明の実施形態に係る多視点映像表現装置１の構成について、説明する。
多視点映像表現装置１は、同一の被写体を複数の撮影カメラで撮影した多視点映像を用いて、被写体を異なる視点で表示すると共にオブジェクトの動きに関する解析データを合成するものである。
【００１４】
図１に示すように、多視点映像表現装置１は、多視点映像撮影部１０と、多視点映像格納部２０と、カメラキャリブレーション部３０と、オブジェクト追跡部４０と、データ解析部（解析データ生成部）５０と、ＣＧ生成部６０と、ＣＧ合成部７０と、演算部８０と、射影変換行列群生成部９０と、射影変換部１００と、多視点映像表現部１１０とを備える。
【００１５】
本実施形態では、一例として、ハンドボール試合の多視点映像について多視点映像表現を行うこととする。このとき、ハンドボール選手を被写体とし、ボール（オブジェクト）の解析データを生成することとする。
【００１６】
多視点映像撮影部１０は、複数の撮影カメラで同一の被写体を撮影して、この被写体が様々な視点で撮影された多視点映像を生成するものである。例えば、多視点映像撮影部１０は、図２に示すように、複数のロボットカメラ（撮影カメラ）Ｃと、操作部１１とを備える多視点ロボットカメラシステムである。
【００１７】
ロボットカメラＣは、三脚Ｃａに搭載されている。このロボットカメラＣは、三脚Ｃａの上方に設けた雲台Ｃｂによって、パン軸及びチルト軸の２軸方向に駆動されると共に、ズームイン及びズームアウトができるように設置されている。また、ロボットカメラＣは、撮影時のパン値、チルト値等のエンコーダ値を計測するエンコーダ（不図示）を備え、計測されたエンコーダ値をカメラキャリブレーション部３０に出力する。
【００１８】
操作部１１は、ロボットカメラＣの各種操作を行うものである。この操作部１１は、ロボットカメラＣを操作するためのハンドルが設けられると共に、ケーブルを介して、各ロボットカメラＣに接続されている。
【００１９】
まず、カメラマン（２点鎖線で図示）は、操作部１１のハンドルを操作し、被写体を追随する。このとき、多視点映像撮影部１０は、操作部１１からの制御信号によって、全ロボットカメラＣが被写体を追随するように方向制御し、被写体を撮影する。そして、多視点映像撮影部１０は、被写体が撮影された多視点映像（撮影映像）を生成し、多視点映像格納部２０に格納する。このように、多視点映像撮影部１０は、一人のカメラマンによる一台分のカメラ操作で、複数のロボットカメラＣを一斉に協調制御できるように構成されている。
【００２０】
図３（ａ）に示すように、多視点映像撮影部１０では、カメラマンの操作ミス、又は、雲台Ｃｂの制御誤差により、ロボットカメラＣの方向誤差が生じ、被写体Ｈが正確に多視点映像の中央に捉えられないことがある。このままでは、被写体Ｈが画像中央に位置しておらず、多視点映像表現が行えない場合がある。そこで、多視点映像表現装置１は、図３（ｂ）に示すように、画像処理（射影変換）によって、ロボットカメラＣが被写体Ｈ（注視点Ｐ）に向くように仮想的な方向制御を行う。
以後、ロボットカメラＣ（Ｃ１，…，Ｃｌ，…，Ｃｎ）をｎ台として説明する（但し、１＜ｌ＜ｎを満たす）。
なお、射影変換により被写体を捉える位置は、多視点映像の中央に制限されない。
【００２１】
図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
多視点映像格納部２０は、例えば、多視点映像撮影部１０が生成した多視点映像を格納するフレームメモリである。この多視点映像格納部２０に格納された多視点映像は、後記するオブジェクト追跡部４０及びＣＧ合成部７０によって、フレーム画像単位で参照される。
【００２２】
カメラキャリブレーション部３０は、ロボットカメラＣ毎に、このロボットカメラＣの位置及び姿勢が含まれるカメラパラメータをカメラキャリブレーションにより算出するものである。本実施形態では、カメラキャリブレーション部３０は、ロボットカメラＣから入力されたエンコーダ値を用いて、カメラパラメータを算出する。そして、カメラキャリブレーション部３０は、算出したカメラパラメータを、オブジェクト追跡部４０と、ＣＧ合成部７０と、演算部８０とに出力する。
【００２３】
例えば、カメラパラメータの算出手法は、下記の参考文献１に記載されている。この参考文献１に記載の手法は、多視点カメラと複数の校正パターンを利用し、これらの関係を高精度に推定することで精度の高いカメラ校正を実現したものである。
参考文献１：「角度センサを用いた多視点カメラの校正手法と映像表現への適用」、映像情報メディア学会技術報告vol.39、no.7、2015、p.273-278
【００２４】
前記したカメラパラメータには、各ロボットカメラＣの内部パラメータと、各ロボットカメラＣの位置（光学中心）及び姿勢を示す外部パラメータとが含まれている。この内部パラメータとは、内部パラメータ行列Ａｎのことである。また、外部パラメータとは、回転行列Ｒｎ及び並進行列Ｔｎのことである。このとき、画像座標系（ｕｎ，ｖｎ）と世界座標系ｘの関係は、下記の式（１）〜式（５）で表わされる。
【００２５】
【数１】
0006609112.tif 000002
【００２６】
【数２】
0006609112.tif 000003
【００２７】
【数３】
0006609112.tif 000004
【００２８】
【数４】
0006609112.tif 000005
【００２９】
【数５】
0006609112.tif 000006
【００３０】
なお、式（１）〜式（５）では、ωが画像距離であり、ＡｎがロボットカメラＣｎの内部パラメータ行列であり、ａがフレーム画像のアスペクト比であり、ＦｎがロボットカメラＣｎの焦点距離であり、γがスキューであり、（Ｃｘ，Ｃｙ）がロボットカメラＣｎの光軸と画像面との交点座標であり、ＲｎがロボットカメラＣｎの回転行列であり、ＴｎがロボットカメラＣｎの並進行列である。
【００３１】
なお、画像座標とは、画像中の位置を示す座標のことである。
また、世界座標とは、各ロボットカメラＣに共通する三次元座標のことである。
【００３２】
＜ロボットカメラＣの姿勢＞
図４を参照し、ロボットカメラＣの姿勢について、説明する。
図４では、ロボットカメラＣが設置された面（フロア面、地面）を設置面Ｇと図示した。また、図４では、ロボットカメラＣの光軸が設置面Ｇに平行であることとする。さらに、図４には、ロボットカメラＣのロール軸をＺ軸とし、チルト軸をＸ軸とし、パン軸をＹ軸と図示した（以後の図面も同様）。
【００３３】
ロボットカメラＣの姿勢は、図４に示すように、パン軸（Ｙ軸）、チルト軸（Ｘ軸）、及び、ロール軸（Ｚ軸）の３軸で表される。このパン軸は、ロボットカメラＣがパンするときの回転軸であり、ロボットカメラＣの上下に伸びている。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、パン軸が、設置面Ｇの法線に一致する。
【００３４】
チルト軸は、ロボットカメラＣがチルトするときの回転軸であり、ロボットカメラＣの左右に伸びている。さらに、ロール軸は、ロボットカメラＣがロールするときの回転軸であり、ロボットカメラＣの前後に伸びており、ロボットカメラＣの光軸に一致する。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、チルト軸及びロール軸が、設置面Ｇに平行となり、かつ、互いに直交する。
【００３５】
図１に戻り、多視点映像表現装置１の説明を続ける。
オブジェクト追跡部４０は、多視点映像格納部２０に格納された多視点映像に含まれるオブジェクトを追跡し、予め設定された座標系変換式により、追跡したオブジェクトの画像座標から世界座標を算出するものである。
【００３６】
例えば、オブジェクトの追跡部手法は、下記の参考文献２に記載されている。この参考文献２に記載の手法は、機械学習を用いて、映像からオブジェクトを頑健に検出・追跡するものである。
参考文献２：「機械学習を利用した複数視点映像からのサッカーボール追跡」、映像情報メディア学会技術報告vol.38、no.51、2014、p.5-8
【００３７】
ここで、オブジェクト追跡部４０は、世界座標を算出する際、ｎ台のうち、２台のロボットカメラＣを予め選択し、選択された２台のロボットカメラＣの多視点映像を用いる。このとき、オブジェクト追跡部４０は、光軸のなす角が直角に最も近い２台のロボットカメラＣを予め選択すると、世界座標がより正確に求められるので好ましい。
【００３８】
２台のロボットカメラＣの撮影画像のそれぞれで、オブジェクトの画像座標（ｕａ，ｖa），（ｕｂ，ｖｂ）が求まったとき、オブジェクトの世界座標ｇは、下記の座標変換式としての式（６）〜式（８）で求められる。そして、オブジェクト追跡部４０は、算出したオブジェクトの世界座標ｇをデータ解析部５０に出力する。
【００３９】
【数６】
0006609112.tif 000007
【００４０】
【数７】
0006609112.tif 000008
【００４１】
【数８】
0006609112.tif 000009
【００４２】
なお、Ｓｎｉｊは、３行４列のカメラパラメータＳｎのうち、ｉ行ｊ列の要素を表す（但し、１≦ｉ≦３、１≦ｊ≦４）。また、Ｍ＋はＭの一般逆行列を表し、添え字ａ，ｂは選択された２台のロボットカメラを表す。
【００４３】
データ解析部５０は、オブジェクト追跡部４０から入力されたオブジェクトの世界座標の変化により、解析データを生成するものである。そして、データ解析部５０は、生成した解析データをＣＧ生成部６０に出力する。
【００４４】
＜解析データの第１例：ボールの軌跡データ＞
図５，図６を参照し、解析データの生成について、第１例及び第２例を説明する（適宜図１参照）。
この第１例では、データ解析部５０は、解析データとして、多視点映像で連続するフレーム画像に含まれるボール（オブジェクト）Ｏの世界座標の変化により、ボールＯの軌跡データを生成する。
【００４５】
ここで、図５（ａ）〜（ｅ）のように、ハンドボール試合の多視点映像が５枚のフレーム画像で構成され、各フレーム画像でのボールＯの世界座標がｇ１〜ｇ５であることとする。つまり、図５では、連続するフレーム画像において、ボールＯの世界座標がｇ１からｇ５まで変化している。
【００４６】
まず、データ解析部５０は、各フレーム画像において、ボールＯの重心位置又は中心位置をボールＯの世界座標ｇ１〜ｇ５として算出する。そして、データ解析部５０は、世界座標ｇ１から世界座標ｇ２までの軌跡を求める。この解析データは、世界座標ｇ１，ｇ２を結ぶ線分と、世界座標ｇ２，ｇ３を結ぶ線分と、世界座標ｇ３，ｇ４を結ぶ線分と、世界座標ｇ４，ｇ５を結ぶ線分とを連結した軌跡データとなる。
【００４７】
＜解析データの第２例：ボールの速度データ＞
この第２例では、データ解析部５０は、解析データとして、単位時間におけるボールＯの世界座標の変化により、ボールＯの速度データを生成する。
【００４８】
ここで、単位時間を１秒とし、図６（ｂ）のフレーム画像が、図６（ａ）のフレーム画像より１秒（単位時間）だけ後のフレーム画像であることとする。また、各フレーム画像でのボールＯの世界座標がｇ１０，ｇ１１であることとする。つまり、ボールＯは、１秒間に世界座標ｇ１０から世界座標ｇ１１まで移動している。
【００４９】
まず、データ解析部５０は、各フレーム画像において、ボールＯの重心位置又は中心位置をボールＯの世界座標ｇ１０，ｇ１１として算出する。そして、データ解析部５０は、世界座標ｇ１０から世界座標ｇ１１までの移動距離を求める。さらに、データ解析部５０は、求めた移動距離及び単位時間から、ボールＯの速度を求める。
【００５０】
なお、データ解析部５０は、第１例又は第２例の何れの手法を用いるか、予め設定しておく。また、データ解析部５０は、第１例又は第２例の手法を併用してもよい。
【００５１】
図１に戻り、多視点映像表現装置１の説明を続ける。
ＣＧ生成部６０は、データ解析部５０から入力された解析データが視覚的に表現された三次元ＣＧを生成するものである。第１例の手法で解析データを生成した場合、ＣＧ生成部６０は、三次元ＣＧとして、世界座標ｇ１〜ｇ５までの軌跡を生成する。また、第２例の手法で解析データを生成した場合、ＣＧ生成部６０は、ボールＯの速度を表した三次元ＣＧを生成する。その後、ＣＧ生成部６０は、生成した解析データのＣＧをＣＧ合成部７０に出力する。
【００５２】
ＣＧ合成部７０は、多視点映像格納部２０に格納された多視点映像に、ＣＧ生成部６０から入力された解析データのＣＧを合成するものである。具体的には、ＣＧ合成部７０は、カメラキャリブレーション部３０から入力されたカメラパラメータを式（１）及び式（２）に代入し、各多視点映像に解析データのＣＧを投影する。そして、ＣＧ合成部７０は、解析データのＣＧが合成された多視点映像を演算部８０に出力する。
【００５３】
演算部８０は、射影変換行列の生成に必要な各種演算を行うものであり、データ指定部８２と、カメラ姿勢算出部８４と、射影変換行列生成部８６とを備える。
【００５４】
データ指定部８２は、基準フレーム画像、注視点、カメラパス（切替順序）等のデータが指定されるものである。本実施形態では、多視点映像表現装置１のユーザが、図示を省略したマウス、キーボード等の操作手段（不図示）を操作して、データをデータ指定部８２に指定する。
【００５５】
基準フレーム画像とは、多視点映像で連続するフレーム画像のうち、後記する射影変換行列を生成するフレーム画像のことである。通常、基準フレーム画像は、複数指定される。
注視点とは、基準フレーム画像毎に被写体の位置を表すものである。
カメラパスとは、多視点映像表現を行うときのロボットカメラＣの切替順序を表すものである。
なお、多視点映像のうち、基準フレーム画像以外のフレーム画像を参照フレーム画像と呼ぶ。
【００５６】
＜基準フレーム画像及びカメラパスの指定＞
図７を参照し、データ指定部８２による基準フレーム画像及びカメラパスの指定について、説明する（適宜図１参照）。
図７では、ロボットカメラＣ１，Ｃ２，…，Ｃｎで撮影された多視点映像のフレーム画像が時系列順に並んでいる。また、ロボットカメラＣ１，Ｃ２，…，Ｃｎのフレーム画像は同期している。
【００５７】
データ指定部８２は、多視点映像をディスプレイ（不図示）に表示する。そして、データ指定部８２は、操作手段をユーザに操作させて、多視点映像表現を開始するフレーム画像Ｆ１と、多視点映像表現を終了するフレーム画像Ｆｉとを指定させる。ここで、多視点映像表現を開始及び終了するフレーム画像Ｆ１，Ｆｉは、基準フレーム画像として扱われる。
【００５８】
前記したように、各ロボットカメラＣのフレーム画像は同期している。そこで、データ指定部８２は、何れか一台のロボットカメラＣを基準ロボットカメラとし、この基準ロボットカメラの多視点映像に対し、基準フレーム画像をユーザに指定させればよい。この場合、データ指定部８２は、残りのロボットカメラＣの多視点映像についても、基準ロボットカメラのフレーム画像と同時刻のフレーム画像を、基準フレーム画像として扱う。図７の例では、ドットで図示したフレーム画像Ｆ１，Ｆ２，Ｆｉが基準フレーム画像として扱われる。
【００５９】
次に、データ指定部８２は、多視点映像表現を行うフレーム画像Ｆ１〜Ｆｉの間でカメラパスＰｈをユーザに指定させる。図７の例では、カメラパスＰｈは、フレーム画像Ｆ１でロボットカメラＣ１からロボットカメラＣｎに切り替わり、フレーム画像Ｆ１とフレーム画像Ｆ２との間ではロボットカメラＣｎのままであることを表す。また、カメラパスＰｈは、フレーム画像Ｆ２でロボットカメラＣｎからロボットカメラＣ１に切り替わり、再び、フレーム画像ＦｉでロボットカメラＣ１からロボットカメラＣｎに切り替わることを表す。
【００６０】
なお、データ指定部８２は、基準フレーム画像の数、及び、前後する基準フレーム画像の間隔を任意に指定できる。
また、データ指定部８２は、ロボットカメラＣ２からロボットカメラＣｎへの切り替えのように、任意のロボットカメラＣの間にカメラパスＰｈを指定できる。また、データ指定部８２は、基準フレーム画像Ｆ１，Ｆ２，Ｆｉだけでなく、参照フレーム画像にもカメラパスＰｈを指定できる。
【００６１】
＜注視点の指定＞
続いて、データ指定部８２による注視点の指定について、説明する。
データ指定部８２は、各ロボットカメラＣの基準フレーム画像毎に、注視点をユーザに指定させる。このとき、データ指定部８２は、被写体が画像中央から外れたフレーム画像のみ、注視点を指定させればよい。
【００６２】
そして、データ指定部８２は、注視点がフレーム画像上（つまり、画像座標系）で指定されるため、以下のように、ユーザが指定した注視点を世界座標系に変換する。
【００６３】
画像座標系（ｕ，ｖ）と世界座標系（Ｘ，Ｙ，Ｚ）との座標変換式は、ロボットカメラＣ毎に、前記した式（１）〜式（５）で定義される。つまり、データ指定部８２は、式（１）〜式（５）を用いて、画像座標系（ｕ，ｖ）で指定された被写体の位置を、世界座標系（Ｘ，Ｙ，Ｚ）に変換する。
【００６４】
図１に戻り、多視点映像表現装置１の説明を続ける。
カメラ姿勢算出部８４は、カメラパラメータで表されるロボットカメラＣの位置から注視点を向くように、仮想的にロボットカメラＣを方向制御したときの姿勢を算出するものである。このカメラ姿勢算出部８４は、ロール軸算出部８４１と、チルト軸算出部８４３と、パン軸算出部８４５とを備える。
【００６５】
ロール軸算出部８４１は、ロボットカメラＣ毎に、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅｎｚを、注視点に向いたロボットカメラＣのロール軸として算出するものである。
【００６６】
まず、ロール軸算出部８４１は、カメラパラメータから、ロボットカメラＣの位置（光学中心）を抽出する。また、ロール軸算出部８４１は、下記の式（９）に示すように、ｎ台目のロボットカメラＣについて、そのロボットカメラＣの光学中心の世界座標（Ｘｎ，Ｙｎ，Ｚｎ）から注視点の世界座標（Ｘｔ，Ｙｔ，Ｚｔ）を向くベクトルＥｎｚを算出する。
【００６７】
【数９】
0006609112.tif 000010
【００６８】
次に、ロール軸算出部８４１は、式（９）のベクトルＥｎｚが正規化されたロール軸単位ベクトルｅｎｚを算出する。つまり、このロール軸単位ベクトルｅｎｚが、注視点に向いたロボットカメラＣのロール軸を示す。
なお、本実施形態において、正規化とは、ベクトルの方向をそのままとし、大きさが‘１’の単位ベクトルに変換することである。
【００６９】
チルト軸算出部８４３は、ロボットカメラＣ毎に、ロール軸算出部８４１で算出されたロール軸単位ベクトルｅｎｚと、設置面Ｇに垂直な設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅｎｘを、注視点に向いたロボットカメラＣのチルト軸として算出するものである。
【００７０】
まず、チルト軸算出部８４３は、カメラパラメータから、カメラキャリブレーションを施したときのロボットカメラＣのチルト軸を抽出する。このチルト軸とは、回転行列Ｒｎでチルト軸を示す要素のことであり、例えば、前記した式（４）の一行目の要素を指している。
【００７１】
次に、チルト軸算出部８４３は、下記の式（１０）に示すように、２台のロボットカメラＣのチルト軸ＲＡｔｉｌｔ，ＲＢｔｉｌｔの外積で表される設置面法線単位ベクトルｖを算出する。この式（１０）は、図８に示すように、２軸駆動のロボットカメラＣにおいて、チルト軸（Ｘ軸）が三脚Ｃａに垂直になり、かつ、この三脚Ｃａが設置面Ｇに垂直になることから成立する。
【００７２】
【数１０】
0006609112.tif 000011
【００７３】
なお、式（１０）では、‘||’がノルムを示す。また、式（１０）では、Ａ，Ｂが、多視点映像撮影部１０を構成するロボットカメラＣのうち、異なる２台を表す。ここで、Ａ，Ｂに対応する２台のロボットカメラＣは、任意に設定することができる。さらに、Ａ，Ｂに対応するロボットカメラＣは、チルト軸の誤差を低減するため、最も遠くに離れた２台、つまり、光軸のなす角が最大となる２台を設定することが好ましい。
【００７４】
次に、チルト軸算出部８４３は、式（１１）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅｎｚと、設置面法線単位ベクトルｖとの外積の値を正規化して、チルト軸単位ベクトルｅｎｘを算出する。つまり、このチルト軸単位ベクトルｅｎｘが、注視点に向いたロボットカメラＣのチルト軸を示す。
【００７５】
【数１１】
0006609112.tif 000012
【００７６】
ここで、図９に示すように、ロボットカメラＣの光軸（ロール軸＝Ｚ´軸）が設置面Ｇに平行にならない場合でも、設置面法線単位ベクトルｖが設置面Ｇに常に垂直になる。この性質を利用して、チルト軸算出部８４３は、ロボットカメラＣのロール軸（Ｚ´軸）と設置面法線単位ベクトルｖとの外積により、ロボットカメラＣのチルト軸（Ｘ´軸）を求めることができる。
なお、図９では、注視点に向いたロボットカメラＣのロール軸をＺ´軸とし、チルト軸をＸ´軸とし、パン軸をＹ´軸と図示した（以後の図面も同様）。
【００７７】
図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
パン軸算出部８４５は、ロボットカメラＣ毎に、チルト軸算出部８４３で算出されたチルト軸単位ベクトルｅｎｘと、ロール軸単位ベクトルｅｎｚとの外積で表されるパン軸単位ベクトルｅｎｙを、注視点に向いたロボットカメラＣのパン軸として算出するものである。
【００７８】
具体的には、パン軸算出部８４５は、式（１２）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅｎｚとチルト軸単位ベクトルｅｎｘとの外積の値を正規化して、パン軸単位ベクトルｅｎｙを算出する。つまり、このパン軸単位ベクトルｅｎｙが、注視点に向いたロボットカメラＣのパン軸を示す。
【００７９】
【数１２】
0006609112.tif 000013
【００８０】
射影変換行列生成部８６は、ロボットカメラＣ及び基準フレーム画像毎に、注視点がフレーム画像の所定位置（例えば、画像中央）となるように射影変換するための射影変換行列を生成するものである。
具体的には、射影変換行列生成部８６は、カメラ姿勢算出部８４で算出されたパン軸単位ベクトルの転置ｅｎｙＴとロール軸単位ベクトルの転置ｅｎｚＴとチルト軸単位ベクトルの転置ｅｎｘＴとが要素として含まれる回転行列Ｒ´ｎを生成する。
【００８１】
下記の式（１３）のように、前記した単位ベクトルｅｎｘ，ｅｎｙ，ｅｎｚを用いると、注視点を画像中央に合わせ、かつ、フレーム画像の水平軸を世界座標系の垂直軸に直交させるための回転行列Ｒ´ｎを得ることができる。この式（１３）では、Ｔが転置を示す。
【００８２】
【数１３】
0006609112.tif 000014
【００８３】
本実施形態では、各フレーム画像における被写体のサイズを揃えることとした。このため、各ロボットカメラＣの焦点距離を、各ロボットカメラＣの光学中心から注視点までの距離に応じて、デジタルズームにより補正する。つまり、補正後の焦点距離Ｆ´ｎは、式（１４）に示すように、全てのロボットカメラＣの焦点距離の平均Ｆａｖｅに、全てのロボットカメラＣの光学中心から注視点までの距離平均ωａｖｅと、ロボットカメラＣｎの光学中心から注視点までの距離平均ωｎとの比を乗じた値とする。
【００８４】
【数１４】
0006609112.tif 000015
【００８５】
この式（１４）では、ｋが射影変換後のズーム率を示す係数であり、予め任意の値で設定される。つまり、この係数ｋの値を大きくする程、射影変換画像がデジタルズームによって拡大される。
【００８６】
ここで、内部パラメータ行列Ａ´ｎは、補正後の焦点距離Ｆ´ｎを用いて、下記の式（１５）で定義される。従って、射影変換行列Ｈｎは、下記の式（１６）で表される。このように、射影変換行列生成部８６は、式（１６）で表される射影変換行列を、射影変換行列群生成部９０に出力する。
【００８７】
【数１５】
0006609112.tif 000016
【００８８】
【数１６】
0006609112.tif 000017
【００８９】
射影変換行列群生成部９０は、ロボットカメラＣ毎に、参照フレーム画像の射影変換行列を、射影変換行列生成部８６から入力された基準フレーム画像の射影変換行列から補間するものである。
【００９０】
＜射影変換行列の補間＞
図７を参照し、射影変換行列群生成部９０による射影変換行列の補間について、説明する（適宜図１参照）。
【００９１】
図７に示すように、射影変換行列生成部８６は、ロボットカメラＣ１，Ｃ２，…，Ｃｎ毎に、基準フレーム画像Ｆ１，Ｆ２，Ｆｉの射影変換行列Ｈ１１〜Ｈｎｉを生成している。そこで、射影変換行列群生成部９０は、基準フレーム画像Ｆ１，Ｆ２，Ｆｉ以外の参照フレーム画像について、射影変換行列を補間する。
【００９２】
ロボットカメラＣ１の基準フレーム画像Ｆ１，Ｆ２の間には、７枚の参照フレーム画像が挟まれている。言い換えるなら、これら参照フレーム画像は、前後に基準フレーム画像Ｆ１，Ｆ２が位置している。従って、射影変換行列群生成部９０は、ロボットカメラＣ１について、これら参照フレーム画像の射影変換行列を、基準フレーム画像Ｆ１，Ｆ２の射影変換行列Ｈ１１，Ｈ１２により補間する。
【００９３】
各参照フレーム画像の射影変換行列は、基準フレーム画像Ｆ１，Ｆ２とのフレーム間距離に応じて補間される。つまり、参照フレーム画像が基準フレーム画像Ｆ１に近くなる程、その参照フレーム画像の射影変換行列が、基準フレーム画像Ｆ１の射影変換行列Ｈ１１に近くなる。一方、参照フレーム画像が基準フレーム画像Ｆ２に近くなる程、その参照フレーム画像の射影変換行列が、基準フレーム画像Ｆ２の射影変換行列Ｈ１２に近くなる。
【００９４】
前記と同様、射影変換行列群生成部９０は、ロボットカメラＣ１について、基準フレーム画像Ｆ２，Ｆｉに挟まれた参照フレーム画像の射影変換行列を、基準フレーム画像Ｆ２，Ｆｉの射影変換行列Ｈ１２，Ｈ１ｉを用いて補間する。ロボットカメラＣ１と同様、射影変換行列群生成部９０は、ロボットカメラＣ２，…，Ｃｎについても、参照フレーム画像の射影変換行列を補間する。
【００９５】
このとき、射影変換行列群生成部９０は、参照フレーム画像の射影変換行列を線形補間することが好ましい。これにより、射影変換行列群生成部９０は、補間処理の負荷を抑えることができる。
【００９６】
ここで、カメラマンは、一定の速度でパンニングするのではなく、次第にパンニング速度を上げるカメラワークを行うことが知られている。そこで、射影変換行列群生成部９０は、このカメラワークを多視点映像表現として反映すべく、参照フレーム画像の射影変換行列を非線形補間することもできる。
【００９７】
さらに、射影変換行列群生成部９０は、線形補間及び非線形補間を併用してもよい。例えば、射影変換行列群生成部９０は、基準フレーム画像Ｆ１，Ｆ２に挟まれた参照フレーム画像の射影変換行列を線形補間し、基準フレーム画像Ｆ２，Ｆｉに挟まれた参照フレーム画像の射影変換行列を非線形補間する。
【００９８】
このようにして、射影変換行列群生成部９０は、全てのロボットカメラＣ１，Ｃ２，…，Ｃｎについて、基準フレーム画像Ｆ１，Ｆ２，Ｆｉと参照フレーム画像との射影変換行列からなる射影変換行列群を生成する。そして、射影変換行列群生成部９０は、生成した射影変換行列群を射影変換部１００に出力する。
【００９９】
図１に戻り、多視点映像表現装置１の説明を続ける。
射影変換部１００は、射影変換行列群生成部９０から入力された射影変換行列群により、全てのロボットカメラＣ１，…，Ｃｎの基準フレーム画像及び参照フレーム画像を射影変換することで、射影変換画像を生成するものである。
【０１００】
ここで、基準フレーム画像及び参照フレーム画像の画素座標（ｕｎ，ｖｎ）を下記の式（１７）の座標変換式により変換することで、射影変換後の画素座標（ｕ´ｎ，ｖ´ｎ）が求められる。つまり、図１０に示すように、射影変換部１００は、式（１６）及び式（１７）を用いて、基準フレーム画像αを射影変換し、射影変換画像βを生成する（参照フレーム画像も同様に射影変換）。
【０１０１】
【数１７】
0006609112.tif 000018
【０１０２】
射影変換画像βの中心は、３次元座標系（Ｘ´，Ｙ´，Ｚ´）の原点Ｏから注視点ＰまでのＺ´軸上に位置する。従って、射影変換画像βでは、注視点Ｐが画像中央に位置することになる。
その後、射影変換部１００は、基準フレーム画像α及び参照フレーム画像から生成した射影変換画像βを、多視点映像表現部１１０に出力する。
【０１０３】
多視点映像表現部１１０は、データ指定部８２から入力されたカメラパスに従って、射影変換部１００から入力された射影変換画像を切り替えることで、多視点表現映像を生成するものである。
なお、多視点表現映像とは、多視点映像表現が施された多視点映像のことである。
【０１０４】
＜多視点表現映像＞
図１１を参照し、解析データが表示された多視点表現映像の具体例について、説明する（適宜図１参照）。
【０１０５】
図１１（ａ）及び図１１（ｂ）の多視点表現映像は、ハンドボール試合のシュートシーンにおいて、コート横側から選手Ｈの背中側に視点を切り替えたものである。この多視点表現映像には、解析データのＣＧとして、選手ＨがシュートしたボールＯの速度が合成されている（符号αで図示）。従って、図１１（ｂ）のように、選手Ｈの腕にボールＯが隠れる場合でも、視聴者がボールＯの速度を把握しやすくなる。
【０１０６】
また、図１１（ｃ）及び図１１（ｄ）の多視点表現映像は、ハンドボール試合のシュートシーンにおいて、ゴールの正面側から横側に視点を切り替えたものである。この多視点表現映像には、解析データのＣＧとして、ボールＯの軌道が合成されている（符号βで図示）。従って、図１１（ｄ）のように、ボールＯが高速に飛ぶ場合でも、視聴者がボールＯの弾道を把握しやすくなる。
【０１０７】
［多視点映像表現装置の動作］
図１２を参照し、図１の多視点映像表現装置１の動作について、説明する（適宜図１参照）。
多視点映像表現装置１は、多視点映像撮影部１０によって、多視点映像を生成する（ステップＳ１）。
多視点映像表現装置１は、多視点映像撮影部１０が生成した多視点映像を、多視点映像格納部２０に格納する（ステップＳ２）。
【０１０８】
多視点映像表現装置１は、カメラキャリブレーション部３０によって、カメラキャリブレーションによりカメラパラメータを算出する（ステップＳ３）。
多視点映像表現装置１は、オブジェクト追跡部４０によって、多視点映像に含まれるオブジェクトを追跡し、追跡したオブジェクトの画像座標から世界座標を算出する（ステップＳ４）。
【０１０９】
多視点映像表現装置１は、データ解析部５０によって、オブジェクトの世界座標の変化により、解析データを生成する（ステップＳ５）。
多視点映像表現装置１は、ＣＧ生成部６０によって、解析データが視覚的に表現された三次元ＣＧを生成する（ステップＳ６）。
多視点映像表現装置１は、ＣＧ合成部７０によって、多視点映像に解析データのＣＧを合成する（ステップＳ７）。
【０１１０】
多視点映像表現装置１は、データ指定部８２によって、基準フレーム画像、注視点、カメラパス等のデータが指定される（ステップＳ８）。
多視点映像表現装置１は、ロール軸算出部８４１によって、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅｎｚを、被写体（注視点）へ向いたロボットカメラＣのロール軸として算出する（ステップＳ９）。
【０１１１】
多視点映像表現装置１は、チルト軸算出部８４３によって、ロール軸単位ベクトルｅｎｚと、設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅｎｘを、被写体（注視点）へ向いたロボットカメラＣのチルト軸として算出する（ステップＳ１０）。
多視点映像表現装置１は、パン軸算出部８４５によって、チルト軸単位ベクトルｅｎｘとロール軸単位ベクトルｅｎｚとの外積で表されるパン軸単位ベクトルｅｎｙを、被写体（注視点）へ向いたロボットカメラＣのパン軸として算出する（ステップＳ１１）。
【０１１２】
多視点映像表現装置１は、射影変換行列生成部８６によって、ロボットカメラＣ及び基準フレーム画像毎に、式（１６）で表される射影変換行列を生成する（ステップＳ１２）。
多視点映像表現装置１は、射影変換行列群生成部９０によって、参照フレーム画像の射影変換行列をステップＳ１２で算出した基準フレーム画像の射影変換行列から補間することで、射影変換行列群を生成する（ステップＳ１３）。
【０１１３】
多視点映像表現装置１は、射影変換部１００によって、ステップＳ１３で生成した射影変換行列群により、全てのロボットカメラＣの基準フレーム画像及び参照フレーム画像を射影変換することで、射影変換画像を生成する（ステップＳ１４）。
多視点映像表現装置１は、多視点映像表現部１１０によって、ステップＳ８で指定されたカメラパスに従って、ステップＳ１４で生成された射影変換画像を切り替えることで、多視点表現映像を生成する（ステップＳ１５）。
【０１１４】
［作用・効果］
本願発明の実施形態に係る多視点映像表現装置１は、多視点映像表現を行う際、ボールＯの弾道や速度等の解析データが表示されるので、ボールＯの動きが分かりやすくなる。これによって、本願発明によれば、多視点映像表現の臨場感を高くすることができる。
【０１１５】
また、多視点映像表現装置１は、視点が連続的に切り替わるようにカメラパスを指定できる。そして、多視点映像表現装置１は、基準フレーム画像の射影変換行列から参照フレーム画像の射影変換行列を補間するので、従来技術に比べて、少ない演算量で射影変換行列群を生成できる。これによって、多視点映像表現装置１は、複数のフレーム画像で連続的な多視点映像表現を行うことができ、例えば、スポーツ中継における選手の姿勢や動作の分析、解説の幅を広げることができる。
【０１１６】
さらに、多視点映像表現装置１は、基準フレーム画像のみに注視点を指定するだけでよく、参照フレーム画像に注視点を指定する必要がないので、ユーザの作業負担を軽減することができる。
【０１１７】
（変形例）
以上、本願発明の実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【０１１８】
前記した実施形態では、射影変換行列群を用いて射影変換を行うこととして説明したが、本願発明は、これに限定されない。例えば、本願発明は、下記の参考文献３に記載された手法により、射影変換を行ってもよい。
参考文献３：特開２０１４−２７５２８号公報
【０１１９】
前記した実施形態では、解析データとして、ボールの速度と軌道を求めることとして説明したが、本願発明は、これに限定されない。
例えば、解析データとして、ボールの出射角を求めることができる。具体的には、ボールの出射角は、ボールの世界座標の変化から、ボールの移動方向を求め、求めたボールの移動方向と予め設定した基準方向とのなす角を表す。
また、解析データとして、ボールの打点を求めることができる。具体的には、ボールの打点は、ボールの速度と移動方向との両方が予め設定した閾値を超える程、大きく変化した位置になる。
【０１２０】
多視点映像表現装置１は、コンピュータが備える演算装置、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる多視点映像表現プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【０１２１】
１  多視点映像表現装置
１０  多視点映像撮影部
２０  多視点映像格納部
３０  カメラキャリブレーション部
４０  オブジェクト追跡部
５０  データ解析部（解析データ生成部）
６０  ＣＧ生成部
７０  ＣＧ合成部
８０  演算部
８２  データ指定部
８４  カメラ姿勢算出部
８４１  ロール軸算出部
８４３  チルト軸算出部
８４５  パン軸算出部
８６  射影変換行列生成部
９０  射影変換行列群生成部
１００  射影変換部
１１０  多視点映像表現部
【図１】
0006609112.tif 000019
【図２】
0006609112.tif 000020
【図３】
0006609112.tif 000021
【図４】
0006609112.tif 000022
【図５】
0006609112.tif 000023
【図６】
0006609112.tif 000024
【図７】
0006609112.tif 000025
【図８】
0006609112.tif 000026
【図９】
0006609112.tif 000027
【図１０】
0006609112.tif 000028
【図１１】
0006609112.tif 000029
【図１２】
0006609112.tif 000030