(57)【要約】【課題】複数台のロボットカメラを、被写体の動きに確実に追従させることが可能なロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供する。【解決手段】多視点ロボットカメラシステム１００は、カメラキャリブレーションによってロボットカメラＣａｍｎのカメラパラメータを算出するカメラキャリブレーション部２０と、受信機から発信機の世界座標を受信する世界座標受信部３０と、ロボットカメラＣａｍｎの並進行列及び回転行列と、発信機の世界座標とに基づいて、ロボットカメラＣａｍｎを発信機の世界座標の方向に向けるためのパン値及びチルト値を算出し、算出したパン値及びチルト値に基づいてロボットカメラＣａｍｎの姿勢を制御するパン・チルト制御部４１と、ロボットカメラＣａｍ１，…，ＣａｍＮで被写体の撮影サイズが等しくなるように、ロボットカメラＣａｍｎのズーム値を算出するズーム制御部４５とを備える。【選択図】図２
2015126402.tif 000002
【特許請求の範囲】
【請求項１】
複数台のロボットカメラの姿勢を、発信機が付された被写体の動きに追従するように制御するロボットカメラ制御装置であって、
前記ロボットカメラのカメラパラメータとして、世界座標系と前記ロボットカメラのカメラ座標系とを対応付ける並進行列及び回転行列を算出するカメラキャリブレーション部と、
受信機を介して、前記発信機の世界座標を受信する世界座標受信部と、
前記カメラキャリブレーション部により算出された前記ロボットカメラの並進行列及び回転行列と、前記世界座標受信部により受信された発信機の世界座標とに基づき、前記ロボットカメラから前記発信機の世界座標へ向かう単位ベクトルを算出する単位ベクトル算出部と、
前記単位ベクトル算出部により算出された単位ベクトルに前記回転行列を乗算することで、当該単位ベクトルを、カメラ座標系における前記ロボットカメラから前記発信機の世界座標へと向かう単位ベクトルへと変換する単位ベクトル変換部と、
前記単位ベクトル変換部による変換後の単位ベクトルに基づいて、前記ロボットカメラを前記発信機の世界座標の方向に向けるためのパン値及びチルト値を算出するパン・チルト算出部と、
前記パン・チルト算出部により算出されたパン値及びチルト値の大きさに応じて、前記ロボットカメラのパン・チルト量を制御する制御信号を生成する制御信号生成部とを備えることを特徴とするロボットカメラ制御装置。
【請求項２】
前記複数台のロボットカメラから予め選択された１台のロボットカメラの焦点距離ｆｍと、前記発信機の世界座標Ｐと、前記選択されたロボットカメラの並進行列Ｔｍ及び回転行列Ｒｍとに基づいて、前記選択されたロボットカメラ以外のロボットカメラの焦点距離ｆｎを、
【数１】
2015126402.tif 000011
により算出し、前記算出した焦点距離ｆｎの大きさに応じて、前記選択されたロボットカメラ以外のロボットカメラのズーム値を算出するズーム制御部をさらに備えることを特徴とする請求項１に記載のロボットカメラ制御装置。
【請求項３】
複数台のロボットカメラと、前記複数台のロボットカメラの姿勢を、発信機が付された被写体の動きに追従するように制御するロボットカメラ制御装置と、を備えた多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記ロボットカメラのカメラパラメータとして、世界座標系と前記ロボットカメラのカメラ座標系とを対応付ける並進行列及び回転行列を算出するカメラキャリブレーション部と、
受信機を介して、前記発信機の世界座標を受信する世界座標受信部と、
前記カメラキャリブレーション部により算出された前記ロボットカメラの並進行列及び回転行列と、前記世界座標受信部により受信された発信機の世界座標とに基づき、前記ロボットカメラから前記発信機の世界座標へ向かう単位ベクトルを算出する単位ベクトル算出部と、
前記単位ベクトル算出部により算出された単位ベクトルに前記回転行列を乗算することで、当該単位ベクトルを、カメラ座標系における前記ロボットカメラから前記発信機の世界座標へと向かう単位ベクトルへと変換する単位ベクトル変換部と、
前記単位ベクトル変換部による変換後の単位ベクトルに基づいて、前記ロボットカメラを前記発信機の世界座標の方向に向けるためのパン値及びチルト値を算出するパン・チルト算出部と、
前記パン・チルト算出部により算出されたパン値及びチルト値の大きさに応じて、前記ロボットカメラのパン・チルト量を制御する制御信号を生成する制御信号生成部とを備えるカメラ姿勢制御部と、を備えることを特徴とする多視点ロボットカメラシステム。
【請求項４】
複数台のロボットカメラの姿勢を、発信機が付された被写体の動きに追従するように制御するために、コンピュータを、
前記ロボットカメラのカメラパラメータとして、世界座標系と前記ロボットカメラのカメラ座標系とを対応付ける並進行列及び回転行列を算出するカメラキャリブレーション部、
受信機を介して、前記発信機の世界座標を受信する世界座標受信部、
前記カメラキャリブレーション部により算出された前記ロボットカメラの並進行列及び回転行列と、前記世界座標受信部により受信された発信機の世界座標とに基づき、前記ロボットカメラから前記発信機の世界座標へ向かう単位ベクトルを算出する単位ベクトル算出部、
前記単位ベクトル算出部により算出された単位ベクトルに前記回転行列を乗算することで、当該単位ベクトルを、カメラ座標系における前記ロボットカメラから前記発信機の世界座標へと向かう単位ベクトルへと変換する単位ベクトル変換部、
前記単位ベクトル変換部による変換後の単位ベクトルに基づいて、前記ロボットカメラを前記発信機の世界座標の方向に向けるためのパン値及びチルト値を算出するパン・チルト算出部、
前記パン・チルト算出部により算出されたパン値及びチルト値の大きさに応じて、前記ロボットカメラのパン・チルト量を制御する制御信号を生成する制御信号生成部、として機能させることを特徴とするロボットカメラ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。
【背景技術】
【０００２】
従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。まず、多視点ロボットカメラシステムでは、多視点映像を撮影するために、カメラキャリブレーションを行って、カメラの姿勢及び位置を算出する（非特許文献２）。次に、多視点ロボットカメラシステムは、複数台のロボットカメラのうち、１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。
【０００３】
図５に示すように、マスターカメラＭＣの光軸β上には、注視点Ｑが設定されており、マスターカメラ以外のスレーブカメラＳＣは、注視点Ｑに向くように制御角度が変化して、自動的に方向制御される。カメラマンが、マスターカメラＭＣと注視点Ｑとの距離であるデプス値を変化させることで、注視点ＱをマスターカメラＭＣの光軸β上で移動させる。そして、注視点Ｑが被写体αに重なるように（すなわち、全スレーブカメラＳＣの画面の中心に被写体が位置するように）、カメラマンが、マスターカメラＭＣのパン、チルト及びデプスを調整することで、多視点映像を撮影することができる。
なお、図５の注視点Ｑ１〜Ｑ５は、マスターカメラＭＣの光軸β上を移動する注視点Ｑについて、時間ｔ＝１〜５での位置を示している。
【０００４】
一方、近年、スポーツの試合では、選手が身に着けているものやボールなどにＩＣチップを埋め込み、このＩＣチップから発信された電波等を受信機で受信することで、選手やボール等の３次元位置情報を取得することが行われている。このようにして取得した３次元位置情報から、選手の動きの解析や、ボールがコートのラインを割ったかどうかという判定を行うことが可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】伊佐憲一、他４名、「最新スポーツ中継技術  世界初！  プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５
【非特許文献２】「デジタル画像処理」、財団法人  画像情報教育振興協会、２００４年７月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、スポーツ中継において、多視点ロボットカメラを用いて選手のプレイシーンの多視点映像を撮影することで、視聴者が、選手の動きや複数の選手の位置関係を任意の視点から見ることができる技術や、プレイシーンの立体映像を生成することで、視聴者が、高い臨場感を持って見ることができる技術に期待が寄せられている。
現在のスポーツ中継では、カメラマンがボールや特定の選手を常にパンフォローして追随するシーンが多い。例えば、サッカー中継において、優先度の高い撮影ショットであるベースショットやリプレイシーンでは、カメラがボールを追随して撮影することが多い。しかし、そのようなシーンで、例えば、ボールが高速に移動したときや、選手に隠れて見えなくなってしまったとき、カメラマンがボールのパンフォローに失敗し、重要なシーンを撮り逃すことがある。
【０００７】
そこで、本発明は、複数台のロボットカメラを、被写体の動きに確実に追従させることが可能なロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題を解決するため、本発明は、複数台のロボットカメラの姿勢を、被写体の動きに追従するように制御するロボットカメラ制御装置であって、カメラキャリブレーション部と、世界座標受信部と、単位ベクトル算出部と、単位ベクトル変換部と、パン・チルト算出部と、制御信号生成部とを備えることを特徴とする。
【０００９】
かかる構成によれば、ロボットカメラ制御装置は、カメラキャリブレーション部により、ロボットカメラのカメラパラメータとして、並進行列及び回転行列を算出する。
また、ロボットカメラ制御装置は、世界座標受信部により、受信機から、被写体に付された発信機の世界座標を受信する。
【００１０】
さらに、ロボットカメラ制御装置は、単位ベクトル算出部により、カメラキャリブレーション部により算出されたロボットカメラの並進行列及び回転行列と、世界座標受信部によって受信された発信機の世界座標とに基づき、ロボットカメラから発信機の世界座標へ向かう単位ベクトルを算出する。
ロボットカメラ制御装置は、単位ベクトル変換部により、単位ベクトル算出部により算出された単位ベクトルに回転行列を乗算することで、当該単位ベクトルを、カメラ座標系におけるロボットカメラから発信機の世界座標へと向かう単位ベクトルへと変換する。
ロボットカメラ制御装置は、パン・チルト算出部により、単位ベクトル変換部による変換後の単位ベクトルに基づいて、各ロボットカメラを発信機の世界座標の方向に向けるためのパン値及びチルト値を算出する。
そして、ロボットカメラ制御装置は、制御信号生成部により、パン・チルト算出部により算出されたパン値及びチルト値の大きさに応じて、ロボットカメラのパン・チルト量を制御する制御信号を生成する。
このように、ロボットカメラ制御装置は、複数台のロボットカメラの姿勢を、被写体に付された発信機の世界座標の方向に向くように制御する。これによれば、ロボットカメラ制御装置は、各ロボットカメラを、発信機が付された被写体の動きに自動追従させることができる。
【００１１】
ここで、本発明のロボットカメラ制御装置は、コンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスク等のハードウェア資源を、カメラキャリブレーション部、世界座標受信部、単位ベクトル算出部、単位ベクトル変換部、パン・チルト算出部、制御信号生成部として協調動作させるためのロボットカメラ制御プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【００１２】
また、本発明は、前記したロボットカメラ制御装置と、複数台のロボットカメラとを備える多視点ロボットカメラシステムとして構成してもよい。
【発明の効果】
【００１３】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、各ロボットカメラを被写体の動きに正確に追従させることができるので、動きのある被写体を確実にパンフォローした多視点映像を撮影することが可能となる。また、このようにして撮影した多視点映像を用いて、任意視点映像や立体映像を生成することが可能となる。さらに、本発明によれば、各ロボットカメラで被写体を自動追従することができるので、カメラマンの操作を要することなく、動きのある被写体の多視点映像を撮影することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る多視点ロボットカメラシステムの概要を説明する説明図である。
【図２】本発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図３】図２の多視点ロボットカメラシステムのパン・チルト制御部の構成を示すボロック図である。
【図４】図２の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図５】従来の多視点ロボットカメラシステムを説明する説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。
【００１６】
［多視点ロボットカメラシステムの概要］
図１を参照し、本発明の実施形態に係る多視点ロボットカメラシステム１００の概要について説明する。
図１に示すように、多視点ロボットカメラシステム１００は、複数台（ここでは、９台）のロボットカメラＣａｍ１，…，Ｃａｍ９と、ロボットカメラ制御装置１とを備える。ロボットカメラＣａｍ１，…，Ｃａｍ９は、雲台（例えば電動雲台）に小型カメラを搭載したものである。
多視点ロボットカメラシステム１００は、例えば、スポーツ（ここでは、サッカー）映像の撮影において、ロボットカメラＣａｍ１，…，Ｃａｍ９を用いて、被写体Ｏの多視点映像を撮影するものである。ここでは、被写体Ｏはサッカーボールである。被写体Ｏには、発信機Ｃｏｍ（例えば、ＩＣチップ等）が予め埋め込まれているものとする。発信機Ｃｏｍは、電波等を受信機Ｒｅｃに適時送信するようになっている。
【００１７】
図１に示す受信機Ｒｅｃは、発信機Ｃｏｍからの電波等を受信するとともに、発信機Ｃｏｍの世界座標をロボットカメラ制御装置１に送信するものである。ここで、受信機Ｒｅｃは、例えば、発信機Ｃｏｍに応答信号を要求する要求信号を発信し、発信機Ｃｏｍから要求信号に対する応答信号を受信するまでの時間や、受信した応答信号の波長から、発信機Ｃｏｍまでの距離や方向を検出して発信機Ｃｏｍの世界座標を特定する。また、受信機Ｒｅｃは、発信機Ｃｏｍから送信された電波等を受信し、その電波等の波長から発信機Ｃｏｍまでの距離や方向を検出して発信機Ｃｏｍの世界座標を特定してもよい。また、例えば、発信機ＣｏｍがＧＰＳ（Global Positioning System）機能を備えている場合、受信機Ｒｅｃは、発信機Ｃｏｍから世界座標そのものを示す電波等を受信する。この発信機Ｃｏｍの世界座標は、被写体Ｏの３次元位置座標とみなされる。発信機Ｃｏｍ及び受信機Ｒｅｃは、一般的なものを使用することができる。また、図１では、受信機Ｒｅｃを１台のみ示しているが、受信機Ｒｅｃは複数台あってもよい。
【００１８】
なお、前記した受信機Ｒｅｃと発信機Ｃｏｍについては、例えば、http://monoist.atmarkit.co.jp/mn/articles/1204/04/news040.htmlに詳細が記載されている。
【００１９】
図１に示すように、プレイヤーＰＬによって、被写体Ｏが移動させられた場合、移動後の発信機Ｃｏｍの世界座標が受信機Ｒｅｃによって特定され、受信機Ｒｅｃからロボットカメラ制御装置１に送信される。そして、ロボットカメラ制御装置１は、受信機Ｒｅｃから発信機Ｃｏｍの世界座標を受信すると、受信した発信機Ｃｏｍの世界座標に向くように、ロボットカメラＣａｍ１，…，Ｃａｍ９の制御を行う。これによって、多視点ロボットカメラシステム１００は、ロボットカメラＣａｍ１，…，Ｃａｍ９を、発信機Ｃｏｍが付された被写体Ｏの動きに自動追従させることが可能となる。
【００２０】
［多視点ロボットカメラシステムの構成］
次に、図２を参照し、本発明の実施形態に係る多視点ロボットカメラシステム１００の構成について説明する。
図２に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、複数台のロボットカメラＣａｍ１，…，ＣａｍＮ（但し、Ｎ≧２を満たす整数）を備える。
【００２１】
ロボットカメラ制御装置１は、ロボットカメラＣａｍｎ（添え字ｎは、カメラ番号１〜Ｎを示す）を制御するものであり、操作インターフェース部１０と、カメラキャリブレーション部２０と、世界座標受信部３０と、ロボットカメラ制御部４０１，…，４０Ｎ（４０）とを備える。
【００２２】
操作インターフェース部１０は、カメラマンが、ロボットカメラＣａｍ１，…，ＣａｍＮを遠隔操作するものであり、フォーカス・アイリス指令部１１と、ズーム操作部１３とを備える。
【００２３】
フォーカス・アイリス指令部１１は、ロボットカメラＣａｍｎのフォーカス及びアイリスを指令するものである。具体的には、フォーカス・アイリス指令部１１は、カメラマンから指令が入力されると、フォーカス及びアイリスの指令信号を生成し、フォーカス・アイリス制御部４３に出力する。
【００２４】
ズーム操作部１３は、カメラマンが、ロボットカメラＣａｍｎのズームを操作するものである。ズーム操作部１３は、カメラマンの操作に応じたズーム値をエンコーダ（不図示）により検出して、ズーム制御部４５に出力する。
ここでは、カメラマンが、ズーム操作部１３により、Ｎ台のロボットカメラＣａｍ１，…，ＣａｍＮのうち、予め任意に選択した１台のロボットカメラＣａｍｍのズームを操作する。ズーム操作部１３は、このロボットカメラＣａｍｍのズーム値を検出して、ズーム制御部４５に出力する。
【００２５】
カメラキャリブレーション部２０は、ここでは、ロボットカメラＣａｍｎのカメラパラメータを強校正キャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。
カメラキャリブレーション部２０は、強校正カメラキャリブレーションを行ったときのロボットカメラＣａｍｎのカメラパラメータ（ここでは、回転行列Ｒｎ及び並進行列Ｔｎ）を算出し、記憶装置に格納する。
【００２６】
カメラキャリブレーション部２０は、ここでは、カメラキャリブレーション時のロボットカメラＣａｍｎのパン値ｐ０ｎ、チルト値ｔ０ｎ、ズーム値ｚ０ｎ、フォーカス値ｆ０ｎ、アイリス値ｉ０ｎを外部から入力し、記憶装置（不図示）に格納する。これらの各値は次のようにして求められる。
例えば、ロボットカメラＣａｍｎでカメラキャリブレーション時のパン、チルト、ズーム、フォーカス、アイリスのエンコーダ値がそれぞれ検出される。そして、外部のＰＣ（Personal Computer）等において、各エンコーダ値と対応付けて予め設定された変換情報によりパン値ｐ０ｎ、チルト値ｔ０ｎ、ズーム値ｚ０ｎ、フォーカス値ｆ０ｎ、アイリス値ｉ０ｎにそれぞれ変換され、カメラキャリブレーション部２０に出力される。
【００２７】
カメラキャリブレーション部２０は、例えば、ロボットカメラＣａｍｎが、図１に示すサッカーフィールドＳＦ内において、世界座標（３次元位置座標）が既知の位置を撮影した撮影画像を用いて強校正キャリブレーションを行い、世界座標系ＷとロボットカメラＣａｍｎのカメラ座標系ｗｎとを対応付ける。
【００２８】
ここで、世界座標系ＷとロボットカメラＣａｍｎのカメラ座標系ｗｎとの関係は、カメラ姿勢Ｒｎおよびカメラ位置Ｔｎを用いて、以下の式（１）で表される。
【００２９】
【数１】
2015126402.tif 000003
【００３０】
なお、サッカーフィールドＳＦ（図１参照）の大きさは既知であるものとし、サッカーフィールドＳＦ内の任意の位置（例えば、４つのコーナーのうち１つ）に世界座標系の原点（０，０，０）を予め設定しておくものとする。
ロボットカメラＣａｍｎは、例えば、サッカーフィールドＳＦ内に設定された原点（０，０，０）の位置を予め撮影する。
【００３１】
カメラキャリブレーション部２０は、強校正カメラキャリブレーションにより、前記式（１）におけるカメラ姿勢Ｒｎおよびカメラ位置Ｔｎを、以下の式（２）に示すような３×３の回転行列Ｒｎ及び並進行列Ｔｎとして算出する。
【００３２】
【数２】
2015126402.tif 000004
【００３３】
なお、強校正キャリブレーションは、例えば、文献「デジタル画像処理：財団法人  画像情報教育振興協会」の「１５−１−１  透視投影モデルに基づく幾何学的関係の記述」、「１５−１−２  同次座標を用いた記述」、「１５−１−３  カメラキャリブレーション」に記載された手法を用いることができるため、ここでは詳細な説明を省略する。
【００３４】
世界座標受信部３０は、受信機Ｒｅｃ（図１参照）から送信された発信機Ｃｏｍ（図１参照）の世界座標Ｐを受信するものである。世界座標受信部３０は、受信した発信機Ｃｏｍ（図１参照）の世界座標Ｐをロボットカメラ制御部４０ｎに出力する。
【００３５】
ロボットカメラ制御部４０１，・・・，４０Ｎは、ロボットカメラＣａｍ１，・・・，ＣａｍＮを制御するものであり、パン・チルト制御部４１１，・・・，４１Ｎ（４１）と、フォーカス・アイリス制御部４３１，・・・，４３Ｎ（４３）と、ズーム制御部（ズーム値算出部）４５１，・・・，４５Ｎ（４５）とを備える。
【００３６】
パン・チルト制御部４１は、世界座標受信部３０から入力された発信機Ｃｏｍ（図１参照）の世界座標Ｐと、カメラキャリブレーション部２０に格納された回転行列Ｒｎ及び並進行列Ｔｎ（つまり、ロボットカメラＣａｍｎの設置位置の３次元座標）とに基づいて、ロボットカメラＣａｍｎの姿勢（パン及びチルト）を制御するものである。パン・チルト制御部４１は、図３に示すように、単位ベクトル算出部４１ａと、単位ベクトル変換部４１ｂと、パン・チルト算出部４１ｃと、制御信号生成部４１ｄとを備える。
【００３７】
具体的には、パン・チルト制御部４１は、単位ベクトル算出部４１ａによって、以下の式（３）に示すように、ロボットカメラＣａｍｎから発信機Ｃｏｍ（図１参照）の世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓｎを算出する。なお、式（３）における“|| ||”は、ノルムを表す。
【００３８】
【数３】
2015126402.tif 000005
【００３９】
また、パン・チルト制御部４１は、単位ベクトル変換部４１ｂによって、以下の式（４）に示すように、単位ベクトル変換部４１ｂにより算出された単位ベクトルＯｐｔａｘｉｓｎを、カメラ座標系におけるロボットカメラＣａｍｎから発信機Ｃｏｍ（図１参照）の世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓＣｎに変換する。
【００４０】
【数４】
2015126402.tif 000006
【００４１】
そして、パン・チルト制御部４１は、パン・チルト算出部４１ｃによって、以下の式（５）〜式（７）に示すように、単位ベクトル変換部４１ｂにより変換された単位ベクトルＯｐｔａｘｉｓＣｎからロボットカメラＣａｍｎのパン値ｐｎ及びチルト値ｔｎを算出する。なお、ｅ１，ｅ２，ｅ３は、それぞれ、単位ベクトルＯｐｔａｘｉｓＣｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。
【００４２】
【数５】
2015126402.tif 000007
【００４３】
【数６】
2015126402.tif 000008
【００４４】
【数７】
2015126402.tif 000009
【００４５】
さらに、パン・チルト制御部４１は、制御信号生成部４１ｄによって、パン・チルト算出部４１ｃにより算出されたパン値ｐｎ及びチルト値ｔｎを、それらの値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部４１は、制御信号生成部４１ｄによって、変換したパン・チルト制御信号をロボットカメラＣａｍｎに出力する。
【００４６】
フォーカス・アイリス制御部４３は、フォーカス・アイリス指令部１８から入力された指令信号に基づいて、ロボットカメラＣａｍｎのフォーカス及びアイリスを制御するものである。ここでは、フォーカス・アイリス制御部４３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、ロボットカメラＣａｍｎのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部４３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、ロボットカメラＣａｍｎに出力する。
【００４７】
ズーム制御部４５は、ズーム操作部１３から入力された予め選択された１台のロボットカメラＣａｍｍのズーム値に基づいて、ロボットカメラＣａｍｎのズームを制御するものである。これによって、全てのロボットカメラＣａｍ１，…，ＣａｍＮにより、シーンに応じて被写体Ｏを適切なサイズで撮影することが可能となる。
【００４８】
ここでは、ズーム制御部４５は、全てのロボットカメラＣａｍ１，…，ＣａｍＮで被写体Ｏ（図１参照）の撮影サイズが等しくなるように、ロボットカメラＣａｍｎのズームを制御する。具体的には、ズーム制御部４５は、複数台のロボットカメラＣａｍ１，…，ＣａｍＮから、予め選択された１台のロボットカメラＣａｍｍ（ｍはカメラ番号を表す）のズーム値に応じた焦点距離ｆｍを用いて、以下の式（８）により、予め選択された１台のロボットカメラＣａｍｍ以外のロボットカメラＣａｍｎの焦点距離ｆｎを算出する。
【００４９】
【数８】
2015126402.tif 000010
【００５０】
そして、ズーム制御部４５は、算出した焦点距離ｆｎを、その値の大きさに応じたズーム制御信号に変換して、ロボットカメラＣａｍｎに出力する。なお、ズーム制御部４５は、予め選択された１台のロボットカメラＣａｍｍについては、ズーム制御部１３から入力したズーム値に応じた焦点距離ｆｍをズーム制御信号に変換し、ロボットカメラＣａｍｍに出力する。
【００５１】
ロボットカメラＣａｍｎは、パン・チルト制御部４１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。また、ロボットカメラＣａｍｎは、フォーカス・アイリス制御部４３から入力されたフォーカス・アイリス制御信号に応じて、フォーカス及びアイリスを駆動する。さらに、ロボットカメラＣａｍｎは、ズーム制御部４５から入力されたズーム制御信号に応じて、ズームを駆動する。
【００５２】
[多視点ロボットカメラシステムの動作]
図４を参照し、図１，２の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１，２参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０によって、ロボットカメラＣａｍｎのカメラパラメータを算出する（ステップＳ１）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０によって、算出したカメラパラメータを記憶装置に格納する（ステップＳ２）。
【００５３】
多視点ロボットカメラシステム１００は、世界座標受信部３０によって、受信機Ｒｅｃ（図１参照）から発信機Ｃｏｍ（図１参照）の世界座標Ｐを受信する。多視点ロボットカメラシステム１００は、受信した発信機Ｃｏｍ（図１参照）の世界座標Ｐをロボットカメラ制御部４０ｎに出力する（ステップＳ３）。
【００５４】
多視点ロボットカメラシステム１００は、パン・チルト制御部４１によって、ロボットカメラＣａｍｎを発信機Ｃｏｍ（図１参照）の世界座標Ｐの方向に向けるための、ロボットカメラＣａｍｎのパン値ｐ０ｎ及びチルト値ｔ０ｎを算出する。
具体的には、多視点ロボットカメラシステム１００は、パン・チルト制御部４１の単位ベクトル算出部４１ａによって、カメラキャリブレーション部２０に格納された回転行列Ｒｎ及び並進行列Ｔｎと、世界座標受信部３０から入力された発信機Ｃｏｍ（図１参照）の世界座標Ｐとに基づいて、発信機Ｃｏｍ（図１参照）の世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓｎを算出する。
また、多視点ロボットカメラシステム１００は、パン・チルト制御部４１の単位ベクトル変換部４１ｂによって、単位ベクトル算出部４１ａにより算出された単位ベクトルＯｐｔａｘｉｓｎをカメラ座標系における単位ベクトルＯｐｔａｘｉｓＣｎに変換する。
また、多視点ロボットカメラシステム１００は、パン・チルト制御部４１のパン・チルト算出部４１ｃによって、単位ベクトル変換部４１ｂにより変換された単位ベクトルＯｐｔａｘｉｓＣｎからロボットカメラＣａｍｎのパン値ｐ０ｎ及びチルト値ｔ０ｎを算出する。
そして、多視点ロボットカメラシステム１００は、パン・チルト制御部４１の制御信号生成部４１ｄによって、パン・チルト算出部４１ｃにより算出されたパン値ｐ０ｎ及びチルト値ｔ０ｎをパン・チルト制御信号に変換して、ロボットカメラＣａｍｎに出力する。
【００５５】
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部４３によって、フォーカス・アイリス指令部１１からの指令信号に応じて、ロボットカメラＣａｍｎのフォーカス・アイリス制御信号を生成して、ロボットカメラＣａｍｎに出力する。
多視点ロボットカメラシステム１００は、ズーム制御部４５によって、ズーム操作部１３からの指令信号に応じて、予め選択された１台のロボットカメラの焦点距離ｆｍに基づいて、ロボットカメラＣａｍｎの焦点距離ｆｎを算出する。そして、多視点ロボットカメラシステム１００は、ズーム制御部４５によって、算出した焦点距離ｆｎを、その値の大きさに応じたズーム制御信号に変換して、ロボットカメラＣａｍｎに出力する（ステップＳ４）。
【００５６】
以上のように、本発明の実施形態に係る多視点ロボットカメラシステム１００によれば、式（３）〜式（７）のように、ロボットカメラＣａｍｎについて、発信機Ｃｏｍ（図１参照）の世界座標Ｐに向かうパン値ｐ０ｎ及びチルト値ｔ０ｎを正確に算出することができる。そして、算出されたパン値ｐ０ｎ及びチルト値ｔ０ｎに基づいて、ロボットカメラＣａｍｎが搭載された電動雲台を動かすことで、ロボットカメラＣａｍｎが、常に被写体Ｏの方向に向くように自動制御することが可能となる。つまり、多視点ロボットカメラシステム１００によれば、全てのロボットカメラＣａｍ１，…，ＣａｍＮにより、被写体Ｏを常に正確にパンフォローすることができるので、重要なシーンを撮り逃すことなく、被写体Ｏの多視点映像を撮影することが可能となる。
【００５７】
また、従来の多視点ロボットカメラシステムでは、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラとを備え、カメラマンが操作するマスターカメラの光軸上を移動可能な注視点にスレーブカメラが向くように制御することで、被写体の多視点映像を撮影していた。これに対し、本発明の実施形態に係る多視点ロボットカメラシステム１００によれば、全てのロボットカメラＣａｍ１，…，ＣａｍＮを被写体Ｏの方向に向くように自動制御することができる。つまり、被写体Ｏの動きに自動追従させることができるので、カメラマンの操作を要することなく、被写体Ｏの多視点映像を撮影することができる。このように、本発明の実施形態に係る多視点ロボットカメラシステム１００によれば、従来技術に比べ、より簡易かつ確実に被写体Ｏの多視点映像を撮影することができる。
【００５８】
なお、本発明は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。
【００５９】
前記した実施形態では、フォーカス・アイリス制御部４３は、オートフォーカス機能及びオートアイリス機能を用いて算出したロボットカメラＣａｍｎのフォーカス値及びアイリス値に応じたフォーカス・アイリス制御信号を生成したが、これに限られない。
フォーカス・アイリス制御部４３は、ロボットカメラＣａｍｎが備えるエンコーダ（不図示）により検出された、カメラマンによるロボットカメラＣａｍｎのフォーカス及びアイリスの移動操作（エンコーダ値）を、外部のＰＣ等によりフォーカス値及びアイリス値に変換した結果を入力し、このフォーカス値及びアイリス値に応じたフォーカス・アイリス制御信号を生成してもよい。
【００６０】
また、前記した実施形態では、カメラキャリブレーション部２０は、ロボットカメラＣａｍｎが予めサッカーフィールドＳＦ（図１参照）内を撮影した撮影画像を用いて強校正キャリブレーションを行ったがこれに限られない。例えば、カメラキャリブレーション部２０が、ロボットカメラＣａｍｎが予め市松模様等のキャリブレーションパターンを撮影した撮影画像を用いて強校正キャリブレーションを行ってもよい。
【００６１】
さらに、前記した実施形態では、被写体Ｏ（図１参照）をボールのみとしたが、これに限られない。例えば、ボール及びプレイヤーＰＬ（図１参照）を被写体としてそれぞれに発信機を付しておき、カメラマンの操作によりシーンに応じてロボットカメラＣａｍ１，…，ＣａｍＮで撮影する被写体を切り替えてもよい。これによって、多視点ロボットカメラシステム１００は、複数の被写体のうち、設定された被写体の動きに自動追従した多視点映像を撮影することが可能となる。
【００６２】
また、さらに、前記した実施形態では、カメラキャリブレーション部２０は、強校正キャリブレーションによりロボットカメラＣａｍｎのカメラパラメータを算出したが、これに限られず、弱校正キャリブレーションによりカメラパラメータを算出してもよい。以下、適宜図１を参照して説明する。弱校正キャリブレーションによりカメラパラメータを算出する場合、弱校正の世界座標系における受信機Ｒｅｃの三次元位置（世界座標）と姿勢（ｘ軸、ｙ軸、ｚ軸）を求め、それを用いて弱校正の世界座標系における発信機Ｃｏｍの位置を求める必要がある。
【００６３】
なお、弱校正の世界座標系における受信機Ｒｅｃの三次元位置（世界座標）と姿勢（ｘ軸、ｙ軸、ｚ軸）は、一般的な手法により求めることができる。例えば、受信機Ｒｅｃを、サッカーフィールドＳＦのコーナーに、受信機Ｒｅｃの姿勢のｘ軸とｙ軸がコーナーから延びるサッカーフィールドＳＦの横ライン及び縦ラインと一致するように配置する。受信機Ｒｅｃの三次元位置（世界座標）は、２台のカメラ映像内の受信機Ｒｅｃの位置の画像座標と２台のロボットカメラのカメラパラメータを用いて算出できる。また、受信機Ｒｅｃの姿勢を算出するためには、２台のロボットカメラで撮影された映像において、受信機Ｒｅｃが配置されたコーナーから延びるサッカーフィールドＳＦの横ライン及び縦ラインの端の位置の座標を求める。それら２台のロボットカメラのカメラパラメータと画像座標より両端の世界座標を求める。算出した受信機Ｒｅｃの三次元位置（世界座標）からラインの端までのベクトルを算出し正規化することで、受信機Ｒｅｃの姿勢のｘ軸とｙ軸を算出することができる。受信機Ｒｅｃのｚ軸は、ｘ軸とｙ軸の外積より算出する。これによって、弱校正の世界座標系における受信機Ｒｅｃの三次元位置（世界座標）を求めることができる。
【符号の説明】
【００６４】
１      ロボットカメラ制御装置
１０      操作インターフェース部
１１      フォーカス・アイリス指令部
１３      ズーム指令部
２０      カメラキャリブレーション部
３０      世界座標受信部
４０      ロボットカメラ制御部
４１      パン・チルト制御部
４１ａ      単位ベクトル算出部
４１ｂ      単位ベクトル変換部
４１ｃ      パン・チルト算出部
４１ｄ      制御信号生成部
４３      フォーカス・アイリス制御部
４５      ズーム制御部
１００      多視点ロボットカメラシステム
【図１】
2015126402.tif 000012
【図２】
2015126402.tif 000013
【図３】
2015126402.tif 000014
【図４】
2015126402.tif 000015
【図５】
2015126402.tif 000016