(57)【要約】【課題】各ロボットカメラが搭載された雲台の回転中心の実際の位置を求めて、各ロボットカメラの方向制御を正確に行うことが可能な多視点ロボットカメラシステムを提供する。【解決手段】多視点ロボットカメラシステム１００は、エンコーダ値から非線形に変化されたデプス値を算出する操作インターフェース部１０と、カメラキャリブレーションによってカメラパラメータと、各ロボットカメラが搭載された雲台の回転中心とを算出するカメラキャリブレーション部２０と、マスターカメラＭＣの姿勢を制御するマスターカメラ制御部３０と、カメラキャリブレーション結果と撮影時とのカメラ姿勢の差分に基づいて単位ベクトルを算出し、雲台の回転中心に、算出した単位ベクトルとデプス値の積とを加算することで注視点の位置を算出する注視点算出部４０と、注視点に向くようにスレーブカメラＳＣの姿勢を制御するスレーブカメラ制御部５０とを備える。【選択図】図１
2015126401.tif 000002
【特許請求の範囲】
【請求項１】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、前記マスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するスレーブカメラ制御部とを備えるロボットカメラ制御装置において、
前記複数台のロボットカメラで撮影された第一の多視点映像と、前記第一の多視点映像の撮影時から前記複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、前記各ロボットカメラのパン又はチルト前のカメラ姿勢、位置及び光学主点と、パン又はチルト後のカメラ姿勢、位置及び光学主点とを算出するカメラパラメータ算出部と、前記カメラパラメータ算出部で算出された前記各ロボットカメラのパン又はチルト前の光学主点と、パン又はチルト後の光学主点とに基づいて、前記各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する回転中心算出部とを備えるカメラキャリブレーション部と、
前記カメラパラメータ算出部により算出した前記マスターカメラのカメラ姿勢と、撮影時の前記マスターカメラのカメラ姿勢との差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、前記マスターカメラが搭載された雲台の回転中心に、算出した当該単位ベクトルと前記マスターカメラから前記注視点までの距離であるデプス値との積を加算することで、前記注視点の位置を算出する注視点算出部と、を備え、
前記スレーブカメラ制御部は、前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御することを特徴とするロボットカメラ制御装置。
【請求項２】
前記カメラパラメータ算出部は、
前記パン又はチルト前のカメラ姿勢Ｒｎｂｅｆｏｒｅ及びカメラ位置Ｔｎｂｅｆｏｒｅから光学主点Ｐｎｂｅｆｏｒｅを
【数１】
2015126401.tif 000021
により算出し、
前記パン又はチルト後のカメラ姿勢Ｒｎａｆｔｅｒ及びカメラ位置Ｔｎａｆｔｅｒから光学主点Ｐｎａｆｔｅｒを
【数２】
2015126401.tif 000022
により算出し、
前記回転中心算出部は、
前記パン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅと、前記パン又はチルト後の光学主点Ｐｎａｆｔｅｒと、前記パン又はチルト前の撮影方向と前記パン又はチルト後の撮影方向とでなす角θｎと、前記パン又はチルト前のカメラ姿勢の奥行成分のベクトル値ｒｚｎｂｅｆｏｒｅとに基づき、
【数３】
2015126401.tif 000023
により、前記各ロボットカメラの雲台の回転中心を算出することを特徴とする請求項１に記載のロボットカメラ制御装置。
【請求項３】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように、前記スレーブカメラの姿勢を制御するロボットカメラ制御装置と、を備えた多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、
前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
前記複数台のロボットカメラで撮影された第一の多視点映像と、前記第一の多視点映像の撮影時から前記複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、前記各ロボットカメラのパン又はチルト前のカメラ姿勢、位置及び光学主点と、パン又はチルト後のカメラ姿勢、位置及び光学主点とを算出するカメラパラメータ算出部と、前記カメラパラメータ算出部で算出された前記各ロボットカメラのパン又はチルト前の光学主点と、パン又はチルト後の光学主点とに基づいて、前記各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する回転中心算出部とを備えるカメラキャリブレーション部と、
前記カメラパラメータ算出部により算出した前記マスターカメラのカメラ姿勢と、撮影時の前記マスターカメラのカメラ姿勢との差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、前記マスターカメラが搭載された雲台の回転中心に、算出した当該単位ベクトルと前記マスターカメラから前記注視点までの距離であるデプス値との積を加算することで、前記注視点の位置を算出する注視点算出部と、を備え、
前記スレーブカメラ制御部は、前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御することを特徴とする多視点ロボットカメラシステム。
【請求項４】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部とを備えるコンピュータを、
前記複数台のロボットカメラで撮影された第一の多視点映像と、前記第一の多視点映像の撮影時から前記複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、前記各ロボットカメラのパン又はチルト前のカメラ姿勢、位置及び光学主点と、パン又はチルト後のカメラ姿勢、位置及び光学主点とを算出するカメラパラメータ算出部、
前記カメラパラメータ算出部で算出された前記各ロボットカメラのパン又はチルト前の光学主点と、パン又はチルト後の光学主点とに基づいて、前記各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する回転中心算出部、
前記カメラパラメータ算出部により算出した前記マスターカメラのカメラ姿勢と、撮影時の前記マスターカメラのカメラ姿勢との差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、前記マスターカメラが搭載された雲台の回転中心に、算出した当該単位ベクトルと前記マスターカメラから前記注視点までの距離であるデプス値との積を加算することで、前記注視点の位置を算出する注視点算出部、として機能させ、
前記スレーブカメラ制御部は、前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御することを特徴とするロボットカメラ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。
【背景技術】
【０００２】
従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。まず、多視点ロボットカメラシステムでは、多視点映像を撮影するために、カメラキャリブレーションを行って、カメラの姿勢及び位置を算出する（非特許文献２）。次に、多視点ロボットカメラシステムは、複数台のロボットカメラのうち、１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。
【０００３】
図７に示すように、マスターカメラＭＣの光軸β上には、注視点Ｑが設定されており、マスターカメラ以外のスレーブカメラＳＣは、注視点Ｑに向くように制御角度が変化して、自動的に方向制御される。カメラマンが、マスターカメラＭＣと注視点Ｑとの距離であるデプス値を変化させることで、注視点ＱをマスターカメラＭＣの光軸β上で移動させる。そして、注視点Ｑが被写体αに重なるように（すなわち、全スレーブカメラＳＣの画面の中心に被写体が位置するように）、カメラマンが、マスターカメラＭＣのパン、チルト及びデプスを調整することで、多視点映像を撮影することができる。
なお、図７の注視点Ｑ１〜Ｑ５は、マスターカメラＭＣの光軸β上を移動する注視点Ｑについて、時間ｔ＝１〜５での位置を示している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】伊佐憲一、他４名、「最新スポーツ中継技術  世界初！  プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５
【非特許文献２】「デジタル画像処理」、財団法人  画像情報教育振興協会、２００４年７月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記したような多視点ロボットカメラシステムにおいては、ロボットカメラとして、ズームレンズを備えた小型カメラを雲台（電動雲台）に搭載したものを用いている。このロボットカメラのズームレンズは、ズーム量によって光学主点位置が光軸上を移動するため、雲台の回転中心と、光学主点とが同位置にあるとは限らない。しかしながら、従来の多視点ロボットカメラシステムでは、雲台の回転中心と、弱校正によって求めたロボットカメラの光学主点とが同位置にあると近似して、ロボットカメラの方向制御を行っていた。そのため、実際の雲台の回転中心と、弱校正によって求めたロボットカメラの光学主点との位置の差の分だけ、ロボットカメラの方向制御に誤差が生じていた。
【０００６】
そこで、本発明は、雲台の回転中心の実際の位置を求め、求めた雲台の回転中心に基づいてロボットカメラの方向制御を正確に行うことが可能なロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題を解決するため、本発明は、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、前記マスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するスレーブカメラ制御部とを備えるロボットカメラ制御装置において、カメラキャリブレーション部と、注視点算出部とを備えることを特徴とする。
【０００８】
かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、マスターカメラ制御部によって、カメラ姿勢操作部で操作されたカメラ姿勢をとるようにマスターカメラの姿勢を制御する。スレーブカメラ制御部については、後記する。
【０００９】
続いて、ロボットカメラ制御装置は、カメラキャリブレーション部のカメラパラメータ算出部によって、複数台のロボットカメラで撮影された第一の多視点映像と、この状態から、複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、各ロボットカメラのパン又はチルト前のカメラ姿勢、位置および光学主点の位置と、パン又はチルト後のカメラ姿勢、位置および光学主点の位置とを算出する。
【００１０】
また、ロボットカメラ制御装置は、カメラキャリブレーション部の回転中心算出部によって、各ロボットカメラのパン又はチルト前の光学主点の位置と、パン又はチルト後の光学主点の位置とに基づいて、各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する。このように、ロボットカメラ制御装置は、各ロボットカメラが搭載された雲台の回転中心の位置を求めるため、実際の雲台の回転中心の位置に基づいて各ロボットカメラのカメラ姿勢を制御することが可能となる。
【００１１】
そして、ロボットカメラ制御装置は、注視点算出部によって、カメラパラメータ算出部により算出されたマスターカメラのカメラ姿勢と、撮影時のマスターカメラのカメラ姿勢との差分に基づいて、注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、マスターカメラが搭載された雲台の回転中心に、算出した単位ベクトルとマスターカメラから注視点までの距離であるデプス値との積を加算することで、注視点の位置を算出する。このように、ロボットカメラ制御装置は、マスターカメラが搭載された雲台の回転中心に基づいて注視点の位置を正確に算出することができる。
そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。
【００１２】
ここで、本発明のロボットカメラ制御装置は、カメラ姿勢操作部と、マスターカメラ制御部と、スレーブカメラ制御部とを備えるコンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスク等のハードウェア資源を、カメラパラメータ算出部、回転中心算出部、注視点算出部として協調動作させるためのロボットカメラ制御プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【００１３】
また、本発明は、前記したロボットカメラ制御装置と、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラと、を備える多視点ロボットカメラシステムとして構成してもよい。
【発明の効果】
【００１４】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、各ロボットカメラが搭載された雲台の回転中心の実際の位置を正確に求めることができるので、求めた雲台の回転中心の位置を基準として、各ロボットカメラの方向制御を正確に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図２】図１のデプス操作部において、デプス値の調整途中の様子を説明する説明図である。
【図３】図１のデプス操作部において、デプス値の調整後の様子を説明する説明図である。
【図４】図１のデプス操作部において、マスターカメラと、選択された１台のスレーブカメラとの位置関係を説明する図である。
【図５】図１のカメラキャリブレーション部において、各ロボットカメラのパン・チルト前の光学主点と、パン・チルト後の光学主点と、雲台の回転中心との位置関係から雲台の回転中心の位置を算出する様子を説明する説明図である。
【図６】図１の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図７】従来の多視点ロボットカメラシステムを説明する説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。
【００１７】
［多視点ロボットカメラシステムの構成］
図１を参照し、本発明の実施形態に係る多視点ロボットカメラシステム１００の構成について説明する。
図１に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、マスターカメラＭＣと、スレーブカメラＳＣ１，…，ＳＣｓ（ＳＣ）とを備える。スレーブカメラはｓ台であるものとする（但し、ｓ≧１を満たす整数）。ロボットカメラは、合計Ｎ台であるものとする（つまり、Ｎ＝ｓ＋１）。
【００１８】
ロボットカメラ制御装置１は、マスターカメラＭＣ及びスレーブカメラＳＣを制御するものであり、操作インターフェース部１０と、カメラキャリブレーション部２０と、マスターカメラ制御部３０と、注視点算出部４０と、スレーブカメラ制御部５０１，…，５０ｓ（５０）とを備える。
【００１９】
操作インターフェース部１０は、カメラマンが、マスターカメラＭＣ及びスレーブカメラＳＣを遠隔操作するものであり、パン・チルト操作部（マスターカメラ操作部）１１と、ズーム操作部１３と、デプス操作部（デプス値算出部）１５と、フォーカス・アイリス指令部１８とを備える。
【００２０】
パン・チルト操作部１１は、カメラマンが、マスターカメラＭＣのパン及びチルト（カメラ姿勢）を操作するものである。そして、パン・チルト操作部１１は、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。
例えば、パン・チルト操作部１１は、パン・チルトの移動操作が行われる操作部と、操作部による移動操作を検出するエンコーダとを備えている（いずれも図示せず）。パン・チルト操作部１１は、予め設定された、エンコーダ値とパン・チルト値とを対応付けたパン・チルト値変換情報を参照して、エンコーダ（不図示）で検出されたエンコーダ値をパン・チルト値に変換する。
【００２１】
ズーム操作部１３は、カメラマンが、マスターカメラＭＣのズームを操作するものである。そして、ズーム操作部１３は、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５とに出力する。
【００２２】
デプス操作部１５は、注視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、後記する式（１）を用いて、マスターカメラＭＣから注視点Ｑ（図２）までの距離であるデプス値を算出するものである。
【００２３】
デプス操作部１５は、例えば、注視点の移動操作が行われる操作部と、操作部による移動操作を検出するエンコーダとを備えている（いずれも図示せず）。デプス操作部１５は、エンコーダ値とデプス値とを対応付けたデプス値変換情報が予め設定され、このデプス値変換情報を参照して、エンコーダ（不図示）で検出されたエンコーダ値をデプス値に変換する。さらに、デプス操作部１５は、変換されたデプス値を以下で説明するように変化（増減）させて、注視点算出部４０に出力する。
【００２４】
ここで、図２〜図４を参照して、デプス操作部１５によるデプス値の調整について説明する（適宜図１参照）。
図２に示すように、カメラマンは、マスターカメラＭＣの撮影映像９０を見ながら、マスターカメラＭＣが被写体αを捉えるようにパン・チルト操作部１１及びズーム操作部１３を操作する。従って、マスターカメラＭＣの撮影映像９０は、画面中央に被写体αが捉えられている。一方、スレーブカメラＳＣの撮影映像９１は、被写体αが捉えられていない。なお、ズーム操作部１３は、カメラマン以外が遠隔操作することもある。
【００２５】
次に、カメラマンは、操作部（不図示）によりデプス値を変化させることで、注視点Ｑを光軸βの上で移動させる。そして、図３に示すように、カメラマンは、スレーブカメラＳＣの撮影映像９１を見ながら、撮影映像９１の中央に被写体αが位置するように、操作部（不図示）を操作してデプス値を調整する。
【００２６】
デプス操作部１５は、マスターカメラＭＣから離れるほど、単位時間当たりの注視点Ｑの移動距離が長くなるように、デプス値を非線形に変化させる。具体的には、デプス操作部１５は、以下の式（１）を用いて、デプス値Ｄｅｐｔｈを算出する。
【００２７】
【数１】
2015126401.tif 000003
【００２８】
この式（１）のＢａｓｅは、図４に示すように、マスターカメラＭＣと、予め選択（設定）された１台のスレーブカメラＳＣとのベースラインの相対距離を表す。このＢａｓｅは、後記するカメラキャリブレーション部２０に格納されている。ここで、多視点ロボットカメラシステム１００では、ｓ台のスレーブカメラＳＣのうち、任意の１台のスレーブカメラＳＣを選択できる。さらに多視点ロボットカメラシステム１００では、カメラ操作を容易にするため、マスターカメラＭＣの光軸βと、スレーブカメラＳＣの光軸γとのなす角が最も垂直に近くなるスレーブカメラＳＣを１台選択することが好ましい。以後、選択された１台のスレーブカメラを「選択スレーブカメラ」と呼ぶ。
【００２９】
また、式（１）のθは、単位ベクトルｕと単位ベクトルｖのなす角であり、選択スレーブカメラＳＣの制御角度幅を表す。この単位ベクトルｕは、弱校正カメラキャリブレーション時のマスターカメラＭＣの光軸βの向きを示す単位ベクトルである。また、単位ベクトルｖは、選択スレーブカメラＳＣからマスターカメラＭＣに向かう単位ベクトルである。
なお、図４では、説明を分かりやすくするため、単位ベクトルｖの始点に単位ベクトルｕの始点が一致するように、マスターカメラＭＣを破線で図示した。
【００３０】
また、式（１）に示すｄｍａｘは、デプス操作部１５のエンコーダ（不図示）で検出可能なエンコーダ値の最大値であり、ｄは、エンコーダ（不図示）で検出されたエンコーダ値である。この最大値ｄｍａｘは、０≦ｄ≦ｄｍａｘを満たすように予め設定される。
【００３１】
図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。フォーカス・アイリス指令部１８は、マスターカメラＭＣ及びスレーブカメラＳＣに対し、フォーカス及びアイリスを指令するものである。具体的には、フォーカス・アイリス指令部１８は、カメラマンから指令が入力されると、フォーカス及びアイリスの指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する。
【００３２】
カメラキャリブレーション部２０は、カメラパラメータ算出部２１と、回転中心算出部２２とを備える。
カメラパラメータ算出部２１は、各ロボットカメラＣａｍｎ（添え字ｎは、カメラ番号１〜Ｎを示す）のカメラパラメータ（ここでは、回転行列Ｒｎ及び並進行列Ｔｎ）を弱校正カメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。
【００３３】
ここで、カメラパラメータ算出部２１は、弱校正カメラキャリブレーションを行い、マスターカメラＭＣのカメラパラメータ（ここでは、回転行列Ｒｍ及び並進行列Ｔｍ）を算出し、記憶装置に格納する。
なお、添え字ｍがマスターカメラＭＣを示す。
【００３４】
また、カメラパラメータ算出部２１は、弱校正カメラキャリブレーションを行い、スレーブカメラＳＣのカメラパラメータ（回転行列Ｒｓ及び並進行列Ｔｓ）を算出し、記憶装置に格納する。
なお、添え字ｓがスレーブカメラＳＣを示す。
【００３５】
さらに、カメラパラメータ算出部２１は、各ロボットカメラＣａｍｎにより撮影した第一の多視点映像と第二の多視点映像とを用いて弱校正カメラキャリブレーションを行い、パン又はチルト前のカメラ姿勢Ｒｎｂｅｆｏｒｅ及びカメラ位置Ｔｎｂｅｆｏｒｅと、パン又はチルト後のカメラ姿勢Ｒｎａｆｔｅｒ及びカメラ位置Ｔｎａｆｔｅｒを求めるものである。カメラパラメータ算出部２１は、求めたパン又はチルト後のカメラ姿勢Ｒｎａｆｔｅｒ及びカメラ位置Ｔｎａｆｔｅｒを、回転中心算出部２２に出力する。
【００３６】
第一の多視点映像は、各ロボットカメラＣａｍｎを同じ被写体に向けて撮影されたものである。したがって、第一の多視点映像には、それぞれ同じ被写体が写っているものとする。第二の多視点映像は、各ロボットカメラＣａｍｎを、第一の多視点映像の撮影時から所定量パン又はチルトして撮影されたものである。つまり、第二の多視点映像は、第一の多視点映像の撮影時から、各ロボットカメラＣａｍｎのズーム値を変えず、パン値又はチルト値のみを所定量変えて撮影されている。ここで、パン又はチルト量は、第二の多視点映像に、弱校正キャリブレーションが可能な程度に、第一の多視点映像と共通の被写体が写る程度に設定される。
【００３７】
ここで、世界座標系ＷとロボットカメラＣａｍｎのカメラ座標系ｗｎとの関係は、カメラ姿勢Ｒｎおよびカメラ位置Ｔｎを用いて、以下の式（２）で表される。
【００３８】
【数２】
2015126401.tif 000004
【００３９】
また、前記式（２）におけるＲｎは、以下の式（３）で表される。
【００４０】
【数３】
2015126401.tif 000005
【００４１】
そして、カメラパラメータ算出部２１は、以下の式（４）、（５）により、パン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅと、パン又はチルト後の光学主点Ｐｎａｆｔｅｒとを算出する。
【００４２】
【数４】
2015126401.tif 000006
【００４３】
【数５】
2015126401.tif 000007
【００４４】
なお、弱校正キャリブレーションとして、例えば、以下のホームページに記載された「Ｂｕｎｄｌｅｒ」を利用できるため、詳細な説明を省略する。
参考ＵＲＬ：「http://phototour.cs.washington.edu/bundler/」
【００４５】
回転中心算出部２２は、各ロボットカメラＣａｍｎが搭載された雲台の回転中心Ｏｎを算出し、メモリやハードディスク等の記憶装置（不図示）に格納するものである。
【００４６】
ここで、図５に、ロボットカメラＣａｍ１，・・・，ＣａｍＮを並べて配置したときの、ロボットカメラＣａｍ１、Ｃａｍｎ、ＣａｍＮのパン又はチルト前の撮影方向をそれぞれ破線で示し、パン又はチルト後の撮影方向をそれぞれ実線で示した。図５では、ロボットカメラＣａｍｎを上方から見下ろしたときの雲台の回転中心Ｏｎと、ロボットカメラＣａｍｎのパン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅと、パン又はチルト後の光学主点Ｐｎａｆｔｅｒとを、それぞれ×印で示した。なお、光学主点Ｐｎｂｅｆｏｒｅ及び光学主点Ｐｎａｆｔｅｒは、本来、カメラの内部に位置しているが、雲台の回転中心Ｏｎとの位置関係を分かりやすく示すために、図５では、カメラの外側に抜き出して示している。具体的には、パン又はチルト前のロボットカメラＣａｍｎの光軸上において、雲台の回転中心Ｏｎから所定距離離れた位置に光学主点Ｐｎｂｅｆｏｒｅをおいた。同様に、パン又はチルト後のロボットカメラＣａｍｎの光軸上において、雲台の回転中心Ｏｎから所定距離離れた位置に光学主点Ｐｎａｆｔｅｒをおいた。
【００４７】
カメラの光学主点位置Ｐｎと雲台の回転中心Ｏｎとが一致していない場合、図５に示すように、パン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅの位置と、パン又はチルト後の光学主点Ｐｎａｆｔｅｒの位置とが異なることになる。また、ロボットカメラＣａｍｎは、雲台の回転中心Ｏｎで回転されるので、パン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅと、パン又はチルト後の光学主点Ｐｎａｆｔｅｒとは、雲台の回転中心Ｏｎからの距離が必ず等しくなる。したがって、図５に示すように、雲台の回転中心Ｏｎと、パン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅと、パン又はチルト後の光学主点Ｐｎａｆｔｅｒとが、二等辺三角形をなすことがわかる。なお、パン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅと、パン又はチルト後の光学主点Ｐｎａｆｔｅｒとが、それぞれロボットカメラＣａｍｎ内にある場合も、同様である。
【００４８】
これにより、回転中心算出部２２は、カメラパラメータ算出部２１により算出されたパン又はチルト前の光学主点Ｐｎｂｅｆｏｒｅと、パン又はチルト後の光学主点Ｐｎａｆｔｅｒとに加え、パン・チルト量θｎと、パン又はチルト前のカメラ姿勢の奥行成分のベクトル値（ｒｚ）とに基づき、各ロボットカメラＣａｍｎが搭載された雲台の回転中心Ｏｎを以下の式（６）により、求めることができる。
【００４９】
【数６】
2015126401.tif 000008
【００５０】
前記した式（６）におけるパン・チルト量θｎは、第二の多視点映像の撮影時における、第一の多視点映像の撮影時からの各ロボットカメラＣａｍｎのパン・チルト角度幅である。つまり、パン・チルト量θｎは、パン又はチルト前の撮影方向とパン又はチルト後の撮影方向とでなす角を指す。
なお、「パン・チルト量θｎ」としているが、ここでは、第一の多視点映像の撮影時と、第二の多視点映像の撮影時とにおいて、各ロボットカメラＣａｍｎのパン値又はチルト値のいずれか一方のみを変更することとしているので、パン値又はチルト値のいずれか一方のみを指すものとする。
【００５１】
このパン・チルト量（パン・チルト角度幅）θｎは、各ロボットカメラＣａｍｎが備えるエンコーダ（不図示）により検出された、パン・チルト前の撮影方向（角度）のエンコーダ値と、パン・チルト後の撮影方向（角度）のエンコーダ値とに基づいて求めることができる。例えば、エンコーダ値とパン・チルト値とを対応付けて予め設定されたパン・チルト変換情報により、それぞれのエンコーダ値をパン値又はチルト値に変換し、変換後のパン値又はチルト値同士で差分をとることで、パン・チルト量θｎを求めることができる。パン・チルト量θｎは、例えば外部のＰＣ等において、各ロボットカメラＣａｍｎから出力されたパン・チルト前後のエンコーダ値に基づいて前記した方法により算出され、カメラパラメータ算出部２１に出力される。なお、パン・チルト量θｎは、ロボットカメラ制御装置１内にパン・チルト量θｎの算出手段（不図示）を設けて、当該算出手段（不図示）により算出してもよい。
【００５２】
また、カメラキャリブレーション部２０は、外部から、カメラキャリブレーション時のロボットカメラＣａｍｎのパン値ｐ０ｎ、チルト値ｔ０ｎ、ズーム値ｚ０ｎ、フォーカス値ｆ０ｎ、アイリス値ｉ０ｎを入力し、記憶装置（不図示）に格納する。
ここでは、パン・チルト前後のそれぞれにおいて、ロボットカメラＣａｍｎが備えるエンコーダ（不図示）により、パン、チルト、ズーム、フォーカス、アイリスのエンコーダ値がそれぞれ検出される。そして、外部のＰＣ（Personal Computer）等において、各エンコーダ値と対応付けて予め設定された変換情報により、各エンコーダ値を変換することでパン・チルト前後のパン値、チルト値、ズーム値、フォーカス値、アイリス値がそれぞれ求められる。カメラキャリブレーション部２０は、このようにして求められた、パン値ｐ０ｎｂｅｆｏｒｅ、ｐ０ｎａｆｔｅｒ、チルト値ｔ０ｎｂｅｆｏｒｅ、ｔ０ｎａｆｔｅｒ、ズーム値ｚ０ｎｂｅｆｏｒｅ、ｚ０ｎａｆｔｅｒ、フォーカス値ｆ０ｎｂｅｆｏｒｅ、ｆ０ｎａｆｔｅｒ、アイリス値ｉ０ｎｂｅｆｏｒｅ、ｉ０ｎａｆｔｅｒを記憶装置（不図示）に格納する。
【００５３】
マスターカメラ制御部３０は、マスターカメラＭＣを制御するものであり、パン・チルト・ズーム制御部３１と、フォーカス・アイリス制御部３３とを備える。
【００５４】
パン・チルト・ズーム制御部３１は、パン・チルト操作部１１から入力されたパン値、チルト値及びズーム値を、それらの値の大きさに応じたパン・チルト・ズーム制御信号に変換する。そして、パン・チルト・ズーム制御部３１は、変換したパン・チルト・ズーム制御信号をマスターカメラＭＣに出力する。
【００５５】
フォーカス・アイリス制御部３３は、フォーカス・アイリス指令部１８から入力された指令信号に基づいて、マスターカメラＭＣのフォーカス及びアイリスを制御するものである。ここでは、フォーカス・アイリス制御部３３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、マスターカメラＭＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部３３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、マスターカメラＭＣに出力する。
【００５６】
マスターカメラＭＣは、多視点ロボットカメラシステム１００が備える複数台（Ｎ台）のロボットカメラＣａｍ１，・・・，ＣａｍＮのうち、予め設定された１台のロボットカメラである。このマスターカメラＭＣは、雲台（例えば、電動雲台）に小型カメラを搭載したものである。マスターカメラＭＣは、パン・チルト・ズーム制御部３１から入力されたパン・チルト・ズーム制御信号に従って、パン、チルト及びズームを駆動する。さらに、マスターカメラＭＣは、フォーカス・アイリス制御部３３から入力されたフォーカス・アイリス制御信号に従って、フォーカス及びアイリスを駆動する。
【００５７】
注視点算出部４０は、パン・チルト操作部１１から入力されたパン値及びチルト値と、デプス操作部１５から入力されたデプス値と、カメラキャリブレーション部２０に格納されたカメラパラメータとに基づいて、注視点の世界座標を算出するものである。
【００５８】
具体的には、注視点算出部４０は、以下の式（７）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのパン値ｐｍと、カメラキャリブレーション部２０の記憶装置に格納された弱校正キャリブレーション時のパン値ｐ０ｍとの角度差θｐｍを算出する。
【００５９】
【数７】
2015126401.tif 000009
【００６０】
また、注視点算出部４０は、以下の式（８）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのチルト値ｔｍと、カメラキャリブレーション部２０の記憶装置に格納された弱校正キャリブレーション時のチルト値ｔ０ｍとの角度差θｔｍを算出する。
【００６１】
【数８】
2015126401.tif 000010
【００６２】
次に、注視点算出部４０は、以下の式（９）に示すように、角度差θｐｍ及び角度差θｔｍを用いて、カメラ座標系における回転行列Ｒ´Ｃｍを生成する。
【００６３】
【数９】
2015126401.tif 000011
【００６４】
そして、注視点算出部４０は、以下の式（９）に示すように、回転行列Ｒ´Ｃｍ、及び、マスターカメラＭＣのカメラパラメータである回転行列Ｒｍの逆行列Ｒ−１ｍを用いて、カメラ座標系におけるカメラ姿勢の回転行列Ｒ´ｍを生成する。このＲ´ｍは、マスターカメラＭＣについて、弱校正キャリブレーション時のカメラ姿勢から、操作インターフェース部１０で操作後のカメラ姿勢に変えるための回転行列である。
【００６５】
【数１０】
2015126401.tif 000012
【００６６】
ここで、式（１０）の回転行列Ｒ´ｍは、以下の式（１１）で表すことができる。この場合、注視点Ｑに向いたマスターカメラＭＣの光軸方向を示す単位ベクトルＯｐｔａｘｉｓｍは、以下の式（１２）で表すことができる。
【００６７】
【数１１】
2015126401.tif 000013
【００６８】
【数１２】
2015126401.tif 000014
【００６９】
そして、注視点算出部４０は、以下の式（１３）に示すように、カメラキャリブレーション部２０から入力された、マスターカメラＭＣの雲台の回転中心Ｏｍと、デプス操作部１５から入力されたデプス値Ｄｅｐｔｈと、式（１２）の単位ベクトルＯｐｔａｘｉｓｍとを用いて、注視点Ｑの世界座標（位置）Ｐを算出する。その後、注視点算出部４０は、算出した注視点Ｑの世界座標Ｐを、パン・チルト制御部５１に出力する。
【００７０】
【数１３】
2015126401.tif 000015
【００７１】
パン・チルト制御部５１は、注視点算出部４０から入力された注視点Ｑの世界座標Ｐとカメラキャリブレーション部２０に格納されたカメラパラメータ（回転行列Ｒｓ及びスレーブカメラＳＣの雲台の回転中心Ｏｓ）とに基づいて、スレーブカメラＳＣの姿勢（パン及びチルト）を制御するものである。
【００７２】
具体的には、パン・チルト制御部５１は、以下の式（１４）に示すように、パン及びチルトを制御するために、スレーブカメラＳＣから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓｓを算出する。なお、式（１４）における“|| ||”は、ノルムを表す。
【００７３】
【数１４】
2015126401.tif 000016
【００７４】
また、パン・チルト制御部５１は、以下の式（１５）に示すように、算出した単位ベクトルＯｐｔａｘｉｓｓ、及び、回転行列Ｒｓを用いて、カメラ座標系におけるスレーブカメラＳＣから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓＣｓを算出する。
【００７５】
そして、パン・チルト制御部５１は、以下の式（１６）〜式（１８）に示すように、単位ベクトルＯｐｔａｘｉｓＣｓからスレーブカメラＳＣのパン値ｐｓ及びチルト値ｔｓを算出する。なお、ｅ１，ｅ２，ｅ３は、それぞれ、単位ベクトルＯｐｔａｘｉｓＣｓのＸ軸、Ｙ軸、Ｚ軸成分を示す。
【００７６】
【数１５】
2015126401.tif 000017
【００７７】
【数１６】
2015126401.tif 000018
【００７８】
【数１７】
2015126401.tif 000019
【００７９】
【数１８】
2015126401.tif 000020
【００８０】
さらに、パン・チルト制御部５１は、算出したパン値ｐｓ及びチルト値ｔｓを、それらの値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部５１は、変換したパン・チルト制御信号をスレーブカメラＳＣに出力する。
【００８１】
フォーカス・アイリス制御部５３は、フォーカス・アイリス指令部１８のフォーカス・アイリス指令信号に基づいて、スレーブカメラＳＣのフォーカス及びアイリスを制御するものである。ここでは、フォーカス・アイリス制御部５３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、スレーブカメラＳＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部５３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、スレーブカメラＳＣに出力する。
【００８２】
ズーム制御部５５は、ズーム操作部１３から入力されたズーム値に基づいて、スレーブカメラＳＣのズームを制御するものである。具体的には、ズーム制御部５５は、ズーム値を、その値の大きさに応じたズーム制御信号に変換する。そして、ズーム制御部５５は、変換したズーム制御信号をスレーブカメラＳＣに出力する。
【００８３】
スレーブカメラＳＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、マスターカメラＭＣ以外のロボットカメラである。このスレーブカメラＳＣは、雲台（例えば、電動雲台）に小型カメラを搭載したものである。また、スレーブカメラＳＣは、パン・チルト制御部５１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。そして、スレーブカメラＳＣは、フォーカス・アイリス制御部５３から入力されたフォーカス・アイリス制御信号に応じて、フォーカス及びアイリスを駆動する。さらに、スレーブカメラＳＣは、ズーム制御部５５から入力されたズーム制御信号に応じて、ズームを駆動する。
【００８４】
前記した式（７）のパン値ｐ０ｍ、式（８）のチルト値ｔ０ｍ、式（１０）のカメラ姿勢Ｒｍ、式（１７）のパン値ｐ０ｓ、式（１８）のチルト値ｔ０ｓは、弱校正キャリブレーション時におけるパン・チルト前又はパン・チルト後のいずれかの値を統一して用いることとする。
【００８５】
[多視点ロボットカメラシステムの動作]
図６を参照し、図１の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０のカメラパラメータ算出部２１によって、各ロボットカメラＣａｍｎ（マスターカメラＭＣ及びスレーブカメラＳＣ）のカメラパラメータを算出する。また、多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０のカメラパラメータ算出部２１によって、式（４）、（５）のように、各ロボットカメラＣａｍｎ（マスターカメラＭＣ及びスレーブカメラＳＣ）のパン・チルト操作前の光学主点Ｐｎｂｅｆｏｒｅと、パン・チルト操作後の光学主点Ｐｎａｆｔｅｒとを算出する。
そして、多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０の回転中心算出部２２によって、式（６）のように、各ロボットカメラＣａｍｎが搭載された雲台の回転中心Ｏｎを算出する（ステップＳ１）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０によって、算出したカメラパラメータ及び雲台の回転中心Ｏｎを記憶装置に格納する（ステップＳ２）。
【００８６】
多視点ロボットカメラシステム１００は、パン・チルト操作部１１によって、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。
多視点ロボットカメラシステム１００は、ズーム操作部１３によって、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５に出力する。
多視点ロボットカメラシステム１００は、デプス操作部１５によって、デプス値を算出し、注視点算出部４０に出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス指令部１８によって、カメラマンからの指令に応じて指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する（ステップＳ３）。
【００８７】
多視点ロボットカメラシステム１００は、パン・チルト・ズーム制御部３１によって、パン値、チルト値及びズーム値を、パン・チルト・ズーム制御信号に変換して、マスターカメラＭＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部３３によって、フォーカス・アイリス指令部１８からの指令信号に応じて、マスターカメラＭＣのフォーカス・アイリス制御信号を生成して、マスターカメラＭＣに出力する（ステップＳ４）。
【００８８】
多視点ロボットカメラシステム１００は、注視点算出部４０によって、式（１３）のように、カメラキャリブレーション部２０で算出された、マスターカメラＭＣが搭載された雲台の回転中心Ｏｍに、単位ベクトルＯｐｔａｘｉｓｍとデプス値Ｄｅｐｔｈとの積を加算することで、注視点Ｑの世界座標を算出する（ステップＳ５）。
【００８９】
多視点ロボットカメラシステム１００は、パン・チルト制御部５１によって、式（１４）〜式（１８）のように、スレーブカメラＳＣが搭載された雲台の回転中心Ｏｓを用いて、注視点Ｑに向かうパン値及びチルト値を求める。そして、求めたパン値及びチルト値を、パン・チルト・ズーム制御信号に変換して、スレーブカメラＳＣに出力する。
【００９０】
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部５３によって、フォーカス・アイリス指令部１８からの指令信号に応じて、スレーブカメラＳＣのフォーカス・アイリス制御信号を生成して、スレーブカメラＳＣに出力する。
多視点ロボットカメラシステム１００は、ズーム制御部５５によって、ズーム値をズーム制御信号に変換して、スレーブカメラＳＣに出力する（ステップＳ６）。
【００９１】
以上のように、本発明の実施形態に係る多視点ロボットカメラシステム１００は、式（６）のように、各ロボットカメラＣａｍｎが搭載された雲台の回転中心Ｏｎを算出する。そして、多視点ロボットカメラシステム１００は、式（１３）のように、マスターカメラＭＣが搭載された雲台の回転中心Ｏｍを用いて、注視点Ｑの世界座標Ｐを正確に算出することができる。また、多視点ロボットカメラシステム１００は、式（１４）〜式（１８）のように、スレーブカメラＳＣが搭載された雲台の回転中心Ｏｓを用いて、注視点Ｑに向かうパン値ｐ０ｓ及びチルト値ｔ０ｓを正確に求めることができる。これによって、多視点ロボットカメラシステム１００は、マスターカメラＭＣおよびスレーブカメラＳＣの方向制御を正確に行うことが可能となる。
【００９２】
なお、本発明は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。
前記した実施形態では、デプス操作部１５によって、デプス操作部１５によって、デプス値を非線形に変化させることとしたが、これに限られず、デプス値を線形に変化させてもよい。
また、前記した実施形態では、各ロボットカメラＣａｍｎによる第一の多視点映像の撮影時と第二の多視点映像の撮影時とにおいて、パン又はチルトのいずれか一方のみを変化させたが、これに限られず、パン及びチルトの両方を変化させてもよい。
【００９３】
さらに、前記した実施形態では、フォーカス・アイリス制御部３３は、オートフォーカス機能及びオートアイリス機能を用いて算出したマスターカメラＭＣのフォーカス値及びアイリス値に応じたフォーカス・アイリス制御信号を生成したが、これに限られない。
フォーカス・アイリス制御部３３は、マスターカメラＭＣが備えるエンコーダ（不図示）により検出された、カメラマンによるマスターカメラＭＣのフォーカス及びアイリスの移動操作（エンコーダ値）を、外部のＰＣ等によりフォーカス値及びアイリス値に変換した結果を入力し、このフォーカス値及びアイリス値に応じたフォーカス・アイリス制御信号を生成してもよい。なお、フォーカス・アイリス制御部５３も同様である。
【００９４】
また、さらに、前記した実施形態では、カメラキャリブレーション部２０は、パン・チルト前後のパン値、チルト値、ズーム値、フォーカス値、アイリス値を記憶装置に格納したが、これに限られず、パン・チルト前又はパン・チルト後のいずれか一方のパン値、チルト値、ズーム値、フォーカス値、アイリス値を記憶装置に格納してもよい。
【符号の説明】
【００９５】
１      ロボットカメラ制御装置
１０      操作インターフェース部
１１      パン・チルト操作部（カメラ姿勢操作部）
１３      ズーム操作部
１５      デプス操作部
１８      フォーカス・アイリス指令部
２０      カメラキャリブレーション部
２１      カメラパラメータ算出部
２２      回転中心算出部
３０      マスターカメラ制御部
３１      パン・チルト・ズーム制御部
３３      フォーカス・アイリス制御部
４０      注視点算出部
５０      スレーブカメラ制御部
５１      パン・チルト制御部
５３      フォーカス・アイリス制御部
５５      ズーム制御部
１００      多視点ロボットカメラシステム
ＭＣ      マスターカメラ
【図１】
2015126401.tif 000024
【図２】
2015126401.tif 000025
【図３】
2015126401.tif 000026
【図４】
2015126401.tif 000027
【図５】
2015126401.tif 000028
【図６】
2015126401.tif 000029
【図７】
2015126401.tif 000030