(57)【要約】【課題】本願発明は、デプス調整が容易な多視点ロボットカメラシステムを提供する。【解決手段】多視点ロボットカメラシステム１００は、エンコーダ値から、非線形に変化されたデプス値を算出する操作インターフェース部１０と、カメラキャリブレーションによってカメラパラメータを算出するカメラキャリブレーション部２０と、マスターカメラＭＣを制御するマスターカメラ制御部３０と、カメラキャリブレーション時と撮影時とのカメラ姿勢の差分に基づいて回転行列を算出し、回転行列に含まれる奥行成分のベクトルとデプス値との積に並進行列を加算することで、注視点の位置を算出する注視点算出部４０と、注視点に向くようにスレーブカメラＳＣを制御するスレーブカメラ制御部５０とを備える。【選択図】図１
2014103474.tif 000002
【特許請求の範囲】
【請求項１】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、予め設定された１台の前記スレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記ベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び前記１台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とするロボットカメラ制御装置。
【請求項２】
前記デプス値算出部は、
前記注視点の移動操作が行われる操作部と、
前記操作部に対する移動操作を検出するエンコーダと、を備え、
前記ベースラインの相対距離Ｂａｓｅ及び前記制御角度幅θが含まれ、かつ、前記エンコーダにおける移動操作の最大検出値ｄｍａｘが予め設定された以下の式（１）を用いて、前記エンコーダにおける移動操作の検出値ｄ(但し、０≦ｄ≦ｄｍａｘ)から、前記デプス値を示すＤｅｐｔｈを算出することを特徴とする請求項１に記載のロボットカメラ制御装置。
【数１】
2014103474.tif 000016
【請求項３】
前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように、前記マスターカメラの姿勢を制御するマスターカメラ制御部、をさらに備えることを特徴とする請求項１又は請求項２に記載のロボットカメラ制御装置。
【請求項４】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように前記スレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、予め設定された１台の前記スレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記ベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び前記１台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。
【請求項５】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、弱校正カメラキャリブレーションで算出されるベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び予め設定された１台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部とを備えるコンピュータを、
前記弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、前記１台のスレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部、
として機能させるためのロボットカメラ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。
【背景技術】
【０００２】
従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。まず、多視点ロボットカメラシステムでは、視点映像を撮影するために、強校正カメラキャリブレーションを行って、カメラの姿勢及び位置を算出する（非特許文献２）。次に、多視点ロボットカメラシステムは、複数台のロボットカメラのうち１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。
【０００３】
図１０に示すように、マスターカメラＭＣの光軸βの上には注視点Ｑが設定されており、マスターカメラ以外のスレーブカメラＳＣは、注視点Ｑに向くように制御角度が変化して、自動的に方向制御される。カメラマンが、マスターカメラＭＣと注視点Ｑとの距離であるデプス値を変化させることで、注視点ＱをマスターカメラＭＣの光軸βの上で移動させる。そして、注視点Ｑが被写体αに重なるように（すなわち、全スレーブカメラＳＣの画面の中心に被写体が位置するように）、カメラマンが、マスターカメラＭＣのパン、チルト及びデプスを調整することで、多視点映像を撮影することができる。
なお、図１０の注視点Ｑ１〜Ｑ５は、マスターカメラＭＣの光軸βの上を移動する注視点Ｑについて、時間ｔ＝１〜５での位置を示している。
【０００４】
注視点Ｑの３次元座標（世界座標）Ｐは、下記の式により算出することができる。
Ｐ＝Ｔ＋Ｄｅｐｔｈ・Ｑｐｔａｘｉｓ
Ｄｅｐｔｈ＝ｋ・ｄ  （０≦ｄ≦ｄｍａｘ）
【０００５】
この計算式では、ＴがマスターカメラＭＣの位置、Ｑｐｔａｘｉｓがパン及びチルト調整後のマスターカメラＭＣの光軸方向を示す単位ベクトル、ｄがデプス値の操作インターフェースの検出値、ｄｍａｘがデプス値ｄの最大検出値である。また、ｋは、デプス値ｄが‘１’増加した際に乗じる増加係数であり、被写体αの移動領域を踏まえて、実距離で設定する。つまり、ｋは、注視点Ｑの移動範囲が被写体αの移動範囲と等しくなるように、経験則により設定する。
なお、実距離とは、例えば、１０メートルのように、単位（スケール）が伴って表される実空間上の距離である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】伊佐憲一、他４名、「最新スポーツ中継技術  世界初！  プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５
【非特許文献２】「デジタル画像処理」、財団法人  画像情報教育振興協会、２００４年７月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記したように、多視点ロボットカメラシステムでは、ロボットカメラの姿勢制御を行うために、強校正カメラキャリブレーションを行う。この強校正カメラキャリブレーションでは、例えば、市松模様状のキャリブレーションパターンを事前に撮影する必要がある。従って、多視点ロボットカメラシステムでは、キャリブレーションパターンを設置できない撮影現場において、ロボットカメラの方向制御自体が不可能となる。
【０００８】
そこで、多視点ロボットカメラシステムにおいて、キャリブレーションパターンが不要な弱校正カメラキャリブレーションの適用を検討する。この場合、多視点ロボットカメラシステムでは、マスターカメラＭＣ及びスレーブカメラＳＣのベースラインの実距離を計測し、計測した実距離と、弱校正カメラキャリブレーションで算出した相対距離との比を求める。その後、多視点ロボットカメラシステムでは、実距離と相対距離との比を増加係数ｋに乗じる必要がある。しかし、多視点ロボットカメラシステムは、撮影現場での実距離の計測に手間がかかるため、弱校正カメラキャリブレーションの適用が困難であるという問題がある。
なお、相対距離とは、弱校正カメラキャリブレーションで算出される、単位（スケール）が伴っていない距離のことである。
【０００９】
そこで、本願発明は、前記した問題を解決し、撮影現場での準備作業の手間を軽減できるロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記した課題に鑑みて、本願第１発明に係るロボットカメラ制御装置は、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、カメラ姿勢操作部と、カメラキャリブレーション部と、デプス値算出部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。
【００１１】
かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの並進行列及び回転行列と、予め設定された１台のスレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、弱校正カメラキャリブレーションにより算出する。このように、ロボットカメラ制御装置は、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がない。
【００１２】
また、ロボットカメラ制御装置は、デプス値算出部によって、視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、ベースラインの相対距離と、制御角度幅とに基づいて、マスターカメラから注視点までの距離であるデプス値を算出する。この制御角度幅は、弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトルと、１台のスレーブカメラからマスターカメラに向かう単位ベクトルとのなす角を示す。つまり、ロボットカメラ制御装置は、この制御角度幅を用いてデプス値を算出できるため、実距離を計測する必要がない。
【００１３】
また、ロボットカメラ制御装置は、注視点算出部によって、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした回転行列の逆行列と並進行列との積に、算出した単位ベクトルとデプス値との内積を加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。
【００１４】
ここで、デプス値算出部は、注視点の移動操作が行われる操作部と、操作部に対する移動操作を検出するエンコーダと、を備え、ベースラインの相対距離Ｂａｓｅ及び制御角度幅θが含まれ、かつ、エンコーダにおける移動操作の最大検出値ｄｍａｘが予め設定された式（１）を用いて、エンコーダにおける移動操作の検出値ｄ(但し、０≦ｄ≦ｄｍａｘ)から、デプス値を示すＤｅｐｔｈを算出することが好ましい（本願第２発明）。
【００１５】
また、本願第３発明に係るロボットカメラ制御装置は、カメラ姿勢操作部で操作されたカメラ姿勢をとるように、マスターカメラの姿勢を制御するマスターカメラ制御部、をさらに備えることを特徴とする。
かかる構成によれば、ロボットカメラ制御装置は、スレーブカメラに加えて、マスターカメラの姿勢を制御することができる。
【００１６】
また、前記した課題に鑑みて、本願第４発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラと、マスターカメラの光軸上を移動可能な注視点に向くようにスレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、ロボットカメラ制御装置が、カメラ姿勢操作部と、カメラキャリブレーション部と、デプス値算出部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。
【００１７】
かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの並進行列及び回転行列と、予め設定された１台のスレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、弱校正カメラキャリブレーションにより算出する。このように、ロボットカメラ制御装置は、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がない。
【００１８】
また、ロボットカメラ制御装置は、デプス値算出部によって、視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、ベースラインの相対距離と、制御角度幅とに基づいて、マスターカメラから注視点までの距離であるデプス値を算出する。この制御角度幅は、弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトルと、１台のスレーブカメラからマスターカメラに向かう単位ベクトルとのなす角を示す。つまり、ロボットカメラ制御装置は、この制御角度幅を用いてデプス値を算出できるため、実距離を計測する必要がない。
【００１９】
また、ロボットカメラ制御装置は、注視点算出部によって、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした回転行列の逆行列と並進行列との積に、算出した単位ベクトルとデプス値との内積を加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。
【００２０】
ここで、本願第１発明に係るロボットカメラ制御装置は、カメラ姿勢操作部及びデプス値算出部を備えるコンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスクなどのハードウェア資源を、カメラキャリブレーション部、注視点算出部及びスレーブカメラ制御部として協調動作させるためのロボットカメラ制御プログラムによって実現することもできる（本願第５発明）。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【発明の効果】
【００２１】
本願発明によれば、以下のような優れた効果を奏する。
本願第１，２，４，５発明によれば、ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムは、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がなく、制御角度幅に基づいてデプス値を算出するため、実距離を計測する必要がなく、撮影現場での準備作業の手間を軽減することができる。
本願第３発明によれば、ロボットカメラ制御装置は、スレーブカメラに加えて、マスターカメラの姿勢を制御するため、多視点映像を容易に撮影することができる。
【図面の簡単な説明】
【００２２】
【図１】本願発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図２】（ａ）は図１のデプス操作部が備える操作部及びエンコーダを説明する図であり、（ｂ）はデプス操作部の操作を説明する説明図である。
【図３】図１のデプス操作部において、デプス値の変化を説明する説明図である。
【図４】図１のデプス操作部において、デプス値の変化を説明する説明図である。
【図５】図１のデプス操作部において、マスターカメラと、選択された１台のスレーブカメラとの位置関係を説明する図である。
【図６】（ａ）及び（ｂ）は図１の多視点ロボットカメラシステムにおいて、スレーブカメラの制御角度の変化を説明する説明図である。
【図７】図１の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図８】本願発明の実施例を説明する説明図である。
【図９】本願発明の実施例において、ロボットカメラで撮影された多視点映像である。
【図１０】従来の多視点ロボットカメラシステムを説明する説明図である。
【発明を実施するための形態】
【００２３】
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２４】
（実施形態）
［多視点ロボットカメラシステムの構成］
図１を参照し、本願発明の実施形態に係る多視点ロボットカメラシステム１００の構成について、説明する。
図１に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、マスターカメラＭＣと、スレーブカメラＳＣ１，…，ＳＣｎ（ＳＣ）とを備える。
スレーブカメラＳＣは、ｎ台であることとする（但し、ｎ≧１を満たす整数）。
【００２５】
ロボットカメラ制御装置１は、マスターカメラＭＣ及びスレーブカメラＳＣを制御するものであり、操作インターフェース部１０と、カメラキャリブレーション部２０と、マスターカメラ制御部３０と、注視点算出部４０と、スレーブカメラ制御部５０１，…，５０ｎ（５０）とを備える。
【００２６】
操作インターフェース部１０は、カメラマンが、マスターカメラＭＣ及びスレーブカメラＳＣを遠隔操作するものであり、パン・チルト操作部（カメラ姿勢操作部）１１と、ズーム操作部１３と、デプス操作部（デプス値算出部）１５と、フォーカス・アイリス指令部１８とを備える。
【００２７】
パン・チルト操作部１１は、カメラマンが、マスターカメラＭＣのパン及びチルト（カメラ姿勢）を操作するものである。そして、パン・チルト操作部１１は、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。
【００２８】
ズーム操作部１３は、カメラマンが、マスターカメラＭＣのズームを操作するものである。そして、ズーム操作部１３は、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５とに出力する。
【００２９】
デプス操作部１５は、注視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、後記する式（１）を用いて、マスターカメラＭＣから注視点Ｑ（図３）までの距離であるデプス値を算出するものである。
【００３０】
本実施形態では、デプス操作部１５は、図２（ａ）に示すように、注視点の移動操作が行われる回転ダイヤル（操作部）１６と、回転ダイヤル１６に対する移動操作を検出するエンコーダ１７とを備える。
ここで、図２（ｂ）に示すように、回転ダイヤル１６を時計回りに回転させる程、エンコーダ１７のエンコーダ値（移動操作の検出値）が増大する。そして、回転ダイヤル１６に刻まれた指標１６ａが指標位置「△最大」に達したときに、エンコーダ１７のエンコーダ値が最大となる。
一方、回転ダイヤル１６を反時計回りに回転させる程、エンコーダ１７のエンコーダ値が減少する。そして、回転ダイヤル１６に刻まれた指標１６ａが指標位置「△最小」に達したときに、エンコーダ１７のエンコーダ値が最小となる。
そして、デプス操作部１５は、エンコーダ値とデプス値とを対応付けたデプス値変換情報が予め設定され、このデプス値変換情報を参照して、エンコーダ１７で検出されたエンコーダ値をデプス値に変換する。さらに、デプス操作部１５は、変換されたデプス値を以下で説明するように変化（増減）させて、注視点算出部４０に出力する。
【００３１】
＜デプス値の変化＞
図３〜図５を参照して、デプス操作部１５によるデプス値の変化について、説明する（適宜図１，２参照）。
図３に示すように、カメラマンは、マスターカメラＭＣの撮影映像９０を見ながら、マスターカメラＭＣが被写体αを捉えるようにパン・チルト操作部１１及びズーム操作部１３を操作する。従って、マスターカメラＭＣの撮影映像９０は、画面中央に被写体αが捉えられている。一方、スレーブカメラＳＣの撮影映像９１は、被写体αが捉えてられていない。
なお、ズーム操作部１３は、カメラマン以外が遠隔操作することもある。
【００３２】
次に、カメラマンは、回転ダイヤル１６の操作によりデプス値を変化させることで、注視点Ｑを光軸βの上で移動させる。そして、図４に示すように、カメラマンは、スレーブカメラＳＣの撮影映像９１を見ながら、撮影映像９１の中央に被写体αが位置するように、回転ダイヤル１６を操作してデプス値を調整する。
【００３３】
このとき、デプス操作部１５は、マスターカメラＭＣから離れる程、単位時間あたりの注視点Ｑの移動距離が長くなるように、デプス値を非線形に変化させる（図６参照）。具体的には、デプス操作部１５は、以下の式（１）を用いて、デプス値Ｄｅｐｔｈを算出する。
【００３４】
【数１】
2014103474.tif 000003
【００３５】
この式（１）のＢａｓｅは、図５に示すように、マスターカメラＭＣと、予め選択（設定）された１台のスレーブカメラＳＣとのベースラインの相対距離を表す。このＢａｓｅは、後記するカメラキャリブレーション部２０に格納されている。ここで、多視点ロボットカメラシステム１００では、ｎ台のスレーブカメラＳＣのうち、任意の１台のスレーブカメラＳＣを選択できる。さらに、多視点ロボットカメラシステム１００では、カメラ操作を容易にするため、マスターカメラＭＣの光軸βと、スレーブカメラＳＣの光軸γとのなす角が最も垂直に近くなるスレーブカメラＳＣを１台選択することが好ましい。
以後、選択された１台のスレーブカメラを「選択スレーブカメラ」と呼ぶ。
【００３６】
また、式（１）のθは、単位ベクトルｕと単位ベクトルｖとのなす角であり、選択スレーブカメラＳＣの制御角度幅を表す。この単位ベクトルｕは、弱校正カメラキャリブレーション時のマスターカメラＭＣの光軸βの向きを示す単位ベクトルである。また、単位ベクトルｖは、選択スレーブカメラＳＣからマスターカメラＭＣに向かう単位ベクトルである。
なお、図５では、説明を解かりやすくするため、単位ベクトルｖの始点に単位ベクトルｕの始点が一致するように、マスターカメラＭＣを破線で図示した。
【００３７】
また、式（１）では、エンコーダ１７で検出可能なエンコーダ値の最大値がｄｍａｘであり、エンコーダ１７で検出されたエンコーダ値がｄである。
この最大値ｄｍａｘは、０≦ｄ≦ｄｍａｘを満たすように予め設定される。
【００３８】
図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
フォーカス・アイリス指令部１８は、マスターカメラＭＣ及びスレーブカメラＳＣに対し、オートフォーカス及びオートアイリスを指令するものである。具体的には、フォーカス・アイリス指令部１８は、カメラマンから指令が入力されると、オートフォーカス及びオートアイリスの指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する。
【００３９】
カメラキャリブレーション部２０は、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータ（Ａｍ，Ｒｍ，Ｔｍ，ｐ０ｍ，ｔ０ｍ，ｚ０ｍ，ｆ０ｍ，ｉ０ｍ，Ａｎ，Ｒｎ，Ｔｎ，ｐ０ｎ，ｔ０ｎ，ｚ０ｎ，ｆ０ｎ，ｉ０ｎ，Ｂａｓｅ）を弱校正カメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。
【００４０】
ここで、カメラキャリブレーション部２０は、弱校正カメラキャリブレーションを行ったときのマスターカメラＭＣのカメラ姿勢として、マスターカメラＭＣのパン値ｐ０ｍと、チルト値ｔ０ｍとを算出し、記憶装置に格納する。また、カメラキャリブレーション部２０は、弱校正カメラキャリブレーションを行ったときのマスターカメラＭＣの内部パラメータＡｍと、外部パラメータ（回転行列Ｒｍ及び並進行列Ｔｍ）と、マスターカメラＭＣのズーム値ｚ０ｍと、フォーカス値ｆ０ｍと、アイリス値ｉ０ｍとを算出し、記憶装置に格納する。
なお、添え字ｍがマスターカメラＭＣを示す。
【００４１】
また、カメラキャリブレーション部２０は、弱校正カメラキャリブレーションを行ったときのスレーブカメラＳＣｎの内部パラメータＡｎと、外部パラメータ（回転行列Ｒｎ及び並進行列Ｔｎ）と、スレーブカメラＳＣｎのパン値ｐ０ｎと、チルト値ｔ０ｎと、ズーム値ｚ０ｎと、フォーカス値ｆ０ｎと、アイリス値ｉ０ｎとを算出し、記憶装置に格納する。
【００４２】
また、カメラキャリブレーション部２０は、マスターカメラＭＣと、選択スレーブカメラＳＣとのベースラインの相対距離Ｂａｓｅを算出し、記憶装置に格納する。このベースラインの相対距離Ｂａｓｅは、外部パラメータがカメラ位置を示すことから、マスターカメラＭＣと選択スレーブカメラＳＣとのカメラ位置の差分により、求めることができる。
【００４３】
なお、弱校正カメラキャリブレーションとして、例えば、以下のホームページに記載された「Ｂｕｎｄｌｅｒ」を利用できるため、詳細な説明を省略する。
参考ＵＲＬ：「http://phototour.cs.washington.edu/bundler/」
【００４４】
マスターカメラ制御部３０は、マスターカメラＭＣを制御するものであり、パン・チルト・ズーム制御部３１と、フォーカス・アイリス制御部３３とを備える。
【００４５】
パン・チルト・ズーム制御部３１は、パン・チルト操作部１１から入力されたパン値及びチルト値と、ズーム操作部１３から入力されたズーム値とに基づいて、マスターカメラＭＣのパン、チルト及びズームを制御するものである。具体的には、パン・チルト・ズーム制御部３１は、パン値、チルト値及びズーム値を、それら値の大きさに応じたパン・チルト・ズーム制御信号に変換する。そして、パン・チルト・ズーム制御部３１は、変換したパン・チルト・ズーム制御信号をマスターカメラＭＣに出力する。
【００４６】
フォーカス・アイリス制御部３３は、フォーカス・アイリス指令部１８から入力された指令信号に基づいて、マスターカメラＭＣのフォーカス及びアイリスを制御するものである。具体的には、フォーカス・アイリス制御部３３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、マスターカメラＭＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部３３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、マスターカメラＭＣに出力する。
【００４７】
マスターカメラＭＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、予め設定された１台のロボットカメラである。このマスターカメラＭＣは、例えば、電動雲台に搭載された固定ロボットカメラである。そして、マスターカメラＭＣは、パン・チルト・ズーム制御部３１から入力されたパン・チルト・ズーム制御信号に従って、パン、チルト及びズームを駆動する。さらに、マスターカメラＭＣは、フォーカス・アイリス制御部３３から入力されたフォーカス・アイリス制御信号に従って、フォーカス及びアイリスを駆動する。
【００４８】
注視点算出部４０は、パン・チルト操作部１１から入力されたパン値及びチルト値と、デプス操作部１５から入力されたデプス値と、カメラキャリブレーション部２０に格納されたカメラパラメータとに基づいて、注視点の世界座標を算出するものである。
【００４９】
具体的には、注視点算出部４０は、以下の式（２）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのパン値ｐｍと、弱校正カメラキャリブレーション時のパン値ｐ０ｍとの角度差θｐｍを算出する。
【００５０】
【数２】
2014103474.tif 000004
【００５１】
また、注視点算出部４０は、以下の式（３）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのチルト値ｔｍと、弱校正カメラキャリブレーション時のチルト値ｔ０ｍとの角度差θｔｍを算出する。
【００５２】
【数３】
2014103474.tif 000005
【００５３】
次に、注視点算出部４０は、以下の式（４）に示すように、角度差θｐｍ及び角度差θｔｍを用いて、カメラ座標系における回転行列Ｒ´Ｃｍを生成する。
【００５４】
【数４】
2014103474.tif 000006
【００５５】
そして、注視点算出部４０は、以下の式（５）に示すように、回転行列Ｒ´Ｃｍ、及び、マスターカメラＭＣの外部パラメータである回転行列Ｒｍの逆行列Ｒ−１ｍを用いて、世界座標系におけるカメラ姿勢の回転行列Ｒ´ｍを生成する。このＲ´ｍは、マスターカメラＭＣについて、カメラキャリブレーション時のカメラ姿勢から、操作インターフェース部１０で操作後のカメラ姿勢に変えるための回転行列である。
【００５６】
【数５】
2014103474.tif 000007
【００５７】
ここで、式（５）の回転行列Ｒ´ｍは、以下の式（６）で表すことができる。この場合、注視点Ｑに向いたマスターカメラＭＣの光軸方向を示す単位ベクトルＯｐｔａｘｉｓｍは、以下の式（７）で表すことができる。
【００５８】
【数６】
2014103474.tif 000008
【００５９】
【数７】
2014103474.tif 000009
【００６０】
そして、注視点算出部４０は、以下の式（８）に示すように、逆行列Ｒ−１ｍと、マスターカメラＭＣの外部パラメータである並進行列Ｔｍと、デプス操作部１５から入力されたデプス値Ｄｅｐｔｈと、式（７）の単位ベクトルＯｐｔａｘｉｓｍとを用いて、注視点Ｑの世界座標（位置）Ｐを算出する。この式（８）は、負にした逆行列Ｒ−１ｍと並進行列Ｔｍとの積に、単位ベクトルＯｐｔａｘｉｓｍとデプス値Ｄｅｐｔｈとの内積を加算することを示す。その後、注視点算出部４０は、算出した注視点Ｑの世界座標Ｐを、パン・チルト制御部５１に出力する。
【００６１】
【数８】
2014103474.tif 000010
【００６２】
図６を参照し、スレーブカメラＳＣの制御角度の変化について、説明する（適宜図１，２参照）。
図６（ａ）の注視点Ｑ１〜Ｑ４は、マスターカメラＭＣの光軸βの上を移動する注視点について、時間ｔ＝１〜４での位置を示している。
前記したように、デプス操作部１５がデプス値を非線形に変化させるため、注視点Ｑ１〜Ｑ４の単位時間あたりの移動距離は、マスターカメラＭＣから離れる程、広くなる。つまり、注視点Ｑ１，Ｑ２の距離よりも注視点Ｑ２，Ｑ３の距離が広くなり、注視点Ｑ２，Ｑ３の距離よりも注視点Ｑ３，Ｑ４の距離が広くなる。このため、時間ｔ＝１〜２におけるスレーブカメラＳＣの制御角度Ａと、時間ｔ＝３〜４におけるスレーブカメラＳＣの制御角度Ｂとが、等しくなる。
【００６３】
図６（ｂ）では、回転ダイヤル１６において、注視点Ｑ１〜Ｑ４に対応する指標位置を図示した。これら注視点Ｑ１〜Ｑ４に対応する指標位置は、全て等間隔となっている。
図６（ｂ）に示すように、指標１６ａが指標位置「Ｑ１」に重なるとき、図６（ａ）の注視点Ｑ１を指す。これと同様、指標１６ａが指標位置「Ｑ２」に重なるときに図６（ａ）の注視点Ｑ２を指し、指標１６ａが指標位置「Ｑ３」に重なるときに図６（ａ）の注視点Ｑ３を指し、指標１６ａが指標位置「Ｑ４」に重なるときに図６（ａ）の注視点Ｑ４を指す。
【００６４】
ここで、図６（ａ）に示すように、注視点Ｑ１から注視点Ｑ２に移動させる場合、及び、注視点Ｑ３から注視点Ｑ４に移動させる場合でも、制御角度Ａ，Ｂが等しいため、図６（ｂ）に示すように、回転ダイヤル１６の移動操作量が一定となる。このように、多視点ロボットカメラシステム１００では、回転ダイヤル１６の移動操作量に対し、スレーブカメラＳＣの制御角度の変化量が一定となる。
【００６５】
図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
スレーブカメラ制御部５０１，…，５０ｎは、スレーブカメラＳＣ１，…，ＳＣｎを制御するものであり、パン・チルト制御部５１１，…，５１ｎ（５１）と、フォーカス・アイリス制御部５３１，…，５３ｎ（５３）と、ズーム制御部５５１，…，５５ｎ（５５）とを備える。
なお、スレーブカメラ制御部５０１，…，５０ｎは、スレーブカメラＳＣ１，…，ＳＣｎに対応するように備えられており、全て同一構成である。
【００６６】
パン・チルト制御部５１は、注視点算出部４０から入力された注視点Ｑの世界座標Ｐと、カメラキャリブレーション部２０に格納されたカメラパラメータ（回転行列Ｒｎ及び並進行列Ｔｎ）とに基づいて、スレーブカメラＳＣの姿勢（パン及びチルト）を制御するものである。
【００６７】
具体的には、パン・チルト制御部５１は、以下の式（９）に示すように、パン及びチルトを制御するために、スレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓｎを算出する。
なお、“‖‖”はノルムを示す。
【００６８】
【数９】
2014103474.tif 000011
【００６９】
また、パン・チルト制御部５１は、以下の式（１０）に示すように、算出した単位ベクトルＯｐｔａｘｉｓｎ、及び、回転行列Ｒｎを用いて、カメラ座標系におけるスレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓＣｎを算出する。
【００７０】
【数１０】
2014103474.tif 000012
【００７１】
そして、パン・チルト制御部５１は、以下の式（１１）〜式（１３）に示すように、ＯｐｔａｘｉｓＣｎから、スレーブカメラＳＣｎのパン値Ｐｎ及びチルト値Ｔｎを算出する。
なお、ｅ１，ｅ２，ｅ３は、それぞれ、単位ベクトルＯｐｔａｘｉｓＣｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。
【００７２】
【数１１】
2014103474.tif 000013
【００７３】
【数１２】
2014103474.tif 000014
【００７４】
【数１３】
2014103474.tif 000015
【００７５】
さらに、パン・チルト制御部５１は、算出したパン値Ｐｎ及びチルト値Ｔｎを、それら値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部５１は、変換したパン・チルト制御信号をスレーブカメラＳＣに出力する。
【００７６】
フォーカス・アイリス制御部５３は、フォーカス・アイリス指令部１８から入力された指令信号に基づいて、スレーブカメラＳＣのフォーカス及びアイリスを制御するものである。具体的には、フォーカス・アイリス制御部５３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、スレーブカメラＳＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部５３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、スレーブカメラＳＣに出力する。
【００７７】
ズーム制御部５５は、ズーム操作部１３から入力されたズーム値に基づいて、スレーブカメラＳＣのズームを制御するものである。具体的には、ズーム制御部５５は、ズーム値を、その値の大きさに応じたズーム制御信号に変換する。そして、ズーム制御部５５は、変換したズーム制御信号をスレーブカメラＳＣに出力する。
【００７８】
スレーブカメラＳＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、マスターカメラＭＣ以外のロボットカメラである。このスレーブカメラＳＣは、例えば、電動雲台に搭載された固定ロボットカメラである。また、スレーブカメラＳＣは、パン・チルト制御部５１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。そして、スレーブカメラＳＣは、フォーカス・アイリス制御部５３から入力されたフォーカス・アイリス制御信号に応じて、フォーカス及びアイリスを駆動する。さらに、スレーブカメラＳＣは、ズーム制御部５５から入力されたズーム制御信号に応じて、ズームを駆動する。
【００７９】
［多視点ロボットカメラシステムの動作］
図７を参照し、図１の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０によって、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータを算出し（ステップＳ１）、記憶装置に格納する（ステップ２）。
【００８０】
多視点ロボットカメラシステム１００は、パン・チルト操作部１１によって、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。
多視点ロボットカメラシステム１００は、ズーム操作部１３によって、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５とに出力する。
多視点ロボットカメラシステム１００は、デプス操作部１５によって、式（１）を用いてデプス値を算出し、注視点算出部４０に出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス指令部１８によって、カメラマンからの指令に応じて指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する（ステップＳ３）。
【００８１】
多視点ロボットカメラシステム１００は、パン・チルト・ズーム制御部３１によって、パン値、チルト値及びズーム値を、パン・チルト・ズーム制御信号に変換して、マスターカメラＭＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部３３によって、指令信号に応じて、オートフォーカス機能及びオートアイリス機能を用いて、マスターカメラＭＣのフォーカス・アイリス制御信号を生成して、マスターカメラＭＣに出力する（ステップＳ４）。
【００８２】
多視点ロボットカメラシステム１００は、注視点算出部４０によって、式（８）のように、負にした逆行列Ｒ−１ｍと並進行列Ｔｍとの積に、単位ベクトルＯｐｔａｘｉｓｍとデプス値Ｄｅｐｔｈとの内積を加算することで、注視点Ｑの世界座標Ｐを算出する（ステップＳ５）。
【００８３】
多視点ロボットカメラシステム１００は、パン・チルト制御部５１によって、パン値及びチルト値を、パン・チルト・ズーム制御信号に変換して、スレーブカメラＳＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部５３によって、指令信号に応じて、オートフォーカス機能及びオートアイリス機能を用いて、スレーブカメラＳＣのフォーカス・アイリス制御信号を生成して、スレーブカメラＳＣに出力する。
多視点ロボットカメラシステム１００は、ズーム制御部５５によって、ズーム値をズーム制御信号に変換して、スレーブカメラＳＣに出力する（ステップＳ６）。
【００８４】
以上のように、本願発明の実施形態に係る多視点ロボットカメラシステム１００は、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がない。さらに、多視点ロボットカメラシステム１００は、式（１）のように、制御角度幅θに基づいてデプス値Ｄｅｐｔｈを算出するために、実距離を計測する必要がない。これによって、多視点ロボットカメラシステム１００は、撮影現場での準備作業の手間を軽減することができる。
【００８５】
さらに、多視点ロボットカメラシステム１００は、デプス操作部１５によりデプス値を非線形に変化させるため、注視点とマスターカメラとの遠近に関係なく、スレーブカメラＳＣの制御角度Ａ，Ｂの変化が一定となる。このため、多視点ロボットカメラシステム１００は、スレーブカメラＳＣの制御角度の変化が一定にならない従来技術に比べ、デプス調整を容易に行うことができる（図６参照）。
【００８６】
さらに、多視点ロボットカメラシステム１００は、式（１）に正接関数（ｔａｎ）の項が含まれないため、マスターカメラＭＣ及びスレーブカメラＳＣを直線状、円弧状、円周状などの任意に配置した状態で方向制御を行うことができる。
【００８７】
本願発明は、実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。以下、本願発明の変形例について、具体的に説明する。
前記した実施形態では、デプス操作部１５が回転ダイヤル１６を備えることとして説明したが、本願発明は、これに限定されない。
例えば、デプス操作部１５は、回転ダイヤル１６の代わりにスライダを備えてもよい。
【実施例】
【００８８】
図８，図９を参照し、本願発明の実施例として、多視点ロボットカメラシステム１００の実験結果について、説明する（適宜図１参照）。
図１の多視点ロボットカメラシステム１００を用いて、マスターカメラＭＣ及びスレーブカメラＳＣで多視点映像を撮影する実験を行った。まず、図８に示すように、９台のロボットカメラを３段３列に配置し、中央のロボットカメラ１台をマスターカメラＭＣとして設定し、残り８台のロボットカメラをスレーブカメラＳＣとして設定した。また、選択スレーブカメラＳＣ１は、図面左列で下段に位置する。さらに、被写体αとして、人形を配置した。
【００８９】
そして、多視点ロボットカメラシステム１００では、キャリブレーションパターンを撮影せずに、弱校正カメラキャリブレーションのみを行って、被写体αを撮影した。このとき、マスターカメラＭＣの３次元座標が（６．２，−２．０，３．０）であり、スレーブカメラＳＣの３次元座標が（３．６，−３．５，１．２）であった（小数点桁２で切捨）。また、式（１）では、Ｂａｓｅの値が３．６であり、ｄｍａｘが６５５３５．０（２バイトの最大値）であった（小数点桁２で切捨）。
【００９０】
図９では、マスターカメラＭＣ及びスレーブカメラＳＣが撮影した映像をカメラ配置と同じ３段３列で示した。つまり、図９では、ＣＨＡＮＥＬ５がマスターカメラＭＣの映像であり、ＣＨＡＮＥＬ１が選択スレーブカメラＳＣ１の映像であり、ＣＨＡＮＥＬ２〜４，６〜９が残りのスレーブカメラＳＣの映像である。
【００９１】
この図９から、多視点ロボットカメラシステム１００では、キャリブレーションパターンを撮影せずとも、マスターカメラＭＣ及びスレーブカメラＳＣの方向制御を行って、多視点映像を撮影できることが分かった。さらに、多視点ロボットカメラシステム１００では、注視点ＱとマスターカメラＭＣとの遠近に関わらず、スレーブカメラＳＣの制御角度の変化が一定となるため、デプス調整が容易となり、操作性が向上することも分かった。
【符号の説明】
【００９２】
１  ロボットカメラ制御装置
１０  操作インターフェース部
１１  パン・チルト操作部（カメラ姿勢操作部）
１３  ズーム操作部
１５  デプス操作部（デプス値算出部）
１６  回転ダイヤル（操作部）
１７  エンコーダ
１８  フォーカス・アイリス指令部
２０  カメラキャリブレーション部
３０  マスターカメラ制御部
３１  パン・チルト・ズーム制御部
３３  フォーカス・アイリス制御部
４０  注視点算出部
５０  スレーブカメラ制御部
５１  パン・チルト制御部
５３  フォーカス・アイリス制御部
５５  ズーム制御部
１００  多視点ロボットカメラシステム
ＭＣ  マスターカメラ
ＳＣ  スレーブカメラ
【図１】
2014103474.tif 000017
【図２】
2014103474.tif 000018
【図３】
2014103474.tif 000019
【図４】
2014103474.tif 000020
【図５】
2014103474.tif 000021
【図６】
2014103474.tif 000022
【図７】
2014103474.tif 000023
【図８】
2014103474.tif 000024
【図１０】
2014103474.tif 000025
【図９】
2014103474.tif 000026