(57)【要約】【課題】本願発明は、デプス調整が容易な多視点ロボットカメラシステムを提供する。【解決手段】多視点ロボットカメラシステム１００は、エンコーダ値から、非線形に変化されたデプス値を算出する操作インターフェース部１０と、カメラキャリブレーションによってカメラパラメータを算出するカメラキャリブレーション部２０と、マスターカメラＭＣを制御するマスターカメラ制御部３０と、カメラキャリブレーション時と撮影時とのカメラ姿勢の差分に基づいて回転行列を算出し、回転行列に含まれる奥行成分のベクトルとデプス値との積に並進ベクトルを加算することで、注視点の位置を算出する注視点算出部４０と、注視点に向くようにスレーブカメラＳＣを制御するスレーブカメラ制御部５０とを備える。【選択図】図１
2014103490.tif 000002
【特許請求の範囲】
【請求項１】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とするロボットカメラ制御装置。
【請求項２】
前記デプス値算出部は、
前記注視点の移動操作が行われる操作部と、
前記操作部に対する移動操作を検出するエンコーダと、を備え、
前記マスターカメラ及び前記スレーブカメラのベースラインの最大距離Ｂ、前記デプス値の最大値ｄｍａｘ、前記デプス値の最小値ｄｍｉｎ、及び、前記エンコーダにおける移動操作の最大検出値ｔｍａｘが予め設定された以下の式（１）から式（４）を用いて、前記エンコーダにおける移動操作の検出値ｔ(但し、０≦ｔ≦ｔｍａｘ)から、前記デプス値を示すｋを算出することを特徴とする請求項１に記載のロボットカメラ制御装置。
【数１】
2014103490.tif 000021
【数２】
2014103490.tif 000022
【数３】
2014103490.tif 000023
【数４】
2014103490.tif 000024
【請求項３】
前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように、前記マスターカメラの姿勢を制御するマスターカメラ制御部、をさらに備え、
前記スレーブカメラ制御部は、前記注視点算出部が算出した注視点に合焦するように、前記スレーブカメラのフォーカスをさらに制御することを特徴とする請求項１又は請求項２に記載のロボットカメラ制御装置。
【請求項４】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように前記スレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。
【請求項５】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部とを備えるコンピュータを、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部、
として機能させるためのロボットカメラ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。
【背景技術】
【０００２】
従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。この多視点ロボットカメラシステムは、複数台のロボットカメラのうち１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。ここで、マスターカメラの光軸上には注視点が設定されており、マスターカメラ以外のスレーブカメラは、注視点に向くように制御角度が変化して、自動的に方向制御される。このとき、カメラマンが、マスターカメラと注視点との距離であるデプス値を連続的に変化させることで、注視点をマスターカメラの光軸上で移動させる。そして、注視点が被写体に重なるように（すなわち、全スレーブカメラの画面の中心に被写体が位置するように）、カメラマンが、デプス操作装置を用いてデプス値を変化（増減）させることで、多視点映像を撮影することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】伊佐憲一、他４名、「最新スポーツ中継技術  世界初！  プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の多視点ロボットカメラシステムは、デプス操作装置が、デプス値を線形に変化させている。従って、従来の多視点ロボットカメラシステムでは、注視点がマスターカメラに近い時、スレーブカメラの制御角度が大幅に変化する。一方、従来の多視点ロボットカメラシステムでは、注視点がマスターカメラに遠い時、スレーブカメラの制御角度がほとんど変化しない。従って、デプス操作装置の操作量に対し、スレーブカメラの制御角度の変化量が一定とならない。このため、従来の多視点ロボットカメラシステムでは、注視点が被写体に重なるようにデプス調整を行うことが困難であるという問題がある。
【０００５】
図９を参照して、従来の多視点ロボットカメラシステムの問題について、詳細に説明する。
図９（ａ）の注視点Ｑ１〜Ｑ４は、マスターカメラＭＣの光軸βの上を移動する注視点について、時間ｔ＝１〜４での位置を示している。
前記したように、デプス値が線形に変化するため、注視点Ｑ１，Ｑ２の距離、注視点Ｑ２，Ｑ３の距離、及び、注視点Ｑ３，Ｑ４の距離は、全て等しくなる。つまり、時間ｔ＝１〜２では、スレーブカメラＳＣが注視点Ｑ１〜Ｑ２に追随するので、制御角度Ａが大きくなる。一方、時間ｔ＝３〜４では、スレーブカメラＳＣが注視点Ｑ３〜Ｑ４に追随するので、制御角度Ｂが小さくなる。
【０００６】
図９（ｂ）では、デプス操作装置９０の回転ダイヤル９１において、注視点Ｑ１〜Ｑ４に対応する指標位置を図示した。注視点Ｑ１〜Ｑ４の順で指標位置の間隔が短くなっている。
図９（ｂ）に示すように、回転ダイヤル９１に刻まれた指標９１ａが指標位置「Ｑ１」に重なるとき、図９（ａ）の注視点Ｑ１を指す。これと同様、指標９１ａが指標位置「Ｑ２」に重なるときに図９（ａ）の注視点Ｑ２を指し、指標９１ａが指標位置「Ｑ３」に重なるときに図９（ａ）の注視点Ｑ３を指し、指標９１ａが指標位置「Ｑ４」に重なるときに図９（ａ）の注視点Ｑ４を指す。
【０００７】
ここで、図９（ａ）に示すように、注視点Ｑ１から注視点Ｑ２に移動させる場合、制御角度Ａが大きいため、図９（ｂ）に示すように、回転ダイヤル９１の操作量が多くなる。一方、図９（ａ）に示すように、注視点Ｑ３から注視点Ｑ４に移動させる場合、制御角度Ｂが小さいため、図９（ｂ）に示すように、回転ダイヤル９１の操作量が少なくなる。このように、従来の多視点ロボットカメラシステムでは、回転ダイヤル９１の操作量に対し、スレーブカメラＳＣの制御角度の変化量が一定とならず、デプス調整を行うことが困難となる。
【０００８】
そこで、本願発明は、デプス調整が容易なロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記した課題に鑑みて、本願第１発明に係るロボットカメラ制御装置は、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、カメラ姿勢操作部と、デプス値算出部と、カメラキャリブレーション部と、注視点算出部と、スレーブカメラ制御部と、を備えることを特徴とする。
【００１０】
かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、デプス値算出部によって、注視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、マスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるように、マスターカメラから注視点までの距離であるデプス値を、非線形に変化させて算出する。
【００１１】
また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの外部パラメータである並進ベクトルとを、カメラキャリブレーションにより算出する。
【００１２】
また、ロボットカメラ制御装置は、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、マスターカメラにおける回転行列を算出し、算出した回転行列に含まれる奥行成分のベクトルとデプス値との積に並進ベクトルを加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。
【００１３】
ここで、デプス値算出部は、注視点の移動操作が行われる操作部と、操作部に対する移動操作を検出するエンコーダと、を備え、マスターカメラ及びスレーブカメラのベースラインの最大距離Ｂ、デプス値の最大値ｄｍａｘ、デプス値の最小値ｄｍｉｎ、及び、エンコーダにおける移動操作の最大検出値ｔｍａｘが予め設定された以下の式（１）から式（４）を用いて、エンコーダにおける移動操作の検出値ｔ(但し、０≦ｔ≦ｔｍａｘ)から、デプス値を示すｋを算出することが好ましい（本願第２発明）。
【００１４】
また、本願第３発明に係るロボットカメラ制御装置は、カメラ姿勢操作部で操作されたカメラ姿勢をとるように、マスターカメラの姿勢を制御するマスターカメラ制御部、をさらに備え、スレーブカメラ制御部が、注視点算出部が算出した注視点に合焦するように、スレーブカメラのフォーカスをさらに制御することを特徴とする。
かかる構成によれば、ロボットカメラ制御装置は、マスターカメラの姿勢を制御すると共に、スレーブカメラを注視点に正確にフォーカスさせることができる。
【００１５】
また、前記した課題に鑑みて、本願第４発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラと、マスターカメラの光軸上を移動可能な注視点に向くようにスレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、ロボットカメラ制御装置が、カメラ姿勢入力部と、デプス値算出部と、カメラキャリブレーション部と、注視点算出部と、スレーブカメラ制御部と、を備えることを特徴とする。
【００１６】
かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、デプス値算出部によって、注視点を移動させる移動操作が行われ、注視点の移動操作量から、マスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるように、マスターカメラから注視点までの距離であるデプス値を、非線形に変化させて算出する。
【００１７】
また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの外部パラメータである並進ベクトルとを、カメラキャリブレーションにより算出する。
【００１８】
また、ロボットカメラ制御装置は、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、マスターカメラにおける回転行列を算出し、算出した回転行列に含まれる奥行成分のベクトルとデプス値との積に並進ベクトルを加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。
【００１９】
ここで、本願第１発明に係るロボットカメラ制御装置は、カメラ姿勢操作部及びデプス値算出部を備えるコンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスクなどのハードウェア資源を、カメラキャリブレーション部、注視点算出部及びスレーブカメラ制御部として協調動作させるためのロボットカメラ制御プログラムによって実現することもできる（本願第５発明）。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【発明の効果】
【００２０】
本願発明によれば、以下のような優れた効果を奏する。
本願第１，２，４，５発明によれば、ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムは、マスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるようにデプス値を非線形に変化させるため、注視点とマスターカメラとの遠近に関係なく、スレーブカメラの制御角度の変化が一定になり、デプス調整を容易に行うことができる。
本願第３発明によれば、ロボットカメラ制御装置は、マスターカメラの姿勢を制御すると共に、スレーブカメラを注視点に正確にフォーカスさせるため、多視点映像を容易に撮影することができる。
【図面の簡単な説明】
【００２１】
【図１】本願発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図２】（ａ）は図１のデプス操作部が備える操作部及びエンコーダを説明する図であり、（ｂ）はデプス操作部の操作を説明する説明図である。
【図３】図１のデプス操作部において、デプス値の変化を説明する説明図である。
【図４】図１のデプス操作部において、デプス値の変化を説明する説明図である。
【図５】（ａ）及び（ｂ）は図１の多視点ロボットカメラシステムにおいて、スレーブカメラの制御角度の変化を説明する説明図である。
【図６】図１の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図７】本願発明の実施例を説明する説明図である。
【図８】本願発明の実施例において、スレーブカメラの制御角度の変化の測定結果を示すグラフである。
【図９】（ａ）及び（ｂ）は従来の多視点ロボットカメラシステムにおいて、スレーブカメラの制御角度の変化を説明する説明図である。
【発明を実施するための形態】
【００２２】
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２３】
（実施形態）
［多視点ロボットカメラシステムの構成］
図１を参照し、本願発明の実施形態に係る多視点ロボットカメラシステム１００の構成について、説明する。
図１に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、マスターカメラＭＣと、スレーブカメラＳＣ１，…，ＳＣｎ（ＳＣ）とを備える。
【００２４】
本実施形態では、マスターカメラＭＣ及びスレーブカメラＳＣは、所定の間隔で直線状に配置されることとする。
また、スレーブカメラＳＣは、ｎ台であることとする（但し、ｎ≧１を満たす整数）。
【００２５】
ロボットカメラ制御装置１は、マスターカメラＭＣ及びスレーブカメラＳＣを制御するものであり、操作インターフェース部１０と、カメラキャリブレーション部２０と、マスターカメラ制御部３０と、注視点算出部４０と、スレーブカメラ制御部５０１，…，５０ｎ（５０）とを備える。
【００２６】
操作インターフェース部１０は、カメラマンが、マスターカメラＭＣ及びスレーブカメラＳＣを遠隔操作するものであり、パン・チルト操作部（カメラ姿勢操作部）１１と、ズーム・アイリス操作部１３と、デプス操作部（デプス値算出部）１５とを備える。
【００２７】
パン・チルト操作部１１は、カメラマンが、マスターカメラＭＣのパン及びチルト（カメラ姿勢）を操作するものである。そして、パン・チルト操作部１１は、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム・アイリス制御部３１と、注視点算出部４０とに出力する。
【００２８】
ズーム・アイリス操作部１３は、カメラマンが、マスターカメラＭＣのズーム及びアイリスを操作するものである。そして、ズーム・アイリス操作部１３は、カメラマンの操作に応じたズーム値及びアイリス値を検出して、パン・チルト・ズーム・アイリス制御部３１と、ズーム・アイリス制御部５５とに出力する。
【００２９】
デプス操作部１５は、注視点を移動させる移動操作が行われると共に、注視点の移動操作の検出値から、マスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるようなデプス値を算出するものである。
なお、デプス値とは、マスターカメラＭＣから注視点までの距離を示す。
【００３０】
本実施形態では、デプス操作部１５は、図２（ａ）に示すように、注視点の移動操作が行われる回転ダイヤル（操作部）１６と、回転ダイヤル１６に対する移動操作を検出するエンコーダ１７とを備える。
ここで、図２（ｂ）に示すように、回転ダイヤル１６を時計回りに回転させる程、エンコーダ１７のエンコーダ値（移動操作の検出値）が増大する。そして、回転ダイヤル１６に刻まれた指標１６ａが指標位置「△最大」に達したときに、エンコーダ１７のエンコーダ値が最大となる。
一方、回転ダイヤル１６を反時計回りに回転させる程、エンコーダ１７のエンコーダ値が減少する。そして、回転ダイヤル１６に刻まれた指標１６ａが指標位置「△最小」に達したときに、エンコーダ１７のエンコーダ値が最小となる。
そして、デプス操作部１５は、エンコーダ値とデプス値とを対応付けたデプス値変換情報が予め設定され、このデプス値変換情報を参照して、エンコーダ１７で検出されたエンコーダ値をデプス値に変換する。さらに、デプス操作部１５は、変換されたデプス値を以下で説明するように変化（増減）させて、フォーカス制御部３３と、注視点算出部４０とに出力する。
【００３１】
＜デプス値の変化＞
図３，図４を参照して、デプス操作部１５によるデプス値の変化について、説明する（適宜図１，２参照）。
図３に示すように、カメラマンは、マスターカメラＭＣの撮影映像９０を見ながら、マスターカメラＭＣが被写体αを捉えるようにパン・チルト操作部１１及びズーム・アイリス操作部１３を操作する。従って、マスターカメラＭＣの撮影映像９０は、画面中央に被写体αが捉えられている。一方、スレーブカメラＳＣの撮影映像９１は、被写体αが捉えてられていない。
なお、ズーム・アイリス操作部１３は、カメラマン以外が遠隔操作することもある。
【００３２】
次に、カメラマンは、回転ダイヤル１６の操作によりデプス値を連続的に変化させることで、注視点Ｑを光軸βの上で移動させる。そして、図４に示すように、カメラマンは、スレーブカメラＳＣの撮影映像９１を見ながら、撮影映像９１の中央に被写体αが位置するように、回転ダイヤル１６を操作してデプス値を調整する。
【００３３】
このとき、デプス操作部１５は、マスターカメラＭＣから離れる程、単位時間あたりの注視点Ｑの移動距離が長くなるように、デプス値を非線形に変化させる。具体的には、デプス操作部１５は、以下の式（１）〜式（４）を用いて、デプス値ｋを算出する。
【００３４】
【数１】
2014103490.tif 000003
【００３５】
【数２】
2014103490.tif 000004
【００３６】
【数３】
2014103490.tif 000005
【００３７】
【数４】
2014103490.tif 000006
【００３８】
なお、マスターカメラＭＣと、マスターカメラＭＣから最も遠いスレーブカメラＳＣのベースラインの距離（カメラ間隔）がＢ、デプス値の最大値がｄｍａｘ、デプス値の最小値がｄｍｉｎ、エンコーダ１７で検出可能なエンコーダ値の最大値がｔｍａｘ、エンコーダ１７で検出されたエンコーダ値がｔである(但し、０≦ｔ≦ｔｍａｘを満たす)。
この最大距離Ｂ、最大値ｄｍａｘ、最小値ｄｍｉｎ及び最大検出値ｔｍａｘは、予め設定されている。
【００３９】
図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
カメラキャリブレーション部２０は、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータ（Ａｍ，Ｒｍ，Ｔｍ，ｐ０ｍ，ｔ０ｍ，ｚ０ｍ，ｆ０ｍ，ｉ０ｍ，Ａｎ，Ｒｎ，Ｔｎ，ｐ０ｎ，ｔ０ｎ，ｚ０ｎ，ｆ０ｎ，ｉ０ｎ）をカメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。
【００４０】
ここで、カメラキャリブレーション部２０は、カメラキャリブレーションを行ったときのマスターカメラＭＣのカメラ姿勢として、マスターカメラＭＣのパン値ｐ０ｍと、チルト値ｔ０ｍとを算出し、記憶装置に格納する。また、カメラキャリブレーション部２０は、カメラキャリブレーションを行ったときのマスターカメラＭＣの内部パラメータＡｍと、外部パラメータ（回転行列Ｒｍ及び並進ベクトルＴｍ）と、マスターカメラＭＣのズーム値ｚ０ｍと、フォーカス値ｆ０ｍと、アイリス値ｉ０ｍとを算出し、記憶装置に格納する。
なお、添え字ｍがマスターカメラＭＣを示す。
【００４１】
また、カメラキャリブレーション部２０は、カメラキャリブレーションを行ったときのスレーブカメラＳＣｎの内部パラメータＡｎと、外部パラメータ（回転行列Ｒｎ及び並進ベクトルＴｎ）と、スレーブカメラＳＣｎのパン値ｐ０ｎと、チルト値ｔ０ｎと、ズーム値ｚ０ｎと、フォーカス値ｆ０ｎと、アイリス値ｉ０ｎとを算出し、記憶装置に格納する。
【００４２】
なお、カメラキャリブレーションの手法は、例えば、以下の参考文献に記載されているため、詳細な説明を省略する。
参考文献「デジタル画像処理：財団法人  画像情報教育振興協会」
【００４３】
マスターカメラ制御部３０は、マスターカメラＭＣを制御するものであり、パン・チルト・ズーム・アイリス制御部３１と、フォーカス制御部３３とを備える。
【００４４】
パン・チルト・ズーム・アイリス制御部３１は、パン・チルト操作部１１から入力されたパン値及びチルト値と、ズーム・アイリス操作部１３から入力されたズーム値及びアイリス値とに基づいて、マスターカメラＭＣのパン、チルト、ズーム及びアイリスを制御するものである。
【００４５】
具体的には、パン・チルト・ズーム・アイリス制御部３１は、パン値、チルト値、ズーム値及びアイリス値を、それら値の大きさに応じたパン・チルト・ズーム・アイリス制御信号に変換する。そして、パン・チルト・ズーム・アイリス制御部３１は、変換したパン・チルト・ズーム・アイリス制御信号をマスターカメラＭＣに出力する。
【００４６】
フォーカス制御部３３は、デプス操作部１５から入力されたデプス値に基づいて、マスターカメラＭＣのフォーカスを制御するものである。具体的には、フォーカス制御部３３は、デプス値とフォーカス値とを対応付けた情報が予め設定され、この情報を参照して、デプス値に対応したフォーカス値を算出する。そして、フォーカス制御部３３は、算出したフォーカス値を、その値の大きさに応じたフォーカス制御信号に変換して、マスターカメラＭＣに出力する。
【００４７】
マスターカメラＭＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、予め設定された１台のロボットカメラである。このマスターカメラＭＣは、例えば、電動雲台に搭載された固定ロボットカメラである。そして、マスターカメラＭＣは、パン・チルト・ズーム・アイリス制御部３１から入力されたパン・チルト・ズーム・アイリス制御信号に従って、パン、チルト、ズーム及びアイリスを駆動する。さらに、マスターカメラＭＣは、フォーカス制御部３３から入力されたフォーカス制御信号に従って、フォーカスを駆動する。
【００４８】
注視点算出部４０は、パン・チルト操作部１１から入力されたパン値及びチルト値と、デプス操作部１５から入力されたデプス値と、カメラキャリブレーション部２０に格納されたカメラパラメータに基づいて、注視点の世界座標を算出するものである。
【００４９】
具体的には、注視点算出部４０は、以下の式（５）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのパン値ｐｍと、カメラキャリブレーション時のパン値ｐ０ｍとの角度差θｐｍを算出する。
【００５０】
【数５】
2014103490.tif 000007
【００５１】
また、注視点算出部４０は、以下の式（６）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのチルト値ｔｍと、カメラキャリブレーション時のチルト値ｔ０ｍとの角度差θｔｍを算出する。
【００５２】
【数６】
2014103490.tif 000008
【００５３】
次に、注視点算出部４０は、以下の式（７）に示すように、角度差θｐｍ及び角度差θｔｍを用いて、カメラ座標系における回転行列Ｒ´ｒｅｃｔ＿Ｃｍを生成する。
【００５４】
【数７】
2014103490.tif 000009
【００５５】
そして、注視点算出部４０は、以下の式（８）に示すように、回転行列Ｒ´ｒｅｃｔ＿Ｃｍ、及び、マスターカメラＭＣの外部パラメータである回転行列Ｒｍを用いて、世界座標系におけるカメラ姿勢の回転行列Ｒ´ｒｅｃｔｍを生成する。この回転行列Ｒ´ｒｅｃｔｍは、マスターカメラＭＣについて、カメラキャリブレーション時のカメラ姿勢から、操作インターフェース部１０で操作後のカメラ姿勢に変えるための回転行列である。
なお、回転行列Ｒ´ｒｅｃｔｍが請求項に記載の「マスターカメラにおける回転行列」に相当する。
【００５６】
【数８】
2014103490.tif 000010
【００５７】
ここで、式（８）の回転行列Ｒ´ｒｅｃｔｍは、以下の式（９）に示すように、世界座標系におけるカメラ姿勢のＸ軸を示すベクトルｅ´ｘｍと、世界座標系におけるカメラ姿勢のＹ軸を示すベクトルｅ´ｙｍと、世界座標系におけるカメラ姿勢のＺ軸を示すベクトル（奥行成分のベクトル）ｅｚｍとを用いて、定義することができる。
なお、式（９）のベクトルｅ´ｘｍ，ｅ´ｙｍは、以後の計算に利用されない。
【００５８】
【数９】
2014103490.tif 000011
【００５９】
そして、注視点算出部４０は、以下の式（１０）に示すように、回転行列Ｒ´ｒｅｃｔｍと、マスターカメラＭＣの並進ベクトルＴｍと、デプス操作部１５から入力されたデプス値ｋとを用いて、注視点Ｑの世界座標（位置）Ｐを算出する。この式（１０）は、ベクトルｅｚｍとデプス値ｋとの積に並進ベクトルＴｍを加算することを示す。その後、注視点算出部４０は、算出した注視点Ｑの世界座標Ｐを、パン・チルト制御部５１と、フォーカス制御部５３とに出力する。
【００６０】
【数１０】
2014103490.tif 000012
【００６１】
図５を参照し、スレーブカメラＳＣの制御角度の変化について、説明する（適宜図１，２参照）。
図５（ａ）の注視点Ｑ１〜Ｑ４は、マスターカメラＭＣの光軸βの上を移動する注視点について、時間ｔ＝１〜４での位置を示している。
前記したように、デプス操作部１５がデプス値を非線形に変化させるため、注視点Ｑ１〜Ｑ４の単位時間あたりの移動距離は、マスターカメラＭＣから離れる程、広くなる。つまり、注視点Ｑ１，Ｑ２の距離よりも注視点Ｑ２，Ｑ３の距離が広くなり、注視点Ｑ２，Ｑ３の距離よりも注視点Ｑ３，Ｑ４の距離が広くなる。このため、時間ｔ＝１〜２におけるスレーブカメラＳＣの制御角度Ａと、時間ｔ＝３〜４におけるスレーブカメラＳＣの制御角度Ｂとが、等しくなる。
【００６２】
図５（ｂ）では、回転ダイヤル１６において、注視点Ｑ１〜Ｑ４に対応する指標位置を図示した。これら注視点Ｑ１〜Ｑ４に対応する指標位置は、全て等間隔となっている。
図５（ｂ）に示すように、指標１６ａが指標位置「Ｑ１」に重なるとき、図５（ａ）の注視点Ｑ１を指す。これと同様、指標１６ａが指標位置「Ｑ２」に重なるときに図５（ａ）の注視点Ｑ２を指し、指標１６ａが指標位置「Ｑ３」に重なるときに図５（ａ）の注視点Ｑ３を指し、指標１６ａが指標位置「Ｑ４」に重なるときに図５（ａ）の注視点Ｑ４を指す。
【００６３】
ここで、図５（ａ）に示すように、注視点Ｑ１から注視点Ｑ２に移動させる場合、及び、注視点Ｑ３から注視点Ｑ４に移動させる場合でも、制御角度Ａ，Ｂが等しいため、図５（ｂ）に示すように、回転ダイヤル１６の移動操作量が一定となる。このように、多視点ロボットカメラシステム１００では、回転ダイヤル１６の移動操作量に対し、スレーブカメラＳＣの制御角度の変化量が一定となる。
【００６４】
図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
スレーブカメラ制御部５０１，…，５０ｎは、スレーブカメラＳＣ１，…，ＳＣｎを制御するものであり、パン・チルト制御部５１１，…，５１ｎ（５１）と、フォーカス制御部５３１，…，５３ｎ（５３）と、ズーム・アイリス制御部５５１，…，５５ｎ（５５）とを備える。
なお、スレーブカメラ制御部５０１，…，５０ｎは、スレーブカメラＳＣ１，…，ＳＣｎに対応するように備えられており、全て同一構成である。
【００６５】
パン・チルト制御部５１は、注視点算出部４０から入力された注視点Ｑの世界座標Ｐと、カメラキャリブレーション部２０に格納されたカメラパラメータ（回転行列Ｒｎ及び並進ベクトルＴｎ）とに基づいて、スレーブカメラＳＣの姿勢（パン及びチルト）を制御するものである。
【００６６】
具体的には、パン・チルト制御部５１は、以下の式（１１）に示すように、パン及びチルトを制御するために、スレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルｅｚｎを算出する。
なお、“‖‖”はノルムを示す。
【００６７】
【数１１】
2014103490.tif 000013
【００６８】
また、パン・チルト制御部５１は、以下の式（１２）に示すように、算出した単位ベクトルｅｚｎ、及び、回転行列Ｒｎの逆行列Ｒ−１ｎを用いて、カメラ座標系におけるスレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルｅＣｚｎを算出する。
【００６９】
【数１２】
2014103490.tif 000014
【００７０】
そして、パン・チルト制御部５１は、以下の式（１３）〜式（１５）に示すように、スレーブカメラＳＣｎのパン値θＰｎ及びチルト値θＴｎを算出する。
なお、ｅ１，ｅ２，ｅ３は、それぞれ、単位ベクトルｅＣｚｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。
【００７１】
【数１３】
2014103490.tif 000015
【００７２】
【数１４】
2014103490.tif 000016
【００７３】
【数１５】
2014103490.tif 000017
【００７４】
さらに、パン・チルト制御部５１は、算出したパン値θＰｎ及びチルト値θＴｎを、それら値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部５１は、変換したパン・チルト制御信号をスレーブカメラＳＣに出力する。
【００７５】
フォーカス制御部５３は、注視点算出部４０から入力された注視点Ｑの世界座標Ｐと、カメラキャリブレーション部２０に格納されたカメラパラメータ（並進ベクトルＴｎ）とに基づいて、注視点Ｑに合焦するように、スレーブカメラＳＣのフォーカスを制御するものである。
【００７６】
具体的には、フォーカス制御部５３は、以下の式（１６）に示すように、フォーカスを制御するために、スレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かうベクトルＥｚｎを算出する。
【００７７】
【数１６】
2014103490.tif 000018
【００７８】
そして、フォーカス制御部５３は、以下の式（１７）及び式（１８）に示すように、ベクトルＥｚｎから、スレーブカメラＳＣｎと注視点Ｑの世界座標Ｐとの距離ｋｎを算出する。
なお、Ｅ１，Ｅ２，Ｅ３は、それぞれ、ベクトルＥｚｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。
【００７９】
【数１７】
2014103490.tif 000019
【００８０】
【数１８】
2014103490.tif 000020
【００８１】
さらに、フォーカス制御部５３は、距離ｋｎとフォーカス値とを対応付けた情報が予め設定され、この情報を参照して、距離ｋｎに対応するフォーカス値を算出する。その後、フォーカス制御部５３は、算出したフォーカス値を、その値の大きさに応じたフォーカス制御信号に変換して、スレーブカメラＳＣに出力する。
【００８２】
ズーム・アイリス制御部５５は、ズーム・アイリス操作部１３から入力されたズーム値及びアイリス値に基づいて、スレーブカメラＳＣのズーム及びアイリスを制御するものである。
【００８３】
具体的には、ズーム・アイリス制御部５５は、ズーム値及びアイリス値を、それら値の大きさに応じたズーム・アイリス制御信号に変換する。そして、ズーム・アイリス制御部５５は、変換したズーム・アイリス制御信号をスレーブカメラＳＣに出力する。
【００８４】
スレーブカメラＳＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、マスターカメラＭＣ以外のロボットカメラである。このスレーブカメラＳＣは、例えば、電動雲台に搭載された固定ロボットカメラである。また、スレーブカメラＳＣは、パン・チルト制御部５１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。そして、スレーブカメラＳＣは、フォーカス制御部５３から入力されたフォーカス制御信号に応じて、フォーカスを駆動する。さらに、スレーブカメラＳＣは、ズーム・アイリス制御部５５から入力されたズーム・アイリス制御信号に応じて、ズーム及びアイリスを駆動する。
【００８５】
［多視点ロボットカメラシステムの動作］
図６を参照し、図１の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０によって、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータを算出し（ステップＳ１）、記憶装置に格納する（ステップ２）。
【００８６】
多視点ロボットカメラシステム１００は、パン・チルト操作部１１によって、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム・アイリス制御部３１と、注視点算出部４０とに出力する。
多視点ロボットカメラシステム１００は、ズーム・アイリス操作部１３によって、カメラマンの操作に応じたズーム値及びアイリス値を検出して、パン・チルト・ズーム・アイリス制御部３１と、ズーム・アイリス制御部５５とに出力する。
多視点ロボットカメラシステム１００は、デプス操作部１５によって、式（１）から式４）を用いて、エンコーダ１７のエンコーダ値から、マスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるようなデプス値を算出する（ステップＳ３）。
【００８７】
多視点ロボットカメラシステム１００は、パン・チルト・ズーム・アイリス制御部３１によって、パン値、チルト値、ズーム値及びアイリス値を、パン・チルト・ズーム・アイリス制御信号に変換して、マスターカメラＭＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス制御部３３によって、デプス値に対応したフォーカス値を算出し、算出したフォーカス値をフォーカス制御信号に変換して、マスターカメラＭＣに出力する（ステップＳ４）。
【００８８】
多視点ロボットカメラシステム１００は、注視点算出部４０によって、パン・チルト操作部１１とカメラキャリブレーション部２０とのカメラ姿勢の差分に基づいて、式（８）の回転行列Ｒ´ｒｅｃｔｍを算出する。
多視点ロボットカメラシステム１００は、注視点算出部４０によって、式（１０）のように、回転行列Ｒ´ｒｅｃｔｍに含まれるベクトルｅｚｍとデプス値ｋとの積に並進ベクトルＴｍを加算することで、注視点Ｑの世界座標Ｐを算出する（ステップＳ５）。
【００８９】
多視点ロボットカメラシステム１００は、パン・チルト制御部５１によって、注視点Ｑに向くようにスレーブカメラＳＣのパン及びチルトを制御する。
多視点ロボットカメラシステム１００は、フォーカス制御部５３によって、注視点Ｑに合焦するようにスレーブカメラＳＣのフォーカスを制御する。
多視点ロボットカメラシステム１００は、ズーム・アイリス制御部５５によって、ズーム値及びアイリス値に基づいて、スレーブカメラＳＣのズーム及びアイリスを制御する（ステップＳ６）。
【００９０】
以上のように、本願発明の実施形態に係る多視点ロボットカメラシステム１００は、デプス操作部１５によりデプス値を非線形に変化させるため、注視点とマスターカメラとの遠近に関係なく、スレーブカメラＳＣの制御角度Ａ，Ｂの変化が線形（一定）となり、デプス調整を容易に行うことができる（図５参照）。
【００９１】
本願発明は、実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。以下、本願発明の変形例について、具体的に説明する。
前記した実施形態では、デプス操作部１５が回転ダイヤル１６を備えることとして説明したが、本願発明は、これに限定されない。
例えば、デプス操作部１５は、回転ダイヤル１６の代わりにスライダを備えてもよい。
【実施例】
【００９２】
図７，図８を参照し、本願発明の実施例として、スレーブカメラＳＣの制御角度の変化の実験結果について、説明する（適宜図１参照）。
図１の多視点ロボットカメラシステム１００を用いて、スレーブカメラＳＣの制御角度の変化を測定する実験を行った。ここで、図７に示すように、９台のロボットカメラを横一直線状に配置し、中央のロボットカメラ１台をマスターカメラＭＣとして設定し、残り８台のロボットカメラをスレーブカメラＳＣとして設定した。このとき、デプス値の最大値ｄｍａｘ＝１００メートル、デプス値の範囲の最小値ｄｍｉｎ＝１メートル、ベースラインの距離Ｂ＝２０メートル、エンコーダの最大値ｔｍａｘ＝１００００であった。
【００９３】
そして、カメラマンによる操作部１６の操作に応じて、スレーブカメラＳＣ１の制御角度の変化を測定した。さらに、比較例として、図７と同一のカメラ配置で、従来の多視点ロボットカメラシステムを用いて、スレーブカメラＳＣ１の制御角度の変化を測定した。
【００９４】
図８では、実施例の測定結果を実線で図示し、比較例の測定結果を破線で図示した。
図８から、比較例では、破線の傾きが一定でなく、スレーブカメラＳＣ１の制御角度が大きく変化していることがわかる。つまり、比較例では、注視点ＱがマスターカメラＭＣに近いとき（エンコーダ値が小さいとき）、スレーブカメラＳＣ１の制御角度の変化が大きくなる。また、比較例では、注視点ＱがマスターカメラＭＣから遠いとき（エンコーダ値が大きいとき）、スレーブカメラＳＣの制御角度の変化が小さくなる。このことから、比較例では、スレーブカメラＳＣの制御角度の変化が一定とならず、注視点Ｑが被写体に重なるようなデプス調整が困難であると考えられる。
【００９５】
一方、実施例では、実線の傾きが一定であり、スレーブカメラＳＣ１の制御角度が一定に変化していることがわかる。つまり、実施例では、注視点ＱとマスターカメラＭＣとの遠近に関わらず、スレーブカメラＳＣ１の制御角度の変化が一定となるため、比較例に比べて、デプス調整が容易であると考えられる。
【符号の説明】
【００９６】
１  ロボットカメラ制御装置
１０  操作インターフェース部
１１  パン・チルト操作部（カメラ姿勢操作部）
１３  ズーム・アイリス操作部
１５  デプス操作部（デプス値算出部）
１６  回転ダイヤル（操作部）
１７  エンコーダ
２０  カメラキャリブレーション部
３０  マスターカメラ制御部
３１  パン・チルト・ズーム・アイリス制御部
３３  フォーカス制御部
４０  注視点算出部
５０  スレーブカメラ制御部
５１  パン・チルト制御部
５３  フォーカス制御部
５５  ズーム・アイリス制御部
１００  多視点ロボットカメラシステム
ＭＣ  マスターカメラ
ＳＣ  スレーブカメラ
【図１】
2014103490.tif 000025
【図２】
2014103490.tif 000026
【図３】
2014103490.tif 000027
【図４】
2014103490.tif 000028
【図５】
2014103490.tif 000029
【図６】
2014103490.tif 000030
【図７】
2014103490.tif 000031
【図８】
2014103490.tif 000032
【図９】
2014103490.tif 000033