(57)【要約】【課題】本願発明は、デプス調整が容易な多視点ロボットカメラシステムを提供する。【解決手段】多視点ロボットカメラシステム１００は、マスターカメラＭＣの被写界深度をデプス調整範囲に変換してデプス操作部２５に設定するデプス値設定部１０と、マスターカメラＭＣを操作する操作インターフェース部２０と、カメラキャリブレーションによってカメラパラメータを算出するカメラキャリブレーション部３０と、マスターカメラＭＣを制御するマスターカメラ制御部４０と、注視点の位置を算出する注視点算出部５０と、注視点に向くようにスレーブカメラＳＣを制御するスレーブカメラ制御部６０とを備える。【選択図】図１
2014103491.tif 000002
【特許請求の範囲】
【請求項１】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力されるデプス値入力部と、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とするロボットカメラ制御装置。
【請求項２】
前記デプス入力範囲設定部は、前記マスターカメラから前記前方被写界深度及び前記後方被写界深度が入力されることを特徴とする請求項１に記載のロボットカメラ制御装置。
【請求項３】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように前記スレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力されるデプス値入力部と、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。
【請求項４】
複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力されるデプス値入力部とを備えるコンピュータを、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部、
として機能させるためのロボットカメラ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。
【背景技術】
【０００２】
従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。この多視点ロボットカメラシステムは、複数台のロボットカメラのうち１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。ここで、マスターカメラの光軸上には注視点が設定されており、マスターカメラ以外のスレーブカメラは、注視点に向くように制御角度が変化して、自動的に方向制御される。このとき、カメラマンが、マスターカメラと注視点との距離であるデプス値を連続的に変化させることで、注視点をマスターカメラの光軸上で移動させる。そして、注視点が被写体に重なるように（すなわち、全スレーブカメラの画面の中心に被写体が位置するように）、カメラマンが、デプス操作装置を用いて、デプス調整範囲内でデプス値を変化させることで、多視点映像を撮影することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】伊佐憲一、他４名、「最新スポーツ中継技術  世界初！  プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図８を参照して、従来の多視点ロボットカメラシステムの問題について、詳細に説明する。
図８では、ロボットカメラＭＣの光軸βの上にある注視点を符号Ｑで図示した。
従来の多視点ロボットカメラシステムにおいて、注視点が被写体に重なるようにデプス調整を行う作業は、被写界深度が極めて浅い撮影環境で被写体にピントを合わせる作業とほぼ等価になる。
【０００５】
ここで、図８に示すように、デプス最小値ｄｍｉｎからデプス最大値ｄｍａｘまでのデプス調整範囲が、例えば、数１０メートルと広くなっている。一方、被写界深度が、例えば、被写体の前後数センチと極めて浅くなっている。このように、多視点ロボットカメラシステムでは、デプス調整範囲が被写界深度に無関係に設定され、デプス調整範囲が被写界深度よりも大幅に広くなっている。従って、多視点ロボットカメラシステムでは、注視点Ｑを被写体αに重ねるために必要なデプス操作装置の操作量が多くなり、デプス調整の作業時間が長くなるという問題がある。
なお、図８では、図面を見やすくするため、スレーブカメラの図示を省略した（図３も同様）。
【０００６】
そこで、本願発明は、デプス調整の作業時間を短縮できるロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願第１発明に係るロボットカメラ制御装置は、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、カメラ姿勢操作部と、デプス値入力部と、デプス入力範囲設定部と、カメラキャリブレーション部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。
【０００８】
かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、デプス値入力部によって、マスターカメラから注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力される。
【０００９】
また、ロボットカメラ制御装置は、デプス入力範囲設定部によって、被写体に合焦したときのマスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度とデプス値との対応関係に基づいて、デプス入力範囲に変換してデプス値入力部に設定する。これによって、ロボットカメラ制御装置は、デプス値の入力範囲を前方被写界深度から後方被写界深度までの間に狭めることができる。
【００１０】
また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの外部パラメータである並進ベクトルとを、カメラキャリブレーションにより算出する。
【００１１】
また、ロボットカメラ制御装置は、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、マスターカメラにおける回転行列を算出し、算出した回転行列に含まれる奥行成分のベクトルとデプス値との積に並進ベクトルを加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。
【００１２】
また、本願第２発明に係るロボットカメラ制御装置は、デプス入力範囲設定部により、マスターカメラから前方被写界深度及び後方被写界深度が入力されることを特徴とする。
かかる構成によれば、ロボットカメラ制御装置は、マスターカメラのオートフォーカス機能を利用して、前方被写界深度及び後方被写界深度を取得する。
【００１３】
また、前記した課題に鑑みて、本願第３発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラと、マスターカメラの光軸上を移動する注視点に向くようにスレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、ロボットカメラ制御装置が、カメラ姿勢操作部と、デプス値入力部と、デプス入力範囲設定部と、カメラキャリブレーション部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。
【００１４】
かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、デプス値入力部によって、マスターカメラから注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力される。
【００１５】
また、ロボットカメラ制御装置は、デプス入力範囲設定部によって、被写体に合焦したときのマスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度とデプス値との対応関係に基づいて、デプス入力範囲に変換してデプス値入力部に設定する。これによって、ロボットカメラ制御装置は、デプス値の入力範囲を前方被写界深度から後方被写界深度までの間に狭めることができる。
【００１６】
また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの外部パラメータである並進ベクトルとを、カメラキャリブレーションにより算出する。
【００１７】
また、ロボットカメラ制御装置は、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、マスターカメラにおける回転行列を算出し、算出した回転行列に含まれる奥行成分のベクトルとデプス値との積に並進ベクトルを加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。
【００１８】
ここで、本願第１発明に係るロボットカメラ制御装置は、カメラ姿勢操作部及びデプス値入力部を備えるコンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスクなどのハードウェア資源を、デプス入力範囲設定部、カメラキャリブレーション部、注視点算出部及びスレーブカメラ制御部として協調動作させるロボットカメラ制御プログラムによって実現することもできる（本願第４発明）。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【発明の効果】
【００１９】
本願発明によれば、以下のような優れた効果を奏する。
本願第１，３，４発明によれば、ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムは、デプス入力範囲を前方被写界深度から後方被写界深度までの間に狭めるため、デプス調整の作業時間を短縮することができる。
【００２０】
本願第２発明によれば、ロボットカメラ制御装置は、マスターカメラのオートフォーカス機能を利用できるため、簡易な演算処理によりデプス入力範囲を狭くし、デプス調整の作業時間を短縮することができる。
【図面の簡単な説明】
【００２１】
【図１】本願発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図２】（ａ）は図１のデプス操作部が備える操作部及びエンコーダを説明する図であり、（ｂ）はデプス操作部の操作を説明する説明図である。
【図３】図１のデプス操作部に設定されるデプス調整範囲を説明する説明図である。
【図４】図１のデプス操作部において、デプス値の変化を説明する説明図である。
【図５】図１のデプス操作部において、デプス値の変化を説明する説明図である。
【図６】（ａ）及び（ｂ）は図１の多視点ロボットカメラシステムにおいて、スレーブカメラの制御角度の変化を説明する説明図である。
【図７】図１の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図８】従来の多視点ロボットカメラシステムに設定されるデプス調整範囲を説明する説明図である。
【発明を実施するための形態】
【００２２】
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２３】
（実施形態）
［多視点ロボットカメラシステムの構成］
図１を参照し、本願発明の実施形態に係る多視点ロボットカメラシステム１００の構成について、説明する。
図１に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、マスターカメラＭＣと、スレーブカメラＳＣ１，…，ＳＣｎ（ＳＣ）とを備える。
【００２４】
本実施形態では、マスターカメラＭＣ及びスレーブカメラＳＣは、所定の間隔で直線状に配置されることとする。
また、スレーブカメラＳＣは、ｎ台であることとする（但し、ｎ≧１を満たす整数）。
【００２５】
ロボットカメラ制御装置１は、マスターカメラＭＣ及びスレーブカメラＳＣを制御するものであり、デプス値設定部（デプス入力範囲設定部）１０と、操作インターフェース部２０と、カメラキャリブレーション部３０と、マスターカメラ制御部４０と、注視点算出部５０と、スレーブカメラ制御部６０１，…，６０ｎ（６０）とを備える。
【００２６】
デプス値設定部１０は、被写体に合焦したときの前方被写界深度から後方被写界深度までの範囲がマスターカメラＭＣから入力される。そして、デプス値設定部１０は、入力された範囲を、予め設定された被写界深度とデプス値との対応関係に基づいて、所定のデプス最小値からデプス最大値までのデプス調製範囲（デプス入力範囲）に変換して、デプス操作部（デプス値入力部）２５に設定するものである。
なお、デプス値設定部１０の詳細は、デプス操作部２５と共に説明する。
【００２７】
操作インターフェース部２０は、カメラマンが、マスターカメラＭＣ及びスレーブカメラＳＣを遠隔操作するものであり、パン・チルト操作部（カメラ姿勢操作部）２１と、ズーム・アイリス操作部２３と、デプス操作部２５とを備える。
【００２８】
パン・チルト操作部２１は、カメラマンが、マスターカメラＭＣのパン及びチルト（カメラ姿勢）を操作するものである。そして、パン・チルト操作部２１は、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム・アイリス制御部４１と、注視点算出部５０とに出力する。
【００２９】
ズーム・アイリス操作部２３は、カメラマンが、マスターカメラＭＣのズーム及びアイリスを操作するものである。そして、ズーム・アイリス操作部２３は、カメラマンの操作に応じたズーム値及びアイリス値を検出して、パン・チルト・ズーム・アイリス制御部４１と、ズーム・アイリス制御部６５とに出力する。
【００３０】
デプス操作部２５は、デプス値設定部１０によりデプス調整範囲が設定されると共に、このデプス調整範囲内でデプス値が入力されるものである。このとき、デプス操作部２５は、入力されたデプス値を、マスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるように変化させることが好ましい。
なお、デプス値とは、マスターカメラＭＣから注視点までの距離を示す。
【００３１】
本実施形態では、デプス操作部２５は、図２（ａ）に示すように、注視点の移動操作が行われる回転ダイヤル２６と、回転ダイヤル２６に対する移動操作量を検出するエンコーダ２７とを備える。
ここで、図２（ｂ）に示すように、回転ダイヤル２６を時計回りに回転させる程、エンコーダ２７のエンコーダ値（移動操作の検出値）が増大する。そして、回転ダイヤル２６に刻まれた指標２６ａが指標位置「△最大」に達したときに、エンコーダ２７のエンコーダ値が最大となる。
一方、回転ダイヤル２６を反時計回りに回転させる程、エンコーダ２７のエンコーダ値が減少する。そして、回転ダイヤル２６に刻まれた指標２６ａが指標位置「△最小」に達したときに、エンコーダ２７のエンコーダ値が最小となる。
【００３２】
そして、デプス操作部２５は、デプス値設定部１０により、指標２６ａが指標位置「△最小」に達したときにデプス最小値ｄｍｉｎとなり、指標２６ａが指標位置「△最大」に達したときにデプス最大値ｄｍａｘとなるように、エンコーダ値とデプス値とを対応付けたデプス値変換情報が設定される。すなわち、デプス操作部２５は、デプス値設定部１０により、図３に示すように、デプス最小値ｄｍｉｎが前方被写界深度に対応し、デプス最大値ｄｍａｘが後方被写界深度に対応するように、デプス調整範囲が被写界深度に関連付けて設定される。従って、デプス操作部２５のデプス調整範囲は、図８に比べて狭くなる。このため、デプス操作部２５は、カメラマンによる回転ダイヤル２６の操作量を低減し、デプス調整時間を短縮することができる。
【００３３】
その後、デプス操作部２５は、前記したデプス値変換情報を参照して、エンコーダ２７で検出されたエンコーダ値をデプス値に変換し、変換されたデプス値を以下で説明するように変化（増減）させ、フォーカス制御部４３と、注視点算出部５０とに出力する。
【００３４】
＜デプス値の変化＞
図４，図５を参照して、デプス操作部２５によるデプス値の変化について、説明する（適宜図１，２参照）。
図４に示すように、カメラマンは、マスターカメラＭＣの撮影映像９０を見ながら、マスターカメラＭＣが被写体αを捉えるようにパン・チルト操作部２１及びズーム・アイリス操作部２３を操作する。従って、マスターカメラＭＣの撮影映像９０は、画面中央に被写体αが捉えられている。一方、スレーブカメラＳＣの撮影映像９１は、被写体αが捉えられていない。
なお、ズーム・アイリス操作部２３は、カメラマン以外が遠隔操作することもある。
【００３５】
次に、カメラマンは、回転ダイヤル２６の操作によりデプス値を連続的に変化させることで、注視点Ｑを光軸βの上で移動させる。そして、図５に示すように、カメラマンは、スレーブカメラＳＣの撮影映像９１を見ながら、撮影映像９１の中央に被写体αが位置するように、回転ダイヤル２６を操作してデプス値を調整する。
【００３６】
このとき、デプス操作部２５は、マスターカメラＭＣから離れる程、単位時間あたりの注視点Ｑの移動距離が長くなるように、デプス値を非線形に変化させる。具体的には、デプス操作部２５は、以下の式（１）〜式（４）を用いて、デプス値ｋを求める。
【００３７】
【数１】
2014103491.tif 000003
【００３８】
【数２】
2014103491.tif 000004
【００３９】
【数３】
2014103491.tif 000005
【００４０】
【数４】
2014103491.tif 000006
【００４１】
なお、マスターカメラＭＣと、マスターカメラＭＣから最も遠いスレーブカメラＳＣのベースラインの距離（カメラ間隔）がＢ、デプス値の最大値がｄｍａｘ、デプス値の最小値がｄｍｉｎ、エンコーダ２７で検出可能なエンコーダ値の最大値がｔｍａｘ、エンコーダ２７で検出されたエンコーダ値がｔである(但し、０≦ｔ≦ｔｍａｘを満たす)。
この最大距離Ｂ及び最大検出値ｔｍａｘは、予め設定されている。
【００４２】
図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
カメラキャリブレーション部３０は、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータ（Ａｍ，Ｒｍ，Ｔｍ，ｐ０ｍ，ｔ０ｍ，ｚ０ｍ，ｆ０ｍ，ｉ０ｍ，Ａｎ，Ｒｎ，Ｔｎ，ｐ０ｎ，ｔ０ｎ，ｚ０ｎ，ｆ０ｎ，ｉ０ｎ）をカメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。
【００４３】
ここで、カメラキャリブレーション部３０は、カメラキャリブレーションを行ったときのマスターカメラＭＣのカメラ姿勢として、マスターカメラＭＣのパン値ｐ０ｍと、チルト値ｔ０ｍとを算出し、記憶装置に格納する。また、カメラキャリブレーション部３０は、カメラキャリブレーションを行ったときのマスターカメラＭＣの内部パラメータＡｍと、外部パラメータ（回転行列Ｒｍ及び並進ベクトルＴｍ）と、マスターカメラＭＣのズーム値ｚ０ｍと、フォーカス値ｆ０ｍと、アイリス値ｉ０ｍとを算出し、記憶装置に格納する
なお、添え字ｍがマスターカメラＭＣを示す。
【００４４】
また、カメラキャリブレーション部３０は、カメラキャリブレーションを行ったときのスレーブカメラＳＣｎの内部パラメータＡｎと、外部パラメータ（回転行列Ｒｎ及び並進ベクトルＴｎ）と、スレーブカメラＳＣｎのパン値ｐ０ｎと、チルト値ｔ０ｎと、ズーム値ｚ０ｎと、フォーカス値ｆ０ｎと、アイリス値ｉ０ｎとを算出し、記憶装置に格納する。
【００４５】
なお、カメラキャリブレーションの手法は、例えば、以下の参考文献に記載されているため、詳細な説明を省略する。
参考文献「デジタル画像処理：財団法人  画像情報教育振興協会」
【００４６】
マスターカメラ制御部４０は、マスターカメラＭＣを制御するものであり、パン・チルト・ズーム・アイリス制御部４１と、フォーカス制御部４３とを備える。
【００４７】
パン・チルト・ズーム・アイリス制御部４１は、パン・チルト操作部２１から入力されたパン値及びチルト値と、ズーム・アイリス操作部２３から入力されたズーム値及びアイリス値とに基づいて、マスターカメラＭＣのパン、チルト、ズーム及びアイリスを制御するものである。
【００４８】
具体的には、パン・チルト・ズーム・アイリス制御部４１は、パン値、チルト値、ズーム値及びアイリス値を、それら値の大きさに応じたパン・チルト・ズーム・アイリス制御信号に変換する。そして、パン・チルト・ズーム・アイリス制御部４１は、変換したパン・チルト・ズーム・アイリス制御信号をマスターカメラＭＣに出力する。
【００４９】
フォーカス制御部４３は、デプス操作部２５から入力されたデプス値に基づいて、マスターカメラＭＣのフォーカスを制御するものである。具体的には、フォーカス制御部４３は、デプス値とフォーカス値とを対応付けた情報が予め設定され、この情報を参照して、デプス値に対応したフォーカス値を算出する。そして、フォーカス制御部４３は、算出したフォーカス値を、その値の大きさに応じたフォーカス制御信号に変換して、マスターカメラＭＣに出力する。
【００５０】
マスターカメラＭＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、予め設定された１台のロボットカメラである。このマスターカメラＭＣは、例えば、電動雲台に搭載された固定ロボットカメラである。そして、マスターカメラＭＣは、パン・チルト・ズーム・アイリス制御部４１から入力されたパン・チルト・ズーム・アイリス制御信号に従って、パン、チルト、ズーム及びアイリスを駆動する。さらに、マスターカメラＭＣは、フォーカス制御部４３から入力されたフォーカス制御信号に従って、フォーカスを駆動する。
【００５１】
また、マスターカメラＭＣは、位相差検出方式、コントラスト検出方式、アクティブ方式等のオートフォーカス機能を搭載している。例えば、被写体にピントがあっておらず撮影映像がぼけている場合、カメラマンは、操作インターフェース部２０が備える被写界深度算出指示部（不図示）を操作して、前方被写界深度及び後方被写界深度の算出をマスターカメラＭＣに指示する。この指示に応じて、マスターカメラＭＣは、オートフォーカス機能を用いて、被写体に合焦したときの前方被写界深度及び後方被写界深度を算出して、デプス値設定部１０に出力する。
【００５２】
注視点算出部５０は、パン・チルト操作部２１から入力されたパン値及びチルト値と、デプス操作部２５から入力されたデプス値と、カメラキャリブレーション部３０に格納されたカメラ姿勢及びカメラパラメータとに基づいて、注視点の世界座標を算出するものである。
【００５３】
具体的には、注視点算出部５０は、以下の式（５）を用いて、マスターカメラＭＣについて、パン・チルト操作部２１からのパン値ｐｍと、カメラキャリブレーション時のパン値ｐ０ｍとの角度差θｐｍを算出する。
【００５４】
【数５】
2014103491.tif 000007
【００５５】
また、注視点算出部５０は、以下の式（６）を用いて、マスターカメラＭＣについて、パン・チルト操作部２１からのチルト値ｔｍと、カメラキャリブレーション時のチルト値ｔ０ｍとの角度差θｔｍを算出する。
【００５６】
【数６】
2014103491.tif 000008
【００５７】
次に、注視点算出部５０は、以下の式（７）に示すように、角度差θｐｍ及び角度差θｔｍを用いて、カメラ座標系における回転行列Ｒ´ｒｅｃｔ＿Ｃｍを生成する。
【００５８】
【数７】
2014103491.tif 000009
【００５９】
そして、注視点算出部５０は、以下の式（８）に示すように、回転行列Ｒ´ｒｅｃｔ＿Ｃｍ及び回転行列Ｒｍを用いて、世界座標系におけるカメラ姿勢の回転行列Ｒ´ｒｅｃｔｍを生成する。この回転行列Ｒ´ｒｅｃｔｍは、マスターカメラＭＣについて、カメラキャリブレーション時のカメラ姿勢から、操作インターフェース部１０で操作後のカメラ姿勢に変えるための回転行列である。
なお、回転行列Ｒ´ｒｅｃｔｍが請求項に記載の「マスターカメラにおける回転行列」に相当する。
【００６０】
【数８】
2014103491.tif 000010
【００６１】
ここで、式（８）の回転行列Ｒ´ｒｅｃｔｍは、以下の式（９）に示すように、世界座標系におけるカメラ姿勢のＸ軸を示すベクトルｅ´ｘｍと、世界座標系におけるカメラ姿勢のＹ軸を示すベクトルｅ´ｙｍと、世界座標系におけるカメラ姿勢のＺ軸を示すベクトル（奥行成分のベクトル）ｅｚｍとを用いて、定義することができる。
なお、式（９）のベクトルｅ´ｘｍ，ｅ´ｙｍは、以後の計算に利用されない。
【００６２】
【数９】
2014103491.tif 000011
【００６３】
そして、注視点算出部５０は、以下の式（１０）に示すように、回転行列Ｒ´ｒｅｃｔｍと、マスターカメラＭＣの並進ベクトルＴｍと、デプス操作部２５から入力されたデプス値ｋとを用いて、注視点Ｑの世界座標（位置）Ｐを算出する。この式（１０）は、ベクトルｅｚｍとデプス値ｋとの積に並進ベクトルＴｍを加算することを示す。その後、注視点算出部５０は、算出した注視点Ｑの世界座標Ｐを、パン・チルト制御部６１と、フォーカス制御部６３とに出力する。
【００６４】
【数１０】
2014103491.tif 000012
【００６５】
図６を参照し、スレーブカメラＳＣの制御角度の変化について、説明する（適宜図１参照）。
図６（ａ）の注視点Ｑ１〜Ｑ４は、マスターカメラＭＣの光軸βの上を移動する注視点について、時間ｔ＝１〜４での位置を示している。
前記したように、デプス操作部２５がデプス値を非線形に変化（増減）させるため、注視点Ｑ１〜Ｑ４の単位時間あたりの移動距離は、マスターカメラＭＣから離れる程、広くなる。つまり、注視点Ｑ１，Ｑ２の距離よりも注視点Ｑ２，Ｑ３の距離が広くなり、注視点Ｑ２，Ｑ３の距離よりも注視点Ｑ３，Ｑ４の距離が広くなる。このため、時間ｔ＝１〜２におけるスレーブカメラＳＣの制御角度Ａと、時間ｔ＝３〜４におけるスレーブカメラＳＣの制御角度Ｂとが、等しくなる。
【００６６】
図６（ｂ）では、回転ダイヤル２６において、注視点Ｑ１〜Ｑ４に対応する指標位置を図示した。これら注視点Ｑ１〜Ｑ４に対応する指標位置は、全て等間隔となっている。
つまり、指標２６ａが指標位置「Ｑ１」に重なるとき、図６（ａ）の注視点Ｑ１を指す。これと同様、指標２６ａが指標位置「Ｑ２」に重なるときに図６（ａ）の注視点Ｑ２を指し、指標２６ａが指標位置「Ｑ３」に重なるときに図６（ａ）の注視点Ｑ３を指し、指標２６ａが指標位置「Ｑ４」に重なるときに図６（ａ）の注視点Ｑ４を指す。
【００６７】
ここで、図６（ａ）に示すように、注視点Ｑ１から注視点Ｑ２に移動させる場合、及び、注視点Ｑ３から注視点Ｑ４に移動させる場合でも、制御角度Ａ，Ｂが等しいため、図６（ｂ）に示すように、回転ダイヤル２６の移動操作量が一定となる。このように、多視点ロボットカメラシステム１００では、回転ダイヤル２６の操作量に対し、スレーブカメラＳＣの制御角度の変化量が一定となる。
【００６８】
図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
スレーブカメラ制御部６０１，…，６０ｎは、スレーブカメラＳＣ１，…，ＳＣｎを制御するものであり、パン・チルト制御部６１１，…，６１ｎ（６１）と、フォーカス制御部６３１，…，６３ｎ（６３）と、ズーム・アイリス制御部６５１，…，６５ｎ（６５）とを備える。
なお、スレーブカメラ制御部６０１，…，６０ｎは、スレーブカメラＳＣ１，…，ＳＣｎに対応するように備えられており、全て同一構成である。
【００６９】
パン・チルト制御部６１は、注視点算出部５０から入力された注視点Ｑと、カメラキャリブレーション部３０に格納されたカメラパラメータ（回転行列Ｒｎ及び並進ベクトルＴｎ）とに基づいて、注視点Ｑに向くように、スレーブカメラＳＣの姿勢（パン及びチルト）を制御するものである。
【００７０】
具体的には、パン・チルト制御部６１は、以下の式（１１）に示すように、パン及びチルトを制御するために、スレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルｅｚｎを算出する。
なお、“‖‖”はノルムを示す。
【００７１】
【数１１】
2014103491.tif 000013
【００７２】
また、パン・チルト制御部６１は、以下の式（１２）に示すように、算出した単位ベクトルｅｚｎ、及び、回転行列Ｒｎの逆行列Ｒ−１ｎを用いて、カメラ座標系におけるスレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルｅＣｚｎを算出する。
【００７３】
【数１２】
2014103491.tif 000014
【００７４】
そして、パン・チルト制御部６１は、以下の式（１３）〜式（１５）に示すように、スレーブカメラＳＣｎのパン値θＰｎ及びチルト値θＴｎを算出する。
なお、ｅ１，ｅ２，ｅ３は、それぞれ、単位ベクトルｅＣｚｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。
【００７５】
【数１３】
2014103491.tif 000015
【００７６】
【数１４】
2014103491.tif 000016
【００７７】
【数１５】
2014103491.tif 000017
【００７８】
さらに、パン・チルト制御部６１は、算出したパン値θＰｎ及びチルト値θＴｎを、それら値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部６１は、変換したパン・チルト制御信号をスレーブカメラＳＣに出力する。
【００７９】
フォーカス制御部６３は、注視点算出部５０から入力された注視点Ｑの世界座標Ｐと、カメラキャリブレーション部３０に格納されたカメラパラメータ（並進ベクトルＴｎ）とに基づいて、注視点Ｑに合焦するように、スレーブカメラＳＣのフォーカスを制御するものである。
【００８０】
具体的には、フォーカス制御部６３は、以下の式（１６）に示すように、フォーカスを制御するために、スレーブカメラＳＣｎから注視点Ｑの世界座標Ｐへ向かうベクトルＥｚｎを算出する。
【００８１】
【数１６】
2014103491.tif 000018
【００８２】
そして、フォーカス制御部６３は、以下の式（１７）及び式（１８）に示すように、ベクトルＥｚｎから、スレーブカメラＳＣｎと注視点Ｑの世界座標Ｐとの距離ｋｎを算出する。
なお、Ｅ１，Ｅ２，Ｅ３は、それぞれ、ベクトルＥｚｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。
【００８３】
【数１７】
2014103491.tif 000019
【００８４】
【数１８】
2014103491.tif 000020
【００８５】
さらに、フォーカス制御部６３は、距離ｋｎとフォーカス値とを対応付けた情報が予め設定され、この情報を参照して、距離ｋｎに対応するフォーカス値を算出する。その後、フォーカス制御部６３は、算出したフォーカス値を、その値の大きさに応じたフォーカス制御信号に変換して、スレーブカメラＳＣに出力する。
【００８６】
ズーム・アイリス制御部６５は、ズーム・アイリス操作部２３から入力されたズーム値及びアイリス値に基づいて、スレーブカメラＳＣのズーム及びアイリスを制御するものである。
【００８７】
具体的には、ズーム・アイリス制御部６５は、ズーム値及びアイリス値を、それら値の大きさに応じたズーム・アイリス制御信号に変換する。そして、ズーム・アイリス制御部６５は、変換したズーム・アイリス制御信号をスレーブカメラＳＣに出力する。
【００８８】
スレーブカメラＳＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、マスターカメラＭＣ以外のロボットカメラである。このスレーブカメラＳＣは、例えば、電動雲台に搭載された固定ロボットカメラである。また、スレーブカメラＳＣは、パン・チルト制御部６１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。そして、スレーブカメラＳＣは、フォーカス制御部６３から入力されたフォーカス制御信号に応じて、フォーカスを駆動する。さらに、スレーブカメラＳＣは、ズーム・アイリス制御部６５から入力されたズーム・アイリス制御信号に応じて、ズーム及びアイリスを駆動する。
【００８９】
［多視点ロボットカメラシステムの動作］
図７を参照し、図１の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部３０によって、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータと、パン値と、チルト値と、ズーム値と、フォーカス値と、アイリス値とを算出し（ステップＳ１）、記憶装置に格納する（ステップ２）。
【００９０】
多視点ロボットカメラシステム１００は、パン・チルト操作部２１によって、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム・アイリス制御部４１と、注視点算出部５０とに出力する。
多視点ロボットカメラシステム１００は、ズーム・アイリス操作部２３によって、カメラマンの操作に応じたズーム値及びアイリス値を検出して、パン・チルト・ズーム・アイリス制御部４１と、ズーム・アイリス制御部６５とに出力する。
多視点ロボットカメラシステム１００は、デプス値設定部１０によって、マスターカメラＭＣから入力された被写界深度をデプス調整範囲に変換して、デプス操作部２５に設定する。
多視点ロボットカメラシステム１００は、デプス操作部２５によって、デプス値設定部１０が設定したデプス調整範囲内で、カメラマンの操作に応じてデプス値を出力する（ステップＳ３）。
【００９１】
多視点ロボットカメラシステム１００は、パン・チルト・ズーム・アイリス制御部４１によって、パン値、チルト値、ズーム値及びアイリス値を、パン・チルト・ズーム・アイリス制御信号に変換して、マスターカメラＭＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス制御部４３によって、デプス値に対応したフォーカス値を算出し、算出したフォーカス値をフォーカス制御信号に変換して、マスターカメラＭＣに出力する（ステップＳ４）。
【００９２】
多視点ロボットカメラシステム１００は、注視点算出部５０によって、パン・チルト操作部２１とカメラキャリブレーション部３０とのカメラ姿勢の差分に基づいて、式（８）の回転行列Ｒ´ｒｅｃｔｍを算出する。
多視点ロボットカメラシステム１００は、注視点算出部５０によって、式（１０）のように、回転行列Ｒ´ｒｅｃｔｍに含まれるベクトルｅｚｍとデプス値ｋとの積に並進ベクトルＴｍを加算することで、注視点Ｑの世界座標Ｐを算出する（ステップＳ５）。
【００９３】
多視点ロボットカメラシステム１００は、パン・チルト制御部６１によって、注視点Ｑに向くようにスレーブカメラＳＣのパン及びチルトを制御する。
多視点ロボットカメラシステム１００は、フォーカス制御部６３によって、注視点Ｑに合焦するようにスレーブカメラＳＣのフォーカスを制御する。
多視点ロボットカメラシステム１００は、ズーム・アイリス制御部６５によって、ズーム値及びアイリス値に基づいて、スレーブカメラＳＣのズーム及びアイリスを制御する（ステップＳ６）。
多視点ロボットカメラシステム１００は、マスターカメラＭＣ及びスレーブカメラＳＣによって、撮影を行う（ステップＳ７）。
【００９４】
多視点ロボットカメラシステム１００は、カメラマンの目視により、マスターカメラＭＣの撮影映像で、被写体にピントがあっているか否かを判定する（ステップＳ８）。
被写体にピントがあっている場合（ステップＳ８でＹｅｓ）、多視点ロボットカメラシステム１００は、処理を終了する。
【００９５】
一方、被写体にピントがあっていない場合（ステップＳ８でＮｏ）、多視点ロボットカメラシステム１００は、カメラマンの指示により、マスターカメラＭＣが、被写体に合焦したときの前方被写界深度及び後方被写界深度をデプス値設定部１０に出力し、ステップＳ３の処理に戻る（ステップＳ９）。
【００９６】
以上のように、本願発明の実施形態に係る多視点ロボットカメラシステム１００は、デプス調整範囲を前方被写界深度から後方被写界深度までの間に狭めるため、デプス調整の作業時間を短縮することができる（図３参照）。
【００９７】
さらに、多視点ロボットカメラシステム１００は、デプス操作部２５によりデプス値を非線形に変化させるため、注視点とマスターカメラとの遠近に関係なく、スレーブカメラＳＣの制御角度Ａ，Ｂの変化が線形（一定）となる。このため、多視点ロボットカメラシステム１００は、スレーブカメラＳＣの制御角度の変化が一定にならない従来技術に比べ、デプス調整を容易に行うことができる（図６参照）。
【００９８】
本願発明は、実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。以下、本願発明の変形例について、具体的に説明する。
【００９９】
（変形例１）
本願発明の変形例１に係る多視点ロボットカメラシステム１００Ｂは、デプス操作部２５Ｂでデプス値を非線形に変化させない点が、前記した実施形態と異なる。
つまり、デプス操作部２５Ｂは、前記した式（１）〜式（４）を用いずに、エンコーダ値から変換されたデプス値をそのまま、フォーカス制御部４３と、注視点算出部４０とに出力する。
以上のように、本願発明の変形例１に係る多視点ロボットカメラシステム１００Ｂは、前記した実施形態と同様、デプス調整の作業時間を短縮することができる。
【０１００】
（その他変形例）
前記した実施形態では、デプス操作部２５が回転ダイヤル２６を備えることとして説明したが、本願発明は、これに限定されない。
例えば、デプス操作部２５は、回転ダイヤル２６の代わりにスライダを備えてもよい。
【符号の説明】
【０１０１】
１  ロボットカメラ制御装置
１０，１０Ａ  デプス値設定部（デプス入力範囲設定部）
２０  操作インターフェース部
２１  パン・チルト操作部（カメラ姿勢操作部）
２３  ズーム・アイリス操作部
２５，２５Ｂ  デプス操作部（デプス値入力部）
２６  回転ダイヤル
２７  エンコーダ
３０  カメラキャリブレーション部
４０  マスターカメラ制御部
４１  パン・チルト・ズーム・アイリス制御部
４３  フォーカス制御部
５０  注視点算出部
６０  スレーブカメラ制御部
６１  パン・チルト制御部
６３  フォーカス制御部
６５  ズーム・アイリス制御部
１００、１００Ａ，１００Ｂ  多視点ロボットカメラシステム
ＭＣ  マスターカメラ
ＳＣ  スレーブカメラ
【図１】
2014103491.tif 000021
【図２】
2014103491.tif 000022
【図３】
2014103491.tif 000023
【図４】
2014103491.tif 000024
【図５】
2014103491.tif 000025
【図６】
2014103491.tif 000026
【図７】
2014103491.tif 000027
【図８】
2014103491.tif 000028