(57)【特許請求の範囲】
【請求項１】
移動体に搭載されて空間内を自在に移動可能なロボットカメラを複数台用いて多視点映像を撮影するために、前記ロボットカメラの位置及び姿勢を算出するカメラ制御装置であって、
前記ロボットカメラ又は撮影カメラのうち予め設定された１台のマスターカメラで計測された位置及び姿勢と、前記マスターカメラから被写体までの距離であるデプスとが入力され、入力された前記マスターカメラの位置から前記マスターカメラの光軸方向で前記デプスが示す距離にある注視点の位置を算出する注視点算出部と、
前記注視点が中心、かつ、前記デプスが半径となる仮想球体を設定する球体設定部と、
前記仮想球体上における前記マスターカメラの位置を通過するように、前記マスターカメラ以外のロボットカメラであるスレーブカメラが配置されるカメラパスを、前記仮想球体上に予め設定するカメラパス設定部と、
前記注視点が頂点、かつ、前記注視点から前記マスターカメラの位置までが母線、かつ、前記母線と側面とのなす角が予め設定した輻輳角となる仮想第１円錐を設定する円錐設定部と、
前記仮想第１円錐の側面と前記仮想球体とが交わる円を求め、前記カメラパスと当該円との交点を、前記スレーブカメラの位置として算出する交点算出部と、
前記スレーブカメラの位置で前記注視点を向いた方向を前記スレーブカメラの姿勢として算出する姿勢算出部と、
を備えることを特徴とするカメラ制御装置。
【請求項２】
前記円錐設定部は、前記注視点が頂点、かつ、前記注視点から前記交点までが母線、かつ、前記母線と側面とのなす角が前記輻輳角となる仮想第２円錐を設定し、
前記交点算出部は、前記仮想第２円錐の側面と前記仮想球体とが交わる新たな円を求め、前記カメラパスと前記新たな円との交点を、他の前記スレーブカメラの位置として算出することを特徴とする請求項１に記載のカメラ制御装置。
【請求項３】
前記交点算出部は、算出した前記スレーブカメラの位置が予め設定された移動禁止区域に含まれるか否かを判定し、算出した前記スレーブカメラの位置が前記移動禁止区域に含まれる場合、算出した前記スレーブカメラの位置と前記注視点とを結ぶ仮想線上であって前記移動禁止区域の外を前記スレーブカメラの新たな位置として算出し、
前記マスターカメラで撮影した映像の被写体と、新たな位置の前記スレーブカメラで撮影した映像の被写体とが同じ大きさとなるように、前記スレーブカメラのズーム値を算出するズーム値算出部、をさらに備えることを特徴とする請求項１又は請求項２に記載のカメラ制御装置。
【請求項４】
前記カメラ制御装置は、前記移動体として、複数のプロペラで前記空間内を移動可能なマルチコプタに搭載されたロボットカメラの位置及び姿勢を算出することを特徴とする請求項１から請求項３の何れか一項に記載のカメラ制御装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載のカメラ制御装置として機能させるためのカメラ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、移動体に搭載されたカメラを複数台用いて多視点映像を撮影するために、カメラの位置及び姿勢を算出するカメラ制御装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来技術として、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（例えば、非特許文献１，２）。多視点ロボットカメラシステムは、複数台のロボットカメラを協調制御するシステムであり、１人のカメラマンの操作によって全てのロボットカメラを３次元空間中の被写体へ一斉に方向制御することで、被写体の多視点映像を撮影できる。
【０００３】
この多視点ロボットカメラシステムでは、複数台のロボットカメラのうちの１台を、カメラマンが操作するマスターカメラとして設定し、そのマスターカメラ以外のロボットカメラがスレーブカメラとなる。このマスターカメラの光軸上には注視点が設定され、スレーブカメラが注視点に自動的に方向制御される。そして、カメラマンは、マスターカメラを操作して、注視点を被写体上に設定することで、全てのロボットカメラが被写体に方向制御されて、多視点映像を撮影することができる。
【０００４】
ここで、例えば、撮影映像のアプリケーションとして、非特許文献３に記載の技術が提案されている。この非特許文献３に記載の技術は、時間を止めて視点が被写体の周囲を回り込むような映像表現を行うものであり、多視点映像にも適用可能である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】冨山仁博  岩舘祐一，“多視点ハイビジョン映像生成システムの開発”，映像情報メディア学会誌，64，4，pp.622-628 (2010)
【非特許文献２】“多視点ロボットカメラシステムを用いた映像制作”，兼六館出版，“放送技術”，2013年66巻11月号，pp.102-105
【非特許文献３】“ぐるっとビジョン”，[online]，[平成２６年１１月１２日検索]，インターネット＜ＵＲＬ：http://www.nhk.or.jp/strl/open2013/tenji/pdf/21.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献３のアプリケーションを多視点映像に適用する場合、ロボットカメラは、アプリケーション毎に適切な輻輳角で多視点映像を撮影することが好ましい。しかし、多視点ロボットカメラシステムは、ロボットカメラの設置位置が固定されているため、被写体が移動した場合、適切な輻輳角を保つことが困難である。その結果、ロボットカメラを手動で再配置する作業を要し、多視点映像の撮影に非常に手間がかかるという問題がある。
【０００７】
なお、輻輳角とは、隣接するロボットカメラの光軸同士が交わる角度である。つまり、輻輳角は、あるロボットカメラと被写体とを結ぶ直線と、別のロボットカメラと被写体とを結ぶ直線とのなす角になる。
【０００８】
本願発明は、被写体が移動した場合でも適切な輻輳角を保つことができるカメラ制御装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記した課題に鑑みて、本願発明に係るカメラ制御装置は、移動体に搭載されて空間内を自在に移動可能なロボットカメラを複数台用いて多視点映像を撮影するために、ロボットカメラの位置及び姿勢を算出するカメラ制御装置であって、注視点算出部と、球体設定部と、カメラパス設定部と、円錐設定部と、交点算出部と、姿勢算出部とを備える構成とした。
【００１０】
かかる構成によれば、カメラ制御装置は、注視点算出部によって、ロボットカメラ又は撮影カメラのうち予め設定された１台のマスターカメラで計測された位置及び姿勢と、マスターカメラから被写体までの距離であるデプスとが入力され、入力されたマスターカメラの位置からマスターカメラの光軸方向でデプスが示す距離にある注視点の位置を算出する。
【００１１】
カメラ制御装置は、球体設定部によって、注視点が中心、かつ、デプスが半径となる仮想球体を設定する。
カメラ制御装置は、カメラパス設定部によって、仮想球体上におけるマスターカメラの位置を通過するように、カメラパスを仮想球体上に予め設定する。このカメラパスは、マスターカメラ以外のロボットカメラであるスレーブカメラが配置される経路（パス）を表す。
【００１２】
カメラ制御装置は、円錐設定部によって、注視点が頂点、かつ、注視点からマスターカメラの位置までが母線、かつ、母線と側面とのなす角が予め設定した輻輳角となる仮想第１円錐を設定する。
つまり、仮想第１円錐の側面が、適切な輻輳角を保つことができる位置を表している。
【００１３】
カメラ制御装置は、交点算出部によって、仮想第１円錐の側面と仮想球体とが交わる円を求め、カメラパスと当該円との交点を、スレーブカメラの位置として算出する。
カメラ制御装置は、姿勢算出部によって、スレーブカメラの位置で注視点を向いた方向をスレーブカメラの姿勢として算出する。
【００１４】
なお、カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、注視点算出部、球体設定部、カメラパス設定部、円錐設定部、交点算出部及び姿勢算出部として協調動作させるカメラ制御プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【発明の効果】
【００１５】
本願発明によれば、以下のような優れた効果を奏する。
本願発明に係るカメラ制御装置は、仮想第１円錐の側面上にスレーブカメラを配置することで、被写体が移動した場合でも適切な輻輳角を保ち、高品質な多視点映像表現を実現することができる。さらに、本願発明に係るカメラ制御装置は、ロボットカメラを手動で再配置する必要がないので、多視点映像を撮影する手間を大幅に軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】本願発明の第１実施形態に係る多視点ロボットカメラシステムの概略図である。
【図２】図１のカメラの外観図である。
【図３】本願発明の第１実施形態において、注視点の設定を説明する説明図である。
【図４】図１のマスターカメラ、制御装置及びスレーブカメラの構成を示すブロック図である。
【図５】本願発明の第１実施形態において、仮想球体及び仮想第１円錐の設定を説明する説明図である。
【図６】図４の位置算出部の構成を示すブロック図である。
【図７】本願発明の第１実施形態において、仮想第２円錐の設定及び交点の算出を説明する説明図である。
【図８】本願発明の第１実施形態において、仮想第２円錐の設定及び交点の算出を説明する説明図である。
【図９】本願発明の第１実施形態において、スレーブカメラの姿勢の算出を説明する説明図である。
【図１０】本願発明の第１実施形態において、移動禁止区域の設定及びスレーブカメラの新たな位置の算出を説明する説明図である。
【図１１】図１の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図１２】本願発明の第２実施形態に係るマスターカメラ、制御装置及びスレーブカメラの構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００１８】
（第１実施形態）
［多視点ロボットカメラシステムの概略］
図１〜図３を参照し、本願発明の第１実施形態に係る多視点ロボットカメラシステム（カメラ制御装置）１の概略について、説明する。
多視点ロボットカメラシステム１は、空間内を自在に移動可能なカメラ（ロボットカメラ）Ｃを複数台用いて、同一時刻の被写体９０を異なる視点で撮影した映像（多視点映像）を生成するものである。本実施形態では、多視点ロボットカメラシステム１は、ステージ上の歌手を被写体９０として、多視点映像を生成することとする。
【００１９】
図１のように、多視点ロボットカメラシステム１は、制御装置１０と、操作インターフェース部２０と、カメラＣとを備える。また、多視点ロボットカメラシステム１では、制御装置１０、操作インターフェース部２０及びカメラＣの間で無線通信を行うこととする。
【００２０】
制御装置１０は、多視点映像を撮影するために、カメラＣの位置及び姿勢を算出するものである。
例えば、“ぐるっとビジョン”のようなアプリケーションを多視点映像に適用する場合、各カメラＣがそのアプリケーションに適切な輻輳角で保つことが好ましい。その一方、被写体９０がステージ上を移動するため、この輻輳角を保てるように、各カメラＣの位置や姿勢を予め決めることが困難である。そこで、制御装置１０は、この輻輳角を保てるように、各カメラＣの位置や姿勢を算出する。
なお、制御装置１０の詳細は、後記する。
【００２１】
操作インターフェース部２０は、後記するマスターカメラＣｍを操作するものである。例えば、操作インターフェース部２０は、マスターカメラＣｍの位置、姿勢、デプス及びズームを操作するためのスティックやレバーを有する。そして、操作インターフェース部２０は、操作者（カメラマン）９１の操作に応じて、操作情報（位置、姿勢、デプス及びズームの制御信号）を生成し、生成した操作情報をマスターカメラＣｍに出力する。さらに、操作インターフェース部２０は、操作者９１の操作に応じて、デプスを制御装置１０に出力する。
【００２２】
カメラＣ（Ｃｍ，Ｃｎ）は、所定の位置及び姿勢で被写体９０を撮影するマルチコプタ型のロボットカメラである。図２のように、カメラＣ（Ｃｍ，Ｃｎ）は、マルチコプタ本体１００と、カメラ本体２００とで構成される。
【００２３】
マルチコプタ本体１００は、腕が十字方向に延長された筐体１０１を有する。筐体１０１は、それぞれの腕先端部にモータ（不図示）が格納される。そして、プロペラ１０２は、各モータの回転軸に計４個取り付けられる。そして、マルチコプタ本体１００は、各プロペラ１０２の回転を制御することで、上下左右に自在に空中を移動できる。
【００２４】
また、筐体１０１には、２本の脚部１０３が垂直に設けられている。脚部１０３は、カメラ本体２００が接地しない高さを有する。また、脚部１０３は、カメラ本体２００よりも広い幅を有する。このような構造により、脚部１０３は、安定した着地を可能にすると共に、カメラ本体２００を保護している。
【００２５】
カメラ本体２００は、被写体９０を撮影する一般的なビデオカメラであり、撮影した映像を外部（例えば、図示を省略した多視点映像生成装置）に出力する。また、カメラ本体２００は、雲台２０１を介して、マルチコプタ本体１００の下部に取り付けられる。雲台２０１は、カメラ本体２００が所望の姿勢を取るように可動する。
【００２６】
なお、カメラＣは、任意の一台がマスターカメラＣｍとして設定され、残りがスレーブカメラＣｎとして設定される。このマスターカメラＣｍ及びスレーブカメラＣｎの詳細は、後記する。
また、マルチコプタ本体１００及びカメラ本体２００は、下記の参考文献１に記載されているため、これ以上の説明を省略する。
参考文献１：[online]，[平成２６年１１月１２日検索]，インターネット＜ＵＲＬ：http://www.dji.com/ja/product/phantom-2＞
【００２７】
図１に戻り、多視点ロボットカメラシステム１による多視点映像の撮影について説明する。
操作者９１は、マスターカメラＣｍの画面中央で被写体９０を捉えるように、操作インターフェース部２０を操作して、マスターカメラＣｍの位置及び姿勢を変える。また、マスターカメラＣｍは、図３のように、その光軸Ｏｘに注視点Ｐが設定されている。そこで、操作者９１は、操作インターフェース部２０を操作して、マスターカメラＣｍと注視点Ｐとの距離であるデプスを変更し、注視点Ｐと被写体９０とを一致させる。このとき、マスターカメラＣｍは、マスターカメラＣｍの位置、姿勢、ズーム値を計測し、計測したデータを制御装置１０に出力する。
【００２８】
制御装置１０は、マスターカメラＣｍから入力されたデータを用いて、注視点Ｐの位置を算出し、算出した注視点Ｐの位置をスレーブカメラＣｎに出力する。すると、各スレーブカメラＣｎは、制御装置１０から入力された注視点Ｐの位置を用いて、適切な輻輳角を保つように、そのスレーブカメラＣｎの位置を算出する。そして、各スレーブカメラＣｎは、被写体９０を向いたときの姿勢を算出する。さらに、各スレーブカメラＣｎは、算出した位置に移動し、算出した姿勢をとる。その後、マスターカメラＣｍ及びスレーブカメラＣｎは、被写体９０を撮影し、撮影した映像を出力する。
【００２９】
［マスターカメラの構成］
図４を参照し、マスターカメラＣｍ、制御装置１０及びスレーブカメラＣｎの構成について、順に説明する。
図４のように、マスターカメラＣｍは、マルチコプタ制御部１１０と、カメラ制御部２１０とを備える。
【００３０】
マルチコプタ制御部１１０は、マスターカメラＣｍのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１１０は、操作インターフェース部２０から入力された操作情報（位置の制御信号）に従ってプロペラ１０２を回転させ、マスターカメラＣｍを移動させる。
【００３１】
ここで、マスターカメラＣｍは、その姿勢及び位置を計測するために、ＧＰＳ、加速度センサ等の位置計測手段（不図示）を備える。そして、マルチコプタ制御部１１０は、位置計測手段で計測された姿勢及び位置を制御装置１０に出力する。
【００３２】
カメラ制御部２１０は、マスターカメラＣｍのカメラ本体２００を制御するものである。つまり、カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（姿勢の制御信号）に従って、カメラ本体２００が注視点Ｐを向くように雲台２０１を駆動する。さらに、カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（デプス及びズーム値の制御信号）に従って、カメラ本体２００のデプス及びズームを制御する。
【００３３】
ここで、マスターカメラＣｍは、そのズーム値をカメラ本体２００が計測する。そして、カメラ制御部２１０は、計測されたズーム値を、制御装置１０に出力する。
【００３４】
なお、本実施形態では、マルチコプタ制御部１１０及びカメラ制御部２１０は、マスターカメラＣｍが常に水平を保つように、その位置及び姿勢を制御することとする。
【００３５】
［制御装置の構成］
制御装置１０は、注視点算出部１２と、球体設定部１４、カメラパス設定部１６とを備える。
注視点算出部１２は、マスターカメラＣｍから入力された位置及び姿勢と、操作インターフェース部２０から入力されたデプスとを用いて、注視点Ｐの位置を算出するものである。
注視点Ｐは、マスターカメラＣｍの位置から、マスターカメラＣｍの光軸Ｏｘに向かって、デプスが示す距離にある（図３参照）。
【００３６】
ここで、スレーブカメラＣｎの並進ベクトルをＴｎ、回転行列をＲｎ、添え字ｎをスレーブカメラＣｎのカメラ番号１〜Ｎとする（但し、Ｎは１を超える自然数）。このとき、世界座標系Ｗとカメラ座標系Ｗｎとの関係は、以下の式（１）で表される。
【００３７】
【数１】
0006450226.tif 000002
【００３８】
この場合、注視点Ｐの位置（世界座標）は、以下の式（２）〜式（４）で表わされる。なお、γが姿勢を表す行列の一成分を表し、ＯｐｔａｘｉｓｍがマスターカメラＣｍの光軸を表し、ＴｍがマスターカメラＣｍの並進ベクトルを表し、Ｄｅｐｔｈがデプスを表す。
なお、式（４）の左辺Ｐは、注視点の位置を表す。
【００３９】
【数２】
0006450226.tif 000003
【００４０】
【数３】
0006450226.tif 000004
【００４１】
【数４】
0006450226.tif 000005
【００４２】
この姿勢を表す行列の一成分γ及びマスターカメラＣｍの光軸Ｏｐｔａｘｉｓｍは、マスターカメラＣｍの姿勢から求められる。また、マスターカメラＣｍの並進ベクトルＴｍは、マスターカメラＣｍの位置から求められる。つまり、注視点算出部１２は、式（２）〜式（４）を用いて、注視点Ｐの位置（世界座標）を算出する。
【００４３】
その後、注視点算出部１２は、算出した注視点Ｐの位置と、入力されたデプス及びズーム値とを、スレーブカメラＣｎに出力する。また、注視点算出部１２は、注視点Ｐの位置及びデプスを球体設定部１４に出力する。
【００４４】
球体設定部１４は、図５のように、仮想球体Ｖｃを設定するものである。この仮想球体Ｖｃは、注視点算出部１２から入力された注視点Ｐが仮想球体Ｖｃの中心となり、注視点算出部１２から入力されたデプスが仮想球体Ｖｃの半径ｒとなる。そして、球体設定部１４は、設定した仮想球体Ｖｃの情報をカメラパス設定部１６に出力する。
なお、図５では、半径ｒが水平方向及び垂直方向で異なるように図示したが、実際には半径ｒが同じ長さとなる。
【００４５】
カメラパス設定部１６は、球体設定部１４から入力された仮想球体Ｖｃの情報を参照し、カメラパスを仮想球体Ｖｃの上に予め設定するものである。例えば、操作者９１は、図示を省略したマウス、キーボード等の入力インターフェースを操作して、カメラパスをカメラパス設定部１６に入力（設定）する。そして、カメラパス設定部１６は、設定されたカメラパス及び仮想球体Ｖｃの情報をスレーブカメラＣｎに出力する。
【００４６】
このカメラパスは、スレーブカメラＣｎを配置する経路を表す。また、カメラパスは、仮想球体Ｖｃの上であって、マスターカメラＣｍの位置を通過する必要がある。つまり、マスターカメラＣｍ及びスレーブカメラＣｎは、カメラパスの上に配置される。言い換えるなら、カメラパスは、多視点映像で視点を回り込ませる軌跡を表す。例えば、“ぐるっとビジョン”の場合、カメラパスは、地上からの高度が一定で、被写体９０の正面から側面に回り込む円弧状に設定される。
なお、カメラパスは、直線、曲線など任意に設定できる。
【００４７】
［スレーブカメラの構成］
スレーブカメラＣｎは、位置算出部１２０と、マルチコプタ制御部１３０と、姿勢算出部２２０と、カメラ制御部２３０と、ズーム値算出部２４０とを備える。
【００４８】
＜位置算出部の構成＞
図６を参照し、位置算出部１２０の構成について説明する（適宜図４参照）。
図６のように、位置算出部１２０は、スレーブカメラＣｎの位置を算出するものであり、円錐設定部１２２と、交点算出部１２４とを備える。
【００４９】
円錐設定部１２２は、注視点算出部１２から入力された注視点Ｐ及びデプスを参照し、後記する仮想第１円錐及び仮想第２円錐を設定するものである。そして、円錐設定部１２２は、設定した仮想第１円錐及び仮想第２円錐の情報を交点算出部１２４に出力する。
【００５０】
交点算出部１２４は、円錐設定部１２２から入力された仮想第１円錐及び仮想第２円錐の情報と、カメラパス設定部１６から入力されたカメラパス及び仮想球体Ｖｃの情報とを参照し、交点の位置をスレーブカメラＣｎの位置として算出するものである。そして、交点算出部１２４は、算出したスレーブカメラＣｎの位置をマルチコプタ制御部１３０に出力する。
【００５１】
＜＜スレーブカメラの位置算出＞＞
図５〜図８を参照し、位置算出部１２０におけるスレーブカメラＣｎの位置算出について、説明する。
【００５２】
円錐設定部１２２は、図５のような仮想第１円錐Ａを設定する。
仮想第１円錐Ａは、注視点Ｐが頂点となり、注視点ＰからマスターカメラＣｍまでが母線となり、母線と側面とのなす角θが輻輳角となる。ここで、円錐設定部１２２は、アプリケーションに応じて、任意の値で輻輳角θが予め設定される。例えば、“ぐるっとビジョン”の場合、輻輳角θが１０度に設定される。
その後、円錐設定部１２２は、設定した仮想第１円錐Ａの情報と、仮想球体Ｖｃの情報とを交点算出部１２４に出力する。
【００５３】
交点算出部１２４は、円錐設定部１２２から入力された仮想第１円錐Ａの側面と、仮想球体Ｖｃとが交わる円Ｂを求める。そして、交点算出部１２４は、カメラパスＤと円Ｂとの交点Ｘ１，Ｘ２のそれぞれを、スレーブカメラＣ１，Ｃ２の位置として算出する。その後、交点算出部１２４は、算出した交点Ｘ１，Ｘ２を円錐設定部１２２に出力する。
【００５４】
図７のように、円錐設定部１２２は、交点算出部１２４から入力された交点Ｘ１，Ｘ２を用いて、仮想第２円錐Ｅ１，Ｅ２を設定する。
仮想第２円錐Ｅ１は、注視点Ｐが頂点となり、注視点Ｐから交点Ｘ１までが母線となり、母線と側面とのなす角が輻輳角θとなる。また、仮想第２円錐Ｅ２は、注視点Ｐから交点Ｘ２までが母線となる以外、仮想第２円錐Ｅ１と同様である。
その後、円錐設定部１２２は、設定した仮想第２円錐Ｅ１，Ｅ２の情報を交点算出部１２４に出力する。
【００５５】
なお、図５，図７では、輻輳角θが異なるように図示したが、実際には輻輳角θが同一角度である（図８も同様）。また、図７では、仮想第２円錐Ｅ１，Ｅ２の母線及び底面が直交していないように図示したが、実際には母線及び底面が直交する（図８も同様）。
【００５６】
交点算出部１２４は、円錐設定部１２２から入力された仮想第２円錐Ｅ１の側面と、仮想球体Ｖｃとが交わる新たな円Ｆ１を求める。ここで、カメラパスＤと新たな円Ｆ１とが２点で交わるが、そのうち一点が既にマスターカメラＣｍの位置となっている。従って、交点算出部１２４は、カメラパスＤと新たな円Ｆ１との２つの交点のうち、マスターカメラＣｍから離れた側の交点Ｘ３を、スレーブカメラＣ３の位置として算出する。さらに、交点算出部１２４は、交点Ｘ３と同様、交点Ｘ４をスレーブカメラＣ４の位置として算出する。その後、交点算出部１２４は、算出した交点Ｘ３，Ｘ４を円錐設定部１２２に出力する。
【００５７】
図８のように、円錐設定部１２２は、交点算出部１２４から入力された交点Ｘ３，Ｘ４を用いて、仮想第２円錐Ｅ３，Ｅ４を設定する。
仮想第２円錐Ｅ３は、注視点Ｐが頂点となり、注視点Ｐから交点Ｘ３までが母線となり、母線と側面とのなす角が輻輳角θとなる。また、仮想第２円錐Ｅ４は、注視点Ｐから交点Ｘ４までが母線となる以外、仮想第２円錐Ｅ３と同様である。
その後、円錐設定部１２２は、設定した仮想第２円錐Ｅ３，Ｅ４の情報を交点算出部１２４に出力する。
【００５８】
交点算出部１２４は、円錐設定部１２２から入力された仮想第２円錐Ｅ３の側面と、仮想球体Ｖｃとが交わる新たな円Ｆ３を求める。ここで、カメラパスＤと新たな円Ｆ３とが２点で交わるが、マスターカメラＣｍに近い側の交点Ｘ１が既にスレーブカメラＣ１の位置として算出されている。さらに、マスターカメラＣｍから離れた側には、交点が存在しない。以上より、交点算出部１２４は、交点Ｘ１〜Ｘ４をスレーブカメラＣ１〜Ｃ４の位置として算出し、これ以上の交点を算出しない。
【００５９】
なお、本実施形態では、スレーブカメラＣｎのそれぞれが交点算出部１２４を備え、交点算出部１２４が個別に交点Ｘｎを算出している。従って、各スレーブカメラＣｎの間では、交点算出部１２４が算出した位置の重複を防止する必要がある。そこで、各スレーブカメラＣｎには、一意となるカメラ番号ｎを予め割り当てておく。そして、交点算出部１２４は、割り当てられたカメラ番号ｎの交点Ｘｎを、スレーブカメラＣｎの位置として、マルチコプタ制御部１３０及び姿勢算出部２２０に出力すればよい。例えば、カメラ番号ｎ＝２のスレーブカメラＣ２であれば、交点算出部１２４は、交点Ｘ２をスレーブカメラＣ２の位置として出力する。
【００６０】
図４に戻り、スレーブカメラＣｎの構成について、説明を続ける（適宜図６参照）。
マルチコプタ制御部１３０は、スレーブカメラＣｎのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１３０は、交点算出部１２４から入力された位置に、スレーブカメラＣｎを移動させる。
【００６１】
姿勢算出部２２０は、交点算出部１２４から入力されたスレーブカメラＣｎの位置で、注視点算出部１２から入力された注視点Ｐを向いた方向を、スレーブカメラＣｎの姿勢として算出するものである。
【００６２】
ここで、姿勢算出部２２０は、以下の式（５）〜式（８）を用いて、スレーブカメラＣｎが注視点Ｐに向いたときの姿勢Ｒ´ｎを算出する。図９のように、スレーブカメラＣｎの姿勢Ｒ´ｎは、スレーブカメラＣｎの位置Ｘｎを始点とした、３本の単位ベクトルｅｎｘ，ｅｎｙ，ｅｎｚで表すことができる。
なお、ｖは、地面ＧＮＤに垂直な単位ベクトルである。
【００６３】
【数５】
0006450226.tif 000006
【００６４】
【数６】
0006450226.tif 000007
【００６５】
【数７】
0006450226.tif 000008
【００６６】
【数８】
0006450226.tif 000009
【００６７】
そして、姿勢算出部２２０は、算出したスレーブカメラＣｎの姿勢Ｒ´ｎを、カメラ制御部２３０に出力する。
【００６８】
カメラ制御部２３０は、スレーブカメラＣｎのカメラ本体２００を制御するものである。つまり、カメラ制御部２３０は、姿勢算出部２２０から入力された姿勢Ｒ´ｎとなり、スレーブカメラＣｎが注視点Ｐを向くように制御する。さらに、カメラ制御部２３０は、後記するズーム値算出部２４０からズーム値が入力された場合、そのズーム値で撮影を行うようにスレーブカメラＣｎを制御する。
【００６９】
ズーム値算出部２４０は、マスターカメラＣｍで撮影した映像の被写体９０と、新たな位置のスレーブカメラＣｎで撮影した映像の被写体９０とが同じ大きさとなるように、スレーブカメラＣｎのズーム値を算出するものである。
【００７０】
＜ズーム値の算出＞
図１０を参照し、ズーム値算出部２４０によるズーム値の算出について、説明する（適宜図４，図６参照）。
【００７１】
例えば、多視点ロボットカメラシステム１では、スレーブカメラＣｎが被写体９０やステージ等の障害物に衝突することを防止したい。そこで、多視点ロボットカメラシステム１では、スレーブカメラＣｎが移動できない区域である移動禁止区域９２の設定を検討する。
【００７２】
ここで、あるスレーブカメラＣｎを移動禁止区域９２の外に移動させた場合、被写体９０までの距離が遠くなる。この場合、あるスレーブカメラＣｎの映像に含まれる被写体９０の大きさが、マスターカメラＣｍや他のスレーブカメラＣｎの映像に含まれる被写体９０の大きさと比べて、異なることがある。この状態で多視点映像を生成すると、視点が切り替わる途中で被写体９０の大きさが変化し、視聴者に違和感を与えることがある。これを防止すべく、多視点ロボットカメラシステム１では、移動禁止区域９２の外にスレーブカメラＣｎを移動させた場合、ズームを調整する。
【００７３】
まず、交点算出部１２４には、移動禁止区域９２を予め設定する。図１０の例では、移動禁止区域９２は、ステージと同じ幅及び奥行きで、被写体９０の身長と同じ高さの直方体に設定されている。次に、交点算出部１２４は、算出したスレーブカメラＣｎの位置Ｘｎが移動禁止区域９２に含まれるか否かを判定する。そして、交点算出部１２４は、スレーブカメラＣｎの位置Ｘｎが移動禁止区域９２に含まれる場合、スレーブカメラＣｎの新たな位置Ｘ´ｎを算出する。その後、交点算出部１２４は、位置Ｘｎ，Ｘ´ｎをズーム値算出部２４０に出力すると共に、ズーム値の算出をズーム値算出部２４０に指令する（ズーム値算出指令）。
【００７４】
ここで、新たな位置Ｘ´ｎは、スレーブカメラＣｎの位置Ｘｎと注視点Ｐとを結ぶ仮想線Ｈの上であって移動禁止区域９２の外であればよい。さらに、新たな位置Ｘ´ｎは、仮想線Ｈの上で移動禁止区域９２に隣接させてもよい。
【００７５】
ズーム値算出部２４０は、交点算出部１２４からズーム値算出指令が入力された場合、以下の式（９）を用いて、スレーブカメラＣｎのズーム値ｆｎを算出する。具体的には、ズーム値算出部２４０は、注視点算出部１２から入力された注視点Ｐ及びズーム値ｆｍと、交点算出部１２４から入力された位置Ｘｎ，Ｘ´ｎとを式（９）に代入し、ズーム値ｆｎを算出する。その後、ズーム値算出部２４０は、算出したズーム値ｆｎをカメラ制御部２３０に出力する。
【００７６】
【数９】
0006450226.tif 000010
【００７７】
［多視点ロボットカメラシステムの動作］
図１１を参照し、多視点ロボットカメラシステム１の動作について、説明する（適宜図１，図４，図６参照）。
【００７８】
操作者９１は、マスターカメラＣｍの画面中央で被写体９０を捉えるように、操作インターフェース部２０を操作する。操作者９１の操作に応じて、操作インターフェース部２０は、操作情報を生成し、生成した操作情報をマスターカメラＣｍに出力する。すると、マスターカメラＣｍは、入力され操作情報に応じて、マスターカメラＣｍの位置、姿勢及びデプスを変える（ステップＳ１）。
【００７９】
注視点算出部１２は、マスターカメラＣｍの位置及び姿勢と、操作インターフェース部２０で操作されたデプスとを用いて、注視点Ｐの位置を算出する（ステップＳ２）。
球体設定部１４は、ステップＳ２で算出した注視点Ｐが中心となり、デプスが半径となる仮想球体Ｖｃを設定する（ステップＳ３）。
操作者９１は、カメラパス設定部１６に対して、ステップＳ３で設定された仮想球体Ｖｃの上にカメラパスを設定する（ステップＳ４）。
【００８０】
円錐設定部１２２は、仮想円錐（仮想第１円錐及び仮想第２円錐）を設定する（ステップＳ５）。
交点算出部１２４は、ステップＳ５で設定した仮想円錐の側面と、ステップＳ３で設定した仮想球体Ｖｃとが交わる円を求める。そして、交点算出部１２４は、ステップＳ４で設定したカメラパスと円との交点を、スレーブカメラＣｎの位置として算出する（ステップＳ６）。
なお、ステップＳ５，Ｓ６の処理は、カメラパスと円との交点が無くなるまで繰り返す。
【００８１】
姿勢算出部２２０は、ステップＳ６で算出したスレーブカメラＣｎの位置で、ステップＳ２で算出した注視点Ｐを向いた方向を、スレーブカメラＣｎの姿勢として算出する（ステップＳ７）。
【００８２】
マルチコプタ制御部１３０は、ステップＳ６で算出した位置にスレーブカメラＣｎを移動させる。
カメラ制御部２３０は、ステップＳ７で算出した姿勢Ｒ´ｎとなるように、スレーブカメラＣｎを制御する（ステップＳ８）。
【００８３】
以上のように、本願発明の第１実施形態に係る多視点ロボットカメラシステム１は、仮想第１円錐及び仮想第２円錐の側面上にスレーブカメラＣｎを配置することで、被写体９０が移動した場合でも適切な輻輳角を保ち、高品質な多視点映像表現を実現することができる。さらに、多視点ロボットカメラシステム１は、ロボットカメラを手動で再配置する必要がないので、多視点映像を撮影する手間を大幅に軽減することができる。さらに、多視点ロボットカメラシステム１は、カメラＣが空中に位置するので、その設置スペースを抑えることができる。
【００８４】
（第２実施形態）
図１２を参照し、本願発明の第２実施形態に係る多視点ロボットカメラシステム１Ｂについて、第１実施形態と異なる点を説明する。
多視点ロボットカメラシステム１Ｂは、スレーブカメラＣＢｎの位置、姿勢及びズーム値を制御装置１０Ｂで算出する点が、第１実施形態と異なる。
図１２のように、多視点ロボットカメラシステム１Ｂは、制御装置１０Ｂと、操作インターフェース部２０と、マスターカメラＣｍと、スレーブカメラＣＢｎとを備える。
【００８５】
［制御装置の構成］
制御装置１０Ｂは、注視点算出部１２と、球体設定部１４と、カメラパス設定部１６と、位置算出部１２０Ｂと、姿勢算出部２２０Ｂと、ズーム値算出部２４０Ｂとを備える。
位置算出部１２０Ｂは、図４の位置算出部１２０と同様の手法で、全てのスレーブカメラＣＢｎの位置を算出する。そして、位置算出部１２０Ｂは、各スレーブカメラＣＢｎにその位置を出力する。
なお、姿勢算出部２２０Ｂ及びズーム値算出部２４０Ｂは、図４の各手段と同様のため、説明を省略する。
【００８６】
［スレーブカメラの構成］
スレーブカメラＣＢｎは、マルチコプタ制御部１３０と、カメラ制御部２３０とを備える。つまり、スレーブカメラＣＢｎは、図４のスレーブカメラＣｎから位置算出部１２０、姿勢算出部２２０及びズーム値算出部２４０を除いたものであるため、これ以上の説明を省略する。
【００８７】
以上のように、本願発明の第２実施形態に係る多視点ロボットカメラシステム１Ｂは、第１実施形態と同様、高品質な多視点映像表現を実現し、多視点映像を撮影する手間を大幅に軽減し、設置スペースを抑えることができる。さらに、多視点ロボットカメラシステム１Ｂは、スレーブカメラＣＢｎの位置、姿勢及びズーム値を算出する機能を制御装置１０Ｂに集約できるため、スレーブカメラＣＢｎを簡易な構成にできる。
【００８８】
以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００８９】
マルチコプタ本体１００の構造（例えば、筐体１０１の形状、プロペラ１０２の数）は、前記した各実施形態に限定されない。つまり、マルチコプタ本体１００は、カメラ本体２００を搭載又は内蔵し、飛行可能なものであればよい。
【００９０】
前記した各実施形態では、マスターカメラＣｍがマルチコプタ型のロボットカメラであることとして説明したが、一般的な撮影カメラであってもよい。例えば、マスターカメラＣｍとして、三脚に搭載される撮影カメラ、又は、カメラマンの肩に担がれる撮影カメラがあげられる。
【００９１】
前記した各実施形態では、操作インターフェース部２０でマスターカメラＣｍの位置、姿勢及びズームを操作することとして説明したが、マスターカメラＣｍのフォーカス及びアイリスも操作可能としてもよい。さらに、マスターカメラＣｍのフォーカス及びアイリスは、自動で調整してもよい。
【００９２】
前記した各実施形態では、操作インターフェース部２０が制御装置１０から独立したものとして説明したが、制御装置１０が操作インターフェース部２０の機能を備えてもよい。
前記した各実施形態では、移動体がマルチコプタであることとして説明したが、これに限定されない。例えば、移動体として、ラジオコントロール型のヘリコプタ（ラジコンヘリコプタ）があげられる。
【００９３】
前記した各実施形態では、位置計測手段がマスターカメラＣｍの姿勢を計測することとして説明したが、これに限定されない。例えば、制御装置１０は、雲台２０１で計測されたパン角やチルト角をマスターカメラＣｍの姿勢として利用してもよい。
【符号の説明】
【００９４】
１  多視点ロボットカメラシステム（カメラ制御装置）
１Ｂ  多視点ロボットカメラシステム
１０  制御装置
１０Ｂ  制御装置（カメラ制御装置）
１２  注視点算出部
１４  球体設定部
１６  カメラパス設定部
２０  操作インターフェース部
９０  被写体
１００  マルチコプタ本体（移動体、マルチコプタ）
１０１  筐体
１０２  プロペラ
１０３  脚部
１１０  マルチコプタ制御部
１２０，１２０Ｂ  位置算出部
１２２  円錐設定部
１２４  交点算出部
１３０  マルチコプタ制御部
２００  カメラ本体
２０１  雲台
２１０  カメラ制御部
２２０，２２０Ｂ  姿勢算出部
２３０，２３０Ｂ  カメラ制御部
２４０，２４０Ｂズーム値算出部
Ｃ  カメラ（ロボットカメラ）
Ｃｍ  マスターカメラ
Ｃｎ，ＣＢｎ  スレーブカメラ
【図１】
0006450226.tif 000011
【図２】
0006450226.tif 000012
【図３】
0006450226.tif 000013
【図４】
0006450226.tif 000014
【図５】
0006450226.tif 000015
【図６】
0006450226.tif 000016
【図７】
0006450226.tif 000017
【図８】
0006450226.tif 000018
【図９】
0006450226.tif 000019
【図１０】
0006450226.tif 000020
【図１１】
0006450226.tif 000021
【図１２】
0006450226.tif 000022