(57)【要約】【課題】適切な輻輳角でロボットカメラを全天周状に配置できるカメラ制御装置を提供する。【解決手段】カメラ制御装置１０は、マスタードローンＣｍの注視点を算出する注視点算出部１１と、注視点が中心、かつ、デプスが半径となる仮想球体を生成する仮想球体生成部１２と、スレーブドローンＣｎの位置が仮想球体の球面上で予め設定される位置設定部１３と、スレーブドローンＣｎの位置で注視点を向いた方向をスレーブドローンＣｎの姿勢として算出する姿勢算出部１４と、を備える。【選択図】図４
2020147105.tif 000002
【特許請求の範囲】
【請求項１】
空間内を自在に移動可能な移動体及び前記移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するために前記ロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、
前記ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、前記マスターカメラから被写体までの距離であるデプスとが入力され、入力された前記マスターカメラの位置から前記マスターカメラの光軸方向で前記デプスが示す距離にある注視点の位置を算出する注視点算出部と、
前記注視点が中心、かつ、前記デプスが半径となる仮想球体を生成する仮想球体生成部と、
前記マスターカメラ以外のロボットカメラであるスレーブカメラの位置が前記仮想球体の球面上に予め設定される位置設定部と、
前記スレーブカメラの位置で前記注視点を向いた方向を前記スレーブカメラの姿勢として算出する姿勢算出部と、
を備えることを特徴とするカメラ制御装置。
【請求項２】
前記位置設定部は、前記仮想球体上において、１次元方向又は２次元方向で前記スレーブカメラの位置が予め設定されることを特徴とする請求項１に記載のカメラ制御装置。
【請求項３】
空間内を自在に移動可能な移動体及び前記移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するために前記ロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、
前記ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、前記マスターカメラから被写体までの距離であるデプスとが入力され、入力された前記マスターカメラの位置から前記マスターカメラの光軸方向で前記デプスが示す距離にある注視点の位置を算出する注視点算出部と、
前記注視点が中心、かつ、前記デプスが半径となる仮想球体を生成する仮想球体生成部と、
複数の点を前記仮想球体上に分布させる球面分布処理により、前記仮想球体の球面上に位置する点の位置を、前記マスターカメラ以外のロボットカメラであるスレーブカメラの位置として算出する位置算出部と、
前記スレーブカメラの位置で前記注視点を向いた方向を前記スレーブカメラの姿勢として算出する姿勢算出部と、
を備えることを特徴とするカメラ制御装置。
【請求項４】
前記位置算出部は、前記球面分布処理として、一般化螺旋集合、一様乱数、等積投影法の逆投影、又は、正多面体の頂点に基づく手法の何れかを行うことを特徴とする請求項３に記載のカメラ制御装置。
【請求項５】
前記移動体は、複数のプロペラにより前記空間内を移動可能なマルチコプタであることを特徴とする請求項１から請求項４の何れか一項に記載のカメラ制御装置。
【請求項６】
コンピュータを、請求項１から請求項４の何れか一項に記載のカメラ制御装置として機能させるためのプログラム。
【請求項７】
複数台のロボットカメラと、請求項１から請求項５の何れか一項に記載のカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラは、
複数のプロペラにより空間内を自在に移動可能なマルチコプタと、
前記マルチコプタに搭載された撮影カメラと、
前記マルチコプタの位置を制御するマルチコプタ制御部と、
前記撮影カメラの姿勢を制御するカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。
【請求項８】
前記ロボットカメラのうちの１台がマスターカメラとして予め設定され、
前記マスターカメラは、前記マスターカメラを前記被写体の真上に追随させる被写体追随部、をさらに備えることを特徴とする請求項７に記載の多視点ロボットカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点映像を撮影するためのカメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステムに関する。
【背景技術】
【０００２】
従来技術として、動く被写体をパンフォローした多視点映像を撮影する多視点ロボットカメラシステムが知られている（非特許文献１，２）。多視点ロボットカメラシステムは、複数台のロボットカメラを協調制御するシステムであり、1人のカメラマンの操作によって各ロボットカメラを空間中の被写体へ一斉に方向制御し、被写体の多視点映像を撮影する。例えば、多視点映像を用いて、被写体の３次元モデルを生成することができる。
【０００３】
この多視点ロボットカメラシステムでは、複数台のロボットカメラのうち、カメラマンが操作する１台のロボットカメラをマスターカメラとして設定し、マスターカメラ以外のロボットカメラをスレーブカメラとする。多視点ロボットカメラシステムでは、マスターカメラの光軸上に注視点を設定し、スレーブカメラが注視点を向くようにスレーブカメラを方向制御する。従って、カメラマンがマスターカメラを操作して注視点を被写体上に設定すると、各ロボットカメラが自動的に方向制御され、多視点映像を撮影することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】冨山仁博、岩舘祐一、「多視点ハイビジョン映像生成システムの開発」、映像情報メディア学会誌、６４、４、ｐｐ．６２２−６２８（２０１０）
【非特許文献２】「多視点ロボットカメラシステムを用いた映像制作」、兼六館出版「放送技術」、２０１３年６６巻１１月号、ｐｐ.１０２−１０５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多視点映像を撮影する場合、ロボットカメラを全天周状に配置することが好ましい。しかし、従来のロボットカメラは、基本的に地面に設置するものであり、全天周状に設置することが困難である。また、多視点映像を撮影する場合、隣り合うロボットカメラ同士の輻輳角を適切に保つことが好ましい。しかし、従来のロボットカメラは、設置位置が固定されている一方、被写体の移動により輻輳角が変化するため、適切な輻輳角を保つのが困難である。
【０００６】
なお、輻輳角とは、隣接するロボットカメラの光軸同士が交わる角度である。つまり、輻輳角は、あるロボットカメラと被写体とを結ぶ直線と、別のロボットカメラと被写体とを結ぶ直線とのなす角になる。
【０００７】
そこで、本発明は、適切な輻輳角でロボットカメラを全天周状に配置できるカメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題に鑑みて、本発明に係るカメラ制御装置は、空間内を自在に移動可能な移動体及び移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するためにロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、注視点算出部と、仮想球体生成部と、位置設定部と、姿勢算出部と、を備える構成とした。
【０００９】
かかるカメラ制御装置は、注視点算出部が、ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、マスターカメラから被写体までの距離であるデプスとが入力される。そして、注視点算出部は、入力されたマスターカメラの位置からマスターカメラの光軸方向でデプスが示す距離にある注視点の位置を算出する。
【００１０】
仮想球体生成部が、注視点が中心、かつ、デプスが半径となる仮想球体を生成する。
位置設定部が、マスターカメラ以外のロボットカメラであるスレーブカメラの位置が仮想球体の球面上に予め設定される。これにより、ロボットカメラを、適切な輻輳角で全天周状に配置できる。
姿勢算出部が、スレーブカメラの位置で注視点を向いた方向をスレーブカメラの姿勢として算出する。
【００１１】
また、前記した課題に鑑みて、本発明に係るカメラ制御装置は、空間内を自在に移動可能な移動体及び移動体に搭載された撮影カメラからなるロボットカメラを複数台用いて、多視点映像を撮影するためにロボットカメラの位置及び姿勢を制御するカメラ制御装置であって、注視点算出部と、仮想球体生成部と、位置算出部と、姿勢算出部と、を備える構成とした。
【００１２】
かかるカメラ制御装置は、注視点算出部が、ロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢と、マスターカメラから被写体までの距離であるデプスとが入力される。そして、注視点算出部は、入力されたマスターカメラの位置からマスターカメラの光軸方向でデプスが示す距離にある注視点の位置を算出する。
【００１３】
仮想球体生成部が、注視点が中心、かつ、デプスが半径となる仮想球体を生成する。
位置算出部が、複数の点を仮想球体上に分布させる球面分布処理により、仮想球体の球面上に位置する点の位置を、マスターカメラ以外のロボットカメラであるスレーブカメラの位置として算出する。これにより、ロボットカメラを、適切な輻輳角で全天周状に配置できる。
姿勢算出部が、スレーブカメラの位置で注視点を向いた方向をスレーブカメラの姿勢として算出する。
【００１４】
また、前記した課題に鑑みて、本発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラと、本発明に係るカメラ制御装置とを備える多視点ロボットカメラシステムであって、ロボットカメラが、複数のプロペラにより空間内を自在に移動可能なマルチコプタと、マルチコプタに搭載された撮影カメラと、マルチコプタの位置を制御するマルチコプタ制御部と、撮影カメラの姿勢を制御するカメラ制御部と、を備える構成とした。
【００１５】
なお、本発明に係るカメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記した各手段として協調動作させるプログラムで実現することもできる。
【発明の効果】
【００１６】
本発明によれば、ロボットカメラを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態に係る多視点ロボットカメラシステムの概略図である。
【図２】第１実施形態において、注視点の設定を説明する説明図である。
【図３】第１実施形態におけるドローンの外観図である。
【図４】第１実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図５】第１実施形態において、仮想球体の生成を説明する説明図である。
【図６】（ａ）及び（ｂ）は、第１実施形態において、スレーブドローンの位置を１次元方向に設定する説明図である。
【図７】第１実施形態において、スレーブドローンの位置を２次元方向に設定する説明図である。
【図８】第１実施形態において、スレーブドローンの姿勢の算出を説明する説明図である。
【図９】第１実施形態に係る多視点ロボットカメラシステムの動作を示すフローチャートである。
【図１０】第２施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図１１】第２施形態において、仮想球体の生成を説明する説明図である。
【図１２】第２施形態において、球面分布処理を説明する説明図である。
【図１３】第２施形態に係る多視点ロボットカメラシステムの動作を示すフローチャートである。
【図１４】第３形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。
【図１５】第３施形態に係る多視点ロボットカメラシステムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
（第１実施形態）
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
【００１９】
［多視点ロボットカメラシステムの概略］
図１を参照し、第１実施形態に係る多視点ロボットカメラシステム１の概略について、説明する。
多視点ロボットカメラシステム１は、空間内を自在に移動可能なドローン（ロボットカメラ）Ｃを複数台用いて、同一時刻の被写体９０を異なる視点で撮影した多視点映像を生成するものである。本実施形態では、多視点ロボットカメラシステム１は、ステージ上の歌手を被写体９０として、多視点映像を生成することとする。
【００２０】
この多視点ロボットカメラシステム１では、撮影カメラ２００（図２）を搭載している複数台のドローンＣを協調制御する。
複数台のドローンＣのうちカメラマンが操作する１台のドローンＣをマスタードローン（マスターカメラ）Ｃｍとする。マスタードローンＣｍの光軸上には注視点Ｐが設定される。マスタードローンＣｍと注視点Ｐとの距離をデプスとし、デプスを操作することで注視点Ｐの位置をマスタードローンＣｍの光軸上で移動させることができる。
マスタードローンＣｍ以外のドローンＣをスレーブドローン（スレーブカメラ）Ｃｎとする。スレーブドローンＣｎの台数は、複数であればよく、例えば、多視点映像の数（視点数）と同数になる。なお、図面を見やすくするため、スレーブドローンＣｎを２台（ｎ＝２）のみ図示した。
【００２１】
以下、多視点ロボットカメラシステム１による多視点映像の撮影について説明する。
操作者９１は、マスタードローンＣｍの画面中央に被写体９０を捉えるように、操作インターフェース部２０を操作して、マスタードローンＣｍの位置及び姿勢を変える。また、マスタードローンＣｍは、図２に示すように、撮影カメラ２００の光軸Ｏｘに注視点Ｐが設定されている。そこで、操作者９１は、操作インターフェース部２０を操作して、マスタードローンＣｍと注視点Ｐとの距離であるデプスを変更し、注視点Ｐと被写体９０とを一致させる。このとき、マスタードローンＣｍは、マスタードローンＣｍの位置及び姿勢を計測し、計測したデータをカメラ制御装置１０に出力する。
【００２２】
カメラ制御装置１０は、原点を注視点Ｐとし、半径をデプスとする仮想球体を空間中に生成する。また、仮想球体の上側半球面上にスレーブドローンＣｎをどのように配置するかを設定しておく。そして、カメラ制御装置１０は、スレーブドローンＣｎを適切な輻輳角で全天周状に配置できるように、仮想球体の上側半球面上でスレーブドローンＣｎの位置及び姿勢を算出、制御する。なお、全天周状の配置とは、球面の一部にスレーブドローンＣｎを配置することであり、例えば、球面の上側半分にスレーブドローンＣｎを配置することである。
【００２３】
［多視点ロボットカメラシステムの構成］
図１〜図３を参照し、多視点ロボットカメラシステム１の構成について説明する。
図１に示すように、多視点ロボットカメラシステム１は、カメラ制御装置１０と、操作インターフェース部２０と、ドローンＣと、を備える。また、多視点ロボットカメラシステム１では、カメラ制御装置１０、操作インターフェース部２０及びドローンＣの間で無線通信を行うこととする。
【００２４】
カメラ制御装置１０は、多視点映像を撮影するために、スレーブドローンＣｎの位置及び姿勢を制御するものである。例えば、被写体９０がステージ上を移動するため、輻輳角を保てるように、各スレーブドローンＣｎの位置や姿勢を予め決めることが困難である。そこで、カメラ制御装置１０は、各スレーブドローンＣｎが適切な輻輳角を保ち、各スレーブドローンＣｎが全天周状に配置されるように、各スレーブドローンＣｎの位置や姿勢を制御する。
なお、カメラ制御装置１０の詳細は、後記する。
【００２５】
操作インターフェース部２０は、マスタードローンＣｍを操作するものである。例えば、操作インターフェース部２０は、マスタードローンＣｍの位置、姿勢及びデプスを制御するためのスティックやレバーを有する。そして、操作インターフェース部２０は、操作者（カメラマン）９１の操作に応じて、操作情報（位置、姿勢及びデプスの制御信号）を生成し、生成した操作情報をマスタードローンＣｍに出力する。さらに、操作インターフェース部２０は、操作者９１の操作に応じて、デプスをカメラ制御装置１０に出力する。
【００２６】
ドローンＣ（Ｃｍ，Ｃｎ）は、空間内を自在に移動可能なマルチコプタ本体（移動体）１００、及び、マルチコプタ本体１００に搭載された撮影カメラ２００からなるマルチコプタ型のロボットカメラである。図３に示すように、ドローンＣ（Ｃｍ，Ｃｎ）は、マルチコプタ本体（移動体）１００と、撮影カメラ２００とで構成される。
【００２７】
マルチコプタ本体１００は、腕が十字方向に延長された筐体１０１を有する。筐体１０１は、それぞれの腕先端部に回転モータ１１０（図４）が格納される。また、プロペラ１０２は、回転モータ１１０の回転軸先端に計４個取り付けられる。そして、マルチコプタ本体１００は、各プロペラ１０２の回転を制御することで、上下左右に自在に空中を移動できる。また、筐体１０１には、２本の脚部１０３が垂直に設けられている。脚部１０３は、撮影カメラ２００が着地面に接地しない高さを有し、撮影カメラ２００よりも広い幅を有する。このような構造により、脚部１０３は、安定した着地を可能にすると共に、撮影カメラ２００を保護している。
撮影カメラ２００は、雲台２０１を介して、マルチコプタ本体１００の下部に取り付けられる。雲台２０１は、撮影カメラ２００が所望の姿勢を取るように可動する。
【００２８】
なお、マルチコプタ本体１００及び撮影カメラ２００は、下記の参考文献１に記載されているため、これ以上の説明を省略する。また、マスタードローンＣｍ及びスレーブドローンＣｎに固有の構成は後記する。
参考文献１：[online]，[平成３１年１月２９日検索]，インターネット＜ＵＲＬ：http://www.dji.com/ja/product/phantom-2＞
【００２９】
［マスタードローンの構成］
図４を参照し、マスタードローンＣｍ、カメラ制御装置１０及びスレーブドローンＣｎの構成について順に説明する。
図４に示すように、マスタードローンＣｍは、回転モータ１１０と、マルチコプタ制御部１２０と、撮影カメラ２００と、撮影カメラ制御部２１０とを備える。
【００３０】
回転モータ１１０は、後記するマルチコプタ制御部１２０からの指令に応じて、プロペラ１０２を回転させる一般的なモータである。この回転モータ１１０としては、例えば、ブラシレスＤＣモータをあげることができる。
【００３１】
マルチコプタ制御部１２０は、マスタードローンＣｍのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１２０は、操作インターフェース部２０から入力された操作情報（位置の制御信号）に従ってプロペラ１０２を回転させ、マスタードローンＣｍを移動させる。本実施形態では、マルチコプタ制御部１２０は、マルチコプタ本体１００が常に水平を保つように、マスタードローンＣｍ（マルチコプタ本体１００）を制御することとする。
【００３２】
なお、マスタードローンＣｍは、マルチコプタ本体１００の位置を計測するために、ＧＰＳ、加速度センサ等の位置計測手段（不図示）を備える。そして、マルチコプタ制御部１２０は、位置計測手段で計測された位置をカメラ制御装置１０に出力する。
【００３３】
撮影カメラ２００は、被写体９０を撮影する一般的なビデオカメラである。また、撮影カメラ２００は、撮影した映像を外部（例えば、図示を省略した多視点映像生成装置）に出力する。
【００３４】
撮影カメラ制御部２１０は、マスタードローンＣｍの撮影カメラ２００を制御するものである。つまり、撮影カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（姿勢の制御信号）に従って、撮影カメラ２００が注視点Ｐを向くように雲台２０１を駆動する。さらに、撮影カメラ制御部２１０は、操作インターフェース部２０から入力された操作情報（デプスの制御信号）に従って、撮影カメラ２００のデプスを制御する。
【００３５】
なお、マスタードローンＣｍは、撮影カメラ２００の姿勢を計測するために、ロータリエンコーダ等の姿勢計測手段を備える。そして、撮影カメラ制御部２１０は、姿勢計測手段で計測された姿勢をカメラ制御装置１０に出力する。
【００３６】
［カメラ制御装置の構成］
図４に示すように、カメラ制御装置１０は、注視点算出部１１と、仮想球体生成部１２と、位置設定部１３と、姿勢算出部１４と、を備える。
【００３７】
注視点算出部１１は、マスタードローンＣｍから入力された位置及び姿勢と、操作インターフェース部２０から入力されたデプスとを用いて、注視点Ｐの位置を算出するものである。注視点Ｐは、マスタードローンＣｍの位置から、マスタードローンＣｍの光軸Ｏｘに向かって、デプスが示す距離にある（図２参照）。
【００３８】
ここで、スレーブドローンＣｎの並進ベクトルをＴｎ、回転行列をＲｎ、下付きの添え字ｎをスレーブドローンＣｎのカメラ番号１〜Ｎとする（但し、Ｎは１を超える自然数）。このとき、世界座標系Ｗとカメラ座標系Ｗｎとの関係は、以下の式（１）で表される。
【００３９】
【数１】
2020147105.tif 000003
【００４０】
この場合、注視点Ｐの位置（世界座標）は、以下の式（２）〜式（４）で表わされる。なお、ｒが姿勢を表す行列の一成分を表し、ＯｐｔａｘｉｓｍがマスタードローンＣｍの光軸を表し、ＴｍがマスタードローンＣｍの並進ベクトルを表し、Ｄｅｐｔｈがデプスを表す。また、式（４）の左辺は、注視点Ｐの位置を表す。
【００４１】
【数２】
2020147105.tif 000004
【数３】
2020147105.tif 000005
【数４】
2020147105.tif 000006
【００４２】
この姿勢を表す行列の一成分ｒ及びマスタードローンＣｍの光軸Ｏｐｔａｘｉｓｍは、マスタードローンＣｍの姿勢から求められる。また、マスタードローンＣｍの並進ベクトルＴｍは、マスタードローンＣｍの位置から求められる。つまり、注視点算出部１１は、式（２）〜式（４）を用いて、注視点Ｐの位置（世界座標）を算出できる。
【００４３】
その後、注視点算出部１１は、注視点Ｐの位置及びデプスを仮想球体生成部１２に出力する。
【００４４】
仮想球体生成部１２は、図５に示すように、仮想球体ＶＣを生成するものである。この仮想球体ＶＣは、注視点算出部１１から入力された注視点Ｐが仮想球体ＶＣの中心となり、注視点算出部１１から入力されたデプスが仮想球体ＶＣの半径ｌとなる。そして、仮想球体生成部１２は、生成した仮想球体ＶＣの情報を位置設定部１３に出力する。
なお、図５では、マスタードローンＣｍが被写体９０の真上に位置し、撮影カメラ２００が真下の被写体９０を向いている。このマスタードローンＣｍから見たときの水平方向をｘ軸、垂直方向をｙ軸、奥行き方向をｚ軸として図示した。つまり、マスタードローンＣｍの光軸方向がｚ軸方向となる。
【００４５】
位置設定部１３は、仮想球体生成部１２から入力された仮想球体ＶＣの情報を参照し、仮想球体ＶＣ上において、スレーブドローンＣｎの位置が予め設定されるものである。例えば、操作者９１は、図示を省略したマウス、キーボード等の操作手段を操作して、スレーブドローンＣｎの位置を位置設定部１３に入力（設定）する。このとき、隣接するスレーブドローンＣｎが等間隔となるように、スレーブドローンＣｎの位置を仮想球体ＶＣの上側半分の表面上に設定するとよい。
【００４６】
例えば、位置設定部１３では、スレーブドローンＣｎの位置を１次元方向に設定する。図６（ａ）に示すように、マスタードローンＣｍが被写体９０の真上に位置する場合を考える。この場合、図６（ｂ）に示すように、各スレーブドローンＣｎの位置は、仮想球体ＶＣの表面上であって、ｙ−ｚ平面上で１次元方向に１４個設定されている。
なお、ｚ軸を水平方向に設定し、各スレーブドローンＣｎを水平方向に配置することもできる。
【００４７】
また、例えば、位置設定部１３では、スレーブドローンＣｎの位置を２次元方向に設定する。マスタードローンＣｍが被写体９０の真上に位置する場合を考える。この場合、図７に示すように、各スレーブドローンＣｎの位置は、仮想球体ＶＣの表面上であって、ｘ軸方向及びｙ軸方向で整列するように２次元方向に３６個設定されている。
【００４８】
なお、図６及び図７では、各スレーブドローンＣｎの位置を黒丸で図示した。また、図６（ｂ）は、図６（ａ）の仮想球体ＶＣをｚ軸方向から見た図である。また、図６（ｂ）及び図７では、仮想球体ＶＣの表面上に位置するため、各点の等間隔がｚ軸から離れるほど狭くなるように図示した。
また、図６（ｂ）及び図７では、スレーブドローンＣｎの位置をそれぞれ１４個、３６個図示したが、実際には、スレーブドローンＣｎの位置はその台数分だけ設定すればよい。
【００４９】
その後、位置設定部１３は、設定されたスレーブドローンＣｎの位置及び仮想球体ＶＣの情報を姿勢算出部１４に出力する。
【００５０】
姿勢算出部１４は、位置設定部１３から入力されたスレーブドローンＣｎの位置で注視点Ｐを向いた方向をスレーブドローンＣｎの姿勢として算出するものである。そして、姿勢算出部１４は、スレーブドローンＣｎの位置及び姿勢をスレーブドローンＣｎ（マルチコプタ制御部１３０及び撮影カメラ制御部２２０）に出力する。
【００５１】
＜スレーブドローンの姿勢算出＞
図８を参照し、スレーブドローンＣｎの姿勢算出について、具体的に説明する。
図８に示すように、スレーブドローンＣｎの位置が（ｌｎ，θｎ，φｎ）であることとする。ここで、ｌｎは、注視点ＰからスレーブドローンＣｎまでの距離、つまり、仮想球体ＶＣの半径ｌを表す。また、θｎは、ｘ−ｚ平面上において、ｚ軸を基準としたスレーブドローンＣｎの角度（緯度）を表す。また、φｎは、ｘ−ｙ平面上において、ｙ軸を基準としたスレーブドローンＣｎの角度（経度）を表す。
【００５２】
マスタードローンＣｍのカメラ座標系において、スレーブドローンＣｎの位置ｘｎへの変換は、以下の式（５）で表される。式（５）では、球面座標系におけるスレーブドローンＣｎの位置（ｌｎ，θｎ，φｎ）を、カメラ座標系におけるスレーブドローンＣｎの位置ｘｎに変換する。このカメラ座標系は、マスタードローンＣｍの位置を原点とする。すなわち、球面座標系におけるスレーブドローンＣｎの位置（ｌｎ，θｎ，φｎ）をカメラ座標系（直交直線座標）に変換し、マスタードローンＣｍの光軸方向にデプスだけ平行移動させる。このとき、カメラ座標系における注視点ｐの位置は、以下の式（６）で表される。
【００５３】
【数５】
2020147105.tif 000007
【数６】
2020147105.tif 000008
【００５４】
マスタードローンＣｍの位置をｔｍ、マスタードローンＣｍの姿勢をＲｍとする。世界座標系において、スレーブドローンＣｎの位置Ｘｎへの変換は、以下の式（７）で表される。つまり、式（７）を用いて、カメラ座標系におけるスレーブドローンＣｎの位置ｘｎを、世界座標系におけるスレーブドローンＣｎの位置Ｘｎに変換する。このとき、世界座標系における注視点Ｐの位置は、以下の式（８）で表される。
【００５５】
【数７】
2020147105.tif 000009
【数８】
2020147105.tif 000010
【００５６】
スレーブドローンＣｎの姿勢Ｒｎは、スレーブドローンＣｎの位置Ｘｎで注視点Ｐを向いた方向となり、以下の式（９）及び式（１０）で表される。ここで、ｖは、地面と垂直のベクトルを表す。
【００５７】
【数９】
2020147105.tif 000011
【数１０】
2020147105.tif 000012
【００５８】
以上より、姿勢算出部１４は、式（５）〜式（１０）を用いて、スレーブドローンＣｎの姿勢を算出する。そして、姿勢算出部１４は、スレーブドローンＣｎが位置Ｘｎで姿勢Ｒｎを取るように制御すればよい。
【００５９】
［スレーブドローンの構成］
図４に示すように、スレーブドローンＣｎは、回転モータ１１０と、マルチコプタ制御部１３０と、撮影カメラ２００と、撮影カメラ制御部２２０とを備える。
なお、回転モータ１１０及び撮影カメラ２００は、マスタードローンＣｍと同様のため、これ以上の説明を省略する。
【００６０】
マルチコプタ制御部１３０は、スレーブドローンＣｎのマルチコプタ本体１００を制御するものである。つまり、マルチコプタ制御部１３０は、姿勢算出部１４から入力された位置ｘｎにスレーブドローンＣｎを移動させる。
【００６１】
撮影カメラ制御部２２０は、スレーブドローンＣｎの撮影カメラ２００を制御するものである。つまり、撮影カメラ制御部２２０は、撮影カメラ２００が姿勢算出部１４から入力された姿勢Ｒｎを取るように、雲台２０１を駆動する。
このようにして、スレーブドローンＣｎが位置ｘｎに移動し、撮影カメラ２００が注視点Ｐを向くことになる。
【００６２】
［多視点ロボットカメラシステムの動作］
図９を参照し、多視点ロボットカメラシステム１の動作について説明する。
ステップＳ１において、カメラマンは、操作インターフェース部２０を操作し、マスタードローンＣｍの位置及び姿勢を制御する。
ステップＳ２において、カメラマンは、操作インターフェース部２０を操作し、マスタードローンＣｍのデプスを制御する。
【００６３】
ステップＳ３において、注視点算出部１１は、マスタードローンＣｍの位置と姿勢とデプスとを用いて、注視点Ｐの位置を算出する。そして、仮想球体生成部１２は、注視点Ｐが中心となり、デプスが半径となる仮想球体ＶＣを生成する。
ステップＳ４において、位置設定部１３は、スレーブドローンＣｎの位置を仮想球体ＶＣ上に設定する。
ステップＳ５において、姿勢算出部１４は、式（５）を用いて、球面座標系からカメラ座標系にスレーブドローンＣｎの位置を変換する。
【００６４】
ステップＳ６において、姿勢算出部１４は、式（７）を用いて、カメラ座標系におけるスレーブドローンＣｎの位置ｘｎを、世界座標系におけるスレーブドローンＣｎの位置Ｘｎに変換する。
ステップＳ７において、姿勢算出部１４は、式（９）及び式（１０）を用いて、スレーブドローンＣｎの姿勢Ｒｎを算出し、スレーブドローンＣｎを制御する。
【００６５】
ステップＳ８において、カメラ制御装置１０は、多視点映像の撮影が完了したか否かを判定する。例えば、カメラマンが、操作インターフェース部２０を用いて、撮影完了をカメラ制御装置１０に指令した場合、カメラ制御装置１０は、多視点映像の撮影が完了したと判定する。
多視点映像の撮影が完了した場合（ステップＳ８でＹｅｓ）、カメラ制御装置１０は、処理を終了する。
多視点映像の撮影が完了していない場合（ステップＳ８でＮｏ）、カメラ制御装置１０は、ステップＳ２の処理に戻る。
【００６６】
［作用・効果］
以上のように、多視点ロボットカメラシステム１は、ドローンＣを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。例えば、この多視点映像を用いれば、被写体の周囲を滑らかに視点が回り込むような映像表現において、その品質を向上させることができる（参考文献２参照）。
参考文献２：「小多視点ロボットカメラによる「ぐるっとビジョン」を用いた新しい映像表現技術の開発」、[online]，[平成３１年１月２９日検索]，インターネット＜ＵＲＬ：https://www.hbf.or.jp/magazine/article/hbf2016_vol3＞
【００６７】
３次元モデルを生成するためには、ドローンＣを全天周状に配置することが好ましい。従来のロボットカメラは基本的に地面に設置するものであり、空間中への設置が困難である。その一方、多視点ロボットカメラシステム１は、ドローンＣを空間中に全天周状に配置することができる。その結果、多視点映像から生成した３次元モデルを用いて、高品質なＩＰ立体映像を提供することが可能となる。
【００６８】
多視点映像を撮影する際、隣り合うロボットカメラの輻輳角を適切に保つことが好ましい。従来のロボットカメラは、設置位置が固定されているが、被写体の移動により輻輳角が変化するので、適切な輻輳角を保つのが困難である。その一方、多視点ロボットカメラシステム１は、ドローンＣが空間中を自在に移動できるので、ドローンＣを適切な輻輳角に保って多視点映像を撮影することができる。
従来のロボットカメラの設営には、ロボットカメラの設置、ケーブルの敷設等の労力がかかる。その一方、多視点ロボットカメラシステム１は、カメラの設置及びケーブルの敷設が不要であり、設営の労力を削減することができる。
【００６９】
（第２実施形態）
［多視点ロボットカメラシステムの構成］
図１０を参照し、第２実施形態に係る多視点ロボットカメラシステム１Ａの構成について、第１実施形態と異なる点を説明する。
第１実施形態では、スレーブドローンＣｎの位置を手動で設定したのに対し、第２実施形態では、後記する球面分布処理によりスレーブドローンＣｎの位置を算出する点が異なる。
【００７０】
図１０に示すように、多視点ロボットカメラシステム１Ａは、カメラ制御装置１０Ａと、操作インターフェース部２０と、マスタードローンＣｍと、スレーブドローンＣｎと、を備える。
なお、カメラ制御装置１０Ａ以外は、第１実施形態と同様のため、説明を省略する。
【００７１】
カメラ制御装置１０Ａは、多視点映像を撮影するために、スレーブドローンＣｎの位置及び姿勢を制御するものである。本実施形態では、カメラ制御装置１０Ａは、各スレーブドローンＣｎが適切な輻輳角を保ち、各スレーブドローンＣｎが全天周状に配置されるように、球面分布処理によりスレーブドローンＣｎの位置を算出する。
【００７２】
［カメラ制御装置の構成］
カメラ制御装置１０Ａは、注視点算出部１１と、仮想球体生成部１２と、位置算出部１５と、姿勢算出部１４Ａと、を備える。
なお、注視点算出部１１及び仮想球体生成部１２は、第１実施形態と同様のため、説明を省略する。
【００７３】
位置算出部１５は、球面分布処理により、仮想球体ＶＣの上側半球面上に位置する点の位置を、スレーブドローンカメラのＣｎ位置として算出するものである。
球面分布処理とは、複数の点を仮想球体の表面上に一様に分布させる処理のことである。例えば、球面分布処理としては、一般化螺旋集合、一様乱数、等積投影法の逆投影、及び、正多面体の頂点に基づく手法があげられる。ここで、簡易な演算で一様性が高い点集合を算出できるため、一般化螺旋集合を用いることが好ましい（参考文献３参照）。本実施形態では、一般化螺旋集合を用いることとして説明する。
参考文献３：「多数の点を球面状に一様分布させるソフトウェアGSS Generator」、山路敦、情報地質、第１２巻、第１号、３−１２頁、２００１年
【００７４】
＜スレーブドローンの位置算出＞
図１１〜図１３を参照し、スレーブドローンＣｎの姿勢算出について具体的に説明する。
図１１に示すように、第１実施形態と同様、球面座標系（仮想球体ＶＣ）が設定されていることとする。この球面座標系では、ｎ番目の点の位置を緯度θｎと経度φｎとで表現し、各点がｎ台目のドローンＣの位置を表すこととする（但し、１≦ｎ≦Ｎ）。まず、図１２に示すように、一般化螺旋集合により、仮想球体ＶＣの球面上で２Ｎ台分のドローンＣの配置位置を求め、その後、Ｎ台のドローンＣを仮想球体ＶＣの球面の上側半分に均一に配置する。この場合、２Ｎ台のドローンＣのうち、ｎ台目のドローンＣの位置は、式（１１）〜式（１３）によって算出できる。
【００７５】
【数１１】
2020147105.tif 000013
【数１２】
2020147105.tif 000014
【数１３】
2020147105.tif 000015
【００７６】
ここで、θ１＝π、θＮ＝０、φ１＝０とする。すなわち、一般化螺旋集合では、式（１１）のパラメータｈｎを使って、ｎ番目の点の座標（θｎ，φｎ）を式（１２）及び式（１３）の漸化式で表すことができる。
【００７７】
１台目（ｎ＝１）のドローンＣが南極に位置し、２Ｎ台目（ｎ＝２Ｎ）のドローンＣが北極に位置する。球面座標系の南極及び北極では歪みが生じるため、一様性が損なわれる。このため、ｎ番目の点を終点とする単位ベクトルをａｎとし、単位ベクトルａ１，ａ２Ｎを以下の式（１４）及び式（１５）で算出する。
【００７８】
【数１４】
2020147105.tif 000016
【数１５】
2020147105.tif 000017
【００７９】
そして、球面座標系の上側半分にあたるＮ＋１個目から２Ｎ個目までの点の位置を、Ｎ＋１台目から２Ｎ台目までのドローンＣの位置として用いる。このとき、マスタードローンＣｍの位置を北極とし、それ以外の位置をスレーブドローンＣｎの位置とすればよい。
【００８０】
以上より、位置算出部１５は、一般化螺旋集合で定義される式（１１）〜式（１５）を用いて、スレーブドローンＣｎの位置を算出する。
その後、位置算出部１５は、算出したスレーブドローンＣｎの位置及び仮想球体ＶＣの情報を姿勢算出部１４Ａに出力する。
【００８１】
図１０に戻り、カメラ制御装置１０Ａの構成について、説明を続ける。
姿勢算出部１４Ａは、位置算出部１５から入力されたスレーブドローンＣｎの位置で注視点Ｐを向いた方向をスレーブドローンＣｎの姿勢として算出するものである。
【００８２】
マスタードローンＣｍのカメラ座標系において、スレーブドローンＣｎの位置ｘｎへの変換は、以下の式（１６）で表される。式（１６）では、球面座標系におけるスレーブドローンＣｎの位置（ｌ＝１，θｎ，φｎ）を、カメラ座標系におけるスレーブドローンＣｎの位置ｘｎに変換する。すなわち、球面座標系におけるスレーブドローンＣｎの位置（ｌ，θｎ，φｎ）をカメラ座標系（直交直線座標）に変換し、一般化螺旋集合の北極が直交直線座標系の原点と一致するように平行移動させる。この式（１６）では、球面座標系におけるスレーブドローンＣｍの位置が（ｌ＝１，θｍ，φｍ）で表される。
【００８３】
【数１６】
2020147105.tif 000018
【００８４】
なお、姿勢算出部１４Ａは、式（５）の代わりに式（１６）を用いる以外、第１実施形態と同様のため、これ以上の説明を省略する。
【００８５】
［多視点ロボットカメラシステムの動作］
図１３を参照し、多視点ロボットカメラシステム１Ａの動作について説明する。
ステップＳ１〜Ｓ３の処理は、第１実施形態と同様のため、説明を省略する。
【００８６】
ステップＳ４Ｂにおいて、位置算出部１５は、球面分布処理により、仮想球体ＶＣの上側半球面に位置する点の位置を、スレーブドローンのＣｎ位置として算出する。具体的には、位置算出部１５は、一般化螺旋集合で定義される式（１１）〜式（１５）を用いて、スレーブドローンＣｎの位置を算出する。
【００８７】
ステップＳ５Ｂにおいて、姿勢算出部１４Ａは、式（１６）を用いて、球面座標系からカメラ座標系にスレーブドローンＣｎの位置を変換する。
ステップＳ６〜Ｓ８の処理は、第１実施形態と同様のため、説明を省略する。
【００８８】
［作用・効果］
以上のように、多視点ロボットカメラシステム１Ａは、第１実施形態と同様、ドローンＣを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。さらに、多視点ロボットカメラシステム１Ａは、スレーブドローンＣｎの位置を手動で設定する必要がないので、多視点映像の撮影に要する労力を削減することができる。
【００８９】
（第３実施形態）
［多視点ロボットカメラシステムの構成］
図１４を参照し、第３実施形態に係る多視点ロボットカメラシステム１Ｂの構成について、第２実施形態と異なる点を説明する。
第２実施形態では、カメラマンがマスタードローンＣｍを手動で操作したのに対し、第３実施形態では、マスタードローンＣｍが被写体９０に自動追随する点が異なる。
【００９０】
図１４に示すように、多視点ロボットカメラシステム１Ｂは、カメラ制御装置１０Ｂと、マスタードローンＣＢｍと、スレーブドローンＣｎと、を備える。すなわち、多視点ロボットカメラシステム１Ｂは、操作インターフェース部２０を備えていない。
なお、スレーブドローンＣｎは、第２実施形態と同様のため、説明を省略する。
【００９１】
カメラ制御装置１０Ｂは、多視点映像を撮影するために、スレーブドローンＣｎの位置及び姿勢を制御するものである。本実施形態では、カメラ制御装置１０Ｂは、操作インターフェース部２０からの操作情報を用いずに、マスタードローンＣＢｍの光軸と地面との交点を注視点Ｐとして算出する。
【００９２】
［カメラ制御装置の構成］
カメラ制御装置１０Ｂは、注視点算出部１１Ｂと、仮想球体生成部１２と、位置算出部１５と、姿勢算出部１４Ａと、を備える。
なお、注視点算出部１１Ｂ以外は、第２実施形態と同様のため、説明を省略する。
【００９３】
注視点算出部１１Ｂは、マスタードローンＣｍから入力された位置及び姿勢を用いて、注視点Ｐ及びデプスを算出するものである。すなわち、注視点算出部１１Ｂは、マスタードローンＣＢｍが備える撮影カメラ２００の光軸と、地面を想定した平面との交点を注視点Ｐとして算出する。このとき、注視点算出部１１Ｂは、より正確な注視点Ｐを算出するため、予め設定した高さ（例えば、人間の平均身長の半分）を注視点Ｐの高さに加えることが好ましい。さらに、注視点算出部１１Ｂは、マスタードローンＣｍの位置と算出した注視点Ｐとの距離をデプスとして算出する。
【００９４】
［マスタードローンの構成］
図１４を参照し、マスタードローンＣＢｍの構成について説明する。
図１４に示すように、マスタードローンＣＢｍは、回転モータ１１０と、マルチコプタ制御部１２０と、撮影カメラ２００と、撮影カメラ制御部２１０と、被写体追随部２３０と、を備える。
なお、被写体追随部２３０以外は、第２実施形態と同様のため、説明を省略する。
【００９５】
被写体追随部２３０は、マスタードローンＣＢｍを被写体の真上に追随させるものである。すなわち、被写体追随部２３０は、地面上の被写体に対し、地面から垂直方向の上空にマスタードローンＣＢｍが位置するように、マスタードローンＣＢｍを任意の手法で自動追随させる。例えば、被写体追随部２３０は、撮影カメラ２００を真下に向けるように撮影カメラ制御部２１０に指令する。そして、被写体追随部２３０は、撮影カメラ制御部２１０の撮影画像から被写体の位置を検出する。さらに、被写体追随部２３０は、撮影画像の中央に被写体が映る位置にマスタードローンＣＢｍを移動させる指令をマルチコプタ制御部１２０に出力する。
【００９６】
なお、マスタードローンＣＢｍを被写体の真上に追随させる手法は、前記に限定されない。例えば、位置計測手段を被写体に装着し、その計測位置に基づいてマスタードローンＣＢｍを追随させてもよい。
【００９７】
［多視点ロボットカメラシステムの動作］
図１５を参照し、多視点ロボットカメラシステム１Ｂの動作について説明する。
ステップＳ４Ｂ〜Ｓ７の処理は、第２実施形態と同様のため、説明を省略する。
【００９８】
ステップＳ９において、被写体追随部２３０は、マスタードローンＣＢｍを被写体の真上に追随させる。そして、注視点算出部１１Ｂは、マスタードローンＣｍから入力された位置及び姿勢を用いて、注視点Ｐ及びデプスを算出する。
【００９９】
ステップＳ８Ｂにおいて、例えば、カメラマンが、図示を省略したマウス、キーボード等の操作手段を用いて、撮影完了をカメラ制御装置１０Ｂに指令した場合、カメラ制御装置１０Ｂは、多視点映像の撮影が完了したと判定する。
多視点映像の撮影が完了した場合（ステップＳ８ＢでＹｅｓ）、カメラ制御装置１０Ｂは、処理を終了する。
多視点映像の撮影が完了していない場合（ステップＳ８ＢでＮｏ）、カメラ制御装置１０Ｂは、ステップＳ９の処理に戻る。
【０１００】
［作用・効果］
以上のように、多視点ロボットカメラシステム１Ｂは、第２実施形態と同様、ドローンＣを適切な輻輳角で全天周状に配置できるので、高品質な映像表現が可能となる多視点映像を撮影することができる。さらに、多視点ロボットカメラシステム１Ｂは、カメラマンがマスタードローンＣｍを操作する必要がないので、多視点映像の撮影に要する労力をさらに削減することができる。
【０１０１】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【０１０２】
スレーブドローンの位置及び間隔は、多視点映像の用途（アプリケーション）に応じて任意に設定可能である。つまり、スレーブドローンの位置は、上側半球面上に限定されず、仮想球体の球面上（例えば、半球面上）であればよい。また、隣接するスレーブドローンの間隔は、等間隔でなくともよい。
【０１０３】
マルチコプタ本体の構造（例えば、筐体の形状、プロペラの数）は、前記した各実施形態に限定されない。つまり、マルチコプタ本体は、カメラ本体を搭載又は内蔵し、飛行可能なものであればよい。
【０１０４】
前記した各実施形態では、マスターカメラがマルチコプタ型のロボットカメラであることとして説明したが、一般的な撮影カメラであってもよい。例えば、マスターカメラとして、三脚に搭載される撮影カメラ、又は、カメラマンの肩に担がれる撮影カメラがあげられる。
【０１０５】
前記した各実施形態では、操作インターフェース部でマスターカメラの位置及び姿勢を操作することとして説明したが、マスターカメラのズーム、フォーカス及びアイリスも操作可能としてもよい。さらに、マスターカメラのズーム、フォーカス及びアイリスは、自動で調整してもよい。
【０１０６】
前記した各実施形態では、操作インターフェース部が制御装置から独立したものとして説明したが、制御装置が操作インターフェース部の機能を備えてもよい。
前記した各実施形態では、移動体がマルチコプタであることとして説明したが、これに限定されない。例えば、移動体として、ラジオコントロール型のヘリコプタ（ラジコンヘリコプタ）があげられる。
【０１０７】
前記した各実施形態では、カメラ制御装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したカメラ制御装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【０１０８】
１，１Ａ，１Ｂ  多視点ロボットカメラシステム（多視点ロボットカメラシステム）
１０，１０Ａ，１０Ｂ  カメラ制御装置
１１，１１Ｂ  注視点算出部
１２  仮想球体生成部
１３  位置設定部
１４，１４Ａ  姿勢算出部
１５  位置算出部
２０  操作インターフェース部
９０  被写体
９１  操作者
１００  マルチコプタ本体（移動体）
１０１  筐体
１０２  プロペラ
１０３  脚部
１１０  回転モータ
１２０，１３０  マルチコプタ制御部
２００  撮影カメラ
２０１  雲台
２１０，２２０  撮影カメラ制御部
２３０  被写体追随部
Ｃ  ドローン（ロボットカメラ）
Ｃｍ，ＣＢｍ  マスタードローン（マスターカメラ）
Ｃｎ  スレーブドローン（スレーブカメラ）
【図１】
2020147105.tif 000019
【図２】
2020147105.tif 000020
【図３】
2020147105.tif 000021
【図４】
2020147105.tif 000022
【図５】
2020147105.tif 000023
【図６】
2020147105.tif 000024
【図７】
2020147105.tif 000025
【図８】
2020147105.tif 000026
【図９】
2020147105.tif 000027
【図１０】
2020147105.tif 000028
【図１１】
2020147105.tif 000029
【図１２】
2020147105.tif 000030
【図１３】
2020147105.tif 000031
【図１４】
2020147105.tif 000032
【図１５】
2020147105.tif 000033