(57)【要約】      （修正有）【課題】カメラの位置や姿勢に関するパラメータを容易に判定できる情報処理装置、情報処理方法、及び、プログラムを提供する。【解決手段】キャリブレーション装置は、複数のカメラによる複数の撮影画像であって、撮影のタイムコードが一致する前記複数の撮影画像を取得し（Ｓ１０２）、取得された複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行い（Ｓ１０３）、当該検出処理の結果を用いることによって、複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する（Ｓ１０６）。【選択図】図４
2019087791.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラにより撮影された複数の撮影画像であって、撮影のタイムコードが一致する前記複数の撮影画像を取得する取得手段と、
前記取得手段により取得された前記複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行う検出手段と、
前記撮影のタイムコードが一致する複数の撮影画像に対する前記検出手段による前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する判定手段とを有することを特徴とする情報処理装置。
【請求項２】
前記検出手段は、複数種類の所定の画像パターンを検出することが可能であり、
前記判定手段は、前記検出手段により検出された画像パターンの種類に応じた識別子と、前記タイムコードと、が一致する前記複数の撮影画像における前記画像パターンの位置情報を用いることによって、前記パラメータを判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記複数のカメラのそれぞれの撮影画像を記録するカメラ制御装置に対して、タイムコードを指定した画像リクエストを送信することで前記複数の撮影画像を取得することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記複数のカメラと複数のカメラ制御装置は１対１で対応することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記取得手段は、前記複数のカメラによる動画の撮影が完了した後に、前記複数のカメラのそれぞれの撮影動画を構成する複数の画像のうち、前記タイムコードが一致する複数の画像を取得することを特徴とする請求項１乃至４のうち、何れか１項に記載の情報処理装置。
【請求項６】
前記所定の画像パターンをプロジェクタに投影させる投影制御手段を有することを特徴とする請求項１乃至５のうち、何れか１項に記載の情報処理装置。
【請求項７】
前記所定の画像パターンを有する飛行物体の動きを制御する飛行制御手段を有することを特徴とする請求項１乃至５のうち、何れか１項に記載の情報処理装置。
【請求項８】
前記判定手段は、前記検出手段による前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの焦点距離及びレンズ歪みに関するパラメータをさらに判定する請求項１乃至７のうち、何れか１項に記載の情報処理装置。
【請求項９】
複数のカメラにより同時刻に撮影された複数の撮影画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行う検出ステップと、
前記同時刻に撮影された前記複数の撮影画像に対する前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する判定ステップとを有することを特徴とする情報処理方法。
【請求項１０】
コンピュータを請求項１乃至８のうち、何れか１項に記載の情報処理装置の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの位置及び姿勢等のパラメータの判定処理に関する。
【背景技術】
【０００２】
仮想視点映像（自由視点映像などとも呼ばれる）を生成するために、複数のカメラの位置及び姿勢などのパラメータを高精度に判定する必要がある。各カメラのパラメータの判定には、複数のカメラの共通視野領域に置かれたマーカの撮影画像を用いて行われることが一般的である。
【０００３】
特許文献１には、共通視野領域に置かれたマーカを複数のカメラが撮影することで各カメラの位置及び姿勢などのパラメータを判定することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３５１８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
各カメラのパラメータを高精度に判定するためには、複数のカメラが同じ空間位置にあるマーカを撮影する必要がある。また、各カメラのパラメータを高精度に判定するためには、マーカがある１か所の位置に存在するときの複数のカメラの撮影画像だけでなく、マーカが別の位置に存在するときの複数カメラの撮影画像も必要となる。
【０００６】
従って、例えば、マーカを共通視野領域内で移動させることで各カメラのパラメータを判定する場合には、以下のようなステップで撮影を行うことになる。
【０００７】
（１）マーカを移動させる
（２）マーカが停止したことを確認する
（３）複数のカメラでマーカを撮影する
（４）撮影が終わったことを確認し、（１）から繰り返す
なお、２以上のマーカを用いる場合であっても、（１）〜（４）の繰り返しが必要となる。このように従来は、各カメラのパラメータを容易に判定することができなかった。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の情報処理装置は、例えば以下の構成を有する。すなわち、複数のカメラによる複数の撮影画像であって、撮影のタイムコードが一致する前記複数の撮影画像を取得する取得手段と、前記取得手段により取得された前記複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行う検出手段と、
前記撮影のタイムコードが一致する複数の撮影画像に対する前記検出手段による前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する判定手段とを有する。
【発明の効果】
【０００９】
本発明によれば、各カメラのパラメータをより容易に判定できるようになる。
【図面の簡単な説明】
【００１０】
【図１】実施形態の全体構成を説明するための図である。
【図２】実施形態に係る各装置の構成を説明するための図である。
【図３】画像バッファ２１２を説明するための図である。
【図４】キャリブレーション装置１００の動作を説明するための図である。
【図５】マーカ４１１を説明するための図である。
【図６】マーカ保持者４１０〜４４０が移動する様子を示した図である。
【図７】マーカ保持者４１０〜４４０が移動する順序を示した図である。
【図８】キャリブレーション装置１００の動作を説明するための図である。
【図９】実施形態の全体構成を説明するための図である。
【図１０】キャリブレーション装置１００の動作を説明するための図である。
【図１１】実施形態の全体構成を説明するための図である。
【発明を実施するための形態】
【００１１】
＜第１実施形態＞
第１実施形態のカメラキャリブレーションシステムについて説明する。本実施形態においては、カメラキャリブレーションシステムが仮想視点映像生成用のカメラシステムに適用される場合の例を中心に説明する。仮想視点映像は、複数のカメラにより撮影された複数の撮影映像と、仮想的な視点及び方向等（仮想カメラパラメータ）に基づいて生成される。ただし、仮想視点映像生成用のカメラシステムに限らず、種々のマルチカメラシステムに本実施形態のカメラキャリブレーションシステムは適用可能である。なお、本実施形態において、キャリブレーションとは、複数のカメラの位置合わせに関する処理であるものとする。すなわち、本実施形態のキャリブレーション装置１００により実行されるキャリブレーション処理は、複数のカメラのそれぞれの位置及び姿勢等に関するパラメータを判定する処理を含む。また、キャリブレーション処理は、上記パラメータに基づいて、各カメラの撮影画像の座標系を、複数のカメラに共通の座標系に対応付けるための処理を含む。ただし、本実施形態のキャリブレーション装置１００は、キャリブレーション処理の少なくとも一部を実行し、残ったキャリブレーション処理を他の装置に実行させるようにしても良い。
【００１２】
第１実施形態のシステム構成を図１に示す。本実施形態では、キャリブレーション装置１００を起点として、デイジーチェーン接続によりカメラ制御装置２１０〜２６０が接続される。なお、接続形態はデイジーチェーン接続に限らず、スター型など別のネットワークトポロジーを採用しても良い。
【００１３】
カメラ制御装置２１０〜２６０にはカメラ３１０〜３６０が接続される。本実施形態では、カメラ制御装置２１０〜２６０とカメラ３１０〜３６０は１対１で対応しているが、これに限らない。例えば、Ｎ台のカメラに対して１台のカメラ制御装置が対応するようにしても良い。また、本実施形態では、カメラ制御装置とカメラが異なる装置であるものとして説明しているが、カメラ制御装置の機能が、カメラに含まれるようにすることも可能である。
【００１４】
カメラ制御装置２１０〜２６０は、ネットワークを通じて送られてくるキャリブレーション装置１００からの指示に基づいて、カメラ３１０〜３６０を制御する。また、カメラ制御装置２１０〜２６０は、キャリブレーション装置１００から送られてくる同期信号に基づいて、カメラ３１０〜３６０に同期信号を送る。
【００１５】
キャリブレーション装置１００、カメラ制御装置２１０、及び、カメラ３１０のより詳しい構成について図２を用いて説明する。本実施形態のキャリブレーション装置１００は、キャリブレーション計算部１０１、画像取得部１０２、及び、同期サーバ１０３を有する。また、カメラ制御装置２１０は、画像送信部２１１、画像バッファ２１２、及び、同期クライアント２１３を有する。なお、カメラ制御装置３２０〜３６０はカメラ制御装置３１０と同様の構成及び機能を有し、カメラ３２０〜３６０はカメラ３１０と同様の構成及び機能を有する。
【００１６】
同期サーバ１０３と同期クライアント２１３は、ネットワークを通じて送られる同期信号（同期パケット）により同期をとる。本実施形態では同期プロトコルとしてＰＴＰ（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）を使用する。ただし、他のプロトコルを用いて同期をとるようにしても良い。
【００１７】
本実施形態において、同期サーバ１０３は、同期クライアント２１３に対して、同期信号を送信する。そして、同期クライアント２１３は、同期サーバ１０３からの同期信号の受信に応じてカメラ３１０に対してゲンロック信号とタイムコードを送信する。カメラ３１０はゲンロック信号に応じたタイミングで撮影を行い、当該撮影により得られた画像信号と、同期クライアント２１３からのタイムコードとを画像バッファ２１２に送信する。画像バッファ２１２は、カメラ３１０からの画像信号とタイムコードを記録する。
【００１８】
画像バッファ２１２の構成を図３に示す。画像バッファ２１２は、バッファ２１２−１及び、循環カウンタ２１２−２を有する。画像バッファ２１２は、カメラ３１０から画像信号とタイムコードを受信すると、循環カウンタ２１２−２が示すバッファ２１２−１内の記録領域に、当該情報を書き込み、循環カウンタ２１２−２を１つインクリメントする。バッファ２１２−１の記録領域がいっぱいになった場合は、最も古いタイムコードに対応する記録領域に新たな画像信号が上書きされる。上記の動作により、画像バッファ２１２には過去一定時間（バッファ２１２−１の大きさにより決まる）分の画像信号とタイムコードが記録される。なお、図３では、タイムコードが０から始まる正数である例を示しているが、これに限らず、タイムサーバや内部時計から取得される絶対時刻の情報がタイムコードとして用いられるようにしても良い。
【００１９】
画像送信部２１１は、キャリブレーション装置１００からの「時刻Ｔの画像の要求」に応じ、画像バッファ２１２からタイムコード「Ｔ」に対応付けられた画像信号を読み出し、それをキャリブレーション装置１００へ送信する。
【００２０】
キャリブレーション装置１００は、カメラ３１０〜３６０により撮影された撮影画像を用いることによって、カメラ３１０〜３６０のパラメータを計算する。キャリブレーション装置１００により計算されるパラメータには、カメラ３１０〜３６０のそれぞれの位置及び姿勢に関するパラメータ（外部パラメータ）が含まれる。なおカメラ３１０〜３６０の位置及び姿勢に関するパララメータに加えて、各カメラの焦点距離やレンズ歪みなどに関するパラメータ（内部パラメータ）が計算されるようにしても良い。
【００２１】
なお、本実施形態では、図２で説明する各ブロックが、それぞれ専用のハードウェアにより実現される場合の例を中心に説明する。しかしながら、各ブロックのうち少なくとも何れか１つの機能が、１又は複数の汎用プロセッサ（例えばＣＰＵ）によってソフトウェア的に実現されるようにしても良い。
【００２２】
キャリブレーション装置１００の動作について図４を用いて説明する。キャリブレーション装置１００の同期サーバ１０３は、カメラ制御装置２１０〜２６０の同期クライアント２１３〜２６３に対して、同期信号の送信を開始する（Ｓ１０１）。カメラ制御装置２１０〜２６０は、同期サーバ１０３からの同期信号に応じたタイミングでカメラ３１０〜３６０に撮影を実行させる。つまり、カメラ３１０〜３６０は同じタイミングでの撮影を開始する。そして、カメラ３１０〜３６０の撮影により得られた撮影画像は、タイムコードと共に画像バッファ２１２に記録される。
【００２３】
画像取得部１０２は、タイムコードが一致する複数の撮影画像を、ネットワークを通じてカメラ制御装置２１０〜２６０から取得し、それをキャリブレーション計算部１０１に送信する（Ｓ１０２）。より具体的には、画像取得部１０２は、カメラ制御装置２１０〜２６０のそれぞれに対して、時刻Ｔのタイムコードを指定した画像リクエストを送信する。そして、画像取得部１０２は、当該画像リクエストのレスポンスとして、時刻Ｔにカメラ３１０〜３６０のそれぞれによって撮影された撮影画像を取得する。
【００２４】
キャリブレーション計算部１０１は、画像取得部１０２から送られた複数の撮影画像のそれぞれに対してマーカを検出するための検出処理を実行する（Ｓ１０３）。マーカとは所定の画像パターンである。キャリブレーション計算部１０１は、パターンマッチングなどの公知の手法を用いることによって、撮影画像から当該所定の画像パターンを検出する。なお、図１のマーカ４１１及びマーカ４２１において示す通り、本実施形態では、複数種類の画像パターンをマーカとして用いる。そして、キャリブレーション計算部１０１は、各撮影画像に、各種類の画像パターンの検出処理を実行する。
【００２５】
キャリブレーション計算部１０１は、マーカを検出した場合、カメラごとに時刻Ｔとマーカ識別子Ｎとの組（Ｔ，Ｎ）と、マーカ座標（ｘ，ｙ）を記録する（Ｓ１０４）。すなわちキャリブレーション計算部１０１は、時刻Ｔと、マーカの識別子と、撮影画像内におけるマーカの位置情報とを対応付けて記録する。以上のＳ１０２〜１０４を撮影終了指示が入力されるまで繰り返す（Ｓ１０５）。
【００２６】
撮影終了指示が入力されると（Ｓ１０５にてＹｅｓ）、キャリブレーション計算部１０１は、（Ｔ，Ｎ）の組をマーカＩＤとしてキャリブレーション処理を行う（Ｓ１０６）。なお本実施形態では時刻ごとにマーカの位置が変化しうることを前提としているため、マーカの識別子ＮをそのままマーカＩＤとして使用することはできない。つまり、同一の識別子Ｎに対応付けられたマーカ座標であっても、同一時刻のマーカ座標でなければ、キャリブレーション処理は成功しない。一方、時刻Ｔと識別子Ｎの組が同一である複数のマーカ座標を用いれば、正しくキャリブレーション処理ができる。
【００２７】
そこで、本実施形態のキャリブレーション計算部１０１は、（Ｔ，Ｎ）の組をマーカＩＤとして扱ってキャリブレーション処理を行う。なお、上述の通り、本実施形態のキャリブレーション処理は、複数のカメラの位置合わせに関する処理である。そして、キャリブレーション処理は、複数のカメラのそれぞれの位置及び姿勢等に関するパラメータを判定する処理、及び、そのパラメータに基づいて、各カメラの撮影画像の座標系を、複数のカメラに共通の座標系に対応付けるための処理を含む。撮影画像から検出されたマーカの位置に基づいてキャリブレーション処理を行う具体的な方法は、特許文献１等において示されているため、ここでは説明を省略する。
【００２８】
マーカ保持者４１０〜４４０（図１では４１０〜４２０のみ記載する）は、マーカ４１１〜４４１を持ってカメラ３１０〜３６０の共通視野領域を歩く。マーカ４１１〜４４１はそれぞれ異なる画像パターンを有する。また、マーカ４１１〜４４１の画像パターンにはそれぞれ異なるマーカ識別子Ｎの情報が埋め込まれているものとする。キャリブレーション計算部１０１は、撮影画像に対する画像処理によって、当該マーカ識別子Ｎを読み出すことができる。マーカ４１１の画像パターンの例を図５に示す。本実施形態では平面の板の両面に特殊なパターンを印刷したものをマーカ保持者が持って歩くものとする。
【００２９】
より具体的なマーカ保持者４１０〜４４０の歩き方として、サッカー場での歩き方について図６を用いて詳細に説明する。図６では、サッカー場を４つの領域に分け、マーカ保持者４１０〜４４０が各自の領域をまんべんなく歩く様子を示している。
【００３０】
また、本実施形態では、マーカ保持者４１０〜４４０が図７に示すように、最初サッカー場の横方向に歩き、その後、縦方向に歩くものとする。これは以下の理由による。すなわち、本実施形態においてはマーカ４１１〜４４１が平面であるため、マーカを正面方向又は裏面方向から撮影するカメラの撮影画像からはマーカ４１１〜４４１が検出される。一方で、マーカ４１１〜４４１を横方向から撮影するカメラ３１０〜３６０の撮影画像からはマーカ４１１〜４４１が検出できない。よってマーカ保持者４１０〜４４０が方向を変えて歩くことで、マーカ４１１〜４４１が縦方向のとき、横方向のときのいずれかでカメラ３１０〜３６０に写るようになる。なお、本実施形態は、マーカ保持者４１０〜４４０がサッカー場を縦方向に歩いた後、横方向に歩くようにしても良い。
【００３１】
また、本実施形態では、マーカ保持者４１０〜４４０の移動範囲は互いに重複するようにしている。このようにすることで、マーカが検出されない領域が発生しないようにできる。
【００３２】
以上説明したように、本実施形態のキャリブレーション装置１００（情報処理装置）は、複数のカメラ３１０〜３６０のそれぞれの撮影画像（同一のタイムコードに対応する撮影画像）を取得する。そして、当該複数の撮影画像から所定の画像パターン（マーカ）を検出するための検出処理を実行し、その結果を用いてカメラ３１０〜３６０のそれぞれのキャリブレーション処理を行う。キャリブレーション処理には、カメラの位置及び姿勢に関連するパラメータを判定する処理や、各カメラの撮影画像の座標系を、複数のカメラに共通の座標系に対応付けるための処理を含む。なお、キャリブレーション装置１００は、上述のすべての処理を必ず行わなければならないわけではなく、キャリブレーション処理の一部を、別の装置に実行させるようにしても良い。本実施形態のシステムによれば、比較的少ない数のマーカを用いて高精度のキャリブレーションを行うことができる。
【００３３】
＜第２実施形態＞
次に第２実施形態について、第１実施形態との差異を中心に説明する。第２実施形態では、移動するマーカを同期した複数のカメラで動画として撮影し、その動画から同時刻の撮影画像を取り出してキャリブレーション処理を行う例を説明する。
【００３４】
本実施形態のシステム構成は図１に示した通りである。また、キャリブレーション装置１００、カメラ制御装置２１０〜２６０、及び、カメラ３１０〜３６０の各構成も基本的には図２を用いて説明した通りである。ただし、本実施形態のカメラ制御装置２１０〜２６０は、それぞれが動画を記録するための録画部を有する。
【００３５】
カメラ制御装置２１０〜２６０は、ネットワークを通じて送られてくるキャリブレーション装置１００からの指示に基づき、カメラ３１０〜３６０に同期撮影を実行させると共にカメラ３１０〜３６０による撮影画像を録画する。
【００３６】
キャリブレーション装置１００は、マーカ保持者４１０〜４４０（図１では４１０〜４２０のみ記載する）がカメラ３１０〜３６０の共通視野領域を歩き回る間、カメラ制御装置２１０〜２６０がその様子を動画として録画するよう指示を出す。すなわち、本実施形態のキャリブレーション装置１００は、複数のカメラ制御装置２１０〜２６０に対して、動画の録画に関する指示を送信する。
【００３７】
そして、キャリブレーション装置１００は、カメラ３１０〜３６０による動画の撮影が完了した後に、カメラ３１０〜３６０のそれぞれの撮影動画を構成する複数の画像のうち、タイムコードが一致する（つまり同時に撮影された）複数の画像を取得する。
【００３８】
本実施形態のキャリブレーション装置１００の動作を図８のフローチャートを用いて詳細に説明する。キャリブレーション装置１００の同期サーバ１０３は、カメラ制御装置２１０〜２６０の同期クライアント２１３〜２６３に対して、同期信号の送信を開始する（Ｓ２０１）。カメラ制御装置２１０〜２６０は、同期サーバ１０３からの同期信号に応じたタイミングでカメラ３１０〜３６０に撮影を実行させる。つまり、カメラ３１０〜３６０は同じタイミングでの撮影を開始する。
【００３９】
続いてキャリブレーション装置１００の同期サーバ１０３は、カメラ制御装置２１０〜２６０に動画の録画開始を指示する。これにより、サッカー場内でマーカ保持者４１０〜４４０が移動する様子が録画される（Ｓ２０２）。そして、キャリブレーション装置１００の同期サーバ１０３は、キャリブレーション処理に十分な動画を録画したらカメラ制御装置２１０〜２６０に対して録画停止を指示する（Ｓ２０３）。
【００４０】
そして画像取得部１０２は、時刻Ｔを撮影開始時間に設定し（Ｓ２０４）、カメラ制御装置２１０〜２５０に対し、時刻Ｔを指定して画像リクエストを送信する（Ｓ２０５）。そしてキャリブレーション計算部１０１は、Ｓ２０５において取得された時刻Ｔの撮影画像に対して、マーカを検出するための検出処理を実行する（Ｓ２０６）。マーカが検出された場合、キャリブレーション計算部１０１は、カメラごとに、時刻Ｔとマーカ識別子Ｎとの組（Ｔ，Ｎ）と、マーカ座標（ｘ，ｙ）を記録する（Ｓ２０７）。そして、時刻Ｔを３秒進め（Ｓ２０８）、時刻Ｔが撮影終了時刻に達していない場合はＳ２０５に戻る。
【００４１】
なお、Ｓ２０８において加算される時間は、３秒に限らない。本実施形態では３００秒（５分）の撮影期間において３秒おきに１枚の撮影画像を要する場合を想定している。フィールドの広さやマーカ保持者の人数などにより、Ｓ２０８において加算すべき秒数は増減しうる。
【００４２】
時刻Ｔが撮影終了時刻に達したと判定された場合（Ｓ２０９にてＹｅｓ）、同期サーバ１０３は、録画終了の指示をカメラ制御装置２１０〜２６０の同期クライアント２１３へ送信する。また、キャリブレーション計算部１０１は、時刻Ｔとマーカ識別子Ｎの組（Ｔ，Ｎ）をマーカＩＤとして用いることによってキャリブレーション処理を行う（Ｓ２１０）。
【００４３】
本実施形態のシステムによっても、第１実施形態と同様に、比較的少ない数のマーカを用いて高精度のキャリブレーションを行うことができる。
【００４４】
＜第３実施形態＞
次に第３実施形態について、第１実施形態との差異を中心に説明する。第３実施形態は、プロジェクタでマーカを投影し、それを同期した複数のカメラで撮影し、その撮影画像を用いてキャリブレーション処理を行う例を説明する。
【００４５】
本実施形態のシステム構成を図９に示す。本実施形態では、マーカ保持者４１０〜４４０がフィールドを歩く代わりに、レーザープロジェクタ５００によってフィールド上にマーカ５１０〜５６０が投影される。キャリブレーション装置１００は、新しい位置にレーザープロジェクタ５００がマーカを投影するたびにカメラ制御装置２１０〜２６０から同時に撮影された複数の画像を取得して、キャリブレーション処理を行う。
【００４６】
本実施形態のキャリブレーション装置１００の動作について図１０のフローチャートを用いて説明する。図１０のＳ３０１、Ｓ３０３〜Ｓ３０７は、図４のＳ１０１〜Ｓ１０６にそれぞれ対応している。本実施形態の特徴的なステップはＳ３０２である。すなわち、キャリブレーション装置１００は、レーザープロジェクタ５００を制御してマーカ５１０〜５６０を新しい位置に投影させる（Ｓ３０２）。そして、画像取得部１０２は、レーザープロジェクタ５００が新たな位置にマーカを投影するごとに、カメラ３１０〜３６０から同時に撮影された撮影画像を取得する（Ｓ３０２〜３０５）。なお、本実施形態ではキャリブレーション装置１００がレーザープロジェクタ５００の投影制御を行う例を説明するが、別の装置がレーザープロジェクタ５００を制御するようにしても構わない。
【００４７】
レーザープロジェクタ５００は、レーザーを走査して画像を投影するため、同時に多数のマーカを投影することは難しい。そこで本実施形態では、マーカの投影位置を変えるごとに撮影を行うという処理を繰り返すことで比較的少ないマーカ数で高精度のキャリブレーション処理を行うことができる。
【００４８】
なお本実施形態ではマーカの投影位置を変えるごとに撮影をする例を中心に示したが、第２実施形態のようにカメラ２１０〜２６０が動画撮影を行い、その動画を用いてキャリブレーションを行っても同様の効果を得ることができる。
【００４９】
また本実施形態ではレーザープロジェクタ５００によりマーカを描画したが、マーカの代わりに特徴量のマッチングによって撮影画像内の同一地点を見つけられるような模様を描画しても、キャリブレーション処理は実行可能である。
【００５０】
以上の処理により、レーザープロジェクタで少数のマーカしか投影できない場合でも、同期したカメラでマーカ位置を変えて複数回撮影することで、多数のマーカを投影した時と同様の精度でカメラキャリブレーションを行うことができる。
【００５１】
＜第４実施形態＞
次に第４実施形態について、第１実施形態との差異を中心に説明する。第４実施形態は、飛行物体（例えばドローン）でマーカを移動させ、それを同期した複数のカメラで撮影し、その撮影画像を用いてキャリブレーション処理を行う例を説明する。
【００５２】
本実施形態のシステム構成を図１１に示す。本実施形態では、マーカ保持者４１０〜４４０がフィールドを歩く代わりに、キャリブレーション装置１００がドローン６１０〜６２０の飛行制御を行う。ドローン６１０〜６２０はマーカ６１１〜６１２を有しており、カメラ３１０〜３６０がそれらを撮影する。なお、キャリブレーション装置１００の代わりに他の装置がドローン６１０〜６２０の動きを制御するようにしても良い。
【００５３】
本実施形態ではドローン６１０〜６２０につけたマーカ６１１〜６２１を撮影する例を示したが、ドローン本体の画像の特徴量に基づいてキャリブレーション処理が行われるようにしても良い。
【００５４】
以上の処理により、少数のドローンしか使用できない場合でも、同期したカメラでドローンの位置を変えて複数回撮影することで、多数のドローンを使用した時と同様の精度でキャリブレーション処理を行うことができる。
【００５５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５６】
１００  キャリブレーション装置
１０１  キャリブレーション計算部
１０２  画像取得部
１０３  同期サーバ
２１０  カメラ制御装置
２１１  画像送信部
２１２  画像バッファ
２１３  同期クライアント
【図１】
2019087791.tif 000003
【図２】
2019087791.tif 000004
【図３】
2019087791.tif 000005
【図４】
2019087791.tif 000006
【図５】
2019087791.tif 000007
【図６】
2019087791.tif 000008
【図７】
2019087791.tif 000009
【図８】
2019087791.tif 000010
【図９】
2019087791.tif 000011
【図１０】
2019087791.tif 000012
【図１１】
2019087791.tif 000013