(57)【要約】所定の位置に配置されている撮像装置（１０Ａ）のパラメータを校正する撮像システム（１０００）であって、撮像装置（１０Ａ）による撮像領域（Ａ１）内に、校正に用いるマーカ（６０６）を有する移動体（６００）を移動させる移動制御部（２０２ｃ）と、撮像装置（１０Ａ）にマーカ（６０６）を撮像させる撮像制御部（２０２ｄ）と、撮像装置（１０Ａ）によって撮像されることにより得られたマーカ（６０６）を含む画像を用いて、撮像装置（１０Ａ）の内部パラメータを校正する校正部（１０２ａ）と、を備える。
2018181248.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置に配置されている撮像装置のパラメータを校正する撮像システムであって、
前記撮像装置による撮像領域内に、校正に用いるマーカを有する移動体を移動させる移動制御部と、
前記撮像装置に前記マーカを撮像させる撮像制御部と、
前記撮像装置によって撮像されることにより得られた前記マーカを含む画像を用いて、前記撮像装置の内部パラメータを校正する校正部と、を備える
撮像システム。
【請求項２】
前記移動制御部は、前記撮像装置が有するイメージセンサの全体に亘って前記マーカが撮像されるように、前記移動体を移動させる
請求項１に記載の撮像システム。
【請求項３】
前記移動制御部は、前記撮像装置により撮像された画像を画像処理することで得られた結果を用いて、当該撮像装置により撮像される画像の全体に前記マーカが含まれるように、前記移動体を移動させる
請求項２に記載の撮像システム。
【請求項４】
前記移動制御部は、
前記撮像装置により撮像された画像を画像処理することで得られた結果を用いて、
異なる複数のタイミングで前記撮像装置により撮像されることで得られた複数の画像を互いに重畳することで得られる重畳画像を生成すると仮定したときの当該重畳画像の全体に亘って前記マーカが含まれるように、
前記移動体を移動させる
請求項２に記載の撮像システム。
【請求項５】
前記移動制御部は、前記撮像装置により撮像された画像を画像処理することで得られた結果を用いて、前記複数の画像に含まれる前記マーカが所定の鮮鋭度以上の鮮鋭度で撮像される位置に、前記移動体を移動させる
請求項４に記載の撮像システム。
【請求項６】
前記撮像制御部は、前記撮像装置が予め定められた焦点距離、および、予め定められた絞りの少なくとも一方に設定されている状態で、前記撮像装置に撮像させる
請求項１から５のいずれか１項に記載の撮像システム。
【請求項７】
前記マーカは、複数の第１特徴点を有し、
前記校正部は、前記複数の第１特徴点の相対的な位置関係を示す情報を取得し、当該情報と、前記撮像装置により撮像された前記マーカを含む前記画像を画像処理することで得られる複数の第２特徴点とを用いて、前記撮像装置の内部パラメータを校正する
請求項１から６のいずれか１項に記載の撮像システム。
【請求項８】
撮像装置のパラメータを校正する撮像システムによる校正方法であって、
前記撮像装置による撮像領域内に、校正に用いるマーカを有する移動体を移動させ、
前記撮像装置に前記マーカを撮像させ、
前記撮像装置によって撮像されることにより得られた前記マーカを含む画像を用いて、前記撮像装置の内部パラメータを校正する
校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、所定の位置に配置されている撮像装置の内部パラメータを校正する撮像システム、および、当該撮像システムによる校正方法に関する。
【背景技術】
【０００２】
複数台のカメラ各々によって撮影された映像から被写体の三次元形状を再生する技術が特許文献１に開示されている。特許文献１によれば、この三次元形状を用いて自由視点映像が生成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０２２５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、所定の位置に配置されている撮像装置の内部パラメータの校正を容易に行うことができる撮像システムおよび校正方法を提供する。
【課題を解決するための手段】
【０００５】
本開示における撮像システムは、所定の位置に配置されている撮像装置のパラメータを校正する撮像システムであって、前記撮像装置による撮像領域内に、校正に用いるマーカを有する移動体を移動させる移動制御部と、前記撮像装置に前記マーカを撮像させる撮像制御部と、前記撮像装置によって撮像されることにより得られた前記マーカを含む画像を用いて、前記撮像装置の内部パラメータを校正する校正部と、を備える。【０００６】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００７】
本開示における撮像システムは、所定の位置に配置されている撮像装置の内部パラメータの校正を容易に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、三次元空間認識の概要を示す図である。
【図２】図２は、実施の形態１における多視点撮像システムの構成を示すブロック図である。
【図３】図３は、実施の形態１における撮像装置の構成を示すブロック図である。
【図４】図４は、実施の形態１における制御装置の構成を示すブロック図である。
【図５】図５は、実施の形態１における移動体の構成を示すブロック図である。
【図６】図６は、実施の形態１における撮像システムが実行する一連の動作を示すシーケンス図である。
【図７Ａ】図７Ａは、実施の形態１における校正情報のデータ構成の一例を示す。
【図７Ｂ】図７Ｂは、実施の形態１における校正情報のデータ構成の他の一例を示す。
【図８】図８は、実施の形態１における校正処理の一例を示すフローチャートである。
【図９Ａ】図９Ａは、実施の形態１における校正処理の詳細を説明するための図である。
【図９Ｂ】図９Ｂは、実施の形態１における校正処理の詳細を説明するための図である。
【図９Ｃ】図９Ｃは、実施の形態１における校正処理の詳細を説明するための図である。
【図９Ｄ】図９Ｄは、実施の形態１における校正処理の詳細を説明するための図である。
【図１０】図１０は、実施の形態２における校正処理の一例を示すフローチャートである。
【図１１Ａ】図１１Ａは、実施の形態２における校正処理の詳細を説明するための図である。
【図１１Ｂ】図１１Ｂは、実施の形態２における校正処理の詳細を説明するための図である。
【図１１Ｃ】図１１Ｃは、実施の形態２における校正処理の詳細を説明するための図である。
【図１２】図１２は、変形例における校正処理を説明するための図である。
【図１３】図１３は、変形例における校正処理を説明するための図である。
【図１４】図１４は、実施の形態３における校正処理の一例を示すフローチャートである。
【図１５】図１５は、映像情報処理システムの構成を示す図である。
【図１６】図１６は、カメラ起動時に表示される通知画面の一例を示す図である。
【図１７】図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。
【図１８】図１８は、デジタル放送用システムの全体構成図である。
【図１９】図１９は、スマートフォンの一例を示す図である。
【図２０】図２０は、スマートフォンの構成例を示すブロック図である。
【発明を実施するための形態】
【０００９】
（本発明の基礎となった知見）
三次元空間における自由視点映像の生成には、被写体の三次元形状の再構成（モデリング）をする三次元空間再構成装置による三次元空間再構成の結果が利用される。三次元空間再構成装置は、同一の場面の映像を撮影する複数台のカメラを含む撮像システムから提供される映像データと、校正によって得られた各カメラの位置及び姿勢等を示すカメラパラメータとを用いて、モデリングを行う。したがって、校正後にカメラの焦点距離等が変化すると、カメラパラメータがカメラの焦点距離等の実際の状態を反映していないために三次元空間再構成が適切に実行できず、その結果、自由視点映像の画質が劣化する、又は生成そのものに失敗する。このため、定期的にカメラのパラメータを校正する必要がある。
【００１０】
このような撮像システムが撮影する所定の空間は、例えば、スポーツイベントが行われる会場であり、複数のカメラは、所定の空間を取り囲むように配置される。このため、複数のカメラのそれぞれについてカメラパラメータを校正しようとすると、カメラの校正に用いるマーカを当該カメラに近づけて撮像する必要があるため、手間がかかるという課題があった。
【００１１】
このように、従来の技術では、所定の位置に配置されている撮像装置の内部パラメータの校正を容易に行うことができていなかった。
【００１２】
そこで、本開示の一態様に係る撮像システムは、所定の位置に配置されている撮像装置のパラメータを校正する撮像システムであって、前記撮像装置による撮像領域内に、校正に用いるマーカを有する移動体を移動させる移動制御部と、前記撮像装置に前記マーカを撮像させる撮像制御部と、前記撮像装置によって撮像されることにより得られた前記マーカを含む画像を用いて、前記撮像装置の内部パラメータを校正する校正部と、を備える。
【００１３】
これによれば、移動体を用いてマーカを撮像装置の撮像領域内に移動させて、マーカを撮像装置に撮像させることにより撮像装置の内部パラメータを校正するため、人がマーカを撮像装置に近づけなくても撮像装置の内部パラメータを校正することができる。これにより、所定の位置に配置されている撮像装置の内部パラメータの校正を容易に行うことができる。
【００１４】
また、前記移動制御部は、前記撮像装置が有するイメージセンサの全体に亘って前記マーカが撮像されるように、前記移動体を移動させてもよい。
【００１５】
このため、撮像装置の内部パラメータの校正を効果的に行うことができる。
【００１６】
また、前記移動制御部は、前記撮像装置により撮像された画像を画像処理することで得られた結果を用いて、当該撮像装置により撮像される画像の全体に前記マーカが含まれるように、前記移動体を移動させてもよい。
【００１７】
このため、撮像装置の内部パラメータの校正を容易かつ効果的に行うことができる。
【００１８】
また、前記移動制御部は、前記撮像装置により撮像された画像を画像処理することで得られた結果を用いて、異なる複数のタイミングで前記撮像装置により撮像されることで得られた複数の画像を互いに重畳することで得られる重畳画像を生成すると仮定したときの当該重畳画像の全体に亘って前記マーカが含まれるように、前記移動体を移動させてもよい。
【００１９】
このため、撮像装置の内部パラメータの校正を効果的に行うことができる。
【００２０】
また、前記移動制御部は、前記撮像装置により撮像された画像を画像処理することで得られた結果を用いて、前記複数の画像に含まれる前記マーカが所定の鮮鋭度以上の鮮鋭度で撮像される位置に、前記移動体を移動させてもよい。
【００２１】
このため、撮像装置の内部パラメータの校正を精度よく行うことができる。
【００２２】
また、前記撮像制御部は、前記撮像装置が予め定められた焦点距離、および、予め定められた絞りの少なくとも一方に設定されている状態で、前記撮像装置に撮像させてもよい。
【００２３】
このため、撮像装置の内部パラメータの校正を効果的に行うことができる。
【００２４】
また、前記マーカは、複数の第１特徴点を有し、前記校正部は、前記複数の第１特徴点の相対的な位置関係を示す情報を取得し、当該情報と、前記撮像装置により撮像された前記マーカを含む前記画像を画像処理することで得られる複数の第２特徴点とを用いて、前記撮像装置の内部パラメータを校正してもよい。
【００２５】
このため、撮像装置の内部パラメータの校正を効果的に行うことができる。
【００２６】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００２７】
以下、本発明の一態様に係る撮像システムおよび校正方法について、図面を参照しながら具体的に説明する。
【００２８】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００２９】
以下、図１〜図９Ｄを用いて実施の形態１を説明する。
【００３０】
（実施の形態１）
［１．三次元空間認識の概要］
まず、本実施の形態にかかる撮像システムが用いられる三次元空間認識の概要について図１を用いて説明する。
【００３１】
撮像システムは、所定の空間内における同一の場面を撮影するためのカメラを複数台備える。具体例を挙げると、所定の空間はスポーツイベントが行われる会場であり、同一の場面とはその会場で行われる試合の場面である。別の例としては、所定の空間は監視カメラを用いて監視される空間であり、同一の場面とは、この監視対象空間内の人又は物の様子が挙げられる。
【００３２】
複数台のカメラのそれぞれは、この空間内において少なくとも一部が重複する領域の映像を互いに異なる位置から撮影する。例えば、図１の（ａ）に示されるように、複数台のカメラ１００が、スポーツの試合会場である空間を取り囲み、互いに異なる位置に設置される。また、カメラ１００は互いに異なる姿勢を取って、それぞれの撮影領域にこの空間の少なくとも一部を収める。各カメラ１００の撮影領域の少なくとも一部を重複させることは、同一の被写体を複数の視点から撮像して生成した映像データが三次元空間の仮想的な再構成（三次元空間再構成）に用いられるためである。
【００３３】
なお、撮影領域の重複は、一のカメラ１００の撮影領域が他の全てのカメラ１００の撮影領域と重複することを要せず、他のカメラ１００のうち一部のカメラ１００の撮影領域との重複でもよい。
【００３４】
このように設置された複数台のカメラ１００は、撮像システムが備える後述する制御装置と通信可能に接続される。
【００３５】
カメラ１００が設置されると、校正が実行される。
【００３６】
校正は、各カメラ１００の撮影領域内の実際の点と映像上の点との対応（図１の（ｂ）において曲線で結ばれる白三角で示される点同士の対応）、又は異なるカメラ１００の各映像間の点の対応（同（ｂ）において曲線で結ばれる白丸で示される点同士の対応）をとることで、各カメラ１００の位置及び撮像方向の角度（姿勢）等を示すパラメータを算出することである。カメラ１００の位置及び姿勢を示すパラメータは三次元空間である所定の空間における共通の座標系上で表わされるものであり、後に三次元空間再構成に用いられるカメラパラメータである。カメラパラメータについては後述する。
【００３７】
これらのカメラパラメータが算出されて既知になっていることは、三次元空間認識を実行する準備であって、三次元空間認識の開始前に実行される。算出されたカメラパラメータは、三次元空間再構成をする後述の三次元空間再構成装置に送信される。
【００３８】
このような準備の後、各カメラ１００は制御装置からの信号に基づいて同期映像を撮影することで多視点撮像を実行する（図１の（ｃ））。この撮像によって生成された映像データは三次元空間再構成装置に送信される。
【００３９】
三次元空間再構成装置がする三次元空間再構成では、上記の映像データとカメラパラメータとを用いて、撮影領域にある各被写体の三次元モデルデータが生成される（図１の（ｄ））。三次元モデルデータは、三次元空間認識を実行する後述の三次元空間認識装置に送信される。
【００４０】
三次元空間認識装置が三次元モデルデータを用いて実行する三次元空間認識（図１の（ｅ））によって提供される機能の例としては、上記の自由視点映像生成、シーン解析、及びトラッキングが挙げられる。
【００４１】
自由視点映像生成の方法の簡単な例を示す。まず、ユーザ若しくはシステム管理者が指定する、又は自動的に設定された仮想視点から見える、撮影領域内の各被写体の構造及び仮想視点からの距離が三次元モデルデータに基づいて算出される。次に、各カメラ１００のうち、仮想視点から近い距離にあるカメラ１００の映像データから優先的に各被写体の色及びテクスチャの情報が取得される。最後に、この色及びテクスチャの情報と上記で算出された各被写体の構造及び距離を用いて、仮想視点から見える映像の生成（レンダリング）がなされる。レンダリングされた映像は、ユーザの映像表示端末に配信される。
【００４２】
このような自由視点映像生成の機能は、例えばテレビのスポーツ番組などのエンタテイメント分野で利用され得る。これにより、例えば視聴者は自分の望む視点からのハイライトシーンの映像を再生することができる。また、自由視点映像生成の機能は監視システムで利用されてもよい。この場合は、現実のカメラでは捉えていない視点から見た不審者の推定外観を警備員に提示して警戒にあたらせることができる。
【００４３】
また、シーン解析及びトラッキングでも、自由視点映像生成と同じく三次元モデルデータに基づいて撮影領域内の各被写体の仮想視点から見た構造及び仮想視点からの距離が算出され、さらに仮想視点から近い距離にあるカメラ１００から優先的に各被写体の色及びテクスチャを取得した情報を利用することも可能である。
【００４４】
シーン解析は、撮影領域内の各被写体、例えば、人又は物のある瞬間の様子を示す映像を、ソフトウェアで、又は人が画面で見て解析することで実行される。このシーン解析を三次元モデルデータに基づき行うことで、撮影領域内の人の三次元姿勢や物の三次元形状を観察することができ、二次元映像を用いるよりも高精度な状況認識及び予測が可能である。
【００４５】
トラッキングでは、例えば、まず、各カメラ１００が撮影した映像のシーン解析によって撮影領域内のある被写体が特定される。また、ある瞬間に各カメラ１００が撮影した映像上で特定されている被写体のうち同一のものは、ソフトウェア又は人手で対応付けがなされる。そして、さらに、このような被写体の特定及び対応付けが時間軸に沿って行われることでトラッキングが実行される。しかし、例えば、各カメラ１００による二次元映像では、注目していた被写体が他の被写体に一時的に隠れたために、その特定の継続が不可能になる場合がある。このような場合においても、三次元モデルデータを用いると被写体それぞれの三次元位置情報又は三次元形状情報を用いることで被写体の特定を継続することができる。
【００４６】
このようなシーン解析及びトラッキングの機能は、例えば、上述した次世代型の監視システムで利用され得る。これにより、不審な現場の早期発見及び発見の精度向上が見込まれる。また、設置可能なカメラの台数が制限されている場所でも、従来に比べてセキュリティの強化を図ることができる。
【００４７】
なお、自由視点映像生成、シーン解析、及びトラッキング、いずれの三次元空間認識の機能も事後的な使用及びリアルタイムでの使用の両方が想定される。使用目的に応じて機能が選択されればよく、各機能は例えば選択に見合った性能、特に映像処理に関する性能のコンピュータを含むシステムに実装される。
【００４８】
このように、いずれの三次元空間認識の機能においても三次元モデルデータに基づく三次元映像データが用いられる。そしてこの三次元モデルデータは、各カメラ１００によって撮影された映像データと、校正によって算出される各カメラ１００のカメラパラメータとに基づく三次元空間再構成（モデリング）によって生成される。
【００４９】
このカメラパラメータは、三次元空間におけるカメラの位置及び姿勢を示す外部パラメータと、カメラの焦点距離、収差、画像中心等の光学系の特性を示す内部パラメータとからなる。このカメラパラメータからは、カメラが撮影する二次元映像上の点（ｕ，ｖ）と、この二次元映像に写される三次元空間である撮影領域内の点（ｘ，ｙ，ｚ）との対応関係が導かれる。つまり、カメラパラメータを用いることで、このカメラが撮影した二次元映像上の各点を、撮影された三次元空間に投影することができる。この三次元空間への投影が上記の三次元空間再構成（図１の（ｄ））である。
【００５０】
また、上記の複数台のカメラ１００のカメラパラメータは、撮影領域に設定される共通の三次元座標系上で示される。そして各カメラ１００のカメラパラメータは、複数台のカメラ１００が撮影した各映像に写る撮影領域内の同じ場所（点）が、各映像からこの三次元座標系上で同じ点に投影されるよう算出される（図１の（ｂ））。
【００５１】
このカメラパラメータは各カメラ１００が撮影した映像データから三次元モデルデータを生成するために必要であり、その精度が三次元空間再構成の精度を左右する。ここでいう精度とは、カメラパラメータが示す、三次元空間におけるカメラ１００の位置等の正確さ、つまりカメラ１００の現実の状態との一致の程度である。カメラパラメータの精度が不十分な場合には、三次元モデルデータが得られない。
【００５２】
図１を参照して説明したように、撮像の直前に校正が実行された場合、カメラパラメータの精度は撮像開始の直後には十分であっても、カメラ１００の設置場所の振動、カメラ１００への操作等の要因で、一般的には時間の経過とともに低下する。以下では、カメラパラメータの精度が落ちたカメラ１００の校正を撮像中にも適時に実行することで、カメラパラメータの精度の低下による三次元空間再構成への悪影響を抑え、ひいては三次元空間認識の精度と利用可能性の安定を図る撮像システムについて説明する。
【００５３】
［２．撮像システムの構成］
図２は、実施の形態１における撮像システムの構成を示すブロック図である。なお、撮像システムから受け取るデータを利用する三次元空間再構成装置及び三次元空間認識装置、及び三次元空間認識装置から自由視点映像等を受信して表示するユーザ機器についても、図２を参照して説明する。
【００５４】
実施の形態における撮像システム１０００は、複数の撮像装置１０Ａ〜１０Ｎ、制御装置２００、ユーザインタフェース５００、及び移動体６００を備える。撮像装置１０Ａ〜１０Ｎは、制御装置２００と通信可能に接続されている。また、移動体６００は、制御装置２００と無線通信可能に接続されている。
【００５５】
［２−１．撮像装置の構成］
図３は、実施の形態１における撮像装置の構成を示すブロック図である。
【００５６】
複数の撮像装置１０Ａ〜１０Ｎは、それぞれが所定の空間を撮像するための図１のカメラ１００に相当するカメラ１００を備える装置であり、取り得る構成は共通である。なお、ここでいう所定の空間とは、複数台のカメラ１００それぞれの撮影領域の和集合である。
【００５７】
撮像装置１０Ａ〜１０Ｎのそれぞれは、カメラ１００、架台１２０、及び状況感知部１６０を備える。以降は、撮像装置１０Ａ〜１０Ｎの構成は同じであるため、本開示における１台の撮像装置について説明する場合には、撮像装置１０Ａについて説明する。つまり、以降において撮像装置１０Ａについて説明している箇所は、他の撮像装置１０Ｂ〜１０Ｎについても同様のことが言える。
【００５８】
カメラ１００は記憶部１０１、制御部１０２、光学系１０３、及びイメージセンサ１０４を備える。
【００５９】
記憶部１０１には、制御部１０２が読み出して実行するプログラムが記憶されている。また、記憶部１０１には、イメージセンサ１０４を用いて撮影された撮影領域の映像データ、この映像データに付されるタイムスタンプなどのメタ情報、後述の状況感知部１６０が感知した情報、カメラ１００のカメラパラメータ、及び適用中のフレームレート又は解像度等の撮影設定が一時的に記憶される。記憶部１０１には、後述するマーカ６０６の形状を示す形状情報が記憶されていてもよい。形状情報の具体例については、後述する。
【００６０】
このような記憶部１０１は例えばフラッシュメモリ等の書換可能な不揮発性の半導体メモリを用いて実現される。また、保存されるデータの書換の要否又は必要な保存期間等に応じて書換不可能なＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）又は揮発性のＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）も記憶部１０１として用いられ得る。
【００６１】
なお、撮像システム１０００が備える撮像装置は複数であれば特に個数は限定されない。また、各撮像装置１０の特性は共通でなくてもよい。また、モノラルカメラに限定されず、ステレオカメラが含まれていてもよい。
【００６２】
制御部１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて実現され、上記の記憶部１０１に記憶されるプログラムを読み出して実行することで、カメラ１００が備える各構成要素を制御して撮像その他の機能を発揮させる。その他の機能には、カメラパラメータの算出、つまり校正も含まれる。制御部１０２に含まれる校正部１０２ａは、校正のためのプログラムを制御部１０２が実行することで実現される機能的な構成要素である。なお、制御部１０２は、カメラ１００が備える各構成要素を制御して撮像その他の機能を発揮させる専用回路により実現されてもよい。つまり、制御部１０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
【００６３】
校正部１０２ａは、ユーザの操作に応じて、又は後述の制御装置２００から校正情報が入力されると、その内容に従って校正を実行する。校正部１０２ａは、撮像装置１０Ａによって撮像されることにより得られたマーカ６０６を含む画像を用いて、撮像装置１０Ａの内部パラメータを校正する。校正は、例えば撮影領域である三次元空間上の特定の点（又は点を複数含む線若しくは面）の座標を、二次元映像上の点（又は点を複数含む線若しくは面）の座標と対応付けることで実行される。または、撮像装置１０Ａ〜１０Ｎ間のそれぞれで撮影された二次元映像のうち、少なくとも一部が重複する撮影領域の映像間で、映像上の特定の点（又は点を複数含む線若しくは面）同士を対応付けることで実行される。この対応付けは、プログラムを実行する校正部１０２ａによって自動でされる。校正の結果として算出されたカメラパラメータは、例えば三次元空間再構成に用いられるデータとして三次元空間再構成装置３０００に送信される。
【００６４】
光学系１０３は、撮影領域からの光をイメージセンサ１０４上に結像させる構成要素であり、レンズを含む光学素子を用いて実現される。また、焦点距離及び画角が変更可能であってもよい。また、広角レンズ、又は魚眼レンズのような超広角レンズが用いられてもよい。例えば撮像システム１０００が撮影する映像が監視システムに用いられる場合、広範な撮影領域を得るために広角レンズが用いられることがある。なお、この光学系１０３の焦点距離、収差、画像中心等の特性は、上記の内部パラメータとして三次元空間再構成に用いられる。つまり、光学系１０３の焦点距離が変更されたり、レンズが交換されたりした場合には、カメラの位置に変更があった場合と同様に、三次元空間再構成に用いられるカメラパラメータを変更する必要がある。つまり、校正が必要である。
【００６５】
イメージセンサ１０４は、光学系１０３によって集められた光を受光面で受け、この受けた光を、画像を示す電気信号に変換するＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＭＯＳイメージセンサ等の固体撮像素子で実現される。イメージセンサ１０４によって生成された映像データは、三次元空間再構成及び三次元空間認識に用いられるため三次元空間再構成装置３０００及び三次元空間認識装置４０００に送信される。
【００６６】
図３に示されるカメラ１００は、さらに動きセンサ１０５、動作検知部１０６、及び収音器１０７を備える。これらについては、後述の状況感知部１６０の構成要素として説明する。
【００６７】
架台１２０は、三次元空間再構成に用いられる映像データを撮像によって生成中のカメラ１００を所定の位置で固定し支えるための構成要素であり、例えば三脚で実現される。なお、この撮像の準備としてカメラ１００の固定位置を調整するために、架台１２０の脚部分は長さや角度が調整可能であってもよい。また、架台１２０には、カメラ１００をパン又はチルトするために雲台を回転させる機構、上下に移動させるためのエレベータ機構等が備えられてもよい。あるいは、架台１２０は、ドリーやクレーン等の、カメラ１００を支え且つ移動させる機構を含んでもよい。
【００６８】
図３に示される架台１２０は、さらに動きセンサ１２５及び動作検知部１２６を備える。これらについては、下記の状況感知部１６０の構成要素として説明する。
【００６９】
状況感知部１６０は、カメラ１００（又は撮像装置１０Ａ）の状況、及びカメラ１００の撮影領域を含む所定の空間の少なくとも一方の状況を感知し、感知したこの状況を撮像状況情報として出力する。別の表現を用いれば、状況感知部１６０は、カメラ１００及び所定の空間の少なくとも一方における事象を測定するセンサ又は発生を検知する検知器であって、この測定又は検知の結果を示す信号を出力する。出力された信号は制御装置２００に送信されて、制御装置２００においてなされる、校正を実行するか否かに関する判定に用いられる。
【００７０】
状況感知部１６０としては、上記の状況を感知することができるセンサ又は検知器であれば、カメラ１００又は架台１２０が備えるセンサ又は検知器が用いられてもよいし、これらとは別途設けられるセンサ又は検知器であってもよい。
【００７１】
例えばカメラ１００が備えるイメージセンサ１０４が状況感知部１６０として用いられてもよい。この場合、制御装置２００では、イメージセンサ１０４から出力される映像データに基づいて、校正を実行するか否かについて判定がなされる。例えば、映像データに映る背景領域の経時的な変化、特徴点の個数、又は、特定の被写体（例えば人、ボール、監視対象の展示物）の有無の経時的な変化に基づいてこの判定がなされる。
【００７２】
また、カメラ１００は、変位、加速度、振動、傾き、若しくは地磁気を感知するセンサ、又はより大きな平行移動を感知可能なＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機等の測位機構を備える場合がある。これらのようなカメラ１００の動き（移動）を検知可能なセンサ（動きセンサ１０５）が状況感知部１６０として用いられてもよい。
【００７３】
また、カメラ１００は、ユーザがする手動の操作、又はプログラムを実行する制御部１０２による制御下で、つまり自動による動作を検知する機構を備える場合がある。ここで検知される動作の例としては、スイッチのＯＮ−ＯＦＦの切替、焦点距離、ピント等の光学系１０３の設定が変化するような動作が挙げられる。これらのようなカメラ１００の動作を検知可能なセンサ（動作検知部１０６）が状況感知部１６０として用いられてもよい。
【００７４】
また、架台１２０が変位、加速度、振動、傾き、若しくは地磁気を感知するセンサ、又はよりＧＰＳ受信機等の測位機構を備えていてもよい。カメラ１００の動きは、このカメラ１００が固定されている架台１２０の動きに同調するため、例えば架台１２０の動きの有無に基づいてカメラ１００の動きの有無を間接的に感知することができる。このようなカメラ１００の動きを検知可能なセンサ（動きセンサ１２５）が状況感知部１６０として用いられてもよい。
【００７５】
また、架台１２０は、ユーザがする操作による動作を検知する機構を備える場合がある。ここでの検知される動作とは、例えば雲台の回転又は上下移動の動作である。これらのような架台１２０の動作を検知可能なセンサ（動作検知部１２６）が状況感知部１６０として用いられてもよい。
【００７６】
なお、架台１２０では、その動作によって機械的な動きが発生するため、動きセンサ１２５と動作検知部１２６とは、図３に示される構成では説明の便宜上区別されているが実際には必ずしも区別されなくてもよい。
【００７７】
カメラ１００が収音器１０７を備える場合がある。又は、カメラ１００とは別体の収音器１４７がカメラ１００で撮影する場面の音を収集するために用いられる場合がある。これらの収音器１０７又は収音器１４７が収集する音がカメラ１００又はカメラ１００の撮影領域を含む所定の場所の状況を示しうる。例えば音によって、カメラ１００又は架台１２０に衝撃が加わったこと、スポーツイベントでハイライトシーンであること、又は休憩時間の開始若しくは終了が示され得る。このような音を収集するための収音器１０７又は１４７が状況感知部１６０として用いられてもよい。
【００７８】
このように、本実施の形態における撮像システム１０００の状況感知部１６０としては、種々のセンサを用いることができる。図３では、このように状況感知部１６０として用いられ得る構成要素のうち、カメラ１００が必ず備えるイメージセンサ１０４は実線の枠で示され、それ以外は破線の枠で示されている。
【００７９】
また、状況感知部１６０は、カメラ１００及び架台１２０のそれぞれが備えるセンサの両方で構成される必要はなく、上記に例示した、カメラ１００（又は撮像装置１０Ａ）の状況、及びカメラ１００の撮影領域を含む所定の空間の少なくとも一方の状況を感知するセンサ及び検知器のいずれかを少なくとも１つ備えればよい。
【００８０】
撮像装置１０Ｂ〜１０Ｎもそれぞれ撮像装置１０Ａと同じく、カメラ１００と、架台１２０と状況感知部１６０とを備える。撮像装置１０Ａ〜１０Ｎが取り得る構成は上記のとおり共通であるが、それぞれのカメラ１００から、撮像によって生成された映像データと、カメラパラメータとが出力されて、撮像システム１０００から三次元空間再構成装置３０００に入力されれば、撮像装置１０Ａ〜１０Ｎの構成は共通でなくてもよい。また、１つの撮像装置が複数台のカメラ１００を備えてもよいし、カメラ１００が備える光学系及びイメージセンサが１つずつでなくてもよい。例えばカメラ１００はステレオカメラであってもよい。
【００８１】
［２−２．制御装置及びユーザインタフェースの構成］
図４は、実施の形態１における制御装置の構成を示すブロック図である。
【００８２】
制御装置２００は、記憶部２０１、制御部２０２、及びタイマー２０３を備える。
【００８３】
制御装置２００は、撮像装置１０Ａ〜１０Ｎの制御、及び撮像装置１０Ａ〜１０Ｎから受け取ったデータの処理をする。また、ユーザインタフェース５００を介してこの制御及びデータの処理に関する情報をユーザに提示し、ユーザからはこの制御及びデータの処理に関する指示の入力を受ける。また、制御装置２００は、移動体６００の制御を行う。
【００８４】
このような制御装置２００は、例えばコンピュータである。この場合、記憶部２０１はこのコンピュータの記憶装置であり、ハードディスクドライブ若しくは各種の半導体メモリ、又はこれらの組み合わせで実現される。また、制御部２０２はこのコンピュータのＣＰＵで実現され、タイマー２０３はこのＣＰＵが参照する、コンピュータに備えられるタイマーである。また、ユーザインタフェース５００は、このコンピュータに接続される表示装置、タッチスクリーン、トラックパッド、キーボード、マウス、その他のコントローラ類又はこれらの組み合わせによって実現される。
【００８５】
記憶部２０１には、制御部２０２が読み出して実行するプログラムが記憶されている。また、記憶部２０１には、撮像装置１０Ａ〜１０Ｎから受け取ったデータであって、制御部２０２による処理の対象であるデータが記憶される。図示の撮像状況情報はこのデータの例である。
【００８６】
制御部２０２は、上記の記憶部２０１に記憶されるプログラムを読み出して実行することで、上記の撮像装置１０Ａ〜１０Ｎの制御、撮像装置１０Ａ〜１０Ｎから受け取ったデータの処理、および、上記の移動体６００の制御を行う。また、制御部２０２は、これらの制御及び処理に関するユーザへ情報の提示及びユーザからの指示に対する処理を実行する。これらの処理のひとつとして、撮像装置１０Ａ〜１０Ｎが備える各カメラ１００による同期映像の撮影の制御が挙げられる。
【００８７】
また、これらの処理のひとつには、イベント検出および校正指示が含まれていてもよい。制御部２０２に含まれるイベント検出部２０２ａは、イベント検出のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。また、制御部２０２に含まれる校正指示部２０２ｂは、校正指示のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。
【００８８】
また、これらの制御の一つには、移動体６００の移動制御が含まれていてもよい。制御部２０２に含まれる移動制御部２０２ｃは、移動体６００の移動制御のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。また、制御部２０２に含まれる撮像制御部２０２ｄは、撮像装置１０Ａ〜１０Ｎの撮像制御のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。
【００８９】
なお、制御部２０２のイベント検出部２０２ａ、校正指示部２０２ｂ、移動制御部２０２ｃ、及び撮像制御部２０２ｄは、イベント検出、校正指示、移動制御、撮像制御などを発揮させる専用回路により実現されてもよい。つまり、制御部２０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
【００９０】
イベント検出部２０２ａは、撮像装置１０Ａ〜１０Ｎから提供された撮像状況情報に基づいて、撮像装置１０Ａ〜１０Ｎがそれぞれ備えるカメラ１００のいずれかに校正の実行の理由になり得る所定のイベントの発生を検出する。校正の実行の理由になり得るイベントとは、例えばカメラ１００の移動が発生する、又は移動の発生の可能性が高いイベント、又は高い精度で校正を実行することができる可能性が高いイベントである。より具体的な例については撮像システム１０００の動作の説明の中で後述する。このようなイベントの発生を検出した場合に、イベント検出部２０２ａは校正を実行するか否かについて判定する。校正を実行すると判定した場合は、実行される校正を示す校正情報を、例えば校正指示部２０２ｂに出力する。また、校正情報は、ユーザインタフェース５００である表示装置に出力されてユーザに提示されてもよい。この校正情報には、例えば校正を実行するカメラ１００（又はこれを含む撮像装置１０Ａ〜１０Ｎのいずれか）、及び校正の実行の理由であるイベントの内容が含まれる。
【００９１】
校正指示部２０２ｂは、イベント検出部２０２ａから受け取った校正情報に基づいて、校正情報に示されるカメラ１００に校正を実行させる。また、校正情報が示すカメラが２台以上である場合には、例えば校正情報が示す、校正の実行の理由であるイベントの内容に基づいて、各カメラ１００に校正を実行させる順序を決定してもよい。校正指示部２０２ｂによる処理については具体例を後述する。
【００９２】
移動制御部２０２ｃは、校正を実行する撮像装置による撮像領域内に、校正に用いるマーカ６０６（後述参照）を有する移動体６００を移動させる移動制御を行う。具体的には、移動制御部２０２ｃは、移動制御において、校正を実行する撮像装置が有するイメージセンサ１０４の全体に亘ってマーカ６０６が撮像されるように、移動体６００を移動させる。例えば、移動制御部２０２ｃは、校正を実行する撮像装置により撮像された画像を画像処理することで得られた結果を用いて、当該カメラ１００により撮像される画像の全体にマーカが含まれるように、移動体６００を移動させる。
【００９３】
撮像制御部２０２ｄは、校正を実行する撮像装置にマーカ６０６を撮像させる。撮像制御部２０２ｄは、校正を実行する撮像装置が予め定められた焦点距離、及び予め定められた絞りの少なくとも一方に設定されている状態で、当該撮像装置に撮像させる。
【００９４】
タイマー２０３は、制御部２０２によって上記の処理において計時のために参照される。
【００９５】
［２−３．三次元空間再構成装置及び三次元空間認識装置の構成］
次に、図２に戻り、三次元空間再構成装置３０００及び三次元空間認識装置４０００の校正について説明する。
【００９６】
三次元空間再構成装置３０００はコンピュータを用いて実現され、図示しない記憶装置及び演算処理装置を備える。図示のモデル生成部３０２ａは、この演算処理装置が、記憶装置に記憶される三次元モデルデータの生成（三次元空間再構成）のためのプログラムを実行することで実現される機能的な構成要素である。
【００９７】
モデル生成部３０２ａは、三次元空間再構成装置３０００が撮像システム１０００から受信して記憶装置に記憶させた映像データ及びカメラパラメータに基づいて、被写体の三次元形状の再構成（モデリング）を実行する。三次元モデリングによって生成された三次元モデルのデータは記憶装置に記憶される。また、三次元空間認識装置４０００に提供される。
【００９８】
三次元空間認識装置４０００はコンピュータを用いて実現され、図示しない記憶装置及び演算処理装置を備える。図示の視点決定部４０２ａ、レンダリング部４０２ｂ、シーン解析部４０２ｃ、及びトラッキング部４０２ｄは、この演算処理装置が、記憶装置に記憶される三次元空間認識のためのプログラムを実行することで実現される機能的な構成要素である。なお、三次元空間認識装置４０００は、その用途によってはこれらの機能的な構成要素の一部を含まなくてもよい。例えば三次元空間認識装置４０００の用途が自由視点映像の生成であれば、シーン解析部４０２ｃ及びトラッキング部４０２ｄを備えなくてもよい。三次元空間認識装置４０００が監視システムの一部として用いられるのであれば、シーン解析部４０２ｃ及びトラッキング部４０２ｄを含むことで、より高機能な監視システムが提供される。
【００９９】
視点決定部４０２ａは、三次元空間再構成装置３０００から提供された三次元モデルが投影される仮想視点を決定する。この決定は、例えばユーザ機器５０００から、特定の時刻における特定の視点からの映像の要求があったときに、その特定の視点を三次元モデルが投影される仮想視点として決定される。または、あらかじめ設定された視点を三次元モデルが投影される仮想視点としても決定されてもよい。例えばスポーツイベントの自由視点映像であればゴール付近で選手の顔を正面から見える視点、監視装置の映像であれば、出入口付近の人物の顔が正面から見える視点が、三次元モデルが投影される仮想視点として決定されてもよい。または、後述のシーン解析部４０２ｃ又はトラッキング部４０２ｄからの要求に応じて新たな視点が仮想視点として決定されてもよい。仮想視点が決定されると、決定された仮想視点を示す情報（以下、仮想視点情報という）が視点決定部４０２ａからレンダリング部４０２ｂに渡される。
【０１００】
レンダリング部４０２ｂは、三次元空間再構成装置３０００から受け取った三次元モデルのデータと、視点決定部４０２ａから受け取った仮想視点情報と、撮像システム１０００から受け取った映像データとを用いて自由視点映像を生成する。自由視点映像の生成においては、仮想視点情報が示す仮想視点に三次元モデルが投影される。この際、自由視点映像に含まれる被写体の色及びテクスチャの決定には、仮想視点から距離が近い撮像装置の映像データに含まれる各被写体の色及びテクスチャの情報が優先して利用される。生成された自由視点映像は、シーン解析部４０２ｃに渡されてもよいし、自由視点映像を表示するためのユーザ機器５０００に配信されてもよい。また、三次元空間認識装置４０００が備える記憶装置又は外部の記憶装置にて自由視点映像データとして保存されてもよい。
【０１０１】
シーン解析部４０２ｃは、三次元空間再構成装置３０００から受け取った三次元モデルのデータを解析して、例えば被写体の特定を行う。解析の結果は、トラッキング部４０２ｄに渡されてもよいし、自由視点映像と共に配信されてユーザ機器５０００に表示されてもよい。また、三次元空間認識装置４０００が備える記憶装置又は外部の記憶装置にて自由視点映像の解析結果のデータとして保存されてもよい。また、解析の結果に応じて、他の時刻又は他の位置における仮想視点の決定がシーン解析部４０２ｃから視点決定部４０２ａに要求されてもよい。
【０１０２】
トラッキング部４０２ｄは、三次元空間再構成装置３０００から受け取った三次元モデルのデータに基づいて特定の被写体の追跡をする。追跡の結果は、自由視点映像と共に配信されてユーザ機器５０００に表示されてもよい。また、例えば特定の被写体の追跡が不可能な場合に、他の時刻又は他の位置における仮想視点の決定がトラッキング部４０２ｄから視点決定部４０２ａに要求されてもよい。
【０１０３】
［２−４．ユーザ機器の構成］
ユーザ機器５０００は、図示しない通信部及び表示部をそれぞれ備える、テレビ受信機、パーソナルコンピュータ、又は携帯端末等の機器である。通信部を介して三次元空間認識装置４０００から受信された自由視点映像がユーザ機器の表示部に表示される。
【０１０４】
また、ユーザ機器５０００はタッチスクリーン、トラックパッド、キーボード、マウス、マイクロフォン、その他のコントローラ類又はこれらの組み合わせからなる入力装置を備えてもよい。そしてこの入力装置を介してユーザからの三次元空間再構成又は三次元空間認識に関する要求の入力を受け付けてもよい。例えば特定の時刻における特定の視点からの映像の表示の要求の入力が受け付けられると、この要求がユーザ機器５０００の通信部から三次元空間認識装置４０００に送信される。また、例えば特定の被写体の自由視点画像の表示の要求が受け付けられた場合、この要求がユーザ機器５０００の通信部から三次元空間再構成装置３０００又は三次元空間認識装置４０００に送信されてもよい。また、例えばトラッキング対象の特定の被写体の指定の要求の入力が受け付けられた場合、この要求が三次元空間認識装置４０００に送信されてもよい。
【０１０５】
［２−５．移動体の構成］
図５は、実施の形態１における移動体の構成を示すブロック図である。
【０１０６】
移動体６００は、記憶部６０１、制御部６０２、複数（本実施の形態では４つ）のロータユニット６０３、通信部６０４、検出部６０５、及びマーカ６０６を備える。
【０１０７】
移動体６００は、校正を実行する少なくとも１つの撮像装置１０Ａ〜１０Ｎが備えるカメラ１００による撮像領域まで飛行することで、校正に用いるマーカ６０６を当該撮像領域に移動させる。
【０１０８】
記憶部６０１には、制御部６０２が読み出して実行するプログラムが記憶されている。
【０１０９】
制御部６０２は、上記の記憶部６０１に記憶されるプログラムを読み出して実行することで、通信部６０４を介して取得した制御装置２００からの移動制御に関する制御情報に応じた移動制御を行う。また、制御部６０２は、検出部６０５により検出された移動体６００の位置、姿勢などの検出結果に基づいて、移動体６００の移動制御における、姿勢の制御、移動方向の制御などを実行する。制御部６０２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、通信インタフェース、及び、Ｉ／Ｏポート等を備えるコンピュータによって実現される。なお、制御部６０２は、移動制御を発揮させる専用回路により実現されてもよい。つまり、制御部６０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
【０１１０】
複数のロータユニット６０３のそれぞれは、図示しないプロペラ及びモータを備える。複数のロータユニット６０３は、それぞれ、鉛直方向に平行な回転軸でプロペラが回転する姿勢で移動体６００の筐体に固定されている。複数のロータユニット６０３では、各ロータユニット６０３が固定されている筐体の位置において、モータによりプロペラを回転させることで、当該位置に対して上向きまたは下向きの力を付与することができる。複数のロータユニット６０３は、各ロータユニット６０３が制御部６０２により回転速度、回転方向などを制御されることにより、移動体６００を所望の方向へ移動させる。
【０１１１】
通信部６０４は、制御装置２００に無線通信接続する。通信部６０４は、制御装置２００に無線通信接続できる通信インタフェースであればよく、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合した無線通信インタフェースであってもよいし、Ｚｉｇｂｅｅ（登録商標）規格に適合した通信無線インタフェースであってもよい。
【０１１２】
検出部６０５は、移動体６００の位置及び姿勢を検出する。具体的には、検出部６０５は、移動体６００の変位、加速度、傾きなどを検出するセンサ、移動体６００における地磁気を感知するセンサ、又は移動体６００の位置を検出可能なＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機等の測位機構を備えていてもよい。
【０１１３】
マーカ６０６は、予め定められた大きさを有する。マーカ６０６は、具体的には、平面上において互いに異なる第１方向および第２方向において、所定の間隔で繰り返されてなるパターンを有する。マーカ６０６は、カメラ１００により撮像されることにより得られた画像から、上記の所定の間隔が容易に特定できるパターンを有することが好ましい。マーカ６０６は、例えば、黒い正方形と白い正方形とが交互に第１方向及び第２方向に繰り返し並んで配置されているパターンを有していてもよい。また、マーカ６０６は、例えば、黒い円が第１方向及び第２方向に所定の間隔でマトリックス状に並んで配置されているパターンを有していてもよい。
【０１１４】
ここで、カメラ１００の記憶部１０１に記憶されているマーカ６０６の形状を示す情報とは、例えば、マーカ６０６全体の大きさを示す情報である。当該情報は、マーカ６０６の第１方向における長さ、及び、第２方向における長さを含んでいてもよい。また、当該情報は、マーカ６０６のパターンの所定の間隔を含んでいてもよい。
【０１１５】
なお、上記の移動体６００は、複数のロータユニット６０３を備える、いわゆるドローンであるが、ドローンに限らずに、バルーン及び推進力を得られるロータユニットを備える飛行船型の移動体であってもよいし、ヘリコプター型の飛行体であってもよい。また、無人の移動体に限らずに、有人の移動体であってもよい。つまり、移動体６００は、制御装置２００の指示を受けて、移動制御可能な飛行体であれば、どのような飛行体であっても構わない。また、移動体６００は、飛行体としたが、飛行体に限らずに、スパイダーカム（登録商標）のように吊された状態で空中を移動する機器であってもよい。
【０１１６】
［２−６．その他］
以上、本実施の形態における撮像システム１０００の構成、及び撮像システム１０００から受け取る映像データ及びカメラパラメータを利用する三次元空間再構成装置３０００及び三次元空間認識装置４０００、及び三次元空間認識装置４０００から自由視点映像等を受信して表示するユーザ機器５０００それぞれの構成について説明した。なお、これらの構成は上記の説明に限定されない。
【０１１７】
例えば、上記では、校正は、各カメラ１００において、校正部１０２ａが制御装置２００から入力される校正情報に従って実行する場合に言及したが、校正の実行の主体はこれに限定されない。例えば制御装置２００の制御部２０２が、撮像システム１０００における集約的な校正部を備えてもよい。そして、制御部２０２の校正部が、校正指示部２０２ｂからの校正情報に従って、複数台のカメラ１００で撮影された映像を取得し利用して校正を実行してもよい。
【０１１８】
また、上記ではコンピュータを用いて実現されるとそれぞれ説明された制御装置２００、三次元空間再構成装置３０００、及び三次元空間認識装置４０００は、これらの一部又は全てが組み合わせられて１台以上のコンピュータ上に実装されてもよい。
【０１１９】
また、ユーザインタフェース５００とユーザ機器５０００とは、同一の機器であってもよい。つまり、ユーザインタフェース５００は、ユーザ機器５０００と同様に三次元空間認識装置４０００から配信される映像を受信して、これをシステム管理者に表示してもよい。このシステム管理者が、撮像システムの管理者であるとともに、三次元空間再構成装置３０００及び三次元空間認識装置４０００を含む自由視点映像配信システム又は監視システムの管理者でもあれば、表示されるこの映像に応じて三次元空間再構成装置３０００及び三次元空間認識装置４０００の制御のための要求を入力することができる。
【０１２０】
［３．動作］
次に、本実施の形態における撮像システム１０００による、校正の適時の実行を実現する動作について説明する。
【０１２１】
撮像システム１０００では、校正を適時に実行するために、撮像装置又はその周囲の状況に変化（イベント）が発生した時に、校正を実行するか否かの判定がなされる。図６は、本実施の形態における撮像システム１０００による、校正をするか否かの判定を含む一連の動作を説明するためのシーケンス図である。なお、図６において、撮像装置１０は、図２に示される撮像装置１０Ａ〜１０Ｎのうちの任意のひとつを示す。
【０１２２】
撮像中の撮像装置１０において、状況感知部１６０は、常時又は所定の周期でカメラ１００（又は撮像装置１０）の状況及びカメラ１００の撮影領域を含む所定の空間の少なくとも一方の状況を感知する（ステップＳ３１）。感知された状況は、撮像状況情報として状況感知部１６０から出力されて制御装置２００に送信される。
【０１２３】
制御装置２００では、受信した撮像状況情報に基づいて、所定のイベントの発生をイベント検出部２０２ａが検出する（ステップＳ３２）。
【０１２４】
この所定のイベントとは、現状のカメラパラメータがカメラ１００の位置等を正確に示さなくなるきっかけとなるイベントである。具体的には、例えば構成の説明で上述した、カメラ１００の移動を発生させるイベント、又は移動を発生させた可能性が高いイベントである。また、カメラ１００が移動していない場合でも、撮影領域を変化させるイベント、又は撮影領域の変化を発生させた可能性が高いイベントもこの所定のイベントとして検出されてもよい。
【０１２５】
このようなイベントの検出に用いられる撮像状況情報の例としては、イメージセンサ１０４から出力された映像データの情報、及び動きセンサ１０５若しくは１２５が出力したカメラ１００の位置、傾き、又は振動などを示す情報が挙げられる。映像データの場合は、例えば映像が解析されて、背景領域と推定される領域内の変化、又は映像中で背景領域が占める範囲の変化に基づいてカメラ１００の位置等の変化の有無が推定され得る。
【０１２６】
また、撮像状況情報は、動作検知部１０６又は１２６から出力される、カメラ１００又は架台１２０の所定の動作を示す情報であってもよい。より具体的には、カメラ１００の焦点距離の変更、露出の変更、電源のＯＮ−ＯＦＦの切替、架台１２０の雲台の移動等を示す情報である。これらの動作は、人手による操作によって生じたものであっても、撮像装置１０の自動制御によって生じたものであっても撮像状況情報において示されてよい。
【０１２７】
カメラパラメータは、所定の動作後のカメラ１００の状態を正しく反映しない場合がある。例えば焦点距離が変わると、これに伴って内部パラメータも変わる。また、電源を一旦落とすバッテリー交換の前後で、ユーザが意図せずともカメラ１００の位置又は姿勢が変わる場合がある。あるいは、電源がＯＦＦの間にカメラ１００が移動された場合、カメラ１００の動きセンサ１０５ではこの移動が検知されない。したがって、カメラ１００の電源再投入後には、電源をＯＦＦにする前に使われていたカメラパラメータは、カメラ１００の位置及び姿勢を正しく反映していない。また、架台１２０の雲台の回転又は上下の動作は、カメラ１００の位置や姿勢の変化を伴う（以下では架台１２０の動作も含めてカメラ１００の動作という場合がある）。このように、カメラ１００の状態の変化を伴う可能性が高い所定の動作を検知し、この検知に基づき校正の実行を判定することで、カメラパラメータの精度の維持が図られる。
【０１２８】
また、撮像状況情報は、収音器１０７又は１４７から出力される、撮像装置１０周辺の音の情報であってもよい。
【０１２９】
イベント検出部２０２ａは、このような撮像状況情報が示す経時的な変化が所定の閾値を超える場合にイベントの発生を検出する（ステップＳ３２でＹＥＳ）。この所定の閾値は、本実施の形態における第１閾値の例である。
【０１３０】
イベントの発生を検出した場合（ステップＳ３２でＹＥＳ）、イベント検出部２０２ａは、例えばこの情報の経時的な変化の大きさに基づいて校正を実行するか否かを判定する（ステップＳ３３）。例えばこの所定の閾値は、撮像状況情報が示すカメラ１００の移動の大きさに対して現状のカメラパラメータを使い続ける場合の三次元空間再構成の精度への影響の大きさを考慮して決定される。そして校正を実行するか否かの判定は、例えばこの変化が第１閾値より大きい所定の閾値を超えるか否かに基づいて判定される。この第１閾値より大きい所定の閾値は、本実施の形態における第２閾値の例である。
【０１３１】
また、所定のイベントとは、高い精度で校正を実行することができる可能性が高いイベントであってもよい。例えば特徴点を多く含む映像を用いて実行される校正では、より精度（信頼度）の高いカメラパラメータが得やすい。
【０１３２】
このようなイベントの検出に用いられる撮像状況情報としても、上記のイメージセンサ１０４から出力された映像データに示される情報が例に挙げられる。例えば映像の解析によって特徴点が抽出され、抽出された特徴点の個数が所定の個数以上である場合に、所定のイベントが発生し（ステップＳ３２でＹＥＳ）、また、校正を実行すると判定されてもよい（ステップＳ３３でＹＥＳ）。
【０１３３】
また、所定のイベントとは、ユーザの利便性に与える影響が少ないイベントであってもよい。例えばスポーツイベントにおいて、ハーフタイム等の試合が展開しない時間帯であるときに、所定のイベントの発生として検出されてもよい。あるいは、球技であればボールがなく人もいない場所に注目するユーザは少ないため、撮影領域の全体がボールも人もない状態であるときに、所定のイベントの発生として検出されてもよい。また、監視システムであれば、撮影領域又はその周辺も含めて人や自動車がいない状態であるときに、所定のイベントの発生として検出されてもよい。
【０１３４】
このようなイベントの検出に用いられる撮像状況情報としても、上記のイメージセンサ１０４から出力された映像データに示される情報、また、収音器１０７又は１４７から出力される、撮像装置１０周辺の音の情報が例に挙げられる。映像データの場合は、例えば映像の解析によって、映像に人等の所定のオブジェクトの画像が含まれていない場合に、所定のイベントが発生し（ステップＳ３２でＹＥＳ）、さらに、校正を実行すると判定されてもよい（ステップＳ３３でＹＥＳ）。音の情報の場合は、音の解析によって試合が進行中であるか、ホイッスルが鳴らされたか、撮像装置１０の周辺に人の話し声や足音、又は自動車の動力音若しくは走行音があるか等の判定がなされてもよい。
【０１３５】
また、カメラ１００への操作の種類によっては、その発生が所定のイベントの発生と判定されてもよい。例えばカメラ１００の再起動、バッテリーの交換、又はレンズの付け外しが発生した場合は、このカメラ１００の撮影領域に変化が生じている可能性が高いためである。このようなイベントの検出も、動作検知部１０６から出力される情報に基づいてなされる。例えばバッテリーの交換又はレンズの交換はカメラ１００の電源がオフの状態で行われるため、その後の撮像開始に先立ってカメラ１００の起動の動作が発生する。したがって、例えばイベント検出部２０２ａは、起動の動作の検知を示す情報を受信した場合に所定のイベントの発生と判定してもよい。その後のステップＳ３３においては、起動後には必須の動作として校正を実行すると判定されてもよいし、他の撮像状況情報に基づいて判断されてもよい。
【０１３６】
また、イベント検出部２０２ａは、カメラ１００の前回の校正から所定の時間が経過したときに所定のイベントの発生を検出してもよい。例えば、イベント検出部２０２ａは、記憶部２０１に校正実行のログを残し、制御装置２００が備えるタイマー２０３が示す時刻を参照して前回の校正からの経過時間を算出し、この経過時間が所定の時間を超えたときに、所定のイベントの発生を検出する。
【０１３７】
これにより、カメラ１００の校正が所定の頻度以上で実行される。例えばあるカメラ１００で、校正を実行すると判定される第２閾値を下回る変化が蓄積し、校正が実行されないままカメラパラメータがカメラ１００の実際の状態から乖離している場合に、カメラパラメータの更新の機会が確保される。
【０１３８】
校正を実行しないと判定したイベント検出部２０２ａは（ステップＳ３３でＮＯ）、撮像状況情報の受信待機状態に戻る。
【０１３９】
校正を実行すると判定したイベント検出部２０２ａは（ステップＳ３３でＹＥＳ）、校正情報を出力する。
【０１４０】
校正情報には、校正を実行させる対象であるカメラ１００（又はこのカメラ１００を含む撮像装置１０）及び校正を実行させると判定した理由（上記のイベント）が含まれる。図７Ａ及び図７Ｂは、それぞれ校正情報のデータ構成の例を示す。
【０１４１】
図７Ａの例では、校正を実行させる対象が、該当のカメラ１００を含む撮像装置１０Ａを用いて示されている（「校正対象」の欄の「１０Ａ」）。また、校正を実行する理由が、２０という理由コードと合わせて「雲台回転移動」と「理由」の欄に示されている。このような校正情報は、イベント検出部２０２ａが、撮像装置１０Ａの状況感知部１６０から受け取った撮像状況情報が第１閾値及び第２閾値を上回る雲台の回転移動を示していた場合に出力される。
【０１４２】
図７Ｂの例では、カメラ校正を実行させる対象のカメラ１００が、すべての撮像装置１０に含まれるカメラ１００であることが示されている（「校正対象」の欄の「Ａｌｌ」）。また、カメラ校正を実行する理由が、「理由」の欄に１００という理由コードと合わせて「ハーフタイム検出」と示されている。このようなカメラ校正情報は、イベント検出部２０２ａが、撮像装置１０のいずれかの状況感知部１６０から受け取った撮像状況情報から、撮影領域を含む所定の空間で行われているスポーツの試合のハーフタイムが始まったと推定した場合に出力される。このように、検出されたイベントの内容によっては、イベント検出部２０２ａは、撮像状況情報の送信元である撮像装置１０が含むカメラ１００以外のカメラ校正を実行すると判定してもよい。
【０１４３】
校正情報は、校正指示部２０２ｂに入力される。校正情報を受け取った校正指示部２０２ｂは、校正情報の内容に基づいて校正指示を生成し、生成した校正指示を適切なカメラ１００を含む撮像装置１０に送信する。
【０１４４】
この際、校正指示部２０２ｂは、例えば校正情報の「校正対象」の欄に複数の撮像装置１０（又は２台以上のカメラ１００）が示されている場合（ステップＳ３４ＡでＹＥＳ）、または一定の時間内に、「校正対象」の欄の内容が異なる複数件の校正情報を受信した場合に、カメラ１００の間で校正を実行する順序を決定する（ステップＳ３５Ａ）。そして校正指示部２０２ｂは、決定した順序で校正を実行させる。校正指示部２０２ｂはこのために、例えば校正指示の送信に時間差を設けたり、校正指示に実施の時刻を指定したりしてもよい。
【０１４５】
この順序は、例えば校正情報の「理由」の欄に示されるイベントの内容に基づいて決定されてもよい。イベントの内容とは、例えばイベントの種類である。例えばイベントの種類ごとに校正の実行の優先度があらかじめ設定されたテーブルが記憶部２０１に記憶されている。または、イベント検出部２０２ａが図７Ａ及び図７Ｂのように理由に付する理由コードごとに校正の実行の優先度があらかじめ決められたテーブルが記憶部２０１に記憶されていてもよい。そして「校正対象」の欄の内容が異なる複数件の校正情報を受信した校正指示部２０２ｂは、このテーブルを参照して、又は理由コードに基づいて校正を実行するカメラ１００の順序を決定してもよい（ステップＳ３５Ａ）。このような優先度は、より大きな撮影領域の変化を生じる可能性が高いイベントほど高く設定される。また、同種のイベント、例えば振動発生のイベントであっても、その大きさによって異なる優先度が設定されてもよい。
【０１４６】
また、イベントの種類ごとにあらかじめこの順序が決められていてもよい。例えば、イベントがハーフタイムである場合には、全てのカメラ１００で一斉に校正を実行すると決められていてもよい。この場合、例えば校正指示部２０２ｂは、校正指示を撮像装置１０Ａ〜１０Ｎにブロードキャストする。あるいは、ハーフタイムにも自由視点映像の生成の要求に応える場合には、校正を所定の空間における配置において数台おきで交代で実行させたり、ある１台のカメラ１００から順に実行させたりするよう決められていてもよい。この場合、校正指示部２０２ｂは、このあらかじめ決められた順序に従って、校正を実行するカメラ１００の順序を決定する（ステップＳ３５Ａ）。
【０１４７】
またこの順序は、例えば校正部１０２ａが実行した前回の校正により算出されている各カメラ１００のカメラパラメータに基づいて決定されてもよい。例えば、全てのカメラ１００のカメラパラメータからそれぞれのカメラ１００の撮影領域を特定し、他のカメラ１００の撮影領域と重複する部分が小さい撮影領域を有するカメラ１００を優先的に校正するよう校正を実行するカメラ１００の順序が決定されてもよい。また、撮影領域に含まれる対象に基づいて、例えば選手がシュートする場面を捉えることが可能なゴール前の領域を撮影領域とするカメラ１００を優先的に校正するよう順序が決定されてもよい。
【０１４８】
なお本実施の形態で説明される「校正を実行するカメラ１００の順序」には、複数台のカメラ１００で並行して校正が実行される場合も含まれる。
【０１４９】
このように校正指示部２０２ｂが校正を実行するカメラ１００の順序を調整しながら決定することで、三次元空間再構成が適切に実行される状態の維持に適した、あるいは極力三次元空間再構成に与える影響が小さい順序で校正を各カメラ１００に実行させることができる。
【０１５０】
また、校正情報は、例えばユーザインタフェース５００に送信されて、システム管理者等のユーザに提示されてもよい（ステップＳ３４Ｂ）。ユーザはこの情報に基づいて対象のカメラ１００に校正をさせるための指示を、ユーザインタフェース５００を介して入力する（ステップＳ３５Ｂで指示受付）。入力された指示は、校正指示部２０２ｂを介して校正部１０２ａに送信される。この場合、カメラ１００間での校正の実行の順序は、ユーザが指定してもよいし、校正指示部２０２ｂが決定してもよい。
【０１５１】
校正指示を受信した、撮像装置１０のカメラ１００及び移動体６００では、校正処理が実行される（Ｓ３６）。校正処理では、移動体６００において校正指示に基づいて移動制御が実行され（Ｓ３６Ａ）、カメラ１００の校正部１０２ａにおいて校正が実行される（ステップＳ３６）。校正処理が実行されることによって算出されたカメラパラメータは、三次元空間再構成装置３０００に出力される（ステップＳ３７）。
【０１５２】
次に、校正処理の具体例について説明する。
【０１５３】
図８は、実施の形態１における校正処理の一例を示すフローチャートである。図９Ａ〜９Ｄは、実施の形態１における校正処理の詳細を説明するための図である。
【０１５４】
本実施の形態における校正処理では、まず、制御装置２００の移動制御部２０２ｃは、校正の対象となる撮像装置１０Ａ〜１０Ｎのいずれかのカメラ１００の撮像領域Ａ１内に、マーカ６０６を有する移動体６００を移動させる（Ｓ４１）。具体的には、移動制御部２０２ｃは、撮像装置１０Ａのカメラ１００の校正を行う場合、図９Ａに示すように、予め定められた撮像装置１０Ａのカメラ１００の撮像領域Ａ１に向けて、移動体６００を移動させる。例えば、移動制御部２０２ｃは、移動体６００に対して撮像領域Ａ１の位置を示す位置情報を送信することで、当該撮像領域Ａ１まで移動させてもよいし、移動体６００の位置情報を取得することで、移動体６００に対してリアルタイムに移動する方向を指示してもよい。移動制御部２０２ｃは、撮像装置１０Ａが備える収音器１０７、１４７が移動体６００のロータユニット６０３が発している固有の音を取得させ、当該音が大きくなる方向に移動体６００を移動させることで、撮像領域Ａ１に移動体６００を近づけてもよい。また、移動制御部２０２ｃは、移動体６００が有する通信部６０４が無線通信に利用する電波の電波強度を取得することで、当該電波強度が大きくなる方向に移動体６００を移動させることで、撮像領域Ａ１に移動体６００を近づけてもよい。
【０１５５】
次に、制御装置２００の撮像制御部２０２ｄは、カメラ１００にマーカ６０６を撮像させる（Ｓ４２）。具体的には、移動制御部２０２ｃが移動体６００を撮像領域Ａ１に近づけたと判定した場合、撮像制御部２０２ｄがカメラ１００に撮像させる。なお、移動制御部２０２ｃは、撮像されることにより得られた画像にマーカ６０６が含まれていなければ、ステップＳ４１を繰り返すことで、移動体６００をカメラ１００の撮像領域Ａ１に近づける処理を再び行う。
【０１５６】
そして、移動制御部２０２ｃは、カメラ１００により撮像されることにより得られたマーカ６０６を含む画像を取得し、取得した画像の全体に、マーカ６０６が含まれているか否かを判定する（Ｓ４３）。
【０１５７】
移動制御部２０２ｃは、画像の全体にマーカ６０６が含まれていると判定した場合（Ｓ４３でＹＥＳ）、画像の全体にマーカ６０６が含まれていることを示す情報を撮像装置１０Ａに送り、次のステップＳ４４に進む。
【０１５８】
一方で、移動制御部２０２ｃは、画像の全体にマーカ６０６が含まれていないと判定した場合（Ｓ４３でＮＯ）、移動体６００を当該画像の余白がある側に移動体６００を移動させる（Ｓ４５）。つまり、移動制御部２０２ｃは、当該画像を画像処理することで、カメラ１００の撮像領域Ａ１のうちでマーカ６０６が含まれていない領域の方向を特定し、特定した方向に移動体６００を移動させる。
【０１５９】
例えば、図９Ｂに示すように、移動制御部２０２ｃは、撮像装置１０Ａのカメラ１００が撮像することにより得られた画像である撮像画像に、左半分ほどしかマーカ６０６が含まれていなければ、撮像画像のうちのマーカ６０６が含まれていない余白の領域である右側の領域側に移動体６００を移動させる。この場合、撮像装置１０Ａは、Ｘ軸方向プラス側を向いており、撮像画像における左右方向はＹ軸方向である。そして、撮像画像における右方向は、Ｙ軸方向マイナス側である。このため、移動制御部２０２ｃは、移動体６００をＹ軸方向マイナス側に所定の距離移動させる指示を、移動体６００に送信する。移動体６００は、制御装置２００の移動制御部２０２ｃからの指示を受信し、移動体６００をＹ軸方向マイナス側に所定の距離移動させる。
【０１６０】
ステップＳ４５が終了すると、ステップＳ４２に戻る。つまり、制御装置２００は、カメラ１００により撮像された画像の全体に亘ってマーカ６０６が含まれるまで、ステップＳ４２、Ｓ４３、Ｓ４５の処理を繰り返す。
【０１６１】
ところで、画像の全体にマーカ６０６が含まれていることを示す情報を撮像装置１０Ａが受信すると、撮像装置１０Ａのカメラ１００の校正部１０２ａは、当該画像を用いてカメラ１００の内部パラメータを校正する（Ｓ４４）。つまり、図９Ｃに示すように、移動制御部２０２ｃは、撮像装置１０Ａのカメラ１００が撮像することにより得られた画像である撮像画像の全体に亘ってマーカ６０６が含まれていれば、カメラ１００の校正部１０２ａに当該撮像画像を用いて内部パラメータを校正するための指示を撮像装置１０Ａに送信する。当該指示を受信した撮像装置１０Ａは、当該指示に基づいて、当該撮像画像を用いたカメラ１００の内部パラメータの校正を行う。校正が終了すると移動制御部２０２ｃは移動体６００に校正完了を示す情報を送り、移動体６００を所定の場所に移動させる。
【０１６２】
［４．内部パラメータの校正方法］
本実施の形態では、大きさが既知であるマーカ６０６をカメラ１００で撮像し、撮像することにより得られた画像を用いてカメラ１００の内部パラメータを算出することで、カメラ１００の内部パラメータを校正する。マーカ６０６は、大きさが既知であり、平面上における互いに異なる方向である第１方向および第２方向において、所定の間隔で繰り返されてなるパターンにより構成されている。このため、撮像された画像に含まれるマーカ６０６の少なくとも３点の特徴点と、当該少なくとも３点の特徴点に対応する、マーカ６０６における３点の間の相対的な位置関係とが分かれば、画像を撮像したカメラ１００の内部パラメータを算出することができる。
【０１６３】
つまり、マーカ６０６は複数の第１特徴点を有する。校正部１０２ａは、複数の第１特徴点の相対的な位置関係を示す情報を取得し、当該情報と、校正が行われる撮像装置のカメラ１００により撮像されたマーカ６０６を含む画像を画像処理することで得られる複数の第２特徴点とを用いて、当該撮像装置の内部パラメータを構成する。
【０１６４】
例えば、図９Ｃに示すように、カメラ１００により撮像されたマーカ６０６を含む画像から、４つの特徴点Ｐ１〜Ｐ４が４つ抽出されたとする。この場合、４つの特徴点Ｐ１〜Ｐ４は、例えば、外形が正方形のマーカ６０６の４つの角の点ｐ１〜ｐ４に対応する点であることから、ｐ１からｐ２への第１方向と、ｐ１からｐ３への第２方向と、第１方向及び第２方向に直交する第３方向とを軸とすると、特徴点Ｐ１〜Ｐ４に対応する点ｐ１〜ｐ４の三次元座標を図９Ｄに示すように求めることができる。また、撮像画像から撮像画像上の特徴点Ｐ１〜Ｐ４の二次元座標を求めることができるため、図９Ｄに示すように、特徴点Ｐ１〜Ｐ４の三次元座標と二次元座標とを対応付けることができる。この対応付けた結果と、次に示す式１または式２とを用いることでカメラ１００の内部パラメータは、求められる。
【０１６５】
カメラのレンズに歪みがないとき、または、当該歪みが無視してよいほど小さいとき、式１の関係が成り立つ。
【０１６６】
【数１】
2018181248.tif 000003
【０１６７】
ここで、ｓは、三次元空間のスケールを示すパラメータである。
【０１６８】
【数２】
2018181248.tif 000004
は、画像上の点の二次元座標を示す。
【０１６９】
【数３】
2018181248.tif 000005
のｆｘ及びｆｙは、カメラの焦点距離を示すパラメータであり、ｃｘ及びｃｙは、カメラの画像中心を示すパラメータである。これらは、カメラの内部パラメータを示す。
【０１７０】
【数４】
2018181248.tif 000006
のｒ１１，ｒ１２，ｒ１３，ｒ２１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，及びｒ３３は、三次元空間におけるカメラの向きを示すパラメータであり、ｔ１，ｔ２，ｔ３は、三次元空間におけるカメラの位置を示すパラメータである。これらは、カメラの外部パラメータを示す。
【０１７１】
【数５】
2018181248.tif 000007
は、三次元空間の点の座標を示す。
【０１７２】
【数６】
2018181248.tif 000008
【０１７３】
ここで、ｘ”及びｙ”は、下記の式３ように求める。
【０１７４】
【数７】
2018181248.tif 000009
【０１７５】
ここで、ｋ１、ｋ２、ｋ３、ｐ１、ｐ２は、レンズの歪みを示すパラメータである。具体的には、ｋ１、ｋ２、ｋ３は、半径方向の歪み係数であり、ｐ１、ｐ２は、円周方向の歪み係数である。これらのレンズの歪みを示すパラメータも内部パラメータの一つである。
【０１７６】
［５．効果等］
以上のように、本実施の形態において、撮像システム１０００は、所定の位置に配置されている撮像装置１０のパラメータを校正する。撮像システム１０００は、移動制御部２０２ｃと、撮像制御部２０２ｄと、校正部１０２ａとを備える。移動制御部２０２ｃは、撮像装置１０による撮像領域Ａ１内に移動体６００を移動させる。移動体６００は、校正に用いるマーカ６０６を有する。撮像制御部２０２ｄは、撮像装置１０にマーカ６０６を撮像させる。校正部１０２ａは、撮像装置１０によって撮像されることにより得られたマーカ６０６を含む画像を用いて、撮像装置１０の内部パラメータを校正する。
【０１７７】
これによれば、移動体６００を用いてマーカ６０６を撮像装置１０の撮像領域Ａ１内に移動させて、マーカ６０６を撮像装置１０に撮像させることにより撮像装置１０の内部パラメータを校正するため、人がマーカ６０６を撮像装置１０に近づけなくても撮像装置１０の内部パラメータを校正することができる。これにより、所定の位置に配置されている撮像装置１０の内部パラメータの校正を容易に行うことができる。
【０１７８】
このため、例えば、高所に撮像装置１０を設置している場合であっても、撮像装置１０にマーカ６０６を撮像させることが容易にでき、撮像装置１０の内部パラメータの校正を容易にできる。また、人が撮像装置１０によりマーカ６０６が映されているかを確認しなくてもよいため、内部パラメータの校正にかかる作業スピードを向上できる。
【０１７９】
また、本実施の形態において、移動制御部２０２ｃは、撮像装置１０が有するイメージセンサ１０４の全体に亘ってマーカ６０６が撮像されるように、移動体６００を移動させる。
【０１８０】
このため、撮像装置１０の内部パラメータの校正を効果的に行うことができる。
【０１８１】
また、本実施の形態において、移動制御部２０２ｃは、撮像装置１０により撮像された画像を画像処理することで得られた結果を用いて、当該撮像装置１０により撮像される画像の全体にマーカ６０６が含まれるように、移動体６００を移動させる。
【０１８２】
このため、撮像装置１０の内部パラメータの校正を容易かつ効果的に行うことができる。
【０１８３】
また、本実施の形態において、撮像制御部２０２ｄは、撮像装置１０が予め定められた焦点距離、および、予め定められた絞りの少なくとも一方に設定されている状態で、撮像装置１０に撮像させる。
【０１８４】
このため、撮像装置１０の内部パラメータの校正を効果的に行うことができる。
【０１８５】
また、本実施の形態において、マーカ６０６は、複数の第１特徴点を有する。校正部１０２ａは、複数の第１特徴点の相対的な位置関係を示す情報を取得する。そして、校正部１０２ａは、当該情報と、撮像装置１０により撮像されたマーカ６０６を含む撮像画像を画像処理することで得られる複数の第２特徴点とを用いて、撮像装置１０の内部パラメータを校正する。
【０１８６】
このため、撮像装置１０の内部パラメータの校正を効果的に行うことができる。
【０１８７】
また、本実施の形態において、撮像システム１０００は、複数台のカメラ１００と、状況感知部１６０と、イベント検出部２０２ａとを備える。
【０１８８】
複数台のカメラ１００は、所定の空間内において少なくとも一部が重複する領域の映像を互いに異なる位置から撮影する。
【０１８９】
状況感知部１６０は、複数台のカメラ１００の各々及び上記の所定の空間の少なくとも一方の状況を感知して、感知した状況を撮像状況情報として出力する。
【０１９０】
イベント検出部２０２ａは、この撮像状況情報に基づいて、所定のイベントの発生を検出し、前記所定のイベントの発生を検出した場合に、校正を実行するか否かについて判定する。また、校正を実行すると判定した場合は、実行される前記校正を示す校正情報を出力する。
【０１９１】
これにより、撮像中のカメラ１００の状況又は撮像が行われている場所の状況（イベント）に基づいて、校正の実行が必要であるか否か、又は校正の実行に適したタイミングであるか否かが判断される。そして実行されるこの校正を示す情報が提供されることで、対象及びタイミングが適切な校正の実行が可能になる。そして各カメラ１００の実際の位置等をカメラパラメータに反映するための更新の機会が撮像中にも確保される。このように更新されたカメラパラメータが用いられることで、三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
【０１９２】
また、撮像システム１０００は、複数台のカメラ１００の校正を実行させる校正指示部２０２ｂをさらに含んでもよい。そして校正情報は、複数台のカメラ１００のうち、校正を実行するカメラ１００を示す。出力された校正情報は校正指示部２０２ｂに入力され、校正指示部２０２ｂは、この校正情報が示すカメラ１００に校正を実行させる。
【０１９３】
これにより例えば人がすぐに近づけない位置にあるカメラ１００であっても、校正情報に基づく校正を速やかに実行することができる。したがって、三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
【０１９４】
また、校正情報は、さらに発生が検出された所定のイベントの内容を示してもよい。そして校正情報が示す校正を実行するカメラ１００が２台以上である場合、校正指示部２０２ｂは、校正情報に示される所定のイベントの内容に基づいて、校正を実行するカメラ１００の順序を決定し、２台以上のカメラ１００の校正を、決定した順序で実行させる。
【０１９５】
所定の空間の状況によっては、一斉に実行することで、精度の高い校正を速やかに実行できる場合がある。このように校正を実行する理由となったイベントに応じて校正を実行するカメラ１００の順序を決定することで、三次元空間再構成が適切に実行される状態の維持に適した順序でカメラ１００の校正が実行される。なお、この「順序」には、複数台のカメラ１００で並行して校正が実行される場合も含まれる。
【０１９６】
また、状況感知部１６０は、複数台のカメラ１００がそれぞれ備えるイメージセンサ１０４を含み、状況感知部１６０が出力する撮像状況情報は、イメージセンサ１０４が出力する映像を含んでもよい。この場合に、イベント検出部２０２ａは、この映像に含まれる特徴点を抽出し、抽出した特徴点の数が所定の個数以上である場合に、所定のイベントの発生を検出し、校正を実行すると判定してもよい。
【０１９７】
特徴点を多く含む映像を用いて実行される校正では、より精度（信頼度）の高いカメラパラメータが得られやすい。つまりこのようなときは校正の実行に適したタイミングである。このタイミングで実行された校正によって得られたカメラパラメータを用いることで、三次元空間再構成もより高い精度で実行され、三次元空間認識の精度及び利用可能性の安定性が高められる。
【０１９８】
また、状況感知部１６０は、複数台のカメラ１００がそれぞれ備えるイメージセンサ１０４を含み、状況感知部１６０が出力する撮像状況情報は、イメージセンサ１０４が出力する映像を含んでもよい。そしてこの場合に、イベント検出部２０２ａは、この映像に所定のオブジェクトの画像が含まれているか否かを判定し。所定のオブジェクトの画像が含まれていない場合には、所定のイベントの発生を検出し、校正を実行すると判定してもよい。
【０１９９】
ここでいう所定のオブジェクトとは、カメラ１００が撮像している場面の重要性を示すものであり、例えば監視区域における人や、球技の試合における選手又はボールである。このようなオブジェクトの画像を含まない映像データは、自由視点映像の生成に用いられる可能性が低いため、校正の実行の対象とすることでユーザから見ての三次元空間認識の精度及び利用可能性の安定性が高められる。
【０２００】
また、状況感知部１６０は、複数台のカメラ１００がそれぞれ備えるイメージセンサ１０４、複数台のカメラ１００それぞれの位置の変化及び姿勢の変化を感知する動きセンサ１０５又は１２５、及び所定の空間内の音を収音する収音器１０７又は１４７のうち少なくとも１つを含んでもよい。そして、状況感知部１６０が出力する撮像状況情報は、イメージセンサ１０４、動きセンサ１０５又は１２５、及び収音器１０７又は１４７のうち少なくとも１つのそれぞれが出力する情報であってもよい。この場合に、イベント検出部２０２ａは、撮像状況情報が第１閾値を超える変化を示す場合に所定のイベントの発生を検出し、撮像状況情報が第１閾値より大きい第２閾値を超える変化を示す場合に校正を実行すると判定してもよい。
【０２０１】
イメージセンサ１０４等から出力される情報の変化からは、各カメラ１００の移動等、各カメラ１００における撮影領域を変化させて、カメラパラメータがカメラ１００の実際の状態を反映しなくなる可能性が高い変化を把握することができる。しかし、この変化の程度が小さい場合にも校正を実行するのは、映像データの利用可能な時間を削減し、かえって三次元空間再構成に悪影響が及ぶ可能性もなる。そこで、各カメラ１００の状況又は撮像場所の状況の変化の程度に応じて校正を実行するか否かが判定される。これにより、三次元空間再構成の適切な実行に影響があるような変化の場合には校正が実行され、その一方で、状況の変化よりも校正の実行自体の三次元空間再構成への影響が大きい場合には校正が実行されない。したがって、三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
【０２０２】
また、状況感知部１６０は、複数台のカメラ１００それぞれの所定の動作を検知する動作検知部１２６を含み、状況感知部１６０が出力する撮像状況情報は、動作検知部１２６が出力する、発生した所定の動作の情報であってもよい。この場合、イベント検出部２０２ａは、撮像状況情報として示される発生した所定の動作の情報に基づいて所定のイベントの発生を検出してもよい。
【０２０３】
これにより、カメラ１００又は架台１２０の動作によるカメラ１００の状態の変化に応じてカメラパラメータが更新されることで三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
【０２０４】
また、イベント検出部２０２ａは、複数台のカメラ１００それぞれについて、前回の校正の実行から所定の時間が経過したときに所定のイベントの発生を検出し、校正を実行すると判定してもよい。これにより、所定の頻度以上で各カメラの校正が実行される。例えば校正を実行すると判定される閾値を下回る変化が蓄積しているカメラについても校正が実行されてカメラパラメータの更新の機会が確保される。
【０２０５】
また、撮像システム１０００は、さらに、ユーザに情報を提示するためのユーザインタフェース５００を備えてもよい。そしてユーザインタフェース５００を介して校正情報をユーザに提示してもよい。
【０２０６】
これにより、撮像システム１０００のユーザは、例えば校正が実行される予定のカメラ１００、又は実行中のカメラ１００について知ることができる。また、この提示された校正情報に示される校正を実行する理由（所定のイベントの内容）に基づいて、校正の実行が予定されているカメラ１００の間での校正の実行順序をユーザが決定してもよい。
【０２０７】
［６．変形例］
［６−１．変形例１］
上記実施の形態では、校正部１０２ａは、カメラ１００が備える構成要素としたが、これに限らずに、制御装置２００が備える構成要素としてもよい。つまり、この場合、制御装置２００は、カメラ１００から受信した撮像画像に基づいて、カメラ１００の内部パラメータの校正を行ってもよい。
【０２０８】
［６−２．変形例２］
上記実施の形態では、マーカ６０６を撮像することにより得られた特徴点を用いて、内部パラメータの校正を行うとしたが、これに限らずに、カメラ１００の撮像領域Ａ１内にある所定の物体の特徴点を用いて内部パラメータの校正を行ってもよい。
【０２０９】
（実施の形態２）
［１．校正］
上記実施の形態１では、１枚の撮像画像の全体に亘ってマーカ６０６が含まれるように、移動体６００を移動させるとしたが、これに限らずに、異なる複数のタイミングにおいて、カメラ１００の撮像画像の全体に亘ってマーカ６０６が含まれるように、移動体６００を移動させてもよい。なお、実施の形態２における撮像システム１０００の構成は、実施の形態１と同様であるため同じ符号を付して説明を省略する。実施の形態２の撮像システム１０００では、実施の形態１の撮像システム１０００と比較して制御装置２００の制御および処理の内容が異なるため、以下に、異なる処理および制御について説明する。
【０２１０】
つまり、移動制御部２０２ｃは、撮像装置１０により撮像された画像を画像処理することで得られた結果を用いて、異なる複数のタイミングで撮像装置１０により撮像されることで得られた複数枚の撮像画像を重畳することで得られる重畳画像を生成すると仮定したときの当該重畳画像の全体に亘ってマーカ６０６が含まれるように、移動体６００を移動させてもよい。具体的には、移動制御部２０２ｃは、カメラ１００により撮像された画像を画像処理することで得られた結果を用いて、異なる複数のタイミングでカメラ１００により撮像された複数の画像が、当該複数の画像のそれぞれを複数の領域に分割したときの複数の領域のうちの互いに異なる領域において、マーカ６０６を含むように移動体６００を移動させてもよい。この場合、移動制御部２０２ｃは、異なる複数のタイミングにおいて、複数の領域の全てにマーカ６０６が含まれるように移動体６００を移動させる。
【０２１１】
また、移動制御部２０２ｃは、撮像装置１０により撮像された画像を画像処理することで得られた結果を用いて、当該複数の画像に含まれるマーカ６０６が所定の鮮鋭度以上の鮮鋭度で撮像される位置に、移動体６００を移動させてもよい。つまり、移動制御部２０２ｃは、当該複数の画像に含まれるマーカ６０６が合焦された状態で撮像される位置に、移動体６００を移動させてもよい。
【０２１２】
［２．動作］
次に、本実施の形態における撮像システム１０００による校正処理について説明する。
【０２１３】
図１０は、実施の形態２における校正処理の一例を示すフローチャートである。図１１Ａ〜１１Ｃは、実施の形態２における校正処理の詳細を説明するための図である。つまり、実施の形態１における図８、９Ａ〜９Ｃを用いて説明した校正処理の代わりに、以下で説明するＳ５１〜Ｓ５８の校正処理を行ってもよい。
【０２１４】
ステップＳ５１、Ｓ５２は、それぞれ、実施の形態１におけるステップＳ４１、Ｓ４２と同様であるので、説明を省略する。
【０２１５】
次に、移動制御部２０２ｃは、カメラ１００により撮像された画像を用いて、当該画像に含まれるマーカ６０６が所定の鮮鋭度以上であるか否かを判定する（Ｓ５３）。つまり、移動制御部２０２ｃは、当該画像に対して画像処理を行うことで、当該画像に映り込んでいるマーカ６０６の鮮鋭度を算出する。そして、移動制御部２０２ｃは、算出した、マーカ６０６の鮮鋭度が所定の鮮鋭度以上であるか否かを判定する。
【０２１６】
移動制御部２０２ｃは、当該複数の画像に含まれるマーカ６０６が所定の鮮鋭度以上であると判定した場合（Ｓ５３でＹＥＳ）、次のステップＳ５４に進む。
【０２１７】
一方で、移動制御部２０２ｃは、カメラ１００により撮像された画像に含まれるマーカ６０６が所定の鮮鋭度未満であると判定した場合（Ｓ５３でＮＯ）、カメラ１００の奥行き方向に移動体６００を移動させる（Ｓ５８）。例えば、図１１Ａに示すように、移動制御部２０２ｃは、この場合、マーカ６０６にカメラ１００のピントが合っていないと判定し、移動体６００を撮像装置１０Ａの光軸に平行な方向である奥行き方向に所定の距離移動させる。奥行き方向は、例えば、Ｘ軸方向プラス側の方向である。なお、移動制御部２０２ｃは、移動体６００をＸ軸方向マイナス側に移動させてもよい。このように、移動制御部２０２ｃは、移動体６００を撮像装置１０Ａの光軸に沿って移動させることで、移動体６００を撮像装置１０Ａのカメラ１００によって合焦される位置に近づける。
【０２１８】
ステップＳ５８が終了すると、ステップＳ５２に戻る。つまり、制御装置２００は、カメラ１００により撮像された画像にマーカ６０６が合焦された状態で撮像されるまで、ステップＳ５２、Ｓ５３、Ｓ５８の処理を繰り返す。
【０２１９】
これらの処理を経て、制御装置２００は、１１Ｂに示すように、カメラ１００により撮像された画像にマーカ６０６が合焦された状態で撮像されたと判定した場合、ステップＳ５４に進み、移動体６００を移動させる。具体的には、移動制御部２０２ｃは、異なる複数のタイミングで撮像装置１０Ａのカメラ１００により撮像された複数の画像が、当該複数の画像のそれぞれを複数の領域に分割したときの複数の領域のうちの互いに異なる領域において、マーカ６０６を含むように移動体６００を移動させる。
【０２２０】
そして、撮像制御部２０２ｄは、移動体６００が移動している間、撮像装置１０Ａのカメラ１００に撮像を行わせる（Ｓ５５）。
【０２２１】
移動制御部２０２ｃは、分割した複数の領域の全ての領域のそれぞれについて、当該領域の全体に亘ってマーカを撮像したか否かを判定する（Ｓ５６）。
【０２２２】
移動制御部２０２ｃは、分割した複数の領域の全ての領域のそれぞれについて、当該領域の全体に亘ってマーカを撮像したと判定した場合（Ｓ５６でＹＥＳ）、撮像装置１０Ａのカメラ１００の校正部１０２ａに当該領域の全体に亘ってマーカを撮像することにより得られる複数の撮影画像を用いてカメラ１００の内部パラメータの校正を行わせる（Ｓ５７）。
【０２２３】
一方で、移動制御部２０２ｃは、分割した複数の領域の全ての領域のそれぞれについて、当該領域の全体に亘ってマーカを撮像したと判定していない場合（Ｓ５６でＮＯ）、ステップＳ５４に戻る。つまり、制御装置２００は、分割した複数の領域の全ての領域のそれぞれについて、当該領域の全体に亘ってマーカが撮像されるまで、ステップＳ５４〜Ｓ５６の処理を繰り返す。
【０２２４】
例えば、図１１Ｃに示すように、異なる複数のタイミングで撮像される複数の撮像画像Ｉ１〜Ｉ６のそれぞれを、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、及び第４領域Ｒ４の４つの領域に分割した場合を考える。この場合、移動制御部２０２ｃは、まず、第１領域Ｒ１の全体に亘ってマーカ６０６が撮像されるように、Ｙ軸方向マイナス側に移動体６００を移動させた後、Ｚ軸方向プラス側に移動体６００を移動させる。この時、制御部２０２は、分割した第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、及び第４領域Ｒ４の全てにおいて、当該領域の全体に亘ってマーカ６０６が撮像されるまで、ステップＳ５４〜Ｓ５６の処理を繰り返すため、カメラ１００は、定期的に撮像を行うこととなる。
【０２２５】
なお、移動制御部２０２ｃは、撮像画像Ｉ２に対して画像処理を行うことで、マーカ６０６が右端に撮像されていると判定できた場合に、移動体６００の進行方向を変更するように制御してもよい。つまり、この場合、移動制御部２０２ｃは、撮像画像Ｉ２が撮像されると、Ｚ軸方向プラス側に向けて移動体６００を移動させる。
【０２２６】
撮像画像Ｉ３のように第１領域Ｒ１の全体に亘ってマーカ６０６が撮像されると、移動制御部２０２ｃは、移動体６００をＹ軸方向プラス側に向けて移動させる。次に、撮像画像Ｉ４のように第２領域Ｒ２の全体に亘ってマーカ６０６が撮像されると、移動制御部２０２ｃは、移動体６００をＺ軸方向マイナス側に移動させる。次に、撮像画像Ｉ５のようにだい３領域の全体に亘ってマーカ６０６が撮像されると、移動制御部２０２ｃは、移動体６００をＹ軸方向マイナス側に移動させる。これにより、移動体６００は、Ｘ軸方向マイナス側から見たときに、左回転方向の飛行経路Ｗ１で旋回するように移動することとなる。
【０２２７】
［３．効果等］
以上のように、本実施の形態において、移動制御部２０２ｃは、撮像装置１０により撮像された撮像画像を画像処理することで得られた結果を用いて、異なる複数のタイミングで撮像装置１０により撮像されることで得られた複数の撮像画像を互いに重畳することで得られる重畳画像を生成すると仮定したときの当該重畳画像の全体に亘ってマーカ６０６が含まれるように、移動体６００を移動させる。
【０２２８】
このため、撮像装置の内部パラメータの校正を効果的に行うことができる。
【０２２９】
また、本実施の形態において、移動制御部２０２ｃは、撮像装置１０により撮像された撮像画像を画像処理することで得られた結果を用いて、異なる複数のタイミングで撮像装置１０により撮像されることで得られた複数の撮像画像に含まれるマーカ６０６が所定の鮮鋭度以上の鮮鋭度で撮像される位置に、移動体を移動させる。
【０２３０】
このように、合焦された状態でマーカ６０６が撮像された撮像画像を用いて内部パラメータの校正を行うため、特徴点の二次元座標、及び、三次元座標を精度よく抽出できる。よって、撮像装置の内部パラメータの校正を精度よく行うことができる。
【０２３１】
［４．変形例］
［４−１．変形例１］
上記実施の形態１及び２の移動体６００は、さらに、周囲を撮像するカメラ６０７を備える構成であってもよい。例えば、図１２に示すように、移動体６００Ａは、マーカ６０６の正面側の向きを撮像するカメラ６０７を備える。この場合、図１２の（ａ）に示すように、移動体６００Ａが撮像装置１０Ａに近づくことで、カメラ６０７で撮像された撮像画像Ｉ２１に、校正を行う対象となる撮像装置１０Ａが映し出される。移動体本体に対するカメラ６０７が配置されている位置は予め固定されているため、当該撮像画像Ｉ２１に対して所定の画像処理を行うことで、移動体６００Ａがどの方向に移動すれば、図１２の（ｂ）の撮像画像Ｉ１２に示すように撮像装置１０Ａのカメラ１００によってマーカ６０６が全体に亘って映し出されるかが特定できる。所定の画像処理は、撮影画像Ｉ２１中の撮像装置１０Ａの大きさ、形状などから当該撮像装置１０Ａの位置及び向きを推定できる。この移動体６００Ａのカメラ６０７を用いた移動制御は、移動体６００Ａにより行われてもよいし、制御装置２００によって行われてもよい。なお、カメラ６０７とマーカ６０６との間の位置関係を示す情報を撮像装置１０Ａの校正部１０２ａに通知していてもよい。
【０２３２】
［４−２．変形例２］
上記実施の形態１および２では、移動体６００は、移動体本体とは別体のマーカ６０６を吊した状態で移動するとしたが、これに限らずに、移動体本体自体がマーカの形状またはパターンを有する構成としてもよい。
【０２３３】
また、図１３に示すように、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置をマーカ６０６Ａとして備える移動体６００Ｂとしてもよい。つまり、マーカ６０６Ａは、表示装置に表示される形状またはパターンである。また、図１３の（ａ）に示すように、撮像装置１０Ａのカメラに撮像された撮像画像に含まれるマーカ６０６Ａが傾いて台形に表示されるような場合には、表示装置に表示されるマーカ６０６Ａの形状を補正してもよい。具体的には、図１３の（ｂ）に示すように、撮像装置１０Ａのカメラに撮像された撮像画像に含まれるマーカ６０６Ａの形状を長方形または正方形となるように、表示装置に表示されるマーカ６０６Ａの形状を台形などの形状に変形させてもよい。このように、表示装置に表示されるマーカ６０６Ａの形状を調整することで、撮像装置１０Ａのカメラ１００により撮像された撮像画像の全体にマーカ６０６Ａが含まれるように、撮像装置１０Ａのカメラ１００にマーカ６０６Ａを撮像させることができる。
【０２３４】
この場合、表示装置にマーカを表示させない場合には、当該表示装置に、広告の映像、試合映像などを表示させてもよい。さらに、表示装置に表示させている広告の映像、試合映像などをマーカとして利用してもよい。
【０２３５】
［４−３．変形例３］
上記実施の形態１および２における移動体６００は、カメラ１００のメンテナンス機能を有する構成としてもよい。例えば、移動体６００に、レンズクリーナを設けることで、カメラ１００のレンズの汚れを拭き取らせてもよい。また、移動体６００にカメラ１００の部品を交換する、故障している箇所を特定する、特定した故障箇所を修理するなどの機能を持たせてもよい。
【０２３６】
（実施の形態３）
実施の形態１および２で説明した校正処理は、以下に示すように実行してもよい。
【０２３７】
図１４は、実施の形態３における校正処理の一例を示すフローチャートである。
【０２３８】
本実施の形態における校正処理では、まず、制御装置２００の移動制御部２０２ｃは、校正の対象となる撮像装置１０Ａ〜１０Ｎのいずれかのカメラ１００の撮像領域Ａ１内に、マーカ６０６を有する移動体６００を移動させる（Ｓ６１）。
【０２３９】
次に、制御装置２００の撮像制御部２０２ｄは、カメラ１００にマーカ６０６を撮像させる（Ｓ６２）。
【０２４０】
撮像装置１０Ａのカメラ１００の校正部１０２ａは、当該画像を用いてカメラ１００の内部パラメータを校正する（Ｓ６３）。
【０２４１】
これによれば、移動体６００を用いてマーカ６０６をカメラ１００の撮像領域Ａ１内に移動させて、マーカ６０６をカメラ１００に撮像させることによりカメラ１００の内部パラメータを校正するため、人がマーカ６０６をカメラ１００の前まで持って行かなくてもカメラ１００の内部パラメータを校正することができる。これにより、所定の位置に配置されているカメラ１００の内部パラメータの校正を容易に行うことができる。
【０２４２】
（実施の形態４）
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。
【０２４３】
図１５は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。
【０２４４】
図１５に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数台のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。
【０２４５】
映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。
【０２４６】
ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。
【０２４７】
移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。
【０２４８】
また、撮影開示前に複数台のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数台のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。
【０２４９】
情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。
【０２５０】
解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。
【０２５１】
解析部ｅｘ１１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。
【０２５２】
なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。
【０２５３】
なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。
【０２５４】
ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。
【０２５５】
なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。
【０２５６】
なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。
【０２５７】
なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。
【０２５８】
以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。
【０２５９】
（変形例１）
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。
【０２６０】
ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）である。
【０２６１】
また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。
【０２６２】
（変形例２）
解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数台のカメラの一つであってもよい。
【０２６３】
（変形例３）
映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。
【０２６４】
解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。
【０２６５】
また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。
【０２６６】
例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。
【０２６７】
また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。
【０２６８】
以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。
【０２６９】
（変形例４）
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。
【０２７０】
（変形例５）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。
【０２７１】
また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。
【０２７２】
（変形例６）
解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。
【０２７３】
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。
【０２７４】
例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。
【０２７５】
（変形例７）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。
【０２７６】
広告情報は例えば変形例６で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合に無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。
【０２７７】
また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。
【０２７８】
（変形例８）
映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。
【０２７９】
例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。
【０２８０】
以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。
【０２８１】
また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。
【０２８２】
また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。
【０２８３】
なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。
【０２８４】
（変形例９）
各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。
【０２８５】
この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。
【０２８６】
また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。
【０２８７】
また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。
【０２８８】
また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。
【０２８９】
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方を制御してもよい。
【０２９０】
カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。
【０２９１】
また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。
【０２９２】
また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域が死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域を抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。
【０２９３】
また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報を送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。
【０２９４】
なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。
【０２９５】
（変形例１０）
解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
【０２９６】
なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数台のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。
【０２９７】
（変形例１１）
映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。
【０２９８】
具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。
【０２９９】
映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。
【０３００】
また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。
【０３０１】
（変形例１２）
なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。
【０３０２】
例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体に限定して、又はそれらを優先して三次元形状の復元を行ってもよい。
【０３０３】
（変形例１３）
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数台のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
【０３０４】
または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。
【０３０５】
（変形例１４）
解析部ｅｘ１１２は、カメラ属性情報を用いて、三次元形状の復元を行ってもよい。例えば、解析部ｅｘ１１２は、カメラ属性情報を用いて、視体積交差法又はマルチビューステレオ法などの手法により三次元映像を生成してもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。
【０３０６】
これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
【０３０７】
具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。
【０３０８】
また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図１６は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。
【０３０９】
カメラｅｘ１０２の座標の特定は、ＧＰＳ、Ｗｉ−Ｆｉ（登録商標）、３Ｇ、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。
【０３１０】
（変形例１５）
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。
【０３１１】
上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。
【０３１２】
また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。
【０３１３】
このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。
【０３１４】
また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人でシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。
【０３１５】
また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。
【０３１６】
（変形例１６）
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。
【０３１７】
一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。
【０３１８】
また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。
【０３１９】
また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。
【０３２０】
また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。
【０３２１】
（変形例１７）
上記システムは、例えば、複数台のカメラを利用して建物又は設備の測距又はモデリングを行うシステムにも適用できる。
【０３２２】
ここで、例えば、１台のドローンを用いて建物を上空から撮影し、建物の測距又はモデリングを行う場合には、測距中にカメラに動物体が写りこむことで測距の精度が低下するという課題がある。また、動物体の測距及びモデリングを行えないという課題がある。
【０３２３】
一方で、上述したように複数台のカメラ（固定カメラ、スマートフォン、ウェアラブルカメラ及びドローン等）を用いることで、動物体の有無にかかわらず安定した精度で建物の測距及びモデリングを実現できる。また、動物体の測距及びモデリングを実現できる。
【０３２４】
具体的には、例えば、建築現場において作業員のヘルメット等にカメラが取り付けられる。これにより、作業員の作業に並行して建物の測距を行うことができる。また、作業の効率化及びミス防止にも用いることができる。また、作業員に装着されたカメラで撮影された映像を用いて建物をモデリングできる。さらに、遠隔地にいる管理者が、モデリングされた建物を見ることで進捗具合を確認できる。
【０３２５】
また、当該システムは、工場又は発電所の機械等、停止できない設備の点検に使用できる。また、当該システムは、橋或いはダムの開閉、又は、遊園地の乗り物の動作等に異常がないかを点検する場合に使用できる。
【０３２６】
また、当該システムにより、道路の渋滞具合又は交通量を監視することで、各時間帯の道路の渋滞具合又は交通量を示す地図を生成することができる。
【０３２７】
（実施の形態５）
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【０３２８】
さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
【０３２９】
図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。
【０３３０】
このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。
【０３３１】
しかし、コンテンツ供給システムｅｘ２００は図１７のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【０３３２】
カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０３３３】
コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
【０３３４】
なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。
【０３３５】
また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０３３６】
また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０３３７】
以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
【０３３８】
なお、コンテンツ供給システムｅｘ２００の例に限らず、図１８に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。
【０３３９】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
【０３４０】
図１９は、スマートフォンｅｘ２１４を示す図である。また、図２０は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するための収音器等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図１８に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。
【０３４１】
スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。
【０３４２】
電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。
【０３４３】
スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。
【０３４４】
さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。
【０３４５】
データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。
【０３４６】
多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。
【０３４７】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。
【０３４８】
また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器の送信端末、復号化器の受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
【０３４９】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０３５０】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の撮像システムなどを実現するソフトウェアは、次のようなプログラムである。
【０３５１】
すなわち、このプログラムは、コンピュータに、カメラのパラメータを校正する撮像システムによる校正方法であって、前記カメラによる撮像領域内に、校正に用いるマーカを有する移動体を移動させ、前記カメラに前記マーカを撮像させ、前記カメラによって撮像されることにより得られた前記マーカを含む画像を用いて、前記カメラの内部パラメータを校正する校正方法を実行させる。
【０３５２】
以上、本発明の一つまたは複数の態様に係る撮像システムおよび校正方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０３５３】
本開示は、所定の位置に配置されている撮像装置の内部パラメータの校正を容易に行うことができる撮像システムなどとして有用である。
【符号の説明】
【０３５４】
１０、１０Ａ〜１０Ｎ  撮像装置
１００  カメラ
１０１  記憶部
１０２  制御部
１０２ａ  校正部
１０３  光学系
１０４  イメージセンサ
１０５、１２５  動きセンサ
１０６、１２６  動作検知部
１０７、１４７  収音器
１２０  架台
２００  制御装置
２０１  記憶部
２０２  制御部
２０２ａ  イベント検出部
２０２ｂ  校正指示部
２０２ｃ  移動制御部
２０２ｄ  撮像制御部
２０３  タイマー
３０２ａ  モデル生成部
４０２ａ  視点決定部
４０２ｂ  レンダリング部
４０２ｃ  シーン解析部
４０２ｄ  トラッキング部
５００  ユーザインタフェース
６００、６００Ａ、６００Ｂ  移動体
６０１  記憶部
６０２  制御部
６０３  ロータユニット
６０４  通信部
６０５  検出部
６０６、６０６Ａ  マーカ
６０７  カメラ
１０００  撮像システム
３０００  三次元空間再構成装置
４０００  三次元空間認識装置
５０００  ユーザ機器
Ａ１  撮像領域
【図１】
2018181248.tif 000010
【図２】
2018181248.tif 000011
【図３】
2018181248.tif 000012
【図４】
2018181248.tif 000013
【図５】
2018181248.tif 000014
【図６】
2018181248.tif 000015
【図７Ａ】
2018181248.tif 000016
【図７Ｂ】
2018181248.tif 000017
【図８】
2018181248.tif 000018
【図９Ａ】
2018181248.tif 000019
【図９Ｂ】
2018181248.tif 000020
【図９Ｃ】
2018181248.tif 000021
【図９Ｄ】
2018181248.tif 000022
【図１０】
2018181248.tif 000023
【図１１Ａ】
2018181248.tif 000024
【図１１Ｂ】
2018181248.tif 000025
【図１１Ｃ】
2018181248.tif 000026
【図１２】
2018181248.tif 000027
【図１３】
2018181248.tif 000028
【図１４】
2018181248.tif 000029
【図１５】
2018181248.tif 000030
【図１６】
2018181248.tif 000031
【図１７】
2018181248.tif 000032
【図１８】
2018181248.tif 000033
【図１９】
2018181248.tif 000034
【図２０】
2018181248.tif 000035
【国際調査報告】
2018181248.tif 000036
2018181248.tif 000037
2018181248.tif 000038
2018181248.tif 000039