(57)【要約】【課題】複数の映像から、映像に含まれる対象の動きを推定する。【解決手段】本開示によれば、複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、  前記サーバは、  前記映像情報から特定の対象を認識する対象認識部と、  前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、  を有する、情報処理システムが提供される。【選択図】図１４
2019065757.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、
前記サーバは、
前記映像情報から特定の対象を認識する対象認識部と、
前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、
を有する、情報処理システム。
【請求項２】
複数の前記撮像装置から取得した複数の前記映像情報の時刻を同期する同期部を備え、
前記対象認識部は、前記同期部により時刻が同期された複数の前記映像情報から前記特定の対象を認識する、請求項１に記載の情報処理システム。
【請求項３】
前記映像情報は、所定のフォーマットに従って前記撮像装置から前記サーバへ送信され、
前記所定のフォーマットは、フレーム毎の映像と、フレーム毎の撮影時刻と、当該映像を撮影した撮影条件に関する情報を含む、請求項１に記載の情報処理システム。
【請求項４】
前記撮影条件は、前記撮像装置の撮影位置、撮影方向、ズーム位置情報、又はフォーカス位置情報を含む、請求項３に記載の情報処理システム。
【請求項５】
前記対象認識部は、任意の前記撮像装置から得られる前記特定の対象の位置に基づいて、前記特定の対象を周囲に位置する複数の前記撮像装置を特定し、特定した前記撮像装置から得られる前記映像情報から前記特定の対象を認識する、請求項１に記載の情報処理システム。
【請求項６】
前記特定の対象の周囲に位置する前記撮像装置の制御権を獲得し、当該撮像装置を制御する制御部を更に備える、請求項１に記載の情報処理システム。
【請求項７】
前記制御部は、制御権を獲得した前記撮像装置が前記特定の対象を撮影するように前記撮像装置を制御する、請求項６に記載の情報処理システム。
【請求項８】
前記制御部は、前記推定部が推定した前記特定の対象の動きに基づいて、複数の前記撮像装置の少なくとも一部を前記特定の対象の移動経路に移動させる、撮像装置制御部を備える、請求項６に記載の情報処理システム。
【請求項９】
前記推定部は、リアルタイムで取得される前記映像情報から前記対象の動きを推定する、請求項１に記載の情報処理システム。
【請求項１０】
前記サーバは、前記映像情報を格納するデータベースを備え、
前記推定部は、過去に撮像されて前記データベースに格納された前記映像情報から前記対象の動きを推定する、請求項１に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、複数の監視カメラと、監視カメラが撮影した映像を記録するレコーダとを備え、レコーダは、監視カメラより受信した映像に応じて各監視カメラの個別設定値を決定する監視カメラシステムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１２１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近時においては、都市部などで監視カメラが普及しており、監視カメラの映像から、様々な対象に関する情報が取得可能となっている。例えば、監視カメラの画像から不審者や不審車両などの特定が可能となるため、監視カメラは、犯罪の早期解決と抑止効果の一役を担っている。【０００５】
しかし、動きのある対象（例えば不審者）を特定しようとした場合、１の監視カメラの映像から対象を特定できたとしても、その後の対象の移動を特定することには困難が伴う。【０００６】
そこで、複数の映像から、映像に含まれる対象の動きを推定することが求められていた。
【課題を解決するための手段】
【０００７】
本開示によれば、複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、前記サーバは、複数の前記撮像装置から取得した前記映像情報の時刻を同期する同期部と、前記映像情報から特定の対象を認識する対象認識部と、前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、を有する、情報処理システムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、複数の映像から、映像に含まれる対象の動きを推定することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】ＮＩＣＥシステム（サーバ）とＮＩＣＥキャプチャーデバイスの全体を示す模式図である。
【図２】ＮＩＣＥデバイスに対する要求仕様を示す模式図である。
【図３】ＮＩＣＥキャプチャーデバイスを示す模式図である。
【図４】リアルタイムでの対象の追跡を説明するための模式図である。
【図５】リアルタイムでの対象の追跡を説明するための模式図である。
【図６】リアルタイムでの対象の追跡を説明するための模式図である。
【図７】リアルタイムでの対象の追跡を説明するための模式図である。
【図８】記録された映像からの対象の追跡を説明するための模式図である。
【図９】記録された映像からの対象の追跡を説明するための模式図である。
【図１０】記録された映像からの対象の追跡を説明するための模式図である。
【図１１】記録された映像からの対象の追跡を説明するための模式図である。
【図１２】記録された映像からの対象の追跡を説明するための模式図である。
【図１３】映像記録フォーマットの例を示す模式図である。
【図１４】ＮＩＣＥシステムを構成するサーバの構成例を示す模式図である。
【図１５】データベースに格納された情報のうち、ＮＩＣＥキャプチャーデバイスに関係するカメラデータベースの情報を示す模式図である。
【図１６】ＮＩＣＥシステムの映像データベースの情報を示す模式図である。
【図１７】対象の位置を推定する手法を説明するための模式図である。
【図１８】対象の位置を推定する手法を説明するための模式図である。
【図１９】対象の位置を推定する手法を説明するための模式図である。
【図２０】ユーザが、ＮＩＣＥプレゼンテーションデバイス３００の画面を操作して対象１０を特定している様子を示す模式図である。
【図２１】ＮＩＣＥキャプチャーデバイスとＮＩＣＥプレゼンテーションデバイスがＮＩＣＥシステムに接続された様子を示す模式図である。
【図２２】カメラモジュールに含まれる光学レンズを示す模式図である。
【図２３】ＮＩＣＥキャプチャーデバイスの別の構成例を示す模式図である。
【図２４】、ＮＩＣＥキャプチャーデバイス、ＮＩＣＥプレゼンテーションデバイス、ＮＩＣＥシステムの具体的な構成例を示す模式図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．ＮＩＣＥシステムのコンセプト
２．ＮＩＣＥシステムの概要
２．１．ＮＩＣＥウォッチャー
２．２．ＮＩＣＥチェイサー
２．３．ＮＩＣＥ  ３Ｄワールド
３．ＮＩＣＥキャプチャーデバイスの概要
３．１．ＮＩＣＥキャプチャーデバイスの構成例
４．ＮＩＣＥシステム（サーバ）の構成例
【００１２】
１．ＮＩＣＥシステムのコンセプト
本実施形態に係るＮＩＣＥシステム（Ｎｅｔｗｏｒｋ  ｏｆ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｃａｍｅｒａ  Ｅｃｏｓｙｓｔｅｍ）は、対象（オブジェクト）のトラッキングと解析、３Ｄマップ、映像または画像の検索と解析、を行うサービスを提供するシステムである。これを実現するため、システムはカメラシステムと接続される。本実施形態では、カメラシステムをＮＩＣＥキャプチャーデバイスと称する。想定できるＮＩＣＥキャプチャーデバイスは、都市における監視カメラ、スマートホームの防犯カメラ、ウェアラブルカメラ、ドローン、及びダッシュボードカメラ等である。
【００１３】
図１は、ＮＩＣＥシステム（サーバ）２００とＮＩＣＥキャプチャーデバイス（撮像装置）１００からなる情報処理システムの全体構成を示す模式図である。好適に、ＮＩＣＥシステム２００はクラウドサーバから構成され、ＮＩＣＥシステム２００とＮＩＣＥキャプチャーデバイス１００とから、本実施形態に係る情報処理システムが構成される。
【００１４】
ＮＩＣＥシステム２００は、対象をキャプチャーするため、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）のような３Ｄマップを作るため、シーンを解析するためにＮＩＣＥキャプチャーデバイス１００を制御する。また、ＮＩＣＥシステム２００は、対象を追跡するため、３Ｄマップを作成するため、映像を検索するためにシーンの中にメタデータを作るために、ＮＩＣＥキャプチャーデバイス１００で撮影された記録された映像の後処理を行うことができる。図１に示すように、各ＮＩＣＥキャプチャーデバイス１００間では、デプス情報を獲得するために同期処理が行われる。また、各ＮＩＣＥキャプチャーデバイス１００は、事象を解析するために、同じ時刻に異なるスペクトラムで同じシーンの映像を獲得する。ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）が絶対位置と絶対時間の情報を提供し、ＬＰＷＡ（Ｌｏｗ  Ｐｏｗｅｒ  Ｗｉｄｅ  Ａｒｅａ）システムは各ＮＩＣＥキャプチャーデバイス１００の位置が取得可能とされている。
【００１５】
図２は、ＮＩＣＥデバイスに対する要求仕様を示す模式図である。ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００を用いて、対象１０の位置、方向、速度などを推定する。ＮＩＣＥキャプチャーデバイス１００は、無線通信により、映像データ、音声データ、センサデータをＮＩＣＥシステム１００に送信する。
【００１６】
図３は、ＮＩＣＥキャプチャーデバイス１００を示す模式図である。サービスを効率的にするため、ＮＩＣＥキャプチャーデバイス１００は、ＧＰＳから絶対時間と絶対位置を得るセンサー等を有している。また、ＮＩＣＥキャプチャーデバイス１００は、世界軸（ｗｏｒｌｄ  ａｘｉｓ）に基づく撮影方向を得るためＡＨＲＳのような計測システムを有している。更に、ＮＩＣＥキャプチャーデバイス１００は、ＴｏＦセンサなどの対象までの距離を測定するセンサを備えている。なお、ＮＩＣＥキャプチャーデバイス１００の詳細な構成は、後述する。
【００１７】
ＮＩＣＥの仕様書では、効率的に対象を測定し、キャプチャーするために、ＮＩＣＥキャプチャーデバイス１００のシステムを定義する。例えば、イメージセンサとレンズの能力、パン／チルト／ズームの決定、正しい撮影方向を得るための合理的な制御の決定、ＩＭＵの正確性などを定義する。
【００１８】
また、ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００を制御するため、そして、蓄えられた多くの映像を取り扱うためのユーザインタフェースを定義する。これは、ＮＩＣＥの仕様が、ＮＩＣＥシステムと相互に作用する表示システムを定義することを意味する。ＮＩＣＥシステムのための表示システムは、本明細書において、ＮＩＣＥプレゼンテーションデバイス３００と称される。ＮＩＣＥプレゼンテーションデバイス３００として、片手で持てるスマートフォンのようなコンピュータ、ＶＲシステム、ＡＲシステムのようなヘッドマウントディスプレイなどを想定する。ＮＩＣＥプレゼンテーションデバイス３００の仕様書は、そのデバイスとユーザインタフェースのシステムを定義する。図２１は、ＮＩＣＥキャプチャーデバイス１００とＮＩＣＥプレゼンテーションデバイス３００がＮＩＣＥシステム２００に接続された様子を示す模式図である。ＮＩＣＥプレゼンテーションデバイス３００は、ピア・トゥー・ピアの通信により、ＮＩＣＥキャプチャーデバイス１００から映像ストリームを直接取得しても良い。また、図２４は、ＮＩＣＥキャプチャーデバイス１００、ＮＩＣＥプレゼンテーションデバイス３００、ＮＩＣＥシステム２００の具体的な構成例を示す模式図である。
【００１９】
ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００とＮＩＣＥプレゼンテーションデバイス３００を制御する。一方、待機時間が無いことが要求されるユースケースでは、ＮＩＣＥプレゼンテーションデバイス３００は、ＮＩＣＥキャプチャーデバイス２００を直接制御することができる。そして、複数のＮＩＣＥキャプチャーデバイス２００は、関係する位置を適切に調整するために、通信を行うことができる。ドローンカメラを考慮すると、遅延なく多数のドローンの間の編隊飛行を作成することがとても重要である。
【００２０】
２．ＮＩＣＥシステムの概要
ＮＩＣＥシステム２００は、主として、各映像フレームに埋め込まれた絶対的な時間／位置／方向の情報を取り扱う。絶対的な時間／位置／方向を伴うピクチャ（画像）によれば、新しいアプリケーションの途方もないバリエーションを理解可能となり、システムの技術的な要求を明確にする。この仕様は、以下の３つの主なユースケースのアプリケーションに落とし込まれる。
［ＮＩＣＥウォッチャー］  複数のＮＩＣＥキャプチャーデバイス１００により対象をトラッキングする
［ＮＩＣＥチェイサー］  特定された対象の振る舞いを解析することにより、映像を検索する
［ＮＩＣＥ  ３Ｄワールド］  複数のＮＩＣＥキャプチャーデバイス１００により３Ｄマップを作成する。
以下では、これらがどの様なアプリケーションであるか、どのようにＮＩＣＥシステム２００が働くかについて説明する。
【００２１】
２．１．ＮＩＣＥウォッチャー
ＮＩＣＥウォッチャーは、複数のＮＩＣＥキャプチャーデバイス１００により対象を追跡するアプリケーションである。ＮＩＣＥウォッチャーは、ＮＩＣＥキャプチャーデバイス１００が存在する限り、動いている対象を追跡する。複数のＮＩＣＥキャプチャーデバイス１００を制御するステップを以下に示す。
【００２２】
Ａ）ユーザが、ＮＩＣＥプレゼンテーションデバイス３００によりターゲットとなる対象１０を特定する。図２０は、ユーザが、ＮＩＣＥプレゼンテーションデバイス３００の画面を操作して対象１０を特定している様子を示す模式図である。例えば、ＮＩＣＥプレゼンテーションデバイス３００がタッチパネルを備えることにより、ユーザは画面上に表示された対象１０をタッチパネル操作により特定することができる。
Ｂ）ＮＩＣＥシステム２００が、自身から対象１０までの大体の距離をＴｏＦセンサなどのセンサを用いて測定する。ＮＩＣＥシステム２００は、既に自身の位置と撮影方向を知っており、対象１０までの距離が判明した時点で、対象１０の位置と高さを計算する。
Ｃ）ＮＩＣＥシステム２００は、対象１０の位置を決定し、確実な距離の範囲で自由なＮＩＣＥキャプチャーデバイス１００を発見する。
ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００から位置情報を取得することで、既に全てのＮＩＣＥキャプチャーデバイス１００の位置を知っている。対象１０を発見したＮＩＣＥキャプチャーデバイス１００の位置と、対象１０までの確実な距離を認識することで、ＮＩＣＥシステム２００は、対象１０を追跡可能な他のＮＩＣＥキャプチャーデバイス１００を発見することができる。
Ｄ）ＮＩＣＥシステム２００は、全てのＮＩＣＥキャプチャーデバイス１００を同時に制御し、フレーム毎の対象１０の動きに従って対象１０を追跡する。
ＮＩＣＥシステム２００は、対象１０の移動方向と速度を計算するため、複数のＮＩＣＥキャプチャーデバイス１００により異なるシーンを獲得する。ＮＩＣＥシステム２００は、対象１０を捉える全てのＮＩＣＥキャプチャーデバイス１００をスムーズに制御するために、対象１０の次の位置を推定する。
Ｅ）ＮＩＣＥシステム２００は、対象１０の動きに従って、ＮＩＣＥキャプチャーデバイス１００のグループを管理する。
ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００として固定されたデバイスとドローンのようなモバイルデバイスを管理する。ドローンカメラは、位置に無関係の対象を追跡するために、ＮＩＣＥシステム２００により制御される。
ＮＩＣＥウォッチャーは、面倒なユーザのオペレーションを除外して、効率的な対象の追跡方法を提供する。
【００２３】
以下では、図４〜図７に基づき、リアルタイムでの対象１０の追跡について説明する。なお、図４〜図７において、対象１０は地表から所定の高さに存在するものとし、対象１０を地表に投影した位置を×印で示している。図４に示すように、先ずユーザが、ＮＩＣＥプレゼンテーションデバイス３００を用いてターゲットとなる対象１０を特定する。すると、ＮＩＣＥシステム２００が、任意のＮＩＣＥキャプチャーデバイス１００をモニターし、対象１０までの距離を測定するようＮＩＣＥキャプチャーデバイス１００に指令を出す。ＮＩＣＥキャプチャーデバイス１００は、自身が備えるＴＯＦセンサ等を用いて、対象１０のおおよその場所（対象１０までの距離）を測定する。ＮＩＣＥキャプチャーデバイス１００の位置と対象１０までの距離がＮＩＣＥシステム２００に送られることで、ＮＩＣＥシステム２００の認識エンジンが対象１０を捕捉し、対象１０のおおよその位置を認識する（一次スキャン）。
【００２４】
次に、図５に示すように、ＮＩＣＥシステム２００が、対象１０のおおよその位置を中心にしたエリア（図５中に破線で示す）に存在する他のＮＩＣＥキャプチャーデバイス１００の制御権を取得する。
【００２５】
次に、図６に示すように、ＮＩＣＥシステム２００が、各ＮＩＣＥキャプチャーデバイス１００が撮影した映像に記録された各フレームを、絶対時間で時刻同期させ、各フレームの緯度、経度、高度、撮影方向とオブジェクト認識による対象１０の動きをフレーム間で予測し、次の位置を推定する。推定した結果は、ユーザのＮＩＣＥプレゼンテーションデバイス３００に送信され、ユーザにフィードバックされる。
【００２６】
また、図７に示すように、ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００が固定カメラの場合は、対象１０の次の位置を予測した後、対象１０の次の位置の周辺にあるＮＩＣＥキャプチャーデバイス１００の制御権を取得し、同じ処理を繰り返す。また、ＮＩＣＥキャプチャーデバイス１００がドローンなどの移動体の場合は、対象１０を追跡するように制御を行う。
【００２７】
２．２．ＮＩＣＥチェイサー
ＮＩＣＥチェイサーは、ＮＩＣＥキャプチャーデバイス１００によって撮影された映像を検索するためのアプリケーションである。ＮＩＣＥチェイサーは、ユーザが指定した対象１０が自動的に撮影された映像を拾い上げる機能を提供する。映像を検索するステップを以下に示す。
【００２８】
Ａ）ユーザが、ＮＩＣＥのフォーマットの映像から対象１０を判別する。
Ｂ）ＮＩＣＥシステム２００が、映像から時刻と位置を判別する。
Ｃ）ＮＩＣＥシステム２００が、時刻と位置に基づいて、他のＮＩＣＥキャプチャーデバイス１００によって撮影された映像を検索する。
Ｄ）ＮＩＣＥシステム２００が、集められた映像から対象１０の正確な位置とその動きを解析し、対象１０の方向を判別する。
Ｅ）映像を集めることによって、対象１０の位置と方向に基づいて対象１０を検索したＮＩＣＥシステム２００が、対象を再び解析する。
以上のようにして、ＮＩＣＥチェイサーは、ＮＩＣＥキャプチャーデバイス１００によって撮影された追跡対象のための効果的な映像検索方法を提供する。
【００２９】
以下では、図８〜図１１に基づき、記録された映像からの対象の追跡を説明する。図８に示すように、ユーザが、ＮＩＣＥプレゼンテーションデバイス３００を用いて、記録された映像から特定の対象１０を指定する。ＮＩＣＥシステム２００は、物体認識によって対象１０を特定する。
【００３０】
図９に示すように、ＮＩＣＥキャプチャーデバイス１００が撮影した映像２０内のフレームに記録された、対象１０の位置、時間、撮影方向に基づいて、近接したカメラで撮影された、指定した対象１０を撮影している映像２０をピックアップする。なお、図９において、各映像２０が示された位置は、各映像２０を撮影したＮＩＣＥキャプチャーデバイス１００の位置を示している。
【００３１】
図１０に示すように、それぞれの映像２０を、記録された絶対時間に基づいて時刻同期させる。そして、ＮＩＣＥシステム２００は、複数の映像２０に記録された対象１０の位置、撮影方向に基づいて、対象１０の位置、高さを推定し、画像認識によって特定した対象１０の移動方向を計算し、対象１０の次の場所を推定する。
【００３２】
図１１に示すように、対象１０の次の推定位置、時刻が判明したら、その周辺で対象１０を撮影している映像２０をピックアップし、同じ処理を繰り返し、対象１０を追跡する。
【００３３】
２．３．ＮＩＣＥ  ３Ｄワールド
ＮＩＣＥ  ３Ｄワールドは、ＮＩＣＥキャプチャーデバイス１００により自由視点映像（３Ｄワールド）を作成するためのアプリケーションである。ユーザが対象１０の位置を一旦特定すると、ＮＩＣＥシステム２００が、特定された位置の周辺のＮＩＣＥキャプチャーデバイス１００を集める。そして、ＮＩＣＥプレゼンテーションデバイス３００で視認できるように自由視点映像を作成する。自由視点映像を作成するステップは以下の通りである。
【００３４】
Ａ）ユーザが、例示のため、ＮＩＣＥプレゼンテーションデバイス３００上でマップを指定することにより位置と時刻を決定する。
Ｂ）ＮＩＣＥシステム２００が、指定された位置の周辺にＮＩＣＥキャプチャーデバイス１００を集める。そして、ＮＩＣＥキャプチャーデバイス１００が、指定された位置の周辺で撮影された映像のシーンを得る。
【００３５】
ＮＩＣＥキャプチャーデバイスは、３Ｄマップを効率よく作成するため、広角を得るための特別なモードでシーンを獲得する。一方、各ＮＩＣＥキャプチャーデバイス１００の能力と特性は異なる。各画像をマップにして３Ｄワールドにするため、ＮＩＣＥシステム２００は、ＦＯＶ又は各シーンのディストーションを補正する。このため、ＮＩＣＥキャプチャーデバイス１００は、その能力又は特性をＮＩＣＥシステム２００に送信する。
【００３６】
Ｃ）ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００により獲得されたシーンを解析し、その場所における自由視点映像を作成する。
Ｄ）ユーザが指定する位置を変更すると、ＮＩＣＥシステム２００が、指定された位置に従って、ＮＩＣＥキャプチャーデバイス１００を再度集め、自由視点映像を再度作成する。
【００３７】
ＮＩＤＥ  ３Ｄワールドは、リアルタイムで自由視点映像を提供する。ＮＩＤＥ  ３Ｄワールドは、自由視点映像を通して、ユーザが世界中のどこにでも仮想的に移動することを可能とする。
【００３８】
３．ＮＩＣＥキャプチャーデバイスの概要
ＮＩＣＥキャプチャーデバイス１００は、ＮＩＣＥワールドを認識させるため、自身に取り付けられたセンサから集められた情報を、ネットワークを介して他の装置に送信する。例えば、送信されるデータは、ＲＧＢカラー画像、自身の位置情報、デプスマップ、サーモグラフマップ、音声、ＧＰＳによって測定された位置、気圧、気温、挙動、移動速度、加速度等を含む。
【００３９】
インテリジェントなＮＩＣＥキャプチャーデバイス１００の場合、獲得したデータをより扱いやすい情報として送信するために解析を行う。この情報は、範囲、対象のタイプ、座標、移動速度、移動方向、色、人物の顔の表情、人物の識別、車のナンバー、人の数、などである。
【００４０】
更に、いくつかのＮＩＣＥキャプチャーデバイス１００は、ＬＥＤライト、ＰＴＺ制御、発音の警告などのアクティブな機能を備えている。ＮＩＣＥキャプチャーデバイス１００は、基本的に取得した情報をＮＩＣＥシステム１００に送信する機能を有するが、一方、ＮＩＣＥキャプチャーデバイス１００は、双方向の通信機能を備えていても良い。
【００４１】
ＮＩＣＥキャプチャーデバイス１００は、監視カメラ、ホーム防犯カメラ、ホームオートメーションの中核であるスマートホームエージェント、ウェアラブルカメラ、ドローン、車のダッシュボードカメラ等の様々なタイプのシステムとして構成される。
【００４２】
ここでは、ＮＩＣＥシステム２００へ送信するための、ＮＩＣＥキャプチャーデバイス１００と、そのデータフォーマットを定義する。また、後述の章では、ＮＩＣＥシステム２００によって推測される各デバイスのためのシステムのプロファイルを定義する。
【００４３】
ＮＩＣＥキャプチャーデバイス１００の中心の機能は、センサフュージョンとカメラの組み合わせである。それは、ＮＩＣＥキャプチャーデバイス１００は、ネットワークカメラと、本実施形態に係るＮＩＣＥキャプチャーデバイス１００の両方として振る舞うことを意味する。ＯＮＶＩＦ（Ｏｐｅｎ  Ｎｅｒｗｏｒｋ  Ｖｉｄｅｏ  Ｉｎｔｅｒｆａｃｅ  Ｆｏｒｕｍ）に基づき、ＮＩＣＥキャプチャーデバイス１００が既存のネットワークに接続する場合、それはＯＮＶＩＦカメラとしても振る舞う。一方、ＮＩＣＥキャプチャーデバイス１００がＮＩＣＥシステム２００に接続する場合、それは上述したようなＮＩＣＥキャプチャーデバイス１００として振る舞う。
【００４４】
正確な制御を理解するため、ＮＩＣＥキャプチャーデバイス１００の参考システムは、これらのコンポーネントの能力を定義する。そして、そのデータフォーマットは、現在のネットワークカメラの技術との共同利用性を維持するために、ＯＮＶＩＦに基づき定義される。
【００４５】
ＮＩＣＥキャプチャーデバイス１００は、画像のみならず、各フレームの絶対的な時刻／位置／方向のような画像に関係するメタデータを獲得する。これらのデータを得る方法は複数あるため、システムはアプリケーションの特性によって異なる。例えば、監視カメラの場合、ＮＩＣＥキャプチャーデバイス１００の位置は固定されるため、固定された位置の情報を保持することで、ＧＰＳレシーバのような位置センサを不要とすることもできる。
【００４６】
３．１．ＮＩＣＥキャプチャーデバイスの構成例
図１２は、ＮＩＣＥキャプチャーデバイス１００の構成を示すブロック図である。図１２に示すように、ＮＩＣＥキャプチャーデバイス１００は、カメラモジュール１０２、測距センサ１０４、ＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｍｅａｓｕｒｅｍｅｎｔ  Ｕｕｎｉｔ）１０６、制御部１２０、ＧＰＳ１０８、通信モジュール１１０を有して構成されている。
【００４７】
カメラモジュール１０２は、基本的には、ＣＭＯＳセンサなどの撮像素子と光学レンズによって構成される、カメラの撮影条件（パン、チルト、ズーム位置、フォーカス位置）を制御するモジュールを含む。図２２は、カメラモジュール１０２に含まれる光学レンズを示す模式図である。光学レンズの諸元と、フォーカス位置に基づいて、対象１０までの距離を取得することができる。また、光学レンズの諸元と、光軸からの対象１０のズレ量に基づいて、撮影方向に対する対象１０の位置ズレ量を求めることができる。測距センサ１０４は、ＴｏＦセンサなどのセンサであって、対象１０までの距離を計測する。カメラモジュール１０２がステレオカメラから構成される場合は、左右画像の視差に基づいて対象１０までの距離を求めることもできる。また、このようにして得られる、ＮＩＣＥキャプチャーデバイス１００に対する対象１０の位置と、ＮＩＣＥキャプチャーデバイス１００の位置に基づいて、対象１０を求めることができる。また、対象１０までの距離情報に基づいて、デプスマップが作成される。
【００４８】
制御部１２０は、ＮＩＣＥキャプチャーデバイス１００の全体を制御する構成要素であり、取得した画像情報、カメラの撮影条件、センサ情報、対象１０までの距離情報などを、通信モジュール１１０を介してＮＩＣＥシステム１００へ無線で送信させる機能を有する。なお、無線通信の方式、無線ネットワークの種類については、特に限定されるものではなく、既存の様々なものを適用することができる。図２３は、ＮＩＣＥキャプチャーデバイス１００の別の構成例を示す模式図である。図２３に示すように、ＮＩＣＥキャプチャーデバイス１００は、自身を移動するための駆動力を発生させるモータ１２１，１２２、音声を取得するマイクロフォンを更に備えていても良い。また、カメラモジュール１０２には、パン・チルト、ズーム位置、フォーカス位置を調整するためのアクチュエータ１１２が備えられていても良い。これらのモータ１２１，１２２、アクチュエータ１１２は、ＮＩＣＥシステム２００のカメラ制御部２０６から送られる制御指令に基づいて制御される。制御指令に含まれる対象１０の位置に基づいて、ＮＩＣＥキャプチャーデバイス１００が対象１０を撮影するように、パン・チルト、ズーム位置、フォーカス位置が調整され、あるいはＮＩＣＥキャプチャーデバイス１００が対象１０を追尾するように制御が行われる。
【００４９】
図１３は、映像記録フォーマットの例を示す模式図である。具体的に、図１３は、ＮＩＣＥキャプチャーデバイス１００が記録した映像記録フォーマットの映像データフレームと、映像データフレームに対応して記録された撮影絶対時刻、ＮＩＣＥキャプチャーデバイス１００の絶対位置、ＮＩＣＥキャプチャーデバイス１００の撮影方向の情報を示している。図１３に示すように、映像のフレーム毎に、各フレームに対応する撮影絶対時刻、絶対位置、撮影方向が記録される。図１３に示す映像記録フォーマットは、ＮＩＣＥキャプチャーデバイス１００からＮＩＣＥシステム２００へ送信される。
【００５０】
４．ＮＩＣＥシステム（サーバ）の構成例
図１４、図１５、図１６は、ＮＩＣＥシステム２００側の要素を示す模式図である。図１４は、ＮＩＣＥシステム２００を構成するサーバの構成例を示す模式図である。図１６に示すように、ＮＩＣＥシステム２００は、ビデオ同期部２０２、対象認識部２０４、カメラ制御部２０６、対象位置推定部２０８、データベース２１０を有して構成されている。
【００５１】
ビデオ同期部２０２は、図６に示したように、各ＮＩＣＥキャプチャーデバイス１００が撮影した映像に記録された各フレームを、絶対時間で時刻同期させる処理を行う。対象認識部２０４は、各ＮＩＣＥキャプチャーデバイス１００が撮影した映像に記録された各フレームを検索し、各フレームの中からユーザが指定した対象１０を認識する処理を行う。対象認識部２０４は、例えば、図２０に示したようにユーザが対象１０を特定した場合に、特定された画像の特徴量を認識し、映像の各フレームとマッチングを行うことにより、対象１０を認識し、対象１０の位置を特定する。上述したように、ＮＩＣＥキャプチャーデバイス１００と対象１０との相対的な位置と、ＮＩＣＥキャプチャーデバイス１００の位置に基づいて、対象１０の位置を特定することができる。カメラ制御部２０６は、ＮＩＣＥキャプチャーデバイス１００に制御指令を送信し、ＮＩＣＥキャプチャーデバイス１００の特にカメラモジュール１０２を制御する。具体的に、カメラ制御部２０６は、対象１０の周囲に位置するＮＩＣＥキャプチャーデバイス１００の制御権を獲得し、ＮＩＣＥキャプチャーデバイス１００が対象１０を撮影するように制御する。また、カメラ制御部２０６は、ＮＩＣＥキャプチャーデバイス１００がドローンなどの移動体の場合は、対象１０の動きに応じて、ＮＩＣＥキャプチャーデバイス１００を移動させる。対象位置推定部２０８は、絶対時間が時刻同期された各フレームの緯度、経度、高度、撮影方向に基づいて、対象１０の動きをフレーム間で予測し、対象１０の次の位置を推定する。
【００５２】
データベース２１０には、各種データが格納されている。図１５は、データベース２１０に格納された情報のうち、ＮＩＣＥキャプチャーデバイス１００に関係するカメラデータベースの情報を示す模式図である。図１５に示すように、カメラデータベースには、各カメラ（ＮＩＣＥキャプチャーデバイス１００）の現在位置の情報が格納されている。ＮＩＣＥキャプチャーデバイス１００がドローンなどの移動体の場合、カメラデータベースに格納された現在位置の情報は、ＮＩＣＥキャプチャーデバイス１００から送信される位置情報に応じて逐次更新される。
【００５３】
また、図１６は、ＮＩＣＥシステム２００の映像データベースの情報を示す模式図である。図１６に示す情報は、ＮＩＣＥキャプチャーデバイス１００から図１３に示す情報を受け取ることで得られる。図１６に示すように、ＮＩＣＥキャプチャーデバイス１００が撮影した映像毎に、撮影時刻、撮影位置、撮影方向の情報が格納されている。より詳細には、図１３に示したように、各フレームの撮影絶対時刻、絶対位置、撮影方向も映像データベースに記録されている。
【００５４】
以下では、対象位置推定部２０８による対象１０の位置の推定について詳細に説明する。図１７〜図１９は、対象１０の位置を推定する手法を説明するための模式図である。図１７は、３つのＮＩＣＥキャプチャーデバイス１００が対象１０を撮影している様子と、ＮＩＣＥキャプチャーデバイス１００が撮影した映像のフレームを示している。ここで、３つのＮＩＣＥキャプチャーデバイス１００をＣＡＭ１、ＣＡＭ２、ＣＡＭ３とする。図１７では、ＣＡＭ１、ＣＡＭ２、ＣＡＭ３のそれぞれが撮影したフレームＮの画像と、フレームＮ＋１の画像を示している。
【００５５】
図１７において、対象１０は矢印Ａ１の方向に移動している。このため、ＣＡＭ１のフレームＮの画像３０では、対象１０が中央に位置し、ＣＡＭ１のフレームＮ＋１の画像３２では、対象１０が左端に位置している。また、ＣＡＭ２のフレームＮの画像３４では、対象１０が中央に位置し、ＣＡＭ２のフレームＮ＋１の画像３６では、対象１０が右端に位置している。また、ＣＡＭ３のフレームＮの画像３８では、対象１０が中央に位置し、ＣＡＭ３のフレームＮ＋１の画像４０では、対象１０が中央の右寄りに位置している。
【００５６】
図１８は、図１７の画像３０，３２，３４，３６，３８，４０に基づいて、対象の位置を予測し、ＮＩＣＥキャプチャーデバイス１００を制御する様子を示している。図１８に示すように、ビデオ同期部２０２により、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３の各フレームの画像の同期が行われる。具体的に、画像３０，３４，３８が同期され、画像３２，３６，４０が同期される。同期された画像は対象認識部２０４に入力され、対象１０の認識が行われる。これにより、画像３０，３２，３４，３６，３８，４０から背景が除かれて、対象１０のみが認識される。
【００５７】
対象認識部２０４で対象１０が認識された画像３０，３２，３４，３６，３８，４０は、撮影場所を示す位置情報、撮影方向の情報とともに、対象位置推定部２０８に入力される。対象位置推定部２０８では、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３のそれぞれの撮影位置、撮影方向と、画像３０，３２，３４，３６，３８，４０内の対象１０の位置、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３の諸元（焦点距離などのズーム情報、対象１０のフォーカス位置などの情報）に基づいて、対象１０の次の位置を推定する。カメラ制御部２０６は、対象１０の次の位置に基づいて、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３に制御指令を送り、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３を制御する。制御には、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３の撮影方向の制御、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３を移動させる制御等が含まれる。
【００５８】
また、図１９は、図１７と同様にして得られた画像３０，３２，３４，３６，３８，４０について、図１８と同様にビデオ同期部２０２、対象認識部２０４、対象位置推定部２０８による処理を行い、得られた対象の推定位置をデータベース２０６に格納する例を示す模式図である。
【００５９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６０】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、
前記サーバは、
前記映像情報から特定の対象を認識する対象認識部と、
前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、
を有する、情報処理システム。
（２）  複数の前記撮像装置から取得した複数の前記映像情報の時刻を同期する同期部を備え、
前記対象認識部は、前記同期部により時刻が同期された複数の前記映像情報から前記特定の対象を認識する、前記（１）に記載の情報処理システム。
（３）  前記映像情報は、所定のフォーマットに従って前記撮像装置から前記サーバへ送信され、
前記所定のフォーマットは、フレーム毎の映像と、フレーム毎の撮影時刻と、当該映像を撮影した撮影条件に関する情報を含む、前記（１）又は（２）に記載の情報処理システム。
（４）  前記撮影条件は、前記撮像装置の撮影位置、撮影方向、ズーム位置情報、又はフォーカス位置情報を含む、前記（３）に記載の情報処理システム。
（５）  前記対象認識部は、任意の前記撮像装置から得られる前記特定の対象の位置に基づいて、前記特定の対象を周囲に位置する複数の前記撮像装置を特定し、特定した前記撮像装置から得られる前記映像情報から前記特定の対象を認識する、前記（１）〜（４）のいずれかに記載の情報処理システム。
（６）  前記特定の対象の周囲に位置する前記撮像装置の制御権を獲得し、当該撮像装置を制御する制御部を更に備える、前記（１）〜（５）のいずれかに記載の情報処理システム。
（７）  前記制御部は、制御権を獲得した前記撮像装置が前記特定の対象を撮影するように前記撮像装置を制御する、前記（６）に記載の情報処理システム。
（８）  前記制御部は、前記推定部が推定した前記特定の対象の動きに基づいて、複数の前記撮像装置の少なくとも一部を前記特定の対象の移動経路に移動させる、撮像装置制御部を備える、前記（６）に記載の情報処理システム。
（９）  前記推定部は、リアルタイムで取得される前記映像情報から前記対象の動きを推定する、前記（１）〜（８）のいずれかに記載の情報処理システム。
（１０）  前記サーバは、前記映像情報を格納するデータベースを備え、
前記推定部は、過去に撮像されて前記データベースに格納された前記映像情報から前記対象の動きを推定する、前記（１）〜（８）のいずれかに記載の情報処理システム。
【符号の説明】
【００６２】
１００    ＮＩＣＥキャプチャーデバイス
２００    ＮＩＣＥシステム
２０２    ビデオ同期部
２０４    対象認識部
２０６    カメラ制御部
２０８    対象位置推定部
２１０    データベース
【図１】
2019065757.tif 000003
【図２】
2019065757.tif 000004
【図３】
2019065757.tif 000005
【図４】
2019065757.tif 000006
【図５】
2019065757.tif 000007
【図６】
2019065757.tif 000008
【図７】
2019065757.tif 000009
【図８】
2019065757.tif 000010
【図９】
2019065757.tif 000011
【図１０】
2019065757.tif 000012
【図１１】
2019065757.tif 000013
【図１２】
2019065757.tif 000014
【図１３】
2019065757.tif 000015
【図１４】
2019065757.tif 000016
【図１５】
2019065757.tif 000017
【図１６】
2019065757.tif 000018
【図１７】
2019065757.tif 000019
【図１８】
2019065757.tif 000020
【図１９】
2019065757.tif 000021
【図２０】
2019065757.tif 000022
【図２１】
2019065757.tif 000023
【図２２】
2019065757.tif 000024
【図２３】
2019065757.tif 000025
【図２４】
2019065757.tif 000026
【国際調査報告】
2019065757.tif 000027
2019065757.tif 000028
2019065757.tif 000029