(57)【要約】  環境地図の利用価値を向上できる要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造を提供する。要素データ記憶部（４０）は、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する。要素データ更新部（４８）は、新たなセンシングデータに基づいて生成される環境データに基づいて、当該環境データの一部又は全部である追加環境データが関連付けられる要素データを特定する。要素データ更新部（４８）は、特定される要素データに追加環境データを含む要素データを関連付ける。
2020255409.tif 000002
【特許請求の範囲】
【請求項１】
トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部と、
新たなセンシングデータに基づいて生成される環境データに基づいて、当該環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する要素データ特定部と、
特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける関連付け部と、
を含むことを特徴とする要素データ管理装置。
【請求項２】
環境地図を再現すべき時点である再現時点の指定を受け付ける再現時点受付部と、
前記要素データ記憶部に記憶されている複数の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものである、再現要素データを複数特定する再現要素特定部と、
特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成する環境地図再現部と、をさらに含む、
ことを特徴とする請求項１に記載の要素データ管理装置。
【請求項３】
前記要素データは、他の前記要素データへのリンクを含み、
前記再現要素特定部は、所与のルート要素である前記要素データから順に、当該要素データに含まれる前記リンクにより参照される他の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものを特定する処理を再帰的に実行し、
前記環境地図再現部は、再帰的な前記処理の実行によって特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成する、
ことを特徴とする請求項２に記載の要素データ管理装置。
【請求項４】
前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれる、
ことを特徴とする請求項３に記載の要素データ管理装置。
【請求項５】
前記要素データ記憶部に記憶されている複数の要素データは、当該要素データに含まれる前記センシング時点データに対応付けられる時間範囲が長いものであるほどルート側に配置され、短いものであるほどリーフ側に配置されたネットワーク構造のデータである、
ことを特徴とする請求項２に記載の要素データ管理装置。
【請求項６】
メッシュを示す前記要素データには、それぞれ時間帯に対応付けられるテクスチャを示すテクスチャデータが複数関連付けられており、
前記環境地図再現部は、前記再現要素データが示すメッシュに、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記テクスチャデータが示すテクスチャが貼られた環境地図を生成する、
ことを特徴とする請求項２から５のいずれか一項に記載の要素データ管理装置。
【請求項７】
メッシュを示す前記要素データには、それぞれ時間帯に対応付けられる頂点色を示す頂点色データが複数関連付けられており、
前記環境地図再現部は、前記再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記頂点色データが示す色が設定された環境地図を生成する、
ことを特徴とする請求項２から５のいずれか一項に記載の要素データ管理装置。
【請求項８】
前記要素データ記憶部に記憶されている少なくとも１つの前記要素データに基づく最新の環境地図において、当該環境地図には表れているが前記センシングデータに基づく前記環境データには表れていない消滅要素を特定する消滅要素特定部と、
前記要素データ記憶部に記憶されている、前記消滅要素が一部に表れている前記要素データから当該消滅要素を削除する削除部と、をさらに含み、
前記関連付け部は、前記消滅要素を表す消滅環境データと、前記消滅要素がセンシングされた時点に基づいて当該消滅要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む新たな前記要素データを生成して、当該新たな要素データを前記消滅要素が一部に表れている前記要素データに関連付ける、
ことを特徴とする請求項１から７のいずれか一項に記載の要素データ管理装置。
【請求項９】
トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定するステップと、
特定される前記要素データに前記追加環境データを含む前記要素データを関連付けるステップと、
を含むことを特徴とする要素データ管理方法。
【請求項１０】
トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する手順、
特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける手順、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
要素データのデータ構造であって、
トラッカーによるセンシング結果を示すセンシングデータに基づいて生成される環境データと、
当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、
他の前記要素データへのリンクと、を含み、
前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれる、
ことを特徴とする要素データのデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造に関する。
【背景技術】
【０００２】
トラッカーの位置の推定及び環境地図作成を行うＳＬＡＭ（Simultaneous Localization and Mapping）の技術が知られている。【０００３】
ＳＬＡＭの技術では、例えばトラッカーが備えるカメラにより撮影された撮影画像などといった、トラッカーが取得するセンシングデータに基づいて特徴点が特定される。そして特定される特徴点と予め記憶されている環境地図とに基づいて、トラッカーの位置又は向きの推定、及び、環境地図の更新が行われる。【０００４】
また、人間の生活体験を、映像や音声や位置情報などのデジタルデータとして記録するライフログの技術が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発明者は、環境地図をライフログの一部に含め、ユーザによって指定された再現時点における環境地図を表示させることを検討している。【０００６】
しかし従来の環境地図は、複数の時点における環境地図の要素同士が互いに関連付けられておらず、その利用価値が充分発揮されていなかった。【０００７】
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、環境地図の利用価値を向上できる要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る要素データ管理装置は、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部と、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する要素データ特定部と、特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける関連付け部と、を含む。【０００９】
本発明の一態様では、環境地図を再現すべき時点である再現時点の指定を受け付ける再現時点受付部と、前記要素データ記憶部に記憶されている複数の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものである、再現要素データを複数特定する再現要素特定部と、特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成する環境地図再現部と、をさらに含む。【００１０】
この態様では、前記要素データは、他の前記要素データへのリンクを含み、前記再現要素特定部は、所与のルート要素である前記要素データから順に、当該要素データに含まれる前記リンクにより参照される他の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものを特定する処理を再帰的に実行し、前記環境地図再現部は、再帰的な前記処理の実行によって特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成してもよい。【００１１】
さらに、前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれていてもよい。【００１２】
また、本発明の一態様では、前記要素データ記憶部に記憶されている複数の要素データは、当該要素データに含まれる前記センシング時点データに対応付けられる時間範囲が長いものであるほどルート側に配置され、短いものであるほどリーフ側に配置されたネットワーク構造のデータである。【００１３】
また、メッシュを示す前記要素データには、それぞれ時間帯に対応付けられるテクスチャを示すテクスチャデータが複数関連付けられており、前記環境地図再現部は、前記再現要素データが示すメッシュに、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記テクスチャデータが示すテクスチャが貼られた環境地図を生成してもよい。【００１４】
あるいは、メッシュを示す前記要素データには、それぞれ時間帯に対応付けられる頂点色を示す頂点色データが複数関連付けられており、前記環境地図再現部は、前記再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記頂点色データが示す色が設定された環境地図を生成してもよい。【００１５】
また、本発明の一態様では、前記要素データ記憶部に記憶されている少なくとも１つの前記要素データに基づく最新の環境地図において、当該環境地図には表れているが前記センシングデータに基づく前記環境データには表れていない消滅要素を特定する消滅要素特定部と、前記要素データ記憶部に記憶されている、前記消滅要素が一部に表れている前記要素データから当該消滅要素を削除する削除部と、をさらに含み、前記関連付け部は、前記消滅要素を表す消滅環境データと、前記消滅要素がセンシングされた時点に基づいて当該消滅要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む新たな前記要素データを生成して、当該新たな要素データを前記消滅要素が一部に表れている前記要素データに関連付ける。【００１６】
また、本発明に係る要素データ管理方法は、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定するステップと、特定される前記要素データに前記追加環境データを含む前記要素データを関連付けるステップと、を含む。【００１７】
また、本発明に係るプログラムは、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する手順、特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける手順、をコンピュータに実行させる。【００１８】
また、本発明に係る要素データのデータ構造は、要素データのデータ構造であって、トラッカーによるセンシング結果を示すセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、他の前記要素データへのリンクと、を含み、前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る環境地図管理システムの一例を示す構成図である。
【図２Ａ】本発明の一実施形態に係るサーバの一例を示す構成図である。
【図２Ｂ】本発明の一実施形態に係るトラッカーの一例を示す構成図である。
【図３】本発明の一実施形態に係る環境地図管理システムで実装される機能の一例を示す機能ブロック図である。
【図４】メッシュ要素データのデータ構造の一例を示す図である。
【図５】テクスチャ要素データのデータ構造の一例を示す図である。
【図６】要素データ間の関係の一例を模式的に示す図である。
【図７Ａ】本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。
【図７Ｂ】本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。
【図８】本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。
【図９】本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００２１】
図１は、本発明の一実施形態に係る環境地図管理システム１の一例を示す構成図である。図１に示すように、本実施形態に係る環境地図管理システム１には、サーバ１０とトラッカー１２とが含まれる。
【００２２】
サーバ１０、トラッカー１２は、インターネット等のコンピュータネットワーク１４に接続されている。そして本実施形態では、サーバ１０とトラッカー１２とは、互いに通信可能となっている。
【００２３】
本実施形態に係るサーバ１０は、例えば、環境地図管理システム１のユーザが利用するサーバコンピュータである。
【００２４】
図２Ａに示すように、本実施形態に係るサーバ１０には、プロセッサ２０、記憶部２２、及び、通信部２４、が含まれる。プロセッサ２０は、例えばサーバ１０にインストールされているプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。通信部２４は、ネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。
【００２５】
本実施形態に係るトラッカー１２は、当該トラッカー１２を装着したユーザの位置や向きを追跡する装置である。
【００２６】
図２Ｂに示すように、本実施形態に係るトラッカー１２には、プロセッサ３０、記憶部３２、通信部３４、表示部３６、センサ部３８、が含まれる。
【００２７】
プロセッサ３０は、例えばトラッカー１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部３２は、例えばメモリ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
【００２８】
表示部３６は、トラッカー１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
【００２９】
センサ部３８は、例えばカメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、ＧＰＳ（Global Positioning System）モジュール、デプスセンサなどといったセンサである。センサ部３８に含まれるカメラは、例えば所定のサンプリングレートで画像を撮影する。またセンサ部３８に含まれる地磁気センサは、トラッカー１２が向く方位を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれる慣性センサは、トラッカー１２の加速度、回転量、移動量などを示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれるＧＰＳモジュールは、トラッカー１２の緯度及び経度を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。センサ部３８に含まれるデプスセンサは、例えば、ＴｏＦ（Time of Flight）、Patterned stereo、Structured Lightなどの技術を用いたデプスセンサである。当該デプスセンサは、トラッカー１２からの距離を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。また、センサ部３８に、ＲＦセンサ、超音波センサ、イベントドリブンセンサなどの他のセンサが含まれていてもよい。
【００３０】
なお本実施形態に係るトラッカー１２が、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポート、ヘッドホン、スピーカなどを含んでいてもよい。
【００３１】
本実施形態では、トラッカー１２によって取得されるセンシングデータに基づいて、自己位置推定、及び、環境地図生成を含むＳＬＡＭ（Simultaneous Localization and Mapping）処理が実行される。当該自己位置推定においては、例えば、トラッカー１２の位置及び向きの少なくとも一方が推定される。ここでトラッカー１２のグローバルな位置や向きが推定されてもよい。また、このようにして生成される環境地図は、ＶＲ（Virtual Reality）表示やＡＲ（Augmented Reality）表示等の各種の処理に利用される。
【００３２】
本実施形態では以下で説明するようにして、環境地図の利用価値が向上する。
【００３３】
また、本実施形態では、ＳＬＡＭ処理によって、トラッカー１２が取得するセンシングデータに基づく環境データが生成される。環境データとは、本実施形態では例えば、ＳＬＡＭ処理によってセンシングデータに基づいて生成される、ポイントクラウド、３Ｄメッシュ、テクスチャなどのオブジェクトを示すデータである。そしてこのようにして生成される環境データがライフログの一部としてサーバ１０に蓄積される。そして、本実施形態では、サーバ１０に蓄積される環境データに基づいて、ユーザによって指定された再現時点における環境地図が生成される。このようにして生成される環境地図は、例えば、トラッカー１２の表示部３６に表示される。
【００３４】
ここで指定された再現時点における環境地図が表示されるようにするために、様々な時点における環境地図を時系列でサーバ１０に記憶すると、環境地図を記憶するために必要な記憶容量が膨大になる。
【００３５】
そこで本実施形態では以下のようにして、時系列で管理された環境地図の記憶に必要な記憶容量を節約できるようにした。
【００３６】
以下、本実施形態に係るサーバ１０及びトラッカー１２の機能、及び、サーバ１０で行われる処理についてさらに説明する。
【００３７】
図３は、本実施形態に係るサーバ１０及びトラッカー１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るサーバ１０及びトラッカー１２で、図３に示す機能のすべてが実装される必要はなく、また、図３に示す機能以外の機能が実装されていても構わない。
【００３８】
図３に示すように、サーバ１０には、機能的には例えば、要素データ記憶部４０、センシングデータ受信部４２、ＳＬＡＭ処理実行部４４、要素データ更新部４６、再現時点受付部４８、再現要素特定部５０、環境地図再現部５２、再現環境地図送信部５４、が含まれる。要素データ記憶部４０は、記憶部２２を主として実装される。センシングデータ受信部４２、再現時点受付部４８、再現環境地図送信部５４は、通信部２４を主として実装される。ＳＬＡＭ処理実行部４４、要素データ更新部４６、再現要素特定部５０、環境地図再現部５２は、プロセッサ２０を主として実装される。
【００３９】
以上の機能は、コンピュータであるサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してサーバ１０に供給されてもよい。
【００４０】
また、図３に示すように、トラッカー１２には、機能的には例えば、センシングデータ取得部６０、センシングデータ送信部６２、再現時点送信部６４、再現環境地図受信部６６、表示制御部６８、が含まれる。センシングデータ取得部６０は、プロセッサ３０及びセンサ部３８を主として実装される。センシングデータ送信部６２、再現時点送信部６４、再現環境地図受信部６６は、通信部３４を主として実装される。表示制御部６８は、プロセッサ３０及び表示部３６を主として実装される。
【００４１】
以上の機能は、コンピュータであるトラッカー１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してトラッカー１２に供給されてもよい。
【００４２】
要素データ記憶部４０は、本実施形態では例えば、要素データを少なくとも１つ記憶する。本実施形態に係る要素データには、環境データとセンシング時点データとが含まれる。
【００４３】
環境データとは、本実施形態では例えば、上述のように、ＳＬＡＭ処理によってセンシングデータに基づいて生成される、ポイントクラウド、３Ｄメッシュ、テクスチャなどのオブジェクトを示すデータである。
【００４４】
センシング時点データとは、本実施形態では例えば、環境データが表す物体や物体の一部などといった要素がセンシングされた時点に対応付けられるデータである。センシング時点データにおける時点の表現形式は特に限定されず、例えば、年月日、日時、時刻、タイムスタンプなどによって表現される。
【００４５】
図４は、本実施形態に係る要素データの一例であるメッシュ要素データのデータ構造の一例を示す図である。メッシュ要素データは、例えば、３Ｄメッシュなどのメッシュに対応付けられるデータである。図４に示すメッシュ要素データには、要素ＩＤ、メッシュデータ、テクスチャ要素ＩＤリスト、センシング時点データ、及び、子要素ＩＤリストが含まれる。
【００４６】
メッシュ要素データに含まれる要素ＩＤは、当該メッシュ要素データの識別情報である。
【００４７】
メッシュ要素データに含まれるメッシュデータは、上述の環境データの一例であり、３Ｄメッシュなどのメッシュ、及び、当該メッシュが配置される位置や向きを示すデータである。
【００４８】
メッシュ要素データに含まれるテクスチャ要素ＩＤリストには、当該メッシュ要素データと関連付けられているテクスチャ要素データの要素ＩＤが設定される。すなわち、テクスチャ要素ＩＤリストは、当該メッシュ要素データと関連付けられているテクスチャ要素データへのリンクである。テクスチャ要素ＩＤリストには、複数の要素ＩＤが設定されてもよい。
【００４９】
メッシュ要素データに含まれるセンシング時点データには、発生時点データと、消滅時点データと、が含まれる。
【００５０】
メッシュ要素データに含まれる発生時点データは、本実施形態では例えば、当該メッシュ要素データに含まれるメッシュデータが示すメッシュが表す要素が最初にセンシングされた時点を示すデータである。
【００５１】
メッシュ要素データに含まれる消滅時点データは、本実施形態では例えば、センシングデータに基づいて、当該メッシュ要素データに含まれるメッシュデータが示すメッシュが表す要素が実空間において消滅したことが確認された時点を示すデータである。消滅時点データは、例えば、最新のセンシングデータに基づいて、当該メッシュが表す要素が実空間において消滅したことが確認された時点を示すデータである。
【００５２】
このように本実施形態に係るセンシング時点データが、環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるデータであってもよい。本実施形態では例えば、メッシュ要素データに含まれる発生時点データが示す時点から消滅時点データが示す時点までの時間範囲が、当該要素データが表す要素の実空間における存在が推定される時間範囲に相当する。
【００５３】
なお本実施形態において、発生時点データ、及び、消滅時点データのうちの少なくとも一方について、値が設定されていなくてもよい。例えば、要素データに含まれる消滅時点データが設定されていないことは、当該要素データが表す要素の実空間における存在が推定される時間範囲の終わりが設定されていないことに相当する。また例えば、要素データに含まれる発生時点データが設定されていないことは、当該要素データが表す要素の実空間における存在が推定される時間範囲の始まりが設定されていないことに相当する。
【００５４】
メッシュ要素データに含まれる子要素ＩＤリストには、当該メッシュ要素データの子要素として関連付けられている他のメッシュ要素データの要素ＩＤが設定される。子要素ＩＤリストには、複数の要素ＩＤが設定されてもよい。
【００５５】
図５は、本実施形態に係る要素データの別の一例であるテクスチャ要素データのデータ構造の一例を示す図である。テクスチャ要素データは、例えば、３Ｄメッシュに貼られるテクスチャに対応付けられるデータである。図５に示すメッシュ要素データには、要素ＩＤ、テクスチャデータ、及び、センシング時点データが含まれる。
【００５６】
テクスチャ要素データに含まれる要素ＩＤは、当該テクスチャ要素データの識別情報である。
【００５７】
テクスチャ要素データに含まれるテクスチャデータは、３Ｄメッシュなどのメッシュに貼られるテクスチャを示すデータである。
【００５８】
センシング時点データは、本実施形態では例えば、当該テクスチャ要素データに含まれるテクスチャデータが示すテクスチャがセンシングされた時点を示すデータである。
【００５９】
図６は、本実施形態に係る要素データ間の関係の一例を模式的に示す図である。
【００６０】
図６に示す要素Ｍ１〜要素Ｍ７は、メッシュ要素データに対応する。図６に示す要素Ｔ１〜要素Ｔ８は、テクスチャ要素データに対応する。以下、関連付けられている親要素がない要素データ、すなわち、要素データ記憶部４０に記憶されているいずれの要素データの子要素ＩＤリストにも当該要素データの要素ＩＤが設定されていないような要素データをルート要素データと呼ぶこととする。図６の例では要素Ｍ１がルート要素データである。
【００６１】
そして、要素Ｍ１の子要素が、要素Ｍ２、要素Ｍ３である。また、要素Ｍ１には、２つのテクスチャ要素データ（要素Ｔ１、及び、要素Ｔ２）が関連付けられている。そして、要素Ｍ２の子要素が、要素Ｍ４及び要素Ｍ５である。また、要素Ｍ２には、１つのテクスチャ要素データ（要素Ｔ３）が関連付けられている。要素Ｍ３には、１つのテクスチャ要素データ（要素Ｔ４）が関連付けられている。要素Ｍ４の子要素が、要素Ｍ６及び要素Ｍ７である。また、要素Ｍ４には、１つのテクスチャ要素データ（要素Ｔ５）が関連付けられている。要素Ｍ５には、１つのテクスチャ要素データ（要素Ｔ６）が関連付けられている。要素Ｍ６には、１つのテクスチャ要素データ（要素Ｔ７）が関連付けられている。要素Ｍ７には、１つのテクスチャ要素データ（要素Ｔ８）が関連付けられている。
【００６２】
このように本実施形態では、複数の要素データが互いに関連付けられたネットワーク構造（ここでは例えば木構造）で管理される。当該複数の要素データは、当該要素データに含まれるセンシング時点データに対応付けられる時間範囲が長いものであるほどルート側に配置され、短いものであるほどリーフ側に配置されたネットワーク構造のデータである。
【００６３】
センシングデータ取得部６０は、本実施形態では例えば、トラッカー１２のセンサ部３８により生成されるセンシングデータを取得する。
【００６４】
センシングデータ取得部６０が取得するセンシングデータには、例えば、トラッカー１２のセンサ部３８に含まれるカメラにより撮影される画像が含まれていてもよい。また、トラッカー１２が取得するセンシングデータに、トラッカー１２のセンサ部３８に含まれるカメラやデプスセンサにより計測されるデプスデータが含まれていてもよい。
【００６５】
また、トラッカー１２が取得するセンシングデータには、トラッカー１２のセンサ部３８に含まれる地磁気センサにより計測される、トラッカー１２の方位を示すデータが含まれていてもよい。また、トラッカー１２が取得するセンシングデータには、センサ部３８に含まれる慣性センサにより計測される、トラッカー１２の加速度、回転量、移動量などを示すデータが含まれていてもよい。
【００６６】
また、トラッカー１２が取得するセンシングデータには、センサ部３８に含まれるＧＰＳモジュールにより計測される、トラッカー１２の緯度及び経度を示すデータが含まれていてもよい。また、トラッカー１２が取得するセンシングデータに、特徴点群（キーフレーム）が含まれていてもよい。
【００６７】
センシングデータ送信部６２は、本実施形態では例えば、センシングデータ取得部６０が取得するセンシングデータをサーバ１０に送信する。本実施形態では例えば、トラッカー１２によるセンシングが行われた時点を示すセンシング時点データが関連付けられたセンシングデータが送信される。
【００６８】
本実施形態では例えば、トラッカー１２におけるセンシングデータの取得及び送信は、繰り返し実行される。
【００６９】
センシングデータ受信部４２は、本実施形態では例えば、トラッカー１２により送信されるセンシングデータを受信する。
【００７０】
ＳＬＡＭ処理実行部４４は、本実施形態では例えば、センシングデータ受信部４２が受信するセンシングデータに基づいて、トラッカー１２の位置又は向きの推定を含むＳＬＡＭ処理を実行する。ここでトラッカー１２のグローバルな位置や向きが推定されてもよい。ここで例えば、ＳＬＡＭ処理実行部４４が、リロカライズ処理、ループクロージング処理、３Ｄメッシュ化処理、物体認識処理などを含むＳＬＡＭ処理を実行してもよい。
【００７１】
ここで当該ＳＬＡＭ処理に、平面検出／３Ｄメッシュのセグメンテーション処理が含まれていてもよい。平面検出／３Ｄメッシュのセグメンテーション処理とは、地面、壁などといった連続した平面を検出して、全体の３Ｄメッシュを、地面、建物、木、などといった個々の３Ｄメッシュに分割する処理を指す。また、当該ＳＬＡＭ処理に、３Ｄメッシュの最適化処理が含まれていてもよい。３Ｄメッシュの最適化処理とは、３Ｄメッシュから、移動体と推定される部分や、ノイズなどによるゴミを除去したり、ポリゴン数を減らしたり、メッシュの表面を滑らかにしたりする処理を指す。また、当該ＳＬＡＭ処理に、テクスチャ生成処理が含まれていてもよい。テクスチャ生成処理とは、メッシュの頂点の色に基づいて３Ｄメッシュに対するテクスチャイメージを生成する処理を指す。
【００７２】
また例えば、ＳＬＡＭ処理実行部４４が、センシングデータ受信部４２が受信するセンシングデータを記憶してもよい。そして、時系列のセンシングデータを用いてＳＬＡＭ処理を実行してもよい。
【００７３】
ＳＬＡＭ処理実行部４４が実行する上述のＳＬＡＭ処理によって、メッシュデータやテクスチャデータなどといった、環境データが生成される。
【００７４】
ＳＬＡＭ処理実行部４４は、ＳＬＡＭ処理の実行にあたり、要素データ記憶部４０に記憶されている要素データや、当該要素データに基づいて生成される環境地図にアクセスすることがある。
【００７５】
以下、新たなセンシングデータ（サーバ１０が最後に受信したセンシングデータ）に基づく環境データを、最新環境データと呼ぶこととする。
【００７６】
要素データ更新部４６は、本実施形態では例えば、要素データ記憶部４０に記憶されている複数の要素データに基づいて最新の環境地図を生成する。そして、要素データ更新部４６は、当該最新の環境地図の一部と、最新環境データと、の差分を特定する。
【００７７】
例えば、要素データ更新部４６は、例えば、最新環境データに表れている要素の実空間における位置に相当する最新の環境地図の一部と、当該最新環境データと、の差分を特定する。
【００７８】
そして、要素データ更新部４６は、最新環境データの一部又は全部である、要素データ記憶部４０に記憶されている複数の要素データに基づく最新の環境地図に表れていない要素を表す追加環境データを生成する。
【００７９】
ここで要素データ更新部４６は、例えば、最新環境データのうちから、最新の環境地図に表れていない要素を表す一部を特定する。ここで最新環境データが表す要素が、最新の環境地図に全く表れてない場合は、最新環境データの全部が特定される。そして、要素データ更新部４６は、このようにして特定される環境データのうちの一部又は全部を表す追加環境データを生成する。追加環境データには、メッシュを示す追加メッシュデータとテクスチャを示す追加テクスチャデータの２種類が存在する。
【００８０】
そして、要素データ更新部４６は、このようにして生成される追加環境データを含む新たな要素データを生成する。以下、追加環境データを含む新たな要素データを追加要素データと呼ぶこととする。また、追加メッシュデータを含む新たな要素データを追加メッシュ要素データと呼び、追加テクスチャデータを含む新たな要素データを追加テクスチャ要素データと呼ぶこととする。
【００８１】
そして、要素データ更新部４６は、追加要素データを要素データ記憶部４０に記憶させる。
【００８２】
追加メッシュ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。追加メッシュ要素データに含まれるメッシュデータには、追加メッシュデータが設定される。追加メッシュ要素データに含まれるテクスチャ要素ＩＤリストには、当該追加メッシュデータが表す要素のテクスチャを示すテクスチャデータ（例えば追加テクスチャデータ）のテクスチャ要素ＩＤが設定される。追加メッシュ要素データに含まれる発生時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
【００８３】
また本実施形態では、要素データ更新部４６は、当該追加メッシュデータが関連付けられるメッシュ要素データを特定する。例えば追加メッシュデータが示すメッシュに隣接するメッシュのメッシュ要素データが特定される。そして、要素データ更新部４６は、特定されるメッシュ要素データの子要素ＩＤリストに、追加メッシュ要素データの要素ＩＤを追加する。このようにして、特定されるメッシュ要素データの子要素として、追加メッシュ要素データが登録される。このようにして、要素データ更新部４６は、特定されるメッシュ要素データに追加メッシュ要素データを関連付ける。
【００８４】
追加テクスチャ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。追加テクスチャ要素データに含まれるテクスチャデータには、追加テクスチャデータが設定される。追加テクスチャ要素データに含まれるセンシング時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
【００８５】
ここで要素データ更新部４６は、追加テクスチャデータが示すテクスチャが貼られるメッシュを特定してもよい。そして、当該メッシュを示すメッシュデータのテクスチャ要素ＩＤリストに当該追加テクスチャデータの要素ＩＤを追加してもよい。
【００８６】
また、要素データ更新部４６は、最新の環境地図において、当該環境地図には表れているが最新環境データには表れていない消滅要素を特定する。そして、要素データ更新部４６は、このようにして特定される消滅要素を表す消滅環境データを生成する。消滅環境データには、メッシュを示す消滅メッシュデータとテクスチャを示す消滅テクスチャデータの２種類が存在する。
【００８７】
また、要素データ更新部４６は、本実施形態では例えば、消滅要素が一部に表れている要素データから消滅要素を削除する。ここでは例えば、メッシュデータの一部が削除される。
【００８８】
そして、要素データ更新部４６は、消滅環境データと、消滅要素がセンシングされた時点に基づいて当該消滅要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む新たな要素データを生成する。以下、消滅環境データを含む新たな要素データを消滅要素データと呼ぶこととする。消滅メッシュデータを含む新たな要素データを消滅メッシュ要素データと呼ぶこととする。また、消滅テクスチャデータを含む新たな要素データを消滅テクスチャ要素データと呼ぶこととする。
【００８９】
そして、要素データ更新部４６は、消滅要素データを要素データ記憶部４０に記憶させる。
【００９０】
消滅メッシュ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。消滅メッシュ要素データに含まれるメッシュデータには、消滅メッシュデータが設定される。消滅メッシュ要素データに含まれるテクスチャ要素ＩＤリストには、当該消滅メッシュデータが表す要素のテクスチャを示すテクスチャデータのテクスチャ要素ＩＤが設定される。消滅メッシュ要素データに含まれる発生時点データの値には、消滅要素に相当する一部が削除されたメッシュ要素データの発生時点データの値が設定される。後述するように消滅要素に相当する一部が削除されたメッシュ要素データは消滅メッシュ要素データの親要素として設定される。そのため、消滅メッシュ要素データに含まれる発生時点データの値には、当該消滅メッシュ要素データの親要素であるメッシュ要素データの発生時点データの値が設定されることとなる。消滅メッシュ要素データに含まれる消滅時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
【００９１】
また本実施形態では、要素データ更新部４６は、当該消滅メッシュデータに関連付けられるメッシュ要素データを特定する。例えば消滅要素に相当する一部が削除されたメッシュ要素データが特定される。そして、特定されるメッシュ要素データの子要素ＩＤリストに、消滅メッシュ要素データの要素ＩＤが追加される。このようにして、特定されるメッシュ要素データの子要素として、消滅メッシュ要素データが登録される。
【００９２】
消滅テクスチャ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。消滅テクスチャ要素データに含まれるテクスチャデータには、消滅テクスチャデータが設定される。消滅テクスチャ要素データに含まれるセンシング時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
【００９３】
ここで要素データ更新部４６は、消滅テクスチャデータが示すテクスチャが貼られるメッシュを特定してもよい。そして、当該メッシュを示すメッシュデータのテクスチャ要素ＩＤリストに当該消滅テクスチャデータの要素ＩＤを追加してもよい。
【００９４】
ここで、要素データ記憶部４０に記憶されている要素データのうちに、含まれる環境データが表す要素が消滅要素と一致するものが存在することがある。この場合は、上述した、消滅要素が一部に表れている要素データからの消滅要素の削除は実行されない。その代わりに、要素データ更新部４６は、当該要素データに含まれる消滅時点データの値に、最新のセンシングデータに関連付けられているセンシング時点データの値を設定する。
【００９５】
本実施形態では、以上のようにして要素データの生成及び登録が行われる。そのため、要素データに含まれるセンシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される要素データに含まれるセンシング時点データに対応付けられる時間範囲が含まれることとなる。例えば、メッシュ要素データに含まれるセンシング時点データに対応付けられる時間範囲には、当該メッシュ要素データの子要素であるメッシュ要素データに含まれるセンシング時点データに対応付けられる時間範囲が含まれることとなる。
【００９６】
再現時点送信部６４は、本実施形態では例えば、ユーザにより再現時点の指定操作に応じて、当該再現時点を示す再現時点データを生成して、当該再現時点データをサーバ１０に送信する。再現時点データにおける時点の表現形式は特に限定されず、例えば、年月日、日時、時刻、タイムスタンプなどによって表現される。
【００９７】
再現時点受付部４８は、本実施形態では例えば、環境地図を再現すべき時点である再現時点の指定を受け付ける。再現時点受付部４８は、例えば、トラッカー１２から送信される再現時点データを受信する。
【００９８】
再現要素特定部５０は、本実施形態では例えば、要素データ記憶部４０に記憶されている複数の要素データのうちから、再現時点を含む時間範囲に対応付けられるセンシング時点データを含むものを複数特定する。以下、再現時点を含む時間範囲に対応付けられるセンシング時点データを含む要素データを、再現要素データと呼ぶこととする。
【００９９】
ここでは例えば、メッシュ要素データに含まれる発生時点データが示す時点と消滅時点データが示す時点との間に再現時点が含まれることが、当該メッシュ要素データが再現要素データであることの条件である。そして当該条件を満たすメッシュ要素データが、再現要素データとして特定される。ここで消滅時点データの値が設定されていないメッシュ要素データについては、発生時点データが示す時点が再現時点以前であるものが再現要素データとして特定される。また、発生時点データの値が設定されていないメッシュ要素データについては、消滅時点データが示す時点が再現時点以後であるものが再現要素データとして特定される。
【０１００】
また、センシング時点データが示す時点と再現時点とが一致するテクスチャ要素データが特定される。ここでセンシング時点データが示す時点が再現時点に最も近いテクスチャ要素データが特定されてもよい。あるいは、センシング時点データが示す時点が再現時点よりも前であるもののうちから、センシング時点データが示す時点が再現時点に最も近いテクスチャ要素データが特定されてもよい。
【０１０１】
環境地図再現部５２は、本実施形態では例えば、再現要素特定部５０により特定される再現要素データのそれぞれに含まれる環境データを合成することで、再現時点における環境地図を生成する。ここでは例えばトラッカー１２から受信する再現時点データが示す時点における環境地図が生成される。以下、このようにして生成される環境地図を再現環境地図と呼ぶこととする。
【０１０２】
再現環境地図送信部５４は、本実施形態では例えば、環境地図再現部５２により生成される再現環境地図をトラッカー１２に送信する。ここで例えば、トラッカー１２の位置に相当する環境地図内における位置から、トラッカー１２に向きに相当する環境地図内における向きを見た様子を表す画像が送信されるようにしてもよい。
【０１０３】
再現環境地図受信部６６は、本実施形態では例えば、再現環境地図送信部５４が送信する再現環境地図などのデータを受信する。
【０１０４】
表示制御部６８は、本実施形態では例えば、再現環境地図受信部６６が受信する再現環境地図などのデータを用いた、ＶＲ表示やＡＲ表示などの各種の処理を実行する。
【０１０５】
ここで、本実施形態に係るサーバ１０で行われる要素データの更新処理の流れの一例を、図７Ａ及び図７Ｂに例示するフロー図を参照しながら説明する。
【０１０６】
まず、センシングデータ受信部４２が、最新のセンシングデータを受信する（Ｓ１０１）。
【０１０７】
そして、ＳＬＡＭ処理実行部４４が、Ｓ１０１に示す処理で受信したセンシングデータに基づくＳＬＡＭ処理を実行する（Ｓ１０２）。Ｓ１０２に示す処理が実行されることにより、最新環境データが生成される。
【０１０８】
そして、要素データ更新部４６が、Ｓ１０２に示す処理で生成された最新環境データと、要素データ記憶部４０に記憶されている複数の要素データに基づいて生成される最新の環境地図の一部と、の差分を特定する（Ｓ１０３）。Ｓ１０３に示す処理において、要素データ更新部４６は、複数の要素データを合成することにより最新の環境地図を生成して、生成された環境地図の一部と最新環境データとの差分を特定してもよい。
【０１０９】
そして、要素データ更新部４６が、Ｓ１０３に示す処理での特定の結果に基づいて、追加環境データ、及び、消滅環境データを生成する（Ｓ１０４）。
【０１１０】
要素データ更新部４６が、Ｓ１０４に示す処理で生成された追加環境データのうちから、Ｓ１０６及びＳ１０７に示す処理が実行されていない１つを選択する（Ｓ１０５）。
【０１１１】
そして、要素データ更新部４６が、Ｓ１０５に示す処理で選択された追加環境データに関連付けられる要素データを特定する（Ｓ１０６）。
【０１１２】
そして、要素データ更新部４６が、Ｓ１０５に示す処理で選択された追加環境データを含む追加要素データを生成して、当該追加要素データをＳ１０６に示す処理で特定された要素データに関連付けられる要素として登録する（Ｓ１０７）。ここで追加メッシュ要素データについては、Ｓ１０６に示す処理で特定された要素データの子要素として登録される。
【０１１３】
そして、要素データ更新部４６は、Ｓ１０４に示す処理で生成されたすべての追加環境データについて、Ｓ１０５〜Ｓ１０７に示す処理が実行されたか否かを確認する（Ｓ１０８）。
【０１１４】
Ｓ１０４に示す処理で生成されたすべての追加環境データについて、Ｓ１０５〜Ｓ１０７に示す処理が実行されていないことが確認された場合は（Ｓ１０８：Ｎ）、Ｓ１０５に示す処理に戻る。
【０１１５】
Ｓ１０４に示す処理で生成されたすべての追加環境データについて、Ｓ１０５〜Ｓ１０７に示す処理が実行されたことが確認されたとする（Ｓ１０８：Ｙ）。この場合、要素データ更新部４６が、Ｓ１０４に示す処理で生成された消滅環境データのうちから、Ｓ１１０〜Ｓ１１４に示す処理が実行されていない１つを選択する（Ｓ１０９）。
【０１１６】
そして、要素データ更新部４６が、Ｓ１０９に示す処理で選択された消滅環境データに関連付けられる要素データを特定する（Ｓ１１０）。
【０１１７】
そして、要素データ更新部４６は、Ｓ１１０に示す処理で特定された要素データに含まれる環境データがＳ１０９に示す処理で選択された消滅環境データと一致するか否かを判定する（Ｓ１１１）。
【０１１８】
一致する場合は（Ｓ１１１：Ｙ）、Ｓ１１０に示す処理で特定された要素データの消滅時点データの値に、Ｓ１０１に示す処理で受信した最新のセンシングデータに関連付けられているセンシング時点データの値を設定する（Ｓ１１２）。
【０１１９】
一致しない場合は（Ｓ１１１：Ｎ）、Ｓ１１０に示す処理で特定された要素データからＳ１０９に示す処理で選択された消滅環境データに相当する消滅要素を削除する（Ｓ１１３）。
【０１２０】
そして、要素データ更新部４６が、Ｓ１０９に示す処理で選択された消滅環境データを含む消滅要素データを生成して、当該消滅要素データをＳ１１０に示す処理で特定された要素データに関連付けられる要素として登録する（Ｓ１１４）。ここで消滅メッシュ要素データについては、Ｓ１１０に示す処理で特定された要素データの子要素として登録される。
【０１２１】
そして、要素データ更新部４６は、Ｓ１０４に示す処理で生成されたすべての消滅環境データについて、Ｓ１０９〜Ｓ１１４に示す処理が実行されたか否かを確認する（Ｓ１１５）。
【０１２２】
Ｓ１０４に示す処理で生成されたすべての消滅環境データについて、Ｓ１０９〜Ｓ１１４に示す処理が実行されていないことが確認された場合は（Ｓ１１５：Ｎ）、Ｓ１０９に示す処理に戻る。
【０１２３】
Ｓ１０４に示す処理で生成されたすべての消滅環境データについて、Ｓ１０９〜Ｓ１１４に示す処理が実行されたことが確認された場合は（Ｓ１１５：Ｙ）、本処理例に示す処理は終了する。
【０１２４】
次に、本実施形態に係るサーバ１０で行われる再現環境地図の送信に係る処理の流れの一例を、図８に例示するフロー図を参照しながら説明する。
【０１２５】
まず、再現時点受付部４８が、トラッカー１２から送信される再現時点データを受信する（Ｓ２０１）。
【０１２６】
そして、再現要素特定部５０は、ルート要素データに含まれるメッシュデータが示すメッシュを特定する（Ｓ２０２）。
【０１２７】
そして、再現要素特定部５０は、ルート要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データを特定し、特定されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャを特定する（Ｓ２０３）。ここで、ルート要素データに含まれるテクスチャ要素ＩＤリストに複数の要素ＩＤが設定されている場合は、再現時点データが示す再現時点に基づいて、これら複数の要素ＩＤのそれぞれに対応するテクスチャ要素データのうちの１つが選択される。そして選択されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定される。
【０１２８】
そして、環境地図再現部５２は、Ｓ２０２に示す処理で特定されたメッシュにＳ２０３に示す処理で特定されたテクスチャが貼られた環境地図である再現環境地図を生成する（Ｓ２０４）。
【０１２９】
そして、再現要素特定部５０は、ルート要素データの子要素であるメッシュ要素データのうちから、再現要素データを特定する（Ｓ２０５）。
【０１３０】
再現要素特定部５０は、Ｓ２０５に示す処理で特定された再現要素データのうちから、後述の図９に示すサブルーチン処理が実行されていない１つを選択する（Ｓ２０６）。
【０１３１】
そして、再現要素特定部５０、及び、環境地図再現部５２は、Ｓ２０６に示す処理で選択された再現要素データを引数とする、図９に示すサブルーチン処理を実行する（Ｓ２０７）。
【０１３２】
そして、再現要素特定部５０は、Ｓ２０５に示す処理で特定されたすべての再現要素データについて、図９に示すサブルーチン処理が実行されたか否かを確認する（Ｓ２０８）。
【０１３３】
Ｓ２０５に示す処理で特定されたすべての再現要素データについて、図９に示すサブルーチン処理が実行されていないことが確認された場合は（Ｓ２０８：Ｎ）、Ｓ２０６に示す処理に戻る。
【０１３４】
Ｓ２０５に示す処理で特定されたすべての再現要素データについて、図９に示すサブルーチン処理が実行されたことが確認されたとする（Ｓ２０８：Ｙ）。この場合は、再現環境地図送信部５４は、再現環境地図をトラッカー１２に送信して（Ｓ２０９）、本処理例に示す処理を終了する。
【０１３５】
ここで、再現要素データを引数とするサブルーチン処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。
【０１３６】
まず、再現要素特定部５０は、再現要素データに含まれるメッシュデータが示すメッシュを特定する（Ｓ３０１）。
【０１３７】
そして、再現要素特定部５０は、再現要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データを特定し、特定されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャを特定する（Ｓ３０２）。ここで、再現要素データに含まれるテクスチャ要素ＩＤリストに複数の要素ＩＤが設定されている場合は、再現時点データが示す再現時点に基づいて、これら複数の要素ＩＤのそれぞれに対応するテクスチャ要素データのうちの１つが選択される。そして選択されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定される。
【０１３８】
そして、環境地図再現部５２は、Ｓ３０１に示す処理で特定されたメッシュにＳ３０２に示す処理で特定されたテクスチャが貼られた環境地図を生成して、生成された環境地図を、再現環境地図に追加する（Ｓ３０３）。
【０１３９】
そして、再現要素特定部５０は、再現要素データの子要素であるメッシュ要素データのうちに、再現要素データであることの条件を満たすものがあるか否かを確認する（Ｓ３０４）。
【０１４０】
ある場合は（Ｓ３０４：Ｙ）、再現要素特定部５０及び環境地図再現部５２は、再現要素データであることの条件を満たす子要素のそれぞれについて、当該子要素を引数とする、図９に示すサブルーチン処理（Ｓ３０１〜Ｓ３０５）を再帰的に実行する（Ｓ３０５）。
【０１４１】
ない場合は（Ｓ３０４：Ｎ）、本サブルーチン処理を終了する。
【０１４２】
本実施形態によれば、以上のようにして複数の時点にそれぞれ対応付けられる要素データ同士が互いに関連付けられるようにすることで、環境地図の利用価値が向上することとなる。
【０１４３】
また、以上のようにして、本実施形態によれば、様々な時点における環境地図を時系列で記憶する場合よりも、時系列で管理された環境地図の記憶に必要な記憶容量を節約できる。
【０１４４】
また上述の処理例では、再現要素特定部５０は、ルート要素データから順に、子要素であるメッシュ要素データのうちから、再現要素データであることの条件を満たすものを特定する処理を再帰的に実行する。
【０１４５】
本実施形態では、要素データに含まれるセンシング時点データに対応付けられる時間範囲には、当該要素データの子要素に含まれるセンシング時点データに対応付けられる時間範囲が含まれる。そのため、ある要素データが再現要素データの条件を満たさないことが確認された場合は、その子要素についても同様に、再現要素データの条件を満たさないことが判明する。そのため当該子要素についてはアクセスする必要がない。そのため、要素データ記憶部４０に記憶されているすべての要素データにアクセスすることなく再現環境地図を生成することができる。
【０１４６】
本実施形態において、テクスチャ要素データに含まれるセンシング時点データが、例えば、「朝」、「昼」、「夜」などといった時間帯を示してもよい。そして、テクスチャ要素データの登録の際には、最新のセンシングデータに関連付けられているセンシング時点データが示す時点が属する時間帯に応じた値がセンシング時点データに設定されてもよい。そして、メッシュ要素データのテクスチャ要素ＩＤリストによって、それぞれ互いに異なる時間帯に対応付けられるテクスチャ要素データが複数関連付けられてもよい。
【０１４７】
また、再現環境地図の生成の際には、環境地図再現部５２は、テクスチャ要素データにおいて、再現時点が属する時間帯に対応付けられるセンシング時点データに関連付けられているテクスチャデータが示すテクスチャがメッシュに貼られた環境地図を生成してもよい。
【０１４８】
例えば、Ｓ２０３に示す処理において、ルート要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データのうちから、再現時点が属する時間帯に対応付けられるセンシング時点データを含むテクスチャ要素データが選択されてもよい。そして、当該テクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定されてもよい。そして、Ｓ２０４に示す処理において、Ｓ２０２に示す処理で特定されたメッシュにこのようにして特定されたテクスチャが貼られた環境地図である再現環境地図が生成されてもよい。
【０１４９】
また例えば、Ｓ３０２に示す処理において、ルート要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データのうちから、再現時点が属する時間帯に対応付けられるセンシング時点データを含むテクスチャ要素データが選択されてもよい。そして、当該テクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定されてもよい。そして、Ｓ３０３に示す処理において、Ｓ３０１に示す処理で特定されたメッシュにこのようにして特定されたテクスチャが貼られた環境地図が再現環境地図に追加されてもよい。
【０１５０】
また、本実施形態において、テクスチャデータの代わりに、頂点色を示す頂点色データが用いられてもよい。この場合に、環境地図再現部５２は、再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている頂点色データが示す色が設定された環境地図を生成してもよい。
【０１５１】
また、例えば、メッシュを示す要素データに、それぞれ時間帯に対応付けられる頂点色データが複数関連付けられていてもよい。そして、環境地図再現部５２は、再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる頂点色データが示す色が設定された環境地図を生成してもよい。
【０１５２】
また、本実施形態において、「朝」、「昼」、「夜」などの時間帯について、日をまたいで同じ時間帯のテクスチャが類似している場合は、共通のテクスチャが用いられるようにしてもよい。
【０１５３】
また、本実施形態に係るテクスチャ要素データが、メッシュ要素データと同様の、実空間における存在が推定される時間範囲に対応付けられるデータであっても構わない。
【０１５４】
また本実施形態において、末端（リーフ）の要素データ、あるいは、末端の要素データとの間のリンク数が少ない要素データであり、実空間における存在が推定される時間範囲が短い要素データについては、人などの移動体である可能性が高い。そのためこのような要素データは削除されるようにしてもよい。例えば、末端の要素データ、あるいは、要素データとの間のリンク数が所定数以下（例えば３以下）であり、発生時点データが示す時点から消滅時点データが示す時点までの時間の長さが所定の時間の長さより短い要素データについては削除されるようにしてもよい。
【０１５５】
また、本実施形態において、環境地図再現部５２が、トラッカーが取得するセンシングデータに対応する環境データに基づいて、三次元空間と時間とを次元に含む四次元の環境地図を生成してもよい。例えば、環境地図再現部５２が、要素データ記憶部４０に記憶されている複数の要素データに基づいて、三次元空間と時間とを次元に含む四次元の環境地図を生成してもよい。例えば、環境地図再現部５２が、複数の再現時点についての環境地図を生成し、生成された複数の環境地図を含む四次元環境地図を生成してもよい。そして再現時点送信部６４が、生成された四次元環境地図をトラッカー１２に送信してもよい。
【０１５６】
また、環境地図再現部５２が、生成された四次元の環境地図に基づいて、再現時点受付部４８が受け付ける再現時点における環境地図を生成してもよい。そして再現時点送信部６４が、生成された環境地図をトラッカー１２に送信してもよい。
【０１５７】
また本実施形態において、登録されている環境データと新たに生成された環境データとの差分が小さい場合には、新たに生成された環境データが登録されないようにしてもよい。この場合は、新たに生成された環境データの代わりに登録済の環境データが用いられることとなる。
【０１５８】
本実施形態は、例えば指定された日時に行われた旅行等のイベントの追体験や、指定された日時における記憶の追体験を行う場面に用いることができる。例えば要素データ記憶部４０に、ユーザの視点の位置や視線方向の時系列を示すデータが併せて記憶されていてもよい。そして、特定の日時の環境地図を生成して、このときのユーザの視点や視線方向の時系列に応じた、当該視点から当該環境地図を見た様子の変化が表示されるようにしてもよい。
【０１５９】
また本実施形態は、特定の建築物の建築過程が早送り再生される場面に用いることができる。例えば同じ場所についての環境地図が時間経過に沿って連続して表示されるようにしてもよい。
【０１６０】
なお、本発明は上述の実施形態に限定されるものではない。
【０１６１】
また、サーバ１０とトラッカー１２の役割分担は上述のものに限定されない。例えば、サーバ１０の機能の一部又は全部がトラッカー１２において実装されてもよい。例えば、トラッカー１２においてセンシングデータに基づく環境データの生成が実行されてもよい。そして当該環境データがトラッカー１２からサーバ１０に送信されるようにしてもよい。
【図１】
2020255409.tif 000003
【図２Ａ】
2020255409.tif 000004
【図２Ｂ】
2020255409.tif 000005
【図３】
2020255409.tif 000006
【図４】
2020255409.tif 000007
【図５】
2020255409.tif 000008
【図６】
2020255409.tif 000009
【図７Ａ】
2020255409.tif 000010
【図７Ｂ】
2020255409.tif 000011
【図８】
2020255409.tif 000012
【図９】
2020255409.tif 000013
【国際調査報告】
2020255409.tif 000014
2020255409.tif 000015