(57)【要約】【課題】視点の移行に伴う位置関係の変化をユーザが理解しやすい映像を生成することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。【解決手段】第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、を備え、前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置。【選択図】図１
2017051592.tif 000002
【特許請求の範囲】
【請求項１】
第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
を備え、
前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置。
【請求項２】
前記情報処理装置は、前記第１の空間の三次元情報を取得する空間情報取得部と、
前記空間情報取得部により取得された前記第１の空間の三次元情報に基づいて、前記第１の視点と前記第２の視点との間で視点位置を連続的に移動させる視点移動部と、をさらに備え、
前記表示制御部は、前記視点移動部による視点位置の移動に基づいて前記第１の遷移映像を生成する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記ユーザによる、前記第１の視点から前記第２の視点へ移動するための第１の操作の検出情報を取得する操作情報取得部をさらに備え、
前記第１の操作が検出された際に、前記表示制御部は、前記第１の遷移映像を生成し、かつ、生成した前記第１の遷移映像を前記表示領域に表示させる、請求項２に記載の情報処理装置。
【請求項４】
前記視点移動部は、前記第１の視点が始点であり、かつ、前記第２の視点が終点である、視点位置の移動経路を決定し、決定した移動経路に沿って視点位置を連続的に移動させる、請求項３に記載の情報処理装置。
【請求項５】
前記視点移動部は、さらに、視点位置の移動に応じて視点の方向が連続的に変化するように、前記移動経路における視点の方向を決定する、請求項４に記載の情報処理装置。
【請求項６】
前記視点移動部は、前記移動経路の始点における視点の方向を前記第１の視点の方向と一致させ、かつ、前記移動経路の終点における視点の方向を前記第２の視点の方向と一致させる、請求項５に記載の情報処理装置。
【請求項７】
前記視点移動部は、さらに、視点位置の移動に応じて視点の画角が連続的に変化するように、前記移動経路における視点の画角を決定する、請求項５に記載の情報処理装置。
【請求項８】
前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との位置関係に基づいて、前記視点位置の移動速度を変化させる、請求項４に記載の情報処理装置。
【請求項９】
前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との間の距離が短いほど、前記視点位置の移動速度を遅くする、請求項８に記載の情報処理装置。
【請求項１０】
前記視点移動部は、経過時間と視点位置の移動速度との関係が非線形になるように、前記視点位置の移動速度を決定する、請求項８に記載の情報処理装置。
【請求項１１】
前記第２の視点は、前記第１の空間において前記第１の移動体の後方、かつ上方に位置しており、
前記第２の視点は、前記第１の移動体を向いている、請求項４に記載の情報処理装置。
【請求項１２】
前記第１の視点から前記第２の視点へ移動した後に、前記操作情報取得部は、第２の移動体を前記ユーザが選択する第２の操作の検出情報をさらに取得し、
前記表示制御部は、前記第２の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を生成し、かつ、生成した第２の遷移映像を前記表示領域に表示させる、請求項４に記載の情報処理装置。
【請求項１３】
前記第２の移動体は、前記第１の空間に位置し、
前記第２の操作は、一以上の前記第２の移動体のうちのいずれかを前記ユーザが選択する操作である、請求項１２に記載の情報処理装置。
【請求項１４】
前記視点移動部は、さらに、前記第２の視点が始点であり、かつ、前記第３の視点が終点である、視点位置の第２の移動経路を決定し、かつ、決定した第２の移動経路に沿って視点位置を連続的に移動させ、
前記表示制御部は、前記第２の移動経路に沿った視点位置の移動に基づいて前記第２の遷移映像を生成する、請求項１２に記載の情報処理装置。
【請求項１５】
前記視点移動部は、さらに、前記第２の移動経路に沿った視点位置の移動に応じて視点の方向が連続的に変化するように、前記第２の移動経路における視点の方向を決定する、請求項１４に記載の情報処理装置。
【請求項１６】
前記視点移動部は、前記第２の移動経路の始点における視点の方向を、前記第２の操作が検出された際の前記ユーザの方向と一致させ、かつ、前記第２の移動経路の終点における視点の方向を前記第３の視点の方向と一致させる、請求項１５に記載の情報処理装置。
【請求項１７】
前記第２の操作により選択された第２の移動体が第２の空間に位置する場合には、前記表示制御部は、前記第２の視点から、前記第２の空間を撮像するための第４の視点への視点位置の連続的な移動に基づいた空間移動映像を前記表示領域に表示させ、
前記空間移動映像の終了後に、前記表示制御部は、前記第４の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を前記表示領域に表示させる、請求項１２に記載の情報処理装置。
【請求項１８】
前記空間移動映像は、前記第１の空間と前記第２の空間との位置関係を示す映像である、請求項１７に記載の情報処理装置。
【請求項１９】
第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させることと、
前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像をプロセッサが生成することと、
を含む、情報処理方法。
【請求項２０】
コンピュータを、
第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
として機能させるための、プログラムであって、
前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、ユーザが遠隔の代理ロボットと通信を行うための手法としてテレプレゼンスが知られている。このテレプレゼンスでは、ロボットにより測定される情報がユーザへ伝達される。また、ユーザの動きがロボットを制御し、その結果、ユーザがロボットと同一であるかのように感じ得る。このテレプレゼンスによれば、物理的な位置の制約が無いようにユーザは知覚し得る。【０００３】
また、近年、人と人とのテレプレゼンスを可能とする技術が提案されている。例えば、ヘッドマウントカメラを装着したユーザがある環境で作業をし、そして、このヘッドマウントカメラにより撮像された映像が、遠隔の別のユーザに伝達される技術が提案されている。この技術によれば、例えば、ある環境に位置するフィールドワーカーは、専門家により遠隔的に支援され得る。【０００４】
例えば、下記特許文献１には、空間内を移動する移動体に装着された撮像装置により撮像された映像を、ユーザが視認する表示領域に表示させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１５／１２２１０８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、空間内に位置する視点間で移行されると、表示される映像が非連続的に切り替わる。このため、視点の移行後の位置関係をユーザが分からなくなり得る。【０００７】
そこで、本開示では、視点の移行に伴う位置関係の変化をユーザが理解しやすい映像を生成することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、を備え、前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置が提供される。【０００９】
また、本開示によれば、第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させることと、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像をプロセッサが生成することと、を含む、情報処理方法が提供される。【００１０】
また、本開示によれば、コンピュータを、第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、として機能させるための、プログラムであって、前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、プログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、視点の移行に伴う位置関係の変化をユーザが理解しやすい映像を生成することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施形態による情報処理システムの構成例を示した説明図である。
【図２】同実施形態による移動体２に装着されるヘッドセット２０の外観図である。
【図３】同実施形態により構成されるポイントクラウドを示した画像の一例である。
【図４】同実施形態によるｊａｃｋ‐ｏｕｔおよびｊａｃｋ‐ｉｎに基づいた視点の移動を模式的に示した説明図である。
【図５】図４に示した視点「１」〜視点「３」に基づいて生成される映像の例を示した説明図である。
【図６】同実施形態によるサーバ１０の構成例を示した機能ブロック図である。
【図７】同実施形態による、空間観測映像の表示時における「ロックオン」マークの表示例を示した説明図である。
【図８】同実施形態によるｊａｃｋ‐ｏｕｔ時における視点の移動例を示した説明図である。
【図９】同実施形態によるＰＯＩ（Ｐｏｉｎｔ  ｏｆ  Ｉｎｔｅｒｅｓｔ）に基づく空間観測視点の移動例を示した説明図である。
【図１０】同実施形態によるｊａｃｋ‐ｉｎ時における視点の移動例を示した説明図である。
【図１１】同実施形態によるｊａｃｋ‐ｏｕｔ時に生成される第１の遷移映像に含まれるフレームの例を示した説明図である。
【図１２】同実施形態によるｊａｃｋ‐ｉｎ時に生成される第２の遷移映像に含まれるフレームの例を示した説明図である。
【図１３】同実施形態による動作の流れの一例を示したフローチャートである。
【図１４】同実施形態による「ｊａｃｋ‐ｏｕｔ処理」の流れを示したフローチャートである。
【図１５】同実施形態による「ｊａｃｋ‐ｉｎ処理」の流れを示したフローチャートである。
【図１６】同実施形態の応用例による、異なる作業空間における視点間の移動を模式的に示した説明図である。
【図１７】同実施形態の応用例による、移行先の視点を選択するためのリストの一例を示した説明図である。
【図１８】同実施形態の応用例による、移行先の視点を選択するためのマップの一例を示した説明図である。
【図１９】同実施形態の応用例による遷移映像の表示例を示した説明図である。
【図２０】同実施形態によるサーバ１０のハードウェア構成例を示した説明図である。
【図２１】同実施形態の変形例による、移動体２に装着される全周囲カメラ２４の外観図である。
【図２２】全周囲カメラ２４による撮像領域を示した説明図である。
【図２３】同実施形態の変形例による自走式デプスカメラ９０の模式図である。
【図２４】同実施形態の変形例による、移動体２に装着される装着型デプスカメラ９２の模式図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて移動体２ａおよび移動体２ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、移動体２ａおよび移動体２ｂを特に区別する必要が無い場合には、単に移動体２と称する。
【００１５】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例
【００１６】
＜＜１．情報処理システムの構成＞＞
まず、本実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示したように、本実施形態では、基本的に、一以上の移動体２が位置する作業空間と、ユーザ４が位置する環境とが設けられており、そして、両者が遠隔していることを想定する。ここで、移動体２は、例えば、所定の作業空間において作業を行う人、ロボット、または、作業空間に設置されたカメラ（センサ）などである。なお、以下では、移動体２が人である例を中心として説明を行う。また、所定の作業空間は、例えば部屋などの空間である。また、ユーザ４は、後述するサーバ１０により提供される、作業空間に関する映像を視認する人物である。なお、作業空間は、本開示における第１の空間の一例である。また、サーバ１０は、本開示における情報処理装置の一例である。
【００１７】
＜１−１．移動体２の環境＞
まず、移動体２が位置する作業空間に関する情報処理システムの構成について説明する。図１に示したように、例えば、作業空間には、複数のデプスカメラ３０、および、複数のモーションキャプチャセンサ３２が配置される。
【００１８】
なお、移動体２が人である場合には、図１および図２に示したように、移動体２は、例えばヘッドセット２０を装着している。なお、図２の（Ａ）は、ヘッドセット２０を装着した移動体２の正面からの外観を示した図であり、また、図２の（Ｂ）は、ヘッドセット２０を装着した移動体２の左側方からの外観を示した図である。図２に示したように、例えば、ヘッドセット２０は、カメラ２００、および、ヘッドトラッキング用マーカー２１０を有する。ここで、カメラ２００は、本開示における第１の撮像部の一例である。カメラ２００は、例えば、移動体２の視線方向の映像を撮像する。例えば、カメラ２００は、魚眼カメラであってもよい。
【００１９】
ヘッドトラッキング用マーカー２１０は、例えば、赤外線を反射するマーカーである。図２に示したように、ヘッドトラッキング用マーカー２１０は、一台のヘッドセット２０に複数個設置され得る。このヘッドトラッキング用マーカー２１０は、（作業空間内に配置された）複数のモーションキャプチャセンサ３２によりセンシングされ得る。これにより、作業空間における移動体２の位置がトラッキングされる。
【００２０】
デプスカメラ３０は、例えばデプスセンサおよびＲＧＢセンサを有する。このデプスカメラ３０は、作業空間内に位置する各物体の三次元情報を取得する。例えば、デプスカメラ３０は、赤外線の照射、および、ｔｉｍｅ‐ｏｆ‐ｆｌｉｇｈｔを用いることにより、作業空間内に位置する各物体の三次元情報を取得する。
【００２１】
なお、図１に示したように、作業空間内には、基本的に、複数のデプスカメラ３０が設置される。また、各モーションキャプチャセンサ３２および各デプスカメラ３０は、作業空間においてセンシングされる同一の物体の座標値が同じになるように、それぞれ予めキャリブレーションされ得る。そして、後述するように、サーバ１０は、複数のデプスカメラ３０によりセンシングされたＲＧＢ−Ｄの情報を統合することにより、ポイントクラウド（各ポイントが三次元座標を持つような情報の集合）を構成することが可能である。これにより、作業空間における各移動体２の三次元座標が特定可能となる。
【００２２】
例えば、図３は、複数のデプスカメラ３０によりセンシングされた情報に基づいて構成されたポイントクラウドを示した画像４０の一例である。通常、一台のデプスカメラ３０では、作業空間全体を撮像することは難しく、センシング不能な領域が生じ得る。そこで、作業空間において互いに異なる位置に配置された複数のデプスカメラ３０が作業空間をセンシングし、そして、センシングされた情報が統合されることにより、センシング不能な領域ができるだけ小さくなり得る。
【００２３】
サーバ１０は、ユーザ４に視認させる映像の生成、および表示制御などを行う。例えば、サーバ１０は、ある移動体２に装着された（ヘッドセット２０の）カメラ２００による撮像映像を取得し、そして、取得した撮像映像に基づいて移動体映像を生成する。そして、サーバ１０は、生成した移動体映像を、後述するプロジェクタ３６に投影させる。
【００２４】
なお、サーバ１０は、作業空間内に設置されてもよいし、ユーザ４が位置する環境に設置されてもよいし、または、その他の場所に設置されてもよい。
【００２５】
＜１−２．ユーザ４の環境＞
次に、ユーザ４が位置する環境に関する情報処理システムの構成について説明する。例えば、図１に示したように、当該環境には、複数のモーションキャプチャセンサ３４、三台のプロジェクタ３６、および、三枚のスクリーン３８が配置される。
【００２６】
モーションキャプチャセンサ３４は、当該環境におけるユーザ４の動きを検出する。例えば、モーションキャプチャセンサ３４は、ユーザ４の頭の動きを検出する。
【００２７】
プロジェクタ３６は、発光により画像を投影する装置である。例えば、プロジェクタ３６は、サーバ１０から映像を受信し、そして、受信した映像をスクリーン３８に投影する。図１に示した例では、ユーザ４の正面、左側方、および右側方にそれぞれスクリーン３８が位置するような位置関係で、三枚のスクリーン３８が設置される。そして、各プロジェクタ３６は、各プロジェクタ３６の方向のスクリーン３８用の映像を各スクリーン３８に投影する。また、三台のプロジェクタ３６は、ステレオ映像を一以上のスクリーン３８に投影することも可能である。
【００２８】
ユーザ４は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）を有する３Ｄ眼鏡を装着し得る。これにより、ユーザ４は、スクリーン３８に表示された映像を立体視することができる。
【００２９】
上述した情報処理システムによれば、ユーザ４は、スクリーン３８に投影される作業空間内の映像を視認することにより、あたかも作業空間内に位置しているような感覚を得られる。また、例えばユーザ４による移動体２の作業支援など、移動体２とユーザ４との連携が可能となる。
【００３０】
なお、ユーザ４が位置する環境の情報処理システムは、上述した構成に限定されず、スクリーン３８は一枚だけしか設置されなくてもよい。さらに、この場合、プロジェクタ３６も一台だけしか設置されなくてもよい。
【００３１】
また、上述した情報処理システムは、例えばインターネットなどの通信網を介した分散システムとして構成可能である。例えば、（移動体２が位置する）作業空間と、ユーザ４が位置する環境と、サーバ１０とは互いに離れた地点に位置しており、そして、各地点に設置されている装置間は、通信網を介して接続され得る。
【００３２】
＜１−３．概要＞
［１−３−１．公知技術の課題］
ところで、作業空間において移動体２が複数存在する場合、遠隔に位置するユーザ４は、各移動体２の視点（以下、移動体視点と称する場合がある）間を自由に移行して、作業空間内の映像を視認可能であることが望ましい。
【００３３】
しかしながら、例えばカメラをスイッチするように視点を切り替えると、視点の切り替え後に、ユーザ４は、作業空間における位置関係が分からなくなり、混乱し得る。
【００３４】
そこで、上記事情を一着眼点にして、本実施形態によるサーバ１０を創作するに至った。サーバ１０は、作業空間における移動体２の移動体視点間を移行する際に、作業空間を観測するための空間観測視点を経由させる。さらに、移動体視点と空間観測視点との間の移行時に、サーバ１０は、移動体２の移動体視点と空間観測視点との間で視点位置を連続的に移動させることにより映像を生成し、そして、生成した映像をユーザ４に視認させることが可能である。これにより、作業空間における視点の移動を空間的に切れ目なくユーザ４に提示することができる。
【００３５】
［１−３−２．テレプレゼンスの概要］
ここで、本実施形態により実現されるテレプレゼンスの概要について、図４および図５を参照して説明する。図４は、本実施形態によるｊａｃｋ‐ｏｕｔおよびｊａｃｋ‐ｉｎに基づいた視点の移動を模式的に示した説明図である。ここで、ｊａｃｋ‐ｏｕｔは、ユーザ４が現在視認している映像の撮像元である移動体２の移動体視点から空間観測視点へと視点を移行させることである。また、ｊａｃｋ‐ｉｎは、（現在の）空間観測視点から、作業空間内に位置するいずれかの移動体２の移動体視点へと視点を移行させることである。
【００３６】
また、図５の（Ａ）は、図４に示した移動体２ａの移動体視点（図４に示した矢印「１」）に基づく映像（以下、移動体映像と称する場合がある）の一例を示している。また、図５の（Ｂ）は、空間観測視点（図４に示した矢印「２」）に基づく映像（以下、空間観測映像と称する場合がある）の一例を示している。また、図５の（Ｃ）は、図４に示した移動体２ｂの移動体視点（図４に示した矢印「３」）に基づく映像の一例を示している。
【００３７】
なお、図４では、初期状態として、ユーザ４が、移動体２ａにｊａｃｋ‐ｉｎしていることを前提としている。この場合、図５の（Ａ）に示したような、移動体２ａの移動体視点に基づく映像５０ａがスクリーン３８に投影されており、そして、ユーザ４は映像５０ａを視認している。この移動体映像５０ａを視認することにより、ユーザ４は、あたかも移動体２ａの中に入り込んでいるような感覚を得ることができる。
【００３８】
その後、ユーザ４が、“ｊａｃｋ‐ｏｕｔ”コマンドを発行すると、サーバ１０は、移動体２ａの移動体視点から空間観測視点へと視点位置を連続的に移動させる。なお、“ｊａｃｋ‐ｏｕｔ”コマンドの発行は、本開示における第１の操作の一例である。
【００３９】
その後、例えば図５の（Ｂ）に示したような、空間観測視点に基づく映像５０ｂがスクリーン３８に投影される。これにより、ユーザ４は、例えば作業空間全体を俯瞰的に観測することができる。なお、ユーザ４は、作業空間内で空間観測視点の位置を自由に移動させて作業空間を観測することができる。
【００４０】
その後、ユーザ４は、図４に示した別の移動体２ｂの移動体視点を通して映像を視認することを希望したとする。この場合、まず、ユーザ４は、所定の方法により移動体２ｂを選択し、そして、“ｊａｃｋ‐ｉｎ”コマンドを発行する。すると、サーバ１０は、空間観測視点から移動体２ｂの移動体視点へと視点位置を連続的に移動させる。その後、例えば図５の（Ｃ）に示したような、移動体２ｂの移動体視点に基づく映像５０ｃがスクリーン３８に投影される。
【００４１】
なお、移動体２の移動体視点に基づく映像はクリアな画像を提供するが、基本的には、立体視映像ではない。そこで、ユーザ４は、例えばｊａｃｋ‐ｉｎしている移動体２からｊａｃｋ‐ｏｕｔし、空間観測視点に基づいて作業空間を立体視することができる。その後、詳細な映像を確認するために、同じ移動体２へ再度ｊａｃｋ‐ｉｎすることも可能である。
【００４２】
＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
以上、本実施形態の概要について説明した。次に、本実施形態によるサーバ１０の構成について詳細に説明する。図６は、本実施形態によるサーバ１０の構成を示した機能ブロック図である。図６に示したように、サーバ１０は、制御部１００、通信部１２０、および記憶部１２２を有する。
【００４３】
［２−１−１．制御部１００］
制御部１００は、サーバ１０に内蔵される、後述するＣＰＵ１５０やＲＡＭ１５４などのハードウェアを用いて、サーバ１０の動作を全般的に制御する。また、図６に示したように、制御部１００は、空間情報取得部１０２、操作情報取得部１０４、視点移動部１０６、映像生成部１０８、および、出力制御部１１０を有する。
【００４４】
［２−１−２．空間情報取得部１０２］
空間情報取得部１０２は、例えば作業空間においてセンシングされる三次元情報および画像情報を取得する。例えば、空間情報取得部１０２は、作業空間において複数のデプスカメラ３０によりセンシングされたＲＧＢ−Ｄの情報を複数のデプスカメラ３０から受信する。
【００４５】
また、空間情報取得部１０２は、取得された三次元情報および画像情報に基づいて、ポイントクラウドを構成する。
【００４６】
［２−１−３．操作情報取得部１０４］
操作情報取得部１０４は、ユーザ４の操作情報を取得する。例えば、操作情報取得部１０４は、“ｊａｃｋ‐ｉｎ”コマンドまたは“ｊａｃｋ‐ｏｕｔ”コマンドを発行する操作の情報を取得する。ここで、“ｊａｃｋ‐ｉｎ”コマンドまたは“ｊａｃｋ‐ｏｕｔ”コマンドを発行する操作は、例えば、ジェスチャ操作、操作部（図示省略）に対する操作、音声入力、または、視線操作などであってもよい。また、ジェスチャ操作は、例えばヘッドジェスチャや、ハンドジェスチャなどである。また、操作部は、例えばジョイスティックやタッチパネルなどである。
【００４７】
例えば、操作情報取得部１０４は、モーションキャプチャセンサ３４などにより検出される、ユーザ４の頭の情報（位置、加速度、速度など）を取得し、そして、取得された情報に基づいてヘッドジェスチャを認識する。一例として、ユーザ４が頭を後ろ斜め上に素早く動かす動きが検出された場合には、操作情報取得部１０４は、検出された動きを、“ｊａｃｋ‐ｏｕｔ”コマンドを発行するためのヘッドジェスチャとして認識する。
【００４８】
（２−１−３−１．ｊａｃｋ‐ｉｎ対象の選択）
また、例えば“ｊａｃｋ‐ｉｎ”コマンドの発行前に、操作情報取得部１０４は、ｊａｃｋ‐ｉｎ対象の移動体２をユーザ４が選択する操作の情報を取得する。例えば、空間観測映像に表示されている一以上の移動体２のうちのいずれかの方向へユーザ４が視線を向けたことが検出された場合には、操作情報取得部１０４は、視線が向けられた移動体２をｊａｃｋ‐ｉｎ対象の移動体２として認識する。なお、この際、出力制御部１１０の制御により、図７に示したように、空間観測映像におけるｊａｃｋ‐ｉｎ対象の移動体２の例えば近傍に「ロックオン」マーク５１０が重畳表示され得る。
【００４９】
または、作業空間に位置する一以上のＰＯＩのうちのいずれかをユーザ４が選択する操作が検出された場合には、操作情報取得部１０４は、選択されたＰＯＩに対応する移動体２をｊａｃｋ‐ｉｎ対象の移動体２として認識する。ここで、ＰＯＩは、作業空間内の例えば作業テーブルの中心などの所定の位置や、移動体２の位置などを含む。なお、例えば空間観測映像の表示時に、ＰＯＩの選択ＵＩがユーザ４に提示され得る。そして、この選択ＵＩを用いて、ユーザ４はいずれかのＰＯＩを選択することができる。
【００５０】
［２−１−４．視点移動部１０６］
視点移動部１０６は、操作情報取得部１０４により取得される操作情報、および、空間情報取得部１０２により構成されたポイントクラウドに基づいて、移動体２の移動体視点と空間観測視点との間で視点位置を連続的に移動させる。例えば、視点移動部１０６は、移動体２の移動体視点と空間観測視点とを連続的につなぐ移動経路を決定し、そして、決定した移動経路に沿って視点位置を連続的に移動させる。さらに、視点移動部１０６は、移動経路における視点位置の移動に応じて視点の方向が連続的に変化するように、視点の方向を決定することも可能である。さらに、視点移動部１０６は、移動経路における視点位置の移動に応じて画角が連続的に変化するように画角を決定することも可能である。
【００５１】
（２−１−４−１．ｊａｃｋ‐ｏｕｔ時）
例えば、“ｊａｃｋ‐ｏｕｔ”コマンドの発行を示す操作情報が操作情報取得部１０４により取得された場合には、視点移動部１０６は、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点から空間観測視点まで視点位置を連続的に移動させる。
【００５２】
ここで、図８を参照して、上記の内容についてさらに詳細に説明する。図８は、“ｊａｃｋ‐ｏｕｔ”コマンドが発行された場合において視点移動部１０６により決定される移動経路の一例（移動経路６０）を示した説明図である。この場合には、例えば、視点移動部１０６は、空間情報取得部１０２により構成されたポイントクラウドに基づいて、移動経路６０の始点における視点Ｖ１を、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点と一致させ、かつ、移動経路６０の終点における視点Ｖ５を空間観測視点と一致させる。そして、視点移動部１０６は、視点位置が連続的に変化するように視点位置を線形補間することにより、移動経路６０を決定する。例えば、図８に示したように、視点移動部１０６は、移動経路６０をベジエ曲線として決定してもよい。なお、この際、空間観測視点の位置は、図８に示したように、作業空間において該当の移動体２よりも後方かつ上方に設定され、かつ、空間観測視点の方向は、該当の移動体２を向く方向に設定され得る。
【００５３】
さらに、視点移動部１０６は、例えば、移動経路６０の始点における視点Ｖ１の方向を、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点の方向と一致させ、かつ、移動経路６０の終点における視点Ｖ５の方向を空間観測視点の方向と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて視点の方向が連続的に変化するように、移動経路６０において視点の方向を線形補間してもよい。上記の決定例によれば、ｊａｃｋ‐ｏｕｔが完了した際の空間観測視点に基づく映像は、移動体２の後方から移動体２を見下ろすような映像となり得る。さらに、当該映像は、該当の移動体２が映像の中央に位置するような映像となり得る。
【００５４】
これにより、例えば移動体２が人である場合には、ユーザ４がｊａｃｋ‐ｉｎ中の人物の頭から抜け出して、そして、該当の人物の後方かつ上方へ視点が連続的に上昇していくような遷移映像が生成される。従って、ユーザ４は、遷移映像を視認することにより、該当の人物から体外離脱するような感覚を得ることができる。
【００５５】
さらに、視点移動部１０６は、移動経路６０の始点と終点との間で画角が連続的に変化するように、移動経路６０における画角を決定することも可能である。例えば、図８に示した例では、視点移動部１０６は、移動経路６０の始点における視点Ｖ１の画角を、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点の画角と一致させ、かつ、移動経路６０の終点における視点Ｖ５の画角を空間観測視点の画角と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて画角が連続的に変化するように、移動経路６０において画角を線形補間してもよい。
【００５６】
また、視点移動部１０６は、決定した移動経路における現在の視点位置と終点の位置との位置関係に基づいて、現在の視点位置の移動速度を決定することが可能である。例えば、図８に示した例では、視点Ｖ２、Ｖ３、Ｖ４、Ｖ５は、視点移動部１０６により決定された移動経路に沿って単位時間間隔で移動された視点をそれぞれ示している。図８に示したように、視点移動部１０６は、移動経路６０における視点位置が終点に近づくほど移動速度が遅くなるように、視点の移動速度を決定する。ここで、経過時間と、視点の移動速度との関係は線形であってもよいし、非線形であってもよい。例えば、視点移動部１０６は、経過時間と、視点の移動速度との関係が所定の対数関数と一致するように、視点の移動速度を決定してもよい。あるいは、視点移動部１０６は、決定した移動経路に沿って視点の移動速度がスローインおよびスローアウトのように変化するように、視点の移動速度を決定してもよい。すなわち、視点移動部１０６は、移動経路における始点から中間地点まで移動速度が徐々に加速していき、そして、中間地点から終点まで移動速度が徐々に減速していくように、視点の移動速度を決定してもよい。
【００５７】
‐空間観測視点の決定
なお、ｊａｃｋ‐ｏｕｔ時の空間観測視点の位置は、所定の条件に基づいて決定され得る。例えば、当該空間観測視点は、作業空間における移動体２の配置に基づいて決定されてもよい。一例として、当該空間観測視点は、作業空間に位置する全ての移動体２が観測可能な位置および画角に決定されてもよい。
【００５８】
または、当該空間観測視点は、該当のユーザ４の設定情報に応じて決定されてもよい。または、当該空間観測視点は、作業空間において行われる作業（作業目的）に基づいて決定されてもよい。例えば、作業目的に適した空間観測視点の位置および画角の情報が記憶部１２２に予め格納されており、そして、当該空間観測視点は、記憶部１２２に格納されている情報に基づいて決定され得る。一例として、作業空間が「手術室」である場合（手術モード時）には、当該空間観測視点は、少なくとも手術台全体を観測可能な位置および画角に定められ得る。または、作業空間が「キッチン」である場合（料理モード時）には、当該空間観測視点は、キッチン全体を観測可能な位置および画角に定められ得る。
【００５９】
なお、作業空間に対応する作業目的は、例えば“ｊａｃｋ‐ｏｕｔ”コマンドの発行前などにユーザ４に選択させてもよい。または、移動体２が行っている作業の内容を示す情報に基づいて、サーバ１０が作業目的を自動的に決定してもよい。または、作業空間（作業空間の位置や作業空間の種類など）に応じて、サーバ１０が作業目的を自動的に決定してもよい。
【００６０】
（２−１−４−２．空間観測視点モード時）
また、ｊａｃｋ‐ｏｕｔが終了した場合（以下、空間観測視点モード時と称する場合がある）には、視点移動部１０６は、操作情報取得部１０４により取得される操作情報に基づいて、空間観測視点の位置を連続的に移動させる。例えば、視点移動部１０６は、ＰＯＩに基づいて作業空間をナビゲートする操作の検出に基づいて、図９に示したように、空間観測視点の位置を連続的に移動させる。例えば、作業空間に位置するいずれかのＰＯＩに接近するための操作が検出された場合には、図９に示した視点Ｖ１、Ｖ２、Ｖ３のように、視点移動部１０６は、例えば、空間観測視点の方向を該当のＰＯＩを向いた状態を維持しながら、空間観測視点の位置を該当のＰＯＩに連続的に接近させる。また、いずれかのＰＯＩの周囲を回転するための操作が検出された場合には、図９に示した視点Ｖ１、Ｖ４、Ｖ５、Ｖ６のように、視点移動部１０６は、例えば、（サークルストラフのように）該当のＰＯＩを中心として空間観測視点の位置を連続的に回転移動させながら、空間観測視点の方向が該当のＰＯＩを向いた状態を維持するように、空間観測視点の方向を連続的に変化させる。
【００６１】
（２−１−４−３．ｊａｃｋ‐ｉｎ時）
また、ｊａｃｋ‐ｉｎ対象の移動体２がユーザ４により選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行されたことを示す操作情報が操作情報取得部１０４により取得された場合には、視点移動部１０６は、空間観測視点から、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点まで視点位置を連続的に移動させる。
【００６２】
ここで、図１０を参照して、上記の内容についてさらに詳細に説明する。図１０は、“ｊａｃｋ‐ｉｎ”コマンドが発行された場合において視点移動部１０６により決定される移動経路の一例（移動経路６２）を示した説明図である。この場合には、例えば、視点移動部１０６は、移動経路６２の始点における視点Ｖ１を、（“ｊａｃｋ‐ｉｎ”コマンドの発行時の）空間観測視点と一致させ、かつ、移動経路６２の終点における視点Ｖ５を、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点と一致させる。そして、視点移動部１０６は、視点位置が連続的に変化するように視点位置を線形補間することにより、移動経路６２を決定する。例えば、図１０に示したように、視点移動部１０６は、移動経路６２をベジエ曲線として決定してもよい。
【００６３】
さらに、視点移動部１０６は、例えば、移動経路６２の始点における視点Ｖ１の方向を、例えばモーションキャプチャセンサ３４などによりセンシングされるユーザ４の頭の方向（または視線方向）と一致させ、かつ、移動経路６２の終点における視点Ｖ５の方向を、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点の方向と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて視点の方向が連続的に変化するように、移動経路６２において視点の方向を線形補間してもよい。上記の決定例によれば、空間観測視点から移動体２の移動体視点へ連続的に移動するような遷移映像が生成され得る。例えばｊａｃｋ‐ｉｎ対象の移動体２が人である場合には、ｊａｃｋ‐ｉｎ対象の移動体２の後方から該当の移動体２の頭部まで視点位置が連続的に移動し、そして、該当の移動体２と統合するような感覚をユーザ４に与え得る遷移映像が生成される。
【００６４】
さらに、視点移動部１０６は、移動経路６２の始点と終点との間で画角が連続的に変化するように、移動経路６２における画角を決定することも可能である。例えば、図１０に示した例では、視点移動部１０６は、移動経路６０の始点における視点Ｖ１の画角を、空間観測視点の画角と一致させ、かつ、移動経路６０の終点における視点Ｖ５の画角を、ｊａｃｋ‐ｉｎ対象の移動体２の移動体視点の画角と一致させてもよい。そして、視点移動部１０６は、視点位置の移動に応じて画角が連続的に変化するように、移動経路６２において画角を線形補間してもよい。
【００６５】
また、視点移動部１０６は、（ｊａｃｋ‐ｏｕｔの場合と同様に）移動経路６２における視点位置が終点に近づくほど移動速度が遅くなるように、視点の移動速度を決定することが可能である。例えば、図１０に示した例では、視点Ｖ２、Ｖ３、Ｖ４、Ｖ５は、視点移動部１０６により移動経路に沿って単位時間間隔で移動された視点を示している。例えば、視点移動部１０６は、経過時間と、視点の移動速度との関係が所定の対数関数と一致するように、視点の移動速度を決定してもよい。
【００６６】
［２−１−５．映像生成部１０８］
映像生成部１０８は、本開示における表示制御部の一例である。映像生成部１０８は、ユーザ４が視認する表示領域に表示される映像を生成する。
【００６７】
（２−１−５−１．移動体映像）
例えば、ユーザ４がいずれかの移動体２にｊａｃｋ‐ｉｎしている間は、映像生成部１０８は、該当の移動体２に装着されたカメラ２００により撮像された映像に基づいて、移動体映像を生成する。例えば、映像生成部１０８は、該当のカメラ２００により撮像された画像に基づいてパノラマ画像（移動体映像）を生成する。例えば、移動体映像は、移動体２の移動体視点の位置の周囲の環境をユーザ４が自由に見回すことが可能な半球の映像であってもよい。この移動体映像によれば、ｊａｃｋ‐ｉｎ中の移動体２の視点において撮像される映像をユーザ４は視認することができる。
【００６８】
なお、移動体２が人である場合には、移動体２の頭部が回転すると、生成される移動体映像において、望ましくない画像の揺れが含まれる。そして、ユーザ４は、かかる移動体映像を見るとモーションシックネスを感じ得る。そこで、映像生成部１０８は、該当のカメラ２００により撮像された画像に対して、例えば特許文献１に記載の技術などの公知の技術を用いた揺れの補正処理を行うことにより、移動体映像を生成することが好ましい。
【００６９】
例えば、映像生成部１０８は、該当のカメラ２００により撮像された連続したフレーム間での移動体２の頭部の回転を推定する。そして、映像生成部１０８は、該当のカメラ２００により撮像された各フレームに対して、当該フレームに関して推定された合計の（移動体２の頭部の）回転量に応じて逆回転させる補正を行う。これにより、生成される移動体映像において、移動体２の頭部の回転に伴う画像の揺れが抑制される。
【００７０】
（２−１−５−２．空間観測映像）
また、空間観測視点モード時には、映像生成部１０８は、視点移動部１０６により決定される空間観測視点（位置、方向、および画角）と、空間情報取得部１０２により構成されたポイントクラウドとに基づいて、空間観測映像を生成する。この空間観測映像では、ユーザ４は、作業空間を俯瞰することができ、例えば作業空間の全体を観測することができる。例えば、ユーザ４は、作業空間に位置する複数の移動体２の位置関係を把握することができる。
【００７１】
なお、変形例として、ユーザ４が直前までｊａｃｋ‐ｉｎしていた移動体２が空間観測視点の視野に含まれる場合には、映像生成部１０８は、該当の移動体２を明示する表示を空間観測映像内に配置してもよい。
【００７２】
（２−１−５−３．第１の遷移映像）
また、“ｊａｃｋ‐ｏｕｔ”コマンドが発行された場合には、映像生成部１０８は、ユーザ４がｊａｃｋ‐ｉｎしている移動体２の移動体視点から空間観測視点まで、視点移動部１０６により連続的に移動される視点位置に応じた第１の遷移映像を生成する。この場合には、例えば、映像生成部１０８は、単位時間ごとに、視点移動部１０６により移動された視点と、空間情報取得部１０２により構成されたポイントクラウドとに基づいてフレームを生成することにより、第１の遷移映像を生成する。
【００７３】
図１１は、生成された第１の遷移映像に含まれる４枚のフレームの例を示した図である。なお、図１１に示したフレーム７０ａは、例えば“ｊａｃｋ‐ｏｕｔ”コマンドが発行された時点における移動体映像と同一であり、また、フレーム７０ｄは、ｊａｃｋ‐ｏｕｔが終了した時点における空間観測映像と同一である。図１１に示したように、フレーム７０ａとフレーム７０ｄとの間で、（フレーム７０ａからフレーム７０ｄへの遷移を示す）フレーム７０ｂおよびフレーム７０ｃが表示される。
【００７４】
この第１の遷移映像では、ユーザ４が直前までｊａｃｋ‐ｉｎしていた移動体２の移動体視点から空間観測視点への移行に伴う位置関係の変化を、ユーザ４は容易に理解することができる。
【００７５】
（２−１−５−４．第２の遷移映像）
また、ｊａｃｋ‐ｉｎ対象の移動体２がユーザ４により選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行されたことを示す操作情報が操作情報取得部１０４により取得された場合には、映像生成部１０８は、空間観測視点からｊａｃｋ‐ｉｎ対象の移動体２の移動体視点まで、視点移動部１０６により連続的に移動される視点位置に応じた第２の遷移映像を生成する。なお、第２の遷移映像の具体的な生成方法は、第１の遷移映像と概略同様である。
【００７６】
図１２は、生成された第２の遷移映像に含まれる４枚のフレームの例を示した図である。なお、図１２に示したフレーム７２ａは、例えば“ｊａｃｋ‐ｉｎ”コマンドが発行された時点における空間観測映像と同一であり、また、フレーム７２ｄは、ｊａｃｋ‐ｉｎが終了した時点における、ｊａｃｋ‐ｉｎ対象の移動体２の移動体映像と同一である。図１２に示したように、フレーム７２ａとフレーム７２ｄとの間で、（フレーム７２ａからフレーム７２ｄへの遷移を示す）フレーム７２ｂおよびフレーム７２ｃが表示される。
【００７７】
この第２の遷移映像では、空間観測視点からｊａｃｋ‐ｉｎ対象の移動体２の移動体視点への移行に伴う位置関係の変化を、ユーザ４は容易に理解することができる。
【００７８】
［２−１−６．出力制御部１１０］
（２−１−６−１．映像の表示）
出力制御部１１０は、本開示における表示制御部の一例である。出力制御部１１０は、映像生成部１０８により生成された映像を、ユーザ４が視認する表示領域に表示させる。例えば、出力制御部１１０は、移動体映像、空間観測映像、第１の遷移映像、または、第２の遷移映像が映像生成部１０８により生成された際に、生成された映像をスクリーン３８に対してプロジェクタ３６に逐次投影させる。
【００７９】
（２−１−６−２．「ロックオン」マーク）
また、空間観測映像の表示時に、出力制御部１１０は、例えば図７に示したような「ロックオン」マーク５１０を空間観測映像に重畳して表示させることが可能である。この「ロックオン」マーク５１０は、例えば、ユーザ４によりｊａｃｋ‐ｉｎ対象として選択済みの移動体２を明示するための表示である。但し、かかる例に限定されず、「ロックオン」マーク５１０は、ｊａｃｋ‐ｉｎ対象の移動体２をユーザ４が選択するためのＵＩであってもよい。この場合、空間観測映像内に表示されている全ての移動体２に関して「ロックオン」マーク５１０が表示されてもよい。
【００８０】
（２−１−６−３．移動体２の選択時のＵＩ）
また、例えば空間観測映像の表示時に、出力制御部１１０は、ｊａｃｋ‐ｉｎ対象の移動体２をユーザ４が選択するためのＵＩを、表示中の映像に重畳して表示させることも可能である。このＵＩは、例えば、移動体２ごとに、現在ｊａｃｋ‐ｉｎ可能であるか否かの情報、当該移動体２にｊａｃｋ‐ｉｎ可能なユーザ４の定員、および、当該移動体２にｊａｃｋ‐ｉｎしているユーザ４の識別情報などの情報を含み得る。さらに、このＵＩは、任意の移動体２とチャットするためのチャットＵＩを含んでもよいし、または、個々の移動体２と他のユーザ４ｂ（または当該ユーザ４ａ）とのチャットの履歴情報を含んでもよい。または、このＵＩは、任意の移動体２（人）に対して発呼するための電話帳ＵＩを含んでもよい。例えば、ユーザ４は、ヘッドセットや携帯電話機などを用いて、任意の移動体２と通話することができる。
【００８１】
（２−１−６−４．移動体２への通知）
また、変形例として、ｊａｃｋ‐ｏｕｔ対象（またはｊａｃｋ‐ｉｎ対象）の移動体２が人である場合には、出力制御部１１０は、ｊａｃｋ‐ｏｕｔ（またはｊａｃｋ‐ｉｎ）の実行の完了を示す通知を、ｊａｃｋ‐ｏｕｔ対象（またはｊａｃｋ‐ｉｎ対象）の移動体２に対して出力させることも可能である。例えば、ｊａｃｋ‐ｏｕｔ後に、出力制御部１１０は、ｊａｃｋ‐ｏｕｔの実行の完了を示す表示、音声、または振動を、ユーザ４が直前までｊａｃｋ‐ｉｎしていた移動体２に対して出力させてもよい。なお、この際、出力制御部１１０は、ｊａｃｋ‐ｏｕｔしたユーザ４の識別情報を該当の移動体２に対してさらに通知してもよい。なお、ｊａｃｋ‐ｉｎの場合の通知例も同様であってよい。
【００８２】
［２−１−７．通信部１２０］
通信部１２０は、サーバ１０と通信可能な他の装置との間で情報の送受信を行う。例えば、通信部１２０は、出力制御部１１０の制御に従って、生成された映像をプロジェクタ３６に送信する。また、通信部１２０は、各移動体２に装着されたカメラ２００により撮像された映像を受信する。また、通信部１２０は、センシングされた情報をデプスカメラ３０、モーションキャプチャセンサ３２、または、モーションキャプチャセンサ３４などから受信する。
【００８３】
［２−１−８．記憶部１２２］
記憶部１２２は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部１２２は、履歴情報ＤＢを記憶する。この履歴情報ＤＢでは、例えば、日時、ユーザ４の識別情報、当該ユーザ４によりｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔされた移動体２の識別情報、作業空間に関する情報、および、ｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔの実行情報が対応付けられ得る。ここで、作業空間に関する情報は、例えば、作業空間の場所を示す情報、または、作業空間で行われる作業内容（例えば、手術、料理等）の情報を含み得る。これにより、例えばユーザ４は、ユーザ４の識別情報、または、移動体２の識別情報を検索キーとして履歴情報ＤＢを検索することにより、所望の履歴情報を閲覧することができる。また、ユーザ４は、履歴情報を閲覧した際に、該当の履歴情報に応じた内容のｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔの指示を新たに行うことも可能である。
【００８４】
なお、制御部１００は、例えばｊａｃｋ‐ｉｎまたはｊａｃｋ‐ｏｕｔが実行される度に、該当の履歴情報を履歴情報ＤＢに格納することが可能である。
【００８５】
＜２−２．動作＞
［２−２−１．全体的な流れ］
以上、本実施形態による構成について説明した。次に、本実施形態による動作の流れの一例について説明する。なお、以下では、サーバ１０が、作業空間の三次元情報を予め取得しており、そして、ポイントクラウドが予め構成されていることを前提とする。また、初期状態では、作業空間内の或る移動体２にユーザ４がｊａｃｋ‐ｉｎ中であることを前提とする。
【００８６】
図１３に示したように、まず、サーバ１０の映像生成部１０８は、ユーザ４がｊａｃｋ‐ｉｎしている移動体２に装着されたカメラ２００により撮像された映像を取得し、そして、取得した映像に基づいて移動体映像を逐次生成する。そして、出力制御部１１０は、生成した移動体映像を、ユーザ４が視認する表示領域に逐次表示させる（Ｓ１０１）。
【００８７】
そして、サーバ１０は、ユーザ４により“ｊａｃｋ‐ｏｕｔ”コマンドが発行されたか否かを判定する（Ｓ１０３）。“ｊａｃｋ‐ｏｕｔ”コマンドが発行されていない場合には（Ｓ１０３：Ｎｏ）、サーバ１０は、Ｓ１０１の処理を繰り返す。
【００８８】
一方、“ｊａｃｋ‐ｏｕｔ”コマンドが発行されたことが検出された場合には（Ｓ１０３：Ｙｅｓ）、サーバ１０は、後述する「ｊａｃｋ‐ｏｕｔ処理」を行う（Ｓ１０５）。
【００８９】
その後、映像生成部１０８は、空間観測視点と、空間情報取得部１０２により予め構成されたポイントクラウドとに基づいて空間観測映像を逐次生成する。そして、出力制御部１１０は、生成された空間観測映像を、ユーザ４が視認する表示領域に逐次表示させる（Ｓ１０７）。
【００９０】
そして、サーバ１０は、ユーザ４によりｊａｃｋ‐ｉｎ対象の移動体２が選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行されたか否かを判定する（Ｓ１０９）。ｊａｃｋ‐ｉｎ対象の移動体２が選択されていない、または、“ｊａｃｋ‐ｉｎ”コマンドが発行されていない場合には（Ｓ１０９：Ｎｏ）、サーバ１０は、Ｓ１０７の処理を繰り返す。
【００９１】
一方、ｊａｃｋ‐ｉｎ対象の移動体２が選択され、かつ、“ｊａｃｋ‐ｉｎ”コマンドが発行された場合には（Ｓ１０９：Ｙｅｓ）、サーバ１０は、後述する「ｊａｃｋ‐ｉｎ処理」を行う（Ｓ１１１）。
【００９２】
その後、映像生成部１０８は、Ｓ１１１でｊａｃｋ‐ｉｎされた移動体２に装着されているカメラ２００により撮像された映像を取得し、そして、取得した映像に基づいて移動体映像を逐次生成する。そして、出力制御部１１０は、生成した移動体映像を、ユーザ４が視認する表示領域に逐次表示させる（Ｓ１１３）。
【００９３】
［２−２−２．ｊａｃｋ‐ｏｕｔ処理］
ここで、図１４を参照して、Ｓ１０５における「ｊａｃｋ‐ｏｕｔ処理」の内容について詳細に説明する。図１４に示したように、まず、視点移動部１０６は、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の移動体視点から空間観測視点までの移動経路を、構成済みのポイントクラウドに基づいて決定する（Ｓ２０１）。
【００９４】
その後、視点移動部１０６は、生成対象の第１の遷移画像におけるフレームの番号を示す変数Ｉに「１」を設定する（Ｓ２０３）。そして、視点移動部１０６は、生成対象の第１の遷移画像に含まれるフレームの総枚数をＮに設定する（Ｓ２０５）。
【００９５】
続いて、視点移動部１０６は、ＩがＮ以下であるか否かを判定する（Ｓ２０７）。ＩがＮ以下である場合には（Ｓ２０７：Ｙｅｓ）、視点移動部１０６は、Ｓ２０１で決定した移動経路に沿ってＩ番目のフレーム時点まで視点位置を移動させる。また、視点移動部１０６は、視点位置の移動に応じて視点の方向および画角が連続的に変化するように、Ｉ番目のフレーム時点の視点の方向および画角を決定する（Ｓ２０９）。
【００９６】
続いて、映像生成部１０８は、移動された視点位置と、構成済みのポイントクラウドとに基づいてＩ番目のフレームを生成する（Ｓ２１１）。
【００９７】
続いて、視点移動部１０６は、Ｉに「１」を加算する（Ｓ２１３）。そして、視点移動部１０６は、再びＳ２０７の処理を行う。
【００９８】
Ｓ２０７においてＩがＮよりも大きい場合、すなわち、第１の遷移映像の生成が終了した場合には（Ｓ２０７：Ｎｏ）、出力制御部１１０は、生成された第１の遷移映像を、ユーザ４が視認する表示領域に表示させる（Ｓ２１５）。そして、サーバ１０は、「ｊａｃｋ‐ｏｕｔ処理」を終了する。
【００９９】
［２−２−３．ｊａｃｋ‐ｉｎ処理］
次に、図１５を参照して、Ｓ１１１における「ｊａｃｋ‐ｉｎ処理」の内容について詳細に説明する。図１５に示したように、まず、視点移動部１０６は、現在の空間観測視点から、Ｓ１０９でユーザ４により選択されたｊａｃｋ‐ｉｎ対象の移動体２の移動体視点までの移動経路を、構成済みのポイントクラウドに基づいて決定する（Ｓ３０１）。
【０１００】
なお、図１５に示したＳ３０３〜Ｓ３１５の処理は、「ｊａｃｋ‐ｏｕｔ処理」におけるＳ２０３〜Ｓ２１５の処理と概略同様である。
【０１０１】
＜２−３．効果＞
［２−３−１．効果１］
以上説明したように、本実施形態によるサーバ１０は、作業空間における移動体２の移動体視点間を移動する際に空間観測視点を経由させる。さらに、移動体視点と空間観測視点との間の移行時（ｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎ時）には、サーバ１０は、予め構成されたポイントクラウドに基づいて、移動体２の移動体視点と空間観測視点との間で視点位置を連続的に移動させることにより遷移映像を生成し、そして、生成した遷移映像を、ユーザ４が視認する表示領域に表示させる。このため、作業空間における視点の移動を空間的に切れ目なくユーザ４に提示することができるので、視点の移行に伴う位置関係の変化をユーザ４は容易に理解することができる。
【０１０２】
なお、公知の技術では、移動体視点に基づく映像のみを提供する技術、もしくは、空間観測視点に基づく映像のみを提供する技術が開示されている。しかしながら、本実施形態のような、移動体２ａの移動体視点と空間観測視点とを継ぎ目なく移行し、さらに、別の移動体２ｂの移動体視点に入り込むことを実現する技術は開示されていない。本実施形態によれば、作業空間に位置する複数の移動体２（人やロボット）の視点間を自由に、かつ、空間的な連続性を保ちながら移行することが可能になる。従って、遠隔に位置するユーザ４（観測者）は、作業空間全体を把握しやすい。
【０１０３】
［２−３−２．効果２］
また、本実施形態は、例えば災害現場などの遠隔監視や遠隔操作などに適用可能である。また、本実施形態によれば、移動体２とユーザ４との連携が可能となるので、例えば、遠隔手術や遠隔実験などの様々な分野にも適用可能である。例えば、ユーザ４は、移動体映像および空間観測映像を適宜切り替えて映像を参照することにより、移動体２に対して様々な作業の指示を適切に与えることができる。
【０１０４】
［２−３−３．効果３］
また、本実施形態によれば、スキル伝達のためのプラットフォームを構成可能である。例えば、スポーツ、楽器の演奏、工芸などのスキルの遠隔学習に有用である。例えば、教師（移動体２）は自らのスキルを遠隔の学習者（ユーザ４）に示し、そして、学習者は見てまねることができる。さらに、学習者は、教師の模範演技を、空間観測視点または教師の視点のいずれからも観察することができる。また、教師の模範演技が等身大の３Ｄモデルとしてスクリーン３８に投影される場合、学習者は、教師の模範演技と自分の演技とを比較することができる。さらに、教師の模範演技をアーカイブ化し、そして、スキル伝達のための、新しいインタラクティブな教科書としてパッケージ化することもできる。
【０１０５】
［２−３−４．効果４］
また、移動体２が人である場合には、ｊａｃｋ‐ｏｕｔ時に、ユーザ４がｊａｃｋ‐ｉｎ中の移動体２の頭から抜け出して、そして、該当の移動体２の後方かつ上方へ視点が連続的に上昇していくような第１の遷移映像が生成され、そして、ユーザ４に提示される。これにより、ユーザ４は、該当の移動体２から体外離脱するような感覚を得ることができる。
【０１０６】
さらに、本実施形態によれば、人工的な体外離脱体験を研究するためのプラットフォームを構成可能である。例えば、本実施形態では、移動体視点と空間観測視点との間でのシームレスな遷移をユーザ４に提供することができるので、対外離脱体験に関する認知作用を研究するために有用である。
【０１０７】
＜２−４．応用例＞
以上、本実施形態について説明した。上述した実施形態では、基本的に、一つの作業空間において視点間を移行する例について説明した。ところで、複数の作業空間が予め設けられている場合には、異なる作業空間における視点間の移行が可能であることが望ましい。例えば、図１６に示したように、作業空間“ＲｏｏｍＡ”に位置する移動体２ａの移動体視点または空間観測視点から、作業空間“ＲｏｏｍＢ”に位置する移動体２ｃの移動体視点へと移行可能であることが望ましい。
【０１０８】
次に、本実施形態の応用例について説明する。後述するように、本応用例によれば、異なる作業空間に位置する移動体２の移動体視点間を連続的につなぐ遷移映像を生成し、そして、生成した遷移映像をユーザ４に視認させることが可能である。これにより、異なる作業空間間で視点が移行される場合であっても、視点の移行に伴う位置関係の変化をユーザ４は容易に理解することができる。
【０１０９】
［２−４−１．構成］
まず、本応用例によるサーバ１０の構成について詳細に説明する。なお、本応用例によるサーバ１０に含まれる構成要素については、（図６に示した）上述した実施形態と同様である。以下では、上述した実施形態と異なる機能を有する構成要素についてのみ説明を行い、重複する内容については説明を省略する。
【０１１０】
（２−４−１−１．空間情報取得部１０２）
本応用例による空間情報取得部１０２は、複数の作業空間の各々においてセンシングされる三次元情報および画像情報を取得する。例えば、空間情報取得部１０２は、複数の作業空間の各々に配置されている複数のデプスカメラ３０によりセンシングされたＲＧＢ−Ｄの情報を、各作業空間における複数のデプスカメラ３０から受信する。
【０１１１】
また、空間情報取得部１０２は、作業空間ごとに、取得された三次元情報および画像情報に基づいて当該作業空間のポイントクラウドを構成する。
【０１１２】
（２−４−１−２．操作情報取得部１０４）
本応用例による操作情報取得部１０４は、例えば空間観測視点モード時に、いずれかの作業空間に位置する移動体視点または空間観測視点へ視点を移行するための、ユーザ４の操作の情報を取得する。なお、本応用例において、例えばｊａｃｋ‐ｉｎ対象の移動体２を指定する操作、または、別の作業空間における空間観測視点に移行するための操作などをユーザ４は行うことが可能である。
【０１１３】
‐リストからの選択
例えば、操作情報取得部１０４は、いずれかの作業空間に位置する移動体視点または空間観測視点へ視点を移行するための、ユーザ４に提示されるリストからの選択操作の情報を取得することが可能である。例えば、図１７に示したような、移動体２の識別情報８００、および作業空間の識別情報８０２が対応付けられたリスト８０がユーザ４に提示され得る。そして、ユーザ４は、ｊａｃｋ‐ｉｎ対象の移動体２をリスト８０から選択すること、および、別の作業空間をリスト８０から選択することが可能である。なお、図１７に示したリスト８０は、移動体「Ｍｉｃｈａｅｌ」および移動体「Ｊｅｓｓｉｃａ」が作業空間「ＡＢＣ  Ｂｕｉｌｄｉｎｇ  Ｒｏｏｍ１０１」に位置していること、および、移動体「Ｊｏｈｎ」が作業空間「ＸＹＺ  Ｈａｌｌ  Ｒｏｏｍ２０５」に位置していることを示している。この場合、例えば、操作情報取得部１０４は、ｊａｃｋ‐ｉｎ対象の移動体２をリスト８０からユーザ４が選択する操作の情報を取得する。または、操作情報取得部１０４は、ｊａｃｋ‐ｉｎ対象の移動体２が位置する作業空間をリスト８０からユーザ４が選択する操作の情報を取得し、そして、取得した情報に基づいてｊａｃｋ‐ｉｎ対象の移動体２を特定することも可能である。または、操作情報取得部１０４は、別の作業空間の空間観測視点へ視点を移行するための、作業空間をリスト８０からユーザ４が選択する操作の情報を取得する。
【０１１４】
‐マップからの選択
または、操作情報取得部１０４は、いずれかの作業空間に位置する移動体視点または空間観測視点へ視点を移行するための、ユーザ４に提示されるマップからの選択操作の情報を取得することが可能である。例えば、図１８に示したような、各作業空間の識別情報８２２、および、各作業空間に位置する移動体２の識別情報８２０が（各作業空間の位置情報と対応付けて）表示されたマップ８２がユーザ４に提示され得る。そして、ユーザ４は、ｊａｃｋ‐ｉｎ対象の移動体２をマップ８２から選択すること、または、別の作業空間をマップ８２から選択することが可能である。なお、操作情報の具体的な取得例に関しては、上述したリスト８０の場合と同様である。
【０１１５】
（２−４−１−３．視点移動部１０６）
本応用例による視点移動部１０６は、操作情報取得部１０４により取得された操作情報に応じて特定される、移行先の作業空間における移動体視点または空間観測視点と、現在の作業空間における現在の視点との間で視点位置を連続的に移動させる。例えば、現在の視点が、作業空間Ａに位置する移動体２ａの移動体視点であり、かつ、移行先の視点が、作業空間Ｂに位置する移動体２ｂの移動体視点である場合には、視点移動部１０６は、まず、移動体２ａの移動体視点、作業空間Ａ内の空間観測視点、俯瞰マップ、作業空間Ｂ内の空間観測視点、および、移動体２ｂの移動体視点の順に連続的につなぐ移動経路を決定する。そして、視点移動部１０６は、決定した移動経路に沿って視点位置を連続的に移動させる。ここで、俯瞰マップは、作業空間Ａと作業空間Ｂとの位置関係を示すマップである。
【０１１６】
（２−４−１−４．映像生成部１０８）
本応用例による映像生成部１０８は、例えば、現在の作業空間（例えば作業空間Ａ）における現在の移動体視点からｊａｃｋ‐ｏｕｔし、かつ、別の作業空間（例えば作業空間Ｂ）に位置する或る移動体２ｂの移動体視点へｊａｃｋ‐ｉｎするためのコマンドがユーザ４により発行された場合には、視点移動部１０６により連続的に移動される視点位置に応じた遷移映像を生成する。例えば、映像生成部１０８は、生成対象の遷移映像のうち、作業空間Ａ内の空間観測視点、俯瞰マップ、および、作業空間Ｂ内の空間観測視点の順に移動される視点位置に応じた映像に関しては、作業空間Ａからのズームアウト、作業空間Ａから作業空間Ｂへのスクロール、および、作業空間Ｂのズームインの順で視点移動するアニメーションとして生成してもよい。図１９は、このアニメーションの一フレームの表示例８４を示した説明図である。図１９では、例えば、作業空間「ＡＢＣ  Ｂｕｉｌｄｉｎｇ」から作業空間「ＸＹＺ  Ｈａｌｌ」へと視点が移動される際のアニメーションの例を示している。
【０１１７】
［２−４−２．効果］
以上、説明したように、本応用例によれば、異なる作業空間に位置する移動体２の移動体視点間を連続的につなぐ遷移映像を生成し、そして、生成した遷移映像を、ユーザ４が視認する表示領域に表示させる。これにより、異なる作業空間間で視点が移行される場合であっても、視点の移行に伴う位置関係の変化をユーザ４は容易に理解することができる。
【０１１８】
［２−４−３．変形例］
なお、上記の説明では、複数の作業空間が定められている場合において、俯瞰マップを含む遷移映像を生成する例について説明したが、本応用例は、かかる例に限定されない。例えば、ユーザ４が現在ｊａｃｋ‐ｉｎしている移動体２ａと、新たなｊａｃｋ‐ｉｎ対象の移動体２ｂとが所定の位置関係になっている場合には、サーバ１０は、上述した遷移映像の生成および表示制御を行うことが可能である。ここで、所定の位置関係は、例えば、移動体２ａと移動体２ｂとが所定の閾値以上離れている場合であってもよいし、または、移動体２ａと移動体２ｂとの間に遮蔽物（例えば壁）が存在する場合であってもよい。
【０１１９】
＜＜３．ハードウェア構成＞＞
次に、本実施形態によるサーバ１０のハードウェア構成について、図２０を参照して説明する。図２０に示したように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ１５２、ＲＡＭ１５４、内部バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
【０１２０】
ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
【０１２１】
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
【０１２２】
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１２３】
内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
【０１２４】
インターフェース１５８は、ストレージ装置１６０および通信装置１６２を、内部バス１５６と接続する。例えばストレージ装置１６０は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０との間でデータをやり取りする。
【０１２５】
ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
【０１２６】
通信装置１６２は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
【０１２７】
＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２８】
＜４−１．変形例１＞
例えば、上述した実施形態では、移動体２が人である場合、移動体２は（図２に示したような）ヘッドセット２０を装着する例について説明したが、かかる例に限定されず、全周囲カメラを装着することも可能である。
【０１２９】
なお、公知の全周囲カメラを移動体２が頭部に装着した場合には、移動体２の全周囲の移動体映像を生成することは可能である。しかしながら、ステレオ立体視を実現することができない。
【０１３０】
ところで、移動体映像を用いた作業支援等の応用を考慮すると、移動体２の前方方向が立体視可能であれば有用である。そこで、変形例として、移動体２は、例えば図２１に示すような全周囲カメラ２４を頭部の左右（耳の上）に装着してもよい。この全周囲カメラ２４は、例えば１８０°超の視野角を有するカメラ、および、ポジショントラッキング用のマーカーを備える。この全周囲カメラ２４が頭部の左右に装着されると、例えば、図２２に示したように、移動体２の前方方向の撮像領域８６、および、移動体２の左右方向および後方方向の撮像領域８８が撮像可能である。そして、図２２に示したように、前方方向の撮像領域８６に関しては、二個（左右）の全周囲カメラ２４により撮像されるので、両眼立体視が可能となる。
【０１３１】
この変形例によれば、移動体２の前方方向が立体視可能な移動体映像を、ユーザ４に視認させることができる。従って、移動体映像を用いた作業支援等の場面で有用である。なお、立体視が不要な場合には、頭部の片側に装着される全周囲カメラ２４の撮像範囲を制限すればよく、そして、この場合であっても、移動体２の全周囲映像を取得することができる。
【０１３２】
＜４−２．変形例２＞
また、本実施形態による情報処理システムは、モーションキャプチャセンサ３２を有しなくてもよい。この理由は、複数のデプスカメラ３０によるセンシングに基づいて構成されるポイントクラウドと、各移動体２に装着されるカメラ２００により撮像される映像とに基づいて、サーバ１０は、作業空間における各移動体２の移動体視点の方向（移動体２の移動方向）を特定することができるからである。
【０１３３】
また、別の変形例として、複数のプロジェクタ３６および複数のスクリーン３８が設置される代わりに、サーバ１０と通信可能なＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）をユーザ４が装着してもよい。ここで、ＨＭＤは、本開示における表示領域の一例である。この変形例によれば、サーバ１０から送信される映像をユーザ４はＨＭＤにより視認することができる。
【０１３４】
さらに、この変形例では、ユーザ４の頭や眼などの動きは、ＨＭＤによりセンシングされてもよい。そして、この場合、モーションキャプチャセンサ３４も設置されなくてもよい。
【０１３５】
＜４−３．変形例３＞
［４−３−１．自走式デプスカメラ９０］
また、上述した実施形態では、作業空間に設置された複数のデプスカメラ３０により作業空間の三次元情報がセンシングされる例について説明したが、かかる例に限定されない。例えば、図２３に示したような、作業空間内を自由に移動可能な自走式デプスカメラ９０により、作業空間の三次元情報がセンシングされてもよい。例えば、自走式デプスカメラ９０は、デプスカメラが取り付けられた自動運転車であってもよい。
【０１３６】
［４−３−２．装着型デプスカメラ９２］
または、図２４に示したような、移動体２が装着する装着型デプスカメラ９２により、作業空間の三次元情報がセンシングされてもよい。この変形例では、作業空間内を各移動体２が移動するにつれて、サーバ１０は、ポイントクラウドを逐次的に構成する。なお、この変形例では、移動体２の移動体視点から三次元情報を取得可能であるので、移動体視点は、空間観測視点にもなる。従って、この変形例によれば、サーバ１０は、空間観測映像のような映像として移動体映像を生成することができる。
【０１３７】
または、（設置式の）デプスカメラ３０、自走式デプスカメラ９０、または、装着型デプスカメラ９２のうちいずれか二以上が併用されることにより、作業空間の三次元情報がセンシングされることも可能である。
【０１３８】
＜４−４．変形例４＞
［４−４−１．制限例１］
また、別の変形例として、所定の条件を満たす場合には、サーバ１０は、ｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎの実行を制限することも可能である。ここで、所定の条件は、例えば、空間観測映像を生成する際に、該当の作業空間に関する三次元情報が十分取得できていない場合である。なお、この場合、例えば“ｊａｃｋ‐ｏｕｔ”コマンドまたは“ｊａｃｋ‐ｉｎ”コマンドが発行された際などに、サーバ１０は、エラーの表示や音声を出力させてもよい。
【０１３９】
または、サーバ１０は、エラーを出力させながら、かつ、三次元情報が十分取得されている位置まで空間観測視点を移動させてもよい。そして、サーバ１０は、移動後の空間観測視点に基づいて空間観測映像を生成することが可能である。
【０１４０】
または、上述した変形例３による自走式デプスカメラ９０または装着型デプスカメラ９２が使用される場合には、サーバ１０は、自走式デプスカメラ９０、または、装着型デプスカメラ９２を装着している移動体２を、三次元情報が十分取得されるように移動させてもよい。そして、サーバ１０は、新たに取得された三次元情報に基づいて空間観測映像を生成することが可能である。
【０１４１】
または、作業空間において何らかの遮蔽物が存在する場合には、サーバ１０は、遮蔽物を何らかのロボットに移動させてもよい。
【０１４２】
［４−４−２．制限例２］
または、上記の所定の条件は、該当の移動体２または管理者がｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎを禁止している場合であってもよい。この条件によれば、例えば、移動体２が人である場合に、移動体２は、プライバシーの観点からｊａｃｋ‐ｉｎを一部制限することが可能となる。
【０１４３】
［４−４−３．制限例３］
または、上記の所定の条件は、該当の移動体２が例えば頭などを大きく動かしている場合であってもよい。この条件によれば、該当の移動体２からｊａｃｋ‐ｏｕｔする際、または、該当の移動体２にｊａｃｋ‐ｉｎする際にユーザ４が感じるモーションシックネスが大きくなると推定される場合に、ｊａｃｋ‐ｏｕｔおよびｊａｃｋ‐ｉｎが実行されないように制限することができる。
【０１４４】
なお、この場合、例えば“ｊａｃｋ‐ｏｕｔ”コマンドまたは“ｊａｃｋ‐ｉｎ”コマンドがユーザ４により発行された際には、サーバ１０は、ｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎの実行を一時保留し、そして、該当の移動体２の頭などの動きが収まった際にｊａｃｋ‐ｏｕｔまたはｊａｃｋ‐ｉｎを実行することも可能である。
【０１４５】
＜４−５．変形例５＞
また、上述した実施形態では、本開示における情報処理装置がサーバ１０である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、ＨＭＤ、ゲーム機などであってもよい。
【０１４６】
また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態によるサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
【０１４７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１４８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
を備え、
前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、情報処理装置。
（２）
前記情報処理装置は、前記第１の空間の三次元情報を取得する空間情報取得部と、
前記空間情報取得部により取得された前記第１の空間の三次元情報に基づいて、前記第１の視点と前記第２の視点との間で視点位置を連続的に移動させる視点移動部と、をさらに備え、
前記表示制御部は、前記視点移動部による視点位置の移動に基づいて前記第１の遷移映像を生成する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記ユーザによる、前記第１の視点から前記第２の視点へ移動するための第１の操作の検出情報を取得する操作情報取得部をさらに備え、
前記第１の操作が検出された際に、前記表示制御部は、前記第１の遷移映像を生成し、かつ、生成した前記第１の遷移映像を前記表示領域に表示させる、前記（２）に記載の情報処理装置。
（４）
前記視点移動部は、前記第１の視点が始点であり、かつ、前記第２の視点が終点である、視点位置の移動経路を決定し、決定した移動経路に沿って視点位置を連続的に移動させる、前記（３）に記載の情報処理装置。
（５）
前記視点移動部は、さらに、視点位置の移動に応じて視点の方向が連続的に変化するように、前記移動経路における視点の方向を決定する、前記（４）に記載の情報処理装置。
（６）
前記視点移動部は、前記移動経路の始点における視点の方向を前記第１の視点の方向と一致させ、かつ、前記移動経路の終点における視点の方向を前記第２の視点の方向と一致させる、前記（５）に記載の情報処理装置。
（７）
前記視点移動部は、さらに、視点位置の移動に応じて視点の画角が連続的に変化するように、前記移動経路における視点の画角を決定する、前記（５）または（６）に記載の情報処理装置。
（８）
前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との位置関係に基づいて、前記視点位置の移動速度を変化させる、前記（４）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記視点移動部は、現在の視点位置と前記移動経路における終点の位置との間の距離が短いほど、前記視点位置の移動速度を遅くする、前記（８）に記載の情報処理装置。
（１０）
前記視点移動部は、経過時間と視点位置の移動速度との関係が非線形になるように、前記視点位置の移動速度を決定する、前記（８）または（９）に記載の情報処理装置。
（１１）
前記第２の視点は、前記第１の空間において前記第１の移動体の後方、かつ上方に位置しており、
前記第２の視点は、前記第１の移動体を向いている、前記（４）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記第１の視点から前記第２の視点へ移動した後に、前記操作情報取得部は、第２の移動体を前記ユーザが選択する第２の操作の検出情報をさらに取得し、
前記表示制御部は、前記第２の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を生成し、かつ、生成した第２の遷移映像を前記表示領域に表示させる、前記（４）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記第２の移動体は、前記第１の空間に位置し、
前記第２の操作は、一以上の前記第２の移動体のうちのいずれかを前記ユーザが選択する操作である、前記（１２）に記載の情報処理装置。
（１４）
前記視点移動部は、さらに、前記第２の視点が始点であり、かつ、前記第３の視点が終点である、視点位置の第２の移動経路を決定し、かつ、決定した第２の移動経路に沿って視点位置を連続的に移動させ、
前記表示制御部は、前記第２の移動経路に沿った視点位置の移動に基づいて前記第２の遷移映像を生成する、前記（１２）または（１３）に記載の情報処理装置。
（１５）
前記視点移動部は、さらに、前記第２の移動経路に沿った視点位置の移動に応じて視点の方向が連続的に変化するように、前記第２の移動経路における視点の方向を決定する、前記（１４）に記載の情報処理装置。
（１６）
前記視点移動部は、前記第２の移動経路の始点における視点の方向を、前記第２の操作が検出された際の前記ユーザの方向と一致させ、かつ、前記第２の移動経路の終点における視点の方向を前記第３の視点の方向と一致させる、前記（１５）に記載の情報処理装置。
（１７）
前記第２の操作により選択された第２の移動体が第２の空間に位置する場合には、前記表示制御部は、前記第２の視点から、前記第２の空間を撮像するための第４の視点への視点位置の連続的な移動に基づいた空間移動映像を前記表示領域に表示させ、
前記空間移動映像の終了後に、前記表示制御部は、前記第４の視点と、前記第２の操作により選択された第２の移動体に装着されている第２の撮像部の視点である第３の視点との間で連続的に移動される視点位置に応じた第２の遷移映像を前記表示領域に表示させる、前記（１２）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記空間移動映像は、前記第１の空間と前記第２の空間との位置関係を示す映像である、前記（１７）に記載の情報処理装置。
（１９）
第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させることと、
前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像をプロセッサが生成することと、
を含む、情報処理方法。
（２０）
コンピュータを、
第１の空間内を移動する第１の移動体に装着された第１の撮像部により撮像される第１の映像を、ユーザが視認する表示領域に表示させる表示制御部、
として機能させるための、プログラムであって、
前記表示制御部は、前記第１の撮像部の視点である第１の視点と、前記第１の空間を撮像するための第２の視点との間で連続的に移動される視点位置に応じた第１の遷移映像を生成する、プログラム。
【符号の説明】
【０１４９】
２  移動体
４  ユーザ
１０  サーバ
２０  ヘッドセット
２４  全周囲カメラ
３０  デプスカメラ
３２、３４  モーションキャプチャセンサ
３６  プロジェクタ
３８  スクリーン
９０  自走式デプスカメラ
９２  装着型デプスカメラ
１００  制御部
１０２  空間情報取得部
１０４  操作情報取得部
１０６  視点移動部
１０８  映像生成部
１１０  出力制御部
１２０  通信部
１２２  記憶部
【図１】
2017051592.tif 000003
【図２】
2017051592.tif 000004
【図３】
2017051592.tif 000005
【図４】
2017051592.tif 000006
【図５】
2017051592.tif 000007
【図６】
2017051592.tif 000008
【図７】
2017051592.tif 000009
【図８】
2017051592.tif 000010
【図９】
2017051592.tif 000011
【図１０】
2017051592.tif 000012
【図１１】
2017051592.tif 000013
【図１２】
2017051592.tif 000014
【図１３】
2017051592.tif 000015
【図１４】
2017051592.tif 000016
【図１５】
2017051592.tif 000017
【図１６】
2017051592.tif 000018
【図１７】
2017051592.tif 000019
【図１８】
2017051592.tif 000020
【図１９】
2017051592.tif 000021
【図２０】
2017051592.tif 000022
【図２１】
2017051592.tif 000023
【図２２】
2017051592.tif 000024
【図２３】
2017051592.tif 000025
【図２４】
2017051592.tif 000026
【国際調査報告】
2017051592.tif 000027
2017051592.tif 000028
2017051592.tif 000029
2017051592.tif 000030