(57)【要約】  ＶＲ空間における情報をユーザーとやりとりする情報処理装置を提供する。  ＶＲ空間の地上のビューを眺めているユーザーが座ったままの姿勢で上を向くと、ＶＲ空間の上空にターゲット・マークが出現する。この状態で、ユーザーがさらに胴体を軽く上下動させる「ジャンプ動作」を行なうと、ＶＲ空間は上空からのビューに切り替わる。ユーザーが上空を見上げて、ターゲット・マークが出現した状態でジャンプ動作を行なう動作を繰り返すと、ＶＲ空間をより上空へ移動することができる。
2017064926.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの動作を検出する検出部と、
検出された前記動作に基づいてＶＲ空間における前記ユーザーからの移動指示を入力する入力部と、
を具備する情報処理装置。
【請求項２】
前記検出部は、前記ユーザーの座ったままの姿勢での動作を検出し、
前記入力部は、前記ユーザーの座ったままの姿勢での動作に基づいてＶＲ空間における移動指示を入力する、
請求項１に記載の情報処理装置。
【請求項３】
前記入力部は、前記ユーザーの頭部又は胴体を傾けた方向への移動指示を入力する、
請求項２に記載の情報処理装置。
【請求項４】
前記入力部は、前記ユーザーが上を向くとともに胴体を上下動させる動作を上空への移動指示として入力する、
請求項１に記載の情報処理装置。
【請求項５】
前記入力部は、前記ＶＲ空間の上空にいる状態の前記ユーザーが下を向くとともに胴体を上下動させる動作を地上への移動指示として入力する、
請求項１に記載の情報処理装置。
【請求項６】
前記入力部は、前記ユーザーが正面を向くとともに胴体を上下動させる動作を正面方向への移動指示として入力する、
請求項１に記載の情報処理装置。
【請求項７】
ＶＲ空間の映像を表示する表示部をさらに備える、
請求項１に記載の情報処理装置。
【請求項８】
前記表示部は、前記入力部で入力された移動指示に基づいてＶＲ空間のビューを切り替える、
請求項７に記載の情報処理装置。
【請求項９】
前記表示部は、前記検出部が検出した前記ユーザーの向く方向にターゲット・マークを表示する、
請求項７に記載の情報処理装置。
【請求項１０】
前記入力部は、前記ユーザーが胴体を上下動させる動作を前記ターゲット・マークが表示された地点への移動指示として入力し、
前記表示部は、前記ターゲット・マークが表示された地点へのビューに切り替える、
請求項９に記載の情報処理装置。
【請求項１１】
前記表示部は、ビューの切り替えに際して所定の効果線を表示する、
請求項８に記載の情報処理装置。
【請求項１２】
前記表示部は、ビューの切り替えに際して、前記ターゲット・マークを起点とする視覚的効果を付与する、
請求項１０に記載の情報処理装置。
【請求項１３】
前記表示部は、ビューの切り替えに際してブラーを施す、
請求項８に記載の情報処理装置。
【請求項１４】
前記表示部は、前記ユーザーが前記ＶＲ空間を上空から見下ろしたときに、地上に影を表示する、
請求項７に記載の情報処理装置。
【請求項１５】
ユーザーの動作を検出する検出ステップと、
検出された前記動作に基づいてＶＲ空間における前記ユーザーからの移動指示を入力する入力ステップと、
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、ユーザーと情報をやりとりする情報処理装置及び情報処理方法に係り、例えば、一人称映像などを視聴するＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）空間における情報をユーザーとやりとりする情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
ユーザーが自分以外の視界光景（自分以外の移動体から見える光景）にアクセスする技術が知られている。【０００３】
例えば、車両などの移動体に搭載された移動カメラにより撮像された画像を遠隔的に取得する移動カメラ・システムについて提案がなされている（例えば、特許文献１を参照のこと）。また、撮像センシング無線機器を配置したメガネを掛けた人が取得する視覚情報と同様の情報をヘッド・マウント・ディスプレイの装着者に提供する画像処理システムについて提案がなされている（例えば、特許文献２を参照のこと）。また、移動体の撮像画像を表示する表示装置側から移動体の撮像装置に対して撮像する視点位置及び視線方向、さらに撮影時の速度を指定する画像表示システムについて提案がなされている（例えば、特許文献３を参照のこと）。【０００４】
さらに、遠隔地のロボットの視覚などの間隔を通じてその場にいるような感覚を伝送するとともに遠隔地の物体を操作するためのインターフェースを提供するテレプレゼンス技術についても提案がなされている（例えば、特許文献４を参照のこと）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１８６６４５号公報
【特許文献２】特開２００４−２２２２５４号公報
【特許文献３】特開２００８−１５４１９２号公報
【特許文献４】特表２０１４−５２２０５３号公報
【特許文献５】特開２０１４−１０４１８５号公報
【特許文献６】特開２０１５−８１９６５号公報
【特許文献７】特開２０１２−５８６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本明細書で開示する技術の目的は、ＶＲ空間における情報をユーザーとやりとりすることができる、優れた情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
ユーザーの動作を検出する検出部と、
検出された前記動作に基づいてＶＲ空間における前記ユーザーからの移動指示を入力する入力部と、
を具備する情報処理装置である。【０００８】
本明細書で開示する技術の第２の側面によれば、第１の側面に係る情報処理装置の前記検出部は、前記ユーザーの座ったままの姿勢での動作を検出し、前記入力部は、前記ユーザーの座ったままの姿勢での動作に基づいてＶＲ空間における移動指示を入力するように構成されている。【０００９】
本明細書で開示する技術の第３の側面によれば、第２の側面に係る情報処理装置の前記入力部は、前記ユーザーの頭部又は胴体を傾けた方向への移動指示を入力するように構成されている。【００１０】
本明細書で開示する技術の第４の側面によれば、第１の側面に係る情報処理装置の前記入力部は、前記ユーザーが上を向くとともに胴体を上下動させる動作を上空への移動指示として入力するように構成されている。【００１１】
本明細書で開示する技術の第５の側面によれば、第１の側面に係る情報処理装置の前記入力部は、前記ＶＲ空間の上空にいる状態の前記ユーザーが下を向くとともに胴体を上下動させる動作を地上への移動指示として入力するように構成されている。【００１２】
本明細書で開示する技術の第６の側面によれば、第１の側面に係る情報処理装置の前記入力部は、前記ユーザーが正面を向くとともに胴体を上下動させる動作を正面方向への移動指示として入力するように構成されている。【００１３】
本明細書で開示する技術の第７の側面によれば、第１の側面に係る情報処理装置は、ＶＲ空間の映像を表示する表示部をさらに備えている。【００１４】
本明細書で開示する技術の第８の側面によれば、第７の側面に係る情報処理装置の前記表示部は、前記入力部で入力された移動指示に基づいてＶＲ空間のビューを切り替えるように構成されている。【００１５】
本明細書で開示する技術の第９の側面によれば、第７の側面に係る情報処理装置の前記表示部は、前記検出部が検出した前記ユーザーの向く方向にターゲット・マークを表示するように構成されている。【００１６】
本明細書で開示する技術の第１０の側面によれば、第９の側面に係る情報処理装置の前記入力部は、前記ユーザーが胴体を上下動させる動作を前記ターゲット・マークが表示された地点への移動指示として入力し、前記表示部は、前記ターゲット・マークが表示された地点へのビューに切り替えるように構成されている。【００１７】
本明細書で開示する技術の第１１の側面によれば、第８の側面に係る情報処理装置の前記表示部は、ビューの切り替えに際して所定の効果線を表示するように構成されている。【００１８】
本明細書で開示する技術の第１２の側面によれば、第１０の側面に係る情報処理装置の前記表示部は、ビューの切り替えに際して、前記ターゲット・マークを起点とする視覚的効果を付与するように構成されている。【００１９】
本明細書で開示する技術の第１３の側面によれば、第８の側面に係る情報処理装置の前記表示部は、ビューの切り替えに際してブラーを施すように構成されている。【００２０】
本明細書で開示する技術の第１４の側面によれば、第７の側面に係る情報処理装置の前記表示部は、前記ユーザーが前記ＶＲ空間を上空から見下ろしたときに、地上に影を表示するように構成されている。【００２１】
また、本明細書で開示する技術の第１５の側面は、
ユーザーの動作を検出する検出ステップと、
検出された前記動作に基づいてＶＲ空間における前記ユーザーからの移動指示を入力する入力ステップと、
を有する情報処理方法である。
【発明の効果】
【００２２】
本明細書で開示する技術によれば、ＶＲ空間における情報をユーザーとやりとりすることができる、優れた情報処理装置及び情報処理方法を提供することができる。【００２３】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。【００２４】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２５】
【図１】図１は、本明細書で開示する技術を適用した視界情報共有システム１００の概要を示した図である。
【図２】図２は、１対Ｎのネットワーク・トポロジーを模式的に示した図である。
【図３】図３は、Ｎ対１のネットワーク・トポロジーを模式的に示した図である。
【図４】図４は、Ｎ対Ｎのネットワーク・トポロジーを模式的に示した図である。
【図５】図５は、画像提供装置１０１と画像表示装置１０２の機能的構成例を示した図である。
【図６】図６は、ほぼ正面を向いたＢｏｄｙの一人称映像を視聴する場合のドーム型ディスプレイの設置例を示した図である。
【図７】図７は、正面やや上方を見上げたＢｏｄｙの一人称映像を視聴する場合のドーム型ディスプレイの設置例を示した図である。
【図８】図８は、同時に２人のユーザーを収容するドーム型ディスプレイの構成例を示した図である。
【図９】図９は、マシン・ラーニングのためのガイダンスの映像を例示した図である。
【図１０】図１０は、マシン・ラーニングのためのガイダンスの映像を例示した図である。
【図１１】図１１は、マシン・ラーニングのためのガイダンスの映像を例示した図である。
【図１２】図１２は、ユーザーが座ったままの姿勢でＶＲ空間の前方への移動を指示する前傾動作を例示した図である。
【図１３】図１３は、ユーザーが座ったままの姿勢でＶＲ空間の後方への移動を指示する後傾動作を例示した図である。
【図１４】図１４は、ジャンプＵＩを説明するための図である。
【図１５】図１５は、ジャンプＵＩを説明するための図である。
【図１６】図１６は、ジャンプＵＩを説明するための図である。
【図１７】図１７は、ジャンプＵＩを説明するための図である。
【図１８】図１８は、マイクロジャンプＵＩを説明するための図である。
【図１９】図１９は、マイクロジャンプＵＩを説明するための図である。
【図２０】図２０は、プロジェクション・マッピングを利用したディスプレイの構成例を示した図である。
【図２１】図２１は、ドーム型ディスプレイを利用するＧｈｏｓｔを含む視界共有システムの概念図を示した図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２７】
Ａ．システム概要
図１には、本明細書で開示する技術を適用した視界情報共有システム１００の概要を示している。図示の視界情報共有システム１００は、現場を撮影した画像を提供する画像提供装置１０１と、画像提供装置１０１から提供される画像を表示する画像表示装置１０２の組み合わせで構成される。
【００２８】
画像提供装置１０１は、具体的には、実際に現場に居て活動する観察者１１１が頭部に着用するカメラ付きシースルー型のヘッド・マウント・ディスプレイで構成される。ここで言う「シースルー型」のヘッド・マウント・ディスプレイは、光学透過型であることを基本とするが、ビデオ・シースルー型であってもよい。ヘッド・マウント・ディスプレイに搭載されるカメラは、観察者１１１のほぼ視線方向を撮影して、その一人称映像（ＦＰＶ：Ｆｉｒｓｔ  Ｐｅｒｅｓｏｎ  Ｖｉｅｗ）を提供する。
【００２９】
一方、画像表示装置１０２は、現場すなわち画像提供装置１０１から離間して配置され、画像提供装置１０１と画像表示装置１０２はネットワーク経由で通信することを想定している。ここで言う「離間」には、遠隔地の他、同じ室内でわずかに（例えば、数メートル程度）離れている状況も含むものとする。また、図示しないサーバーを介して画像提供装置１０１と画像表示装置１０２の間でデータ交換を行なうことも想定される。
【００３０】
画像表示装置１０２は、例えば、現場には居ない人（撮影画像の視聴者）１１２が観察者１１１の一人称映像を視聴するための表示装置である。画像表示装置１０２は、例えば半球の内周に映像を表示するドーム型ディスプレイや、没入型のヘッド・マウント・ディスプレイのように広角の映像を表示できるデバイスであれば、視聴者１１２は観察者１１１と同じ光景をよりリアルに体験することができる。
【００３１】
但し、画像表示装置１０２は、広角映像を表示する装置には限定されず、シースルー型のヘッド・マウント・ディスプレイや腕時計型のディスプレイであってもよい。あるいは、画像表示装置１０２は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピューター・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機などでもよい。
【００３２】
観察者１１１は、実際に現場に居て、自らの身体を以って活動していることから、画像提供装置１０１のユーザーである観察者１１１（又は、画像提供装置１０１）のことを、以下では「Ｂｏｄｙ」とも呼ぶ。これに対し、視聴者１１２は、現場で身体を以って活動する訳ではないが、観察者１１１の一人称映像を視聴することによって現場に対する意識を持つことから、画像表示装置１０２のユーザーである視聴者１１２（又は、画像表示装置１０２）のことを、以下では「Ｇｈｏｓｔ」とも呼ぶ。
【００３３】
Ｂｏｄｙは、自分の周辺状況をＧｈｏｓｔに伝達し、さらに状況をＧｈｏｓｔと共有する。一方のＧｈｏｓｔは、Ｂｏｄｙとコミュニケーションをとって離間した場所から作業支援などのインタラクションを実現することができる。視界情報共有システム１００において、ＧｈｏｓｔがＢｏｄｙの一人称体験に没入してインタラクションを行なうことを、以下では「ＪａｃｋＩｎ」とも呼ぶ。
【００３４】
視界情報共有システム１００は、ＢｏｄｙからＧｈｏｓｔへ一人称映像を送信しＧｈｏｓｔ側でも視聴・体験することと、ＢｏｄｙとＧｈｏｓｔ間でコミュニケーションをとることを基本的な機能とする。後者のコミュニケーション機能を利用して、Ｇｈｏｓｔは、Ｂｏｄｙの視界に介入する「視界介入」、Ｂｏｄｙの聴覚に介入する「聴覚介入」、Ｂｏｄｙの身体若しくは身体の一部を動作させたり刺激を与えたりする「身体介入」、ＧｈｏｓｔがＢｏｄｙに代わって現場で話をする「代替会話」といった、遠隔地からの介入によって、Ｂｏｄｙに対するインタラクションを実現することができる。ＪａｃｋＩｎでは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」といった複数のコミュニケーション・チャネルがあるということもできる。「視界介入」、「聴覚介入」、「身体介入」、「代替会話」それぞれの詳細については後述に譲る。
【００３５】
Ｇｈｏｓｔは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」を通じて、Ｂｏｄｙに対して現場での行動を指示することができる。例えば、外科手術などの医療現場や土木作業などの建築現場などさまざまな産業分野の作業支援、飛行機やヘリコプターの操縦の指示や誘導、自動車の運転者の案内、スポーツにおけるコーチング若しくはインストラクションなどの用途に視界情報共有システム１００を活用することができる。
【００３６】
例えば、Ｂｏｄｙは、自分の視界を他人と共有したい場合の他、視界介入などを通じて、現在行なっている作業に対して他人から支援や指示、誘導、案内を受けたい（若しくは、受けなければならない）場合に、自ら主導的に適当なＧｈｏｓｔとのＪａｃｋＩｎ（Ｂｏｄｙ  ｉｎｉｔｉａｔｉｖｅ  ｓｔａｒｔ）を実施する。
【００３７】
また、Ｇｈｏｓｔは、自分が出向くことなく現場の映像（他人の一人称映像）を視聴したい場合の他、他人が行なっている作業に対して支援や指示、誘導、案内を行ないたい（若しくは、行なわなければならない）場合に、自ら主導的に該当するＢｏｄｙとのＪａｃｋＩｎ（Ｇｈｏｓｔ  ｉｎｉｔｉａｔｉｖｅ  ｓｔａｒｔ）を実施する。
【００３８】
但し、Ｂｏｄｙは、無制限に自分の視界や聴覚、身体、会話に介入されると、自分の行動がＧｈｏｓｔに邪魔され、あるいは自分の行動に支障をきたし危険な場合や、プライバシーが侵害されることもある。一方、Ｇｈｏｓｔにとっても、見たくない映像がある場合や、頼まれてもＢｏｄｙに対して適切な支援や指示、誘導、案内などのサービスを提供できない場合がある。したがって、ＧｈｏｓｔのＢｏｄｙへのＪａｃｋＩｎや、ＪａｃｋＩｎした状態でのＧｈｏｓｔからＢｏｄｙへの介入に一定の制限を課すようにしてもよい。
【００３９】
なお、図１では簡素化のため、画像提供装置１０１と画像表示装置１０２をそれぞれ１台しか存在しない、ＢｏｄｙとＧｈｏｓｔが１対１のネットワーク・トポロジーを描いている。図２に示すような、１つのＢｏｄｙと複数（Ｎ）のＧｈｏｓｔが同時にＪａｃｋＩｎする１対Ｎのネットワーク・トポロジーや、図３に示すような、複数（Ｎ）のＢｏｄｙと１つのＧｈｏｓｔが同時にＪａｃｋＩｎするＮ対１のネットワーク・トポロジー、図４に示すような、複数（Ｎ）のＢｏｄｙと複数（Ｎ）のＧｈｏｓｔが同時にＪａｃｋＩｎするＮ対Ｎのネットワーク・トポロジーも想定される。
【００４０】
また、１つの装置がＢｏｄｙからＧｈｏｓｔへ切り替わったり、逆にＧｈｏｓｔからＢｏｄｙへ切り替わったりすることや、同時にＢｏｄｙとＧｈｏｓｔの役割を持つことも想定される。１つの装置がＧｈｏｓｔとしてあるＢｏｄｙにＪａｃｋＩｎすると同時に、他のＧｈｏｓｔに対してＢｏｄｙとして機能して、３台以上の装置がディジーチェーン接続されるネットワーク・トポロジー（図示を省略）も想定される。いずれのネットワーク・トポロジーにおいても、ＢｏｄｙとＧｈｏｓｔ間にサーバー（図示しない）が介在することもある。
【００４１】
Ｂ．機能的構成
図５には、画像提供装置１０１と画像表示装置１０２の機能的構成例を示している。
【００４２】
画像提供装置１０１は、Ｂｏｄｙとしての役割を果たすユーザー（観察者１１２）の利用に供される装置である。図５に示す例では、画像提供装置１０１は、撮像部５０１と、画像処理部５０２と、出力部としての表示部５０３、第１の音声出力部５０４、駆動部５０５及び第２の音声出力部５０６と、位置検出部５０７と、通信部５０８と、制御部５０９と、認証部５１０を備えている。
【００４３】
撮像部５０１は、Ｂｏｄｙの一人称映像を撮影するカメラで構成される。撮像部５０１は、例えばＢｏｄｙすなわち観察者１１１の視線方向を撮影するように、観察者１１１の頭部に取り付けられる。あるいは、撮像部５０１に全天周型カメラを用いて、Ｂｏｄｙの周囲３６０度の全天周画像を提供できるようにしてもよい。但し、全天周画像は必ずしも３６０度である必要はなく、一部の視野が欠けていてもよい。また、全天周画像は、情報の少ない床面を含まない半天球画像であってもよい（以下、同様）。
【００４４】
画像処理部５０２は、撮像部５０１から出力される画像信号の処理を行なう。撮像部５０１で撮影されるＢｏｄｙの一人称映像をそのままストリーミングする場合、Ｂｏｄｙは自分の意思で周辺を見渡したり視線方向を変えたりするので、Ｇｈｏｓｔは揺れの激しい映像を視聴することになり、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）酔い若しくはモーション・シックネスを起こすなどの健康被害が懸念される。また、Ｂｏｄｙが着目していない別の個所をＧｈｏｓｔが視聴したい場合もある。そこで、画像処理部５０２は、撮像部５０１が撮影するＢｏｄｙの一人称映像の連続画像から周辺の空間を疑似的に構築するようにしている。具体的には、画像処理部５０２は、撮像部５０１が撮影する映像（全天周画像）に対してリアルタイムにＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）認識技術などに基づく空間認識を行ない、現在のビデオ・フレームと過去のビデオ・フレームを空間的につなぎ合わせることで、Ｇｈｏｓｔがコントロールする仮想的なカメラ視点からの映像をレンダリングする。仮想的なカメラ視点でレンダリングされた映像は、Ｂｏｄｙの一人称映像というよりも疑似的にＢｏｄｙの体外に離脱した視点映像である。したがって、Ｇｈｏｓｔ側ではＢｏｄｙの動きとは独立にＢｏｄｙの周囲環境を観察できるので、映像の揺れを安定化させてＶＲ酔いを防ぐとともに、Ｂｏｄｙが着目していない別の個所を視聴することができる。
【００４５】
表示部５０３は、画像表示装置１０２から送られてくる情報を表示出力して、ＧｈｏｓｔによるＢｏｄｙの視界への介入を実現する。上述したように画像提供装置１０１がシースルー型のヘッド・マウント・ディスプレイとして構成される場合、表示部５０３は、Ｂｏｄｙと一人称体験を共有するＧｈｏｓｔの意識を表現したＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）画像を、観察者１１１の視界（すなわち、実世界の風景）に重畳表示する。ＡＲ画像は、例えばＧｈｏｓｔが指し示した場所を示すポインターやアノテーションなどの画像からなる。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその視界に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。
【００４６】
第１の音声出力部５０４は、例えばイヤホンやヘッドホンなどで構成され、画像表示装置１０２から送られてくる情報をＢｏｄｙに聴かせることで、ＧｈｏｓｔによるＢｏｄｙの聴覚への介入を実現する。画像表示装置１０２からは、Ｂｏｄｙと一人称体験を共有するＧｈｏｓｔの意識に関する情報が送信される。画像提供装置１０１側では、受信した情報を音声信号に変換して、第１の音声出力部５０４から音声出力し、Ｂｏｄｙすなわち観察者１１１に聴かせる。あるいは、一人称体験中のＧｈｏｓｔが発話した音声信号が、そのまま画像表示装置１０２から送信される。画像提供装置１０１側では、受信した音声信号をそのまま第１の音声出力部５０４から音声出力し、Ｂｏｄｙすなわち観察者１１１に聴かせる。また、第１の音声出力部５０４から出力する音声の音量や音質、出力タイミングなどを適宜調整するようにしてもよい。あるいは、画像表示装置１０２から届く画像情報や文字情報を音声信号に変換して、第１の音声出力部５０４から音声出力するようにしてもよい。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその聴覚に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。
【００４７】
駆動部５０５は、Ｂｏｄｙの身体若しくは身体の一部を動作させたり刺激を与えたりして、ＧｈｏｓｔによるＢｏｄｙの身体への介入を実現する。駆動部５０５は、例えば、観察者１１１の身体に対して、触覚（タクタイル）や（健康に害のない程度の軽微な）電気刺激を印加するアクチュエーターで構成される。あるいは、駆動部５０５は、観察者１１１が腕や手、脚などに装着するパワースーツや外骨格（ｅｘｏｓｋｅｌｅｔｏｎ）を駆動することで身体の運動を補助又は拘束する装置（例えば、特許文献５を参照のこと）で構成される。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその身体に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。
【００４８】
第２の音声出力部５０６は、例えばＢｏｄｙが装着するウェアラブル・スピーカーなどで構成され、画像表示装置１０２から届く情報又は音声信号を外部に音声出力する。第２の音声出力部５０６から出力される音声は、現場では、あたかもＢｏｄｙ本人が話しているように聴こえる。したがって、Ｇｈｏｓｔは、Ｂｏｄｙに代わって、Ｂｏｄｙが居る現場の人たちと会話したり、音声による指示を行なったりすること（代替会話）ができる。
【００４９】
位置検出部５０７は、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）信号を用いて画像提供装置１０１（すなわちＢｏｄｙ）の現在位置情報を検出する。検出された位置情報は、例えばＧｈｏｓｔが所望する場所にいるＢｏｄｙを検索する際に利用される。
【００５０】
通信部５０８は、ネットワーク経由で画像表示装置１０２と相互接続し、撮影部５０１で撮影した一人称映像や空間情報の送信、画像表示装置１０２とのコミュニケーションを行なう。通信部５０８の通信手段は無線又は有線のいずれでもよく、また、特定の通信規格に限定されない。
【００５１】
認証部５１０は、ネットワーク経由で相互接続される画像表示装置１０２（若しくは、そのユーザーであるＧｈｏｓｔ）の認証処理を行ない、画像表示装置１０２からの情報を出力する出力部を決定する。そして、制御部５０９は、認証部５１０による認証結果に応じて、出力部からの出力動作を制御する。制御部５０９は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に相当する機能を備えている。
【００５２】
例えば、認証処理の結果、画像表示装置１０２に視界介入のみが許容されている場合には、制御部５０９は、表示部５０３からの表示出力のみを実行する。また、画像表示装置１０２に視界介入だけでなく聴覚介入も許容されている場合には、制御部５０９は、表示部５０３からの表示出力とともに第１の音声出力部５０４からに音声出力も実行する。ＢｏｄｙがＧｈｏｓｔからの介入を許容する範囲は、ｐｅｒｍｉｓｓｉｏｎレベルとして定義される。一方、ＧｈｏｓｔがＢｏｄｙに対して介入を行なう範囲は、ｍｉｓｓｉｏｎレベルとして定義される（後述）。但し、認証部５１０及び制御部５０９による上記の処理を、画像提供装置１０１ではなく、画像提供装置１０１と画像表示装置１０２の間に介在するサーバー（図示しない）で実行するように、視界情報共有システム１００を構成することも可能である。
【００５３】
一方、画像表示装置１０２は、Ｇｈｏｓｔとしての役割を果たすユーザー（視聴者１１２）の利用に供される装置である。図５に示す例では、画像表示装置１０２は、通信部５１１と、画像復号部５１２と、表示部５１３と、ユーザー入力部５１４と、位置姿勢検出部５１５を備えている。
【００５４】
通信部５１１は、ネットワーク経由で画像提供装置１０１と相互接続し、画像提供装置１０１から一人称映像の受信や、画像提供装置１０１とのコミュニケーションを行なう。通信部５１１の通信手段は無線又は有線のいずれでもよく、特定の通信規格に限定されないが、画像提供装置１０１側の通信部５０８と整合しているものとする。
【００５５】
画像復号部５１２は、通信部５１１で画像提供装置１０１から受信した画像信号を復号処理する。表示部５１３は、画像復号部５１２で復号した後の全天周画像（Ｂｏｄｙの一人称映像）を表示出力する。なお、Ｂｏｄｙの一人称映像からＢｏｄｙの体外に離脱した視点映像をレンダリングする処理（前述）を、画像提供装置１０１側の画像処理部５０２ではなく、画像復号部５１２で行なうようにしてもよい。
【００５６】
位置姿勢検出部５１５は、視聴者１１２の頭部の位置及び姿勢を検出する。検出した位置及び姿勢は、Ｇｈｏｓｔの現在の視点位置及び視線方向に相当する。Ｂｏｄｙの一人称映像から疑似的にＢｏｄｙの体外に離脱した視点映像を作り出す際の仮想的なカメラ（前述）の視点位置及び視線方向を、位置姿勢検出部５１５で検出した視聴者１１２の頭部の位置及び姿勢に基づいてコントロールすることができる。
【００５７】
なお、位置姿勢検出部５１５は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成することができる。一例として、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーを組み合わせて、合計９軸を検出可能なセンサーを構成して、位置姿勢検出部５１５に適用してもよい。
【００５８】
表示部５１３は、例えば、Ｇｈｏｓｔとしての視聴者１１２が着用するヘッド・マウント・ディスプレイで構成される。没入型のヘッド・マウント・ディスプレイを表示部５１３に用いれば、視聴者１１２は、観察者１１１と同じ光景をよりリアルに体験することができる。視聴者１１２すなわちＧｈｏｓｔが視聴する映像は、Ｂｏｄｙの一人称映像そのものではなく、一人称映像の連続画像から疑似的に構築された周辺の空間（疑似的にＢｏｄｙの体外に離脱した視点映像）であるとする（前述）。また、Ｇｈｏｓｔのヘッド・トラッキング、すなわち位置姿勢検出部５１５で検出した視聴者１１２の視点位置及び視線方向に追従するように仮想カメラを制御して、表示部５１３の表示画角を移動させることができる。
【００５９】
なお、表示部５１３として、没入型のヘッド・マウント・ディスプレイに代えて、シースルー型のヘッド・マウント・ディスプレイや、腕時計型のディスプレイなどのウェアラブル端末を用いてもよい。あるいは、表示部５１３は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピューター・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機、さらにはスクリーンに画像を投影するプロジェクターなどでもよい。
【００６０】
ユーザー入力部５１４は、Ｇｈｏｓｔとしての視聴者１１２が、表示部５１３に表示されているＢｏｄｙの一人称映像を観察したことに対して、Ｇｈｏｓｔ自身の意図や意識を入力するためのデバイスである。
【００６１】
ユーザー入力部５１４は、例えばタッチパネルやマウス、ジョイスティックなどの座標入力装置で構成される。Ｇｈｏｓｔは、Ｂｏｄｙの一人称映像を表示する画面内で、特に関心のある場所を、タッチやマウスのクリック操作などにより直接指示することができる。Ｇｈｏｓｔは視聴している映像の画素座標上に指示を行なうが、Ｂｏｄｙ側の撮影映像は常に変化するので意味をなさない。そこで、ユーザー入力部５１４は、Ｇｈｏｓｔが画面のタッチやクリック操作などにより指示した画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
【００６２】
また、ユーザー入力部５１４は、カメラによるＧｈｏｓｔの顔の撮影画像や眼電位を用いて眼球運動を捕捉して、Ｇｈｏｓｔが熟視（ｇａｚｅ）している場所を割り出し、その場所を特定する情報を画像提供装置１０１に送信するようにしてもよい。その際も、ユーザー入力部５１４は、Ｇｈｏｓｔが熟視する画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
【００６３】
また、ユーザー入力部５１４は、キーボードなどの文字入力装置で構成される。Ｇｈｏｓｔは、Ｂｏｄｙと同じ一人称体験をしたときに、Ｂｏｄｙに伝えたい意図や抱いた意識などを、文字情報として入力することができる。ユーザー入力部５１４は、Ｇｈｏｓｔが入力した文字情報をそのまま画像提供装置１０１に送信してもよいし、音声信号など他の信号形式に置き換えてから画像提供装置１０１に送信するようにしてもよい。
【００６４】
また、ユーザー入力部５１４は、マイクなどの音声入力装置で構成され、Ｇｈｏｓｔが発話した音声を入力する。ユーザー入力部４１４は、入力された音声を、音声信号のままで、通信部５１１から画像提供装置１０１へ送信してもよい。あるいは、ユーザー入力部５１４は、入力音声を音声認識して文字情報に変換し、文字情報として画像提供装置１０１に送信するようにしてもよい。
【００６５】
また、ユーザー入力部５１４は、マイクなどの音声入力装置で構成され、Ｇｈｏｓｔが発話した音声を入力する。ユーザー入力部４１４は、入力された音声を、音声信号のままで、通信部５１１から画像提供装置１０１へ送信してもよい。あるいは、ユーザー入力部５１４は、入力音声を音声認識して文字情報に変換し、文字情報として画像提供装置１０１に送信するようにしてもよい。
【００６６】
また、ユーザー入力部５１４は、Ｇｈｏｓｔの身振りや手振りを入力するジェスチャー入力装置でもよい。ジェスチャーを捕捉する手段は特に限定されない。例えば、ユーザー入力部５１４は、Ｇｈｏｓｔの身体の動きを撮影するカメラとその撮影画像を処理する画像認識装置を備えていてもよい。また、画像認識を容易にするために、Ｇｈｏｓｔの身体にマーカーを取り付けていてもよい。あるいは、ユーザー入力部５１４は、Ｇｈｏｓｔの身体に取り付けるジャイロ・センサーや加速度センサーで構成され、Ｇｈｏｓｔの身体の動きを検出する。
【００６７】
ユーザー入力部５１４は、入力されたジェスチャーを、例えばＢｏｄｙの身体に介入する制御信号として、通信部５１１から画像提供装置１０１へ送信してもよい。また、ユーザー入力部５１４は、入力されたジェスチャーを、Ｂｏｄｙの視界に介入する画像情報（座標情報や、重畳表示するＡＲ画像、又は文字情報など）や、Ｂｏｄｙの聴覚に介入する音声信号に変換して、通信部５１１から画像提供装置１０１へ送信してもよい。また、ユーザー入力部５１４は、Ｇｈｏｓｔがジェスチャーにより指示した画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
【００６８】
また、ユーザー入力部５１４は、カメラで撮影したＧｈｏｓｔの画像解析や、Ｇｈｏｓｔの身体に取り付けるジャイロ・センサーや加速度センサーの検出結果などに基づいてえられるＧｈｏｓｔの動作を、ＶＲ空間上での移動などの指示として入力する。但し、ＶＲ空間におけるユーザー・インターフェースの詳細については後述に譲る。
【００６９】
視界情報共有システム１００において展開されるＪａｃｋＩｎというサービスは、ＡＲ画像を重畳表示するという観点からは、一般的なＡＲ技術に類似する。但し、ＪａｃｋＩｎにおいては、人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）を拡張するという点で、コンピューターにより付与される通常のＡＲ技術とは相違するものと思料する。
【００７０】
また、ＪａｃｋＩｎは、テレプレゼンス（前述）と類似する点もある。但し、通常のテレプレゼンスは、ロボットのような機械の視点から世界を眺めるインターフェースであるのに対し、ＪａｃｋＩｎは人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）の視点から眺めるという状況であるという点で相違する。また、テレプレゼンスでは、人間がマスターで機械がスレーブとなり、スレーブである機械は人間の動きを忠実に再現することを前提としている。これに対し、人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）にＪａｃｋＩｎする場合、ＢｏｄｙはＧｈｏｓｔに従って動くとは限らず、独立性を許すインターフェースである。
【００７１】
上記の視界情報共有システム１００において、画像提供装置１０１から画像表示装置１０２に提供される映像は、Ｂｏｄｙが現場で観察しているリアルタイム映像（すなわち、撮像部５０１が撮影するライブ映像）とは限らず、録画された過去の映像であってもよい。例えば、画像提供装置１０１が過去の映像を録画する大容量記憶装置（図示しない）を備え、画像提供装置１０１から過去の映像を配信するようにしてもよい。あるいは、ＢｏｄｙとＧｈｏｓｔ間のＪａｃｋＩｎを統制するＪａｃｋＩｎサーバー（仮称）、あるいはその他の記録サーバー上で画像提供装置１０１による過去の録画映像を蓄積しておき、これらのサーバーからＧｈｏｓｔ（画像表示装置１０２）に過去の映像をストリーミング配信するようにしてもよい。但し、Ｇｈｏｓｔは、過去の映像を視聴する場合には、視界、聴覚を含むＢｏｄｙへの介入が一切許されない。何故ならば、Ｇｈｏｓｔが視聴している映像はＢｏｄｙが現在作業を行なっている現場の映像ではなく、過去の映像に基づいて介入するとＢｏｄｙの現在の作業に支障をきたすからである。
【００７２】
なお、２台の機器間における視界共有の詳細については、例えば本出願人に既に譲渡されている特願２０１３−７８８９３号明細書も参照されたい。また、同システム１００における視界介入（ＡＲ画像の表示）の詳細については、例えば本出願人に既に譲渡されている特願２０１３−７８８９２号明細書、特願２０１３−７８８９４号明細書、特願２０１３−１９１４６４号明細書も参照されたい。
【００７３】
Ｃ．画像表示装置の構成
画像表示装置１０２は、基本的には、画像提供装置１０１で撮影される一人称映像を視聴できる構成を備えていればよいが、表示部５１４にドーム型（半球状又は非球面）のディスプレイや没入型のヘッド・マウント・ディスプレイのように広視野角が得られる装置を適用すれば、より高い臨場感で映像を視聴することができ、視聴者１１２は観察者１１１と同じ光景をよりリアルに体験することができる。
【００７４】
ヘッド・マウント・ディスプレイは小型で済むので、ユーザーは、ヘッド・マウント・ディスプレイを被るだけで、場所の制限なく、Ｇｈｏｓｔとしての活動を開始することができる。反面、ヘッド・マウント・ディスプレイは、頭に被るストレスがあり、ユーザーは閉塞感を感じるとともにＶＲ酔いを起こし易く、長時間続けて作業することは困難である。また、ユーザーはヘッド・マウント・ディスプレイを被ると視聴映像に没入し、周囲の状況をほとんど把握できない。このため、ヘッド・マウント・ディスプレイを着用したＧｈｏｓｔ同士は、近隣にいても互いの様子が分からないので、協調作業が難しいと思料される。また、ヘッド・マウント・ディスプレイで視界が塞がれるため、着用中のユーザーは無防備な状態となる。
【００７５】
一方、ドーム型ディスプレイは、設置場所が限られてしまうが、ユーザーが身に付けるものではないので、長時間続けて作業してもあまりストレスを感じることはないであろう。また、他の作業と並行してＢｏｄｙの作業支援を行なう場合を考慮すると、ヘッド・マウント・ディスプレイのように目を覆わない方が効率的である。また、ドームのサイズを大きくすれば、２人又は３人以上のユーザー（Ｇｈｏｓｔ）をドーム内に同時に収容することができ、協調作業に適した環境を作り易い。
【００７６】
付言すれば、ヘッド・マウント・ディスプレイを被ったユーザーの表情を撮影することはできないが、ドーム内にいるユーザーの表情を撮影したり解析したりすることができる。
【００７７】
ドーム型ディスプレイは、例えば、ドーム型（半球状又は非球面）のスクリーンと、このドームの内側（凹面側）の投射面に画像光を投射する投射装置からなる画像表示装置（プロジェクター）として構成することができる（例えば、特許文献６を参照のこと）。ドーム型のスクリーンを簡易に組み立てることができる折り畳み構造にすれば、設置や収納に便利である（例えば、特許文献７を参照のこと）。あるいは、フレキシブル（可撓性）な表示素子を用いて、ドーム型若しくは非球面のディスプレイを製作してもよい。また、フレキシブルではないが小さいチップ状の表示素子を配列して、（曲面に近い）多面体のディスプレイを用いてもよい。
【００７８】
図６〜図８には、画像表示装置１０２としてドーム型ディスプレイの利用する形態を例示している。図６は、ほぼ正面を向いたＢｏｄｙの一人称映像を視聴する場合のドーム型ディスプレイの設置例を示している。また、図７は、正面やや上方を見上げたＢｏｄｙの一人称映像を視聴する場合のドーム型ディスプレイの設置例を示している。一人用のドーム型ディスプレイは、例えば半径８０〜１００ｃｍ程度の半球の画面を持つ。
【００７９】
また、図８は、同時に２人のユーザーを収容するドーム型ディスプレイの構成例を示している。２人以上のユーザー（Ｇｈｏｓｔとなる視聴者）がＢｏｄｙから送信される映像を共有できることは、単一のユーザーによる視聴を基本とするヘッド・アップ・ディスプレイとは大きな相違点である。例えば、大型貨物船やフェリー、旅客機のような巨大な輸送機械の操縦を作業支援する場合には、図示のように３６０度（全周囲）を見渡すことができると、トラブルが少なくなる。また、複数人で同じ映像を同時に視聴することで、エラーを低減することができる。なお、３人以上を収容したい場合には、人数に応じてドームのサイズを大きくしていけばよい。
【００８０】
画像表示装置１０２としてドーム型ディスプレイを用いる場合、ＶＲが表示されるドーム内の空間を外界と仕切ることができる。例えば、ドーム内では、風や振動を起こしたり、温度や湿度を調節したりして、自然現象を表現するようにしてもよい。
【００８１】
また、ドーム型ディスプレイに多チャンネルの音響システムを組み合わせると、周囲音をドームで遮音するとともにドーム内で所望の音像を定位できる。したがって、Ｇｈｏｓｔは、映像と音響の双方で、Ｂｏｄｙと同じ一人称体験を実現することができる。
【００８２】
図２０には、図６〜図８に示したドーム型ディスプレイの変形例を示している。ドーム型ディスプレイは、ドーム型のスクリーンとドームの凹面に映像を投影するプロジェクターで構成することができる。これに対し、図２０に示す例では、プロジェクション・マッピング技術を利用して、ユーザー（Ｇｈｏｓｔ）がいる部屋の壁面に、Ｂｏｄｙ（画像提供装置１０１）から送られてくる映像を投影する手法を用いている。
【００８３】
図２１には、ドーム型ディスプレイを利用するＧｈｏｓｔを含む視界共有システムの概念図を示している。視界共有システムでは、観察者（Ｂｏｄｙ）と視聴者（Ｇｈｏｓｔ）間で、表情や、音声・触覚・匂い・味覚などの感覚が共有される。図２１に示す例では、視界共有システムは、所定のサーバーを経由してＧｈｏｓｔがＢｏｄｙにＪａｃｋＩｎするように構成されている。また、ＧｈｏｓｔからＢｏｄｙへの介入を許容する範囲（ｐｅｒｍｉｓｓｉｏｎ）はこのサーバーによって制御されている。ドーム型ディスプレイには、１人又は２人以上の視聴者（Ｇｈｏｓｔ）を同時に収容することができる。例えば、ドーム型ディスプレイのスクリーン（投影面）はタッチパネルを兼ねており、視聴者はスクリーンに投影された映像に対して直接触れて、Ｂｏｄｙとのインタラクションを実現することができる。また、ドーム型ディスプレイは、収容した視聴者を撮影できるように設置された１台以上のカメラや、視聴者か発話した音声を入力するマイクロフォン、その他の環境センサーを装備しており、これらからの入力信号はＢｏｄｙへフィードバックされる。
【００８４】
Ｅ．ＶＲ空間におけるユーザー・インターフェース
上述したように、本実施形態に係る視界情報共有システム１００では、画像提供装置１０１から画像表示装置１０２へ、観察者１１１すなわちＢｏｄｙの一人称映像が配信される。そして、画像表示装置１０２側では、ドーム型ディスプレイ（図６〜図８を参照のこと）やヘッド・マウント・ディスプレイを用いて受信した映像を表示する。視聴者１１２すなわちＧｈｏｓｔは、ドーム型ディスプレイなどで表示されるＶＲ空間を通じて、Ｂｏｄｙが居る現場の状況を共有し、さらにＢｏｄｙとコミュニケーションをとって、遠隔地から作業支援などのインタラクションを実現することができる。
【００８５】
ＧｈｏｓｔがＢｏｄｙにインタラクションを行なうためのユーザー・インターフェースとして、キーボードやマウス、タッチパネル、ジョイスティック、ゲーム用コントローラーなどの既存の入力デバイスを利用することができる。また、音声入力やジェスチャー入力を、入力デバイスに代用し又は入力デバイスと併用するようにしてもよい。
【００８６】
ＶＲ空間において、ユーザー自身の手が見えることは、リアリティーを持つ上で重要である。手は、上記のような入力デバイスを持っていることが想定される。ドーム型ディスプレイでＶＲ空間を表示する場合、ユーザーは自分の手を直接見ることができる。また、没入型のヘッド・マウント・ディスプレイでＶＲ空間を視聴する場合には、カメラで撮影したユーザーの手をＶＲ空間に重畳して表示するという方法が考えられる。
【００８７】
ＶＲ空間で行なうインタラクションとして、空間の移動も挙げられる。例えば、Ｂｏｄｙの一人称映像を表示するＶＲ空間上で、Ｇｈｏｓｔが、歩き回る、走る、視覚の届かない場所へ移動する、といった動作を指示する場合である。
【００８８】
通常、Ｇｈｏｓｔの手は、入力デバイスを操作したり、ジェスチャー入力したりするファンクションを持つ。このため、空間の移動の指示を手で行なうおうとすると、手のファンクションを切り替えることになり、入力作業が不連続となり、あるいは不自然さを伴う。という問題がある。
【００８９】
また、Ｇｈｏｓｔが実際に歩き回る、走る、移動するといった動作をとって、空間の移動を指示する方法も考えられる。ドーム型ディスプレイでＶＲ空間を視聴する場合、狭いドーム内で動き回ると、周囲の機材と接触や衝突する危険がある。また、没入型のヘッド・マウント・ディスプレイでＶＲ空間を視聴する場合、視界が遮られた状態で立ち姿勢となるのは危険である。
【００９０】
そこで、本明細書では、座ったままの姿勢のユーザー（Ｇｈｏｓｔ）がＶＲ空間の快適な移動を指示できるユーザー・インターフェースについて提案する。
【００９１】
同ユーザー・インターフェースは、座った状態のユーザーの頭部の向き（若しくは、視線方向）と、胴体の軽い上下動を検出して、空間の移動指示動作に変換するものである。ユーザーの頭部の向き及び胴体の上下の動きは、例えば、ユーザーの頭部に取り付けた位置姿勢検出部５１５を用いて検出することができる。あるいは、ユーザーの頭部に取り付けて視線方向を撮影するカメラによる撮影画像の変化に基づいて、ユーザーの頭部の向き及び胴体の動きを検出することができる（例えば、撮影画像が水平より下を写せばユーザーが下を向いたことが分かり、水平より上を写せばユーザーが上を向いたことが分かる。また、撮影画像が上下に変化すれば、ユーザーが上下に動いたことが分かる）。
【００９２】
また、人がイメージする動きは、個体差が大きい。センサーやカメラの撮影画像の解析結果に基づいて検出される動作データの値が同じであっても、あるユーザーにとっては頭が上を向く動作を意図したものであるが、他のユーザーにとってはそのような動作を意図しない、ということはよくある。
【００９３】
また、頭を上又は下に向ける、座った姿勢で胴体を軽く上下動させるといった動作についても同様に個体差が大きい。そこで、快適なユーザー・インターフェースを実現するためには、ユーザー（Ｇｈｏｓｔ）に、頭を上に向ける、下を向ける、座った姿勢のまま胴体を軽く上下動させるという動作を所定回数だけ行なってもらい、意図する動作と動作データとのマッチング、すなわちマシン・ラーニングを事前に行なうことが好ましい。
【００９４】
マシン・ラーニングの際には、頭を上に向ける、正面を向く、下に向ける、座ったままの姿勢で胴体を軽く上下動させるといった所望の動作を指示するビデオ（ガイダンスの映像）を、ドーム型ディスプレイや没入型のヘッド・マウント・ディスプレイで表示して、ユーザーにはビデオに沿った体の動きを行なってもらうようにしてもよい。図９〜図１１には、頭を上に向ける、正面を向く、下に向ける、それぞれについてのマシン・ラーニングのためのガイダンスの映像を例示している。
【００９５】
ＶＲ空間上で移動する動作を座った姿勢のままで指示するユーザー・インターフェースについて、以下に例示する。
【００９６】
Ｅ−１．ウォークＵＩ、ランＵＩ
図１２に示すように、ユーザー（Ｇｈｏｓｔ）が、座ったままの姿勢で胴体を前方に傾けると、ＶＲ空間の前方への移動を指示することになる。また、図１３に示すように、ユーザーが、座ったままの姿勢で胴体を後方に傾けると、ＶＲ空間の後方への移動を指示することになる。
【００９７】
なお、図示を省略するが、ユーザーは、座ったままの姿勢で左右いずれかの方向を向いて、胴体を前方に傾けることにより、ＶＲ空間を左前方又は右前方へ移動するよう指示することができるものとする。同様に、ユーザーは、座ったままの姿勢で左右いずれかの方向を向いて、胴体を後方に傾けることにより、ＶＲ空間を左後方又は右後方へ移動するよう指示することができるものとする。
【００９８】
Ｅ−２．ジャンプＵＩ
ＶＲ空間上で空を見上げたり地面を見下ろしたりすることはあまりない。ジャンプＵＩは、普段見ることのない空と地面を利用して、可視範囲外への快適な移動を実現するユーザー・インターフェースである。
【００９９】
図１４に示すように、ＶＲ空間の地上のビューを眺めているユーザー（Ｇｈｏｓｔ）は、座ったままの姿勢で上を向く。すると、図１５に示すように、ＶＲ空間の上空、ユーザーの視線方向に、ターゲット・マーク１５０１が出現する。このように、ターゲット・マーク１５０１が表示された状態で、ユーザーがさらに胴体を軽く上下動させる「ジャンプ動作」を行なうと、ＶＲ空間は上空からのビューに切り替わる。なお、図示を省略するが、ユーザーが上空を見上げて、ターゲット・マークが出現した状態でジャンプ動作を行なう動作を繰り返すと、ＶＲ空間をより上空へ移動することができる。
【０１００】
また、図１６に示すように、ＶＲ空間の上空のビューを眺めているユーザー（Ｇｈｏｓｔ）は、座ったままの姿勢で下を向く。すると、図１７に示すように、ＶＲ空間の地上、ユーザーの視線方向に、ターゲット・マーク１７０１が出現する。このように、ターゲット・マーク１７０１が表示された状態で、ユーザーがさらに胴体を軽く上下動させる「ジャンプ動作」を行なうと、ターゲット・マーク１７０１が表示される地点に落下した地上のビューに切り替わる。
【０１０１】
Ｅ−３．マイクロジャンプＵＩ
図１８に示すように、ＶＲ空間の地上（若しくは上空）のビューを眺めているユーザー（Ｇｈｏｓｔ）は、座ったままの姿勢で正面を向く。すると、図１９に示すように、ＶＲ空間の正面（所定距離だけ前方）に、ターゲット・マーク１９０１が出現する。このように、ターゲット・マーク１９０１が表示された状態で、ユーザーがさらに胴体を軽く上下動させる「ジャンプ動作」を行なうと、ターゲット・マーク１９０１が表示される地点にジャンプ（瞬間移動）したビュー（図示を省略）に切り替わる。
【０１０２】
Ｅ−４．ジャンプ時のカメラビュー喪失を防ぐ施策
図１４〜図１７に示したようなジャンプＵＩや、図１８〜図１９に示したようなマイクロジャンプＵＩを実施した場合、ユーザー（Ｇｈｏｓｔ）に提示するＶＲ空間のビューを瞬間的に切り替えると、ユーザーはＶＲ空間上のどこにいるのかを認識できなくなったり（空間喪失）、あるいはどちらの方向を向いているのかを識別できなくなったりする（方向性喪失）、カメラビュー喪失の問題が懸念される。
【０１０３】
そこで、ジャンプ時のカメラビュー喪失を防ぐために、以下に挙げるような施策を講じるようにしてもよい。ドーム型ディスプレイを用いてＶＲ空間を表示する場合、外界から仕切られたドーム内において以下のような施策を実現し易い。
【０１０４】
（１）ユーザーが飛ぶ方向（例えば、ターゲット・マークが出現した地点）から、風（向かい風）を吹かすことにより、カメラの方向性喪失を防ぐ。
（２）ユーザーが飛ぶ方向（例えば、ターゲット・マークが出現した地点）から、集中線などの効果線を表示する、あるいはその他の漫画的表現をＶＲ空間に採り入れることで、カメラの方向性喪失を防ぐ。
（３）ユーザーが飛ぶ方向（例えば、ターゲット・マークが出現した地点）から、木の葉や紙切れなどのオブジェクトを飛ばして、視覚的効果により、カメラの方向性喪失を防ぐ。
（４）ジャンプＵＩに応答してカメラビューを切り替える際に、ブラー（モーション・ブラー）をかけて、違和感をなくすとともに、カメラの方向性喪失を防ぐ。
（５）ユーザーがＶＲ空間を上空から見下ろしたときに（例えば、図１６を参照のこと）、地上に影を落とすことにより、カメラの空間喪失を防ぐ。
【産業上の利用可能性】
【０１０５】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。【０１０６】
本明細書で開示する技術は、例えば、外科手術などの医療現場、土木作業などの建築現場、飛行機やヘリコプターの操縦、自動車の運転者のナビゲーション、スポーツのインストラクションやコーチングなど、さまざまな産業分野の作業支援、介護支援、人材派遣、ＶＲの視聴（例えば、コンサートやスポーツの観戦、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）の利用）などの用途に活用することができる。【０１０７】
また、本明細書では、身体を以って現場で活動するＢｏｄｙに対して、Ｂｏｄｙの一人称画像を共有するＧｈｏｓｔがＢｏｄｙの視覚や聴覚などに介入するシステムに関する実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。ある人物の視界に他人からの支援や指示、誘導、案内に関する情報を表示するさまざまな情報処理装置に対しても、同様に本明細書で開示する技術を適用することができる。【０１０８】
本明細書で開示する技術は、一人称映像などのＶＲ空間を例えばドーム型ディスプレイで視聴する視聴者がＶＲ空間における移動を指示する手段として利用することができる。勿論、ヘッド・マウント・ディスプレイやその他のタイプの表示装置でＶＲ空間を視聴する場合であっても、同様に、本明細書で開示する技術を適用することができる。【０１０９】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。【０１１０】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの動作を検出する検出部と、
検出された前記動作に基づいてＶＲ空間における前記ユーザーからの移動指示を入力する入力部と、
を具備する情報処理装置。
（２）前記検出部は、前記ユーザーの座ったままの姿勢での動作を検出し、
前記入力部は、前記ユーザーの座ったままの姿勢での動作に基づいてＶＲ空間における移動指示を入力する、
上記（１）に記載の情報処理装置。
（３）前記入力部は、前記ユーザーの頭部又は胴体を傾けた方向への移動指示を入力する、
上記（２）に記載の情報処理装置。
（４）前記入力部は、前記ユーザーが上を向くとともに胴体を上下動させる動作を上空への移動指示として入力する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）前記入力部は、前記ＶＲ空間の上空にいる状態の前記ユーザーが下を向くとともに胴体を上下動させる動作を地上への移動指示として入力する、
上記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）前記入力部は、前記ユーザーが正面を向くとともに胴体を上下動させる動作を正面方向への移動指示として入力する、
上記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）ＶＲ空間の映像を表示する表示部をさらに備える、
上記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）前記表示部は、前記入力部で入力された移動指示に基づいてＶＲ空間のビューを切り替える、
上記（７）に記載の情報処理装置。
（９）前記表示部は、前記検出部が検出した前記ユーザーの向く方向にターゲット・マークを表示する、
上記（７）に記載の情報処理装置。
（１０）前記入力部は、前記ユーザーが胴体を上下動させる動作を前記ターゲット・マークが表示された地点への移動指示として入力し、
前記表示部は、前記ターゲット・マークが表示された地点へのビューに切り替える、
上記（９）に記載の情報処理装置。
（１１）前記表示部は、ビューの切り替えに際して所定の効果線を表示する、
上記（８）又は（１０）のいずれかに記載の情報処理装置。
（１２）前記表示部は、ビューの切り替えに際して、前記ターゲット・マークを起点とする視覚的効果を付与する、
上記（１０）に記載の情報処理装置。
（１３）前記表示部は、ビューの切り替えに際してブラーを施す、
上記（８）又は（１０）のいずれかに記載の情報処理装置。
（１４）前記表示部は、前記ユーザーが前記ＶＲ空間を上空から見下ろしたときに、地上に影を表示する、
上記（７）に記載の情報処理装置。
（１５）ユーザーの動作を検出する検出ステップと、
検出された前記動作に基づいてＶＲ空間における前記ユーザーからの移動指示を入力する入力ステップと、
を有する情報処理方法。
【符号の説明】
【０１１１】
１００…視界情報共有システム
１０１…画像提供装置、１０２…画像表示装置
５０１…撮像部、５０２…画像処理部、５０３…表示部
５０４…第１の音声出力部、５０５…駆動部
５０６…第２の音声出力部、５０７…位置検出部、５０８…通信部
５０９…制御部、５１０…認証部
５１１…通信部、５１２…画像復号部、５１３…表示部
５１４…ユーザー入力部、５１５…位置姿勢検出部
【図１】
2017064926.tif 000003
【図２】
2017064926.tif 000004
【図３】
2017064926.tif 000005
【図４】
2017064926.tif 000006
【図５】
2017064926.tif 000007
【図６】
2017064926.tif 000008
【図７】
2017064926.tif 000009
【図８】
2017064926.tif 000010
【図９】
2017064926.tif 000011
【図１０】
2017064926.tif 000012
【図１１】
2017064926.tif 000013
【図１２】
2017064926.tif 000014
【図１３】
2017064926.tif 000015
【図１４】
2017064926.tif 000016
【図１５】
2017064926.tif 000017
【図１６】
2017064926.tif 000018
【図１７】
2017064926.tif 000019
【図１８】
2017064926.tif 000020
【図１９】
2017064926.tif 000021
【図２０】
2017064926.tif 000022
【図２１】
2017064926.tif 000023
【国際調査報告】
2017064926.tif 000024
2017064926.tif 000025
2017064926.tif 000026
2017064926.tif 000027