(57)【要約】【課題】  発明は仮想空間を移動する際に直感的に移動の速度を選択できるようにすることを目的とする。【解決手段】  ユーザの身体の一部に装着された表示装置の位置姿勢を取得する位置姿勢取得手段と、前記ユーザが移動しながら観察する仮想空間の画像と、前記仮想空間におけるユーザの移動の速度を表す図形を含むユーザインタフェースとを合成した画像を生成する合成手段と、前記画像を表示装置に表示させる表示制御手段とを備える。【選択図】  図１
2017134183.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの身体の一部に装着された表示装置の位置姿勢を取得する位置姿勢取得手段と、
前記ユーザが移動しながら観察する仮想空間の画像と、前記仮想空間におけるユーザの移動の速度を表す図形を含むユーザインタフェースとを合成した画像を生成する合成手段と、
前記画像を前記表示装置に表示させる表示制御手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記図形は、速度が抽象的に表現された図形であることを特徴とする請求項１に記載の情報処理装置
【請求項３】
前記表示装置は、前記ユーザの左右の眼に対応した２つの表示部を備え、
前記合成手段は、前記表示部がそれぞれ表示する領域の重複領域に前記ユーザインタフェースが表示されるように前記合成画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
更に、撮像装置により撮像された撮像画像を取得する画像取得手段を備え、
前記位置姿勢取得手段は、前記撮像画像に基づいて前記位置姿勢を取得することを特徴とする請求項１乃至３のいずれか１項に記載の情報処装置。
【請求項５】
前記撮像装置は前記表示装置に固定されていることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記表示装置は前記ユーザの頭部に装着するヘッドマウントディスプレイであることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
ユーザの身体の一部に装着された撮像装置の位置姿勢を取得する位置姿勢取得工程と、
前記ユーザが移動しながら観察する仮想空間の画像と、前記仮想空間におけるユーザの移動の速度を表す図形を含むユーザインタフェースとを合成した画像を生成する合成工程と、
前記画像を表示装置に表示させる表示制御工程とを備えることを特徴とする情報処方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
仮想空間を移動しながら体験する技術に関する。
【背景技術】
【０００２】
近年、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置姿勢に応じて生成した仮想現実空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる（特許文献１）。
【０００３】
画像表示装置は、ユーザの頭部に装着された光学シースルー型ディスプレイに、操作者の視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３４１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、複合現実空間において観察者が建築物や都市空間等の仮想空間の中を仮想的に移動する際はコントローラーやジェスチャー等を利用していた。しかし、移動速度が固定されていると建築物の室内を移動する際に歩く速度と同等の移動速度で設定した後、シーンを都市空間に変更して移動を行うと移動に時間がかかっていた。そのため、観察者は移動速度を数値入力で制御し速度変更を行うか、複数の速度を用意して移動速度切り替える事により観察者が要望する移動速度での移動を行っていた。そのため、観察者はＭＲ体験中に直感的に現在の移動速度の変更を行う事が難しかった。
【０００６】
上記課題を解決するために、本発明は仮想空間を移動する際に直感的に移動の速度を選択できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本願発明の情報処理装置は、例えば、ユーザの身体の一部に装着された撮像装置の位置姿勢を取得する位置姿勢取得手段と、前記ユーザが移動しながら観察する仮想空間の画像と、前記仮想空間におけるユーザの移動の速度を表す図形を含むユーザーインターフェースとを合成した画像を生成する合成手段と、前記画像を表示装置に表示させる表示制御手段とを備える。
【発明の効果】
【０００８】
本発明によれば、仮想空間を移動する際に直感的に移動の速度を選択できるようになる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る情報処理装置を含むシステムの機能ブロック図である。
【図２】本発明の第１の実施形態に係る情報処理装置の処理フローチャートを示す。
【図３】本発明の第１の実施形態に係る情報処理装置の処理を説明する図である。
【図４】本発明の第１の実施形態に係る情報処理装置の処理を説明する図である。
【図５】本発明の情報処理装置のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
本実施形態では、ＨＭＤを装着したユーザが仮想の都市空間や仮想の家の中などを移動しながら仮想空間の画像を観察する場合に、ユーザの移動の速度を直感的に選択することについて説明する。
【００１１】
図５は、本実施形態における情報処理装置１０００のハードウェア構成図である。同図において、ＣＰＵ５１０は、バス５００を介して接続する各デバイスを統括的に制御する。ＣＰＵ５１０は、読み出し専用メモリ（ＲＯＭ）５２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ５２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）５３０に一時記憶され、ＣＰＵ５１０によって適宜実行される。また、入力Ｉ／Ｆ５４０は、外部の装置（表示装置や操作装置など）から情報処理装置１０００で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ５５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。
【００１２】
情報処理装置１０００の機能構成について説明する。
【００１３】
図１は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１に示すように、本実施形態に係るシステムは、情報処置装置１０００と、操作装置１１００と、表示装置１３００と、頭部装着型表示装置の一例としてのＨＭＤ１２００とで構成されている。
【００１４】
また、情報処理装置１０００は、撮像画像取得部１０１０、位置姿勢取得部１０２０、仮想空間画像生成部１０３０、速度選択用ＧＵＩ取得部１０４０、速度決定部１０５０、画像合成部１０６０、画像出力部１０７０とで構成される。ここで、情報処理装置１０００とＨＭＤ１２００および操作装置１１００とはデータ通信が可能なように接続されている。従って、情報処理装置１０００とＨＭＤ１２００および操作装置１１００との間の接続は、有線、無線の何れであっても構わない。
【００１５】
撮像画像取得部１０１０は、撮像部１２２０から送出された右目用の現実空間画像、左目用の現実空間画像を取得する。
【００１６】
位置姿勢取得部１０２０は、撮像画像取得部１０１０で取得した撮像画像を使って撮像部１２２０の位置姿勢を計測し、表示部１２１０の位置姿勢として取得する。本実施形態では、撮像部１２２０の視点は、表示部１２１０の視点と一致しているからである。本実施形態では、撮像部１２２０はユーザの左右の眼それぞれに対応するように２つの撮像部が設けられており、それぞれの撮像部の視点の位置と姿勢を表す６個のパラメータを、撮像部１２２０の位置姿勢情報として計測する。しかしながらＨＭＤを装着する観察者の頭の中心、撮像部１２２０の視点、ユーザの左眼に対応する撮像部と右目に対応する撮像部の中心点であっても良い。なお、もし撮像部１２２０と表示部１２１０の視点が一致していない場合には撮像部１２２０の視点を表示部１２１０の視点に変換すればよい。撮像部１２２０の位置姿勢を計測する方法は位置が既知のマーカを撮像装置で撮影し、撮影した画像を解析することによって行う公知の方法を利用すればよい。また、光学式センサや磁気式センサを用いても良い。計測した位置姿勢の情報を仮想空間生成部１０３０に送出する。
【００１７】
仮想空間画像生成部１０３０は、予め保持される仮想空間のデータに基づいて、表示部１２１０の位置姿勢から観察される仮想空間を表す画像を生成する。仮想空間のデータには、仮想空間を構成する各仮想物体に係るデータや仮想空間中を照射する光源に係るデータが含まれる。
【００１８】
速度選択用ＧＵＩ取得部１０４０は、操作装置１１００からのイベントを受けて速度選択用ＧＵＩの取得を行う。詳細に関しては図２のフローチャートにて説明を行う。
【００１９】
速度決定部１０５０は、操作装置１１００から入力を受けて速度の決定を行う。詳細に関しては図２のフローチャートにて説明を行う。
【００２０】
画像合成部１０６０は、仮想空間画像生成部１０３０で生成された仮想空間の画像（仮想空間画像）を生成する。そして、仮想空間画像と速度選択用ＧＵＩとを合成した合成画像を生成する。ユーザにＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）を提供する場合には、撮像部１２２０が撮像した画像を更に合成しても良い。
【００２１】
画像出力部１０７０はこの生成した合成画像をＨＭＤ１２００の表示部１２１０、表示装置１３００に対して出力する（表示制御）。また、ＨＭＤに限ったことではなく表示が出来るデバイスであれば良く、タブレット・スマートフォン等の表示端末であっても良い。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については周知の技術であるので、これについての詳細な説明は省略する。
【００２２】
操作装置１１００は、情報処理装置１０００に対して、ユーザによる操作を入力することができる装置であり、情報処理装置１０００に対して指示を行う際に利用するものであればキーボード、マウスなどどのようなデバイスでも良い。またゲームコントローラー／キーボードやジェスチャーや音声等を操作装置１１００としてもよい。ユーザは、操作装置１１００を用いて、速度選択用ＧＵＩを表示させたり、速度選択用ＧＵＩに表示されている直感的なアイコンを頼りに移動の速度を選択する。
【００２３】
これらの各機能部は、ＣＰＵ５１０が、ＲＯＭ５２０に格納されたプログラムをＲＡＭ５３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ５１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
【００２４】
ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）１２００は、液晶画面などで構成されている表示部１２１０とビデオカメラなどの撮像部１２２０とを備える頭部装着型表示装置である。表示部１２１０と撮像部１２２０はＨＭＤ１２００に固定されている。
【００２５】
表示部１２１０と撮像部１２２０の視点は一致しているものとする。なお、頭部以外であっても人間の身体の一部に装着する表示装置であればＨＭＤでなくてもよい。
【００２６】
表示装置１３００は、情報処理装置１０００から出力された画像を表示可能な表示装置である。画像を表示できるものであればその形式は問わず、液晶ディスプレイでも有機ＥＬディスプレイでもよい。表示装置１３００を用いる目的は、ＨＭＤ１２００を装着する以外のユーザについても、仮想空間の画像を提供するためである。
□フローチャートの説明□
図２は、情報処理装置１０００が合成画像を生成し、ＨＭＤ１２００または表示装置１３００に対して出力するために行う処理のフローチャートである。
【００２７】
まず、ステップＳ１６００１で、撮像画像取得部１０１０は、ＨＭＤ１２２０の撮像部処理を開始する。そして、ステップＳ１６００２に処理を移す。
【００２８】
ステップＳ１６００２では、図１に記載の撮像部１２２０から撮像画像を入力し、撮像画像から撮像部１２２０の位置姿勢情報を計測し、表示部１２１０の位置姿勢として取得する。撮像部１２２０の位置姿勢を計測する方法は位置が既知のマーカを撮像装置で撮影し、撮影した画像を解析することによって行う公知の方法を利用すればよい。また、光学式センサや磁気式センサを用いても良い。そして、ステップＳ１６２０３へ処理を移す。
【００２９】
ステップＳ１６００３では、速度選択用ＧＵＩ取得部１０４０は、操作装置１１００からユーザが速度選択用ＧＵＩ（ユーザインタフェース）の表示を指示する信号が入力されているかを判断する。操作装置１１００から信号が入力されている場合には、ステップＳ１６００４に処理を移す。操作装置１１００から信号が入力されていない場合には、ステップＳ１６００５処理を移す。
【００３０】
ステップＳ１６００４では、速度選択用ＧＵＩ取得部１０４０は、速度選択用ＧＵＩの生成を行う。図４を用いてＧＵＩ作成を行う。
【００３１】
図４は、速度選択用のＧＵＩの例を示している。
【００３２】
速度選択用ＧＵＩ４０００は、速度を抽象的に表現したアイコン（図形）４１００、アイコン４２００、アイコン４３００、アイコン４４００と速度を選択するための選択アイコン４５００と速度倍率を示すアイコン４６００、４７００、４８００、４９００、５０００、５１００で構成されている。速度倍率は、本実施形態ではアイコン４１００の歩行速度を基準として他のアイコンの速度が何倍であるかを示しているが、実際の時速等の表記でも良くその速度が分かる物であれば良い。
【００３３】
ＧＵＩに表示されるアイコンはシステムやユーザが事前に用意した物でも良く、仮想空間のサイズから表示するアイコンを作成しても良い。例えば仮想空間が都市を表すような場合のように、仮想空間が所定の大きさよりも大きい時は、アイコン４４００に示すように都市空間を移動するのに適した速度である車のアイコン４４００、自転車のアイコン４３００、人間が走るアイコン４２００、人間が歩くアイコン４１００を表示する。また、仮想空間が部屋ように所定の大きさよりも小さい時には、車や自転車のアイコンは適当でないため、アイコン４１００やアイコン４２００のみを示す。
【００３４】
速度選択用ＧＵＩ取得部１０４０は、速度選択用ＧＵＩの生成を終えた後に、ステップＳ１６００５に処理を移す。
【００３５】
ステップＳ１６００５では、仮想空間画像生成部１０３０は、ユーザが移動する仮想空間を示す画像を生成する。具体的には、予め保持される仮想空間のデータに基づいて、ステップＳ１６００２で取得した表示部１２１０の位置姿勢から観察されるべき画像を生成する。
【００３６】
ステップＳ１６００６では、画像合成部１０６０は、ステップＳ１６００５で生成された仮想空間の画像とステップＳ１６００４で生成された速度変更用のＧＵＩとを合成する。ここで、速度選択用のＧＵＩが生成されていない場合（ステップＳ１６００３でＮｏの場合）には、画像合成をせずにステップＳ１６００５で生成された仮想空間の画像を合成画像とする。そして、合成画像を出力し、ＨＭＤ１２００の表示部１２１０と表示装置１１００に表示させる。なお、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）でなく、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）を提示する場合には撮像画像を更に合成した画像を出力すればよい。
【００３７】
図３は、速度選択用ＧＵＩ４０００を合成する際の概念を示す図である。速度選択用の画像を合成する領域は、表示部１２１０のうち、左眼の表示部の視野領域３２００Ｌと右目の表示部の視野領域３２２０Ｒの両方に共通する領域（重複領域）３０００に速度選択用ＧＵＩ４０００に配置されるように合成する。表示の方法に関しても２次元的に表示する方法でも良く図３に示すように三次元的に配置しても良い。
【００３８】
ステップＳ１６００７では、速度選択用ＧＵＩが表示されている場合にはステップＳ１６００８に処理を進め、表示選択用ＧＵＩが表示されていない場合に処理を終了する。
【００３９】
ステップ１６００８では、速度決定部は、ユーザによる操作装置への入力信号があるかを確認して、入力信号があった場合にその信号に対応する速度をユーザの視点の移動速度として決定する。
【００４０】
本実施形態によれば、仮想空間を移動する際の移動速度を直感的に選択することができる。
【００４１】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017134183.tif 000003
【図２】
2017134183.tif 000004
【図３】
2017134183.tif 000005
【図４】
2017134183.tif 000006
【図５】
2017134183.tif 000007