(57)【要約】  実空間に関連するセンシング結果に基づく仮想画像の描画あるいは表示の品質を向上させることを可能にする。  実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替える描画制御部と、前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御する表示制御部と、を備える、情報処理装置が提供される。
2019187592.tif 000002
【特許請求の範囲】
【請求項１】
実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替える描画制御部と、  前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御する表示制御部と、を備える、  情報処理装置。
【請求項２】
前記描画制御部は、前記センシング結果に基づく前記仮想画像が第１の変化量を有する場合に、前記仮想画像の描画頻度を前記第１の描画頻度に制御し、  前記描画制御部は、前記仮想画像が前記第１の変化量よりも大きい第２の変化量を有する場合に、前記仮想画像の描画頻度を前記第２の描画頻度に制御する、  請求項１に記載の情報処理装置。
【請求項３】
前記第１の描画頻度において、前記仮想画像の再描画が禁止される、  請求項２に記載の情報処理装置。
【請求項４】
前記仮想画像の表示位置を補正する補正部を更に備え、  前記仮想画像が前記第１の変化量を有する場合に、前記描画制御部が前記仮想画像の再描画を抑制する間、前記補正部は前記仮想画像の表示位置を補正する、  請求項２に記載の情報処理装置。
【請求項５】
前記補正部は、前記描画制御部により描画された前記仮想画像の表示位置を、前記表示装置に関する位置姿勢に基づいて二次元的に補正する、  請求項４に記載の情報処理装置。
【請求項６】
前記２の描画頻度において、前記仮想画像が再描画される、  請求項２に記載の情報処理装置。
【請求項７】
前記第１の変化量は、所定の閾値よりも小さい変化量であり、  前記第２の変化量は、前記所定の閾値よりも大きい変化量であり、  前記描画制御部は、前記所定の閾値を変化させることによって前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度の間で切り替える、  請求項２に記載の情報処理装置。
【請求項８】
前記描画制御部は、フレームレートを制御することによって、前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１に記載の情報処理装置。
【請求項９】
前記描画制御部は、前記仮想画像を視認する前記表示装置のユーザと前記仮想画像との位置関係に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１に記載の情報処理装置。
【請求項１０】
前記描画制御部は、前記ユーザと前記仮想画像との距離に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項９に記載の情報処理装置。
【請求項１１】
前記描画制御部は、前記ユーザと前記仮想画像との距離が第１の距離である場合、前記仮想画像の描画頻度を前記第１の描画頻度に制御し、前記ユーザと前記仮想画像との距離が前記第１の距離よりも小さい第２の距離である場合、前記仮想画像の描画頻度を前記第２の描画頻度に制御する、  請求項１０に記載の情報処理装置。
【請求項１２】
前記描画制御部は、前記ユーザと前記仮想画像との前記距離が大きいほど前記仮想画像の描画頻度を低減させる、  請求項１１に記載の情報処理装置。
【請求項１３】
前記描画制御部は、前記実空間に関連するセンシング結果の精度に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１に記載の情報処理装置。
【請求項１４】
前記実空間に関連するセンシング結果の精度は、前記表示装置に関する位置姿勢の認識精度を含み、  前記描画制御部は、前記認識精度に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１３に記載の情報処理装置。
【請求項１５】
前記描画制御部は、前記認識精度が第１の認識精度である場合、前記仮想画像の描画頻度を前記第１の描画頻度に制御し、前記認識精度が前記第１の認識精度よりも大きい第２の認識精度である場合、前記仮想画像の描画頻度を前記第２の描画頻度に制御する、  請求項１４に記載の情報処理装置。
【請求項１６】
前記仮想画像の特徴または状態は、前記実空間に関連するセンシング結果に基づいて決定され、  前記描画制御部は、前記仮想画像の特徴または状態に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１に記載の情報処理装置。
【請求項１７】
前記描画制御部は、前記仮想画像の形状、模様もしくは色彩の複雑さ、大きさ、または、動作の状態の少なくとも１つに基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１６に記載の情報処理装置。
【請求項１８】
前記描画制御部は、前記表示装置の解像度に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１に記載の情報処理装置。
【請求項１９】
前記描画制御部は、前記表示装置のユーザの視線と前記仮想画像との位置関係に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  請求項１に記載の情報処理装置。
【請求項２０】
前記描画制御部は、前記表示装置により表示される前記仮想画像のフレームレートよりも前記第１の描画頻度を小さくする、  請求項１に記載の情報処理装置。
【請求項２１】
実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替えることと、  前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御することと、を有する、  少なくとも１つのプロセッサにより実行される情報処理方法。
【請求項２２】
実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替えることと、  前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御することと、  をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】  近年、情報処理技術に伴い、仮想現実（ＶＲ：Virtual Reality）および拡張現実（ＡＲ：Augmented Reality）等、仮想画像を表示する技術が様々な装置、システムまたはサービス等に用いられている。【０００３】  例えば、以下の特許文献１には、仮想空間におけるユーザと仮想画像との距離またはユーザの移動速度等に応じて仮想画像が張り付けられた書割の更新頻度を変更することによって、描画範囲の遠方限界を最大限遠く設定することを可能にする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２１４１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  特許文献１を含む先行技術では、実空間に関連するセンシング結果に基づく仮想画像の描画については十分考慮がなされておらず、仮想画像の描画あるいは表示の品質向上について改善の余地がある。【０００６】  本開示は、上記に鑑みてなされたものであり、実空間に関連するセンシング結果に基づく仮想画像の描画あるいは表示の品質を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供する。
【課題を解決するための手段】
【０００７】  本開示によれば、描画制御部と、表示制御部とを備える情報処理装置が提供される。前記描画制御部は、実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替える。前記表示制御部は、前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御する。【０００８】  また、本開示によれば、実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替えることと、前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御することと、を有する、少なくとも１つのプロセッサにより実行される情報処理方法が提供される。【０００９】  また、本開示によれば、実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替えることと、前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御することと、をコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【００１０】  以上説明したように本開示によれば、実空間に関連するセンシング結果に基づく仮想画像の描画あるいは表示の品質を向上させることが可能となる。【００１１】  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】ＨＭＤが仮想画像を表示する動作の概要について説明する図である。
【図２】２Ｄ補正について説明する図である。
【図３】２Ｄ補正と３Ｄ描画との差異について説明する図である。
【図４】ユーザと仮想画像との距離が近い場合における視差について説明する図である。
【図５】ユーザと仮想画像との距離が近い場合における視差について説明する図である。
【図６】ユーザと仮想画像との距離が遠い場合における視差について説明する図である。
【図７】ユーザと仮想画像との距離が遠い場合における視差について説明する図である。
【図８】ユーザと仮想画像との距離に応じた２Ｄ補正閾値を示す図である。
【図９】第１の実施例に係るＨＭＤの機能構成について示すブロック図である。
【図１０】第１の実施例に係るＨＭＤの動作を示すフローチャートである。
【図１１】第１の実施例の適用例を示す図である。
【図１２】第１の実施例の適用例を示す図である。
【図１３】第２の実施例に係るＨＭＤの機能構成について示すブロック図である。
【図１４】第２の実施例に係るＨＭＤの動作を示すフローチャートである。
【図１５】第２の実施例の適用例を示す図である。
【図１６】ＨＭＤのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１３】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】  なお、説明は以下の順序で行うものとする。  １．背景  ２．概要  ３．第１の実施例    ３−１．機能構成    ３−２．動作    ３−３．適用例  ４．第２の実施例    ４−１．機能構成    ４−２．動作    ４−３．適用例  ５．ハードウェア構成  ６．むすび
【００１５】    ＜１．背景＞  まず、本開示の背景について説明する。
【００１６】  上記のとおり、近年、情報処理技術に伴い、仮想画像を表示させることによって、多様なユーザ体験を実現することができるＡＲおよびＶＲ等の技術が盛んに開発されている。一般的に、ＶＲは、実空間におけるユーザのロケーションとは異なるロケーションを表す空間（仮想空間）の像を表示装置の位置・姿勢の変化に応じて変化させて表示する技術と見做すことができる。この場合、仮想空間の像には、遠隔地の実空間の画像が含まれ得る。一方、ＡＲは、実空間におけるユーザのロケーションと実質的に同一のロケーションを表す実空間の像に、仮想画像等の付加的情報を付与する技術と見做すことができる。この場合、実空間の像には、ユーザが光学的に直接視認する実空間の像だけでなく、撮像装置によってリアルタイムに取得される実空間の像が含まれ得る。
【００１７】  例えば、ヘッドマウントディスプレイ（ＨＭＤ：Head-MountedDisplay。以降「ＨＭＤ」と呼称する）を装着したユーザの位置姿勢または動き等に連動してＨＭＤに表示させる仮想画像を変更する技術等が開発されている。より具体的には、ＨＭＤは、自装置に備えられているセンサ（外向きステレオカメラ、加速度センサまたはジャイロセンサ等）を用いて自装置の位置姿勢等を推定したり、ある時間経過後の自装置の位置姿勢等を予測したりする処理を行う。そして、ＨＭＤは、この処理結果に応じて仮想画像を描画し、当該仮想画像をディスプレイに表示させる。例えば、ＨＭＤは、ユーザの動きに連動して、あるフレームレート（例えば、６０［Hz］等）で仮想画像を描画することによって、ユーザの視界の変化に追随するように仮想画像を表示することができる。
【００１８】  このとき、ＨＭＤに表示された仮想画像がちらつく場合がある。ちらつきを発生させる要因は様々である。例えば、後述の通り実空間に関連するセンシング結果に基づいて仮想画像を描画することがちらつきを発生させる要因になる場合がある。
【００１９】  例えば、ＨＭＤの位置姿勢の微小な変化によって仮想画像のちらつきが発生する場合がある。より具体的に説明すると、ＨＭＤの位置姿勢が微小に変化すると、ＨＭＤが当該変化を反映し、微小に変化した仮想画像を高速（フレームレートの周波数）で描画することによって、仮想画像のちらつきが発生する場合がある。また、ＨＭＤがライティング（３次元空間に仮想的な光源を配置し、当該光源から光が照射されたように見せる加工を指す）を施した仮想画像を描画する場合、自装置の位置姿勢の変化が微小であっても当該変化による仮想画像の変化がより大きくなるため、仮想画像のちらつきがより大きくなる。さらに、仮想画像が３次元画像である場合、仮想画像が２次元画像である場合に比べて、自装置の位置姿勢の微小な変化による仮想画像の変化がより大きくなるため、ライティングが施されなくても仮想画像のちらつきがより大きくなる。
【００２０】  なお、ＨＭＤの位置姿勢が微小に変化する要因は様々である。例えば、ＨＭＤが自装置に備えられた外向きステレオカメラの撮像結果を用いて位置姿勢の推定または予測をする場合、撮像環境が暗いとき、または、撮像画像において平坦で変化が少ない領域が多いときに、ＨＭＤによる位置姿勢の推定結果または予測結果の精度が低くなる。これによって、ＨＭＤの位置姿勢が実際にはほとんど変化していない場合であっても、位置姿勢の推定結果等が微小に変化することがある。
【００２１】  また、ＨＭＤが自装置に備えられた各種センサ（例えば、ジャイロセンサ、加速度センサ等）の出力を用いて、自装置の位置姿勢を補正する場合、センサの計算誤差が時間の経過とともに蓄積されることによって、位置姿勢の推定結果等の誤差が大きくなる場合がある。また、各種センサは、センサ自体の温度、周辺温度が高くなるにしたがって出力誤差が大きくなる場合があるため、これによって、位置姿勢の推定結果等の誤差が大きくなる場合がある。そして、各種センサはそれぞれ独立して動作するため上記の誤差が相互に作用することによって、位置姿勢の推定結果等の誤差がより大きくなる場合がある。
【００２２】  さらに、仮想画像が静止している場合（または、仮想画像が低速度で動いている場合）、仮想画像が複雑な形状、模様もしくは色彩を有している場合、ユーザと仮想画像との距離が近い場合等においては、仮想画像のちらつきがより大きくなる。例えば、ユーザが、複雑な加工を施された芸術品の仮想画像を間近で観察する場合等においては、仮想画像のちらつきをより敏感に感じ易い。
【００２３】  なお、ＨＭＤの位置姿勢の微小な変化以外にも、例えば、ディスプレイの解像度が低い場合に、仮想画像のちらつきがより大きくなる（または、ユーザがちらつきを認識し易くなる）。特に、ＨＭＤ等のウェアラブル型のデバイスは、消費電力を低減させたり発熱を抑制したりするために、ディスプレイの解像度を低減させることがある。この際、ユーザが仮想画像のちらつきを認識する場合がある。
【００２４】  本件の開示者は、上記事情に鑑み、本開示に係る技術を創作するに至った。以降では、本件の一実施形態について詳細に説明していく。
【００２５】    ＜２．概要＞  上記では、本開示の背景について説明した。続いて、本開示の概要について説明する。
【００２６】  本開示は、様々な装置またはシステム等に適用され得る。また、本開示は、何らかの画像を表示可能なものであれば、いかなる装置またはシステムに適用されてもよい。例えば、本開示は、ＡＲまたはＶＲを実現可能な装置またはシステムに適用されてもよい。以降では、一例として、本開示が、ＡＲ画像を表示する情報処理装置である光学透過型ＨＭＤ（以降、「ＨＭＤ１００」と呼称する）に適用された場合について説明する。
【００２７】  ここで、用いられるＨＭＤ１００の種類および形状は任意である。例えばＨＭＤ１００は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）や、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）であってもよい。
【００２８】  ＨＭＤ１００には、装着時にユーザの視線方向、すなわち外方向を撮影する外向きステレオカメラ、装着時にユーザの眼を撮影する内向きステレオカメラ、加速度センサ、ジャイロセンサ等の各種センサが設けられている。なお、ＨＭＤ１００に備えられているセンサはこれらに限定されない。
【００２９】  ここで、図１を参照して、ＨＭＤ１００が仮想画像を表示する一連の動作の概要について説明する。まず、図１の「センシングデータ取得」においては、ＨＭＤ１００は、外向きステレオカメラ等の各種センサによって出力されたセンシングデータを取得する。「位置姿勢推定」においては、ＨＭＤ１００は、センシングデータに基づいて自装置の位置姿勢を推定する。「位置姿勢予測（描画用）」においては、ＨＭＤ１００が、推定した自装置の位置姿勢に基づいて、表示部１５０（ディスプレイ等）に仮想画像を表示する時の自装置の位置姿勢を予測する。なお、ＨＭＤ１００は、自装置の位置姿勢だけでなく、ユーザが視認する実空間の物体の位置姿勢等を外向きステレオカメラの撮像画像等を解析することにより予測してもよい。
【００３０】  「描画」においては、ＨＭＤ１００が、位置姿勢の予測に基づいて仮想画像をフレームバッファ１３４に描画する。「位置姿勢予測（表示位置補正用）」においては、表示部１５０への表示が行われる時点に可能な限り近い時点において、ＨＭＤ１００が表示部１５０に仮想画像を表示する時点の自装置の位置姿勢を予測する。「表示位置の変化量算出」においては、ＨＭＤ１００が、位置姿勢の予測結果に基づいて、仮想画像の表示位置の変化量を算出する。「表示位置補正」においては、ＨＭＤ１００が表示位置の変化量に基づいて、仮想画像の表示位置を補正する。「表示部発光」では、ＨＭＤ１００が表示位置を補正した仮想画像を表示部１５０へ表示する。なお、図１に示した処理内容はあくまで一例であり、適宜変更され得る。例えば、仮想画像の表示位置が補正されるだけでなく、仮想画像を変形する補正が行われてもよい。
【００３１】  ここで、図２を参照して、「表示位置補正」についてより具体的に説明する。フレームバッファ１３４にて仮想画像１０ａが描画されており、ＨＭＤ１００が自装置の位置姿勢の予測結果に基づいて仮想画像１０ａの表示位置を表示部１５０の左上方向に補正しようとする場合、図２に示すように、ＨＭＤ１００は、読み出し開始位置をフレームバッファ１３４の右下方向に変化させる。これによって、ＨＭＤ１００は、表示部１５０に表示される仮想画像１０ｂの表示位置を、表示部１５０の左上方向に補正することができる。以降、このような仮想画像の二次元的な補正を「２Ｄ補正」と呼称する。
【００３２】  このように、表示部１５０への表示が行われる時点に可能な限り近い時点において、ＨＭＤ１００が表示時点の自装置の位置姿勢を予測し、その予測結果に基づいて２Ｄ補正を行うことによって、ユーザが感じる仮想画像の表示遅延を軽減させることができる。
【００３３】  また、２Ｄ補正は、三次元の仮想画像の再描画（以降、「３Ｄ描画」と呼称する）に比べて仮想画像のちらつきを低減させることができる。ここで、図３を参照して、２Ｄ補正と３Ｄ描画との差異について説明する。３ａには、図２を参照して説明した仮想画像の２Ｄ補正を示している。そして、３ｂには、仮想画像の３Ｄ描画によって仮想画像の表示位置が表示部１５０の左上方向に変更される場合の例が示されている。
【００３４】  図３に示すように、２Ｄ補正が施された仮想画像１０ｂと、３Ｄ描画が施された仮想画像１０ｄとを比較すると、３Ｄ描画が施された仮想画像１０ｄの方がより変化量が大きいことが分かる。そのため、３Ｄ描画が施される場合には、２Ｄ補正が施される場合に比べて、ＨＭＤ１００の位置姿勢の微小な変化に基づく仮想画像の変化量がより大きくなるため、仮想画像がよりちらつき易い。
【００３５】  そこで、本開示に係るＨＭＤ１００は、仮想画像の描画処理について、複数の描画頻度の切り替えを制御することで仮想画像のちらつきを低減させることができる。なお、複数の画像頻度は、少なくとも第１の描画頻度と第１の描画頻度よりも大きい第２の描画頻度を含み得る。ここで、第１の描画頻度は仮想画像の再描画を抑制する頻度であればよく、０より大きい値であってもよい。例えば、ＨＭＤ１００は、表示部１５０において仮想画像の表示位置が変化する場合に、３Ｄ描画を行うことなく２Ｄ補正のみで対応する変化量の閾値（以降、「２Ｄ補正閾値」と呼称する）を設け、当該閾値を制御することで仮想画像のちらつきを低減させることができる。より具体的には、ＨＭＤ１００は、仮想画像の表示位置の変化量が２Ｄ補正閾値よりも小さい場合（仮想画像が第１の変化量を有する場合）には、３Ｄ描画を行うことなく２Ｄ補正のみを仮想画像に施すことで仮想画像の表示位置を補正する。すなわち、ＨＭＤ１００は、仮想画像の表示位置の変化量が２Ｄ補正閾値よりも小さい場合、描画頻度を０に制御し、再描画を禁止するものと見做されても良い。一方、仮想画像の表示位置の変化量が２Ｄ補正閾値以上である場合（仮想画像が第２の変化量を有する場合）には、２Ｄ補正だけでなく３Ｄ描画も施すことで仮想画像の表示位置および角度等を変化させる。なお、このように、ＨＭＤ１００は、２Ｄ補正閾値を設けることで、常に３Ｄ描画によって仮想画像の表示を制御する場合に比べ、仮想画像のちらつきを低減させることができる。
【００３６】  ここで、２Ｄ補正閾値の制御方法は、特に限定されない。例えば、ＨＭＤ１００は、ユーザと仮想画像との距離に基づいて２Ｄ補正閾値を制御することで、仮想画像のちらつきを低減させてもよい。ここで、図４〜図８を参照して、ユーザと仮想画像との距離に基づく２Ｄ補正閾値の制御方法の原理について説明する。
【００３７】  まず、図４および図５を参照して、ユーザと仮想画像との距離が近い場合について説明する。図４に示すように、ユーザ２０と仮想画像１０との距離が相対的に近い場合において、ユーザ２０が、仮想画像１０の正面（図４におけるユーザ２０ａの位置）に位置する場合には、図５の５ａに示すように、表示部１５０の中央に仮想画像１０が表示される（図５において仮想画像１０ａと表記）。
【００３８】  そして、ユーザが、仮想画像１０の正面から右方向の位置（図４におけるユーザ２０ｂの位置）に移動した場合、５ｂに示すように、仮想画像１０の表示位置が表示部１５０において左方向に変化する（図５において仮想画像１０ｂと表記）。ユーザと仮想画像との距離が近い場合、距離が遠い場合に比べて視差がより大きいため、５ｂのように、表示位置だけでなく、仮想画像１０の表示角度も変更されなければ、ユーザが違和感を受ける可能性は高い。
【００３９】  一方、ユーザが、仮想画像１０の正面から左方向の位置（図４におけるユーザ２０ｃの位置）に移動した場合、５ｃに示すように、仮想画像１０の表示位置が表示部１５０において右方向に変化する（図５において仮想画像１０ｃと表記）。この場合も、５ｃのように、表示位置だけでなく、仮想画像１０の表示角度も変更されなければ、ユーザが違和感を受ける可能性は高い。
【００４０】  続いて、図６および図７を参照して、ユーザと仮想画像との距離が遠い場合について説明する。図６に示すように、ユーザ２０と仮想画像１０との距離が相対的に遠い場合において、ユーザ２０が、仮想画像１０の正面（図６におけるユーザ２０ａの位置）に位置する場合には、図７の７ａに示すように、表示部１５０の中央に仮想画像１０が表示される（図７において仮想画像１０ａと表記）。
【００４１】  そして、ユーザが、仮想画像１０の正面から右方向の位置（図６におけるユーザ２０ｂの位置）に移動した場合、７ｂに示すように、仮想画像１０の表示位置が表示部１５０において左方向に変化する（図７において仮想画像１０ｂと表記）。ユーザと仮想画像との距離が遠い場合、距離が近い場合に比べて視差がより小さいため、７ｂのように、仮想画像１０の表示角度が変更されず表示位置のみが変更されたとしても、ユーザが違和感を受ける可能性は低い。
【００４２】  一方、ユーザが、仮想画像１０の正面から左方向の位置（図６におけるユーザ２０ｃの位置）に移動した場合、７ｃに示すように、仮想画像１０の表示位置が表示部１５０において右方向に変化する（図７において仮想画像１０ｃと表記）。この場合も、７ｃのように、仮想画像１０の表示角度が変更されず表示位置のみが変更されたとしても、ユーザが違和感を受ける可能性は低い。
【００４３】  以上に基づいて、ＨＭＤ１００は、ユーザと仮想画像との距離が近い場合には、距離が遠い場合に比べて、２Ｄ補正閾値をより小さな値に設定し、逆に、距離が遠い場合には、距離が近い場合に比べて、２Ｄ補正閾値をより大きな値に設定する。すなわち、ＨＭＤ１００は、ユーザと仮想画像との距離が第１の距離である場合、仮想画像の描画頻度を第１の描画頻度に制御し、ユーザと仮想画像との距離が第１の距離よりも小さい第２の距離である場合、仮想画像の描画頻度を第２の描画頻度に制御するものと見做されても良い。また、ユーザと仮想画像との距離が極めて遠い場合（例えば、仮想画像がユーザから無限遠に位置する場合等）、視差が極めて小さくなるため、ＨＭＤ１００は、２Ｄ補正閾値を極めて大きな値に設定することで３Ｄ描画を省略してもよい。なお、ＨＭＤ１００は、ユーザと仮想画像との距離が大きいほど、仮想画像の描画頻度を連続的あるいは段階的に低減させてもよい。
【００４４】  続いて、図８を参照して、２Ｄ補正閾値の制御方法をより具体的に説明する。図８の８ａには、ユーザと仮想画像との距離が相対的に遠い場合の２Ｄ補正閾値を示しており、８ｂには、ユーザと仮想画像との距離が相対的に近い場合の２Ｄ補正閾値を示している。
【００４５】  ８ａにおいて、表示部１５０の中央に表示されている仮想画像１０ｄが右方向に移動する場合、ＨＭＤ１００は、境界３０ａを超えるまでは２Ｄ補正のみを行うことで対応し、境界３０ａを超える場合には２Ｄ補正だけでなく３Ｄ描画も行うことで対応する。このとき、２Ｄ補正閾値は、２Ｄ補正のみで対応する変化量４０ａで表される。同様に、仮想画像１０ｄが左方向に移動する場合、ＨＭＤ１００は、境界３０ｂを超えるまでは２Ｄ補正のみを行うことで対応し、境界３０ｂを超えた場合には２Ｄ補正だけでなく３Ｄ描画も行うことで対応する。
【００４６】  続いて、８ｂにおいて、表示部１５０の中央に表示されている仮想画像１０ｋが右方向に移動する場合、ＨＭＤ１００は、境界３０ｃを超えるまでは２Ｄ補正のみを行うことで対応し、境界３０ｃを超えた場合には２Ｄ補正だけでなく３Ｄ描画も行うことで対応する。このとき、２Ｄ補正閾値は、２Ｄ補正のみで対応する変化量４０ｂで表される。同様に、仮想画像１０ｋが左方向に移動する場合、ＨＭＤ１００は、境界３０ｄを超えるまでは２Ｄ補正のみを行うことで対応し、境界３０ｄを超えた場合には２Ｄ補正だけでなく３Ｄ描画も行うことで対応する。
【００４７】  図８に示すように、ＨＭＤ１００は、ユーザと仮想画像との距離が遠い場合には、距離が近い場合に比べて、２Ｄ補正閾値をより大きい値に設定する。これによって、ＨＭＤ１００は、３Ｄ描画の頻度を低減させ、その分を２Ｄ補正で補うことによって、ユーザに対して違和感を与えることなく仮想画像のちらつきを低減させることができる。
【００４８】  なお、図８に示した２Ｄ補正閾値の制御方法はあくまで一例であり、適宜変更され得る。例えば、仮想画像の表示位置が変化する方向に基づいて、２Ｄ補正閾値に互いに異なる値が設定されてもよい。より具体的には、仮想画像の表示位置が水平方向に変化する場合と、垂直方向に変化する場合とで、２Ｄ補正閾値に互いに異なる値が設定されてもよい。また、変化前の表示位置に基づいて、２Ｄ補正閾値に互いに異なる値が設定されてもよい。より具体的には、仮想画像が表示部１５０の中央に表示されている場合と、表示部１５０の端に表示されている場合とで、２Ｄ補正閾値に互いに異なる値が設定されてもよい。
【００４９】  また、２Ｄ補正閾値は、ユーザと仮想画像との距離以外の要素に基づいて制御されてもよい。
【００５０】  例えば、ＨＭＤ１００は、実空間に関連するセンシング結果の精度に基づいて仮想画像の描画頻度を切り替えても良い。実空間に関連するセンシング結果には、自装置（表示装置）の位置姿勢の認識精度が含まれ、当該自装置の位置姿勢の認識精度に基づいて２Ｄ補正閾値を制御してもよい。例えば、ＨＭＤ１００は、認識精度が第１の認識精度である場合、仮想画像の描画頻度を第１の描画頻度に制御し、認識精度が第１の認識精度よりも大きい第２の認識精度である場合、仮想画像の描画頻度を第２の描画頻度に制御しても良い。より具体的には、ＨＭＤ１００は、自装置の位置姿勢の予測と実際の結果との差分である残差に基づいて２Ｄ補正閾値を制御してもよい。上記のとおり、ＨＭＤ１００は、自装置に備えられた各種センサ（外向きステレオカメラ、加速度センサ、ジャイロセンサ等）を用いて自装置の位置姿勢を予測する。自装置の位置姿勢の予測についての残差が大きい場合には、各種センサの動作が不安定であると考えられるため、自装置の位置姿勢の予測に基づいて仮想画像の描画が行われると仮想画像のちらつきがより大きくなる場合がある。したがって、ＨＭＤ１００は、自装置の位置姿勢の予測についての残差が大きいほど、２Ｄ補正閾値をより大きい値に設定してもよい。
【００５１】  また、上記のとおり、各種センサは、センサ自体の温度、周辺温度が高くなるにしたがって出力誤差が大きくなる場合があるため、仮想画像のちらつきがより大きくなり易い。したがって、ＨＭＤ１００は、センサ自体の温度または周辺温度が高いほど、２Ｄ補正閾値をより大きい値に設定してもよい。
【００５２】  また、ＨＭＤ１００は、表示部１５０（ディスプレイ等）の解像度に基づいて２Ｄ補正閾値を制御してもよい。より具体的に説明すると、上記のとおり、表示部１５０の解像度が低い場合に、仮想画像のちらつきが大きくなり易い。したがって、ＨＭＤ１００は、表示部１５０の解像度が低いほど、２Ｄ補正閾値をより大きい値に設定してもよい。
【００５３】  また、上記のとおり、仮想画像自体が静止している場合には、仮想画像のちらつきがより大きくなり易い。したがって、ＨＭＤ１００は、仮想画像自体が静止している場合には、そうでない場合に比べて２Ｄ補正閾値をより大きい値に設定してもよい。
【００５４】  また、仮想画像がより複雑な形状、模様もしくは色彩を有しているほど、仮想画像のちらつきがより大きくなる。したがって、ＨＭＤ１００は、仮想画像が複雑な形状、模様もしくは色彩を有しているほど、２Ｄ補正閾値をより大きい値に設定してもよい。
【００５５】  また、仮想画像が表示部１５０において大きく表示されるほど、ユーザは、仮想画像のちらつきをより認識し易くなる。したがって、ＨＭＤ１００は、仮想画像が表示部１５０において大きく表示されるほど、２Ｄ補正閾値をより大きい値に設定してもよい。
【００５６】  また、ユーザが仮想画像を注視していない場合には、３Ｄ描画の頻度が低減され、その低減分が２Ｄ補正によって補われたとしてもユーザが違和感を受けにくくなる。したがって、ＨＭＤ１００は、ユーザが仮想画像を注視していない場合には、２Ｄ補正閾値を極めて大きな値に設定してもよい。また、ＨＭＤ１００は、ユーザの注視点が仮想画像から遠いほど、２Ｄ補正閾値をより大きい値に設定してもよい。
【００５７】  上記はあくまで例であり、２Ｄ補正閾値の制御方法は上記に限定されない。
【００５８】  また、ＨＭＤ１００は、２Ｄ補正閾値を制御することだけでなく、フレームレート自体を制御することによって、仮想画像の描画頻度を制御してもよい。なお、本開示において、フレームレートは表示装置により表示される頻度として見做されて良い。言い換えると、ユーザが視認する頻度がフレームレートに対応し、フレームバッファに仮想画像を描画頻度に対応するものと見做されてよい。通常、フレームレートと描画頻度は実質的に同一になり得る。
【００５９】  より具体的には、上記のとおり、ユーザと仮想画像との距離が遠いほど視差が小さくなるため、３Ｄ描画の頻度が低減され、その低減分が２Ｄ補正によって補われたとしてもユーザが違和感を受けにくくなる。したがって、ＨＭＤ１００は、ユーザと仮想画像との距離が遠いほど、フレームレートをより低減させることができる。
【００６０】  例えば、ＨＭＤ１００は、以下の式１を用いてフレームレートを算出してもよいし、予め用意された複数種のフレームレートから算出結果に最も近いものを選出してもよい。
【００６１】
【数１】
2019187592.tif 000003
y：フレームレート    c：ユーザ毎に設けられる係数（ユーザの視力等を反映させた値）    x：ユーザと仮想画像との距離    r：所定の指数
【００６２】  なお、上記の式１はあくまで一例であり、フレームレートの算出方法はこれに限定されない。
【００６３】  また、フレームレート（描画頻度）は、ユーザと仮想画像との距離以外の要素に基づいて制御されてもよい。例えば、２Ｄ補正閾値と同様に、フレームレートは、自装置の位置姿勢の予測についての残差、センサの温度、表示部１５０の解像度、仮想画像の特徴（仮想画像の形状、模様、色彩、大きさ等）もしくは状態（仮想画像が静止しているか否か等）等に基づいて制御されてもよい。すなわち、ＨＭＤ１００は、仮想画像のちらつきが発生し易い場合に、フレームレートをより低減させてもよい。なお、仮想画像の特徴もしくは状態等は、前記実空間に関連するセンシング結果に基づいて決定されるものと見做されても良い。また、フレームレートは、ユーザが仮想画像を注視しているか否か等に基づいて制御されてもよい。すなわち、ＨＭＤ１００は、３Ｄ描画の頻度が低減され、その低減分が２Ｄ補正によって補われたとしてもユーザが違和感を受けにくい場合に、フレームレートをより低減させてもよい。
【００６４】  なお、ＨＭＤ１００は、表示される仮想画像のフレームレートよりも描画頻度を小さく制御してもよい。より具体的には、描画頻度３０［Hz］、フレームレート６０［Hz］となるように制御しても良い。この場合、フレームバッファに描画された同一の仮想画像が二度表示される。このような構成を採用することで、描画される仮想画像のちらつきを抑制しつつ、描画頻度による処理負荷の増加抑制、消費電力の低減、あるいは高温化の抑制が期待できる。
【００６５】    ＜３．第１の実施例＞  上記では、本開示の概要について説明した。続いて、本開示の第１の実施例について説明する。
【００６６】  （３−１．機能構成）  まず、図９を参照して、第１の実施例に係るＨＭＤ１００の機能構成について説明する。
【００６７】  図９に示すように、第１の実施例に係るＨＭＤ１００は、センサ部１１０と、解析部１２０と、画像制御部１３０と、表示制御部１４０と、表示部１５０と、を備える。
【００６８】  （センサ部１１０）  センサ部１１０は、ユーザまたは周辺環境に関する各種情報を取得し、当該情報を解析部１２０に提供する機能を有する。例えばセンサ部１１０は、外向きステレオカメラ１１１と、内向きステレオカメラ１１２と、ジャイロセンサ１１３と、加速度センサ１１４と、を備える。なお、これらはあくまで一例であり、センサ部１１０が備えるセンサはこれらに限定されない。例えば、センサ部１１０は、別途、温度センサ等を備えていてもよい。また、各センサは複数備えられてもよい。
【００６９】  外向きステレオカメラ１１１および内向きステレオカメラ１１２は、ステレオカメラとしての機能を有しており、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）センサアレイにより実現されてもよい。
【００７０】  ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
【００７１】  加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
【００７２】  （解析部１２０）  解析部１２０は、センサ部１１０から提供された各種情報を解析し、解析結果を画像制御部１３０に提供する機能を有する。例えば、解析部１２０は、位置姿勢推定部１２１と、位置姿勢予測部１２２と、残差算出部１２３と、視線検出部１２４と、を備える。なお、これらはあくまで一例であり、解析部１２０が備える機能構成はこれらに限定されない。
【００７３】  位置姿勢推定部１２１は、自装置の位置姿勢を推定する。より具体的には、位置姿勢推定部１２１は、センサ部１１０によって提供された外向きステレオカメラ１１１等のセンシングデータに基づいてデプスマップを生成し、Ｖｉｓｕａｌ  ＳＬＡＭ（Simultaneous Localization And Mapping）を実現し、Ｖｉｓｕａｌ  ＳＬＡＭによって自装置の位置姿勢、速度および慣性加速度等を算出する。そして、位置姿勢推定部１２１は、算出した位置姿勢および速度等を元の値として、ジャイロセンサ１１３および加速度センサ１１４（またはこれらを備えたＩＭＵ（Inertial Measurement Unit））から得られた加速度および角速度を用いる慣性航法に関する各種処理を行うことによって自装置の最新の位置姿勢、速度および角速度を高精度に推定する。なお、上記の推定方法はあくまで一例であり、適宜変更され得る。位置姿勢推定部１２１は、自装置の位置姿勢等の推定結果を位置姿勢予測部１２２に提供する。
【００７４】  位置姿勢予測部１２２は、未来のある時点における自装置の位置姿勢を予測する。例えば、位置姿勢予測部１２２は、位置姿勢推定部１２１によって提供された、過去における自装置の位置姿勢等の推定結果に基づいて線形補間等の手法を用いて未来のある時点における自装置の位置姿勢等を予測する。なお、この予測方法はあくまで一例であり、適宜変更され得る。
【００７５】  残差算出部１２３は、自装置の位置姿勢の予測と実際の結果との差分である残差を算出する機能を有する。より具体的には、残差算出部１２３は、位置姿勢予測部１２２によって予測されたある時点の位置姿勢と、位置姿勢推定部１２１によって推定された当該時点の実際の位置姿勢とを比較することで残差を算出する。
【００７６】  視線検出部１２４は、ＨＭＤ１００を装着しているユーザの視線を検出する機能を有する。より具体的には、視線検出部１２４は、内向きステレオカメラ１１２によって生成されたユーザの眼の撮像画像を解析して、ユーザの視線方向を認識する。なお視線検出のアルゴリズムは特に限定されないが、例えば目頭と虹彩の位置関係、または角膜反射と瞳孔の位置関係に基づいて、ユーザの視線方向が認識され得る。
【００７７】  （画像制御部１３０）  画像制御部１３０は、解析部１２０から提供された解析結果等を用いて、仮想画像の描画を制御する描画制御部としての機能を有する。画像制御部１３０は、アプリケーション１３１と、描画方針決定部１３２と、描画部１３３と、フレームバッファ１３４と、２Ｄ補正部１３５と、を備える。なお、これらはあくまで一例であり、画像制御部１３０が備える機能構成はこれらに限定されない。例えば、２Ｄ補正部は、二次元的な補正のみだけでなく、三次元的な変形や位置の補正を行う補正部に置き換えられても良い。
【００７８】  アプリケーション１３１は、ユーザがＨＭＤ１００を用いて使用するサービスに関するアプリケーションプログラムである。アプリケーション１３１は、位置姿勢予測部１２２から提供された、未来のある時点における自装置の位置姿勢の予測結果等に基づいて、仮想画像の内容、位置、大きさ、角度等を決定する。アプリケーション１３１は、決定内容を描画方針決定部１３２および描画部１３３に提供する。
【００７９】  描画方針決定部１３２は、仮想画像の描画頻度等の描画方針を決定する機能を有する。例えば、描画方針決定部１３２は、位置姿勢予測部１２２から提供された、未来のある時点における自装置の位置姿勢の予測結果と、アプリケーション１３１から提供された、当該時点における仮想画像の位置に基づいて、ユーザと仮想画像との距離を算出し、当該距離に基づいて２Ｄ補正閾値およびフレームレート等の描画方針を決定してもよい。また、上記のとおり、ユーザと仮想画像との距離だけでなく、自装置の位置姿勢の予測についての残差、センサの温度、表示部１５０の解像度、仮想画像の特徴（仮想画像の形状、模様、色彩、大きさ等）もしくは状態（仮想画像が静止しているか否か等）、ユーザが仮想画像を注視しているか否か等にも基づいて描画方針を決定してもよい。描画方針決定部１３２は決定した描画方針を描画部１３３に提供する。
【００８０】  描画部１３３は、解析部１２０から提供された解析結果、描画方針決定部１３２から提供された描画方針、アプリケーション１３１から提供された仮想画像の内容等を用いて、仮想画像の３Ｄ描画を行う。より具体的には、描画部１３３は、仮想画像の表示位置の変化量が２Ｄ補正閾値よりも小さい場合には仮想画像の３Ｄ描画を行わず、仮想画像の表示位置の変化量が２Ｄ補正閾値以上である場合には決定されたフレームレートで仮想画像の３Ｄ描画を行う。描画された仮想画像はフレームバッファ１３４に提供される。
【００８１】  フレームバッファ１３４は、描画部１３３によって生成された仮想画像を一時的に記憶する記憶領域である。フレームバッファ１３４は、１画面分の仮想画像を記憶してもよいし、複数画面分の仮想画像を記憶してもよい。
【００８２】  ２Ｄ補正部１３５は、２Ｄ補正を行う機能を有する。より具体的には、２Ｄ補正部１３５は、位置姿勢予測部１２２から提供された、仮想画像の表示時点における自装置の位置姿勢の予測結果に基づいて仮想画像の表示位置を算出し、描画部１３３によって描画された仮想画像に対して２Ｄ補正を施すことで仮想画像の表示位置を補正する。
【００８３】  （表示制御部１４０）  表示制御部１４０は、表示部１５０を制御することによって、２Ｄ補正部１３５によって補正された後の仮想画像の表示を実現する機能を有する。
【００８４】  （表示部１５０）  表示部１５０は、仮想画像を表示する機能構成であり、例えばディスプレイであり得るが、これに限定されない。表示部１５０は、例えばホログラム光学技術を用いて表示を行うレンズ部、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Organic  Light  Emitting  Diode）装置等により実現される。
【００８５】  （３−２．動作）  上記では、第１の実施例に係るＨＭＤ１００の機能構成について説明した。続いて、図１０を参照して、第１の実施例に係るＨＭＤ１００の動作について説明する。
【００８６】  まず、描画方針決定部１３２が、ステップＳ１０００にてパラメータを読み込み、ステップＳ１００４にて当該パラメータに基づいて２Ｄ補正閾値およびフレームレートを暫定的に決定する。ここで、描画方針決定部１３２が読み込むパラメータは、ＨＭＤ１００を装着するユーザ毎にカスタマイズされていてもよい。例えば、当該パラメータは、ユーザの視力等に基づいてユーザ毎にカスタマイズされていてもよい。
【００８７】  ステップＳ１００８では、ＨＭＤ１００の位置姿勢が更新される。より具体的には、位置姿勢推定部１２１が自装置の位置姿勢を推定し、位置姿勢予測部１２２が自装置の位置姿勢を予測する。ステップＳ１０１２では、自装置の位置姿勢の予測と実際の結果との差分である残差が所定の閾値を超えた場合（ステップＳ１０１２／Ｙｅｓ）、ステップＳ１０１６にて、描画方針決定部１３２が、仮想画像のちらつきが発生し易い状況であると判断し、２Ｄ補正閾値をより大きい値に変更する。なお、残差が所定の閾値を超えない場合には（ステップＳ１０１２／Ｎｏ）、２Ｄ補正閾値は変更されない。
【００８８】  ステップＳ１０２０にて、描画方針決定部１３２がユーザと仮想画像との距離を算出し、当該距離が所定の閾値を超えた場合（ステップＳ１０２０／Ｙｅｓ）、ステップＳ１０２４にて、描画方針決定部１３２は、３Ｄ描画の頻度を低減させ、その低減分を２Ｄ補正によって補うことが可能であると判断して、フレームレートを低減させる。なお、距離が所定の閾値を超えない場合には（ステップＳ１０２０／Ｎｏ）、フレームレートは変更されない。
【００８９】  ステップＳ１０２８にて、フレームレートに基づいて仮想画像が描画されるターンである場合（ステップＳ１０２８／Ｙｅｓ）、かつ、ユーザが仮想画像を見ている場合（ステップＳ１０３２／Ｙｅｓ）、ステップＳ１０３６にて、描画部１３３が仮想画像を描画する。そして、ステップＳ１０４０では、２Ｄ補正部１３５が最新の位置姿勢の予測結果に基づいて仮想画像に対して２Ｄ補正を施す。
【００９０】  ステップＳ１０２８にて、フレームレートに基づいて仮想画像が描画されるターンでない場合（ステップＳ１０２８／Ｎｏ）、仮想画像の描画が行われることなく、ステップＳ１０４０にて、２Ｄ補正部１３５が仮想画像に対して２Ｄ補正を施す。また、ステップＳ１０３２にて、ユーザが仮想画像を見ていない場合（ステップＳ１０３２／Ｎｏ）、仮想画像の描画が行われなくてもユーザが違和感を受けにくいため、仮想画像の描画が行われることなく、ステップＳ１０４０にて、２Ｄ補正部１３５が仮想画像に対して２Ｄ補正を施す。
【００９１】  なお、図１０のフローチャートはあくまで一例であり、適宜変更され得る。例えば、ステップＳ１０００およびステップＳ１００４は、仮想画像の表示開始時に実行された後には省略されてもよい。すなわち、図１０のフローチャートに示された各処理が一度実施された後には、ステップＳ１０００およびステップＳ１００４の処理が省略され、ステップＳ１００８以降の処理が繰り返し実施されてもよい。また、ステップＳ１０３２にて、ユーザが仮想画像を見ておらず（ステップＳ１０３２／Ｎｏ）、仮想画像の周辺に比較対象となる実物体または仮想画像等が存在しない場合には、ユーザが違和感を受けにくいため、３Ｄ描画だけでなく２Ｄ補正も省略されてもよい。
【００９２】  また、２Ｄ補正閾値は、残差によって決定されるだけでなく、上記のように、ユーザと仮想画像との距離、センサの温度、表示部１５０の解像度、仮想画像の特徴（仮想画像の形状、模様、色彩、大きさ等）もしくは状態（仮想画像が静止しているか否か等）、ユーザが仮想画像を注視しているか否か等によって決定されてもよい。また、フレームレートは、ユーザと仮想画像との距離によって決定されるだけでなく、上記のように、自装置の位置姿勢の予測についての残差、センサの温度、表示部１５０の解像度、仮想画像の特徴（仮想画像の形状、模様、色彩、大きさ等）もしくは状態（仮想画像が静止しているか否か等）、ユーザが仮想画像を注視しているか否か等によって決定されてもよい。
【００９３】  （３−３．適用例）  上記では、本開示の第１の実施例に係るＨＭＤ１００の動作について説明した。続いて、図１１および図１２を参照して、本開示の第１の実施例の適用例について説明する。
【００９４】  図１１は、実空間の街並みの中に、建設が予定されている建築物が仮想画像１１として表示される場合の例である。
【００９５】  建築物のように巨大な物体であっても、図１１に示すように、ユーザと建築物の仮想画像１１との距離が相対的に遠い場合、視差がより小さくなる。そのため、ＨＭＤ１００は、２Ｄ補正閾値をより大きい値に変更し、フレームレートを低減させることで、３Ｄ描画の頻度を低減させ、その低減分を２Ｄ補正で補うことによって、ユーザに対して違和感を与えることなく仮想画像１１のちらつきを低減させることができる。これによって、仮に、建築物が複雑な形状を有していても、ＨＭＤ１００は、仮想画像１１をちらつきにくくすることができる。
【００９６】  図１２は、仮想画像１２として表示されたロボットがＨＭＤ１００を装着したユーザを目的地まで案内する場合の例である。
【００９７】  ロボットが、ユーザとの距離を所定値以上保ちつつユーザを案内する場合（例えば、ユーザの前進に伴って、仮想画像１２が、仮想画像１２ａの位置から仮想画像１２ｂの位置へ移動する場合）、視差が小さく保たれ得る。そのため、図１１の適用例と同様に、ＨＭＤ１００は、２Ｄ補正閾値をより大きい値に変更し、フレームレートを低減させることで、３Ｄ描画の頻度を低減させ、その低減分を２Ｄ補正で補うことによって、ユーザに対して違和感を与えることなく仮想画像１２のちらつきを低減させることができる。
【００９８】  なお、図１１および図１２はあくまで例であるため、本開示の第１の実施例は、その他のサービスまたはシステム等に適用されてもよい。
【００９９】    ＜４．第２の実施例＞  上記では、本開示の第１の実施例について説明した。続いて、本開示の第２の実施例について説明する。
【０１００】  第２の実施例は、検出された平面に仮想画像が重畳される場合の例である。より具体的には、検出された平面に、ポスターまたは絵画等の平面的な仮想画像が重畳される場合、立体的な仮想画像が表示される場合に比べて、３Ｄ描画の頻度が低減され、その低減分が２Ｄ補正によって補われたとしてもユーザが違和感を受けにくくなる。したがって、検出された平面に仮想画像が重畳される場合、ＨＭＤ１００は、２Ｄ補正閾値をより大きい値に設定したり、フレームレートを低減させたりすることによって、ユーザに対して違和感を与えることなく仮想画像のちらつきを低減させることができる。
【０１０１】  （４−１．機能構成）  まず、図１３を参照して、第２の実施例に係るＨＭＤ１００の機能構成について説明する。なお、以下では、第１の実施例に係るＨＭＤ１００の機能構成（図９を参照）との差分のみについて言及する。
【０１０２】  図１３に示すように、第２の実施例に係るＨＭＤ１００の解析部１２０は、測距部１２５と、平面検出部１２６と、を備える。
【０１０３】  平面検出部１２６は、外向きステレオカメラ１１１によって生成された撮像画像を用いて、射影変換処理等を行うことによって、撮像画像における平面を検出する機能を有する。測距部１２５は、射影変換処理に用いられる撮像画像における平面上の点までの距離を算出する。なお、平面検出の方法は特に限定されるものではなく、任意の方法で実現され得る。
【０１０４】  なお、第２の実施例に係るＨＭＤ１００の機能構成はあくまで一例であり、適宜変更され得る。また、第１の実施例に係るＨＭＤ１００の機能構成と、第２の実施例に係るＨＭＤ１００の機能構成が組み合わされてもよい。
【０１０５】  （４−２．動作）  上記では、第２の実施例に係るＨＭＤ１００の機能構成について説明した。続いて、図１４を参照して、第２の実施例に係るＨＭＤ１００の動作について説明する。
【０１０６】  ステップＳ１１００〜ステップＳ１１０８までは、図１０のステップＳ１０００〜ステップＳ１００８と同一であるため説明を省略する。ステップＳ１１１２では、平面検出部１２６が撮像画像中の平面を検出する。なお、既に検出されている平面が存在する場合には、当該平面が流用されることによって平面検出処理が省略されてもよい。ステップＳ１１１６では、仮想画像の周辺に比較対象となる実物体または仮想画像等が存在するか否かに基づいて、描画方針決定部１３２が、ステップＳ１１２０にて用いられる残差の閾値およびステップＳ１１２８にて用いられる距離の閾値を変更する。例えば、仮想画像の周辺に比較対象となる実物体または仮想画像等が存在しない場合には、ユーザは仮想画像の遅延を認識しにくいため、描画方針決定部１３２は、残差の閾値および距離の閾値を変更することによって、２Ｄ補正閾値をより大きな値に設定したり、フレームレートを低減させたりすることができる。ステップＳ１１２０〜ステップＳ１１４８は、図１０のステップＳ１０１２〜ステップＳ１０４０と同一であるため説明を省略する。
【０１０７】  なお、図１４のフローチャートはあくまで一例であり、適宜変更され得る。例えば、図１０と同様に、ステップＳ１１００およびステップＳ１１０４は、仮想画像の表示開始時に実行された後には省略されてもよい。すなわち、図１４のフローチャートに示された各処理が一度実施された後には、ステップＳ１１００およびステップＳ１１０４の処理が省略され、ステップＳ１１０８以降の処理が繰り返し実施されてもよい。
【０１０８】  また、２Ｄ補正閾値は、残差によって決定されるだけでなく、上記のように、ユーザと仮想画像との距離、センサの温度、表示部１５０の解像度、仮想画像の特徴（仮想画像の形状、模様、色彩、大きさ等）もしくは状態（仮想画像が静止しているか否か等）、ユーザが仮想画像を注視しているか否か等によって決定されてもよい。また、フレームレートは、ユーザと仮想画像との距離によって決定されるだけでなく、上記のように、自装置の位置姿勢の予測についての残差、センサの温度、表示部１５０の解像度、仮想画像の特徴（仮想画像の形状、模様、色彩、大きさ等）もしくは状態（仮想画像が静止しているか否か等）、ユーザが仮想画像を注視しているか否か等によって決定されてもよい。
【０１０９】  （４−３．適用例）  上記では、本開示の第２の実施例に係るＨＭＤ１００の動作について説明した。続いて、図１５を参照して、本開示の第２の実施例の適用例について説明する。
【０１１０】  図１５は、撮像画像から検出された平面である壁面にポスターの仮想画像１３が重畳される場合の例である。
【０１１１】  文字やカラフルな絵や画像等が表示されたポスター等の仮想画像１３はちらつき易い。また、上記のとおり、平面にポスター等の平面的な仮想画像１３が重畳される場合、立体的な仮想画像が表示される場合に比べて、３Ｄ描画の頻度が低減され、その低減分が２Ｄ補正によって補われたとしてもユーザが違和感を受けにくくなる。したがって、ＨＭＤ１００は、２Ｄ補正閾値をより大きい値に設定したり、フレームレートを低減させたりすることによって、ユーザに対して違和感を与えることなく仮想画像１３のちらつきを低減させることができる。
【０１１２】    ＜５．ハードウェア構成＞  以上、本開示の実施例について説明した。上記の２Ｄ補正閾値またはフレームレートの制御による描画頻度の制御処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１１３】  図１６は、本開示に係るＨＭＤ１００を具現する情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Central Processing Unit）９０１と、ＲＯＭ（Read OnlyMemory）９０２と、ＲＡＭ（Random Access Memory）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置（ＨＤＤ）９１０と、ドライブ９１１と、通信装置９１２とを備える。
【０１１４】  ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、センサ部１１０、解析部１２０、画像制御部１３０または表示制御部１４０の各機能が実現される。
【０１１５】  ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１１６】  入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００を使用するユーザは、該入力装置９０８を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１７】  出力装置９０９は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置およびランプなどの表示装置を含む。さらに、出力装置９０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置９０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。当該出力装置９０９により、表示部１５０の機能が実現される。
【０１１８】  ストレージ装置９１０は、情報処理装置９００の記憶部（図示なし）の一例として構成されたデータ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Hard Disk Drive）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【０１１９】  ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。
【０１２０】  通信装置９１２は、例えば、通信網９１４に接続するための通信デバイス等で構成された通信インタフェースである。
【０１２１】    ＜６．むすび＞  以上で説明してきたように、本開示に係るＨＭＤ１００は、仮想画像の描画頻度を制御することで、２Ｄ補正と３Ｄ描画とを適切に制御し、仮想画像のちらつきを低減させる。例えば、ＨＭＤ１００は、表示部１５０において仮想画像の表示位置が変化する場合に、ユーザと仮想画像との距離、自装置の位置姿勢の予測についての残差、センサの温度、表示部１５０の解像度、仮想画像の特徴（仮想画像の形状、模様、色彩、大きさ等）もしくは状態（仮想画像が静止しているか否か等）、または、ユーザが仮想画像を注視しているか否か等に基づいて２Ｄ補正閾値またはフレームレートを制御する。これによって、ＨＭＤ１００は、３Ｄ描画の頻度を低減させ、その低減分を２Ｄ補正で補うことによって、ユーザに対して違和感を与えることなく仮想画像のちらつきを低減させることができる。
【０１２２】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２３】  例えば、ユーザと仮想画像との距離が遠い場合や、自装置の位置姿勢の認識精度が低い場合等において、ＨＭＤ１００は、３Ｄ描画だけでなく２Ｄ補正も省略してもよい。また、ＨＭＤ１００は、仮想画像の周辺に比較対象となる実物体または仮想画像等が存在しない場合には、ユーザが違和感を受けにくいため、３Ｄ描画だけでなく２Ｄ補正も省略してもよい。これによって、ＨＭＤ１００は、仮想画像のちらつきをより低減させることができる。
【０１２４】  また、上記の各フローチャートに示した各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２５】  また、ＨＭＤ１００の機能構成は適宜変更されてもよい。例えば、ＨＭＤ１００の機能構成の一部は、適宜外部装置に備えられてもよい。また、視線検出部１２４、測距部１２５、平面検出部１２６等の機能構成は、適宜省略されてもよい。
【０１２６】  また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２７】  なお、以下のような構成も本開示の技術的範囲に属する。（１）  実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替える描画制御部と、  前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御する表示制御部と、を備える、  情報処理装置。（２）  前記描画制御部は、前記センシング結果に基づく前記仮想画像が第１の変化量を有する場合に、前記仮想画像の描画頻度を前記第１の描画頻度に制御し、  前記描画制御部は、前記仮想画像が前記第１の変化量よりも大きい第２の変化量を有する場合に、前記仮想画像の描画頻度を前記第２の描画頻度に制御する、  前記（１）に記載の情報処理装置。（３）  前記第１の描画頻度において、前記仮想画像の再描画が禁止される、  前記（２）に記載の情報処理装置。（４）  前記仮想画像の表示位置を補正する補正部を更に備え、  前記仮想画像が前記第１の変化量を有する場合に、前記描画制御部が前記仮想画像の再描画を抑制する間、前記補正部は前記仮想画像の表示位置を補正する、  前記（２）または（３）に記載の情報処理装置。（５）  前記補正部は、前記描画制御部により描画された前記仮想画像の表示位置を、前記表示装置に関する位置姿勢に基づいて二次元的に補正する、  前記（４）に記載の情報処理装置。（６）  前記２の描画頻度において、前記仮想画像が再描画される、  前記（２）から（５）のいずれか１項に記載の情報処理装置。（７）  前記第１の変化量は、所定の閾値よりも小さい変化量であり、  前記第２の変化量は、前記所定の閾値よりも大きい変化量であり、  前記描画制御部は、前記所定の閾値を変化させることによって前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度の間で切り替える、  前記（２）から（６）のいずれか１項に記載の情報処理装置。（８）  前記描画制御部は、フレームレートを制御することによって、前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１）から（７）のいずれか１項に記載の情報処理装置。（９）  前記描画制御部は、前記仮想画像を視認する前記表示装置のユーザと前記仮想画像との位置関係に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１）から（８）のいずれか１項に記載の情報処理装置。（１０）  前記描画制御部は、前記ユーザと前記仮想画像との距離に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（９）に記載の情報処理装置。（１１）  前記描画制御部は、前記ユーザと前記仮想画像との距離が第１の距離である場合、前記仮想画像の描画頻度を前記第１の描画頻度に制御し、前記ユーザと前記仮想画像との距離が前記第１の距離よりも小さい第２の距離である場合、前記仮想画像の描画頻度を前記第２の描画頻度に制御する、  前記（１０）記載の情報処理装置。（１２）  前記描画制御部は、前記ユーザと前記仮想画像との前記距離が大きいほど前記仮想画像の描画頻度を低減させる、  前記（１１）記載の情報処理装置。（１３）  前記描画制御部は、前記実空間に関連するセンシング結果の精度に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１）から（１２）のいずれか１項に記載の情報処理装置。（１４）  前記実空間に関連するセンシング結果の精度は、前記表示装置に関する位置姿勢の認識精度を含み、  前記描画制御部は、前記認識精度に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１３）に記載の情報処理装置。（１５）  前記描画制御部は、前記認識精度が第１の認識精度である場合、前記仮想画像の描画頻度を前記第１の描画頻度に制御し、前記認識精度が前記第１の認識精度よりも大きい第２の認識精度である場合、前記仮想画像の描画頻度を前記第２の描画頻度に制御する、  前記（１４）に記載の情報処理装置。（１６）  前記仮想画像の特徴または状態は、前記実空間に関連するセンシング結果に基づいて決定され、  前記描画制御部は、前記仮想画像の特徴または状態に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１）から（１５）のいずれか１項に記載の情報処理装置。（１７）  前記描画制御部は、前記仮想画像の形状、模様もしくは色彩の複雑さ、大きさ、または、動作の状態の少なくとも１つに基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１６）に記載の情報処理装置。（１８）  前記描画制御部は、前記表示装置の解像度に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１）から（１７）のいずれか１項に記載の情報処理装置。（１９）  前記描画制御部は、前記表示装置のユーザの視線と前記仮想画像との位置関係に基づいて前記仮想画像の描画頻度を前記第１の描画頻度と前記第２の描画頻度との間で切り替える、  前記（１）から（１８）のいずれか１項に記載の情報処理装置。（２０）  前記描画制御部は、前記表示装置により表示される前記仮想画像のフレームレートよりも前記第１の描画頻度を小さくする、  前記（１）から（１９）のいずれか１項に記載の情報処理装置。（２１）  実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替えることと、  前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御することと、を有する、  少なくとも１つのプロセッサにより実行される情報処理方法。（２２）  実空間に関連するセンシング結果に基づいて、仮想画像の描画頻度を、第１の描画頻度と前記第１の描画頻度よりも大きい第２の描画頻度との間で切り替えることと、  前記センシング結果と、前記第１の描画頻度または前記第２の描画頻度の一方に基づいて前記仮想画像を表示するよう表示装置を制御することと、  をコンピュータに実現させるためのプログラム。
【符号の説明】
【０１２８】  １００    ＨＭＤ  １１０    センサ部  １１１    外向きステレオカメラ  １１２    内向きステレオカメラ  １１３    ジャイロセンサ  １１４    加速度センサ  １２０    解析部  １２１    位置姿勢推定部  １２２    位置姿勢予測部  １２３    残差算出部  １２４    視線検出部  １２５    測距部  １２６    平面検出部  １３０    画像制御部  １３１    アプリケーション  １３２    描画方針決定部  １３３    描画部  １３４    フレームバッファ  １３５    ２Ｄ補正部  １４０    表示制御部  １５０    表示部
【図１】
2019187592.tif 000004
【図２】
2019187592.tif 000005
【図３】
2019187592.tif 000006
【図４】
2019187592.tif 000007
【図５】
2019187592.tif 000008
【図６】
2019187592.tif 000009
【図７】
2019187592.tif 000010
【図８】
2019187592.tif 000011
【図９】
2019187592.tif 000012
【図１０】
2019187592.tif 000013
【図１１】
2019187592.tif 000014
【図１２】
2019187592.tif 000015
【図１３】
2019187592.tif 000016
【図１４】
2019187592.tif 000017
【図１５】
2019187592.tif 000018
【図１６】
2019187592.tif 000019
【国際調査報告】
2019187592.tif 000020
2019187592.tif 000021
2019187592.tif 000022
2019187592.tif 000023