(57)【要約】【課題】現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和する。【解決手段】ＨＭＤ推定部１２が、現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、表示装置の３次元位置及び姿勢を推定し、ＡＲマーカ推定部１４が、表示装置に配置された第２検出装置により、対象物を検出した検出情報に基づいて、対象物の３次元位置及び姿勢を推定し、判定部１６が、表示装置を装着した装着者の所定部位と対象物との位置関係に応じて、対象物を示すオブジェクトの描画位置を、表示装置の３次元位置及び姿勢に対応した位置とするか、又は対象物の３次元位置及び姿勢に対応した位置とするかを判定し、表示制御部１８が、判定結果が示す位置にオブジェクトを描画した仮想空間を示す画像を表示装置に表示する。【選択図】図３
2019053603.tif 000002
【特許請求の範囲】
【請求項１】
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
ことを含む処理をコンピュータに実行させるための表示制御プログラム。
【請求項２】
前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する請求項１に記載の表示制御プログラム。
【請求項３】
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となる場合に、検出された前記対象物の３次元位置及び姿勢に対応した位置に、前記対象物を示すオブジェクトを描画する請求項１又は請求項２に記載の表示制御プログラム。
【請求項４】
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物を含む範囲を撮影する撮影装置により撮影された画像を画像処理することにより判定する請求項３に記載の表示制御プログラム。
【請求項５】
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物の少なくとも一方に取り付けられた近接を検知するセンサにより近接が検知されたか否かにより判定するか、又は視線センサにより、前記対象物を含む所定範囲内に前記装着者の視線が向けられているか否かを検出することにより判定する請求項３に記載の表示制御プログラム。
【請求項６】
前記撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する請求項４に記載の表示制御プログラム。
【請求項７】
前記装着者の視界の所定範囲を撮影する撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する請求項１〜請求項３及び請求項５のいずれか１項に記載の表示制御プログラム。
【請求項８】
前記現実空間の一部として、前記装着者の所定部位を示す画像を、前記仮想空間を示す画像に重畳表示する請求項６又は請求項７に記載の表示制御プログラム。
【請求項９】
ステレオカメラを前記第２検出装置及び前記撮影装置として用いる請求項４、及び請求項６〜請求項８のいずれか１項に記載の表示制御プログラム。
【請求項１０】
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定する第１推定部と、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定する第２推定部と、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定する判定部と、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する表示制御部と、
を含む表示制御装置。
【請求項１１】
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
ことを含む処理をコンピュータが実行する表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、表示制御プログラム、表示制御装置、及び表示制御方法に関する。
【背景技術】
【０００２】
現在、製品のデザインなどの評価を行う場合に、製品に近い実物（モックアップ）による評価を行うのが一般的である。しかし、モックアップの作成にかかる金銭的及び時間的コストが大きな問題となる。
【０００３】
この問題を解決するために、Virtual Reality（ＶＲ）システムを活用し、モックレスでデザインなどの評価を行うことが提案され始めている。
【０００４】
しかし、デザイン評価のためのＶＲシステムの多くは、製品を閲覧することはできても、実際に触って評価することはできない。デザイン評価において、実物に触って評価を行うことは重要である。
【０００５】
そこで、Head Mounted Display（ＨＭＤ）にカメラを装着し、実映像を仮想空間に持ち込む、いわゆるMixed Reality（ＭＲ）を適用することが考えられる。例えば、ＭＲに関する従来技術として、広い範囲で移動するプレーヤを精度良く補足して複合現実感を提示する装置が提案されている。この装置は、既知の位置に配置された複数のマーカを有する作業台と、プレーヤの頭部姿勢を検出するためにプレーヤに装着される姿勢センサと、複数のマーカのうちの少なくとも１つが視野に入るように設定されたカメラとを具備する。そして、この装置は、姿勢センサからの出力に基づいて頭部位置を検出すると共に、検出された頭部位置信号を、カメラの画像信号を画像処理してカメラの位置を検出することにより補正する。さらに、この装置は、補正された頭部位置に応じた視点位置に複合現実感を提示するように仮想画像を生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１３６７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、ＶＲトラッキングセンサ（従来技術における姿勢センサ）は、利用者が装着しているＨＭＤの位置や向き等の値を一定の精度で取得することができるが、ＭＲにおいては、カメラがとらえた対象物と仮想空間上の対象物との位置のズレが、利用者に違和感を与える。特に、利用者が対象物に触ろうとした場合、仮想空間上の対象物に手を伸ばしても、実際には対象物に触れないといった視覚と触覚とのズレが発生する。なお、現実物を仮想空間に持ち込まず、仮想物のみを表示する場合には、実際の対象物の位置と仮想空間上の対象物の位置とのズレは、利用者に大きな影響を与えない。
【０００８】
また、マーカを使用して対象物の位置を検出する場合、例えば、図１５の上段の図に示すように、画像内にマーカが良好に映る場合には、対象物の位置を精度良く検出することができる。しかし、例えば、図１５の中段の図に示すように、マーカの一部しか映っていない場合や、図１５の下段の図に示すように、マーカがカメラから離れた位置にあり、画像内でのマーカのサイズが小さ過ぎる場合には、対象物の位置を精度良く検出することができない。これを補うために、従来技術のように、マーカを多数配置する場合には、複数のマーカの各々についてキャリブレーションや配置の管理などを行う必要があり、処理負荷が増大する。
【０００９】
一つの側面として、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することを目的とする。
【課題を解決するための手段】
【００１０】
一つの態様として、開示の技術は、現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定する。また、開示の技術は、前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定する。そして、開示の技術は、前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするかを判定する。又は、推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定する。さらに、開示の技術は、判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する。
【発明の効果】
【００１１】
開示の技術は、一つの側面として、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することができる、という効果を有する。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係るＶＲシステムの構成を示す概略図である。
【図２】第１実施形態に係るＶＲシステムの各構成の配置の一例を示す概略図である。
【図３】第１実施形態に係る表示制御装置の機能ブロック図である。
【図４】描画の状態を仮想空間に対応させた概念図である。
【図５】第１実施形態におけるＶＲ画像の一例を示す図である。
【図６】第１及び第２実施形態に係る表示装置として機能するコンピュータの概略構成を示すブロック図である。
【図７】初期化処理の一例を示すフローチャートである。
【図８】第１実施形態における表示制御処理の一例を示すフローチャートである。
【図９】第２実施形態に係るＶＲシステムの構成を示す概略図である。
【図１０】第２実施形態に係るＶＲシステムの各構成の配置の一例を示す概略図である。
【図１１】第２実施形態に係る表示制御装置の機能ブロック図である。
【図１２】第２実施形態におけるＶＲ画像の一例を示す図である。
【図１３】第２実施形態における表示制御処理の一例を示すフローチャートである。
【図１４】ＶＲシステムの他の構成を示す概略図である。
【図１５】画像からのマーカの検出を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。
【００１４】
＜第１実施形態＞
第１実施形態では、一例として、車の運転席のデザイン評価を行う場合であって、操作可能な対象物がハンドルである場合について説明する。
【００１５】
図１に示すように、第１実施形態に係るVirtual Reality（ＶＲ）システム１００は、表示制御装置１０と、ＶＲトラッキング装置３１と、ステレオカメラ３２と、Head Mounted Display（ＨＭＤ）３３とを含む。さらに、ＶＲシステム１００は、ハンドル模型３４と、Augmented Reality（ＡＲ）マーカ３５とを含む。
【００１６】
ＶＲトラッキング装置３１は、例えば、１又は複数のレーザレーダで実現することができる。各レーザレーダは、レーザを照射し、ＨＭＤ３３の受光部で反射したレーザを受光し、レーザの照射方向及びＨＭＤ３３の受光部までの距離の情報を含むトラッキングデータを計測する。ＶＲトラッキング装置３１は、計測したトラッキングデータを表示制御装置１０へ出力する。なお、ＶＲトラッキング装置３１は、開示の技術の第１検出装置の一例である。
【００１７】
ステレオカメラ３２は、ＨＭＤ３３に取り付けられており、右眼用及び左眼用の可視光カメラの各々により、ＨＭＤ３３を装着した装着者４０の視界を想定した範囲を、所定のフレームレートで撮影する。ステレオカメラ３２は、撮影により得られた右眼用画像及び左眼用画像を表示制御装置１０へ出力する。なお、ステレオカメラ３２は、開示の技術の第２検出装置、及び撮影装置の一例である。
【００１８】
ＨＭＤ３３は、表示制御装置１０から出力された右眼用ＶＲ画像及び左眼用ＶＲ画像を取得し、ディスプレイに立体視画像を表示する。なお、本実施形態におけるＶＲ画像とは、ハンドルを含む運転席を示す仮想的な３次元のオブジェクトが配置された仮想空間を示す画像である。なお、ＨＭＤ３３は、開示の技術の表示装置の一例である。
【００１９】
ハンドル模型３４は、ハンドル操作を模擬可能な実物大のハンドルの模型である。
【００２０】
ＡＲマーカ３５は、予め登録された図形のマーカであり、ハンドル模型３４の予め定めた位置に貼付される。なお、ＡＲマーカ３５は、開示の技術のマーカの一例である。
【００２１】
図２に、ＶＲシステム１００の各構成の配置の一例を概略的に示す。ステレオカメラ３２付きのＨＭＤ３３は、装着者４０の頭部に装着される。ハンドル模型３４は、装着者４０が着席する椅子を運転席のシートと見立てた場合に、運転席におけるシートとハンドルとの位置関係に対応した位置に配置される。図２では、椅子からの所定距離離れた位置に配置された所定高さの台上にハンドル模型３４を配置した例を示している。ＶＲトラッキング装置３１は、各レーザレーダの計測範囲に装着者４０に装着されたＨＭＤ３３が含まれる位置、例えば、椅子に着席した装着者４０を挟む対角線上の位置に配置される。
【００２２】
表示制御装置１０は、機能的には、図３に示すように、ＨＭＤ推定部１２と、ＡＲマーカ推定部１４と、判定部１６と、表示制御部１８とを含む。ＨＭＤ推定部１２は、開示の技術の第１推定部の一例であり、ＡＲマーカ推定部１４は、開示の技術の第２推定部の一例である。また、表示制御装置１０の所定の記憶領域には、仮想空間に配置する運転席（ハンドルを除く）及びハンドルの各々を示す仮想的なオブジェクトの３次元データが格納されたオブジェクトデータベース（ＤＢ）２２が記憶される。
【００２３】
ＨＭＤ推定部１２は、トラッキング装置３１から出力されたトラッキングデータを取得し、トラッキングデータに基づいて、ワールド座標系（仮想空間座標系）におけるＨＭＤ３３の位置及び姿勢（各座標軸に対する角度）を推定する。
【００２４】
ＡＲマーカ推定部１４は、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々を取得し、右眼用画像及び左眼用画像の各々から、パターンマッチングなどの画像認識処理により、予め登録された図形であるＡＲマーカ３５を検出する。ＡＲマーカ推定部１４は、右眼用画像及び左眼用画像の各々から検出したＡＲマーカ３５と、ステレオカメラ３２の両眼視差とに基づいて、カメラ座標系におけるＡＲマーカ３５の位置及び姿勢を推定する。ＡＲマーカ３５が貼付されたハンドル模型３４の位置は既知であるため、推定されたＡＲマーカ３５の位置及び姿勢は、ハンドル模型３４の位置及び姿勢に対応する。
【００２５】
また、ＡＲマーカ推定部１４は、初期化処理として、仮想空間におけるハンドルを含む運転席を示すオブジェクトの配置をキャリブレーションし、基準の配置を定める。
【００２６】
具体的には、ＡＲマーカ推定部１４は、上記と同様に推定したカメラ座標系におけるＡＲマーカ３５の位置及び姿勢を、ワールド座標系に変換する。ＡＲマーカ推定部１４は、推定されたワールド座標系のＡＲマーカ３５の位置及び姿勢を基準に、仮想空間上に運転席を配置した場合の運転席を示すオブジェクトの位置及び姿勢を推定する。そして、ＡＲマーカ推定部１４は、ＨＭＤ推定部１２により推定されたＨＭＤ３３の位置及び姿勢に対応付けて、推定した運転席を示すオブジェクトの位置及び姿勢を基準の配置として記憶する。
【００２７】
なお、キャリブレーション時には、より高い精度でＡＲマーカ３５のワールド座標系における位置及び姿勢が推定されることが望ましい。そのため、ＡＲマーカ推定部１４は、ハンドル模型３４と装着者４０が着席する椅子との距離を取得し、この距離の情報を、ＡＲマーカ３５の位置及び姿勢の推定に用いてもよい。例えば、ＡＲマーカ推定部１４は、この距離の情報を、装着者４０からの入力により取得してもよいし、椅子及びハンドル模型３４又はハンドル模型３４が配置される台の少なくとも一方に設けられた距離センサの検出値から取得してもよい。また、ハンドル模型３４と椅子との距離が、予め定めた距離となるように、ハンドル模型３４及び椅子の少なくとも一方の位置を調整してもよい。
【００２８】
判定部１６は、ＨＭＤ３３を装着した装着者４０の所定部位（例えば、手先）とハンドル模型３４との位置関係を特定する。判定部１６は、特定した位置関係に応じて、ＶＲ画像描画時における、ハンドルを示すオブジェクトの配置の決定方法を判定する。配置の決定方法には、ＨＭＤ推定部１２の推定結果を利用する方法と、ＡＲマーカ推定部１４の推定結果を利用する方法とがある。
【００２９】
ＨＭＤ推定部１２の推定結果を利用する方法は、キャリブレーションされた基準の配置を、ハンドルを示すオブジェクトの配置として決定する方法である。この場合、基準の位置にハンドルを示すオブジェクトが配置された仮想空間における装着者４０の視線方向に対応する所定範囲がＶＲ画像として描画される。装着者４０の視線方向は、ＨＭＤ推定部１２で推定されたＨＭＤ３３の位置及び姿勢に対応するため、本実施形態では、この方法を、ＨＭＤ推定部１２の推定結果を利用する方法という。
【００３０】
ＡＲマーカ推定部１４の推定結果を利用する方法は、ＡＲマーカ推定部１４により推定された、カメラ座標系におけるハンドル模型３４の位置及び姿勢が示す配置に決定する方法である。
【００３１】
具体的には、判定部１６は、装着者４０の所定部位とハンドル模型３４との距離が、予め定めた閾値以下となる場合には、ＡＲマーカ推定部１４の推定結果を利用する方法で、ハンドルを示すオブジェクトの配置を決定する。また、判定部１６は、装着者４０の所定部位とハンドル模型３４との距離が、予め定めた所定距離を超える場合には、キャリブレーションされた基準の配置を、ハンドルを示すオブジェクトの配置として決定する。
【００３２】
これは、装着者４０がハンドル模型３４を操作しようとしている又は操作している場合には、装着者４０の頭部の動きへの追従精度がより高い方法を採用するものである。ＨＭＤ推定部１２による推定結果を用いるよりも、ＨＭＤ３３に取り付けられたステレオカメラ３２で撮影された画像から検出されたＡＲマーカ３５により、ハンドル模型３４の位置及び姿勢を直接的に推定する方が、装着者４０の頭部の動きへの追従精度は高い。これにより、現実空間におけるハンドル模型３４と仮想空間におけるハンドルを示すオブジェクトとの位置ずれの低減が図られる。
【００３３】
判定部１６は、装着者４０の所定部位とハンドル模型３４との距離を、例えば、以下に示すように算出する。判定部１６は、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々から、例えば、肌色の領域を抽出するなどして、装着者４０の腕部を示す腕領域を抽出する。判定部１６は、右眼用画像及び左眼用画像の各々から抽出した腕領域と、ステレオカメラ３２の両眼視差とに基づいて、腕領域の先端（ステレオカメラ３２からの距離が最も遠い箇所）の位置を推定する。そして、判定部１６は、ＡＲマーカ推定部１４により推定されたＡＲマーカ３５の位置と、推定した腕領域の先端の位置との距離を算出する。
【００３４】
表示制御部１８は、ＨＭＤ３３に表示する右眼用ＶＲ画像及び左眼用ＶＲ画像の各々を生成する。各ＶＲ画像の生成方法を以下に示す。表示制御部１８は、ＨＭＤ３３に表示するＶＲ画像のサイズに対応した描画領域を用意する。表示制御部１８は、ステレオカメラ３２から取得された画像を背景画像として描画領域に描画する。
【００３５】
また、ハンドルを示すオブジェクトの配置がＨＭＤ推定部１２の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含む運転席を示すオブジェクトの３次元データを読み出す。そして、表示制御部１８は、キャリブレーションされた基準の位置に、ハンドルを含む運転席を示すオブジェクトを配置する。そして、表示制御部１８は、ＨＭＤ推定部１２で推定されたＨＭＤ３３の位置及び姿勢に対応する装着者４０の視線方向で仮想空間を見た場合のオブジェクトを、背景画像が描画された描画領域に重畳して描画する。
【００３６】
また、ハンドルを示すオブジェクトの配置がＡＲマーカ推定部１４の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含まない運転席を示すオブジェクトの３次元データを読み出す。そして、表示制御部１８は、上記のハンドルを含む運転席を示すオブジェクトの場合と同様に、ハンドルを含まない運転席を示すオブジェクトを、描画領域に描画する。さらに、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを示すオブジェクトの３次元データを読み出す。表示制御部１８は、ＡＲマーカ推定部１４により推定されたカメラ座標系におけるハンドル模型３４の位置及び姿勢に対応させたハンドルを示すオブジェクトを、背景画像及びハンドルを含まない運転席のオブジェクトが描画された描画領域に重畳して描画する。
【００３７】
また、表示制御部１８は、判定部１６により画像から抽出された腕領域の画像を、背景画像及びハンドルを含む運転席のオブジェクトが描画された描画領域に重畳して描画する。
【００３８】
図４に、上記の描画の状態を仮想空間に対応させて概念的に示す。仮想空間において、装着者４０（ＨＭＤ３３）の周辺に運転席のオブジェクト４２が描画される。そして、装着者４０から見て、運転席のオブジェクト４２より奥に位置するスクリーン４４に背景画像が描画され、運転席のオブジェクト４２内部に位置するスクリーン４６に腕領域の画像が描画される。
【００３９】
表示制御部１８は、上記の描画を右眼用及び左眼用の各々について行うことにより、右眼用ＶＲ画像及び左眼用ＶＲ画像の各々を生成する。表示制御部１８は、生成した右眼用ＶＲ画像及び左眼用ＶＲ画像をＨＭＤ３３に出力する。
【００４０】
これにより、ＨＭＤ３３には、例えば図５に示すようなＶＲ画像が表示される。図５の例では、フロントウィンドウ及びサイドウィンドウ越しに見える画像、及び腕の画像は、ステレオカメラ３２で撮影された現実空間を映した画像であり、ハンドルを含む運転席は仮想的な３次元のオブジェクトである。
【００４１】
表示制御装置１０は、例えば図６に示すコンピュータ５０で実現することができる。コンピュータ５０は、Central Processing Unit（ＣＰＵ）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入力装置、表示装置等の入出力装置５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するRead/Write（Ｒ／Ｗ）部５５と、インターネット等のネットワークに接続される通信Interface（Ｉ／Ｆ）５６とを備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。
【００４２】
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、表示制御装置１０として機能させるための表示制御プログラム６０が記憶される。表示制御プログラム６０は、ＨＭＤ推定プロセス６２と、ＡＲマーカ推定プロセス６４と、判定プロセス６６と、表示制御プロセス６８とを有する。また、記憶部５３は、オブジェクトＤＢ２２を構成する情報が記憶される情報記憶領域７０を有する。
【００４３】
ＣＰＵ５１は、表示制御プログラム６０を記憶部５３から読み出してメモリ５２に展開し、表示制御プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、ＨＭＤ推定プロセス６２を実行することで、図３に示すＨＭＤ推定部１２として動作する。また、ＣＰＵ５１は、ＡＲマーカ推定プロセス６４を実行することで、図３に示すＡＲマーカ推定部１４として動作する。また、ＣＰＵ５１は、判定プロセス６６を実行することで、図３に示す判定部１６として動作する。また、ＣＰＵ５１は、表示制御プロセス６８を実行することで、図３に示す表示制御部１８として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、オブジェクトＤＢ２２をメモリ５２に展開する。これにより、表示制御プログラム６０を実行したコンピュータ５０が、表示制御装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。
【００４４】
なお、表示制御プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
【００４５】
次に、第１実施形態に係る表示制御装置１０の作用について説明する。ＶＲシステム１００が起動されると、ＶＲトラッキング装置３１がＶＲトラッキングを開始し、トラッキングデータを出力すると共に、ステレオカメラ３２が撮影を開始し、右眼用画像及び左眼用画像を出力する。そして、表示制御装置１０が、図７に示す初期化処理を実行した後に、図８に示す表示制御処理を実行する。なお、表示制御処理は、開示の技術の表示制御方法の一例である。
【００４６】
まず、図７に示す初期化処理について説明する。
【００４７】
ステップＳ１２で、ＨＭＤ推定部１２が、トラッキング装置３１から出力されたトラッキングデータを取得し、トラッキングデータに基づいて、ワールド座標系（仮想空間座標系）におけるＨＭＤ３３の位置及び姿勢を推定する。
【００４８】
次に、ステップＳ１４で、ＡＲマーカ推定部１４が、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々を取得する。この際、例えば、図１５の上段の図に示すように、ＡＲマーカ３５が良好に映るように、頭部の向きを調整することを装着者４０に促すメッセージをＨＭＤ３３に表示するようにしてもよい。そして、ＡＲマーカ推定部１４は、右眼用画像及び左眼用画像の各々からＡＲマーカ３５を検出し、ステレオカメラ３２の両眼視差に基づいて、ＡＲマーカ３５の位置及び姿勢を推定する。
【００４９】
次に、ステップＳ１６で、ＡＲマーカ推定部１４が、推定したカメラ座標系におけるＡＲマーカ３５の位置及び姿勢を、ワールド座標系に変換する。そして、ＡＲマーカ推定部１４は、推定されたワールド座標系のＡＲマーカ３５の位置及び姿勢を基準に、仮想空間上に運転席を配置した場合の運転席を示すオブジェクトの位置及び姿勢を推定する。さらに、ＡＲマーカ推定部１４は、ＨＭＤ推定部１２により推定されたＨＭＤ３３の位置及び姿勢に対応付けて、推定した運転席を示すオブジェクトの位置及び姿勢を基準の配置として記憶する。これにより、運転席のオブジェクトの配置がキャリブレーションされ、初期化処理は終了する。
【００５０】
次に、図８に示す表示制御処理について説明する。
【００５１】
ステップＳ２２で、ＨＭＤ推定部１２が、トラッキング装置３１から出力されたトラッキングデータを取得し、トラッキングデータに基づいて、ワールド座標系（仮想空間座標系）におけるＨＭＤ３３の位置及び姿勢を推定する。
【００５２】
次に、ステップＳ２４で、ＡＲマーカ推定部１４及び判定部１６が、ステレオカメラ３２から出力された右眼用画像及び左眼用画像の各々を取得する。そして、判定部１６が、取得した右眼用画像及び左眼用画像の各々から、例えば、肌色の領域を抽出するなどして、装着者４０の腕部を示す腕領域を抽出する。
【００５３】
次に、ステップＳ２６で、ＡＲマーカ推定部１４が、取得した右眼用画像及び左眼用画像の各々から、パターンマッチングなどの画像認識処理により、予め登録された図形であるＡＲマーカ３５が検出されたか否かを判定する。ＡＲマーカ３５が検出された場合には、処理はステップＳ２８へ移行し、検出されない場合には、処理はステップＳ３６へ移行する。
【００５４】
ステップＳ２８では、ＡＲマーカ推定部１４が、右眼用画像及び左眼用画像の各々から検出したＡＲマーカ３５と、ステレオカメラ３２の両眼視差とに基づいて、カメラ座標系におけるＡＲマーカ３５の位置及び姿勢を推定する。
【００５５】
次に、ステップＳ３０で、判定部１６が、上記ステップＳ２４で、右眼用画像及び左眼用画像の各々から抽出した腕領域と、ステレオカメラ３２の両眼視差とに基づいて、腕領域の先端の位置を推定する。そして、判定部１６は、上記ステップＳ２８で推定されたＡＲマーカ３５の位置、すなわちハンドル模型３４の位置と、推定した腕領域の先端の位置との距離を算出する。
【００５６】
次に、ステップＳ３２で、判定部１６が、上記ステップＳ３０で算出した距離が、予め定めた閾値以下か否かを判定する。距離が閾値以下の場合には、判定部１６は、装着者４０がハンドル模型３４を操作しようとしている又は操作していると判断し、処理はステップＳ３４へ移行する。一方、距離が閾値を超えている場合には、処理はステップＳ３６へ移行する。
【００５７】
ステップＳ３４では、判定部１６が、ＡＲマーカ推定部１４の推定結果を利用する方法で、ハンドルを示すオブジェクトの配置を決定する。一方、ステップＳ３６では、判定部１６が、ＡＲマーカ推定部１４の推定結果を利用する方法で、ハンドルを示すオブジェクトの配置を決定する。
【００５８】
次に、ステップＳ３８で、表示制御部１８が、ＨＭＤ３３に表示するＶＲ画像のサイズに対応した描画領域を用意する。表示制御部１８は、ステレオカメラ３２から取得された画像を背景画像として描画領域に描画する。
【００５９】
次に、ステップＳ４０で、表示制御部１８が、運転席及びハンドルのオブジェクトを描画領域に重畳して描画する。この際、ハンドルを示すオブジェクトの配置がＨＭＤ推定部１２の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含む運転席を示すオブジェクトの３次元データを読み出す。そして、表示制御部１８は、仮想空間の、キャリブレーションされた基準の位置に、ハンドルを含む運転席を示すオブジェクトを配置する。そして、表示制御部１８は、ＨＭＤ推定部１２で推定されたＨＭＤ３３の位置及び姿勢に対応する装着者４０の視線方向のオブジェクトを、背景画像が描画された描画領域に重畳して描画する。
【００６０】
また、ハンドルを示すオブジェクトの配置がＡＲマーカ推定部１４の推定結果を利用する方法に決定されている場合、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを含まない運転席を示すオブジェクトの３次元データを読み出す。そして、上記のハンドルを含む運転席を示すオブジェクトの場合と同様に、描画領域に描画する。さらに、表示制御部１８は、オブジェクトＤＢ２２から、ハンドルを示すオブジェクトの３次元データを読み出す。表示制御部１８は、ＡＲマーカ推定部１４により推定されたカメラ座標系におけるハンドル模型３４の位置及び姿勢に対応させたハンドルを示すオブジェクトを、背景画像及びハンドルを含まない運転席のオブジェクトが描画された描画領域に重畳して描画する。
【００６１】
なお、ＨＭＤ推定部１２の推定結果を利用する方法の場合でも、ハンドルの回転角については、ＡＲマーカ３５を利用して推定されたハンドル模型３４の位置及び姿勢に基づいて決定してもよい。
【００６２】
次に、ステップＳ４２で、表示制御部１８が、上記ステップＳ２４で、判定部１６により右眼用画像及び左眼用画像の各々から抽出された腕領域の画像を、背景画像及びハンドルを含む運転席のオブジェクトが描画された描画領域に重畳して描画する。
【００６３】
表示制御部１８は、上記ステップＳ３８〜Ｓ４２の処理を右眼用及び左眼用の各々について行うことにより、右眼用ＶＲ画像及び左眼用ＶＲ画像の各々を生成する。
【００６４】
次に、ステップＳ４４で、表示制御部１８が、生成した右眼用ＶＲ画像及び左眼用ＶＲ画像をＨＭＤ３３に出力する。これにより、ＨＭＤ３３には、例えば図５に示すようなＶＲ画像が表示される。そして、表示制御処理は終了する。
【００６５】
表示制御部１８は、ＶＲシステム１００の終了が指示されるまで、上記の表示制御処理を所定時間間隔（例えば、ステレオカメラのフレームレートと同じ間隔）で繰り返し実行する。
【００６６】
以上説明したように、第１実施形態におけるＶＲシステム１００によれば、表示制御装置１０が、装着者が対象物を操作しようとしている又は操作しているか否かによって、ＶＲ画像における対象物の描画位置の決定方法を切り替える。具体的には、表示制御装置１０は、装着者が対象物を操作しようとしている又は操作している場合には、装着者の頭部の動きへの追従精度が高いＡＲマーカを利用した対象物の位置及び姿勢の推定結果を用いる。一方、表示制御装置１０は、装着者が対象物を操作しようとしていない、かつ操作していない場合には、装着者の頭部の動きへの追従精度がＡＲマーカを利用した場合に比べて低い、ＶＲトラッキングによるＨＭＤの位置及び姿勢の推定結果を用いる。これにより、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することができる。
【００６７】
また、上記のように、対象物の描画位置の決定方法を動的に切り替えることで、操作しようとしている又は操作している場合は、装着者の所定部位（例えば、手先）と対象物との位置ずれを緩和することができる。一方、操作しようとしていない、かつ操作していない場合には、対象物を示すオブジェクトとそれ以外のオブジェクトとの位置ずれを緩和することができる。これにより、ＶＲ画像の表示中全体をとおして、表示の違和感を緩和することができる。
【００６８】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、一例として、ＡＴＭ機のデザイン評価を行う場合であって、操作可能な対象物が操作画面である場合について説明する。なお、第２実施形態に係るＶＲシステムにおいて、第１実施形態に係るＶＲシステム１００と同様の部分については、同一符号を付して詳細な説明を省略する。
【００６９】
図９に示すように、第２実施形態に係るＶＲシステム２００は、表示制御装置２１０と、ＶＲトラッキング装置３１と、ステレオカメラ３２が取り付けられたＨＭＤ３３と、タブレット端末２３４とを含む。
【００７０】
タブレット端末２３４は、仮想空間におけるＡＴＭ機の操作画面に相当し、現実空間において、装着者４０により操作可能なタッチパネルディスプレイである。タブレット端末２３４には、ＡＴＭ機における操作画面のサイズを特定可能な位置にＡＲマーカ３５が表示されている。タブレット端末２３４には、画面へのタッチを検知するタッチセンサと、画面への指先等の近接を検知する近接センサとが設けられている。
【００７１】
図１０に、ＶＲシステム２００の各構成の配置の一例を概略的に示す。図１０に示すように、第２実施形態に係るＶＲシステム２００の各構成の配置は、第１実施形態に係るＶＲシステム１００におけるハンドル模型３４に代えて、タブレット端末２３４が配置される点が異なる。
【００７２】
表示制御装置１０は、機能的には、図１１に示すように、ＨＭＤ推定部１２と、ＡＲマーカ推定部１４と、判定部２１６と、表示制御部２１８とを含む。また、表示制御装置２１０の所定の記憶領域には、オブジェクトＤＢ２２と、表示内容毎の操作画面の画面データ、及び操作画面間の遷移関係の定義情報が格納された操作画面ＤＢ２４とが記憶される。
【００７３】
判定部２１６は、装着者４０の所定部位とタブレット端末２３４との距離が、予め定めた所定距離以下となるか否かを、タブレット端末２３４に設けられた近接センサによる検知結果によって判定する。
【００７４】
具体的には、判定部２１６は、近接センサにより、タブレット端末２３４に対して物体が近接したことが検知されている場合には、ＡＲマーカ推定部１４の推定結果を利用する方法で、操作画面を示すオブジェクトの配置を決定する。また、判定部２１６は、近接が検知されていない場合には、ＨＭＤ推定部１２の推定結果を利用する方法、すなわち、キャリブレーションされた基準の配置を、操作画面を示すオブジェクトの配置として決定する。
【００７５】
表示制御部２１８は、第１実施形態における表示制御部１８と同様に、背景画像、オブジェクト、及び腕領域を順に重畳して描画したＶＲ画像を生成する。さらに、第２実施形態における表示制御部２１８は、描画された操作画面を示すオブジェクトに表示内容を示す画像を描画する。具体的には、表示制御部２１８は、操作画面ＤＢ２４から、初期画面を示す画面データを取得し、描画された操作画面を示すオブジェクト上に描画する。そして、タブレット端末２３４のタッチセンサによりタブレット端末２３４へのタッチ操作が検知されると、表示制御部２１８は、タッチされたタブレット端末２３４のディスプレイ上の座標情報を取得する。表示制御部２１８は、タッチされた座標情報と、現在操作画面として表示している表示内容と、操作画面ＤＢ２４に格納された操作画面間の遷移関係の定義情報とに基づいて、次に表示する表示内容の画面データを特定し、操作画面ＤＢ２４から取得する。
【００７６】
図１２に、第２実施形態におけるＶＲ画像の一例を示す。図１２の例では、ＡＴＭ機の背景の画像、及び腕の画像は、ステレオカメラ３２で撮影された現実空間を映した画像であり、操作画面の表示内容を除くＡＴＭ機の部分は、仮想的な３次元のオブジェクトである。また、操作画面の表示内容は、操作画面ＤＢ２４に格納された画面データに基づくはめ込み画像である。
【００７７】
表示制御装置２１０は、例えば図６に示すコンピュータ５０で実現することができる。コンピュータ５０の記憶部５３には、コンピュータ５０を、表示制御装置２１０として機能させるための表示制御プログラム２６０が記憶される。表示制御プログラム２６０は、ＨＭＤ推定プロセス６２と、ＡＲマーカ推定プロセス６４と、判定プロセス２６６と、表示制御プロセス２６８とを有する。また、記憶部５３は、オブジェクトＤＢ２２及び操作画面ＤＢ２４の各々を構成する情報が記憶される情報記憶領域７０を有する。
【００７８】
ＣＰＵ５１は、表示制御プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、表示制御プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、判定プロセス２６６を実行することで、図１１に示す判定部２１６として動作する。また、ＣＰＵ５１は、表示制御プロセス２６８を実行することで、図１１に示す表示制御部２１８として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、オブジェクトＤＢ２２及び操作画面ＤＢ２４の各々をメモリ５２に展開する。他のプロセスについては、第１実施形態に係る表示制御プログラム６０と同様である。これにより、表示制御プログラム２６０を実行したコンピュータ５０が、表示制御装置２１０として機能することになる。
【００７９】
なお、表示制御プログラム２６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【００８０】
次に、第２実施形態に係る表示制御装置２１０の作用について説明する。ＶＲシステム２００が起動されると、ＶＲトラッキング装置３１がＶＲトラッキングを開始し、トラッキングデータを出力すると共に、ステレオカメラ３２が撮影を開始し、右眼用画像及び左眼用画像を出力する。そして、表示制御装置２１０が、図７に示す初期化処理を実行した後に、図１３に示す表示制御処理を実行する。なお、表示制御処理は、開示の技術の表示制御方法の一例である。
【００８１】
図７に示す初期化処理については、第１実施形態における初期化処理と同様であるため、説明を省略する。なお、ステップＳ１６の「運転席を示すオブジェクト」は、「操作画面を示すオブジェクト」に読み替える。
【００８２】
次に、図１３に示す表示制御処理について説明する。なお、第１実施形態における表示制御処理と同様の処理については、同一符号を付して詳細な説明を省略する。
【００８３】
ステップＳ２２及びＳ２４を経て、処理がステップＳ２３２へ移行すると、判定部２１６が、近接センサにより、タブレット端末２３４に対して物体が近接したことが検知されたか否かを判定する。近接が検知されている場合には、処理はステップＳ２６へ移行し、検知されていない場合には、処理はステップＳ２３６へ移行する。
【００８４】
ステップＳ２６で肯定判定され、ステップＳ２８でＡＲマーカ３５の位置及び姿勢が推定されると、処理はステップＳ２３４へ移行し、判定部２１６が、ＡＲマーカ推定部１４の推定結果を利用する方法で、操作画面を示すオブジェクトの配置を決定する。一方、ステップＳ２３６では、判定部２１６が、ＨＭＤ推定部１２の推定結果を利用する方法で、操作画面を示すオブジェクトの配置を決定する。
【００８５】
次に、ステップＳ５２で、表示制御部２１８が、タブレット端末２３４のタッチセンサによりタブレット端末２３４へのタッチ操作が検知されたか否かを判定する。タッチ操作が検知された場合には、処理はステップＳ５４へ移行し、タッチ操作が検知されない場合には、処理はステップＳ５６へ移行する。
【００８６】
ステップＳ５４では、表示制御部２１８が、タッチされたタブレット端末２３４のディスプレイ上の座標情報を取得する。そして、表示制御部２１８は、タッチされた座標情報と、現在操作画面として表示している表示内容と、操作画面ＤＢ２４に格納された操作画面間の遷移関係の定義情報とに基づいて、次に表示する表示内容の画面データを取得する。一方、ステップＳ５６では、表示制御部２１８が、前回表示した表示内容と同一の画面データを取得する。
【００８７】
次に、ステップＳ３８で、表示制御部２１８が、描画領域に背景画像を描画する。
【００８８】
次に、ステップＳ２４０で、表示制御部２１８が、上記ステップＳ２３４又はＳ２３６における、操作画面を示すオブジェクトの配置の決定方法にしたがって、操作画面を示すオブジェクトを描画領域に重畳して描画する。
【００８９】
次に、ステップＳ５８で、表示制御部２１８が、上記ステップＳ５４又はＳ５６で取得した画面データが示す操作画面の表示内容を、描画領域に描画された操作画面を示すオブジェクト上に描画する。
【００９０】
そして、第１実施形態と同様にステップＳ４２及びＳ４４が実行され、表示制御処理は終了する。
【００９１】
以上説明したように、第２実施形態におけるＶＲシステム２００によれば、表示制御装置２１０が、第１実施形態と同様に、装着者が対象物を操作しようとしている又は操作しているか否かによって、ＶＲ画像における対象物の描画位置の決定方法を切り替える。これにより、現実空間において操作可能な対象物を仮想空間に配置する場合における表示の違和感を緩和することができる。
【００９２】
また、表示制御装置２１０は、検出されたＡＲマーカにより推定された対象物の位置及び姿勢に基づいて、対象物を示すオブジェクトを配置するため、対象物の配置を変更することで、仮想空間上の対象物を示すオブジェクトの位置も変更される。このため、対象物の配置の変更に柔軟に対応しながらデザインの評価を行うことができる。
【００９３】
なお、上記各実施形態では、ＶＲシステム内に対象物が１つだけ含まれる場合について説明したが、複数の対象物を含んでもよい。例えば、図１４に示すＶＲシステム３００のように、第１実施形態と第２実施形態とを組み合わせて、ハンドル模型３４と、カーナビゲーション装置の画面を模擬したタブレット端末２３４とを含めるようにしてもよい。この場合、対象物毎に、各対象物を識別可能なＡＲマーカを貼付し、対象物の種類に応じて、対象物毎に、第１実施形態の表示制御処理又は第２実施形態の表示制御処理を実行するようにすればよい。
【００９４】
また、上記各実施形態では、レーザ照射型のＶＲトラッキング装置３１を用いる場合について説明したが、例えば、ＨＭＤ３３に搭載された加速度センサやジャイロセンサなどの計測データを用いる態様など、他のＶＲトラッキングの手法を適用してもよい。
【００９５】
また、上記各実施形態では、対象物の位置及び姿勢の推定にＡＲマーカを用いる場合について説明したが、これに限定されない。ＡＲマーカ以外のマーカを用いてもよいし、マーカを用いることなく、対象物自体の特徴点を検出して、特徴点の配置などから、対象物の位置及び姿勢を推定してもよい。
【００９６】
また、上記各実施形態では、ステレオカメラで撮影された画像を用いてＡＲマーカの位置及び姿勢を推定する場合について説明したが、これに限定されない。例えば、単眼の可視光カメラで撮影された画像から検出したＡＲマーカの画像内での位置、サイズ、及び傾き（歪み）と、ＡＲマーカの実際のサイズと、カメラの焦点距離とに基づいて、ＡＲマーカの位置及び姿勢を推定してもよい。また、赤外線カメラを用いてもよい。この場合、ＶＲ画像に表示する背景画像を撮影するための可視光カメラを別途も受けてもよい。
【００９７】
なお、ステレオカメラを用いる場合には、ＡＲマーカの位置及び姿勢を推定するための画像と、ＶＲ画像に表示する背景画像とを撮影するためのカメラを別々に設ける必要がない。
【００９８】
また、上記第１実施形態では、装着者が対象物を操作しようとしている又は操作しているか否かの判定に、装着者の所定部位と対象物との３次元位置を求めて算出した距離と閾値とを比較する場合について説明した。また、第２実施形態では、近接センサを用いて、装着者の所定部位と対象物との近接を検知する場合について説明したが、これらに限定されない。
【００９９】
例えば、視線センサにより、対象物を含む所定範囲内に装着者の視線が向けられているか否かを検出し、視線が向けられている場合には、装着者が対象物を操作しようとしている又は操作していると判定することができる。また、ＨＭＤの向きが対象物の方を向いているか否かを判定してもよい。また、画像からＡＲマーカが検出されない場合や、画像内でのＡＲマーカのサイズが小さすぎる場合（ＡＲマーカが遠くにある場合）などには、装着者が対象物を操作しようとしていない、かつ操作していないと判定してもよい。さらに、装着者の所定部位と対象物との３次元位置を求めて距離を算出するのではなく、画像内で認識された手先の部分と対象物との２次元的な位置関係に基づいて判定してもよい。
【０１００】
また、上記各実施形態では、表示制御プログラム６０、２６０が記憶部５３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。
【０１０１】
以上の各実施形態に関し、更に以下の付記を開示する。
【０１０２】
（付記１）
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
ことを含む処理をコンピュータに実行させるための表示制御プログラム。
【０１０３】
（付記２）
前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する付記１に記載の表示制御プログラム。
【０１０４】
（付記３）
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となる場合に、検出された前記対象物の３次元位置及び姿勢に対応した位置に、前記対象物を示すオブジェクトを描画する付記１又は付記２に記載の表示制御プログラム。
【０１０５】
（付記４）
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物を含む範囲を撮影する撮影装置により撮影された画像を画像処理することにより判定する付記３に記載の表示制御プログラム。
【０１０６】
（付記５）
前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物の少なくとも一方に取り付けられた近接を検知するセンサにより近接が検知されたか否かにより判定するか、又は視線センサにより、前記対象物を含む所定範囲内に前記装着者の視線が向けられているか否かを検出することにより判定する付記３に記載の表示制御プログラム。
【０１０７】
（付記６）
前記撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記４に記載の表示制御プログラム。
【０１０８】
（付記７）
前記装着者の視界の所定範囲を撮影する撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記１〜付記３及び付記５のいずれか１項に記載の表示制御プログラム。
【０１０９】
（付記８）
前記現実空間の一部として、前記装着者の所定部位を示す画像を、前記仮想空間を示す画像に重畳表示する付記６又は付記７に記載の表示制御プログラム。
【０１１０】
（付記９）
ステレオカメラを前記第２検出装置及び前記撮影装置として用いる付記４、及び付記６〜付記８のいずれか１項に記載の表示制御プログラム。
【０１１１】
（付記１０）
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定する第１推定部と、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定する第２推定部と、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定する判定部と、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する表示制御部と、
を含む表示制御装置。
【０１１２】
（付記１１）
前記第２推定部は、前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する付記１０に記載の表示制御装置。
【０１１３】
（付記１２）
前記判定部は、前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となる場合に、検出された前記対象物の３次元位置及び姿勢に対応した位置に、前記対象物を示すオブジェクトを描画すると判定する付記１０又は付記１１に記載の表示制御装置。
【０１１４】
（付記１３）
前記判定部は、前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物を含む範囲を撮影する撮影装置により撮影された画像を画像処理することにより判定する付記１２に記載の表示制御装置。
【０１１５】
（付記１４）
前記判定部は、前記装着者の所定部位と対象物との距離が、予め定めた所定距離以下となるか否かを、前記所定部位及び前記対象物の少なくとも一方に取り付けられた近接を検知するセンサにより近接が検知されたか否かにより判定するか、又は視線センサにより、前記対象物を含む所定範囲内に前記装着者の視線が向けられているか否かを検出することにより判定する付記１２に記載の表示制御装置。
【０１１６】
（付記１５）
前記表示制御部は、前記撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記１３に記載の表示制御装置。
【０１１７】
（付記１６）
前記表示制御部は、前記装着者の視界の所定範囲を撮影する撮影装置により撮影された現実空間の一部を示す画像を、前記仮想空間を示す画像に重畳表示する付記１０〜付記１２及び付記１４のいずれか１項に記載の表示制御装置。
【０１１８】
（付記１７）
前記表示制御部は、前記現実空間の一部として、前記装着者の所定部位を示す画像を、前記仮想空間を示す画像に重畳表示する付記１５又は付記１６に記載の表示制御装置。
【０１１９】
（付記１８）
ステレオカメラを前記第２検出装置及び前記撮影装置として用いる付記１３、及び付記１５〜付記１７のいずれか１項に記載の表示制御装置。
【０１２０】
（付記１９）
現実空間に配置された第１検出装置により、操作の対象となる対象物を示すオブジェクトを含む仮想空間を示す画像が表示される表示装置を検出した検出情報に基づいて、前記表示装置の３次元位置及び姿勢を推定し、
前記表示装置に配置された第２検出装置により、前記対象物を検出した検出情報に基づいて、前記対象物の３次元位置及び姿勢を推定し、
前記表示装置を装着した装着者の所定部位と前記対象物との位置関係に応じて、前記対象物を示すオブジェクトの描画位置を、推定された前記表示装置の３次元位置及び姿勢に対応した位置とするか、又は推定された前記対象物の３次元位置及び姿勢に対応した位置とするかを判定し、
判定結果が示す位置に前記オブジェクトを描画した仮想空間を示す画像を前記表示装置に表示するよう制御する
ことを含む処理をコンピュータが実行する表示制御方法。
【０１２１】
（付記２０）
前記対象物に配置されたマーカを前記第２検出装置により検出し、検出されたマーカの位置及び姿勢に基づいて、前記対象物の３次元位置及び姿勢を推定する付記１に記載の表示制御方法。
【符号の説明】
【０１２２】
１０、２１０  表示制御装置
１２   ＨＭＤ推定部
１４   ＡＲマーカ推定部
１６、２１６  判定部
１８、２１８  表示制御部
２２   オブジェクトＤＢ
２４   操作画面ＤＢ
３１   ＶＲトラッキング装置
３２   ステレオカメラ
３４   ハンドル模型
３５   ＡＲマーカ
４０   装着者
５０   コンピュータ
５１   ＣＰＵ
５２   メモリ
５３   記憶部
５４   入出力装置
５９   記憶媒体
６０、２６０  表示制御プログラム
１００、２００、３００      ＶＲシステム
２３４ タブレット端末
【図１】
2019053603.tif 000003
【図２】
2019053603.tif 000004
【図３】
2019053603.tif 000005
【図４】
2019053603.tif 000006
【図５】
2019053603.tif 000007
【図６】
2019053603.tif 000008
【図７】
2019053603.tif 000009
【図８】
2019053603.tif 000010
【図９】
2019053603.tif 000011
【図１０】
2019053603.tif 000012
【図１１】
2019053603.tif 000013
【図１２】
2019053603.tif 000014
【図１３】
2019053603.tif 000015
【図１４】
2019053603.tif 000016
【図１５】
2019053603.tif 000017