(57)【要約】【課題】  複数の表示情報を適切に表示する。【解決手段】  情報処理装置に、ユーザの視点の位置姿勢を取得する取得手段と、複数の仮想物体をそれぞれの表示属性とともに保持する保持手段と、前記複数の仮想物体のうちユーザに表示すべき複数の表示要素を選択する選択手段と、前記ユーザの視点の位置姿勢と前記複数の表示要素のそれぞれの表示属性とに基づいて、当該複数の表示要素を表示の前後関係を制御して表示装置に表示するように制御する制御手段とを備える。【選択図】  図１
2019045998.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視点の位置姿勢を取得する取得手段と、
複数の仮想物体をそれぞれの表示属性とともに保持する保持手段と、
前記複数の仮想物体のうちユーザに表示すべき複数の表示要素を選択する選択手段と、
前記ユーザの視点の位置姿勢と前記複数の表示要素のそれぞれの表示属性とに基づいて、当該複数の表示要素を表示の前後関係を制御して表示装置に表示するように制御する制御手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記複数の仮想物体に対して表示属性を設定する設定手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示属性は番号であり、前記制御手段は該番号の順に表示するように制御することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記制御手段は、特定の仮想物体を固定の位置に表示することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記取得手段は、磁気センサ、赤外光を用いたセンサ、超音波を用いたセンサまたは奥行きセンサを用いて計測された結果に基づいて前記位置姿勢を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
現実空間の画像を撮像する撮像手段をさらに備え、前記制御手段は、前記撮像手段によって撮像された現実空間の画像に、前記仮想空間画像を重畳して表示するように制御することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記表示装置は、光学シースルー型の表示装置であることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記表示装置は、ビデオシースルー型の表示装置であることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記表示装置は、頭部装着型の表示装置であることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
ユーザの視点の位置姿勢を取得する取得工程と、
複数の仮想物体をそれぞれの表示属性とともに保持する保持部から前記複数の仮想物体のうちユーザに表示すべき複数の表示要素を選択する選択工程と、
前記ユーザの視点の位置姿勢と前記複数の表示要素のそれぞれの表示属性とに基づいて、当該複数の表示要素を表示の前後関係を制御して表示装置に表示する表示工程とを備えることを特徴とする情報処理方法。
【請求項１１】
コンピュータを請求項１乃至９のいずれか１項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザに対する情報表示に関するものである。
【背景技術】
【０００２】
近年、現実空間と仮想空間とのつなぎ目のない結合を目的とした、複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ：ＭＲ）システムの研究が盛んに行われている。これらのシステムの提示を行う画像表示装置は、たとえば頭部装着型ディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ：ＨＭＤ）を用いることができる。ＭＲシステム研究の進展に伴い、ＭＲに表示される仮想オブジェクトは多種多様となっている。現実物体を模した仮想オブジェクトだけでなく、例えばユーザの手を表すハンドオブジェクトや、情報を提示するパネルの役割を持つ３Ｄオブジェクトである。特許文献１は、ＨＭＤのように、没入感の高い表示部を用いる場合のユーザの安全確保を目的とした、現実物体との接近を報知する仮想オブジェクトを表示可能とする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７７７７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法は、現実物体との接近警告報知オブジェクトを表示するものであるが、その手前に別の仮想オブジェクトが表示されている場合は、警告報知が遮られてしまいユーザに視認されない可能性がある。このように多数の表示情報が存在する場合、表示順序が定められていないため、ユーザの必要とする表示情報が、他の表示情報に遮られ、ユーザが視認できなくなる課題がある。
【０００５】
本発明は上記課題を鑑みてなされたものであり、複数の表示情報を効率的に表示することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の１態様によれば、情報処理装置に、ユーザの視点の位置姿勢を取得する取得手段と、複数の仮想物体をそれぞれの表示属性とともに保持する保持手段と、前記複数の仮想物体のうちユーザに表示すべき複数の表示要素を選択する選択手段と、前記ユーザの視点の位置姿勢と前記複数の表示要素のそれぞれの表示属性とに基づいて、当該複数の表示要素を表示の前後関係を制御して表示装置に表示するように制御する制御手段とを備える。
【発明の効果】
【０００７】
本発明によれば、ユーザに適切な情報を表示することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るシステムの機能構成例を示すブロック図である。
【図２】情報処理装置のハードウェア構成の例を示す図である。
【図３】表示構成要素の例を示す図である。
【図４】情報処理装置の処理のフローチャートである。
【図５】ユーザへの提示画面構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の好適な実施形態について詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
（第１の実施形態）
図１は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１に示すように、本実施形態に係るシステムは、情報処理装置と、頭部装着型表示装置の一例としてのＨＭＤと、画像表示装置１２００で構成されている。
【００１１】
情報処理装置１０００は、撮像画像取得部１０１０、位置姿勢計測部１０２０、仮想データ保持部１０３０、表示構成要素選択部１０４０、表示構成要素設定部１０５０、表示構成制御部１０６０を備える。情報処理装置１０００は、さらに仮想空間生成部１０７０、複合現実画像生成部１０８０を備える。
【００１２】
ＨＭＤ１１００は、画像撮像部１１１０、画像表示部１１２０とで構成されている。ここで、情報処理装置１０００とＨＭＤ１１００とはデータ通信が可能なように接続されている。情報処理装置１０００とＨＭＤ１１００との間の接続は、有線、無線の何れであっても構わない。
【００１３】
先ず、情報処理装置１０００について説明する。図２は、本実施形態における情報処理装置１０００のハードウェア構成図である。同図において、ＣＰＵ２０１０は、バス２０００を介して接続する各デバイスを統括的に制御する。ＣＰＵ２０１０は、読み出し専用メモリ（ＲＯＭ）２０２０に記憶された処理命令やプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）２０３０に一時記憶され、ＣＰＵ２０１０によって適宜実行される。また、入力Ｉ／Ｆ２０４０は、外部の装置（表示装置や操作装置など）から情報処理装置１０００で処理可能な形式で入力信号を入力する。また、出力Ｉ／Ｆ２０５０は、外部の装置（表示装置など）へ外部の装置が処理可能な形式で出力信号を出力する。
【００１４】
撮像画像取得部１０１０は、画像撮像部１１１０により撮像された現実空間の画像（現実空間画像）を取得し、位置姿勢計測部１０２０、複合現実画像生成部１０８０に入力する。
【００１５】
位置姿勢計測部１０２０は、撮像画像取得部１０１０により取得された現実空間画像を用いて画像処理を行い、画像中の点や線などの特徴的な情報（特徴情報）を抽出する。抽出された特徴情報を予め用意された特徴情報の設定位置と対応付けることで、ユーザの視点の位置姿勢を計測する。さらに位置姿勢が求められたＨＭＤ１１００から観測された位置から、他の現実物体の位置姿勢を求めることもできる。複合現実画像生成部１０８０及び仮想データ保持部１０３０に入力する。本実施形態では画像処理による位置姿勢計測を説明するが、赤外光を用いて位置姿勢を計測しても良いし、超音波を用いて位置姿勢を計測しても良いし、磁気センサを用いて位置姿勢を計測しても良い。更に奥行きセンサを用いて位置姿勢を計測しても良いし、機械的に位置姿勢を計測しても良い。
【００１６】
仮想データ保持部１０４０は、仮想空間を構成する仮想物体に係るデータ（形状情報や位置姿勢情報）や仮想空間中に照射する光源に係るデータなど、仮想空間のデータを保持する。これらのデータは、仮想空間生成部１０７０、表示構成要素選択部１０４０、表示構成制御部１０６０で利用される。
【００１７】
表示構成要素選択部１０４０は、仮想データ保持部１０３０より取得した仮想物体に係るデータから、ユーザに対して表示する表示構成要素を選択し、仮想物体の形状情報及び位置姿勢情報を表示構成要素設定部１０５０に入力する。
【００１８】
図３は、本実施形態において表示を想定している表示構成要素を示しており、それぞれ、ユーザの視界の固定位置に表示される報知オブジェクト３０００、メニューパネル３２００、ハンドモデル３３０１と３ＤＣＧモデル３３０２である。
【００１９】
報知オブジェクト３０００とは、たとえば、複数ユーザ同士の接近や、現実物体との接近及び衝突の危険を報知するオブジェクトを指す。本実施形態では、報知オブジェクト３０００を衝突の危険を報知するオブジェクトとして説明するが、本発明はこれに限定されない。すなわち、長時間使用していた場合の注意喚起であってもよいし、ユーザが最優先に表示すべき情報を設定してもよい。
【００２０】
メニューパネル３２００は、選択した仮想物体に対して行う、たとえば、仮想物体の移動や表示非表示の制御を含むメニューを指す。本実施形態では、メニューパネル３２００と報知オブジェクト３０００を特定のオブジェクトとして、表示位置を視界の固定位置に表示させる場合を説明するが、本発明はこれに限定されない。すなわち、メニューの表示位置を仮想空間中に固定するメニューであってもよいし、ユーザにより表示位置を指定させるメニューであってもよい。更に、表示位置を視界に固定させるか仮想空間中に固定するかを切り替えることの出来るメニューであってもよい。
【００２１】
ハンドモデル３３０１は、位置姿勢計測部１０２０にて取得可能な、ユーザの手をＣＧでマスクしたオブジェクトである。本実施形態におけるハンドモデルは、これに限定されず、たとえば手以外のユーザの身体の一部であってもよい。尚、所定の位置から見えるハンドモデルを生成するための技術については既知の事実であるので、これについての詳細な説明は省略する。
【００２２】
本実施形態において、３ＤＣＧモデル３３０２は３ＤＣＧモデルであるが、本発明はこれに限定されない。すなわち、仮想空間における３Ｄモデル同士の接触部位を表すようなオブジェクトでもよいし、モデル名称を示すテキストであっても構わない。更に、表示位置を視界に固定させるか仮想空間中に固定するかを切り替えることの出来るメニューであってもよい。
【００２３】
表示構成要素設定部１０５０は、表示要素を分類するための表示属性を設定する。本実施形態では報知オブジェクト３０００を属性１、メニューパネル３２００を属性２、ハンドモデル３３０１と３ＤＣＧモデル３３０２を属性３と設定し、設定情報を表示順序決定部に入力する。本発明において、属性の設定は、たとえば事前に決めた設定情報を適用してもよいし、ユーザが決めた設定を適用してもよい。
【００２４】
表示構成制御部１０６０は、表示構成要素設定部１０５０によって設定された属性情報と、仮想データ保持部１０３０から取得した複数オブジェクトの位置情報から、表示構成要素間の前後関係を算出し制御する。本実施形態では属性１から番号の順にユーザの視線方向に対して手前に表示し、同属性のハンドモデルと３ＤＣＧモデルの前後関係は、各モデルの位置姿勢情報に基づき決定する。構成制御情報は仮想空間生成部１０７０に入力する。
【００２５】
仮想空間生成部１０７０は、仮想データ保持部１０３０で保持された仮想データと、表示構成制御部１０６０から取得した構成制御情報に基づき、仮想空間を生成し複合現実画像生成部１０８０に入力する。
【００２６】
複合現実画像生成部１０８０は、仮想空間生成部１０７０で生成された仮想空間と位置姿勢計測部１０２０の計測結果に基づいて仮想空間画像を生成する。更に、仮想空間画像を撮像画像取得部１０１０で取得された現実空間画像に重畳し、複合現実空間の画像（複合現実画像）を生成する。尚、所定の位置から見える仮想空間を生成するための技術については公知であるので、これについての詳細な説明は省略する。その後に、複合現実画像生成部１０８０は、生成した複合現実画像をＨＭＤ１１００の画像表示部１１２０に対して出力する（表示制御）。また、画像表示装置１２００に同時に表示しても良い。ＨＭＤに限ったことではなく表示できる装置であれば良く、タブレット・スマートフォン等の表示端末であっても良い。
【００２７】
これらの各機能部は、ＣＰＵ２０１０が、ＲＯＭ２０２０に格納されたプログラムをＲＡＭ２０３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。例えば、ＣＰＵ２０１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
【００２８】
次に、ＨＭＤ１１００について説明する。ＨＭＤ１１００は、液晶画面などで構成される表示装置で、夫々右目用と左目用とが設けられており、夫々はＨＭＤ１１００を頭部に装着したユーザの右目、左目の眼前に位置するように、ＨＭＤに取り付けられている。また、左右の画面には夫々視差のついた画像がステレオ表示される。
【００２９】
画像撮像部１１１０は、ＨＭＤ１１００に映る現実空間を撮像し、撮像画像を現実空間画像として情報処理装置１０００に入力する。
【００３０】
画像表示部１１２０は、情報処理装置１０００で生成された複合現実画像を表示する。
【００３１】
上記のように、本実施形態においてＨＭＤ１１００は、撮像装置により撮像された画像に基づいて生成された複合現実画像を表示装置に表示するビデオシースルー型のＨＭＤであることとして説明する。しかしながら、ＨＭＤ１１００は、現実空間を透過して観察することが可能な表示媒体に仮想空間画像を重畳して表示する光学シースルー型のＨＭＤを用いてもよい。
【００３２】
図４は、情報処理装置１０００が、複合現実空間画像を生成し、ＨＭＤ１１００または画像表示装置１２００に対して出力するために行う処理のフローチャートである。
【００３３】
先ず、ステップＳ４０００において、位置姿勢計測部１０２０は画像撮像部１１１０から現実空間画像を取得し、画像からＨＭＤ１１００の位置姿勢を計測する。そして、ステップＳ４１００に処理を移す。
【００３４】
ステップＳ４１００において、仮想データ保持部１０３０は位置姿勢計測部１０２０から、複数のオブジェクトの位置姿勢及び形状情報を取得し、ステップＳ４２００に処理を移す。
【００３５】
ステップＳ４２００において、表示構成要素選択部１０４０は、仮想データ保持部１０３０からユーザの位置姿勢情報を取得し、前記位置姿勢情報からユーザに表示するべき構成要素を選択する。例えば、ユーザと現実物体との接近及び衝突の危険を感知した場合は危険報知を構成要素として追加し、ユーザの手の位置情報を取得した場合は、ハンドモデルを構成要素に追加する。そして、ステップＳ４３００に処理を移す。
【００３６】
ステップＳ４３００において、表示構成要素設定部１０５０は、構成要素の属性を設定する。本実施形態では事前に属性が設定済みであるとし、危険報知を属性１、前記メニューパネルを属性２、前記ハンドモデルと３ＤＣＧモデルを属性３と設定する。そして、ステップＳ４４００に処理を移す。
【００３７】
ステップＳ４４００において、表示構成制御部１０６０は、表示構成要素設定部１０５０から構成要素の属性情報を取得し、仮想データ保持部１０３０から複数オブジェクトの位置情報を取得する。さらに、表示構成要素間の前後関係を算出し制御する。そして、ステップＳ４５００に処理を移す。
【００３８】
ステップＳ４５００において、仮想空間生成部１０７０は仮想データ保持部１０３０で保持されている仮想空間に係るデータと、表示構成制御部１０６０において制御された表示構成要素情報を用いて仮想空間を生成する。
【００３９】
ステップＳ４５００において、表示構成制御部１０６０の制御によって表示順序が変わる例を、図５を用いて説明する。図５は、本実施形態に係る表示構成制御部１０６０の制御例を示す図である。
【００４０】
図５（Ａ）は、表示構成要素設定部１０５０によって報知オブジェクト３１００とハンドモデル３３０１が検出されず、メニューパネル３２００と３ＤＣＧモデル３３０２に対し属性が設定された場合の図である。ユーザから見た複数オブジェクトの配置を示している。表示構成要素設定部１０５０によってメニューパネル３２００には属性２が、３ＤＣＧモデル３３０２には属性３が設定されている。このとき、表示構成制御部１０６０によって、属性の１から順にユーザの視線方向に対して手前に表示するように制御される。結果、図５（Ａ）に示すように、ユーザの視線方向に対して手前にメニューパネル３２００が、奥に３ＤＣＧモデル３３０２が表示される。
【００４１】
図５（Ｂ）、（Ｃ）は、表示構成要素設定部１０５０によって報知オブジェクト３１００とメニューパネル３２００が検出されず、ハンドモデル３３０１と３ＤＣＧモデル３３０２に対して属性が設定された場合を示した図である。ユーザから見た複数オブジェクトの配置を示している。表示構成要素設定部１０５０によってハンドモデル３３０１と３ＤＣＧモデル３３０２には属性３が設定されている。同属性の場合、表示構成制御部１０６０によって、仮想空間の奥行情報をもとに表示構成を制御する。仮想空間において、ユーザに対しハンドモデル３３０１の奥行情報が、３ＤＣＧモデル３３０２よりも手前にあった場合、図５（Ｂ）のように、手前にハンドモデル３３０１が表示される。一方、仮想空間において、ユーザに対し３ＤＣＧモデル３３０２の奥行情報が、ハンドモデル３３０１よりも手前にあった場合、図５（Ｃ）のように、手前に３ＤＣＧモデル３３０２が表示される。
【００４２】
図５（Ｄ）は表示構成要素設定部１０５０によって、報知オブジェクト３１００、メニューパネル３２００、ハンドモデル３３０１と３ＤＣＧモデル３３０２に対し属性が設定された場合の、ユーザから見た複数オブジェクトの配置を示した図である。表示構成要素設定部１０５０によって報知オブジェクト３１００には属性１、メニューパネル３２００には属性２、３ＤＣＧモデル３３０２には属性３が設定されている。このとき、表示構成制御部１０６０によって、属性１から順にユーザの視線方向に対して手前に表示するように制御される。このため、図５（Ｃ）に示すように、ユーザの視線方向に対して最も手前に報知オブジェクト３１００が、その奥から順に、メニューパネル３２００、３ＤＣＧモデル３３０２、ハンドモデル３３０１が表示される。
【００４３】
ステップＳ４６００において、複合現実画像生成部１０８０は仮想空間生成部１０７０で生成された仮想空間と位置姿勢計測部１０２０の位置姿勢に基づいて、仮想空間画像を生成する。更に、仮想空間画像を撮像画像取得部１０１０で取得された現実空間画像に重畳し、複合現実画像を生成する。
【００４４】
ステップＳ４７００において、生成した複合現実画像は、ＨＭＤの画像表示部１１２０または画像表示装置１２００に対して出力する。本処理の終了指示が入力されていない場合は、処理をステップＳ４０００に戻す。
【００４５】
（変形例）
上記実施形態では、本発明を撮像画像に仮想空間画像を合成した画像を表示させるＭＲシステムに適用した例を説明した。しかしながら本発明はこれに限定されない。たとえば、本発明は現実モデルのみをレンダリングした画像を表示させるシステムに適用することができる。その場合には、上記実施形態において、仮想空間生成部１０７０は現実モデルのみにより構成された仮想空間を生成すればよい。
【００４６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
１０００  情報処理装置
１０１０  撮像画像取得部
１０２０  位置姿勢計測部
１０３０  仮想データ保持部
１０４０  表示構成要素選択部
１０５０  表示構成要素設定部
１０６０  表示構成制御部
１０７０  仮想空間生成部
１０８０  複合現実画像生成部
１１００  ＨＭＤ
１１１０  画像撮像部
１１２０  画像表示部
１２００  画像表示装置
【図１】
2019045998.tif 000003
【図２】
2019045998.tif 000004
【図３】
2019045998.tif 000005
【図４】
2019045998.tif 000006
【図５】
2019045998.tif 000007