(57)【要約】【課題】遮蔽型のヘッドマウントディスプレイを装着しているユーザに外界の状況を通知する技術を提供する。【解決手段】ユーザに装着されたときにユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイ１００において、外界計測部１４０は、外界の情報を計測する。通知情報検出部１５０は、外界計測部１４０が計測した情報中にユーザに通知すべき通知情報が含まれるか否かを検出する。通知部１６０は、通知情報検出部１５０が通知情報を検出した場合、ユーザに通知する。【選択図】図２
2016090772.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに装着されたときに前記ユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイであって、
外界の情報を計測する外界計測部と、
前記外界計測部が計測した情報に前記ユーザに通知すべき通知情報が含まれるか否かを検出する通知情報検出部と、
前記通知情報検出部が通知情報を検出した場合、前記ユーザに通知する通知部とを備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記外界計測部は、少なくとも２台のカメラを備えるステレオカメラであり、
前記通知情報検出部は、前記ステレオカメラが計測した被写体のうち静止している静止物を通知情報とすることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記通知部は、前記通知情報検出部が静止物を検出した場合において、前記ヘッドマウントディスプレイの位置と前記静止物との距離が所定の基準距離より短くなることを契機として、前記ユーザに通知することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記ヘッドマウントディスプレイの位置を検出する位置計測部をさらに備え、
前記通知部は、前記位置計測部が検出した前記ヘッドマウントディスプレイの位置をもとに、前記ヘッドマウントディスプレイの位置と前記静止物との距離を取得することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
【請求項５】
ユーザに装着されたときに前記ユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイが備えるプロセッサが実行する情報処理方法であって、当該方法は、
外界の情報を計測するステップと、
計測した情報に前記ユーザに通知すべき通知情報が含まれるか否かを検出するステップと、
通知情報を検出した場合、前記ユーザに通知するステップとを含むことを特徴とする情報処理方法。
【請求項６】
ユーザに装着されたときに前記ユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイが備えるプロセッサに、情報通知機能を実現させるプログラムであって、当該情報通知機能は、
外界の情報を計測する機能と、
計測した情報に前記ユーザに通知すべき通知情報が含まれるか否かを検出する機能と、
通知情報を検出した場合、前記ユーザに通知する機能とを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイおよびヘッドマウントディスプレイが実行する情報処理方法に関する。
【背景技術】
【０００２】
近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display）が普及してきている。ヘッドマウントディスプレイは、ユーザに対して奥行き感を持たせた映像を提示することが可能であり、例えば３Ｄ映画や３Ｄゲーム等の３Ｄコンテンツの提示デバイスとして用いられてきている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ヘッドマウントディスプレイは観察者であるユーザの両眼球を覆うようにして装着される。ヘッドマウントディスプレイの中には、ユーザが装着したときにユーザの視野から外界を遮蔽して映像を提示する遮蔽型のヘッドマウントディスプレイが存在する。一般に、このような遮蔽型のヘッドマウントディスプレイを装着した状態では、ユーザは外界の実映像を見ることが難しい。
【０００４】
例えば家庭内等、ユーザが移動できる範囲、ないし遊べる範囲が制限される環境で遮蔽型のヘッドマウントディスプレイが利用されるとき、そのヘッドマウントディスプレイを装着したユーザに対し、移動可能な範囲を提示できると便利である。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、遮蔽型のヘッドマウントディスプレイを装着しているユーザに外界の状況を通知する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様のヘッドマウントディスプレイは、ユーザに装着されたときにユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイである。このヘッドマウントディスプレイは、外界の情報を計測する外界計測部と、外界計測部が計測した情報にユーザに通知すべき通知情報が含まれるか否かを検出する通知情報検出部と、通知情報検出部が通知情報を検出した場合、ユーザに通知する通知部とを備える。
【０００７】
本発明の別の態様は、ユーザに装着されたときにユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイが備えるプロセッサが実行する情報処理方法である。この方法は、外界の情報を計測するステップと、計測した情報にユーザに通知すべき通知情報が含まれるか否かを検出するステップと、通知情報を検出した場合、ユーザに通知するステップとを含む。
【０００８】
本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。
【０００９】
このプログラムは、ビデオやオーディオ、ゲーム機器、ヘッドマウントディスプレイ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、遮蔽型のヘッドマウントディスプレイを装着しているユーザに外界の状況を通知する技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係るヘッドマウントディスプレイの外観構成の概観を模式的に示す図である。
【図２】実施の形態に係るヘッドマウントディスプレイの機能構成を模式的に示す図である。
【図３】実施の形態に係るヘッドマウントディスプレイの利用シーンを模式的に示す図である。
【図４】実施の形態に係るヘッドマウントディスプレイが実行する情報処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、実施の形態に係るヘッドマウントディスプレイ１００の外観構成の概観を模式的に示す図であり、ユーザ１がヘッドマウントディスプレイ１００を装着している様子を示す図である。実施の形態に係るヘッドマウントディスプレイ１００は、遮蔽型のヘッドマウントディスプレイを前提としている。このため図１に示すように、ユーザ１がヘッドマウントディスプレイ１００を装着すると、ヘッドマウントディスプレイ１００はユーザ１の視野から外界を遮蔽する。このため、ユーザ１はヘッドマウントディスプレイ１００が提示するコンテンツの映像に集中することができ、いわゆる「没入感」を高めることができる。
【００１４】
ヘッドマウントディスプレイ１００は、筐体１１０と装着具１２０とを備える。装着具１２０はユーザ１の頭部に筐体１１０を固定するための部材であり、例えば締め付けまたは伸縮自在なベルト等で実現できる。筐体１１０は、図示しないＣＰＵ（Central Processing Unit）や、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）等の動画提示部１３０ａ、スピーカやイヤホン等の音声提示部１３０ｂを内部に収容する。なお、本明細書において、「映像」は、時間的に連続する画像である「動画」と、その動画と同期して、または独立して再生される「音声」とを含む。ヘッドマウントディスプレイ１００はさらに、筐体１１０の外界の情報を計測する外界計測部１４０も備える。外界計測部１４０の詳細は後述する。
【００１５】
図２は、実施の形態に係るヘッドマウントディスプレイ１００の機能構成を模式的に示す図である。ヘッドマウントディスプレイ１００は、情報提示部１３０、外界計測部１４０、通知情報検出部１５０、通知部１６０、位置計測部１７０、制御部１８０、および映像再生部１９０を備える。
【００１６】
図２は、実施の形態に係るヘッドマウントディスプレイ１００がユーザ１に外界の状況を通知することを実現するための機能構成を示しており、その他の構成は省略している。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００１７】
映像再生部１９０は、ユーザ１に提示するコンテンツの映像を再生する。映像再生部１９０は、図示しないメモリカードスロットやＵＳＢ（Universal Serial Bus）を介して、またはWi-Fi（登録商標）等の無線を介して取得したコンテンツを再生する。情報提示部１３０は、上述した動画提示部１３０ａと音声提示部１３０ｂとを含み、映像再生部１９０が再生した映像をユーザ１に提示する。情報提示部１３０は、動画や静止画等の情報を動画提示部１３０ａに提示させ、音声情報を音声提示部１３０ｂに提示させる。情報提示部１３０は、ヘッドマウントディスプレイ１００が生成する情報をユーザ１に提示するユーザインタフェースとして機能する。
【００１８】
外界計測部１４０は、筐体１１０の外界の情報を計測する。外界計測部１４０は、ヘッドマウントディスプレイ１００の筐体１１０の外側であって、動画提示部１３０ａが収容されている位置と対応する位置に備えられている。このため、ユーザ１がヘッドマウントディスプレイ１００を装着したとき、外界計測部１４０は、ユーザ１の視線方向を外界の情報を計測することができる。
【００１９】
外界計測部１４０は、例えば可視光を計測するカメラや、赤外光を計測する赤外カメラを用いて実現できる。なお、外界計測部１４０は、少なくとも２台のカメラを備えるステレオカメラであってもよい。これにより、外界計測部１４０が計測する情報を解析することで、被写体の奥行き情報を取得することができる。
【００２０】
通知情報検出部１５０は、外界計測部１４０が計測した情報の中に、ユーザ１に通知すべき通知情報が含まれるか否かを検出する。「通知すべき情報」とは、ユーザ１が移動可能な範囲を特定するために用いる情報である。より具体的には、外界計測部１４０がステレオカメラである場合には、通知情報検出部１５０は、ステレオカメラである外界計測部１４０が計測した被写体のうち静止している静止物を通知情報として検出する。これは既知の３次元画像解析技術を用いて実現できる。
【００２１】
通知部１６０は、通知情報検出部１５０が通知情報を検出した場合、その旨をユーザ１に通知する。例えば通知部１６０は、外界に静止物が存在しているという通知情報をメッセージの形式で情報提示部１３０に表示させてもよいし、その静止物の映像を映すウィンドウを情報提示部１３０に表示させてもよい。通知部１６０は、外界に静止物が存在しているという通知情報を音声情報の形式で情報提示部１３０に再生させてもよい。あるいはまた、通知部１６０は、外界に静止物が存在することを示す警告音を情報提示部１３０に再生させてもよい。ヘッドマウントディスプレイ１００がバイブレータ（不図示）を備える場合には、振動によってユーザ１に通知してもよい。
【００２２】
位置計測部１７０は、ヘッドマウントディスプレイ１００の存在位置を検出する。より具体的に、位置計測部１７０は、ヘッドマウントディスプレイ１００が存在する空間中におけるヘッドマウントディスプレイ１００の位置を計測する。位置計測部１７０は例えば加速度センサと角速度センサとを含み、ユーザ１によってあらかじめ定められた基準点に対するヘッドマウントディスプレイ１００の相対位置を検出する。
【００２３】
制御部１８０は、上述したヘッドマウントディスプレイ１００の各部を統括的に制御する。制御部１８０は、ヘッドマウントディスプレイ１００が備える図示しないＣＰＵがヘッドマウントディスプレイ１００のオペレーティングシステムを実行することで実現される。
【００２４】
図３は、実施の形態に係るヘッドマウントディスプレイ１００の利用シーンを模式的に示す図である。図３に示す例は、ユーザ１は机２００が存在する部屋の中でヘッドマウントディスプレイ１００を装着している様子を示している。
【００２５】
例えばユーザ１がヘッドマウントディスプレイ１００を装着して３Ｄゲームをプレイする場合を考える。この場合、ユーザ１は図示しないゲーム機のコントローラ等を操作することでゲームを進行させる。ヘッドマウントディスプレイ１００は、ゲームの進行に応じて変化する映像をユーザ１に提示する。
【００２６】
上述したように、実施の形態に係るヘッドマウントディスプレイ１００は遮蔽型のヘッドマウントディスプレイであり、ユーザ１に没入感に富んだ３Ｄ映像を提供する。このため、ヘッドマウントディスプレイ１００が提示する映像からユーザ１が受ける体験はリアルなものである。場合によっては、ユーザ１は自身の頭や体を反射的に動かすといった状況も起こりうる。もし、ユーザが家庭内の一部屋等、比較的小さな空間でヘッドマウントディスプレイ１００を利用している場合には、ユーザ１が移動可能な範囲、すなわち、ユーザ１がヘッドマウントディスプレイ１００を用いてゲームを楽しめる領域が提示できれば、ヘッドマウントディスプレイ１００の使い勝手を向上することができる。
【００２７】
そこで通知部１６０は、通知情報検出部１５０が静止物を検出した場合において、ヘッドマウントディスプレイ１００と静止物との距離が所定の基準距離より短くなることを契機として、ユーザ１に通知するようにしてもよい。
【００２８】
ここで「所定の基準距離」とは、通知部１６０が通知情報をユーザ１に通知するか否かを決定するための基準となる「通知基準距離」である。通知基準距離はヘッドマウントディスプレイ１００が想定する使用態様等を考慮して実験によって定めればよいが、例えば１メートルである。通知部１６０は、静止物とヘッドマウントディスプレイ１００との距離が１メートルより短くなった場合、その旨をユーザに通知する。これにより、ユーザ１は移動可能な範囲の境界に近づいたことを認識することができる。
【００２９】
ユーザ１が、例えば着席してヘッドマウントディスプレイ１００を使用する場合等、ヘッドマウントディスプレイ１００の動きが無視できるような場合には、静止物は、外界計測部１４０が撮影する映像中において動きのない被写体として撮像される。このような場合、通知情報検出部１５０は、外界計測部１４０が計測する映像を解析することによって静止物を特定すればよい。また外界計測部１４０がステレオカメラである場合、通知情報検出部１５０は、外界計測部１４０が計測する映像を解析することによって、静止物までの距離を推定することも可能となる。
【００３０】
これに対し、ユーザ１が立って移動しながらヘッドマウントディスプレイ１００を使用する場合等は、ヘッドマウントディスプレイ１００の動きが無視できない。この場合、外界計測部１４０が計測する映像を解析するだけでは、静止物の特定の精度が低くなりうる。ヘッドマウントディスプレイ１００が動くことにより、静止物であっても外界計測部１４０が計測する映像中においてもその位置が変化するからである。
【００３１】
そこで通知部１６０は、位置計測部１７０が検出したヘッドマウントディスプレイ１００の位置をもとに、ヘッドマウントディスプレイ１００と静止物との距離を取得してもよい。この場合、ユーザ１はヘッドマウントディスプレイ１００を使用する前に、あらかじめ位置計測の基準点を定めておく。図３に示す例では、ユーザ１が机２００中の一点である点Ｐを基準点Ｐとして定めている。
【００３２】
図３に示すように、ユーザ１および机２００が存在する空間中の任意の点を原点として、直交座標系３００を定める。基準点Ｐの位置は、直交座標系３００の位置座標として一位に定めることができる。図３においては、基準点Ｐの座標はＰ（Ｘ１，Ｙ１，Ｚ１）で定められている。ユーザ１は、ヘッドマウントディスプレイ１００を基準点Ｐの位置まで移動させた後、ヘッドマウントディスプレイ１００に計測開始を指示する。これは例えば筐体１１０に取り付けられた図示しない計測開始ボタンを押下することによって実現できる。
【００３３】
位置計測部１７０は加速度センサおよび角速度センサを備える。位置計測部１７０は、ユーザ１から計測開始の指示を受けた後に各センサの出力値を積分することにより、基準点Ｐを基準としたヘッドマウントディスプレイ１００の相対位置を算出することができる。また基準点Ｐの座標Ｐ（Ｘ１，Ｙ１，Ｚ１）と合成することにより、位置計測部１７０は、直交座標系３００におけるヘッドマウントディスプレイ１００の位置座標を取得することもできる。特に、ユーザ１が基準点Ｐを静止物上の点として設定している場合には、基準点Ｐの座標Ｐ（Ｘ１，Ｙ１，Ｚ１）を用いることなく、通知部１６０は静止物とヘッドマウントディスプレイ１００との距離を算出することができる。
【００３４】
ヘッドマウントディスプレイ１００の位置座標、すなわちヘッドマウントディスプレイ１００の動きを取得することにより、通知情報検出部１５０は、外界計測部１４０が計測する被写体が映像中で移動した原因を特定することが可能となる。これにより、通知情報検出部１５０による静止物の抽出精度を向上することができる。また、ステレオカメラである外界計測部１４０が撮影した情報を解析して被写体の奥行き情報を取得する場合と比較して、静止物とヘッドマウントディスプレイ１００との距離を精度よく取得できる。
【００３５】
図４は、実施の形態に係るヘッドマウントディスプレイ１００が実行する情報処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えばヘッドマウントディスプレイ１００の電源が投入されたときに開始する。
【００３６】
外界計測部１４０は、ユーザ１に装着されたときにユーザ１の視線方向にある外界の情報を計測する（Ｓ２）。通知情報検出部１５０の解析によって外界計測部１４０が計測した映像中に静止物が見つからない間（Ｓ４のＮ）、外界計測部１４０は外界の計測を継続する。
【００３７】
外界計測部１４０が計測した映像中に静止物を検出すると（Ｓ４のＹ）、通知情報検出部１５０は、検出した静止物を通知情報として設定する（Ｓ６）。通知部１６０は、位置計測部１７０が検出したヘッドマウントディスプレイ１００の位置をもとに、ヘッドマウントディスプレイ１００からと静止物までの距離Ｌを取得する（Ｓ８）。
【００３８】
ヘッドマウントディスプレイ１００から静止物までの距離Ｌが、所定の基準距離ＬＴ以上の場合（Ｓ１０のＮ）、ステップＳ８に戻って通知部１６０は、距離Ｌの取得を継続する。ヘッドマウントディスプレイ１００からと静止物までの距離Ｌが、所定の基準距離ＬＴより短くなった場合（Ｓ１０のＹ）、通知部１６０は、静止物が近くにある旨を情報提示部１３０を介してユーザに通知する（Ｓ１２）。
【００３９】
ユーザ１がヘッドマウントディスプレイ１００の使用を継続する間（Ｓ１４のＮ）、ステップＳ２に戻ってヘッドマウントディスプレイ１００は上述の一連の処理を継続する。ユーザ１がヘッドマウントディスプレイ１００の使用を終了すると（Ｓ１４のＹ）、本フローチャートにおける処理は終了する。
【００４０】
以上述べたように、実施の形態に係るヘッドマウントディスプレイ１００によれば、遮蔽型のヘッドマウントディスプレイを装着しているユーザ１に外界の状況を通知する技術を提供することができる。
【００４１】
特に、ユーザ１は装着するヘッドマウントディスプレイ１００が外界の静止物に近づいた場合、その旨がヘッドマウントディスプレイ１００の情報提示部１３０に提示される。これにより、ユーザ１は遮蔽型のヘッドマウントディスプレイ１００を装着したままの状態でも、自身が移動可能な範囲の境界に近づいたことを知ることができる。
【００４２】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４３】
上記の説明では、通知情報検出部１５０は、外界計測部１４０が計測する外界の情報中の静止物を通知情報として検出する場合について説明した。これに代えて、あるいはこれに加えて、通知情報検出部１５０は、外界計測部１４０が計測する外界の情報中に所定の速さ以上の移動物を通知情報として検出してもよい。
【００４４】
例えばユーザ１が内開きの扉が備えられた部屋内で実施の形態に係るヘッドマウントディスプレイ１００を使用するような場合、ユーザ１以外の他人によって扉が開けられると、ユーザ１が移動可能な範囲が変更される。すなわち、内開きの扉が開くとその扉は部屋の内部に侵入することになるため、ユーザ１の移動可能な範囲が狭くなる。そこで図示しない通知情報検出部１５０は、外界計測部１４０が計測する外界の情報中の移動物を検出し、その結果をユーザ１に通知する。
【００４５】
これにより、変形例に係るヘッドマウントディスプレイ１００によれば、遮蔽型のヘッドマウントディスプレイを装着しているユーザ１に外界の状況変化を通知することができる。ユーザ１が移動可能な範囲が変化するような場合であっても、適用的にその境界をユーザ１に通知することができる。
【符号の説明】
【００４６】
１００  ヘッドマウントディスプレイ、  １１０  筐体、  １２０  装着具、  １３０  情報提示部、  １３０ａ  動画提示部、  １３０ｂ  音声提示部、  １４０  外界計測部、  １５０  通知情報検出部、  １６０  通知部、  １７０  位置計測部、  １８０  制御部、  １９０  映像再生部、  ２００  机、  ３００  直交座標系。
【図１】
2016090772.tif 000003
【図２】
2016090772.tif 000004
【図３】
2016090772.tif 000005
【図４】
2016090772.tif 000006