(57)【特許請求の範囲】
【請求項１】
外界の画像からヘッドマウントディスプレイを装着したユーザにとっての障害物を検出する障害物検出部と、
検出された前記障害物を、前記障害物とは異なる、ゲームの仮想空間内における仮想オブジェクトに置換する障害物置換部と、
前記仮想オブジェクトを前記ヘッドマウントディスプレイに表示されるゲームの仮想空間内に合成する仮想オブジェクト合成部とを含み、
前記障害物置換部は、検出された前記障害物を置換するための仮想オブジェクトとして、前記ヘッドマウントディスプレイに表示されるゲームの仮想空間内で意味の連続性をもつオブジェクトであり、前記ゲームの仮想空間内で装着者がゲームを遂行する上で当然に接触を避けることが想定されるオブジェクトを選択することを特徴とする障害物回避装置。
【請求項２】
前記外界の画像は、前記ヘッドマウントディスプレイに搭載されたカメラにより撮影されることを特徴とする請求項１に記載の障害物回避装置。
【請求項３】
前記障害物置換部は、検出された前記障害物が動体である場合、検出された前記障害物を置換するための仮想オブジェクトとして、前記ヘッドマウントディスプレイに表示される仮想空間内で移動するオブジェクトを選択することを特徴とする請求項１または２に記載の障害物回避装置。
【請求項４】
検出された前記障害物から前記ヘッドマウントディスプレイの装着者までの距離を計算する距離計算部をさらに備え、
前記仮想オブジェクト合成部は、前記仮想オブジェクトを、前記障害物から前記ヘッドマウントディスプレイの装着者までの距離に応じた仮想空間内の位置に表示することを特徴とする請求項１から３のいずれかに記載の障害物回避装置。
【請求項５】
前記距離計算部により計算された障害物までの距離が所定の閾値未満になった場合に、装着者に警告を発する警告部をさらに備えることを特徴とする請求項４に記載の障害物回避装置。
【請求項６】
外界の画像からヘッドマウントディスプレイを装着したユーザにとっての障害物を検出する障害物検出ステップと、
検出された前記障害物を、前記障害物とは異なる、ゲームの仮想空間内における仮想オブジェクトに置換する障害物置換ステップと、
前記仮想オブジェクトを前記ヘッドマウントディスプレイに表示されるゲームの仮想空間内に合成する仮想空間合成ステップとを含み、
前記障害物置換ステップは、検出された前記障害物を置換するための仮想オブジェクトとして、前記ヘッドマウントディスプレイに表示されるゲームの仮想空間内で意味の連続性をもつオブジェクトであり、前記ゲームの仮想空間内で装着者がゲームを遂行する上で当然に接触を避けることが想定されるオブジェクトを選択することを特徴とする障害物回避方法。
【請求項７】
外界の画像からヘッドマウントディスプレイを装着したユーザにとっての障害物を検出する障害物検出ステップと、
検出された前記障害物を、前記障害物とは異なる、ゲームの仮想空間内における仮想オブジェクトに置換する障害物置換ステップと、
前記仮想オブジェクトを前記ヘッドマウントディスプレイに表示されるゲームの仮想空間内に合成する仮想空間合成ステップとをコンピュータに実行させ、
前記障害物置換ステップは、検出された前記障害物を置換するための仮想オブジェクトとして、前記ヘッドマウントディスプレイに表示されるゲームの仮想空間内で意味の連続性をもつオブジェクトであり、前記ゲームの仮想空間内で装着者がゲームを遂行する上で当然に接触を避けることが想定されるオブジェクトを選択することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ヘッドマウントディスプレイ装着時の障害物回避装置および方法に関する。
【背景技術】
【０００２】
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、ヘッドマウントディスプレイを装着した状態ではユーザは外界を見ることができないため、ゲームプレイをしながら手を伸ばしたり、体を動かしたりすると、周囲にある障害物に衝突したり、机の上の物を落としたりすることがあった。
【０００４】
本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイ装着時に装着者が障害物に衝突するを回避することのできる障害物回避装置および方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様の障害物回避装置は、外界の画像からヘッドマウントディスプレイを装着したユーザにとっての障害物を検出する障害物検出部と、検出された前記障害物を仮想オブジェクトに置換する障害物置換部と、前記仮想オブジェクトを前記ヘッドマウントディスプレイに表示される仮想空間内に合成する仮想オブジェクト合成部とを含む。
【０００６】
本発明の別の態様は、障害物回避方法である。この方法は、外界の画像からヘッドマウントディスプレイを装着したユーザにとっての障害物を検出する障害物検出ステップと、検出された前記障害物を仮想オブジェクトに置換する障害物置換ステップと、前記仮想オブジェクトを前記ヘッドマウントディスプレイに表示される仮想空間内に合成する仮想空間合成ステップとを含む。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、ヘッドマウントディスプレイ装着時に装着者が障害物に衝突するのを回避することができる。
【図面の簡単な説明】
【０００９】
【図１】ヘッドマウントディスプレイの外観図である。
【図２】ヘッドマウントディスプレイの機能構成図である。
【図３】本実施の形態に係る障害物回避システムの構成図である。
【図４】ヘッドマウントディスプレイを装着するユーザの周辺環境を説明する図である。
【図５】本実施の形態に係る障害物回避装置の機能構成図である。
【図６】図５の障害物回避装置による障害物回避手順を説明するフローチャートである。
【図７】障害物を回避するためにヘッドマウントディスプレイに表示される仮想オブジェクトの例を説明する図である。
【図８】障害物を回避するためにヘッドマウントディスプレイに表示される仮想オブジェクトの別の例を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。
【００１１】
ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
【００１２】
ヘッドマウントディスプレイ１００に内蔵または外付けされたＧＰＳ（Global Positioning System）などの位置センサによりユーザの位置情報を計測することができる。また、ヘッドマウントディスプレイ１００に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ１００を装着したユーザの頭部の向きや傾きといった姿勢情報を計測することができる。
【００１３】
本体部１１０には、ディスプレイ、位置情報取得センサ、姿勢センサ、通信装置などが含まれる。前頭部接触部１２０および側頭部接触部１３０には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが含まれる。
【００１４】
ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。
【００１５】
ここでは、ヘッドマウントディスプレイ１００装着時の障害物回避方法を説明するが、本実施の形態の障害物回避方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
【００１６】
図２は、ヘッドマウントディスプレイ１００の機能構成図である。
【００１７】
制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、タッチパネルおよびタッチパネルコントローラから操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。
【００１８】
通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
【００１９】
記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
【００２０】
ＧＰＳユニット６０は、制御部１０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１０に供給する。無線ユニット６２は、制御部１０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１０に供給する。
【００２１】
姿勢センサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
【００２２】
外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
【００２３】
時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。
【００２４】
カメラユニット９０は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含む。測距センサは、赤外光などを照射して反射光を撮影し、三角測量の原理で被写体までの距離を測定するセンサである。
【００２５】
制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。
【００２６】
図３は、本実施の形態に係る障害物回避システムの構成図である。
【００２７】
複数のユーザのヘッドマウントディスプレイ１００ａ、１００ｂはゲーム機３００ａに無線通信またはＵＳＢなどの周辺機器を接続するインタフェースでゲーム機３００ａに接続される。別のゲーム機３００ｂには一人のユーザのヘッドマウントディスプレイ１００ｃが接続されている。
【００２８】
ゲーム機３００ａ、３００ｂ（総称してゲーム機３００と呼ぶ）およびサーバ２００はネットワーク４００に接続される。ゲーム機３００はネットワーク４００を介してサーバ２００からゲームや映画などのコンテンツの提供を受ける。サーバ２００は、複数のユーザがネットワーク４００を介して参加できるゲームなどのオンラインアプリケーションをゲーム機３００に提供してもよい。
【００２９】
図４は、ヘッドマウントディスプレイ１００を装着するユーザの周辺環境を説明する図である。ユーザはヘッドマウントディスプレイ１００を装着した状態でゲーム機３００のコントローラ３１０を操作する。ゲームアプリケーションによってはコントローラ３１０をもちながら手を動かしたり、体を移動させたりすることがある。ヘッドマウントディスプレイ１００を装着した状態ではユーザは外界を見ることができないため、テーブル５００や椅子５１０などに体がぶつかることがあり、テーブル５００に載っている物を落としたり、体をぶつけて怪我をするなどの危険性がある。
【００３０】
なお、ヘッドマウントディスプレイ１００が映像だけでなく外界も見ることができる透過型ヘッドマウントディスプレイ（シースルー型ヘッドマウントディスプレイともいう）である場合、周囲の様子を見ることもできるが、画面に表示されているものに集中していると、周囲の障害物に意識が十分に向けられないこともあり、同様の問題が生じる。
【００３１】
そこで、本実施の形態では、ユーザの周囲にある現実の障害物を検知して障害物を仮想オブジェクトに置換してヘッドマウントディスプレイ１００の画面に表示することでユーザが自然に障害物を回避できるようにする。
【００３２】
図５は、本実施の形態に係る障害物回避装置６００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
【００３３】
障害物回避装置６００は、ヘッドマウントディスプレイ１００が接続されたゲーム機３００に実装されるが、障害物回避装置６００の少なくとも一部の機能をヘッドマウントディスプレイ１００側の制御部１０に実装してもよい。あるいは、障害物回避装置６００の少なくとも一部の機能をサーバ２００に実装してもよい。
【００３４】
障害物検出部６１０は、ヘッドマウントディスプレイ１００に搭載されたカメラ１４０で撮影された外界の画像から障害物を検出する。障害物の検出には、画像からオブジェクトを抽出する既存のアルゴリズムを用いる。動画を撮影することでオブジェクトの動きを検出し、人や動物などの動きのあるオブジェクトと、机や置物などの静止しているオブジェクトとを区別することができる。ヘッドマウントディスプレイ１００にカメラが搭載されていない場合、ゲーム機３００に接続されたカメラによって外界の画像を撮影して障害物を検出してもよい。また、ヘッドマウントディスプレイ１００に搭載されたカメラ１４０で障害物を検出する場合、ヘッドマウントディスプレイ１００を装着したユーザが正面を見ているだけではユーザの周囲の障害物を検出できないため、ユーザが首を回して周囲を向くように誘導するメッセージをヘッドマウントディスプレイ１００に表示してもよい。
【００３５】
距離計算部６２０は、障害物検出部６１０により検出された障害物からユーザまでの距離を計算する。ユーザから障害物までの距離は、カメラユニット９０に内蔵された測距センサによって測定することができる。
【００３６】
ヘッドマウントディスプレイ１００を装着したユーザが移動すると、ユーザと障害物の位置関係が変化するため、ユーザがヘッドマウントディスプレイ１００を装着中、所定の周期で、障害物検出部６１０は外界の撮影画像から障害物を検出し、距離計算部６２０が障害物までの距離を測定する。
【００３７】
障害物置換部６３０は、障害物検出部６１０により検出された障害物をゲームなどのアプリケーションの仮想空間に表示される仮想オブジェクトに置換する。仮想オブジェクトの大きさは、原則、カメラ１４０によって撮影された障害物の大きさに対応させるが、距離計算部６２０により計算された障害物までの距離に応じて、ユーザに近い物ほど仮想オブジェクトをより大きく表示させてもよい。
【００３８】
仮想オブジェクト合成部６４０は、障害物置換部６３０により障害物から置換された仮想オブジェクトをゲームなどの仮想空間に合成し、ヘッドマウントディスプレイ１００に表示させる。仮想空間表示部６４０は、ヘッドマウントディスプレイ１００に合成された画像を無線で送信するか、ＵＳＢケーブルなどを介して伝送する。
【００３９】
仮想オブジェクト合成部６４０は、仮想オブジェクトを距離計算部６２０により取得された障害物までの距離に応じた仮想空間内の位置に背景画像に重ね合わせることで合成画像を生成してもよい。
【００４０】
仮想オブジェクトは、ユーザが近づくことを避けるような仮想空間内のオブジェクトであり、たとえば、柵、崖、土嚢、箱、進入禁止を示す標識などである。仮想オブジェクトは、仮想空間において意味をなす不自然でないものを選択することが好ましい。このような仮想オブジェクトを仮想空間に配置することにより、ユーザはゲームなどのアプリケーションに没頭しながらも、仮想オブジェクトに対応する現実の障害物に衝突することを自然に回避することができる。
【００４１】
距離計算部６２０は、ユーザと障害物の距離をリアルタイムで計算しており、警告部６５０は、障害物までの距離が所定の閾値未満になった場合に、ヘッドマウントディスプレイ１００から警告音を発したり、ゲーム機３００のコントローラ３１０を振動させるなどして、障害物にそれ以上近づかないように警告する。
【００４２】
図６は、障害物回避装置６００による障害物回避手順を説明するフローチャートである。図７および図８は、障害物を回避するためにヘッドマウントディスプレイ１００に表示される仮想オブジェクトを説明する図である。
【００４３】
ユーザが装着するヘッドマウントディスプレイ１００に搭載されたカメラや距離測定センサによってユーザの周囲の状況を取得する（Ｓ１０）。障害物検出部６１０は、取得した画像データを解析して、障害物を検出する（Ｓ１２）。距離計算部６２０は、距離測定センサにより得られた被写体の奥行き情報を用いてユーザと障害物の距離を計算する（Ｓ１４）。
【００４４】
障害物置換部６３０は、障害物検出部６１０により検出された障害物を置換するための仮想オブジェクトの種類を決定する（Ｓ１６）。仮想オブジェクトは、ヘッドマウントディスプレイ１００に表示されるコンテンツに合った不自然でない物体で、ユーザが衝突を避けようと意識する物体である。仮想オブジェクト合成部６４０は、仮想空間内に仮想オブジェクトを合成して、ヘッドマウントディスプレイ１００に表示させる（Ｓ１８）。
【００４５】
たとえば、図７の例では、ユーザはヘッドマウントディスプレイ１００を装着してコントローラ３１０をライフルとして使用してシューティングゲームをプレイしている。ユーザの体のすぐ前に障害物がある場合、ユーザがコントローラ３１０を前に突き出したり、体を前に進めないように、その障害物を置換する仮想オブジェクトとして柵５２０をゲームの仮想空間内でユーザのライフルのすぐ前に表示する。これにより、ユーザは自然に柵５２０よりも手前でライフルに相当するコントローラ３１０を操作するようになり、柵５２０を超えて、言い換えれば、障害物を越えてコントローラ３１０を操作することを回避することができる。
【００４６】
図８の例では、ユーザはヘッドマウントディスプレイ１００を装着してロールプレイングゲームをプレイしており、コントローラ３１０によってキャラクタを操作しながら、仮想空間内を探索している。ユーザの右前方に障害物がある場合、ユーザが右前方に手を伸ばしたり、体を動かさないように、右前方に進む道には崖崩れ５３０を仮想オブジェクトとして表示し、右前方に進む道の手前には「危険」と表示された仮想的な看板を表示する。
【００４７】
ボーリング、テニス、卓球などのスポーツゲームの場合、障害物の位置に合わせてプレイ範囲を制限したり、ファールの線を設けるようにしてもよい。また、テニスのボールなどが現実の障害物のある位置には来ないようにゲームアプリケーション側でコントロールすることでユーザが障害物に衝突しないようにしてもよい。ボードゲームなどではヘッドマウントディスプレイ１００を装着したユーザ自身がボードゲームの駒（piece）となって移動することがあるが、ユーザが障害物に衝突しないように、ゲームアプリケーション側で現実の障害物のある場所を避けるようにボードゲームのマス（square）を生成してもよい。
【００４８】
障害物が人や動物のように動く物体である場合は、障害物置換部６３０は、障害物を置換するための仮想オブジェクトとしてアバターやロボットなど動くオブジェクトを選択し、仮想オブジェクト合成部６４０は、動くオブジェクトを実際の障害物の動きに合わせて仮想空間内に合成する。
【００４９】
警告部６５０は、ユーザと障害物の距離が閾値未満であるかどうかを判定し（Ｓ２０）、障害物までの距離が閾値未満である場合（Ｓ２０のＹ）、ヘッドマウントディスプレイ１００から発する音、ヘッドマウントディスプレイ１００に表示されるテキスト、コントローラ３１０の振動などにより、ユーザに警告を発する（Ｓ２２）。ゲームの場合、障害物である仮想オブジェクトにキャラクタが近づくと、ゲームにおいて得点が下がったり、キャラクタに危害が及ぶなどのデメリットを与えることで、ユーザの障害物への接近に間接的に警告を与えるようにしてもよい。
【００５０】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
【符号の説明】
【００５１】
１０  制御部、  ２０  入力インタフェース、  ３０  出力インタフェース、  ３２  バックライト、  ４０  通信制御部、  ４２  ネットワークアダプタ、  ４４  アンテナ、  ５０  記憶部、  ６０  ＧＰＳユニット、  ６２  無線ユニット、  ６４  姿勢センサ、  ７０  外部入出力端子インタフェース、  ７２  外部メモリ、  ８０  時計部、  ９０  カメラユニット、  １００  ヘッドマウントディスプレイ、  １１０  本体部、  １２０  前頭部接触部、  １３０  側頭部接触部、  １４０  カメラ、  ２００  サーバ、  ３００  ゲーム機、  ３１０  コントローラ、  ４００  ネットワーク、  ６００  障害物回避装置、  ６１０  障害物検出部、  ６２０  距離計算部、  ６３０  障害物置換部、  ６４０  仮想オブジェクト合成部、  ６５０  警告部。
【図１】
0005580855.tif 000002
【図２】
0005580855.tif 000003
【図３】
0005580855.tif 000004
【図４】
0005580855.tif 000005
【図５】
0005580855.tif 000006
【図６】
0005580855.tif 000007
【図７】
0005580855.tif 000008
【図８】
0005580855.tif 000009