(57)【要約】  ユーザ３のゼスチャー動作で操作を行うヘッドマウントディスプレイ（ＨＭＤ）１は、ゼスチャー操作を検出する距離画像取得手段１０６と、ＨＭＤ１の位置情報を取得する位置情報取得手段１０３と、他のＨＭＤ１’と通信を行う通信手段２と、を備える。制御部２０５は、ユーザ３のゼスチャー操作が有効となる操作空間６００を設定して表示するとともに、通信手段２により、他のＨＭＤ１との間でそれぞれの位置情報と操作空間の情報を交換し、互いの操作空間６００，６００’が重複しないよう自機ＨＭＤの操作空間を調整する。あるいは、距離画像取得手段１０６で近隣の人４を検出した場合、検出した人の存在位置と操作空間６００とが重ならないように操作空間を調整する。
2019038875.tif 000002
【特許請求の範囲】
【請求項１】
複合現実の画像を表示し、ユーザのゼスチャー動作により操作が可能なヘッドマウントディスプレイにおいて、
画像を投影する画像投影部と、
前記画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、
距離画像を取得してユーザのゼスチャー操作を検出する距離画像取得手段と、
前記ヘッドマウントディスプレイ（以下、自機ＨＭＤ）の位置情報を取得する位置情報取得手段と、
スマートフォンまたは内蔵された無線通信手段を経由して、外部端末と通信を行う通信手段と、
前記距離画像取得手段で検出したユーザのゼスチャー操作に基づき、前記画像投影部による画像の投影動作を制御する制御部を備え、
前記制御部は、
ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、
前記通信手段により他のヘッドマウントディスプレイ（以下、他機ＨＭＤ）と通信して、自機ＨＭＤと他機ＨＭＤのそれぞれの位置情報と操作空間の情報を交換し、
自機ＨＭＤの操作空間と他機ＨＭＤの操作空間とが重複しないよう、自機ＨＭＤの操作空間を調整することを特徴とするヘッドマウントディスプレイ。
【請求項２】
請求項１に記載のヘッドマウントディスプレイにおいて、
前記制御部は、自機ＨＭＤの操作空間と他機ＨＭＤの操作空間とが重複する場合、自機ＨＭＤの操作空間の位置を移動する、サイズを縮小する、形状を変形する、のいずれか、またはこれらを組み合わせることで調整することを特徴とするヘッドマウントディスプレイ。
【請求項３】
請求項２に記載のヘッドマウントディスプレイにおいて、
前記制御部は、ユーザが前記画像投影部による表示画像の選択、表示開始、表示終了の操作を行うために、操作用オブジェクトを設定して複合現実オブジェクトとして表示するとともに、
自機ＨＭＤの操作空間を調整した場合、前記操作用オブジェクトが調整後の前記操作空間内に収まるように、位置を移動またはサイズを縮小して表示することを特徴とするヘッドマウントディスプレイ。
【請求項４】
複合現実の画像を表示し、ユーザのゼスチャー動作により操作が可能なヘッドマウントディスプレイにおいて、
画像を投影する画像投影部と、
前記画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、
距離画像を取得して、ユーザのゼスチャー操作や近隣の人や物体を検出する距離画像取得手段と、
前記距離画像取得手段で検出したユーザのゼスチャー操作に基づき、前記画像投影部による画像の投影動作を制御する制御部を備え、
前記制御部は、
ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、
前記距離画像取得手段により検出した人や物体が前記操作空間内に存在する場合、
検出した人や物体の存在位置と前記操作空間とが重ならないように、前記操作空間を調整することを特徴とするヘッドマウントディスプレイ。
【請求項５】
請求項４に記載のヘッドマウントディスプレイにおいて、
前記制御部は、検出した人や物体が前記操作空間内に存在する場合、前記操作空間の位置を移動する、サイズを縮小する、形状を変形する、のいずれか、またはこれらを組み合わせることで調整することを特徴とするヘッドマウントディスプレイ。
【請求項６】
請求項５に記載のヘッドマウントディスプレイにおいて、
前記制御部は、ユーザが前記画像投影部による表示画像の選択、表示開始、表示終了の操作を行うために、操作用オブジェクトを設定して複合現実オブジェクトとして表示するとともに、
前記操作空間を調整した場合、前記操作用オブジェクトが調整後の前記操作空間内に収まるように、位置を移動またはサイズを縮小して表示することを特徴とするヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実の画像を表示し、ユーザのゼスチャー動作により操作可能なヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
近年、メガネやゴーグルの形状で、透明度の高いレンズに相当する部分に複合現実の画像を投影することで、現実の空間に複合現実のオブジェクトを重ねて表示し、複合現実オブジェクトが実際に存在するかのように見ることができるヘッドマウントディスプレイ（以降、ＨＭＤと表記する）が開発されている。特許文献１には、複合現実環境において共有仮想オブジェクトおよびプライベート仮想オブジェクトを表示するシステムが記載されている。【０００３】
また、ＨＭＤによるコンテンツ視聴開始やコンテンツ選択などの操作を行うため、ユーザの手の動きにより操作を行うゼスチャーユーザインターフェース（ゼスチャーＵＩ）がある。ゼスチャーＵＩは、操作用の機器を手に持つことなくＨＭＤの操作が可能であり利便性が高い。しかし、ゼスチャーＵＩでは身体の動きを伴うため、別のＨＭＤを操作するユーザがすぐ近くにいるような状況では、ゼスチャー操作のためにユーザ同士の身体と衝突する恐れがある。このような衝突を回避するため、特許文献２には、ＨＭＤに自機器の位置を特定するための機器情報通知部（マーカー）を備え、これをカメラで撮影してマーカーの距離や方向を検出し、ＨＭＤ同士のゼスチャー操作空間が重複しないように、ＨＭＤの操作空間を調整することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１６−５２５７４１号公報
【特許文献２】特開２０１２−１０８５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、ゼスチャー操作による他人との衝突回避については考慮されていない。また特許文献２では、ＨＭＤを使用していない人との衝突回避については考慮されていない。特許文献２に記載の方法を採用した場合でも、他のユーザのＨＭＤが反対方向を向いていたり途中に遮蔽物が存在したりすると、ＨＭＤに備えたマーカーをカメラで検出できない場合がある。その場合は、他のユーザのＨＭＤの距離や方向を知ることができず、衝突する可能性がある。また、ゼスチャー操作空間の調整は自機器のみで行っているため、互いの操作空間を遠ざけようとして、ユーザに対する操作空間が狭すぎるように調整されることがあり、使い勝手が悪くなる。【０００６】
本発明の目的は、ＨＭＤを使用しているユーザ同士だけでなく、ＨＭＤを使用していない人との間でゼスチャー操作による身体の衝突を回避し、ユーザにとって使い易い操作空間を有するＨＭＤを提供することである。
【課題を解決するための手段】
【０００７】
本発明のヘッドマウントディスプレイは、画像を投影する画像投影部と、画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、距離画像を取得してユーザのゼスチャー操作を検出する距離画像取得手段と、ヘッドマウントディスプレイ（自機ＨＭＤ）の位置情報を取得する位置情報取得手段と、外部端末と通信を行う通信手段と、距離画像取得手段で検出したユーザのゼスチャー操作に基づき、画像投影部による画像の投影動作を制御する制御部を備える。前記制御部は、ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、通信手段により他のヘッドマウントディスプレイ（他機ＨＭＤ）と通信して、自機ＨＭＤと他機ＨＭＤのそれぞれの位置情報と操作空間の情報を交換し、自機ＨＭＤの操作空間と他機ＨＭＤの操作空間とが重複しないよう、自機ＨＭＤの操作空間を調整する。【０００８】
また本発明のヘッドマウントディスプレイは、画像を投影する画像投影部と、画像投影部から投影された画像を周囲の空間に重ねて複合現実オブジェクトとして表示するシースルーレンズと、距離画像を取得して、ユーザのゼスチャー操作や近隣の人や物体を検出する距離画像取得手段と、距離画像取得手段で検出したユーザのゼスチャー操作に基づき、画像投影部による画像の投影動作を制御する制御部を備える。前記制御部は、ユーザの行うゼスチャー操作が有効となる操作空間を設定して複合現実オブジェクトとして表示するとともに、距離画像取得手段により検出した人や物体が前記操作空間内に存在する場合、検出した人や物体の存在位置と操作空間とが重ならないように、操作空間を調整する。
【発明の効果】
【０００９】
本発明によれば、ＨＭＤを使用しているユーザ同士だけでなく、ＨＭＤを使用していない人との間でゼスチャー操作による身体の衝突を回避し、ユーザにとって使い易い操作空間を有するＨＭＤを提供できる。
【図面の簡単な説明】
【００１０】
【図１】ＨＭＤの外観構成を示す図（実施例１）。
【図２】ＨＭＤのシステム構成を示す図。
【図３】ＨＭＤの位置情報取得機能を説明する図。
【図４】ＨＭＤにより複合現実オブジェクトを表示する状態を示す図。
【図５】ＨＭＤに対するユーザによる様々な操作方法を説明する図。
【図６】ＨＭＤユーザに対し表示される操作用オブジェクトの例を示す図。
【図７】ユーザがゼスチャー操作を行いコンテンツを視聴する状態を示す図。
【図８】２人のＨＭＤユーザが並んでＨＭＤを使用している状態を示す図。
【図９】衝突を回避するためにゼスチャー操作空間を移動する場合を示す図。
【図１０】衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図。
【図１１】ゼスチャー操作からスマートフォンの操作に切り替えた場合を示す図。
【図１２】２人のＨＭＤユーザが近接している場合の操作空間の調整方法を示すフローチャート。
【図１３】１人のＨＭＤユーザがＨＭＤを使用している状態を示す図（実施例２）。
【図１４】衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図。
【図１５】衝突を回避するためにオブジェクトの一部を非表示にする場合を示す図。
【図１６】操作空間の縮小によりオブジェクトの表示位置を変更する場合のフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面を用いて説明する。
【実施例１】
【００１２】
実施例１では、複数のＨＭＤユーザが近くにいる場合に、ゼスチャー操作によりユーザ同士の身体が衝突することを回避することについて説明する。【００１３】
図１は、本実施例に係るＨＭＤ（ヘッドマウントディスプレイ）の外観構成を示す図である。ＨＭＤ１は、制御部、メモリ、ストレージなどを格納したシステム格納部１０１ａ，１０１ｂと、カメラ１０２ａ，１０２ｂと、位置情報電波受信部（位置情報取得手段）１０３ａ，１０３ｂと、複合現実オブジェクトの画像を投影する画像投影部１０４ａ，１０４ｂと、投影された複合現実オブジェクトを周囲の空間に重ねて映すシースルーレンズ１０５ａ，１０５ｂと、距離画像を取得する距離画像取得手段１０６を有する。【００１４】
ここでは、２つの画像投影部１０４ａ，１０４ｂにより左右のシースルーレンズ１０５ａに左右の画像を表示する両眼式ＨＭＤについて示すが、１つの画像を表示する単眼式ＨＭＤであってもよい。【００１５】
位置情報電波受信部１０３ａ，１０３ｂは、後述するビーコンから電波信号を受け、ＨＭＤ１の位置を取得する。距離画像取得手段１０６は、ユーザの手の動作（ゼスチャー操作）を検出する。また、ＨＭＤ１の前方に存在する人や物体を検出し、それらの距離や方向を計測する。距離画像取得手段１０６の具体例として、光の飛行時間から距離を計測するＴＯＦ（Time Of Flight）カメラを利用できる。【００１６】
またＨＭＤ１は、第５世代移動通信の仕様で定義される端末間通信機能を有するスマートフォン２と、通信ケーブル２０で接続されている。なお、通信ケーブル２０の代わりに、ＷｉＦｉやＢｌｕｅＴｏｏｔｈなどの無線通信を利用してもよい。さらに、システム格納部１０１ａ，１０１ｂが、第５世代移動通信の仕様で定義された通信機能を内蔵していれば、外部のスマートフォン２との通信を必要としない。【００１７】
図２は、図１に示したＨＭＤのシステム構成を示す図である。ＨＭＤ１のシステム格納部１０１ａ，１０１ｂには、実行中の各種プログラム機能部を格納するメモリ２０１と、各種データ、プログラム、コンテンツなどを格納するストレージ２０２と、プログラムの実行を行う制御部２０５と、スマートフォン２と通信を行うスマートフォン通信部２０６を有し、これらはバス２０３で接続されている。さらに入力手段２０４として、入力ボタンやＨＭＤフレームへの指先のタッチセンサ、ＨＭＤフレームの振動などによる入力部を備える。【００１８】
制御部２０５は、距離画像取得手段１０６や入力手段２０４、スマートフォン２を介してユーザの操作を受け付け、画像投影部１０４ａ，１０４ｂによる画像（コンテンツ画像）の表示動作を制御する。また制御部２０５は、距離画像取得手段１０６やスマートフォン２により他人（他のＨＭＤ）が近くにいることを検出して、ユーザ同士の身体が衝突することを回避するために、ゼスチャー操作のための操作空間を調整する。【００１９】
図３は、ＨＭＤの位置情報取得機能を説明する図である。ＨＭＤ１は、室内に備えた位置情報取得用のビーコン５ａ、５ｂによりＨＭＤ１の位置情報を取得することができる。位置情報取得用のビーコン５ａ、５ｂは、例えばｉＢｅａｃｏｎ（登録商標）のように、Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙのような無線技術を用いて各ビーコンの識別番号を送信している。なお、Ｂｌｕｅｔｏｏｔｈ（登録商標）を利用したビーコン装置については、特開２０１０−１３０６６１号公報等に記載されている。【００２０】
ＨＭＤ１の位置情報電波受信部（位置情報取得手段）１０３ａ，１０３ｂは、ビーコン５ａ，５ｂからの電波を受信し、電波の強さを計測することで２つのビーコン５ａ，５ｂからの距離を知ることができる。そのときＨＭＤ１は、２つの位置情報電波受信部１０３ａ，１０３ｂで電波を受信し、その差分強度から、ＨＭＤ１がビーコン５ａ，５ｂから見て、どちらの方向に傾いているかを知ることができる。すなわち、２つのビーコン５ａ，５ｂを基準としたＨＭＤ１の位置情報と、ＨＭＤ１を使用しているユーザ３の方向の情報を取得することができる。【００２１】
さらに、同じ室内で他のユーザ３’が他のＨＭＤ１’を使用している場合は、ビーコン５ａ，５ｂを基準とした他のＨＭＤ１’の位置情報と、ＨＭＤ１’を使用しているユーザ３’の方向の情報を取得することができる。ユーザ３とユーザ３’は、それぞれが取得したＨＭＤの位置情報と方向の情報とを、第５世代移動通信の近距離端末間通信（スマートフォン２，２’）を用いて情報交換することができる。【００２２】
図４は、ＨＭＤにより複合現実オブジェクトを表示する状態を示す図で、ＨＭＤ１を左側から見た状態である。画像投影部１０４ｂから投影された複合現実オブジェクト３００は、シースルーレンズ１０５ｂに表示される。これをＨＭＤユーザの目３１から見ると、あたかも複合現実オブジェクト３００が実際の周囲の背景の中でＭＨＤユーザ前方の空間に浮かんでいるように見える。この複合現実オブジェクト３００は、画像コンテンツをはじめ、ゼスチャー操作用オブジェクトや操作空間オブジェクトなど、様々な内容のものが可能である。以下、単に「オブジェクト」とも呼ぶことにする。【００２３】
図５は、ＨＭＤに対するユーザによる様々な操作方法を説明する図である。
（１）ＨＭＤユーザの目３１の前方に、球状のオブジェクト３０１が表示されている。ユーザは、オブジェクト３０１にタッチしたり、横に払ったりするように手３２を動かすゼスチャーを行う。距離画像取得手段１０６は、ユーザの手３２がオブジェクト３０１の位置で、オブジェクト３０１に対するゼスチャーを行ったことを検出する。これによりユーザは、表示するＨＭＤ１で表示するコンテンツの選択や、視聴開始／視聴停止などの操作を行うことができる。【００２４】
（２）ＨＭＤユーザの目３１の前方に、スマートフォンの形状をしたオブジェクト３０２を表示する。ユーザは、オブジェクト３０２に対して実際のスマートフォンを操作するように手３２を動かすゼスチャーを行う。距離画像取得手段１０６は、ユーザの手３２がオブジェクト３０２の位置で、スマートフォンを操作するようなゼスチャーを行ったことを検出する。これによりユーザは、実際のスマートフォンに対する操作と同様に、アプリケーションの起動や停止、アプリケーションのインストールや通信の開始、終了といった操作を行うことができる。【００２５】
（３）ゼスチャー以外の操作として、ＨＭＤ１に接続したスマートフォン２のタッチパネルへ実際に操作する場合である。ＨＭＤユーザの目３１の前方に、スマートフォンの形状をしたオブジェクト３０２とともに、手の形状をしたオブジェクト３０３が表示される。このときオブジェクト３０３は、ユーザのスマートフォン２への実際の操作に連動した動きで表示されるため、ユーザはスマートフォン２に視線を向けることなくＨＭＤへの操作を行うことができる。【００２６】
この他に、図２の入力手段２０４を介し、入力ボタンやタッチセンサにてＨＭＤを操作することもできる。また、ＨＭＤユーザの近傍に、ＨＭＤを使用していない他人４が近づいた場合、距離画像取得手段１０６により他人４の形のシルエットと、他人４までの距離の情報を取得する。これにより、近傍に他人が近づいたことを認識し、近づいた人の、例えば右手４２がＨＭＤユーザの方に差し出されていることを認識することができる。【００２７】
次に、ＨＭＤによる複合現実コンテンツの視聴方法の基本について説明する。
図６は、ＨＭＤユーザに対し表示される操作用オブジェクトの例を示す図である。ＨＭＤ１を装着して座っているユーザ３の周りに、球状をしたゼスチャー操作空間を示すオブジェクト（操作空間オブジェクト）６００が表示される。この操作空間オブジェクト６００は、ユーザ３の行うゼスチャー操作が有効となる空間の範囲を示すもので、この範囲を越えると操作が無効であり、また他人の身体と衝突する恐れがあることを意味する。この操作空間の内部に、視聴したい複合現実コンテンツ（以下、単にコンテンツと呼ぶ）の選択、視聴開始、視聴終了のゼスチャー操作をするためのオブジェクト（操作用オブジェクト）６０１、６０２、６０３が表示される。【００２８】
図７は、ユーザがゼスチャー操作を行いコンテンツを視聴する状態を示す図である。例えば、ユーザ３の手３２が操作用オブジェクト６０１に触れるようなゼスチャーを行うことで、所望のコンテンツを選択する。すると、ユーザ３の前には、対応する複合現実コンテンツ７０１が表示され、視聴を開始することができる。【００２９】
次に、複数のＨＭＤユーザが近くにいる場合に、ゼスチャー操作によりユーザ同士の身体が衝突することを回避することについて説明する。【００３０】
図８は、２人のＨＭＤユーザが並んでＨＭＤを使用している状態を示す図である。ＨＭＤユーザ３，３’の周りには、それぞれのゼスチャー操作空間を示す操作空間オブジェクト６００，６００’を表示している。なお、図面が複雑になるのを避けるため、操作空間オブジェクト６００，６００’は最外周の円（一点鎖線）のみで示している。この場合、それぞれのＨＭＤ１，１’は、ユーザに対し自機のゼスチャー操作空間のみを表示してもよいが、他のユーザのゼスチャー操作空間も合わせて表示することもできる。これは、第５世代移動通信の端末間通信機能（スマートフォン２，２’）により、他のＨＭＤとの間で、ゼスチャー操作空間の位置や大きさの情報を交換することで可能となる。これにより、ユーザ３は自身のオブジェクト６００だけでなく、ユーザ３’に対するオブジェクト６００’も見ることができる。【００３１】
操作空間の中には、コンテンツの選択／視聴開始／視聴終了のゼスチャー操作をするための操作用オブジェクト６０１〜６０３，６０１’〜６０３’が表示されている。なお、図面が複雑になるのを避けるため、視聴中のコンテンツの表示については省略している。【００３２】
ユーザ３，３’が例えば視聴中のコンテンツの視聴を中断しようとして、対応するオブジェクト（ここでは６０１，６０３’）を手３２，３２’で横に払う動作を行う場合がある。２人の距離が近い場合には、互いの手３２，３２’が衝突する恐れがある。【００３３】
図９は、衝突を回避するためにゼスチャー操作空間を移動する場合を示す図である。２人のＨＭＤユーザ３，３’に対するゼスチャー操作空間（オブジェクト６００，６００’）を、互いに離れる方向に移動させることで、互いの操作空間の重複を避けるようにする。また、ゼスチャー操作用のオブジェクト（６０１〜６０３，６０１’〜６０３’）の表示位置を移動させ、互いに他のユーザから遠い側の手３３，３３’を使ってゼスチャー操作を行うように促す。これにより、近接するユーザ３，３’の互いの手が衝突することを回避できる。【００３４】
図１０は、衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図である。２人のＨＭＤユーザ３，３’に対するゼスチャー操作空間（オブジェクト６００，６００’）の大きさを縮小することで、互いのゼスチャー操作空間の重複を避けるようにする。また、ゼスチャー操作のオブジェクト（６０１〜６０３，６０１’〜６０３’）の大きさも、縮小したゼスチャー操作空間内に収まるように縮小し、表示位置を近づける。なお、ゼスチャー操作空間の大きさを縮小する際には、球状空間のまま縮小するだけでなく、操作空間を球状空間の下半分のみに限定したり、操作空間の形状を回転楕円体状に変形したりしてもよい。これにより、近接するユーザ３，３’の互いの手が衝突することを回避できる。【００３５】
上記図９や図１０のように操作空間の移動や縮小を行う場合には、端末間通信機能（スマートフォン２，２’）を介し、ＨＭＤ１，１’の間で互いの操作空間の情報を交換することで操作空間が重複するか否かを判定し、重複を避けるように新たな操作空間を決定する。すなわちＨＭＤ１とＨＭＤ１’は、互いに近くの距離にいることを端末間通信機能により検知することができるので、相手のＨＭＤがどの方向を向いていても、また途中に遮蔽物が存在しても見逃すことはない。また、双方のＨＭＤ１，１’が互いに連携して操作空間を決定するので、調整後の操作空間は狭すぎることがなく最適なサイズに設定することができる。【００３６】
図１１は、ゼスチャー操作からスマートフォンによる操作に切り替えた場合を示す図である。ゼスチャー操作空間の調整を行ってもユーザ３，３’の手が衝突することが避けられない場合には、ＨＭＤ１，１’はユーザ３，３’に対して、操作空間オブジェクト６００，６００’の表示を終了して、ゼスチャーによる操作を受け付けないことを知らせる。そしてユーザ３，３’は、現実のスマートフォン２，２’による操作に切り替える。その場合、ユーザ３，３’の前には、複合現実によるスマートフォン状のオブジェクト６１１，６１１’と、スマートフォンを操作する手状のオブジェクト６１２，６１２’が表示される。そして、現実のスマートフォン２，２’を手３２，３２’で操作すると、操作する手３２，３２’の動きに連動して手状のオブジェクト６１２，６１２’の表示位置が移動する。これにより、ユーザ３，３’は現実のスマートフォン２，２’に視線を向けることなくスマートフォンを操作することができる。これによれば、例えば、スマートフォン２，２’をポケットに入れたまま操作して、コンテンツの選択／視聴開始／視聴終了の操作を行うことができる。【００３７】
図１２は、２人のＨＭＤユーザが近接している場合の操作空間の調整方法を示すフローチャートである。ここでは、図９で説明したゼスチャー操作空間の移動によりオブジェクトの表示位置を変更する場合を示す。なお、このフローはユーザ３がＨＭＤ１を使用している間、制御部２０５により繰り返して実行される。【００３８】
Ｓ８０１：ＨＭＤ１は位置情報電波受信部１０３ａ，１０３ｂにより、自機ＨＭＤ１の位置情報（ＨＭＤ１の向きを含む）を取得する。
Ｓ８０２：ＨＭＤ１はスマートフォン２を介した第５世代移動通信の近距離端末間通信により、近隣のＨＭＤ１’との間で、ＨＭＤの位置情報（向きを含む）と、ゼスチャー操作空間情報（位置とサイズ）を交換する。これにより、近隣のＨＭＤ１’の位置情報と操作空間情報を取得する。【００３９】
Ｓ８０３：近隣のＨＭＤ１’から取得した操作空間の位置とサイズの情報を基に、近隣のＨＭＤ１’と自機ＨＭＤ１の操作空間とが重複しているかを判定する。操作空間が重複しない場合は終了する。操作空間が重複する場合は、Ｓ８０４に進む。【００４０】
Ｓ８０４：自機ＨＭＤ１の操作空間を近隣のＨＭＤ１’の操作空間から離れる方向に移動することで、互いの操作空間が重複しない位置を算出する。
Ｓ８０５：算出した操作空間の位置情報を、近距離端末間通信により近隣のＨＭＤ１’と交換する。その際、近隣のＨＭＤ１’からは、近隣のＨＭＤ１’が算出した操作空間の位置情報を取得する。【００４１】
Ｓ８０６：近隣のＨＭＤ１’から取得した算出後の操作空間の位置情報を基に、自機ＨＭＤ１の算出後の操作空間と重複しているかを判定する。操作空間が重複しない場合はＳ８０７に進む。操作空間が重複する場合は、Ｓ８０４に戻り、再度、互いの操作空間が重複しない位置を算出する。そして、Ｓ８０６の判定で操作空間が重複しなくなるまで繰り返す。【００４２】
Ｓ８０７：算出後の操作空間内に、コンテンツに対してゼスチャー操作をするための操作用オブジェクトの位置を決定して表示する。
Ｓ８０８：操作空間の位置変更に従い、新しいゼスチャー操作空間を示すオブジェクトを表示する。
Ｓ８０９：操作空間の位置変更に従い、距離画像取得手段１０６によりゼスチャー操作を検出する際の、新しい検出領域を設定する。【００４３】
Ｓ８１０：近隣のＨＭＤ１’との間で操作空間が重複しないので、操作空間と操作用オブジェクトの表示位置、ゼスチャー操作の検出領域を初期値に戻す。【００４４】
上記フローチャートでは、衝突を回避するためにゼスチャー操作空間を移動させる場合について示したが、ゼスチャー操作空間を縮小させる場合も同様である。あるいは、両者を組み合わせて調整することも可能である。
また、上記実施例では、２人のＨＭＤユーザが近くにいる場合を想定したが、２人以上複数のＨＭＤユーザが近くにいる場合も同様である。【００４５】
実施例１によれば、複数のＨＭＤユーザが近くにいる場合に、ゼスチャー操作によりユーザ同士の身体が衝突することを回避できる。その際、近くに存在するＨＭＤを確実に検知するとともに、ユーザにとって使い易い操作空間を有するＨＭＤを提供することができる。
【実施例２】
【００４６】
実施例２では、ＨＭＤを使用しているユーザがＨＭＤを使用していない人の身体と衝突することを回避することについて説明する。【００４７】
図１３は、１人のＨＭＤユーザがＨＭＤを使用している状態を示す図である。ユーザ３は、コンテンツ視聴のためにゼスチャー操作を行っている。操作空間オブジェクト６００内には、第１群のコンテンツに対応する操作用オブジェクト６０１〜６０３と、これに並ぶ形で第２群のコンテンツに対する操作用オブジェクト６０４〜６０６が表示されている。例えばユーザ３はオブジェクト６０１に対して手３２でゼスチャー操作を行い、選択したコンテンツ７０１を表示して視聴している状態である。この状態でＨＭＤを使用していない人が近づいた場合を想定する。【００４８】
図１４は、衝突を回避するためにゼスチャー操作空間を縮小する場合を示す図である。ＨＭＤユーザ３の前にＨＭＤを使用していない他人４が近づき、ゼスチャー操作空間（オブジェクト６００）内に入り、オブジェクト６０４〜６０６の表示位置に接近する場合がある。そのとき、ユーザ３がオブジェクト６０４〜６０６に対してゼスチャー操作を行うと、ユーザ３と他人４の身体が衝突することになる。【００４９】
これを回避するため、ＨＭＤ１は、距離画像取得手段１０６の情報から他人４が近づいていることを識別する。そして、ゼスチャー操作空間（オブジェクト６００）の大きさを、衝突しない範囲まで縮小する。また、縮小により操作空間内に収まらなくなった操作用オブジェクト６０４〜６０６は、操作空間内の別の位置に移動する。この例では、視聴しているコンテンツ７０１の右側の位置に移動している。これにより、ユーザ３と他人の身体が衝突することを回避できる。【００５０】
上記例では、衝突を回避するためにゼスチャー操作空間を縮小し操作用オブジェクトを移動する場合を説明したが、ゼスチャー操作空間の移動や、操作用オブジェクトの縮小によっても対応できる。【００５１】
上記のように操作空間の縮小や移動を行う場合には、距離画像取得手段１０６により他人４までの距離や方向を計測し、他人４の位置と操作空間が重ならないように新たな操作空間を決定する。また、衝突を回避するのは人物だけでなく、物体も対象とするのは言うまでもない。【００５２】
図１５は、衝突を回避するためにオブジェクトの一部を非表示にする場合を示す図である。図１４のようにゼスチャー操作空間（オブジェクト６００）を縮小した結果、ゼスチャー操作空間内に収まらないオブジェクトが生じることがある。その場合には、一部のオブジェクト（ここでは６０４〜６０６）を非表示にする。そして、非表示になったオブジェクトに対応する操作は、スマートフォン２など他の操作に切り替える。その場合にはユーザ３に対し、ゼスチャー操作の対象が制限されていることを知らせるようにする。これにより、ユーザ３と他人の身体が衝突することを回避できる。【００５３】
図１６は、ＨＭＤユーザにＨＭＤを使用していない他人が近接している場合の操作空間の調整方法を示すフローチャートである。ここでは、図１４で説明したゼスチャー操作空間の縮小によりオブジェクトの表示位置を変更する場合を示す。なお、このフローはユーザ３がＨＭＤ１を使用している間、制御部２０５により繰り返して実行される。【００５４】
Ｓ９０１：ＨＭＤ１の距離画像取得手段１０６により前方の距離画像を取得する。
Ｓ９０２：取得した距離画像から、ゼスチャー操作空間内に人や物体が存在するかどうかを判定する。操作空間内に人や物体が存在しない場合はＳ９０７に進む。操作空間内に人や物体が存在する場合は、Ｓ９０３に進む。【００５５】
Ｓ９０３：人や物体の存在位置と操作空間とが重ならないように操作空間のサイズを算出する。算出方法では、例えば球状の操作空間の半径を小さくして、人や物体との重なりが生じるかどうかをチェックすることで行う。
Ｓ９０４：算出した操作空間内に、ゼスチャー操作をするための操作用オブジェクトを表示する。その際の表示位置の決定は、距離画像に映っている人や物体からなるべく離れた位置とする。例えば、視聴中のコンテンツの周囲の上下左右の空間を表示位置の候補として覚えておき、候補の中から距離画像に映る人や物体からなるべく離れた位置を選択する。【００５６】
Ｓ９０５：操作空間のサイズ変更に従い、新しいゼスチャー操作空間を示すオブジェクトを表示する。
Ｓ９０６：操作空間のサイズ変更に従い、距離画像取得手段１０６によりゼスチャー操作を検出する際の、新しい検出領域を設定する。これで操作空間の調整を終了する。【００５７】
Ｓ９０７：操作空間内に人や物体が存在しないので、操作空間のサイズ、操作用オブジェクトの表示位置、ゼスチャー操作の検出領域を初期値に戻す。【００５８】
上記フローチャートでは、衝突を回避するためにゼスチャー操作空間を縮小させる場合について示したが、ゼスチャー操作空間を移動させる場合も同様である。あるいは、両者を組み合わせて調整することも可能である。【００５９】
なお、上記実施例ではＨＭＤユーザが座っている場合について述べたが、立っている場合や、歩きながら使用する場合でもよい。特に、歩きながら使用する場合には、ゼスチャー操作空間内に他人が入っていなくても、そのまま歩き続けることで操作空間内に他人が入ることが予想される場合がある。そのときには、警告オブジェクトを表示する、または警告音を発するなどの方法で、ユーザに警告を発するのがよい。また、警告を発する場合には、近づいてくるのが大人か子供かを距離画像取得手段の距離画像から識別して、子供の場合は早めに警告を発するなど、警告を発する際の優先度を設けてもよい。【００６０】
実施例２によれば、ＨＭＤを使用しているユーザが、ゼスチャー操作により、近くにいるＨＭＤを使用していない人の身体と衝突することを回避し、ユーザにとって使い易い操作空間を有するＨＭＤを提供することができる。
【符号の説明】
【００６１】
１，１’：ヘッドマウントディスプレイ（ＨＭＤ）、
２，２’：スマートフォン、
３，３’：ユーザ、
４：他人、
５ａ，５ｂ：位置情報取得用ビーコン、
２０：通信ケーブル、
３２，３２’，３３，３３’：ユーザの手、
１０１ａ，１０１ｂ：システム格納部、
１０２ａ，１０２ｂ：カメラ、
１０３ａ，１０３ｂ：位置情報電波受信部（位置情報取得手段）、
１０４ａ，１０４ｂ：画像投影部、
１０５ａ，１０５ｂ：シースルーレンズ、
１０６：距離画像取得手段、
２０１：メモリ、
２０２：ストレージ、
２０３：バス、
２０４：入力手段、
２０５：制御部、
２０６：スマートフォン通信部、
３００〜３０３：複合現実オブジェクト、
６００，６００’：操作空間オブジェクト、
６０１〜６０６：操作用オブジェクト、
６１１：スマートフォンのオブジェクト、
６１２：ユーザの手のオブジェクト、
７０１：複合現実コンテンツ。
【図１】
2019038875.tif 000003
【図２】
2019038875.tif 000004
【図３】
2019038875.tif 000005
【図４】
2019038875.tif 000006
【図５】
2019038875.tif 000007
【図６】
2019038875.tif 000008
【図７】
2019038875.tif 000009
【図８】
2019038875.tif 000010
【図９】
2019038875.tif 000011
【図１０】
2019038875.tif 000012
【図１１】
2019038875.tif 000013
【図１２】
2019038875.tif 000014
【図１３】
2019038875.tif 000015
【図１４】
2019038875.tif 000016
【図１５】
2019038875.tif 000017
【図１６】
2019038875.tif 000018
【国際調査報告】
2019038875.tif 000019
2019038875.tif 000020