(57)【要約】【課題】本発明は、使用者の視界を妨げることなく、使用者が、現実世界と表示される画像を同時に視覚することを可能とし、使用者の視界の拡張を提供するへッドマウントディスプレイおよびヘッドマウントディスプレイ技術を提供することを目的とする。【解決手段】本発明における一実施形態により提供される、使用者の頭部に装着するHMDとその表示部が、使用者の水平な視線の高さより上部に配置されることにより、現実世界と表示部に表示される画像の両方を同時に存在させ、視線を上げ下げするだけでその両方を視認することを可能とすることにより、人間の視野を拡張することを特徴とする。 【選択図】図４
2020102689.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着する、映像を表示する装置であって、
使用者の頭部に装着する装着部と、
当該装着部と接続し、画像を表示する表示部とを有し、
当該表示部は、前記装置を使用者の頭部に装着した状態において、当該使用者の水平な視線の高さより上部に配置されることを特徴とする装置。
【請求項２】
請求項１に記載の装置であって、さらに、前記装着部と前記表示部とを接続し、当該表示部を可動させる接続部を有する装置。
【請求項３】
請求項２に記載の装置であって、さらに、前記表示部は、前記接続部により、使用者の視線を遮蔽するよう配置される第１の状態から、当該使用者の水平な視線より上部に配置される第２の状態に可動されることを特徴とする装置。
【請求項４】
請求項２に記載の装置であって、さらに、前記接続部は、ヒンジで構成され、当該ヒンジの支点を中心とする回転方向に前記表示部が可動することを特徴とする装置
【請求項５】
請求項２に記載の装置であって、さらに、前記接続部は二段ヒンジで構成され、当該二段ヒンジの各ヒンジの支点を中心とする回転方向に前記表示部が可動することを特徴とする装置。
【請求項６】
請求項２記載の装置であって、さらに、前記表示部に画像を表示する表示制御部を有し、また、前記表示部は、使用者の動作を認識する認識部を有し、当該認識部が認識する使用者の動作又は作業者の作業対象物に基づいて、前記表示制御部は前記表示部に画像を表示することを特徴とする装置。
【請求項７】
請求項１に記載の装置であって、前記装着部はクラウンで構成され、前記表示部はブリムに備えられていることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の視界を妨げることなく、使用者が、現実世界と表示される画像を同時に視覚することを可能とし、使用者の視界の拡張を提供するヘッドマウントディスプレイおよびヘッドマウントディスプレイ技術に関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（以下、Head Mount Display : HMD）は、使用者が、当該HMDを頭部に装着し、視界の先に位置されるHMDの表示部に表示される画像を見る事ができる。従来の、据え置き型のビデオゲームやテレビ画面と異なり、使用者自身に装着する形であるため、使用者がHMDを使用したい場所で使用する事ができる。
【０００３】
また、没入型のＨＭＤは、使用者が、表示部に表示する画像により集中できるよう、使用者の視野を完全に覆う形にすることにより、画像又はゲーム等への没入感を高めることにより、従来の、据え置き型のビデオゲームやテレビ画面以上のエンターテイメント性を高める効果がある。
【０００４】
さらに、片目透過型HMDは、片目の視野に重なる小さな透過型ディスプレイを搭載したHMDであり、視界を完全には塞ぐことなく、目の前の人や現実と向き合ったままハンズフリーで使用できる端末である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第5869712号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記文献に開示される技術により、使用者は、場所にとらわれず、HMDに表示される画像を見ることが可能である。しかしながら、いずれの技術の場合においても、使用者の両目の視界を完全に解放した状態に保つことはできず、没入型HMDの場合は、現実世界と表示画像を同時に見ることはできず、都度 HMDを脱着しなければならない。また脱着が必要なためハンズフリーの状態を保つことができない。さらに、片目透過型HMDは、脱着せずに現実世界と表示画像を同時に見ることができるが、常に、片目で現実世界、もう一つの片目でディスプレイを同時に見ることになり、使用者の目への負担は大きく、また、いわゆる歩きスマホと同様の視野鈍感の危険性がある。
【０００７】
そこで、本発明は、使用者の視野を妨げることなく、また、脱着の必要性なしに、常に現実世界と表示画像を同時に捉えることを可能とする機能の提供を目的とする。
【０００８】
また、本発明は、搭載したセンサやカメラにより使用者の動作を認識し、使用者に必要な情報を表示部に表示できることを別の目的とする。
【課題を解決するための手段】
【０００９】
本発明における一実施形態により提供される、使用者の頭部に装着するHMDとその表示部が、使用者の水平な視線の高さより上部に配置されることにより、現実世界と表示部に表示される画像の両方を同時に存在させ、視線を上げ下げするだけでその両方を視認することを可能とすることにより、人間の視野を拡張することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、使用者の視野を妨げることなく、また、脱着の必要性なしに、常に現実世界と表示画像を同時に捉えることを可能とする機能を提供することができる。
【００１１】
また、本発明によれば、搭載したセンサやカメラにより使用者の動作を認識し、使用者に必要な情報を表示部に表示することを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態にかかるヘッドマウントディスプレイの外観の模式図を示す。
【図２】第１の実施形態にかかるHMDの装着方法についての説明                図を示す。
【図３】第１の実施形態にかかる表示部１３０の配置の説明の図を示す。
【図４】第１の実施形態にかかる接続部１２０の説明の図を示す。
【図５】第１の実施形態にかかる接続部１３０の配置の説明の図を示す。
【図６】第２の実施形態にかかる表示部１３０の機能の説明の図を示す。
【図７】第３の実施形態にかかる表示部１３０の装備方法の説明の図を示す。
【図８】第３の実施形態にかかる表示部１３０の装備方法の説明の図を示す。
【図９】第１の実施形態にかかるＨＭＤ１１０の機能構成図を示す。
【図１０】第１の実施形態にかかる画像生成装置３１０の機能構成図を示す。
【００１３】
＜実施形態１＞
本発明の一実施形態に係るHMDおよび当該HMDを利用した具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１４】
図１は、本実施形態に係るＨＭＤ１００の外観の模式図を示す。ＨＭＤ１００は使用者の頭部に装着部１１０で装着される。使用者の視線の妨げにならないよう、装着部１１０と表示部１３０の接続部１２０により、表示部１３０を水平な視線の高さより角度を上げた位置１０に配置されるよう備える。表示部１３０としては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、視線を妨げる位置に配置する必要のないHMDであり、ディスプレイの透明、不透明に左右されないため、非透過型の表示パネルを例示する。
【００１５】
図２は、本実施形態に係るHMD１００を使用者が装着した状態を示す。使用者の頭部に装着した装着部１１０の先に表示部１３０が備えられ、当該表示部１３０は使用者の視線の先に位置する。
【００１６】
図３は、本実施形態にかかるHMD１００を使用者の視線の妨げにならないよう、表示部１３０を水平な視線の高さより角度を上げた位置１０に配置されるよう備えた図を示す。装着部１２０と表示部１３０を接続する接続部１２０が可動することにより表示部１３０を水平な視線の高さより角度を上げた位置１０に配置させることにより、使用者は両目で常に現実世界を捉えつつ、必要に応じて視線を上方にあげるだけで表示部１３０に表示される画像と確認することができる。
【００１７】
図９は、本実施形態に係る、HMD１００の機能構成図を示す。HMD１００は、センサ１４０およびカメラ１５０を搭載できる。さらに、表示部１３０に表示された画像を共有する他の使用者との通信機能を有するため、音声出入力のためのマイク１７０およびヘッドフォン機能１８０を備える。
【００１８】
さらに、HMD１００は、スマートフォンなどの周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Bluetooth（登録商標）やWiFi（登録商標）等無線による接続を確立するための通信部２００を備えることができる。センサ１４０により取得された情報は、制御部２１０によって、入出力部１９０および／または通信部２００を介して受信され、制御部２１０によって表示部１３０に作業者に必要な情報および画像を出力する。
【００１９】
図１０は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、使用者の作業の手の動きおよび作業対象物の情報を記憶し、所定の計算処理を行い、表示部１３０に、呼応する必要な情報を表示するための機能を有する。例えば、HMD１００がパーソナルコンピューターや、タブレット、スマートフォンなどの周辺機器と、有線接続を確立することができ、そのための入出力部３２０を備えることができ、例えば、赤外線、Bluetooth（登録商標）やWiFi（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０および/または通信部３３０を介して、センサ１４０およびカメラ１５０に受信された、使用者の手の動きまたは作業対象物の情報は、制御部３４０において、検出され、記憶部３５０に格納されたオブジェクト認識部３９０において、認識された使用者の手の動きまたは作業対象物の情報を制御プログラム格納部３８０において制御を行い、作業者の作業に必要な情報を画像として生成するという処理がなされる。
【００２０】
さらに、画像生成装置３１０の制御部３４０は、センサ１４０およびカメラ１５０から受信された、使用者の手の動きまたは作業対象物の情報を検出する入力検出部３６０と、あらかじめ記憶部３５０の制御プログラム格納部３８０および画像格納部４００並びにコンテンツ表示部に格納された使用者の作業に必要な情報に対して、表示部１３０に画像を表示するための画像生成部を有する。
【００２１】
本実施形態にかかるHMD１００を使用者の視線の妨げにならないよう、表示部１３０を水平な視線の高さより角度を上げた位置１０に配置されるよう備えることは、例えば、車のバックミラーを運転者が、車を運転しながら視野の前方を妨げることなく、また、手はハンドルを握ったまま動かさずに、視線を上にずらして見ることにより、自然な視界に捉えることのできない車の後方の画像を確認することができることに似ている。すなわち、使用者が視線の先を妨げることなく、視線を上にずらすだけで、表示部１３０に表示される画像を見ることができる。さらに、表示部１３０は、視線の先に配置していないため、表示部１３０の位置を都度変えることなく、装着部１１０を脱着することなく、いわゆるハンズフリーの状態で、表示部１３０に表示される画像を見ることができる。
【００２２】
さらに、前述のように、いわゆるハンズフリーの状態で、表示部１３０に表示される画像を見ることができることにより、例えば、医療の世界では、手術などの医療行為において、両手がふさがった状態で、バイタルチェックのために計器を確認する際に効果を発揮する。すなわち、両手を医療行為に当てたまま、体や顔を計器の方向に向ける必要もなく、視線を上げるだけで、表示部１３０に映るバイタル等の情報を確認することができる。
【００２３】
さらに、従来技術において、片目透過型HMDがあるが、これは、視界を妨げることなく常に装着できるHMDではあるが、片目の視線の先に常に表示ディスプレイが存在することとなり、いわゆる歩きスマホのような、視覚鈍感の危険性も取りざたされていたが、本発明に於いては、表示部１３０は、常に使用者の視線の先より上方に位置し、現実世界を捉える視線の先を妨げることはないため、安全性も考慮している。
【００２４】
図４は、本実施形態に係るHMD１００の接続部１２０が２段ヒンジとなっている図を示す。ヒンジを２段構えにすることにより、より適切な角度で表示部１３０の画像を見ることができる。
【００２５】
図５は、本実施形態に係るHMD１００が、収納形２０になった時の外観の様式図を示す。表示部１３０が接続部１２０より装着部側に完全に折れ曲がり、コンパクトな形に収納することができる。
【００２６】
＜実施形態２＞
本実施形態においては、HMD１００の表示部１３０にカメラ１５０を搭載し、使用者の動作を認識し、使用者の動作又は使用者の作業対象物３０に関連した、必要な情報を表示部に表示することを提供する。
【００２７】
図６は、第２の実施形態にかかる、HMD１００の表示部１１０に搭載されたカメラ１５０で、使用者が両手４０に作業対象物３０を持った状態で、当該カメラ１５０が当該作業対象物３０または作業者の手４０の動きを認識し、使用者の作業中に必要な情報を表示部１３０に表示する模式図を示す。
【００２８】
カメラ１５０には、センサ１４０を備える。センサ１４０は、使用者の手４０の動きや、作業中の対象物３０を検出するために、例えば、温度センサ、光センサ、磁気センサ、イメージセンサ、音センサのいずれか、またはこれらの組み合わせを備えることができる。
【００２９】
また、センサ１４０に代えて、カメラ１５０は、複数の光源１６０（例えば、赤外光LED、可視光LED）を備えることもでき、当該カメラ１５０が使用者の手や作業中の対象物を検出することで、使用者が作業に必要とする画像または資料等を表示部１３０に表示することができる。
【００３０】
例えば、使用者がプラモデルのようなものを作成する際、通常であれば、作業対象物３０であるプラモデルの部品を両手４０で持って作業をしながら、手順書などを確認しつつ作業を進めていく場合、手順書のページをめくるなどするために、手４０に持っている部品を少なからず片方の手４０から離す必要がある。しかし、HMD１００を装着しての作業であれば、センサ１４０またはカメラ１５０が、使用者の手４０の動きや作業対象物３０であるプラモデルの部品などを検知し、呼応する手順書などのページを表示部１３０に表示することにより、使用者は、作業対象物３０を手４０から離すことなく、視線を表示部に向けるだけで、必要な情報を確認することができる。
【００３１】
さらに、例えば、レシピ、料理本や料理手順のウェブサイト（例えばcookpad（登録商標））（以下併せて、料理手順）を確認しながら料理をする際、手順や使用する食材を確認する都度、料理手順を見に行かなければならない。そのため、料理手順から冷蔵庫、料理手順からまな板、ガスレンジから料理手順と、台所をあちこち動き回らなければならない。また、料理を火にかけながら、次の手順を確認するために、火を離れ、料理手順を確認して戻ると火をかけすぎてしまうこともよくあることである。しかし、HMD１００を装着し、表示部１３０に料理手順を表示させながら料理をするのであれば、料理の持ち場を離れることなく、手順の確認が可能である。また、視線は常に現実世界を捉えられる状態であるため、目の前の調理を目で確認しつつ、手順書が必要な時だけ、視線を上げることにより、情報を得ることができる。
【００３２】
さらに、例えば、新生児を持つ家庭において、新生児を常に監視するのは不可能であるが、一方、常に新生児の状態は気になる。その際、HMD１００を装着していれば、新生児から離れていても、例えば家事をしながら、新生児側に装備しているいわゆるベビーモニターのような装置から送られる情報を表示部１３０に表示することにより、常に、新生児の声や呼吸しや心拍または画像を確認することができる。
【００３３】
さらに、使用者がスマートフォンを操作するようなとき、本実施形態のHMD１００を装着することで、HMD１００の制御部２１０をスマートフォンにより実行されるべき処理の計算処理装置として機能させ、表示部１３０をスマートフォンの表示部として機能させることができる。また、スマートフォンの画面を疑似的に表示部１３０に表示させながら、使用者は現実世界でスマートフォンを操作し、操作結果を表示部１３０に表示できる。このため、操作性に優れ、かつ、表示結果は、使用者が任意の（または、安全が確保できる）タイミングで確認できる、スマートフォンの操作方法を提供することができる。
【００３４】
＜実施形態３＞
本実施形態においては、  HMD の装着部１３０がクラウン５０で構成され、表示部をブリム６０に装着することにより、更にコンパクトに変形させた本発明を提供する。
【００３５】
図７および図８は、第３の実施形態にかかる、使用者が被る各種帽子のブリム６０の部分に、表示部１３０を装備させる図を示す。装着部が、使用者の保有する帽子であるため、外見においてもさらにスタイリッシュでコンパクトである。さらに、かぶった帽子のブリム６０に表示部１３０を装備させるだけであるため、特別なものを装着する必要がない。
【符号の説明】
【００３６】
１０    表示部１３０を水平な視線の高さより角度を上げた位置
２０    収納形
３０    作業対象物
４０    使用者の手
５０    クラウン
６０    ブリム
１００  ヘッドマウントディスプレイ（HMD）
１１０   装着部  
１２０  接続部
１３０  表示部
１４０  センサ
１５０  カメラ
１６０  LED
１７０  マイク
１８０  ヘッドフォン
１９０  入出力部
２００  通信部
２１０  制御部
３１０  画像生成装置
３２０  入出力部
３３０  通信部
３４０  制御部
３５０  記憶部
３６０  入力検出部
３７０   画像生成部
３８０  制御プログラム格納部
３９０  オブジェクト認識部
４００  画像格納部
４１０  コンテンツ表示部
【図１】
2020102689.tif 000003
【図２】
2020102689.tif 000004
【図３】
2020102689.tif 000005
【図４】
2020102689.tif 000006
【図５】
2020102689.tif 000007
【図６】
2020102689.tif 000008
【図７】
2020102689.tif 000009
【図８】
2020102689.tif 000010
【図９】
2020102689.tif 000011
【図１０】
2020102689.tif 000012