(57)【要約】【課題】移動体に乗っているユーザがＨＭＤを装着して仮想空間画像を視聴しているときに、ユーザの頭部の動きに合わせて仮想空間画像の視界を正しく変化させることができるようにする。【解決手段】ＨＭＤの搭載センサにより検出される第１の動き情報を取得する第１の動き情報取得部１１と、移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得部１２と、第１の動き情報から第２の動き情報を相殺することによってユーザの頭部の動きを検出する頭部動き検出部１４と、当該ユーザの頭部の動きに応じた仮想空間画像を生成してＨＭＤに表示させる画像表示制御部１５とを備え、第１の動き情報の中からユーザの頭部の動き成分だけを検出して仮想空間画像の視界を変化させることにより、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像を表示させることができるようにする。【選択図】図１
2020115274.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが頭部に装着したヘッドマウントディスプレイに搭載されたセンサにより検出される第１の動き情報を取得する第１の動き情報取得部と、
上記ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得部と、
上記第１の動き情報で示される動きから上記第２の動き情報で示される動きを相殺することによって上記ユーザの頭部の動きを検出する頭部動き検出部と、
上記頭部動き検出部により検出された上記ユーザの頭部の動きに応じた仮想空間画像を生成して上記ヘッドマウントディスプレイに表示させる画像表示制御部とを備えたことを特徴とする仮想空間画像表示制御装置。
【請求項２】
上記第２の動き情報取得部は、上記移動体に設置された複数のセンサにより検出される複数の第２の動き情報をそれぞれ取得し、
上記複数の第２の動き情報のうち、上記ユーザから最も近い位置に設置されているセンサから送信された動き情報を検出する最近センサ情報検出部を更に備え、
上記頭部動き検出部は、上記複数の第２の動き情報のうち、上記最近センサ情報検出部により検出された動き情報で示される動きを上記第１の動き情報で示される動きから相殺することによって上記ユーザの頭部の動きを検出することを特徴とする請求項１に記載の仮想空間画像表示制御装置。
【請求項３】
ユーザが頭部に装着したヘッドマウントディスプレイに搭載されたセンサにより検出される第１の動き情報を取得する第１の動き情報取得手段、
上記ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得手段、
上記第１の動き情報で示される動きから上記第２の動き情報で示される動きを相殺することによって上記ユーザの頭部の動きを検出する頭部動き検出手段、および
上記頭部動き検出手段により検出された上記ユーザの頭部の動きに応じた仮想空間画像を生成して上記ヘッドマウントディスプレイに表示させる画像表示制御手段
としてコンピュータを機能させるための仮想空間画像表示制御用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間画像表示制御装置および仮想空間画像表示制御用プログラムに関し、特に、ヘッドマウントディスプレイに仮想現実として表示するための仮想空間画像の表示制御を行う装置に用いて好適なものである。
【背景技術】
【０００２】
近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲの応用例は様々であるが、ユーザがＨＭＤ（ヘッドマウントディスプレイ）を装着して、コンピュータによりＨＭＤに対して３次元画像（仮想空間画像）として描き出された仮想空間の中で自由に行動することにより、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。
【０００３】
一般に、仮想空間画像が表示されるＨＭＤには、加速度センサやジャイロセンサが搭載されており、ＨＭＤを装着したユーザの頭の動きを検出することが可能となっている。コンピュータは、ＨＭＤのセンサにより検出されたユーザの頭の動きに応じて、ＨＭＤの表示上に実現される仮想空間画像の視界が動的に変わるように、仮想空間画像の表示を制御する。これにより、ユーザが正面を向けば、正面の一定範囲（仮想空間の中央に設定された視界）の仮想空間が広がるような仮想空間画像がＨＭＤに表示され、ユーザが正面から右側または左側にｘ度の方向を向けば、正面の視界から右側または左側にｘ度だけ変移した視界の仮想空間が広がるような仮想空間画像がＨＭＤに表示される。
【０００４】
ところで、ＶＲの利用シーンは様々であり、移動車両の中で利用されることもある。従来、移動車両の中でＶＲを利用することを前提として考案された技術が知られている（例えば、特許文献１参照）。特許文献１に記載のコンテンツ視聴装置は、移動体の移動に起因するＶＲ酔いを抑制することを目的としたものであり、乗員が視聴する視聴コンテンツと併せて、車両の挙動に対応する挙動画像をＨＭＤに表示させるようにしている。具体的には、車両の挙動に伴って発生する加速度に応じて形態または位置が変化する挙動画像をＨＭＤに表示させる。これにより、視聴コンテンツ内の動きにかかわらず、挙動の一致感を乗員に対して潜在的に刷り込ませることが可能となり、車両の移動に起因するＶＲ酔いを抑制することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−１５７３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
移動する車両に乗車しているユーザがＨＭＤを装着している場合、ＨＭＤに搭載された加速度センサやジャイロセンサは、ＨＭＤを装着したユーザの頭部の動きに基づく加速度や角速度のみならず、車両の移動（例えば、交差点での右折や左折、カーブ道路の走行など）に基づく加速度や角速度も検出する。そのため、ＨＭＤを装着しているユーザが頭を動かしていないにもかかわらず、ＨＭＤに表示される仮想空間画像の視界が車両の移動に応じて勝手に変わってしまうことがあるという問題があった。また、ユーザが頭を動かしているときでも、その動きに合わない仮想空間画像が表示されてしまうことがあるという問題があった。
【０００７】
本発明は、このような問題を解決するために成されたものであり、移動体に乗っているユーザがＨＭＤを装着して仮想空間画像を視聴しているときに、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像を表示させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために、本発明では、ユーザが頭部に装着したヘッドマウントディスプレイに搭載されたセンサにより検出される第１の動き情報と、ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報とを取得し、第１の動き情報で示される動きから第２の動き情報で示される動きを相殺することによってユーザの頭部の動きを検出した上で、当該ユーザの頭部の動きに応じた仮想空間画像を生成してヘッドマウントディスプレイに表示させるようにしている。
【発明の効果】
【０００９】
上記のように構成した本発明によれば、移動体に乗っているユーザがヘッドマウントディスプレイ（ＨＭＤ）を装着して仮想空間画像を視聴しているときに、ＨＭＤに搭載されたセンサにより検出される第１の動き情報は、ＨＭＤを装着したユーザの頭部の動きだけでなく、移動体の移動に基づく動きも反映されたものとなる。本発明では、この第１の動き情報とは別に、移動体に設置されたセンサにより検出される第２の動き情報が取得され、第１の動き情報で示される動きから第２の動き情報で示される動きが相殺される。第２の動き情報は、移動体の移動に基づく動きのみが反映されたものであるため、上記のような相殺によって、ユーザの頭部の動き成分だけが抽出され、当該ユーザの頭部の動き成分に応じて視界が変化した仮想空間画像がＨＭＤに表示されるようになる。これにより、本発明によれば、移動体に乗っているユーザがＨＭＤを装着して仮想空間画像を視聴しているときに、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像をＨＭＤに表示させることができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態による仮想空間画像表示制御装置の機能構成例を示すブロック図である。
【図２】移動体に設置されるセンサの配置例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による仮想空間画像表示制御装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の仮想空間画像表示制御装置は、例えばヘッドマウントディスプレイ（ＨＭＤ）に内蔵されるものであり、その機能構成として、第１の動き情報取得部１１、第２の動き情報取得部１２、最近センサ情報検出部１３、頭部動き検出部１４および画像表示制御部１５を備えている。また、本実施形態の仮想空間画像表示制御装置には、仮想空間画像の生成に用いる画像データを記憶した画像データ記憶部１０が接続されている。
【００１２】
上記各機能ブロック１１〜１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１５は、実際にはＨＭＤが内蔵するコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【００１３】
第１の動き情報取得部１１は、ユーザが頭部に装着したＨＭＤに搭載されたセンサにより検出される第１の動き情報を取得する。ＨＭＤに搭載されるセンサ（以下、ＨＭＤセンサという）は、例えば加速度センサやジャイロセンサである。これらのＨＭＤセンサとＨＭＤ内蔵のコンピュータとが内部バスにより接続されており、当該コンピュータにより実現される第１の動き情報取得部１１は、ＨＭＤセンサから内部バスを介して加速度情報および角速度情報を第１の動き情報として取得する。なお、第１の動き情報取得部１１は、ＨＭＤセンサにおいて加速度情報および角速度情報から検出されるＨＭＤの姿勢角（ロール角、ピッチ角）および方位角を取得するものとしてもよい。
【００１４】
第２の動き情報取得部１２は、ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する。移動体に搭載されるセンサ（以下、移動体センサという）は、例えば加速度センサやジャイロセンサである。これらの移動体センサとＨＭＤとの間はＷｉ−Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信手段により接続され、ＨＭＤの内蔵コンピュータにより実現される第２の動き情報取得部１２は、移動体センサから無線通信手段を介して加速度情報および角速度情報を第２の動き情報として取得する。なお、第２の動き情報取得部１２は、移動体センサにおいて加速度情報および角速度情報から検出される移動体の姿勢角および方位角を取得するものとしてもよい。
【００１５】
図２は、移動体に設置されるセンサの配置例を示す図である。図２は、移動体の一例として乗合バスを示している。図２に示すように、バスの前方側の左右２箇所と後方側の左右２箇所との合計４箇所に、４つの移動体センサ２０１〜２０４が設置されている。第２の動き情報取得部１２は、バスに設置された複数の移動体センサ２０１〜２０４により検出される複数の第２の動き情報をそれぞれ取得する。ＨＭＤ１００を装着したユーザは、バスの任意の座席に着座することが可能である。ユーザが頭部に装着しているＨＭＤ１００には、ＨＭＤセンサ１０１が搭載されている。
【００１６】
最近センサ情報検出部１３は、第２の動き情報取得部１２により複数の移動体センサ２０１〜２０４から取得される複数の第２の動き情報のうち、移動体（図２のバス）に搭乗したユーザから最も近い位置に設置されている移動体センサから送信された動き情報を検出する。例えば、最近センサ情報検出部１３は、第２の動き情報取得部１２が複数の移動体センサ２０１〜２０４から第２の動き情報を受信する際の電波強度を測定し、受信電波強度が最も強い第２の動き情報を、ユーザから最も近い位置に設置された移動体センサ（以下、最近センサという）から送信された動き情報として検出する。
【００１７】
なお、本実施形態では、４つの移動体センサ２０１〜２０４のうちどれがユーザから最も近いかを具体的に特定することまでは必須でなく、４つの移動体センサ２０１〜２０４から送られてくる第２の動き情報のうち、どれが最も近くの移動体センサから送られてきたものかを少なくとも特定すればよい。
【００１８】
頭部動き検出部１４は、第１の動き情報で示される動きから第２の動き情報で示される動きを相殺することによってユーザの頭部の動きを検出する。ここで、第２の動き情報で示される動きとは、移動体センサ２０１〜２０４により検出される移動体の動きのことである。一方、第１の動き情報で示される動きとは、ユーザが頭部に装着しているＨＭＤ１００に搭載されたＨＭＤセンサ１０１により検出されるＨＭＤ１００の動きであるが、ＨＭＤセンサ１０１は、ユーザの頭の動きだけでなく移動体の動きも含んだ動き情報をＨＭＤ１００の動き情報として検出している。
【００１９】
例えば、ユーザが頭を全く動かしていなくても、移動体が交差点で右左折したりカーブ道路を走行したりすると、その走行に伴う動き情報がＨＭＤセンサ１０１および移動体センサ２０１〜２０４により検出される。この場合、ＨＭＤセンサ１０１により検出される第１の動き情報と、移動体センサ２０１〜２０４により検出される第２の動き情報は、ユーザの着座位置（ＨＭＤセンサ１０１の位置）と移動体センサ２０１〜２０４の設置位置との違いにより多少の違いはあるものの、ほぼ同じ値を示すこととなる。
【００２０】
また、ユーザが頭を動かすと、移動体センサ２０１〜２０４では移動体の走行に伴う動き情報だけが検出される一方、ＨＭＤセンサ１０１では、移動体の走行に伴う動きにユーザの頭の動きを加えた動き情報が検出される。この場合、ＨＭＤセンサ１０１により検出される第１の動き情報と、移動体センサ２０１〜２０４により検出される第２の動き情報は、ユーザの頭の動きに応じた値だけ差分を有するものとなる。
【００２１】
従って、第１の動き情報で示される動き（ユーザの頭部の動きおよび移動体の動きが反映された動き）から第２の動き情報で示される動き（移動体の動き）を相殺することにより、ユーザの頭部の動き成分だけを抽出することが可能である。ここで、頭部動き検出部１４は、複数の移動体センサ２０１〜２０４により検出される複数の第２の動き情報のうち、最近センサ情報検出部１３により検出された動き情報で示される動きを第１の動き情報で示される動きから相殺することによってユーザの頭部の動きを検出する。
【００２２】
移動体の動きを表す動き情報は、移動体の中のどの位置にあるセンサ（ＨＭＤセンサ１０１または移動体センサ２０１〜２０４）で検出するかによって値に差が生じる可能性がある。従って、ＨＭＤセンサ１０１により検出される第１の動き情報で示される動きから移動体センサ２０１〜２０４により検出される第２の動き情報で示される動きを相殺する際に、ＨＭＤセンサ１０１がある位置（ユーザの着座位置）から最も近い位置にある移動体センサにより検出された第２の動き情報を相殺するのが好ましい。
【００２３】
なお、動きの相殺に関する具体的な処理内容としては、任意の公知技術を適用することが可能である。例えば、第１の動き情報および第２の動き情報をそれぞれ３軸の情報に分解し、それぞれの軸情報ごとに、第１の動き情報から第２の動き情報を減算する方法を用いることが可能である。
【００２４】
画像表示制御部１５は、画像データ記憶部１０に記憶されている画像データを用いて、頭部動き検出部１４により検出されたユーザの頭部の動きに応じた仮想空間画像を生成してＨＭＤ１００のディスプレイ１０２に表示させる。これにより、ＨＭＤセンサ１０１により検出される第１の動き情報の中から、移動体の動き成分を排除して成るユーザの頭部の動き成分だけに応じて、視界が正しく変化する仮想空間画像をＨＭＤ１００のディスプレイ１０２に表示させることができる。
【００２５】
なお、上記実施形態では、バスの前後左右の４箇所に４個の移動体センサ２０１〜２０４を設置する例について説明したが、設置位置はこれに限定されない。例えば、前輪の軸中央、バスの重心中央、後輪の軸中央など、バスの前後方向に沿って縦に３つの移動体センサを設置するようにしてもよい。
【００２６】
また、上記実施形態では、４個の移動体センサ２０１〜２０４のうち、ユーザの着座位置から最も近い位置の移動体センサにより検出される第２の動き情報のみを用いて相殺を行う例について説明したが、本発明はこれに限定されない。例えば、４個の移動体センサ２０１〜２０４により検出される４個の第２の動き情報を平均化し、この平均値を用いて相殺を行うようにしてもよい。
【００２７】
また、上記実施形態では、移動体の例として乗合バスを挙げて説明したが、本発明の仮想空間画像表示制御装置を適用可能な移動体はこれに限定されない。例えば、電車、タクシー、飛行機、船などにおいて本発明の仮想空間画像表示制御装置を適用することも可能である。
【００２８】
また、上記実施形態では、ＨＭＤ１００が本実施形態の仮想空間画像表示制御装置を内蔵する構成について説明したが、本発明はこれに限定されない。例えば、ＨＭＤ１００とは別体として可搬型のコンピュータを設け、この可搬型のコンピュータが本実施形態の仮想空間画像表示制御装置を備える構成としてもよい。この場合、ＨＭＤ１００と可搬型のコンピュータとの間を有線または無線で接続し、可搬型のコンピュータからＨＭＤ１００に対して仮想空間画像の表示を制御する。
【００２９】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００３０】
１１  第１の動き情報取得部
１２  第２の動き情報取得部
１３  最近センサ情報検出部
１４  頭部動き検出部
１５  画像表示制御部
１００  ＨＭＤ
１０１  ＨＭＤセンサ
２０１〜２０４  移動体センサ
【図１】
2020115274.tif 000003
【図２】
2020115274.tif 000004