(57)【要約】【課題】車両走行の疑似体験時における臨場感を向上させることが可能な仮想現実システムを提供する。【解決手段】仮想現実システム１００は、ユーザに車両走行を疑似体験させるものであり、車両５０に搭載され、車両５０の走行時に車両５０の周囲を撮像する撮像装置１と、車両５０に搭載され、車両５０の走行時に車両５０の挙動を取得する取得装置２と、撮像装置１により撮像された映像データと、取得装置２により取得された挙動データとを格納するとともに、映像データおよび挙動データを時間同期させるコンピュータ３と、映像データを再生するＨＭＤ４と、挙動データを再生するシート装置５とを備える。【選択図】図１
2020144332.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに車両走行を疑似体験させる仮想現実システムであって、
車両に搭載され、前記車両の走行時に前記車両の周囲を撮像する撮像装置と、
前記車両に搭載され、前記車両の走行時に前記車両の挙動を取得する取得装置と、
前記撮像装置により撮像された映像データと、前記取得装置により取得された挙動データとを格納するとともに、前記映像データおよび前記挙動データを時間同期させるコンピュータと、
前記映像データを再生する第１再生装置と、
前記挙動データを再生する第２再生装置とを備えることを特徴とする仮想現実システム。
【請求項２】
請求項１に記載の仮想現実システムにおいて、
前記取得装置は、前記車両の走行時に前記車両のメータ情報を取得するように構成され、
前記コンピュータは、前記取得装置により取得されたメータ表示用データを格納するとともに、前記メータ表示用データを前記映像データおよび前記挙動データと時間同期させるように構成され、
前記第１再生装置は、前記メータ表示用データを再生可能に構成されていることを特徴とする仮想現実システム。
【請求項３】
請求項１または２に記載の仮想現実システムにおいて、
前記撮像装置は、前記車両の周囲を３６０度の範囲で撮像可能に構成されていることを特徴とする仮想現実システム。
【請求項４】
請求項１〜３のいずれか１つに記載の仮想現実システムにおいて、
前記取得装置は、前記車両の車載ネットワークから前記車両の挙動を取得するように構成されていることを特徴とする仮想現実システム。
【請求項５】
ユーザに車両走行を疑似体験させる仮想現実方法であって、
車両の走行時に、前記車両に搭載された撮像装置により前記車両の周囲を撮像するとともに、前記車両に搭載された取得装置により前記車両の挙動を取得するステップと、
前記撮像装置により撮像された映像データと、前記取得装置により取得された挙動データとをコンピュータに格納するステップと、
前記コンピュータにより前記映像データおよび前記挙動データを時間同期させるステップと、
第１再生装置により前記映像データを再生するとともに、第２再生装置により前記挙動データを再生するステップとを備えることを特徴とする仮想現実方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実システムおよび仮想現実方法に関する。
【背景技術】
【０００２】
従来、車両搭乗状態を疑似体験させるシミュレーション装置が知られている（たとえば、特許文献１参照）。
【０００３】
特許文献１のシミュレーション装置は、車両走行旋回中の運転視界評価を目的として評価者に車両搭乗状態を疑似体験させるように構成されている。このシミュレーション装置は、三次元立体映像を運転視界として評価者に提示するヘッドマウントディスプレイと、車両挙動に基づく運転感覚を評価者に付与するドライビングシミュレータ本体と、走行音などを出力するスピーカとを備えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２７１２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、上記した従来のシミュレーション装置では、車両搭乗状態を疑似体験させることが可能であるが、臨場感を向上させることについて改善の余地がある。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、本発明の目的は、車両走行の疑似体験時における臨場感を向上させることが可能な仮想現実システムおよび仮想現実方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明による仮想現実システムは、ユーザに車両走行を疑似体験させるものであり、車両に搭載され、車両の走行時に車両の周囲を撮像する撮像装置と、車両に搭載され、車両の走行時に車両の挙動を取得する取得装置と、撮像装置により撮像された映像データと、取得装置により取得された挙動データとを格納するとともに、映像データおよび挙動データを時間同期させるコンピュータと、映像データを再生する第１再生装置と、挙動データを再生する第２再生装置とを備える。
【０００８】
このように構成することによって、現実の車両を実際に走行させながら映像および挙動が取得され、その映像データおよび挙動データが再生されることにより、現実に即した映像および挙動が再現されるので、車両走行の疑似体験時における臨場感を向上させることができる。また、映像データおよび挙動データが時間同期されることにより、第１再生装置で再生される映像と、第２再生装置で再生される挙動とがずれないようにすることができる。
【０００９】
上記仮想現実システムにおいて、取得装置は、車両の走行時に車両のメータ情報を取得するように構成され、コンピュータは、取得装置により取得されたメータ表示用データを格納するとともに、メータ表示用データを映像データおよび挙動データと時間同期させるように構成され、第１再生装置は、メータ表示用データを再生可能に構成されていてもよい。
【００１０】
このように構成すれば、メータ表示用データが再生されることにより、ユーザが車両の状態を容易に把握することができる。
【００１１】
上記仮想現実システムにおいて、撮像装置は、車両の周囲を３６０度の範囲で撮像可能に構成されていてもよい。
【００１２】
このように構成すれば、車両の周囲を全て再現可能になり、臨場感をより向上させることができる。
【００１３】
上記仮想現実システムにおいて、取得装置は、車両の車載ネットワークから車両の挙動を取得するように構成されていてもよい。
【００１４】
このように構成すれば、車両の正確な挙動を取得することができるので、臨場感をより向上させることができる。
【００１５】
本発明による仮想現実方法は、ユーザに車両走行を疑似体験させるものであり、車両の走行時に、車両に搭載された撮像装置により車両の周囲を撮像するとともに、車両に搭載された取得装置により車両の挙動を取得するステップと、撮像装置により撮像された映像データと、取得装置により取得された挙動データとをコンピュータに格納するステップと、コンピュータにより映像データおよび挙動データを時間同期させるステップと、第１再生装置により映像データを再生するとともに、第２再生装置により挙動データを再生するステップとを備える。
【００１６】
このように構成することによって、現実の車両を実際に走行させながら映像および挙動が取得され、その映像データおよび挙動データが再生されることにより、現実に即した映像および挙動が再現されるので、車両走行の疑似体験時における臨場感を向上させることができる。また、映像データおよび挙動データが時間同期されることにより、第１再生装置で再生される映像と、第２再生装置で再生される挙動とがずれないようにすることができる。
【発明の効果】
【００１７】
本発明の仮想現実システムおよび仮想現実方法によれば、車両走行の疑似体験時における臨場感を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態による仮想現実システムの概略構成を示したブロック図である。
【図２】図１の仮想現実システムの撮像装置を説明するためのブロック図である。
【図３】図１の仮想現実システムの取得装置を説明するためのブロック図である。
【図４】図１の仮想現実システムのヘッドマウントディスプレイを説明するためのブロック図である。
【図５】図１の仮想現実システムのシート装置を説明するためのブロック図である。
【図６】本実施形態の仮想現実システムにおけるデータ生成時の撮像装置の動作例を説明するためのフローチャートである。
【図７】本実施形態の仮想現実システムにおけるデータ生成時の取得装置の動作例を説明するためのフローチャートである。
【図８】本実施形態の仮想現実システムにおけるデータ再生時の動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施形態を図面に基づいて説明する。
【００２０】
まず、図１〜図５を参照して、本発明の一実施形態による仮想現実システム１００の構成について説明する。
【００２１】
仮想現実システム１００は、ユーザに車両走行を疑似体験させることが可能なように構成されている。この仮想現実システム１００は、図１に示すように、疑似体験時に再生されるデータを生成（収集）するための撮像装置１および取得装置２と、生成されたデータを保管するコンピュータ３と、保管されたデータを再生してユーザに疑似体験させるヘッドマウントディスプレイ（以下、「ＨＭＤ」という）４およびシート装置５とを備えている。撮像装置１、取得装置２、コンピュータ３、ＨＭＤ４およびシート装置５は、ネットワーク１５０を介して接続されている。
【００２２】
［撮像装置］
撮像装置１は、ユーザに疑似体験させる車両走行が行われる車両５０に搭載され、その車両５０の走行時に車両５０の周囲を撮像するように構成されている。撮像装置１は、図２に示すように、撮像部１ａと、マイク１ｂと、制御部１ｃと、通信部１ｄとを含んでいる。
【００２３】
撮像部１ａは、車両５０の周囲を３６０度の範囲で撮像可能に構成されている。撮像部１ａは、たとえば、図示省略した２組の広角レンズおよび撮像素子を有し、２組の広角レンズおよび撮像素子がそれぞれ前後を向くように配置されている。そして、２組の広角レンズおよび撮像素子による２つの撮像結果が制御部１ｃによって合成されることにより、映像データが生成されるようになっている。映像データは、車両５０の周囲の３６０度を撮影した動画データである。撮像部１ａは、たとえば車室内の助手席に設置されている。
【００２４】
マイク１ｂは、たとえば車室内の助手席に設置され、車両走行時の車室内の音を収集するために設けられている。マイク１ｂに入力される音に基づいて、制御部１ｃにより音声データが生成されるようになっている。
【００２５】
制御部１ｃは、撮像装置１を制御するように構成されている。具体的には、制御部１ｃは、撮像部１ａの撮像結果に基づいて映像データを生成するとともに、マイク１ｂへの入力に基づいて音声データを生成する機能を有する。そして、制御部１ｃは、映像データおよび音声データを関連付けして、その映像データおよび音声データをコンピュータ３に送信するように構成されている。また、制御部１ｃは、撮像部１ａおよびマイク１ｂに対して映像および音声の記録の開始および終了を指示するとともに、記録開始時刻を映像データおよび音声データに付加するようになっている。このため、映像データは、記録が開始されてから終了されるまでの動画データであり、音声データは、記録が開始されてから終了されるまでの音声データ（動画の記録期間中の音声データ）である。
【００２６】
通信部１ｄは、ネットワーク１５０を介してコンピュータ３と通信可能であり、映像データおよび音声データをコンピュータ３に送信するために設けられている。
【００２７】
［取得装置］
取得装置２は、ユーザに疑似体験させる車両走行が行われる車両５０に搭載され、その車両５０の走行時に車両５０の挙動およびメータ情報を取得するように構成されている。取得装置２は、図３に示すように、取得端末２１と、通信機２２とを含んでいる。取得端末２１は、車両５０の車載ネットワーク５１に接続され、その車載ネットワーク５１から車両５０の挙動およびメータ情報を取得するように構成されている。
【００２８】
ここで、車両５０の車載ネットワーク５１は、ゲートウェイＥＣＵ（以下、「ＧＷ−ＥＣＵ」という）５２と、ＧＷ−ＥＣＵ５２に接続される複数のバス５３とを含んでいる。各バス５３には、複数のＥＣＵ５４が接続されている。
【００２９】
ＥＣＵ５４は、車両５０の各部を制御するように構成されている。バス５３は、ＥＣＵ５４が通信する際の伝送路であり、通信プロトコルとしてたとえばＣＡＮ（Controller Area Network）が用いられる。ＧＷ−ＥＣＵ５２は、複数のバス５３間で通信を中継するために設けられている。
【００３０】
そして、ＥＣＵ５４がバス５３にメッセージを送信した場合には、そのバス５３に接続される送信元以外のＥＣＵ５４がメッセージを受信するとともに、ＧＷ−ＥＣＵ５２によりメッセージがその他のバス５３に転送され、その他のバス５３に接続されるＥＣＵ５４がメッセージを受信する。すなわち、車載ネットワーク５１では、ＧＷ−ＥＣＵ５２によってメッセージが中継されることから、異なるバス５３に接続されるＥＣＵ５４間でも通信可能である。そして、ＥＣＵ５４は、車両５０に関する情報をメッセージとしてバス５３に送信するように構成されている。車両５０に関する情報には、車両５０の挙動およびメータに関する情報が含まれている。
【００３１】
取得端末２１は、取得端末２１を制御するマイコン２１ａと、マイコン２１ａに接続されるトランシーバ２１ｂおよび入出力部２１ｃとを含んでいる。トランシーバ２１ｂには、車載ネットワーク５１のバス５３が接続され、入出力部２１ｃには、通信機２２などが接続されている。
【００３２】
マイコン２１ａは、ＥＣＵ５４からバス５３に車両５０の挙動およびメータに関する情報が送信された場合に、トランシーバ２１ｂを介して車両５０の挙動およびメータに関する情報を取得するように構成されている。車両５０の挙動に関する情報には、たとえば、車両５０についての前後加速度、横加速度、上下加速度、ロール角度、ピッチ角度、および、ヨー角度が含まれている。メータに関する情報には、たとえば、車速および変速段が含まれている。
【００３３】
そして、マイコン２１ａは、車載ネットワーク５１上の車両５０の挙動に関する情報に基づいて挙動データを生成するとともに、車載ネットワーク５１上の車両５０のメータに関する情報に基づいてメータ表示用データを生成するように構成されている。また、マイコン２１ａは、挙動およびメータ情報の記録の開始および終了を指示するとともに、記録開始時刻を挙動データおよびメータ表示用データに付加するようになっている。このため、挙動データは、たとえば、記録が開始されてから終了されるまでの前後加速度、横加速度、上下加速度、ロール角度、ピッチ角度、および、ヨー角度の経時変化によって構成されている。また、メータ表示用データは、たとえば、記録が開始されてから終了されるまでの車速および変速段の経時変化によって構成されている。そして、マイコン２１ａは、挙動データおよびメータ表示用データを入出力部２１ｃから通信機２２に出力する機能を有する。
【００３４】
通信機２２は、ネットワーク１５０を介してコンピュータ３と通信可能であり、挙動データおよびメータ表示用データをコンピュータ３に送信するために設けられている。
【００３５】
［コンピュータ］
コンピュータ３は、撮像装置１から受信した映像データおよび音声データと、取得装置２から受信した挙動データおよびメータ表示用データとを格納するために設けられている。映像データ、音声データ、挙動データおよびメータ表示用データは、現実の車両５０の実際の走行時に取得されたデータであり、ユーザの車両走行の疑似体験時に再生されるデータである。また、コンピュータ３は、格納された映像データ、音声データおよびメータ表示用データをＨＭＤ４に送信するとともに、格納された挙動データをシート装置５に送信する機能も有する。コンピュータ３は、映像データ、音声データ、挙動データおよびメータ表示用データを時間同期させて送信するように構成されている。
【００３６】
このコンピュータ３は、図１に示すように、制御部３ａと記憶部３ｂと通信部３ｃとを含んでいる。制御部３ａは、演算処理を実行することによりコンピュータ３を制御するように構成されている。記憶部３ｂには、撮像装置１および取得装置２から受信したデータなどが記憶されている。すなわち、記憶部３ｂには、映像データ、音声データ、挙動データおよびメータ表示用データが記憶されている。通信部３ｃは、ネットワーク１５０を介して撮像装置１、取得装置２、ＨＭＤ４およびシート装置５と通信するために設けられている。
【００３７】
［ＨＭＤ］
ＨＭＤ４は、車両走行を疑似体験するユーザの頭部に装着され、映像および音声を再生するように構成されている。このＨＭＤ４は、図４に示すように、表示部４ａと、スピーカ４ｂと、制御部４ｃと、センサ４ｄと、通信部４ｅとを含んでいる。なお、ＨＭＤ４は、本発明の「第１再生装置」の一例である。
【００３８】
表示部４ａは、コンピュータ３から受信した映像データに基づいて映像を表示するように構成されている。すなわち、表示部４ａには、車両５０の走行時に撮像部１ａによって撮影された映像が再現される。また、表示部４ａには、車速および変速段を示すメータが映像にオーバーレイ表示され、コンピュータ３から受信したメータ表示用データに基づいてメータの数値が調整されるようになっている。すなわち、車両５０の走行時のメータ情報が再現される。
【００３９】
スピーカ４ｂは、コンピュータ３から受信した音声データに基づいて音声を出力するように構成されている。すなわち、車両５０の走行時にマイク１ｂに入力された音声がスピーカ４ｂから再現される。
【００４０】
制御部４ｃは、ＨＭＤ４を制御するように構成されている。具体的には、制御部４ｃは、表示部４ａの表示制御を行うとともに、スピーカ４ｂの出力制御を行うように構成されている。センサ４ｄは、ユーザの頭部の位置および向きを検出するために設けられている。そして、制御部４ｃは、センサ４ｄの検出結果に応じて、表示部４ａに表示される映像を調整する機能を有する。たとえば、ユーザが頭部を動かすことにより視界が移動（変更）される場合には、そのユーザの頭部の動きに応じて表示部４ａに表示される映像が変更（映像データのうち表示部４ａに表示される範囲が変更）されるようになっている。
【００４１】
通信部４ｅは、ネットワーク１５０を介してコンピュータ３と通信可能であり、映像データ、音声データおよびメータ表示用データをコンピュータ３から受信するために設けられている。
【００４２】
［シート装置］
シート装置５は、車両走行を疑似体験するユーザが着座可能であり、挙動を再生するように構成されている。このシート装置５は、たとえば、スチュワートプラットフォーム型のパラレルリンク機構を有しており、シート５ａを６自由度で移動可能になっている。すなわち、シート装置５は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向、Ｘ軸周り方向、Ｙ軸周り方向およびＺ軸周り方向にシート５ａを移動可能に構成されている。シート装置５は、図５に示すように、シート５ａと、６つのアクチュエータ５ｂと、制御部５ｃと、通信部５ｄとを含んでいる。なお、シート装置５は、本発明の「第２再生装置」の一例である。
【００４３】
シート５ａは、ユーザが着座可能に設けられている。６つのアクチュエータ５ｂは、シート５ａを支持するとともに、そのシート５ａを移動させるように構成されている。
【００４４】
制御部５ｃは、シート装置５を制御するように構成されている。具体的には、制御部５ｃは、コンピュータ３から受信した挙動データに基づいて、アクチュエータ５ｂを用いてシート５ａを移動させるように構成されている。たとえば、挙動データにおいて上方向への加速度が発生した場合には、制御部５ｃがアクチュエータ５ｂを制御することによりシート５ａが上方向に移動される。このため、シート装置５では、車両５０の走行時に車載ネットワーク５１から取得された挙動が再現される。
【００４５】
通信部５ｄは、ネットワーク１５０を介してコンピュータ３と通信可能であり、挙動データをコンピュータ３から受信するために設けられている。
【００４６】
−仮想現実システムの動作例−
次に、図６〜図８を参照して、本実施形態による仮想現実システム１００の動作例（仮想現実方法）について説明する。なお、以下では、データ生成時の動作例を説明した後に、データ再生時の動作例について説明する。
【００４７】
［データの生成時］
データの生成は、車両５０（図１参照）に搭載された撮像装置１および取得装置２が車両走行時の情報を収集することによって行われる。具体的には、撮像装置１による映像および音声の収集と、取得装置２による挙動およびメータ情報の収集とが並行して行われる。なお、以下では、車両走行時に並行して動作する撮像装置１および取得装置２のうち、撮像装置１の動作を説明した後に、取得装置２の動作を説明する。また、データの生成は、たとえば、プロドライバによる車両５０のラリー走行またはサーキット走行時に行われる。
【００４８】
（映像装置の動作）
図６のステップＳ１において、制御部１ｃ（図２参照）により、映像および音声の記録が開始されたか否かが判断される。たとえば、撮像装置１が記録開始操作を受け付けた場合に、記録が開始されたと判断される。そして、記録が開始されたと判断された場合には、ステップＳ２に移る。その一方、記録が開始されていないと判断された場合には、ステップＳ１が繰り返し行われる。すなわち、制御部１ｃは記録が開始されるまで待機する。
【００４９】
次に、ステップＳ２において、制御部１ｃにより、撮像部１ａを用いて映像が収集されるとともに、マイク１ｂを用いて音声が収集される。具体的には、車両５０の周囲が３６０度の範囲で撮像部１ａによって撮像されるとともに、車室内の音がマイク１ｂによって収集される。
【００５０】
次に、ステップＳ３において、制御部１ｃにより、映像および音声の記録が終了されたか否かが判断される。たとえば、撮像装置１が記録終了操作を受け付けた場合に、記録が終了されたと判断される。そして、記録が終了されていないと判断された場合には、ステップＳ２に戻り、映像および音声の収集が継続される。その一方、記録が終了されたと判断された場合には、ステップＳ４に移る。
【００５１】
次に、ステップＳ４において、制御部１ｃにより、記録開始から記録終了までの期間の映像データおよび音声データが生成され、その映像データおよび音声データが通信部１ｄからコンピュータ３（図１参照）に送信される。コンピュータ３では、撮像装置１から受信した映像データおよび音声データが格納される。なお、映像データおよび音声データは関連付けられ、映像データおよび音声データには記録開始時刻が付加されている。その後、エンドに移る。
【００５２】
（取得装置の動作）
図７のステップＳ１１において、マイコン２１ａ（図３参照）により、挙動およびメータ情報の記録が開始されたか否かが判断される。たとえば、取得装置２が記録開始操作を受け付けた場合に、記録が開始されたと判断される。そして、記録が開始されたと判断された場合には、ステップＳ１２に移る。その一方、記録が開始されていないと判断された場合には、ステップＳ１１が繰り返し行われる。すなわち、マイコン２１ａは記録が開始されるまで待機する。
【００５３】
次に、ステップＳ１２において、マイコン２１ａにより、挙動およびメータ情報が収集される。具体的には、ＥＣＵ５４からバス５３に送信される車両５０の挙動およびメータに関する情報がトランシーバ２１ｂに入力されることにより、挙動およびメータ情報が収集される。
【００５４】
次に、ステップＳ１３において、マイコン２１ａにより、挙動およびメータ情報の記録が終了されたか否かが判断される。たとえば、取得装置２が記録終了操作を受け付けた場合に、記録が終了されたと判断される。そして、記録が終了されていないと判断された場合には、ステップＳ１２に戻り、挙動およびメータ情報の収集が継続される。その一方、記録が終了されたと判断された場合には、ステップＳ１４に移る。
【００５５】
次に、ステップＳ１４において、マイコン２１ａにより、記録開始から記録終了までの期間の挙動データおよびメータ表示用データが生成される。挙動データおよびメータ表示用データは、入出力部２１ｃから通信機２２に出力され、通信機２２からコンピュータ３に送信される。コンピュータ３では、取得装置２から受信した挙動データおよびメータ表示用データが格納される。なお、挙動データおよびメータ表示用データには記録開始時刻が付加されている。その後、エンドに移る。
【００５６】
［データの再生時］
データの再生は、ユーザの頭部に装着されるＨＭＤ４およびユーザが着座するシート装置５によって行われる。このデータの再生により、ユーザに車両走行を疑似体験させることが可能である。
【００５７】
図８のステップＳ２１において、制御部３ａ（図１参照）により、データの再生が開始されたか否かが判断される。たとえば、コンピュータ３が再生開始操作を受け付けた場合に、再生が開始されたと判断される。そして、再生が開始されたと判断された場合には、ステップＳ２２に移る。その一方、再生が開始されていないと判断された場合には、ステップＳ２１が繰り返し行われる。すなわち、コンピュータ３は再生が開始されるまで待機する。
【００５８】
次に、ステップＳ２２において、制御部３ａにより、記憶部３ｂに格納されたデータが通信部３ｃから送信される。具体的には、映像データ、音声データ、挙動データおよびメータ表示用データが時間同期されて出力される。この時間同期は、各データに付加された記録開始時刻を用いて行われる。たとえば、データの記録開始時刻にずれがある場合には、そのうちの最も遅い記録開始時刻が全てのデータの出力開始時点に設定され、出力開始時点からの再生経過時間に応じたデータが出力される。映像データ、音声データおよびメータ表示用データはＨＭＤ４に出力され、挙動データはシート装置５に出力される。
【００５９】
ＨＭＤ４（図４参照）では、制御部４ｃにより、通信部４ｅが受信した映像データとセンサ４ｄの検出結果とに基づいて表示部４ａに映像が表示される。表示部４ａには、車速および変速段を示すメータがオーバーレイ表示され、通信部４ｅが受信したメータ表示用データに基づいてメータの数値が調整される。また、制御部４ｃにより、通信部４ｅが受信した音声データに基づいてスピーカ４ｂから音声が出力される。このため、現実の車両５０の実際の走行時に取得された映像、音声およびメータ情報がユーザに提示される。
【００６０】
シート装置５（図５参照）では、制御部５ｃにより、通信部５ｄが受信した挙動データに基づいて、アクチュエータ５ｂが駆動される。このアクチュエータ５ｂの駆動により、シート５ａが移動される。このため、現実の車両５０の実際の走行時に取得された挙動がユーザに与えられる。なお、シート５ａが６自由度で移動可能であることから、車両走行時の前後加速度、横加速度、上下加速度、ロール角度、ピッチ角度、および、ヨー角度を再現可能である。
【００６１】
次に、ステップＳ２３において、制御部３ａにより、データの再生が終了されたか否かが判断される。たとえば、データが最後まで再生された場合、および、コンピュータ３が再生終了操作を受け付けた場合に、再生が終了されたと判断される。そして、再生が終了されていないと判断された場合には、ステップＳ２２に戻り、データの再生が継続される。その一方、再生が終了されたと判断された場合には、エンドに移る。
【００６２】
−効果−
本実施形態では、上記のように、車両５０の走行時に車両５０の周囲を撮像する撮像装置１と、車両５０の走行時に車両５０の挙動を取得する取得装置２と、撮像装置１による映像データおよび取得装置２による挙動データを格納し、その映像データおよび挙動データを時間同期させて出力するコンピュータ３と、映像データを再生するＨＭＤ４と、挙動データを再生するシート装置５とが設けられている。このように構成することによって、現実の車両５０を実際に走行させながら映像および挙動が取得され、その映像データおよび挙動データが再生されることにより、現実に即した映像および挙動が再現されるので、車両走行の疑似体験時における臨場感を向上させることができる。また、映像データおよび挙動データが時間同期されることにより、ＨＭＤ４で再生される映像と、シート装置５で再生される挙動とがずれないようにすることができる。そして、たとえば、プロドライバによる車両５０のラリー走行またはサーキット走行時にデータが生成され、そのデータが再生される場合には、プロドライバが運転する車両５０の助手席にユーザが同乗しているような疑似体験をさせることができる。
【００６３】
また、本実施形態では、取得装置２により車両５０の走行時に車両５０のメータ情報が取得されることによって、表示部４ａにメータがオーバーレイ表示されることにより、ユーザが車両５０の状態を容易に把握することができる。
【００６４】
また、本実施形態では、撮像装置１により車両５０の周囲が３６０度の範囲で撮像されることによって、車両５０の周囲を全て再現可能になり、ユーザの頭部の動きに応じて表示部４ａに表示される映像が変更されることから、臨場感をより向上させることができる。
【００６５】
また、本実施形態では、車載ネットワーク５１から車両５０の挙動が取得されることによって、車両５０の正確な挙動を取得することができるので、臨場感をより向上させることができる。
【００６６】
−他の実施形態−
なお、今回開示した実施形態は、すべての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【００６７】
たとえば、上記実施形態では、撮像装置１および取得装置２がネットワーク１５０を介してコンピュータ３に接続される例を示したが、これに限らず、撮像装置および取得装置がコンピュータに接続されていなくてもよい。この場合には、撮像装置および取得装置によって収集されたデータ（映像データ、音声データ、挙動データおよびメータ表示用データ）が図示省略した記憶媒体を介してコンピュータに格納されるようにしてもよい。
【００６８】
また、上記実施形態では、ＨＭＤ４およびシート装置５がネットワーク１５０を介してコンピュータ３に接続される例を示したが、これに限らず、ＨＭＤおよびシート装置がネットワークを介さずにコンピュータに直接接続されていてもよい。
【００６９】
また、上記実施形態において、ネットワーク１５０は、公衆回線であってもよいし、専用回線であってもよい。
【００７０】
また、上記実施形態において、１組のＨＭＤ４およびシート装置５毎にコンピュータ３が設けられていてもよいし、複数組のＨＭＤ４およびシート装置５に対して１つのコンピュータ３が設けられていてもよい。
【００７１】
また、上記実施形態では、撮像部１ａにより車両５０の周囲が３６０度の範囲で撮像される例を示したが、これに限らず、撮像部により車両前方側のみが撮像されるようにしてもよい。
【００７２】
また、上記実施形態では、撮像部１ａが助手席に配置される例を示したが、これに限らず、撮像部が助手席以外に配置されていてもよい。
【００７３】
また、上記実施形態では、マイク１ｂが車室内に配置される例を示したが、これに限らず、マイクが車室内およびエンジンコンパートメントに配置され、その２つのマイクに入力された音を合成して音声データが生成されるようにしてもよい。なお、マイクの数が３つ以上であってもよいし、マイクの配置場所は適宜変更可能である。
【００７４】
また、上記実施形態では、撮像装置１に通信部１ｄが設けられるとともに、取得装置２に通信機２２が設けられる例を示したが、これに限らず、撮像装置および取得装置が共用する１つの通信機が設けられるようにしてもよい。
【００７５】
また、上記実施形態では、車載ネットワーク５１のバス５３から車両５０の挙動が取得される例を示したが、これに限らず、取得装置に加速度センサおよび角度センサなどが設けられ、そのセンサにより車両の挙動が取得されるようにしてもよい。
【００７６】
また、上記実施形態では、前後加速度、横加速度、上下加速度、ロール角度、ピッチ角度およびヨー角度がバス５３から取得される例を示したが、これに限らず、前後加速度、横加速度、上下加速度、ロール角度、ピッチ角度およびヨー角度がバスから取得された情報に基づいて算出されるようにしてもよい。
【００７７】
また、上記実施形態では、前後加速度、横加速度、上下加速度、ロール角度、ピッチ角度およびヨー角度に基づいて挙動データが生成される例を示したが、これに限らず、前後加速度、横加速度、上下加速度、ロール角度、ピッチ角度およびヨー角度のうちの少なくとも１つから挙動データが生成されるようにしてもよい。たとえば、挙動データが上下加速度の経時変化のみで構成されていてもよい。この場合には、シートが６自由度で移動する必要はなく、シート座面の下側にウーファーを設け、そのウーファーによって上下動を再現するようにしてもよい。
【００７８】
また、上記実施形態では、取得装置２がメータ情報を取得する例を示したが、これに限らず、取得装置がメータ情報を取得しないようにしてもよい。すなわち、映像にメータがオーバーレイ表示される例を示したが、これに限らず、映像にメータがオーバーレイ表示されないようにしてもよい。
【００７９】
また、上記実施形態において、表示部４ａの映像にオーバーレイされるメータを表示状態と非表示状態とで切り替え可能にしてもよい。
【００８０】
また、上記実施形態では、取得装置２により車載ネットワーク５１から車速および変速段が取得され、その車速および変速段がオーバーレイ表示される例を示したが、これに限らず、取得装置により車載ネットワークからアクセル操作量、ブレーキ操作量およびステアリング操作量などが取得され、そのアクセル操作量、ブレーキ操作量およびステアリング操作量などがオーバーレイ表示されるようにしてもよい。このように構成すれば、車両５０を運転するドライバの操作を、車両走行を疑似体験するユーザが知ることができる。
【００８１】
また、上記実施形態では、映像を再生するＨＭＤ４が設けられる例を示したが、これに限らず、映像を再生する平面ディスプレイまたは球面ディスプレイが設けられていてもよい。
【００８２】
また、上記実施形態では、シート装置５がスチュワートプラットフォーム型のパラレルリンク機構を有する例を示したが、これに限らず、シート装置は、車両の挙動を再生してユーザに与えることが可能であれば、どのようなものであってもよい。
【００８３】
また、上記実施形態において、制御部１ｃは、撮像部１ａの撮影フレームレート、露光時間および感度のうちの少なくともいずれか一つを変更するようにしてもよい。たとえば、制御部１ｃが、撮影中に車両５０の速度情報を取得し、速度情報に基づいて撮像部１ａを制御するようにしてもよい。具体的には、制御部１ｃは、車両５０の速度が速くなるほど、撮像部１ａの露光時間を長くするようにしてもよい。このようにすれば、景色が流れるような画像となり、スピード感を再現することができる。また、たとえば、車両５０の前方に太陽がある場合には、白飛びが発生しないように、露光時間を短くしたり、感度を下げるようにしてもよい。
【００８４】
また、上記実施形態において、再生する画像に対して画像処理を施すようにしてもよい。たとえば、実際の車両５０が高速で移動している場合には、景色が流れるため、再生する画像の輪郭を弱めたり、ブラーを付加するようにしてもよい。具体的には、撮像部１ａの露光時間を短くすると、再生される動画像では実際の車両５０から見る景色に比べてスピード感が落ちることがあるため、輪郭を弱めたり、ブラーを付加することにより、スピード感を再現することが可能になる。また、車両５０の速度が速くなるほど、車両５０に乗っている人間の視野は狭くなるため、再生する画像の中央領域の周辺をぼかすようにしてもよい。具体的には、表示する画像の中央付近は画像処理を行わずに再生し、中央から所定の距離を超えた領域では、車両５０の速度が速くなるほど強いぼかしを付加するようにしてもよい。さらに、ぼかしは、中央からの距離に応じて徐々に強くしてもよい。
【００８５】
また、上記実施形態では、車載ネットワーク５１の通信プロトコルとしてＣＡＮが用いられる例を示したが、これに限らず、車載ネットワークの通信プロトコルとしてＣＡＮ以外が用いられていてもよい。
【産業上の利用可能性】
【００８６】
本発明は、ユーザに車両走行を疑似体験させる仮想現実システムおよび仮想現実方法に利用可能である。
【符号の説明】
【００８７】
１      撮像装置
２      取得装置
３      コンピュータ
４      ＨＭＤ（第１再生装置）
５      シート装置（第２再生装置）
５０    車両
５１    車載ネットワーク
１００  仮想現実システム
【図１】
2020144332.tif 000003
【図２】
2020144332.tif 000004
【図３】
2020144332.tif 000005
【図４】
2020144332.tif 000006
【図５】
2020144332.tif 000007
【図６】
2020144332.tif 000008
【図７】
2020144332.tif 000009
【図８】
2020144332.tif 000010