(57)【要約】  運動信号の出力を再生中のバーチャルリアリティプログラムに同期させる方法は、バーチャルリアリティプログラムのマルチチャンネル音声出力を少なくとも１つのミキシングされた音声トラック中にミキシングするステップを含む。少なくとも１つのミキシングされた音声トラックを用いて、再生中のバーチャルリアリティプログラムの時間位置を得る。再生中のバーチャルリアリティプログラムに対応するとともに再生中のバーチャルリアリティプログラムの識別された時間位置と同期された運動信号を得、運動信号は、運動プラットホームアクチュエータ駆動命令を含む。運動信号を運動プラットホームの作動システムに出力して再生中のバーチャルリアリティプログラムに対応するとともにこのバーチャルリアリティプログラムに同期された運動プラットホーム中に振動−動力学的効果を生じさせる。運動信号の出力を再生中のバーチャルリアリティプログラムに同期させる運動コントローラもまた提供される。
2018535627.tif 000002
【特許請求の範囲】
【請求項１】
運動信号の出力を再生中のバーチャルリアリティプログラムに同期させる方法であって、
前記バーチャルリアリティプログラムのマルチチャンネル音声出力を少なくとも１つのミキシングされた音声トラック中にミキシングするステップを含み、
前記少なくとも１つのミキシングされた音声トラックを用いて、再生中の前記バーチャルリアリティプログラムの時間位置を得るステップを含み、
再生中のバーチャルリアリティプログラムに対応するとともに再生中の前記バーチャルリアリティプログラムの識別された前記時間位置と同期された運動信号を得るステップを含み、前記運動信号は、運動プラットホームアクチュエータ駆動命令を含み、
前記運動信号を運動プラットホームの作動システムに出力して再生中の前記バーチャルリアリティプログラムに対応するとともに該バーチャルリアリティプログラムに同期された前記運動プラットホーム中に振動−動力学的効果を生じさせるステップを含む、方法。
【請求項２】
前記バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングされた音声トラック中にミキシングするステップは、前記マルチチャンネル音声出力をモノラル音声信号中にミキシングするステップを含む、請求項１記載の方法。
【請求項３】
前記バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、モバイルバーチャルリアリティプロセッサのヘッドホンジャックから前記マルチチャンネル音声出力を受け取るステップを含む、請求項１または２記載の方法。
【請求項４】
前記バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、前記モバイルバーチャルリアリティプロセッサによる送信から前記マルチチャンネル音声出力をワイヤレスで受け取るステップを含む、請求項１または２記載の方法。
【請求項５】
前記バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、加重和ミキシングを用いるステップを含み、前記加重和ミキシングでは、
Ｍ＝ｗ１・Ｃ１＋ｗ２・Ｃ２＋……＋ｗｎ・Ｃｎ
であり、上式において、Ｍは、前記ミキシングされた音声トラックであり、Ｃｎは、前記チャンネルであり、ｗは、重みである、請求項１記載の方法。
【請求項６】
前記バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、人間の音声を濾波して除去するステップを含む、請求項１〜５のうちいずれか一に記載の方法。
【請求項７】
前記バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、前記ミキシングされた音声トラックから前記マルチチャンネル音声出力のうちの少なくとも幾つかのチャンネルを排除するステップを含む、請求項１記載の方法。
【請求項８】
バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、少なくとも２つのミキシングされた音声トラックをミキシングするステップを含み、前記少なくとも２つのミキシングされた音声トラックの各々は、それ自体のミキシングバリエーションを有し、前記時間位置を得る前記ステップ、前記運動信号を得る前記ステップおよび前記運動信号を出力する前記ステップは、前記少なくとも２つのミキシングされた音声トラックを用いて実施される、請求項１〜７のうちいずれか一に記載の方法。
【請求項９】
前記少なくとも２つのミキシングされた音声トラックの各々がそれ自体のミキシングバリエーションを有する前記少なくとも２つのミキシングされた音声トラックをミキシングする前記ステップは、前記マルチチャンネル音声出力の互いに異なるチャンネル組み合わせからの前記少なくとも２つのミキシングされた音声トラックをミキシングするステップを含む、請求項８記載の方法。
【請求項１０】
再生中の前記バーチャルリアリティプログラムの前記時間位置を得る前記ステップは、再生中の前記バーチャルリアリティプログラムのアイデンティティを得、次に、前記バーチャルリアリティプログラムの前記時間位置を受け取るステップを含む、請求項１〜９のうちいずれか一に記載の方法。
【請求項１１】
再生中の前記バーチャルリアリティプログラムの前記時間位置を得る前記ステップは、前記少なくとも１つのミキシングされた音声トラックのフィンガープリントをコンピュータ計算するステップを含む、請求項１〜１０のうちいずれか一に記載の方法。
【請求項１２】
前記フィンガープリントをコンピュータ計算する前記ステップは、フィンガープリント法を利用して前記フィンガープリントを前記時間位置のところで前記ミキシングされた音声トラックを一義的に表すコード化識別子として生じさせるステップを含む、請求項１１記載の方法。
【請求項１３】
再生中の前記バーチャルリアリティプログラムの前記時間位置を得る前記ステップは、時間位置が関連付けられた基準フィンガープリントのデータベースに照会するステップおよび前記コンピュータ計算されたフィンガープリントに対応する前記時間位置を検索するステップを含む、請求項１１または１２記載の方法。
【請求項１４】
前記基準フィンガープリントの前記データベースに照会する前記ステップは、リモートネットワークサーバ上の基準フィンガープリントの前記データベースに照会するステップを含む、請求項１３記載の方法。
【請求項１５】
前記時間位置を得る前記ステップは、前記時間位置を連続的に得るステップ、前記運動信号を得る前記ステップおよび前記運動信号を出力し、それにより前記運動信号の連続同期を保証するステップを含む、請求項１〜１４のうちいずれか一に記載の方法。
【請求項１６】
前記時間位置と関連した前記運動信号を得る前記ステップは、リモートネットワークサーバからの前記運動信号を得るステップを含む、請求項１〜１５のうちいずれか一に記載の方法。
【請求項１７】
前記運動信号によって前記運動プラットホームのアクチュエータを駆動するステップを更に含む、請求項１〜１６のうちいずれか一に記載の方法。
【請求項１８】
非一過性コンピュータ可読メモリであって、再生中のバーチャルリアリティプログラムに対応するとともに運動プラットホーム中に振動−動力学的効果を生じさせる運動信号の出力を同期させるために請求項１〜１７のうちいずれか一に記載の方法を実施するようコンピュータによって実行可能な記述および命令が前記非一過性コンピュータ可読メモリに記録されている、非一過性コンピュータ可読メモリ。
【請求項１９】
運動信号の出力を再生中のバーチャルリアリティプログラムに同期させる運動コントローラであって、
前記バーチャルリアリティプログラムのマルチチャンネル音声出力を少なくとも１つのミキシングされた音声トラック中にミキシングする音声ミキシングモジュールと、
前記少なくとも１つのミキシングされた音声トラックを用いて、再生中の前記バーチャルリアリティプログラムの時間位置を得る識別子モジュールと、
再生中の前記バーチャルリアリティプログラムに対応するとともに再生中の前記バーチャルリアリティプログラムの前記識別された時間位置に同期させられた運動信号であって、運動プラットホームアクチュエータ駆動命令を含む運動信号を得るとともに前記運動信号を運動プラットホームの作動システムに出力して再生中の前記バーチャルリアリティプログラムに対応するとともに該バーチャルリアリティプログラムに同期された前記運動プラットホーム中に振動−動力学的効果を生じさせる運動提供モジュールとを含む、運動コントローラ。
【請求項２０】
前記音声ミキシングモジュールは、前記マルチチャンネル音声出力をモノラル音声信号中にミキシングする、請求項１９記載の運動コントローラ。
【請求項２１】
前記音声ミキシングモジュールは、モバイルバーチャルリアリティプロセッサのヘッドホンジャックから前記マルチチャンネル音声出力を受け取る、請求項１９または２０記載の運動コントローラ。
【請求項２２】
前記音声ミキシングモジュールは、前記モバイルバーチャルリアリティプロセッサによる送信から前記マルチチャンネル音声出力をワイヤレスで受け取る、請求項１９または２０記載の運動コントローラ。
【請求項２３】
前記音声ミキシングモジュールは、加重和ミキシングを用い、前記加重和ミキシングでは、
Ｍ＝ｗ１・Ｃ１＋ｗ２・Ｃ２＋……＋ｗｎ・Ｃｎ
であり、上式において、Ｍは、前記ミキシングされた音声トラックであり、Ｃｎは、前記チャンネルであり、ｗは、重みである、請求項１９記載の運動コントローラ。
【請求項２４】
前記音声ミキシングモジュールは、前記ミキシングされた音声出力から人間の音声を濾波して除去する、請求項１９〜２３のうちいずれか一に記載の運動コントローラ。
【請求項２５】
前記音声ミキシングモジュールは、前記少なくとも１つのミキシングされた音声トラックから前記マルチチャンネル音声出力のうちの少なくとも幾つかのチャンネルを排除する、請求項１９記載の運動コントローラ。
【請求項２６】
前記音声ミキシングモジュールは、前記少なくとも２つのミキシングされた音声トラックをミキシングし、前記少なくとも２つのミキシングされた音声トラックの各々は、それ自体のミキシングバリエーションを有し、識別子モジュールおよび前記運動提供モジュールは、少なくとも２つのミキシングされた音声トラックを用いる、請求項１９〜２５のうちいずれか一に記載の運動コントローラ。
【請求項２７】
前記音声ミキシングモジュールは、前記マルチチャンネル音声出力の互いに異なるチャンネル組み合わせから前記少なくとも２つのミキシングされた音声トラックをミキシングする、請求項２６記載の運動コントローラ。
【請求項２８】
前記識別子モジュールは、再生中の前記バーチャルリアリティプログラムのアイデンティティを得、次に前記バーチャルリアリティプログラムの時間位置を受け入れる、請求項１９〜２７のうちいずれか一に記載の運動コントローラ。
【請求項２９】
前記識別子モジュールは、前記少なくとも１つのミキシングされた音声トラックのフィンガープリントをコンピュータ計算する、請求項１９〜２８のうちいずれか一に記載の運動コントローラ。
【請求項３０】
前記識別子モジュールは、フィンガープリント法を利用して前記フィンガープリントを、前記時間位置のところで前記ミキシングされた音声トラックを一義的に表すコード化識別子として生じさせる、請求項２９記載の運動コントローラ。
【請求項３１】
前記識別子モジュールは、時間位置が関連付けられた基準フィンガープリントのデータベースに照会するとともに前記コンピュータ計算されたフィンガープリントに対応する前記時間位置を検索する、請求項２９または３０記載の運動コントローラ。
【請求項３２】
基準フィンガープリントのデータベースへの前記照会は、基準フィンガープリントの前記データベースへの局所的な照会を含む、請求項３１記載の運動コントローラ。
【請求項３３】
前記運動コントローラは、前記時間位置を連続的に得、前記運動信号を得、そして前記運動信号を出力し、それにより前記運動信号の連続同期を保証する、請求項１９〜３２のうちいずれか一に記載の運動コントローラ。
【請求項３４】
前記運動提供モジュールは、前記時間位置と関連した前記運動信号をリモートネットワークサーバから得る、請求項１９〜３３のうちいずれか一に記載の運動コントローラ。
【請求項３５】
前記運動信号によって前記運動プラットホームのアクチュエータを駆動する駆動モジュールを更に含む、請求項１９〜３４のうちいずれか一に記載の運動コントローラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、バーチャルリアリティセッションにおいて振動−動力学的（vibro-kinetic）効果を実行する運動シミュレータに関する。
【０００２】
〔関連出願の説明〕
本願は、２０１５年１１月１６日に出願された米国特許仮出願第６２／２５５，６８７号の優先権主張出願であり、この米国特許仮出願を参照により引用し、その記載内容を本明細書の一部とする。
【背景技術】
【０００３】
振動−動力学的効果を生じさせる運動シミュレータは、一般に、ビジュアルプログラムの観察体験を増進するために用いられる。かかる技術では、運動シミュレータは、視聴プログラム音声ビジュアルプログラムまたはビジュアルイベントと同期して振動−動力学的効果においてアクチュエータにより変位させられるシート（座席）またはプラットホームを備えている。かかる運動シミュレータの特定の形式では、運動シミュレータは、音声ビジュアルプログラムのサウンドトラックから抽出されている振動とは対照的に、運動トラックとしてコード化されている運動信号に基づいて動く。
【０００４】
同様な仕方で、ビジュアルリアリティもまた、視聴者が熱中するビジュアル環境を提供することによって視聴覚体験を増進するために用いられる。モバイルバーチャルリアリティは、追加の効果を音声ビジュアルプログラムに追加することができる。モバイルバーチャルリアリティでは、ユーザは、ヘッド取り付け型ディスプレイおよびヘッドセットを着用する。ヘッド取り付け型ディスプレイまたはヘッドセットは、ユーザの動きを追跡し、したがってバーチャル環境における着用者の向きの関数としてビジュアルディスプレイを適応させるために慣性測定ユニット（inertial measurement unit：ＩＭＵ）を備える。モバイルバーチャルリアリティセッションでは、音声出力もまた、音声出力がビジュアル環境内でユーザの向きに合わせられる点で没入型（immersive）である。例えば、音声出力は、左側および右側のチャンネルを備える場合があり、左側および右側チャンネルの音声出力は、ビジュアル環境内における着用者の向きの関数としてリアルタイムで調節される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
運動プラットホームが運動信号を音声ビジュアルプログラムに同期させるために音声出力を用いる場合が多いことを考慮すると、運動プラットホームの動きをモバイルビジュアルリアリティセッションに同期させるための方法およびシステムを提供することが望ましい。
【課題を解決するための手段】
【０００６】
したがって、本発明の第１の実施形態によれば、運動信号の出力を再生中のバーチャルリアリティプログラムに同期させる方法であって、バーチャルリアリティプログラムのマルチチャンネル音声出力を少なくとも１つのミキシングされた音声トラック中にミキシングするステップと、少なくとも１つのミキシングされた音声トラックを用いて、再生中のバーチャルリアリティプログラムの時間位置を得るステップと、再生中のバーチャルリアリティプログラムに対応するとともに再生中のバーチャルリアリティプログラムの識別された時間位置と同期された運動信号を得るステップとを含み、運動信号は、運動プラットホームアクチュエータ駆動命令を含み、この方法は、運動信号を運動プラットホームの作動システムに出力して再生中のバーチャルリアリティプログラムに対応するとともにこのバーチャルリアリティプログラムに同期された運動プラットホーム中に振動−動力学的効果を生じさせるステップを更に含むことを特徴とする方法が提供される。
【０００７】
第１の実施形態によれば、バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングされた音声トラック中にミキシングするステップは、瞬時に、マルチチャンネル音声出力をモノラル音声信号中にミキシングするステップを含む。
【０００８】
さらに、第１の実施形態によれば、バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、瞬時に、モバイルバーチャルリアリティプロセッサのヘッドホンジャックからマルチチャンネル音声出力を受け取るステップを含む。
【０００９】
さらに、第１の実施形態によれば、バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、瞬時に、モバイルバーチャルリアリティプロセッサによる送信からマルチチャンネル音声出力をワイヤレスで受け取るステップを含む。
【００１０】
さらに、第１の実施形態によれば、バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、瞬時に、加重和ミキシングを用いるステップを含み、加重和ミキシングでは、
Ｍ＝ｗ１・Ｃ１＋ｗ２・Ｃ２＋……＋ｗｎ・Ｃｎ
であり、上式において、Ｍは、ミキシングされた音声トラックであり、Ｃｎは、チャンネルであり、ｗは、重みである。
【００１１】
さらに、第１の実施形態によれば、バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、瞬時に、人間の音声を濾波して除去するステップを含む。
【００１２】
さらに、第１の実施形態によれば、バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、瞬時に、ミキシングされた音声トラックからマルチチャンネル音声出力のうちの少なくとも幾つかのチャンネルを排除するステップを含む。
【００１３】
さらに、第１の実施形態によれば、バーチャルリアリティプログラムのマルチチャンネル音声出力をミキシングするステップは、瞬時に、少なくとも２つのミキシングされた音声トラックをミキシングするステップを含み、少なくとも２つのミキシングされた音声トラックの各々は、それ自体のミキシングバリエーションを有し、時間位置を得るステップ、運動信号を得るステップおよび運動信号を出力するステップは、少なくとも２つのミキシングされた音声トラックを用いて実施される。
【００１４】
さらに、第１の実施形態によれば、少なくとも２つのミキシングされた音声トラックの各々がそれ自体のミキシングバリエーションを有する少なくとも２つのミキシングされた音声トラックをミキシングするステップは、瞬時に、マルチチャンネル音声出力の互いに異なるチャンネル組み合わせからの少なくとも２つのミキシングされた音声トラックをミキシングするステップを含む。
【００１５】
さらに、第１の実施形態によれば、再生中のバーチャルリアリティプログラムの時間位置を得るステップは、瞬時に、再生中のバーチャルリアリティプログラムのアイデンティティを得、次に、バーチャルリアリティプログラムの時間位置を受け取るステップを含む。
【００１６】
さらに、第１の実施形態によれば、再生中のバーチャルリアリティプログラムの時間位置を得るステップは、瞬時に、少なくとも１つのミキシングされた音声トラックのフィンガープリントをコンピュータ計算するステップを含む。
【００１７】
さらに、第１の実施形態によれば、フィンガープリントをコンピュータ計算するステップは、瞬時に、フィンガープリント法を利用してフィンガープリントを時間位置のところでミキシングされた音声トラックを一義的に表すコード化識別子として生じさせるステップを含む。
【００１８】
さらに、第１の実施形態によれば、再生中のバーチャルリアリティプログラムの時間位置を得るステップは、瞬時に、時間位置が関連付けられた基準フィンガープリントのデータベースに照会するステップおよびコンピュータ計算されたフィンガープリントに対応する時間位置を検索するステップを含む。
【００１９】
さらに、第１の実施形態によれば、基準フィンガープリントのデータベースに照会するステップは、瞬時に、リモートネットワークサーバ上の基準フィンガープリントのデータベースに照会するステップを含む。
【００２０】
さらに、第１の実施形態によれば、時間位置を得るステップは、瞬時に、時間位置を連続的に得るステップ、運動信号を得るステップおよび運動信号を出力し、それにより運動信号の連続同期を保証するステップを含む。
【００２１】
さらに、第１の実施形態によれば、時間位置と関連した運動信号を得るステップは、瞬時に、リモートネットワークサーバからの運動信号を得るステップを含む。
【００２２】
さらに、第１の実施形態によれば、運動信号によって運動プラットホームのアクチュエータを駆動する。
【００２３】
さらに、第１の実施形態によれば、非一過性コンピュータ可読メモリであって、再生中のバーチャルリアリティプログラムに対応するとともに運動プラットホーム中に振動−動力学的効果を生じさせる運動信号の出力を同期させるために上述した方法を実施するようコンピュータによって実行可能な記述および命令が非一過性コンピュータ可読メモリに記録されていることを特徴とする非一過性コンピュータ可読メモリが提供される。
【００２４】
本発明の第２の実施形態によれば、運動信号の出力を再生中のバーチャルリアリティプログラムに同期させる運動コントローラであって、バーチャルリアリティプログラムのマルチチャンネル音声出力を少なくとも１つのミキシングされた音声トラック中にミキシングする音声ミキシングモジュールと、少なくとも１つのミキシングされた音声トラックを用いて、再生中のバーチャルリアリティプログラムの時間位置を得る識別子モジュールと、再生中のバーチャルリアリティプログラムに対応するとともに再生中のバーチャルリアリティプログラムの識別された時間位置に同期させられた運動信号であって、運動プラットホームアクチュエータ駆動命令を含む運動信号を得るとともに運動信号を運動プラットホームの作動システムに出力して再生中のバーチャルリアリティプログラムに対応するとともにこのバーチャルリアリティプログラムに同期された運動プラットホーム中に振動−動力学的効果を生じさせる運動提供モジュールとを含むことを特徴とする運動コントローラが提供される。
【００２５】
第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、マルチチャンネル音声出力をモノラル音声信号中にミキシングする。
【００２６】
さらに、第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、モバイルバーチャルリアリティプロセッサのヘッドホンジャックからマルチチャンネル音声出力を受け取る。
【００２７】
さらに、第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、モバイルバーチャルリアリティプロセッサによる送信からマルチチャンネル音声出力をワイヤレスで受け取る。
【００２８】
さらに、第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、加重和ミキシングを用い、加重和ミキシングでは、
Ｍ＝ｗ１・Ｃ１＋ｗ２・Ｃ２＋……＋ｗｎ・Ｃｎ
であり、上式において、Ｍは、ミキシングされた音声トラックであり、Ｃｎは、チャンネルであり、ｗは、重みである。
【００２９】
さらに、第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、ミキシングされた音声出力から人間の音声を濾波して除去する。
【００３０】
さらに、第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、少なくとも１つのミキシングされた音声トラックからマルチチャンネル音声出力のうちの少なくとも幾つかのチャンネルを排除する。
【００３１】
さらに、第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、少なくとも２つのミキシングされた音声トラックをミキシングし、少なくとも２つのミキシングされた音声トラックの各々は、それ自体のミキシングバリエーションを有し、識別子モジュールおよび運動提供モジュールは、少なくとも２つのミキシングされた音声トラックを用いる。
【００３２】
さらに、第２の実施形態によれば、音声ミキシングモジュールは、瞬時に、マルチチャンネル音声出力の互いに異なるチャンネル組み合わせから少なくとも２つのミキシングされた音声トラックをミキシングする。
【００３３】
さらに、第２の実施形態によれば、識別子モジュールは、瞬時に、再生中のバーチャルリアリティプログラムのアイデンティティ（再生中のバーチャルリアリティプログラムが何であるかという認識）を得、次にバーチャルリアリティプログラムの時間位置を受け入れる。
【００３４】
さらに、第２の実施形態によれば、識別子モジュールは、瞬時に、少なくとも１つのミキシングされた音声トラックのフィンガープリントをコンピュータ計算する。
【００３５】
さらに、第２の実施形態によれば、識別子モジュールは、瞬時に、フィンガープリント法を利用してフィンガープリントを、時間位置のところでミキシングされた音声トラックを一義的に表すコード化識別子として生じさせる。
【００３６】
さらに、第２の実施形態によれば、識別子モジュールは、瞬時に、時間位置が関連付けられた基準フィンガープリントのデータベースに照会するとともにコンピュータ計算されたフィンガープリントに対応する時間位置を検索する。
【００３７】
さらに、第２の実施形態によれば、基準フィンガープリントのデータベースへの照会は、瞬時に、基準フィンガープリントのデータベースに遠隔地から照会することを含む。
【００３８】
さらに、第２の実施形態によれば、運動コントローラは、瞬時に、時間位置を連続的に得、運動信号を得、そして運動信号を出力し、それにより運動信号の連続同期を保証する。
【００３９】
さらに、第２の実施形態によれば、運動提供モジュールは、瞬時に、時間位置と関連した運動信号をリモートネットワークサーバから得る。
【００４０】
さらに、第２の実施形態によれば、瞬時に、運動信号によって運動プラットホームのアクチュエータを駆動する駆動モジュールが提供される。
【図面の簡単な説明】
【００４１】
【図１】本発明に従って振動−動力学的効果をバーチャルリアリティセッションに同期させるシステムの略図である。
【図２】振動−動力学的効果をバーチャルリアリティセッションに同期させる方法の流れ図である。
【図３】図１のシステムと関連して使用可能な運動プラットホームの一実施形態の斜視図である。
【発明を実施するための形態】
【００４２】
図面を参照し、特に図１および図３を参照すると、運動プラットホームの振動−動力学的効果をバーチャルリアリティセッションに同期するシステムが符号１０で示されている。一例を挙げると、システム１０からの信号を受け取る運動プラットホームは、図３に示されているような運動シミュレータを含むのが良い。運動シミュレータは、１組の運動に従ってその出力を動かすよう作動信号を受け取る形式のものである。例えば、運動シミュレータは、ビデオまたは音声出力と同期して動く形式のものであるのが良く、実施されるべき動きを表す運動信号は、コントローラから受け取られる。図示の実施形態では、運動シミュレータは、ユーザを着座させることができるシート部分１１を備えたシート（座席）を有する。他の座る人を支持する構造体、例えばプラットホームが含まれても良いが、説明を簡単にするために、本願ではシート部分１１という表現を用いる。
【００４３】
シート部分１１は、肘掛け、座席、および背もたれを含むものとして示され、これは、シート部分１１が単一のユーザ、多数のユーザ、用のものであり、ベンチなどであっても良いので、考えられる多くの形態のうちの１つである。運動シミュレータは、出力、すなわちシート部分１１を地面に対して支持する手段としての作動システム１２を更に有する。作動システム１２は、その種々のコンポーネントを隠すケーシングを有するものとして示されており、ただし、直線アクチュエータ１３が部分的に見える。作動システムは、出力、すなわちシート部分１１を地面から支持するこれら直線アクチュエータ１３のうちの１つまたは２つ以上を含むのが良い。一実施形態では、直線アクチュエータ１３は、ボードスクリューシステムを備える形式の電気機械的アクチュエータであり、但し他形式の直線アクチュエータを使用することができる。変形例として、図３の運動シミュレータに関し、電気機械的直線アクチュエータ１３に代えて油圧または空気圧シリンダを用いても良い。図３の運動シミュレータは、運動シミュレータに関して考えられる多くの形態のうちの１つである。例えば、運動シミュレータは、飛行シミュレータ実施形態では、シート部分に代えてプラットホームもしくは構造体または並列マニピュレータまたは同様なロボット用途の場合にエンドエフェクタを支持することができる。運動シミュレータは、以下に説明するように音声もしくはビデオ出力またはバーチャルリアルティセッションと同期して運動を実施する際に作動システム１２を駆動するための運動成分を含むディジタル信号を受け取るのに必要なエレクトロニクスを有するのが良い。
【００４４】
本明細書の文脈において、振動−動力学的効果は、運動プラットホームにより実施されてユーザに間隔フィードバックとして提供される振動および／または変位を意味している。非限定的な例を挙げると、振動−動力学的効果は、１ミクロン〜２００ｍｍの低振幅往復動または振動であるのが良く、これは、低い周波数スペクトル成分、例えば０〜５Ｈｚ、２０〜１００Ｈｚまたは０〜２００Ｈｚを有する場合があり、しかも１つまたは２つ以上の次元またはチャンネルを含む場合がある。一実施形態によれば、振動−動力学的効果は、エンコードされた効果である。
【００４５】
システム１０は、運動プラットホーム３０（例えば、図３の運動シミュレータ）に運動プラットホーム３０によって実施されるべき振動−動力学的効果を表す運動信号を送る運動コントローラ２０を装備している。運動プラットホーム３０は、振動−動力学的効果をユーザに与える１つまたは２つ以上のアクチュエータを含むシステムを意味している。図３の実施例に加えて、運動プラットホームは、種々の形態を取ることができ、例えば構造体に対して人々を持ち上げる振動動力学的プラットホーム、シートを支持する運動プラットホーム、慣性シェーカ付きの椅子、触覚フィードバックをもたらす携帯型触覚ディスプレイ、ベストに埋め込まれる着用可能なアクチュエータなどであって良い。アクチュエータは、種々の形式のものであって良く、例えば直線アクチュエータ、回転アクチュエータ、ボイスコイルアクチュエータ、共振アクチュエータ、慣性アクチュエータなどであり、かかるアクチュエータは、種々の源、例えば電気源（電気機械的源を含む）、空気圧源、油圧源などから動力供給可能である。運動信号は、音声ビジュアル出力の視聴に基づいてプログラムされた運動プログラムまたは運動トラックから出力され、かかる運動信号は、プログラムされた振動−動力学的効果を音声ビジュアル出力で実行する運動プラットホーム３０のアクチュエータを駆動するためのアクチュエータ駆動命令を含む。運動信号に関する他の名称としては、振動動力学的信号、運動コード、運動サンプル、運動のデータパケットなどが挙げられる。したがって、運動プラットホーム３０は、運動コントローラ２０から受け取った運動信号をアクチュエータによって実施される動きを制御する信号に変換して運動プラットホーム３０のシートまたはプラットホームを変位させるためにディジタル信号プロセッサおよび／またはドライバを有するのが良い。
【００４６】
バーチャルリアルティ（ＶＲ）セッションは、モバイルバーチャルリアリティプロセッサＡによって作られる。モバイルＶＲプロセッサＡは、ヘッドホンＢ（ヘッドセットＢとも呼ばれる）およびヘッド取り付け型ディスプレイＣによって没入型バーチャル環境を生じさせる。バーチャル環境は、サラウンドビデオプログラムまたはムービーおよび音声プログラムまたはトラックを有する。モバイルＶＲプロセッサＡまたはヘッド取り付け型ディスプレイは、バーチャル環境内での着用者の向きを追跡するために慣性測定ユニット（ＩＭＵ）を備えた形式のものであるのが良い。一実施形態では、ＶＲプロセッサＡは、ヘッド取り付け型ディスプレイＣの一体部分である。着用者の向きの追跡はまた、着用者の動きを追跡するカメラまたは同様なセンサを含む光学追跡システムによって実施できる。例えば、着用者および／またはヘッド取り付け型ディスプレイＣは、着用者の向きをコンピュータ計算するようカメラによって追跡される追跡可能な基準を備えるのが良い。これは、例えば、ＩＭＵの代替手段であって良い。ＩＭＵの出力または追跡システムからの追跡を用いて、ビデオ出力は、バーチャル環境内における着用者の視点（ＰＯＶ）に基づいて調整される。同様に、ＩＭＵの出力のために、着用者は、バーチャル環境内における着用者のＰＯＶに合わせて調節される音声出力をヘッドセットＢ内に受け取る。それゆえ、モバイルＶＲプロセッサＡは、ヘッドセットＢについてマルチチャンネル音声出力を生じさせる。一実施形態によれば、マルチチャンネル音声出力は、ステレオ出力用の左側および右側チャンネルを備える。ヘッドセットＢは、イヤホン、ヘッドホン、スピーカホンなどの形態を取るのが良い。一実施形態によれば、ヘッドセットＢは、ＶＲ機器の単一の部品としてヘッド取り付け型ディスプレイＣと一体である。
【００４７】
モバイルＶＲプロセッサＡおよびヘッド取り付け型ディスプレイＣは、任意適当な形態のものであって良い。例えば、ヘッド取り付け型ディスプレイＣは、モバイルデバイス、例えばスマートホン、タブレット、携帯型メディアプレーヤーを支持したレンズ付きのヘッド支持体を備えるのが良い。したがって、モバイルデバイスは、処理能力をもたらすモバイルＶＲプロセッサＡ、向きを追跡するＩＭＵ、およびバーチャルリアルティセッションを作動させるスクリーンであるのが良い。かかる環境では、ヘッドセットＢは、標準ステレオ音声コネクタ（例えば、ＴＲＳコネクタ）または任意他形式のマルチチャンネルコネクタによりモバイルＶＲプロセッサＡに接続されるのが良い。変形例として、音声出力は、ワイヤレス技術、例えばブルートゥース（Bluetooth）（商標）またはＷｉＦｉを用いてヘッドセットＢによって受信されても良い。モバイルＶＲプロセッサＡは、モバイル装置、ラップトップ、デスクトップなどの形態を取っているにせよそうでないにせよいずれにせよ、それ自体のスクリーンを備えたスタンドアロン型ヘッド取り付け型ディスプレイＣにビデオ出力を提供することができる。
【００４８】
運動コントローラ２０は、ＶＲ音声ビジュアルプログラム（簡単にするためにＶＲプログラムという）を識別するとともにＶＲセッションと同期したメディアのための運動センサを出力しまたは運動センサで作動システム１２を駆動する機能を実行する。したがって、運動コントローラ２０は、これらの機能を実行するために適当な処理能力を備えたプロセッサであり、かかる運動コントローラは、ＶＲプログラムアイデンティティおよび関連運動信号を得て運動信号を運動プラットホーム３０に出力するためにデータベース、電気通信能力およびハードウェアを更に有するのが良い。
【００４９】
運動コントローラ２０は、ＶＲプログラムからマルチチャンネル音声出力を受け取る音声ミキシングモジュール２１を有する。一実施形態によれば、運動コントローラ２０は、ステレオ音声出力を得るためにヘッドセットライン中に直接タップする。別の実施形態によれば、運動コントローラ２０は、音声出力をワイヤレスで受け取ることができる。音声ミキシングモジュール２１は、認識可能な音声トラックを生じさせるためにミキシング機能を実行する。一実施形態によれば、音声ミキシングモジュール２１は、音声トラックの種々のチャンネルのシーケンス部分（すなわち、順次部分）を連続的に組み合わせてモノラルチャンネルにする。音声ミキシングモジュール２１は、モバイルＶＲプロセッサＡの一部であるのが良く、その結果、運動コントローラＡは、ミキシングされた音声トラックを受け取る。
【００５０】
オプションとして抵抗器を用いてチャンネルワイヤを互いに接続することによって単純なミキシング技術、例えばアナログ加算を使用することができる。より複雑なチャンネルミキシング技術、例えばディジタル信号処理（ＤＳＰ）、加重和および加重平均を用いることができる。以下の数学的表現は、チャンネルＣｎおよびそれぞれの重みｗｎからミキシングされた信号Ｍを生じさせる加算和の一形態を表していると言える。
Ｍ＝ｗ１・Ｃ１＋ｗ２・Ｃ２＋ｗ３・Ｃ３＋ｗ４・Ｃ４＋ｗ５・Ｃ５＋ｗ６・Ｃ６
【００５１】
上述の数学的表現は、必要に応じてこれよりも多いまたは少ないチャンネルに合うよう変形可能である。一実施形態では、重みｗｎは、−１〜＋１の１０進値であり、負の値は、チャンネル成分を実質的に減算する。重みｗｎは、静的（プロセス全体を通じて一定である）であっても良く動的（各音声サンプル相互間でまたはそれほど頻繁ではなくアップデートされる）であっても良い。重みの動的アップデートは、種々のＤＰＳ技術、例えばチャンネルフィルタリング、エンベロープ分析およびスペクトル分析に基づくのが良い。さらに、種々の処理、例えばディジタルまたはアナログフィルリングをミキシング前またはミキシング後に個々のチャンネルに利用することができる。一実施形態では、アナログフィルタリングは、ＤＣバイアスを入力チャンネルから除去するために使用される。別の実施形態では、ディジタルフィルタリングは、ミキシングされた出力中の人間の音声の存在を減少させるために用いられる。別の実施形態によれば、ミキシングモジュール２１は、各々が各ミキシングバリエーションのための多数のミキシングされた音声トラックを生じさせる。非限定的な例として、出力は、付加混合（アディティブミックス）、１つの減法混合（サブトラクティブミックス）、人間の音声を濾波して除去した１つの付加混合を含むのが良い。
【００５２】
別の実施形態では、ミキシングユニット２１は、６つの入力音声チャンネル（５．１チャンネル形態）を受け取って前−左および前−右チャンネルだけを平均した第１のミキシングされた出力、前−左、前−右および前−中央チャンネルを平均した第２のミキシングされた出力、および人間の音声を濾波して除去した状態での前−左および前−右チャンネルの第３のミキシングされた出力を生じさせる。
【００５３】
識別子モジュール２２がミキシングされた音声トラックを用いてＶＲプログラム時間位置を得または識別する。例えば、ミキシングされた音声トラックを用いて、識別子モジュール２２は、ＶＲプログラムのアイデンティティおよびＶＲプログラムの時間位置（例えば、００：０２：３７．１２）を識別しまたは得ることができよう。一実施形態によれば、識別子モジュール２２は、ミキシングされた音声トラックのシーケンス部分のフィンガープリントを作り、そしてミキシングされた音声トラックのこのフィンガープリント（すなわち、ミキシングされた音声トラックのシーケンス部分のシグネチャ）を対応したまたは互換性のあるフォーマットでＶＲプラグラム音声トラックのフィンガープリントのデータベースと比較することによってＶＲプログラムおよびその時間位置を識別する。これは、ＶＲプログラム時間位置を識別するために識別子モジュール２２によって用いられる種々の方式のうちの１つである。例えば、本出願人名義の米国特許第８，７７３，２３８号明細書は、メディア時間位置を識別するための種々の方式を示唆しており、この米国特許を参照により引用し、その記載内容を本明細書の一部とする。識別は、最初にＶＲプログラムを識別し、次に時間位置を識別する段階を含むのが良い。かかる構成では、識別子モジュール２２は、ＶＲプログラムを識別するために第１の大まかなデータベースで比較サーチを実施し、そして識別されたＶＲプログラムの進行中の時間位置を正確に見出すために第２の細かいデータベースで比較サーチを行うのが良い。説明を簡単にするために、ＶＲプログラムアイデンティティデータベース４０は、単一のデータベースとして示されているが、これは、互いに異なるデータベースであっても良い。したがって、識別子モジュール２２は、互いに異なるフィンガープリント、例えば大まかなフィンガープリントおよび細かいフィンガープリントを生じさせることができる。幾つかの場合、ＶＲプログラムアイデンティティデータベース４０は、管理可能なサイズのものであり、その結果、識別子モジュール２２は、第１ステップとしてＶＲプログラムを識別する必要はなく、これに代えて、運動信号出力と進行中のＶＲセッションのリアルタイム同期に影響を及ぼさない状態で利用可能なＶＲプログラムの時間位置フィンガープリントのデータベース中のフィンガープリント対応性を識別することができる。
【００５４】
一実施形態によれば、識別子モジュール２２は、ミキシングされた音声トラックの受け取り部分のフィンガープリントをコンピュータ計算することによりミキシングされた音声トラックのシーケンス部分のフィンガープリントを作ることによってＶＲプログラムおよびその時間位置を識別する。フィンガープリントをコンピュータ計算する際、ミキシングされた音声トラックのフィンガープリントをミキシングされた音声トラックの波形に一義的に対応したコードとして生成されるのが良い。換言すると、識別子モジュール２２は、フィンガープリント技術を利用してフィンガープリントを時間位置のところでミキシングされた音声トラックを一義的に表すコード化識別として生成することができる。かかる一義的なコード（すなわち、コード化識別子）を生じさせる際、フィンガープリントを生成する元となったミキシングされた音声信号の対応の波形は、ＶＲプログラムおよびデータベース４０中の基準フィンガープリントの比較によって識別可能である。変形例として、フィンガープリントを得ることは、基準時間位置のところのミキシングされた音声トラックの部分のフィンガープリントについてコード化識別子を運動信号から直接検索する段階から成るのが良い。別の実施形態によれば、識別子モジュール２２は、ミキシングされた音声トラックのセグメントをＶＲプログラムアイデンティティデータベース４０に送り、このデータベース内において、識別（例えば、フィンガープリントの生成、比較など）が実施され、識別子モジュール２２は、ＶＲプログラムのアイデンティティおよび時間位置を得る。
【００５５】
かなり大きいデータベースに関し、システム１０は、識別ステップを加速するために種々の方式を使用することができる。別の実施形態によれば、ＶＲプログラムアイデンティティサーチは、サーチを狭めて潜在的に識別プロセスを加速するためにデータベースの減少部分で実施されるのが良い。例えば、振動−動力学的効果のユーザは、初めから音声−ビジュアルプログラムを監視する傾向がある。したがって、プログラムアイデンティティサーチは、音声−ビジュアルプログラムの最初の数秒間または数分間でフィルタリングを行うことにより狭められるのが良い。この大まかな仕方で、音声−ビジュアルプログラムを識別すると、システム１０は、次に、識別されたプログラム中の時間部分の細かい識別に進むことができる。
【００５６】
同様に、別の実施形態では、ＶＲプログラムアイデンティティデータベースは、ユーザに利用可能な全ての音声−ビジュアルプログラムの最初の数秒間または数分間に関連付けられた第１のデータベースおよびユーザに利用可能な全ての音声−ビジュアルプログラムのコンテンツ全体に関連付けられた第２のデータベースを含み、これら両方のデータベースは、再生音声−ビジュアルプログラムを識別しようとして調べられる。第１のデータベースは、小さく、そのルックアップが迅速に進むことができるが、プログラムの最初の数秒間または数分間以内であるに過ぎない。第１のデータベースが整合を見出さなかった場合、第２のデータベース中のルックアップは、その余分のサイズが与えられた追加のコンピュータ計算時間後に最終的に進むのが良い。
【００５７】
別の例として、システム１０によるサーチを狭めることは、フィルターパラメータして時間を用いるのが良い。確かに、テレビジョンネットワーク（オンデマンドサービスとは対照的に）が１時間でまたは３０分でプログラムを開始する傾向があるので、サーチは、アイデンティティサーチを狭めるためにクロック時間を考慮に入れてサーチが午後７時１５分または午後７時４５分に開始されたとき、例えばプログラムを１５分間前後（例えば、±５分）サーチすることができる。
【００５８】
別の実施形態によれば、識別子モジュール２２は、多数回の識別のためにミキシングモジュール２１からの多数のミキシングされた出力を用いる。多数回の識別を順次（次々と）または並行して（同時に）実施されるのが良い。次に、単一の時間位置を戻すアルゴリズムを用いて多数回の識別の各々からの結果を組み合わせる。かかるアルゴリズムの非限定的な例としては、大抵の場合、過去の統計データに基づいて再生されたメディアからの時間位置を保つことが挙げられる。一実施形態では、識別子モジュール２２は、前−左および前−右チャンネルのミキシングに関連付けられた第１のデータベース、前−左、前−右および前−中央チャンネルのミキシングに関連付けられた第２のデータベース、および前−左および人間の音声が濾波されて除去された状態の前−左および前−右チャンネルのミキシングに関連付けられた第３のデータベースを同時に調べる。
【００５９】
システム１０による上述のサーチを狭めるストラテジは、ＶＲプログラムへの利用には限定されず、家庭用、劇場用および／または商業用セッティングにおいてムービー、テレビジョンショーなどに利用可能である場合がある。同様に、本明細書において説明した音声ミキシングは、ＶＲプログラムには限定されない。
【００６０】
データベース４０は、運動コントローラ２０の一部であっても良くあるいは図１に示された仕方で別個のクラウドデータベースであっても良い。したがって、運動コントローラ２０は、ＶＲプログラムアイデンティティデータベース４０にアクセスするためにその電気通信能力を使用するのが良い。データベース４０への追加に供されるフィンガープリントは、ＶＲプログラムまたはその均等物のミキシングされた音声トラックを用いてあらかじめプログラミングする際に作られ、それにより識別子モジュール２２のフィンガープリントとＶＲプログラムアイデンティティデータベース４０への追加に供されるフィンガープリントとの一致を保証する。さらに、上述したように、データベース４０は、フィンガープリント比較調査能力を含むのが良く、その結果、ミキシングされた音声トラックからのフィンガープリントを作り、比較サーチサービスとの通信を行い、そしてフィンガープリントに対応した時間位置を得るというタスクが識別子モジュール２２に課される。
【００６１】
ＶＲプログラム時間位置がミキシングされた音声トラックからいったん識別されると、運動提供モジュール２３は、固有の時間位置に対応し、かくしてバーチャルリアリティプログラムと同期された運動信号をもたらすことになる。運動提供モジュール２３は、運動コントローラ２０の一部であるのが良い運動信号データベース５０にアクセスすることができまたは例えばクラウドの一部としてスタンドアロン型データベースであるのが良い。例えば、ＶＲプログラムアイデンティティデータベース４０および運動信号データベース５０は、単一のデータベースに組み合わされても良くまたは組み合わされなくても良い。運動コントローラ２０は、運動プラットホームのアクチュエータを駆動する駆動モジュールを更に含むのが良い。
【００６２】
ＶＲプログラム時間位置に対応した運動信号を得た運動提供モジュール２３は、運動信号を運動プラットホーム３０の作動システムに出力する。運動コントローラ２０の作動は、ＶＲセッションと同期されるべき運動プラットホーム３０の作動を実行可能にする速度で実施され、それにより、運動レンダリングは、リアルタイムでありまたは準リアルタイムである。さらに、運動レンダリングは、運動プラットホーム３０に向かって一定のペースで充填されることのないモーションバッファを満たされることがない運動バッファを満たすためにリアルタイムよりも速い速度で実施されるのが良い。このバッファリングは、運動処理のタイミングの不規則性、例えばＣＰＵ中断またはクラウドとの通信遅延を補償するために使用されるのが良い。かかるバッファの非限定的な例は、ジッタバッファまたは再サンプリングバッファであるのが良い。
【００６３】
一例を挙げると、運動コントローラ２０は、スタンドアロン型ユニット（専用ハードウェア、ＰＣタブレットなど）の一部であっても良く、運動シミュレータ（図３）に一体化されても良く、あるいはモバイルデバイスＡの一部であるモジュールであっても良い。
【００６４】
図２を参照すると、振動−動力学的効果をバーチャルリアルティセッションと同期させる方法が符号６０で示されている。この方法６０は、上述したＶＲセッティングを含む図１のシステム１０を用いるとともにコンピュータシステムの１つまたは２つ以上のプロセッサを用いて実施されるのが良く、但し、他のシステムおよび他の構成例もまた使用できる。方法６０のステップのうちの少なくとも幾つかは、運動信号の出力を再生中のバーチャルリアリティプログラムと同期するための方法を実施するようコンピュータによって実行可能な記述および命令が記録された非一過性コンピュータ可読メモリ（図示せず）の一部であるのが良い。
【００６５】
符号６１によれば、ＶＲ音声出力を得る。一実施形態では、これは、マルチチャンネル音声出力の全てのチャンネルを含む。
【００６６】
符号６２では、マルチチャンネルＶＲ音声出力をミキシングする。一実施形態によれば、マルチチャンネルを組み合わせて単一のモノラルチャンネルにする。一実施形態では、ステップ６２におけるようにマルチチャンネルＶＲ音声出力のミキシングは、ＶＲ音声出力が得られる前に（ミキシングされた音声トラックとして）起こるのが良い。オプションとして抵抗器を用いてチャンネルワイヤを互いに接続することによって単純なミキシング技術、例えばアナログ加算を使用することができる。より複雑なチャンネルミキシング技術、例えばディジタル信号処理（ＤＳＰ）、加重和および加重平均を用いることができる。以下の数学的表現は、チャンネルＣｎおよびそれぞれの重みｗｎからミキシングされた信号Ｍを生じさせる加算和の一形態を表していると言える。
Ｍ＝ｗ１・Ｃ１＋ｗ２・Ｃ２＋ｗ３・Ｃ３＋ｗ４・Ｃ４＋ｗ５・Ｃ５＋ｗ６・Ｃ６
【００６７】
上述の数学的表現は、必要に応じてこれよりも多いまたは少ないチャンネルに合うよう変形可能である。一実施形態では、重みｗｎは、−１〜＋１の１０進値であり、負の値は、チャンネル成分を実質的に減算する。重みｗｎは、静的（プロセス全体を通じて一定である）であっても良く動的（各音声サンプル相互間でまたはそれほど頻繁ではなくアップデートされる）であっても良い。重みの動的アップデートは、種々のＤＰＳ技術、例えばチャンネルフィルタリング、エンベロープ分析およびスペクトル分析に基づくのが良い。さらに、種々の処理、例えばディジタルまたはアナログフィルリングをミキシング前またはミキシング後に個々のチャンネルに利用することができる。一実施形態では、アナログフィルタリングは、ＤＣバイアスを入力チャンネルから除去するために使用される。別の実施形態では、ディジタルフィルタリングは、ミキシングされた出力中の人間の音声の存在を減少させるために用いられる。
【００６８】
符号６３によれば、ＶＲプログラム時間位置をミキシングされた音声トラックから得または識別する。これは、単一のステップでまたは多数のサブステップで実施されるのが良い。ＶＲプログラム時間位置を得るステップおよび／または識別するステップは、ミキシングされた音声トラックのシーケンス部分に関するフィンガープリントを作り、ミキシングされた音声トラックのフィンガープリントまたはシーケンス部分を遠隔データベースのサーチエンジンに伝達し、かつ／あるいはミキシングされた音声トラックのフィンガープリントまたはシーケンス部分をＶＲプログラムのデータベースと遠隔にまたは局所的に比較してＶＲプログラムおよびその時間位置を識別するステップを含むのが良い。これらの作用のうちの幾つかは、例えばＶＲプログラムアイデンティティデータベースのサイズおよび処理能力に応じて、単一のステップでまたは多数のサブステップで実施されるのが良い。
【００６９】
符号６４によれば、ＶＲプログラム時間位置を識別すると、再生されたＶＲプログラムの進行中の時間位置についてＶＲプログラム時間位置に対応した運動信号を得る。中間位置を別個のステップとして得ることがオプションであるような仕方でステップ６３とステップ６４を組み合わせても良い。かかる組み合わせでは、単一のデータベースを用いると、フィンガープリント（時間位置を本来的に表すフィンガープリント）を調べて運動信号を得ることができる。
【００７０】
符号６５によれば、次に、運動信号を運動プラットホームの作動システムに出力する。これは、ドライバが運動コントローラ２０に組み込まれた場合には運動プラットホームのアクチュエータの駆動を含むのが良い。これらのステップがリアルタイムで実施されると、運動信号の出力を進行中のバーチャルリアリティセッションに同期させる。１つまたは２つ以上の運動バッファが用いられる場合、運動プラットホーム出力からの時間位置情報をＶＲプログラムからの時間位置情報と比較するのが良く、その目的は、運動信号ＶＲプログラムと同期させることにある。かかる同期では、バッファの非充填ペースを調節しまたは運動信号を再サンプリングし運動出力速度を調節することが必要である。次に、運動信号を用いて運動プラットホームの振動−動力学的効果をＶＲセッションで作動させる。
【００７１】
本明細書において説明した方法およびシステムを特定の順序で実施される特定のステップを参照して説明するとともに図示したが、理解されるように、これらのステップを組み合わせ、分割しまたは再順序付けして本発明の教示から逸脱することなく、均等な方法を構成することができる。したがって、ステップの順序およびグループ化は、本発明に対する限定とはならない。
【００７２】
本発明の上述の実施形態の改造例および改良例は、当業者には明らかであると言える。例えば、本発明は、音声出力を一般的な用語で記載しているが、この表現は、音声トラックの連続したシーケンス部分を含むことができる。上記説明は、本発明を限定するものではなく例示であることが意図されている。本発明の範囲は、特許請求の範囲の記載にのみ基づいて定められる。
【図１】
2018535627.tif 000003
【図２】
2018535627.tif 000004
【図３】
2018535627.tif 000005
【国際調査報告】
2018535627.tif 000006
2018535627.tif 000007