(57)【特許請求の範囲】
【請求項１】
仮想現実ＶＲシーンでのキャラクターシミュレーション方法であって、
前記ＶＲシーンで歌手プレイヤーの手モデルによってトリガーされるキャラクター取得指令を取得し、前記ＶＲシーンでの前記手モデルの移動はインタラクションコントローラーによって制御されることと、
前記キャラクター取得指令に従って前記ＶＲシーンから仮想キャラクターを確定することと、
前記ＶＲシーンで再生される音楽ファイルの音楽リズムと、前記音楽リズムに従って現れるバブルを観客プレイヤーが打つ動作とに従って、前記ＶＲシーンでの前記観客プレイヤーの仮想プロップを動的に調整することと、
ＶＲディスプレイによって、前記ＶＲシーンでの前記仮想キャラクターを表示するとともに、動的に調整された前記仮想プロップを表示することと、
を含むことを特徴とする方法。
【請求項２】
前記ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得することは、
前記ＶＲシーンで前記手モデルによって選択された歌い待ち歌を検出し、前記歌い待ち歌を歌リストに追加することと、
前記手モデルの選択操作に従って前記キャラクター取得指令を確定することと、
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記キャラクター取得指令に従って前記ＶＲシーンから仮想キャラクターを確定することは、
前記歌リストに従って前記仮想キャラクターの歌う順番を確定することと、
前記歌う順番に従って前記仮想キャラクターの歌う順番になった場合、前記仮想キャラクターの現在のキャラクター状態が歌手キャラクターであると確定し、マイクを有効にすることと、
前記歌う順番に従って前記仮想キャラクターの歌う順番ではない場合、前記仮想キャラクターの現在のキャラクター状態が観衆キャラクターであると確定することと、
を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記方法はさらに、
歌データベースから歌い待ち歌の伴奏ファイルと歌詞ファイルを取得することと、
前記マイクによって前記歌手キャラクターが歌う音声ファイルを採集することと、
前記伴奏ファイル、前記歌詞ファイル及び前記音声ファイルに従って前記ＶＲシーンで再生される音楽ファイルを確定することと、
を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記ＶＲシーンで再生される音楽ファイルに従って前記ＶＲシーンでの仮想プロップを動的に調整することは、
前記音楽ファイルの音楽リズムに従って倍率パラメータを確定することと、
前記倍率パラメータを使用して前記ＶＲシーンでの仮想プロップを動的に調整することと、
を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記倍率パラメータを使用して前記ＶＲシーンでの仮想プロップを動的に調整することは、
前記倍率パラメータに基づいて前記仮想プロップの調整周期を計算すること、
を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記方法は、
前記倍率パラメータを使用してオリジナルマスクテクスチャマップを乗算して、動的なマスクテクスチャマップを取得することと、
前記動的なマスクテクスチャマップと前記ＶＲシーンのオリジナルカラーテクスチャマップを乗算して、前記ＶＲシーンの実際のカラーテクスチャマップを取得することとであって、前記実際のカラーテクスチャマップは前記ＶＲシーンでの実際のカラーを表す、ことと、
を含むことを特徴とする請求項５に記載の方法。
【請求項８】
前記仮想プロップは、前記ＶＲシーンでのインタラクションプロップを含み、
前記動的に調整された前記仮想プロップを表示することは、
前記インタラクションコントローラーの移動によって前記ＶＲシーンでの前記インタラクションプロップの移動を制御することと、
前記インタラクションプロップの移動情報を採集し、前記移動情報には、速度、角速度、加速度及び角加速度のうち少なくとも１つの情報が含まれることと、
前記移動情報に従って、前記ＶＲシーンで前記インタラクションプロップが音を発するかどうかを制御することと、
を含むことを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記移動情報に従って前記ＶＲシーンで前記インタラクションプロップが音を発するかどうかを制御することは、
予め設置された発声判断条件に基づき、前記発声判断条件には、速度閾値条件、角速度閾値条件、加速度閾値条件及び角加速度閾値条件のうち少なくとも１つの閾値条件が含まれることと、
前記移動情報が前記発声判断条件を満たすかどうかに基づくことと、
前記移動情報が前記発声判断条件を満たす場合、前記インタラクションプロップを前記ＶＲシーンで音を発するように制御することと、
前記移動情報が前記発声判断条件を満たさない場合、前記インタラクションプロップを前記ＶＲシーンで音を発しないように制御することと、
を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記仮想プロップは、前記ＶＲシーンでのインタラクションプロップを含み、
前記動的に調整された前記仮想プロップを表示することは、
前記インタラクションコントローラーの移動によって前記ＶＲシーンでの前記インタラクションプロップの移動を制御することと、
前記ＶＲシーンでの前記インタラクションプロップと別の仮想プロップとの衝突が命中するかどうかを事前に判定することと、
前記インタラクションプロップが前記別の仮想プロップによって衝突命中されると事前に判定される場合、衝突特殊効果情報に従って衝突音を再生することと、
を含むことを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項１１】
前記動的に調整された前記仮想プロップを表示することはさらに、
前記衝突特殊効果情報に従って衝突音を再生した後、前記インタラクションコントローラーによって、衝突が成功した振動フィードバックメッセージを送信すること、
を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
端末装置であって、
ＶＲシーンで歌手プレイヤーの手モデルによってトリガーされるキャラクター取得指令を取得するための取得モジュールであって、前記ＶＲシーンでの前記手モデルの移動はインタラクションコントローラーによって制御される取得モジュールと、
前記キャラクター取得指令に従って前記ＶＲシーンから仮想キャラクターを確定するためのキャラクター確定モジュールと、
前記ＶＲシーンで再生される音楽ファイルの音楽リズムと、前記音楽リズムに従って現れるバブルを観客プレイヤーが打つ動作とに従って前記ＶＲシーンでの前記観客プレイヤーの仮想プロップを動的に調整するためのプロップ調整モジュールと、
ＶＲディスプレイによって、前記ＶＲシーンでの前記仮想キャラクターを表示するとともに、動的に調整された前記仮想プロップを表示するための表示モジュールと、
を含むことを特徴とする端末装置。
【請求項１３】
前記取得モジュールは、さらに、前記ＶＲシーンで前記手モデルによって選択される歌い待ち歌を検出し、前記歌い待ち歌を歌リストに追加し、前記手モデルの選択操作に従って前記キャラクター取得指令を確定する、
ことを特徴とする請求項１２に記載の端末装置。
【請求項１４】
前記キャラクター確定モジュールは、さらに、前記歌リストに従って、前記仮想キャラクターの歌う順番を確定し、前記歌う順番に従って前記仮想キャラクターの歌う順番になった場合、前記仮想キャラクターの現在のキャラクター状態が歌手キャラクターであると確定し、マイクを有効にし、前記歌う順番に従って前記仮想キャラクターの歌う順番ではない場合、前記仮想キャラクターの現在のキャラクター状態が観衆キャラクターであると確定する、
ことを特徴とする請求項１３に記載の端末装置。
【請求項１５】
前記端末装置はさらに、歌データベースから歌い待ち歌の伴奏ファイルと歌詞ファイルを取得し、前記マイクによって前記歌手キャラクターが歌う音声ファイルを採集し、前記伴奏ファイル、前記歌詞ファイル及び前記音声ファイルに従って前記ＶＲシーンで再生される音楽ファイルを確定するための音楽ファイル取得モジュールを含む、
ことを特徴とする請求項１４に記載の端末装置。
【請求項１６】
前記プロップ調整モジュールは、さらに、前記音楽ファイルの音楽リズムに従って倍率パラメータを確定し、前記倍率パラメータを使用して前記ＶＲシーンでの仮想プロップを動的に調整する、
ことを特徴とする請求項１２に記載の端末装置。
【請求項１７】
前記プロップ調整モジュールは、さらに、前記倍率パラメータに基づいて前記仮想プロップの調整周期を計算する、
ことを特徴とする請求項１６に記載の端末装置。
【請求項１８】
前記プロップ調整モジュールは、さらに、前記倍率パラメータを使用してオリジナルマスクテクスチャマップを乗算して、動的なマスクテクスチャマップを取得し、前記動的なマスクテクスチャマップと前記ＶＲシーンのオリジナルカラーテクスチャマップを乗算して、前記ＶＲシーンの実際のカラーテクスチャマップを取得し、前記実際のカラーテクスチャマップは前記ＶＲシーンでの実際のカラーを表す、
ことを特徴とする請求項１７に記載の端末装置。
【請求項１９】
前記仮想プロップは、前記ＶＲシーンでのインタラクションプロップを含み、
前記表示モジュールは、さらに、前記インタラクションコントローラーの移動によって前記ＶＲシーンでの前記インタラクションプロップの移動を制御し、前記インタラクションプロップの移動情報を採集し、前記移動情報に従って、前記ＶＲシーンで前記インタラクションプロップが音を発するかどうかを制御し、前記移動情報には、速度、角速度、加速度及び角加速度のうち少なくとも１つの情報が含まれる、
ことを特徴とする請求項１２から１８のいずれか１項に記載の端末装置。
【請求項２０】
前記表示モジュールは、さらに、予め設置される発声判断条件に基づき、前記移動情報が前記発声判断条件を満たすかどうかに従って、前記移動情報が前記発声判断条件を満たす場合、前記インタラクションプロップを前記ＶＲシーンで音を発するように制御し、前記移動情報が前記発声判断条件を満たさない場合、前記インタラクションプロップを前記ＶＲシーンで音を発しないように制御し、前記発声判断条件には速度閾値条件、角速度閾値条件、加速度閾値条件及び角加速度閾値条件のうち少なくとも１つの閾値条件が含まれる、
ことを特徴とする請求項１９に記載の端末装置。
【請求項２１】
前記仮想プロップは前記ＶＲシーンでのインタラクションプロップを含み、
前記表示モジュールは、さらに、前記インタラクションコントローラーの移動によって前記ＶＲシーンでの前記インタラクションプロップの移動を制御し、前記ＶＲシーンでの前記インタラクションプロップと別の仮想プロップとの衝突が命中するかどうかを事前に判定し、前記インタラクションプロップが前記別の仮想プロップによって衝突命中されると事前に判定される場合、衝突特殊効果情報に従って衝突音を再生する、
ことを特徴とする請求項１２から１８のいずれか１項に記載の端末装置。
【請求項２２】
前記表示モジュールはさらに、前記衝突特殊効果情報に従って衝突音を再生した後、前記インタラクションコントローラーによって、衝突が成功した振動フィードバックメッセージを送信する、
ことを特徴とする請求項２１に記載の端末装置。
【請求項２３】
指令が含まれるコンピュータ可読記憶媒体であって、上記指令がコンピュータで実行される場合に、請求項１から１１のいずれか１項に記載の方法をコンピュータに実行させることを特徴とするコンピュータ可読記憶媒体。
【請求項２４】
プロセッサーと、メモリと、インタラクションコントローラーと、ＶＲディスプレイとを含む端末装置であって、
前記プロセッサー及び前記メモリはバスを介して互いに通信し、前記プロセッサーは無線ネットワークを介して前記インタラクションコントローラー及び前記ＶＲディスプレイと互いに通信し、
前記インタラクションコントローラーは、手モデルの移動を制御するためのものであり、
前記メモリはプログラム、指令及びデータを記憶するためのものであり、
前記プロセッサーは、前記メモリ内のプログラム、指令及びデータを呼び出し、請求項１から１１のいずれか１項に記載の方法を実行するように前記メモリ内の前記指令を実行する、
ことを特徴とする端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、通信分野に関し、特に、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）におけるキャラクターシミュレーション方法及び端末装置に関する。
【背景技術】
【０００２】
現在、ジュークボックスは広く使用されており、ジュークボックスの歌システムは、プレイヤーが歌ライブラリで歌いたい歌を選択することをサポートし、プレイヤーと歌システムとの間の簡単なインタラクションを実現することができる。しかしながら、現在、このような歌システムは主にスタンドアロン版であり、各プレイヤーは自分自身を楽しませるだけであって、「牛に向かって琴を弾く」ように機械に向かって歌うだけであり、没入感のある雰囲気はない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
カラオケは現在、人々にとって最も基本的なソーシャルエクスペリエンスの1つになっており、友人や家族は、常にＫＴＶなどの個室でパーティーしたりするが、地理位置に限られ、離れた２人が本物のＫＴＶの感覚を体験することは不可能である。
【０００４】
上記の分析によると、従来のジュークボックスとカラオケは、良い歌体験をプレイヤーに与えることができず、没入型のキャラクター体験をプレイヤーにもたらすことができない。
【課題を解決するための手段】
【０００５】
本発明の実施例はＶＲシーンでのキャラクターシミュレーション方法及び端末装置を提供し、ＶＲシーンのキャラクターシミュレーションを実現して、没入型のキャラクター体験をプレイヤーにもたらすことができる。
【０００６】
第１の態様では、本発明の実施例はＶＲシーンでのキャラクターシミュレーション方法を提供し、
前記ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得し、前記ＶＲシーンでの前記手モデルの移動がインタラクションコントローラーによって制御されることと、
前記キャラクター取得指令に従って前記ＶＲシーンから仮想キャラクターを確定することと、
前記ＶＲシーンで再生される音楽ファイルに従って前記ＶＲシーンでの仮想プロップを動的に調整することと、
ＶＲディスプレイによって、前記ＶＲシーンでの前記仮想キャラクターを表示するとともに、動的に調整された前記仮想プロップを表示することと、
を含む。
【０００７】
第２の態様では、本発明の実施例は端末装置を提供し、
前記ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得するための取得モジュールであって、前記ＶＲシーンでの前記手モデルの移動がインタラクションコントローラーによって制御される取得モジュールと、
前記キャラクター取得指令に従って前記ＶＲシーンから仮想キャラクターを確定するためのキャラクター確定モジュールと、
前記ＶＲシーンで再生される音楽ファイルに従って前記ＶＲシーンでの仮想プロップを動的に調整するためのプロップ調整モジュールと、
ＶＲディスプレイによって、前記ＶＲシーンでの前記仮想キャラクターを表示するとともに、動的に調整された前記仮想プロップを表示するための表示モジュールと、
を含む。
【０００８】
第３の態様では、本発明の実施例は端末装置をさらに提供し、前記端末装置は、プロセッサーと、メモリと、インタラクションコントローラーと、ＶＲディスプレイとを含み、前記プロセッサー及び前記メモリはバスを介して互いに通信し、前記プロセッサーは無線ネットワークを介して前記インタラクションコントローラー及び前記ＶＲディスプレイと互いに通信し、
前記インタラクションコントローラーは、手モデルの移動を制御するために使用され、
前記メモリはプログラム、指令及びデータを記憶するために使用され、
前記プロセッサーは、前記メモリ内のプログラム、指令及びデータを呼び出し、
前記ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得し、前記ＶＲシーンでの前記手モデルの移動がインタラクションコントローラーによって制御され、前記キャラクター取得指令に従って前記ＶＲシーンから仮想キャラクターを確定し、前記ＶＲシーンで再生される音楽ファイルに従って前記ＶＲシーンでの仮想プロップを動的に調整するために使用され、
前記ＶＲディスプレイは、前記プロセッサーの制御によって、前記ＶＲシーンでの前記仮想キャラクターを表示するとともに、動的に調整された前記仮想プロップを表示するために使用される。
【０００９】
本発明の第３の態様では、端末装置の構成モジュールは上記第１の態様及び様々な可能な実現態様で説明されるステップを実行することもでき、詳細について、上記の第１の態様及び様々な可能な実現態様の説明を参照されたい。
【００１０】
本出願の第４の態様では、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には指令が記憶され、上記指令がコンピュータで実行されるときに、上記の態様で説明される方法をコンピュータに実行させる。
【００１１】
上記の技術的解決策から、本発明の実施例には以下の利点があることが分かる。
本発明の実施例では、まず、ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得し、ＶＲシーンでの当該手モデルの移動がインタラクションコントローラーによって制御され、その後、キャラクター取得指令に従ってＶＲシーンから仮想キャラクターを確定し、次に、ＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整し、最後に、ＶＲディスプレイによって、ＶＲシーンでの仮想キャラクターを表示するとともに、動的に調整された仮想プロップを表示する。本発明の実施例におけるＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整することによって、ＶＲシーンでの仮想プロップは動的に調整されることができ、プレイヤーはＶＲシーンで再生される音楽ファイルを聞くときに、目を通して音楽ファイルに伴う仮想プロップの動的な調整を観察し、ＶＲシーンのキャラクターシミュレーションを実現して、没入型のキャラクター体験をプレイヤーにもたらすことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例によるＶＲシーンでのキャラクターシミュレーション方法のフローブロックの概略図である。
【図２】本発明の実施例による仮想コンサートシーンでの歌手キャラクターが歌を歌う処理フローの概略図である。
【図３】本発明の実施例による仮想コンサートシーンでの歌を歌うシーンの概略図である。
【図４】本発明の実施例による歌詞スクリーン、ステージ照明、観衆席表現が歌手キャラクターとインタラクションする概略図である。
【図５】本発明の実施例によるライトの動きと点滅を制御するための時間軸インタフェース図である。
【図６】本発明の実施例による動的的なマスクの処理フローの概略図である。
【図７ａ】本発明の実施例によるインタラクションプロップがサンドハンマーである実現シーンの概略図である。
【図７ｂ】本発明の実施例によるサンドハンマーの複数の状態の間の切り替えプロセスの概略図である。
【図８ａ】本発明の実施例によるインタラクションプロップがグロースティックである実現シーンの概略図である。
【図８ｂ】本発明の実施例によるグロースティックとバブルとの間の衝突の処理プロセスの概略図である。
【図９ａ】本発明の実施例による端末装置の概略構成図である。
【図９ｂ】本発明の実施例による他の端末装置の概略構成図である。
【図１０】本発明の実施例による他の端末装置の概略構成図である。
【発明を実施するための形態】
【００１３】
本発明の実施例は、ＶＲシーンでのキャラクターシミュレーション方法及び端末装置を提供し、ＶＲシーンでのキャラクターシミュレーションを実現して、没入型のキャラクター体験をプレイヤーにもたらすことができる。
【００１４】
以下、本発明の実施例について図面を参照しながら説明する。
【００１５】
本発明の明細書及び特許請求の範囲並びに上記の図面における用語「第１の」、「第２の」などは、類似する対象を区別するために使用され、必ずしも特定の順序又は前後順序を説明するために使用されない。このように使用される用語は、適切な状況で交換可能であり、本発明の実施例の説明において同じ属性のオブジェクトが記載される方法の説明に過ぎないことを理解すべきである。また、「含む」及び「有する」という用語及びそれらの任意変形は、一連のユニットを含むプロセス、方法、システム、製品又はデバイスが必ずしもこれらのユニットに限定されず、明示的にリストされていないか、又はこれらのプロセス、方法、製品又はデバイスに固有のその他のユニットが含まれるように、非排他的な包含を網羅することを意図している。
【００１６】
仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）技術は、仮想世界を作成及び体験できるコンピュータシミュレーションシステムであり、コンピュータを利用してシミュレーション環境を生成し、マルチソース情報融合のインタラクション型の３次元動的なビュー及びエンティティ動作のシステムシミュレーションであり、ユーザーを当該環境に没入させる。現在のＶＲ技術は主に、ＶＲゲームに適用されているが、本発明の実施例はＶＲシーンに基づいてキャラクターのシミュレーションを実現することができるので、プレイヤーはＶＲシーンで手モデルを使用してキャラクター制御を実行し、それによって、プレイヤーが仮想キャラクターを通して体験をすることができ、ＶＲシーンでキャラクターと仮想プロップを表示することもでき、これらの仮想プロップはＶＲシーンで再生される音楽ファイルに従って動的に調整でき、ＶＲの体験と操作方式により、プレイヤーに多くの自由度を与え、通常の歌唱システムと比べると、比類のない強い没入感がある。従来の技術では、遠く離れた２人にとって、一緒に本物のＫＴＶの感覚を体験することは非常に困難であった。本発明の実施例によって提供されるＶＲシーンでのキャラクターシミュレーションソリューションは、ユーザーが両目で仮想シーンを見るようにし、仮想のカラオケ体験を提供することができる。
【００１７】
本発明のＶＲシーンでのキャラクターシミュレーション方法の一実施例は、具体的に、ＶＲシーンで手モデルを使用して、ユーザーによるインタラクションコントローラーの使用の実感を体験するシーンに適用でき、本発明の実施例におけるＶＲシーンとは具体的に、ＶＲゲームシーンであってもよく、例えば、オフィスソフトウェアのＶＲアプリケーション操作シーン、キャラクターのＶＲアプリケーション操作シーンなどのアプリケーションプログラムのＶＲ操作シーンであってもよい。図１を参照すると、本発明の一実施例によって提供されるＶＲシーンでのキャラクターシミュレーション方法は、以下のステップを含むことができる。
【００１８】
１０１、ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得し、ＶＲシーンでの手モデルの移動がインタラクションコントローラーによって制御される。
【００１９】
本発明の実施例では、インタラクションコントローラーは、ＶＲ装置製造業者によって製造された制御装置であり、例えば、ユーザーは、左手と右手を使用してそれぞれ１つのインタラクションコントローラーを保持することができ、インタラクションコントローラーはＶＲ装置用の手コントロール装置であり、両手の位置、回転及び入力を追跡し、実空間での手の移動により、ＶＲでの手モデルの動作に変換して、取得した関連データをＶＲシーンで使用することができる。インタラクションコントローラーの測位は、測定空間における測定データへのリアルタイム統計によって取得でき、測定空間は、ＶＲハードウェア装置製造業者が製造した測位システムによって標定された実物理空間であり、通常は数平方メートルから数十平方メートルであり、測定空間は、当該実物理空間におけるインタラクションコントローラーの回転と移動を取得するために使用される。例えば、インタラクションコントローラーは、例えばＯｃｕｌｕｓ ＴｏｕｃｈなどのＶＲゲームでよく使用される操作ハンドルである。
【００２０】
本発明の実施例では、インタラクションコントローラーは、ユーザーによって手持ち操作でき、ユーザーはインタラクションコントローラーを握って制御指令を発することができ、例えば、ユーザーはインタラクションコントローラーを操作して、当該インタラクションコントローラーによって手モデルを制御してＶＲシーンでキャラクター取得指令をトリガーするようにする。その中、ＶＲシーンの表示前に、プレイヤーはキャラクターの選択を行うことができ、本発明の実施例では、ＶＲシーンで複数の異なる仮想キャラクターを設置することができ、各プレイヤーは、１つ又は複数の仮想キャラクターを制御することができ、各プレイヤーは、ＶＲシーンの部屋に入った後、それぞれのインタラクションコントローラーによって本プレイヤーに対応するキャラクターを選択することができ、即ち、各プレイヤーは、インタラクションコントローラーを使用して手モデルを制御して１つのキャラクター選択指令をトリガーする。異なるＶＲシーンについて、設置する必要のあるキャラクターの種類及びキャラクターモデルはともに異なり、例えば、ＶＲシーンがコンサートのキャラクターシミュレーションシーンである場合、観衆キャラクターと歌手キャラクター（例えば、スターキャラクター）を設置することができる。例えば、ＶＲシーンがゲーム対戦のキャラクターシミュレーションシーンである場合、味方チームと敵チームなどが含まれる複数のチームキャラクターを設置することができる。
【００２１】
なお、本発明の実施例では、インタラクションコントローラーはユーザーの手持ち制御によって指令のトリガーを行い、インタラクションコントローラーの指令トリガーは手モデルを制御してＶＲシーンで移動操作を行うようにし、インタラクションコントローラーの移動はユーザーによって制御でき、また、本発明の実施例では、手モデルは仮想キャラクターの一部に属してもよく、仮想キャラクターと独立してもよい。ＶＲシーンでの手モデルの移動は、インタラクションコントローラーによるトリガー操作をシミュレーションするために使用され、手モデルはＶＲシーンでまず手形として表示することができ、例えばグローブや指などの手の代わりにトリガー操作を行うゲームプロップであってもよい。
【００２２】
１０２、キャラクター取得指令に従って、ＶＲシーンから仮想キャラクターを確定する。
【００２３】
本発明の実施例では、プレイヤーはインタラクションコントローラーを操作して、インタラクションコントローラーは手モデルの移動を制御することができ、当該手モデルはキャラクター取得指令をトリガーし、当該キャラクター取得指令の要求によってＶＲシーンから仮想キャラクターを確定することができ、例えば、当該キャラクター取得指令にはキャラクタードロップダウンメニューのうちプレイヤーによって選択されたキャラクター名称及びキャラクター識別子が携帯され、当該キャラクター名称及びキャラクター識別子に従って当該ＶＲシーンで表示する必要のある仮想キャラクターを確定し、また、キャラクター取得指令に携帯されるパラメータ情報に従ってプレイヤーに要求されるファイル情報を入力し、当該ファイル情報によって、当該ＶＲシーンで表示する必要のある仮想キャラクターを確定することができる。
【００２４】
なお、本発明の実施例では、ＶＲシーンで選択されたキャラクターモデルは、ＶＲシーンで表示されなくてもよく、キャラクターモデルに取り付けられたカメラレンズは、ユーザーがＶＲディスプレイを装着するときにＶＲシーンを見る視野角であり、手モデルの移動に伴って、カメラレンズも常に移動する必要があり、ユーザーに手モデルの移動中におけるキャラクターモデルの移動を体験させる。
【００２５】
本発明のいくつかの実施例では、ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得するステップ１０１は、
ＶＲシーンで手モデルによって選択される歌い待ち歌を検出し、歌い待ち歌を歌リストに追加するステップＡ１と、
手モデルの選択操作に従ってキャラクター取得指令を確定するステップＡ２と、
を含む。
【００２６】
その中、ＶＲシーンはコンサートのキャラクターシミュレーションシーンであってもよく、プレイヤーはインタラクションコントローラーを操作することができ、当該インタラクションコントローラーによって手モデルを制御して歌い待ち歌を選択し、その中、歌い待ち歌は１つ以上の歌であってもよく、プレイヤーが歌を選択した後、当該歌い待ち歌を歌リストに追加する。歌リストの拡張により、新しい歌い待ち歌が追加されたと確定することができ、そのとき、手モデルによる歌の選択操作に従って、プレイヤーがキャラクター取得指令を発すると確定する。
【００２７】
さらに、ステップＡ１及びステップＡ２を実行する上記の実現シーンでは、キャラクター取得指令に従ってＶＲシーンから仮想キャラクターを確定するステップ１０２は、
歌リストに従って仮想キャラクターの歌う順番を確定するステップＢ１と、
歌う順番に従って仮想キャラクターの歌う順番になった場合、仮想キャラクターの現在のキャラクター状態が歌手キャラクターであると確定し、マイクを有効にするステップＢ２と、
歌う順番に従って仮想キャラクターの歌う順番ではない場合、仮想キャラクターの現在のキャラクター状態が観衆キャラクターであると確定するステップＢ３と、
を含む。
【００２８】
その中、複数のプレイヤーは、同じＶＲシーンに入ることができ、複数のプレイヤーはＶＲシーンでの仮想インタラクションを実現し、各プレイヤーはＶＲシーンで歌リストを見ることができ、例えば、ＶＲディスプレイのスクリーンによって歌リストを見ることができる。当該歌リストには複数のプレイヤーのうち各プレイヤーによって選択された歌い待ち歌が含まれ、歌を選択した時間又は仮想キャラクターの優先度に従って歌う順番が歌リストで確定され、例えば仮想キャラクターが演じるスターが属する地域が歌い待ち歌のリストが属する地域と一致する場合、当該仮想キャラクターは優先度が高いため、歌う順番の前列になる。歌う順番は複数の仮想キャラクターのキャラクター状態の切り替えの基礎となり、歌う順番に従って仮想キャラクターの歌う順番になった場合、仮想キャラクターの現在のキャラクター状態が歌手キャラクターであると確定し、マイクを有効にする。歌う順番に従って仮想キャラクターの歌う順番ではない場合、仮想キャラクターの現在のキャラクター状態が観衆キャラクターであると確定する。例を以下に示し、プレイヤーは、例えばＶＲクライアントなどの端末装置を操作することができ、各プレイヤーは端末装置のアプリケーションプログラムインターフェイスを介して部屋に入った後仮想コンサートシーンを見て、当該仮想コンサートシーンには手モデルがロードされ、プレイヤーは当該手モデルを操作して観衆席の位置で自由に探索し、手モデルによって歌選択操作をトリガーし、それによって、メニューを呼び出して歌を選択することができ、歌リストが当該プレイヤーによって操作される仮想キャラクターの順番になった場合、端末装置のマイクが有効になり、端末装置は前の歌手の仮想キャラクターを観衆席に自動的に伝送し、この場合、前のプレイヤーの仮想キャラクターのキャラクター状態は観衆キャラクターであり、次に、端末装置は現在のプレイヤーの仮想キャラクターをステージに伝送して演技を開始し、この場合、当該仮想キャラクターの現在のキャラクター状態は歌手キャラクターである。
【００２９】
本発明のいくつかの実施例では、本発明の実施例は、上記の各ステップを実行することに加えて、本発明の実施例によって提供される方法は以下のようなシーンを実行して音楽ファイルを生成し、具体的に、当該方法はさらに、
歌データベースから歌い待ち歌の伴奏ファイル及び歌詞ファイルを取得するステップＣ１と、
マイクによって歌手キャラクターが歌う音声ファイルを採集するステップＣ２と、
伴奏ファイル、歌詞ファイル及び音声ファイルに従ってＶＲシーンで再生される音楽ファイルを確定するステップＣ３と、
を含む。
【００３０】
その中、ＶＲシーンはコンサートのキャラクターシミュレーションシーンであってもよく、歌データベースには複数の歌の伴奏ファイル及び歌詞ファイルが記憶されもよく、プレイヤーが歌う歌を確定した場合、歌データベースから歌い待ち歌の伴奏ファイル及び歌詞ファイルを取得し、マイクによって歌手キャラクターが歌う音声ファイルを採集し、伴奏ファイル、歌詞ファイル及び音声ファイルに従ってＶＲシーンで再生される音楽ファイルを確定することができる。例えば、歌手が現在歌っているかどうかを識別することができ、歌っている場合、当該歌手キャラクターの音声状況を採集して、音声ファイルを取得し、歌手が現在歌っていない場合、伴奏ファイル及び歌詞ファイルを採集することができる。
【００３１】
１０３、ＶＲシーンで再生される音楽ファイルに従って、ＶＲシーンの仮想プロップを動的に調整する。
【００３２】
本発明の実施例では、当該ＶＲシーンでのプレイヤーの没入感の需要を満たすために、ＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整することができ、その中、動的に調整することは、予め決定された再生順序時間軸においてＶＲシーンで再生される音楽ファイルの再生進行状況に従ってリアルタイムで調整するということであってもよく、例えば、ＶＲシーンでの仮想プロップを動的に調整することは、仮想プロップを動的に調整するか、又は例えば、カメラ表示パラメータ、方向指示パラメータ、振動周波数パラメータなどの仮想プロップの様々なパラメータを動的に調整するということであってもよい。本発明の実施例におけるＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整することによって、ＶＲシーンでの仮想プロップは動的に調整でき、プレイヤーはＶＲシーンで再生される音楽ファイルを聞いた場合に、目を通して音楽ファイルに伴う仮想プロップの動的な調整を観察することで、より強い没入感をユーザーにもたらすことができる。
【００３３】
なお、本発明の実施例におけるＶＲシーンで再生される音楽ファイルは、プレイヤーによって入力される音楽ファイルであってもよく、ＶＲシーンでのシステムによって配置される音楽ファイルであってもよく、プレイヤーによってリアルタイムで採集される音楽ファイルであってもよく、これに限定されない。その中、ＶＲシーンで再生される音楽ファイルは音符付きの音楽情報、又はメロディのみの音楽データ、又はプレイヤーから採集された連続音声データなどであってもよく、これに限定されない。
【００３４】
本発明の実施例では、ＶＲシーンでの仮想プロップは複数の種類があり、例えば、仮想プロップはＶＲシーンでのシーンプロップ、即ち、シーンを装飾し、シーンを支援するためのプロップであってもよく、当該仮想プロップは、複数のプレイヤーが同一ＶＲシーンでインタラクションを行うインタラクションプロップであってもよい。ＶＲシーンがコンサートのキャラクターシミュレーションシーンであることを例として、例えば、シーンプロップはＶＲシーンで表示されるステージ、ライト、気球などであってもよく、インタラクションプロップは、手モデルによって操作されるグロースティック、サンドハンマー、ドラムなどであってもよい。
【００３５】
本発明のいくつかの実施例では、ＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整するステップ１０３は、
音楽ファイルの音楽リズムに従ってグローバルな倍率パラメータを確定するステップＤ１と、
グローバルな倍率パラメータを使用してＶＲシーンでの仮想プロップを動的に調整するステップＤ２と、
を含む。
【００３６】
その中、ＶＲシーンで再生された音楽ファイルを取得した後、当該音楽ファイルを解析して、音楽ファイルの音楽リズムを確定し、音楽リズムを参考として、グローバルな倍率パラメータを生成することができる。例を以下に示し、音楽ファイルによって、歌ごとの１分あたりのビート数（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ、ＢＰＭ）を取得し、当該ＢＰＭを読み取った後、音楽ファイルのＢＰＭに従って全ての倍率パラメータを確定し、その後、数値変換によって当該仮想プロップの動的な調整周期を計算することができる。その中、グローバルな倍率パラメータは、予め決定された再生順序時間軸におけるＶＲシーンで再生される音楽ファイルの再生進行状況を表すために使用され、当該グローバルな倍率パラメータはグローバルに維持される静的ポインターによって取得でき、当該グローバルな倍率パラメータによってＶＲシーンでの仮想プロップを動的に調整することができる。例を以下に示し、グローバルな統一性を確保するために、ゲーム状態において一つのグローバルな倍率パラメータが追加され、当該グローバルな倍率パラメータは仮想プロップを制御するために使用され、プレイヤーがＶＲディスプレイ及びヘッドフォンを装着した後、真新しい世界に入るようになり、目で見られる景色と耳で聞こえる音がマッチングするので、視覚と聴覚は多くの満足を得て、プレイヤーに強い没入感の体験を提供する。本発明の実施例では、グローバルな倍率パラメータを使用して仮想プロップを制御することができるので、仮想プロップの追加及び実行は動的に制御でき、仮想シーンでの仮想プロップの設置が容易になる。
【００３７】
本発明のいくつかの実施例では、前記グローバルな倍率パラメータを使用して前記ＶＲシーンでの仮想プロップを動的に調整するステップＤ２は、
前記グローバルな倍率パラメータをループ再生時間軸に導入することと、
前記ループ再生時間軸の再生周期に従って前記仮想プロップのプロップ属性パラメータを設置することと、
を含む。
【００３８】
その中、グローバルな倍率パラメータは、予め決定された再生順序時間軸におけるＶＲシーンで再生される音楽ファイルの再生進行状況を表すことができ、当該グローバルな倍率パラメータはグローバルに維持される静的ポインターによって取得でき、当該グローバルな倍率パラメータによって、ＶＲシーンでの仮想プロップのプロップ属性パラメータは容易に制御され、当該プロップ属性パラメータは、プロップの運動パラメータ又は素材を含むことができ、グローバルな倍率パラメータを１つのループ再生時間軸に導入することによって、時間軸の再生周期をプロップ属性パラメータとマッチングするように設置することができるので、リズムが満ちた動的な環境効果が得られる。例として、仮想プロップは具体的にＶＲシーンでのインタラクションプロップであってもよく、当該グローバルな倍率パラメータによって、インタラクションプロップの生成数と頻度を制御することができ、例えば、ＶＲシーンでのバブルの数及び生成頻度を制御することができる。
【００３９】
さらに、本発明のいくつかの実施例では、仮想プロップは、ＶＲシーンでのシーンプロップを含む。このような実現シーンでは、グローバルな倍率パラメータを使用してＶＲシーンでの仮想プロップを動的に調整するステップＤ２は、
グローバルな倍率パラメータを使用してオリジナルマスクテクスチャマップを乗算して、動的なマスクテクスチャマップを取得するステップＤ２１と、
動的なマスクテクスチャマップとシーンプロップのオリジナルカラーテクスチャマップを乗算して、シーンプロップの実際のカラーテクスチャマップを取得するステップＤ２２と、
を含む。
【００４０】
その中、シーンプロップはＶＲシーンで表示する必要があり、当該シーンプロップについて、テクスチャマップ方式を使用してシーンプロップを表示することができ、例えば、シーンプロップに対してオリジナルマスクテクスチャマップとオリジナルカラーテクスチャマップをそれぞれ配置し、オリジナルマスクテクスチャマップとオリジナルカラーテクスチャマップは共に具体的な画素のＵＶ座標によって表すことができる。オリジナルカラーテクスチャマップはシーンプロップのグローバルなカラーを提供することができ、例えば、当該オリジナルカラーテクスチャマップには複数のカラーのテクスチャマップが含まれてもよく、オリジナルマスクテクスチャマップはシーンプロップに対して一部のカラーのマスク処理を提供することができ、例えば当該オリジナルマスクテクスチャマップは白黒テクスチャマップであってもよい。まず、当該グローバルな倍率パラメータに従って、オリジナルマスクテクスチャマップを乗算して、動的なマスクテクスチャマップを取得し、当該動的なマスクテクスチャマップは、グローバルな倍率パラメータに従って、ローカルテクスチャの変換を行って、動的なマスクテクスチャマップを取得してから、動的なマスクテクスチャマップとシーンプロップのオリジナルカラーテクスチャマップを乗算して、シーンプロップの実際のカラーテクスチャマップを取得することができ、当該実際のカラーテクスチャマップは最終的にＶＲシーンでの実際のカラーを表すことができ、動的なマスクテクスチャマップとオリジナルカラーテクスチャマップとの重ね合わせによって、シーンプロップはＶＲシーンで異なるカラーを表示することができ、また、動的なマスクテクスチャマップは、グローバルな倍率パラメータによってオリジナルマスクテクスチャマップを処理することで得られるので、シーンプロップの実際のカラーテクスチャマップは動的に調整できる。例として、アンリアルエンジンの最新バージョンであるＵＥ４を使用してテクスチャマップのレンダリングを行うことができ、当該エンジンはゲーム開発者に強力なグラフィックレンダリング、物理的衝突、リソース管理機能を提供する。本発明の実施例では、テクスチャマップのマスクはマスクｍａｓｋによって動的材料表現モードを制御することができる。
【００４１】
１０４、ＶＲディスプレイによって、ＶＲシーンでの仮想キャラクターを表示するとともに、動的に調整された仮想プロップを表示する。
【００４２】
本発明の実施例では、ＶＲディスプレイはＶＲ装置製造業者によって製造されたディスプレイデバイスであり、例えばＶＲディスプレイは、ＨＴＣ会社とＶａｌｖｅ会社によって共同開発された仮想現実ヘッドマウントディスプレイ製品であるＨＴＣ ＶＩＶＥであってもよい。
【００４３】
本発明の実施例では、上記のステップ１０２によって、ＶＲシーンで表示する必要がある仮想キャラクターを確定し、上記のステップ１０３によって、ＶＲシーンで表示する必要がある仮想プロップを動的に調整した後、ＶＲディスプレイによって、プレイヤーにＶＲシーンでの仮想キャラクターを表示するとともに、仮想キャラクターを表示する途中で、当該ＶＲディスプレイによって動的に調整された仮想プロップを表示することができ、ステップ１０３から分かるように、これらの仮想プロップはＶＲシーンで再生される音楽ファイルに従って動的に調整でき、ＶＲディスプレイによって当該音楽ファイルに従って仮想プロップを動的に表示することができる。
【００４４】
本発明のいくつかの実施例では、上記の例から分かるように、仮想プロップは具体的に、ＶＲシーンでのインタラクションプロップを含むことができる。このような実現シーンでは、動的に調整された仮想プロップを表示するステップ１０４は、
インタラクションコントローラーの移動によってＶＲシーンでのインタラクションプロップの移動を制御するステップＥ１と、
インタラクションプロップの移動情報を採集するステップＥ２であって、移動情報には速度、角速度、加速度及び角加速度のうち少なくとも１つの情報が含まれるステップＥ２と、
移動情報に従って、インタラクションプロップがＶＲシーンで音を発するかどうかを制御するステップＥ３と、を含む。
【００４５】
その中、仮想プロップが具体的に、ＶＲシーンでのインタラクションプロップである場合、プレイヤーはインタラクションコントローラーを介してインタラクションプロップの移動を制御することができ、例えば、インタラクションコントローラーにセンサーが設置され、インタラクションコントローラーの移動情報をインタラクションプロップの移動情報として採集することができ、当該移動情報には速度、角速度、加速度及び角加速度のうち少なくとも１つが含まれ、最後に、移動情報に従ってインタラクションプロップがＶＲシーンで音を発するかどうかを確定することができ、ここで、音の発出を制御することはインタラクションプロップの移動情報に従って確定する必要があり、様々な実現策略があり、例えば、速度の値に従って、音を発するかどうか、どんな音を発するかを確定したり、角速度の値を考慮して音を発するかどうかを確定したり、上記の複数の種類の移動情報を組み合わせて音を発するかどうかを確定したりすることができる。例えば、ＶＲシーンがコンサートのキャラクターインタラクションシーンであることを例として、当該インタラクションプロップは、歌手キャラクターが使用するサンドハンマー又はゴングとドラムなどであってもよく、ゴングとドラムの伴奏を例にとると、ゴングとドラムの伴奏で解決する必要がある重要な問題は、動きと音のマッチングであり、衝突は速度、角速度、加速度及び角加速度の４つの変数によって完全にシミュレートされる。
【００４６】
本発明のいくつかの実施例では、前記移動情報に従って前記インタラクションプロップが前記ＶＲシーンで音を発するかどうかを制御するステップＥ３は、
予め設置された発声判断条件に基づき、前記発声判断条件には、速度閾値条件、角速度閾値条件、加速度閾値条件及び角加速度閾値条件のうち少なくとも１つが含まれることと、
前記移動情報が前記発声判断条件を満たすかどうかに基づくことと、
前記移動情報が前記発声判断条件を満たす場合、前記インタラクションプロップを前記ＶＲシーンで音を発するように制御することと、
前記移動情報が前記発声判断条件を満たさない場合、前記インタラクションプロップを前記ＶＲシーンで音を発しないように制御することと、
を含む。
【００４７】
その中、インタラクションプロップの異なる移動パラメータに対して、対応する閾値条件をそれぞれ設置することができ、異なる移動パラメータが対応する閾値条件を満たすかどうかによって、音を発するかどうかをトリガーする。例えば、次のステップの少なくとも１つを実行することができ、即ち、インタラクションプロップの速度が速度閾値条件を満たすかどうかを判断し、インタラクションプロップの加速度が加速度閾値条件を満たすかどうかを判断し、インタラクションプロップの角速度が角速度閾値条件を満たすかどうかを判断し、インタラクションプロップの角加速度が角加速度閾値条件を満たすかどうかを判断する。なお、上記の少なくとも閾値条件が満たされるかどうかということはインタラクションプロップが音を発することをトリガーするかどうかを判断するために使用できる。例えば、ステートマシンを導入してゴングとドラムの発声を制御することができ、高速で移動するゴングとドラムの速度が一定の閾値を下回り、且つ加速度がある加速度閾値を超える場合、ゴングとドラムが１回発声する。
【００４８】
本発明のいくつかの実施例では、上記の例から分かるように、仮想プロップは具体的に、ＶＲシーンでのインタラクションプロップを含むことができる。このような実現シーンで、動的に調整された仮想プロップを表示するステップ１０４は、
インタラクションコントローラーの移動によってＶＲシーンでのインタラクションプロップの移動を制御するステップＦ１と、
ＶＲシーンで、インタラクションプロップと別の仮想プロップとの衝突が命中するかどうかを事前に判定するステップＦ２と、
インタラクションプロップが別の仮想プロップによって衝突命中されると事前に判定される場合、予め設置された進み量に従って衝突特殊効果情報を取得し、衝突特殊効果情報に従って衝突音を再生するステップＦ３と、
を含む。
【００４９】
その中、当該インタラクションプロップと衝突するのは別の仮想プロップであってもよく、当該別の仮想プロップはプレイヤーによって手モデルで操作されてもよく、別の仮想プロップと当該インタラクションプロップとを打ちて衝突させることができ、衝突が成功するときに衝突特殊効果情報に従って衝突音を再生し、具体的な衝突音はシーンに応じて柔軟に配置することができる。
【００５０】
さらに、本発明のいくつかの実施例では、動的に調整された前記仮想プロップを表示するステップ１０４は、上記のステップＦ１からステップＦ３に加えて、
衝突特殊効果情報が表示された後、インタラクションコントローラーによって衝突が成功した振動フィードバックメッセージを送信するステップＦ４を含んでもよい。
【００５１】
その中、プレイヤーは手モデルを介してインタラクションプロップに触れて持ち、衝突が成功した後、インタラクションコントローラーの内蔵モーターの力学的振動によって、衝突が成功したフィードバックをプレイヤーに与えることができ、これにより、プレイヤーはインタラクションコントローラーの振動によって、手モデルがインタラクションプロップを既に持っていることを確定することができ、インタラクションプロップの移動操作を行うことができる。
【００５２】
本発明の上記の実施例では、仮想プロップが具体的にＶＲシーンでのインタラクションプロップである場合、プレイヤーはインタラクションコントローラーによってインタラクションプロップの移動を制御することができ、ＶＲシーンがコンサートのキャラクターインタラクションシーンであることを例として、当該インタラクションプロップは観衆キャラクターが使用するグロースティックなどであってもよく、グロースティックを使用して応援する小さなゲームでは、グローバルな倍率パラメータを使用して、飛び出るバブルの数と頻度を制御することができる。手応えの調整が最も難しい問題であり、よい打ち感覚を得るには、適切なトリガー特殊効果と音声効果、及びハンドルの振動フィードバックを追加する必要があり、プレイヤーの操作と表現に一貫性がない場合、不快感が生じるため、効果をトリガーするための衝突時点は非常に重要である。しかし、バブルが大きくなっている間、フレネル効果のために不規則な変化もあり、そこで、本発明の実施例では、動的衝突方法を採用して打ち鳴らす手応えを保証することができ、バブルのエッジ部は不安定であるため、いずれかのグロースティックの命中の判断には、時間上の進み量があり、インタラクションプロップの衝突が命中すると予め判断したときに、予め設置された進み量に従って衝突特殊効果情報を取得し、衝突特殊効果情報に従って衝突音を再生する。
【００５３】
上記の実施例による本発明の説明から分かるように、本発明の実施例では、まず、ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得し、ＶＲシーンでの当該手モデルの移動はインタラクションコントローラーによって制御され、その後、キャラクター取得指令に従ってＶＲシーンから仮想キャラクターを確定し、次に、ＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整し、最後に、ＶＲディスプレイによって、ＶＲシーンでの仮想キャラクターを表示するとともに、動的に調整された仮想プロップを表示する。本発明の実施例におけるＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整することによって、ＶＲシーンでの仮想プロップは動的に調整でき、プレイヤーはＶＲシーンで再生される音楽ファイルを聞いたときに、目を通して音楽ファイルに伴う仮想プロップの動的な調整を観察し、それによって、ユーザーにより強い没入感をもたらすことができる。
【００５４】
本発明の実施例の上記解決策のよりよく理解及び実施するために、以下、具体的な説明のための対応する適用シーンを例示する。
【００５５】
図２を参照して、図２は、本発明の実施例による仮想コンサートシーンでの歌手キャラクターが歌を歌う処理フローの概略図であり、ＶＲシーンが具体的に仮想コンサートのキャラクターインタラクションシーンであることを例として、当該仮想コンサートは仮想の３次元（３Ｄ）シーンとして理解でき、仮想コンサートはシミュレーションコンサートのステージ、観衆席などのオブジェクトにより構築される現実的なモデルの組み合わせである。その中、仮想コンサートシーンでの仮想キャラクターはＡｖａｔａｒであってもよく、３Ｄゲーム及び仮想現実で広く使用される。
【００５６】
本発明の実施例は、真新しいソーシャル体験を提案し、ＶＲではコンサートをシミュレートし、各プレイヤーは自分のＡｖａｔａｒを持っており、スターを演じてスポットライトで歌唱を楽しむこともでき、ファンを演じて心の中のアイドルと親密に交流することもでき、仮想シーンは、現在の音楽リズムと歌手の歌声に応じて表現し、強い代替感覚及び没入感をプレイヤーに与える。
【００５７】
従来技術のジュークボックスは、よい演唱体験をプレイヤーに与えることができず、没入型の仮想ステージがなく、他人とのインタラクションやフィードバックもない。本発明の実施例ではＶＲの体験及び操作方式が導入されるので、大きな自由度がプレイヤーに与えられ、通常の歌唱ゲームと比較して、比類のない強い没入感があり、オブジェクトインタラクションは楽しさいっぱいであり、プレイヤーをゲームに積極的に参与させることができ、服、シーン、動作、さらには音声テンプレートに対するプレイヤーのカスタムのニーズをサポートするのに多くのパーソナライズオプションがある。
【００５８】
図２に示すように、仮想コンサートシーンでの歌手キャラクターが歌を歌う処理のフローは、主に次のステップを含む。
１）プレイヤーは手モデルを操作して仮想部屋に入る。
２）プレイヤーは手モデルを操作して歌を選択する。
３）端末装置は伴奏を再生する。
４）端末装置は歌詞を再生する。
５）歌手キャラクターが歌を歌う。
６）別のプレイヤーとプロップをインタラクションする。
７）歌唱が終わり、スコアを再生する。
８）プレイヤーは手モデルを操作して、プレイバックを閲覧するか、又は歌い続ける。
９）歌い続けることが選択された場合、歌のリストが空であるかどうかを判断する必要があり、歌のリストが空である場合、ステップ２）をトリガーして歌を再選択し、歌のリストが空ではない場合、ステップ５）を再トリガーして歌を歌う。
１０）プレイバックを閲覧することが選択された場合、プレイヤーは部屋を出ることができる。
【００５９】
プレイヤーは部屋に入った後、仮想コンサートシーンを見て、観衆席の位置で自由に探索して、メニューを呼び出して歌を選択し、歌リストが自己の順番になった場合に、マイクが有効になり、仮想キャラクターはステージに転送されて上演を開始し、前の歌手は観衆席に自動的に転送される。
【００６０】
インタラクションプロップとは歌手が観衆とインタラクションするプロップであり、衣装、シーン内のオブジェクトを含むことができる。プレイヤーは仮想キャラクターの衣装を自由に変更し、お気に入りのシーンを選択し、シーン内の特定のオブジェクトを簡単に置き換えることができ、仮想キャラクターのダンス、インタラクション動作（インタラクション動作とは歌手が観衆とのインタラクションに採用する動作である）を選択して、プレイヤーのパーソナライズニーズを最大限に満たすこともできる。
【００６１】
図３に示すように、本発明の実施例による仮想コンサートシーンでの歌唱シーンの概略図であり、各プレイヤーは１つの仮想キャラクターを使用し、例えば、図３には、合計３つの仮想キャラクターがあり、キャラクター名称がそれぞれｋｒｅｉｎｅｒ、Ｊａｒａｄ、Ｃａｐｕｔｔｏである。仮想コンサートシーンには、例えば仮想ステージ、仮想ライトなどの様々なシーンプロップがあり、なお、本発明の実施例では、図３の白黒画像を例に挙げて説明するが、これに限定されず、実際の適用ではシーンのニーズに応じて図内の各仮想キャラクターとシーンのそれぞれのカラーを配置してもよい。仮想コンサートシーンでの歌唱シーンについて、マルチパーソンインタラクション方式が非常に豊富であり、メインステージ、観衆席、照明は豊かなパフォーマンスによって歌手とインタラクションし、プレイヤーによってインタラクションできるプロップはグロースティック、サンドハンマー、マイクなどを含むことができる。任意の時刻で、ステージに歌手は一人しかいない。しかし、すべての仮想キャラクターは歌を選択することによって歌手になることができ、歌う順番は現在の歌リストによって決まる。
【００６２】
図４に示すように、本発明の実施例による歌詞スクリーン、ステージライト、観衆席表現が歌手キャラクターとインタラクションする概略図である。プレイヤーの仮想キャラクターが歌手キャラクターである場合、プレイヤーの目の前でマイクを見ることができ、同時に歌詞スクリーンが表示され、プレイヤーは、舞台の下の観衆がグロースティックを持っていることを見ることができることで、プレイヤーに没入感をもたらすことができる。観衆は、グロースティックがグロースティックの棚の近くに転送されると、グロースティックを手に取った後、観衆の前にバブルが現れ、プレイヤーはグロースティックを使用して打つことができ、これらのバブルは現在の歌のリズムに従って現れるものであり、例えば、各歌の一分あたりのビート数ＢＰＭを取得し、プログラムはＢＰＭを読み取って、数値変換によってバブルの現れる間隔時間を算出する。そして、バブルは歌手には見えないため、歌手が見る画面は舞台の下の観衆がリズムに従ってグロースティックを振って自分へ応援することであり、観衆はＶＲでバブルを打つ楽しさも体験することができる。
【００６３】
優れたＶＲコンサートグラフィックスパフォーマンスを実現するために、本発明の実施例はＵＥ４に組み込まれたフレームワークを使用してシェーダを作成し、エンジン（即ち、ゲームエンジン、つまり、アンリアルエンジン）のマルチスレッドレンダリングの特性により、効果と効率のバランスを取ることができる。また、本発明の実施例はステージ全体の表現がバックグラウンドミュージックのリズムと可能な限りに互いにマッチングできることを望み、そのためには、歌う歌の音楽と歌手の声を分析する必要があり、まず、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）はデータを抽出し、当該データはプレイヤーのマイクのサンプリングデータである。その後、グラフィックプロセッサー（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）に渡され、レンダリング処理を行う。グローバルな統一を保証するために、本発明の実施例はゲーム状態に１つのグローバルな倍率パラメータを追加し、当該ゲーム状態は、グローバルに維持される一つの静的ポインタによって取得することができ、グローバルな倍率パラメータはこれらの動的な素材を制御するために使用でき、その中、これらの動的な素材の制御はＧＰＵで実現され、プレイヤーがＨＴＣ ＶＩＶＥとヘッドフォンを装着した後、真新しい世界に入るようになり、目で見える景色は耳に聞こえる音と互いにマッチングし、視覚と聴覚は多く満足する。
【００６４】
図５に示すように、本発明の実施例によるライトの動きと点滅を制御するための時間軸インタフェース図である。図５のライトの動きと点滅を制御するための時間軸は、ここで、ライトの点滅、ライトの固定周波数でのオン／オフ、又はライトの強度の変化である。。ＵＥ４は、時間変化によって変数の値を制御するツールであり、ここで、制御するのは３次元のベクトル(ｘ, ｙ, ｚ)であり、ｘ、ｙ、ｚはそれぞれ、赤、緑、青で表される値に対応し、この３次元のベクトルはライトの動きパラメータを表し、図５の上半分は、ｘ軸曲線及びｚ軸曲線を調整することによって、ライトの位置を制御することができ、図５の下半分は、ｙ軸曲線及びｚ軸曲線を調整することによって、ライトの回転を制御することができる。
【００６５】
本発明の実施例はいくつかのカスタム時間軸を設計し、図５は、ＵＥ４エンジンの時間軸インターフェイス図であり、図５に示すように、シーン内のオブジェクトの動き又は素材パラメータを容易に制御することができ、グローバルな倍率パラメータをループ再生の時間軸に渡すことによって、時間軸の再生周期をプロップ属性パラメータと合わせるように設置することができるので、リズムが満ちた動的な環境効果が得られる。
【００６６】
本発明の実施例では、ほとんどの動的な素材はテクスチャオフセットにより実現され、コンサートの仮想シーンでは、ほぼ全てのモデルはＳｕｒｆａｃｅ Ｓｈａｄｅｒシェーダーによってレンダリングされる。その中、Ｓｕｒｆａｃｅ ＳｈａｄｅｒはＵＥ４パッケージングの物理ベースのシェーダーであり、素材エディターではカスタム効果を実現することができる。物理的な着色は、リアリズムを強調するコンピュータグラフィックスのレンダリング方法であり、現在の高品質のゲームで広く使用されている。その基本原理は、マイクロ表面モデルを導入して、マイクロ表面での照明の反射を近似することで、オブジェクトの粗さ、透明度及びその他のデータをシミュレートすることであり、最も重要な情報は正規分布である。各モデルにはテクスチャカラー値と１対１でマッピングするＵＶ座標があり、ＵＶ座標はグラフィックレンダリングでテクスチャマップカラー値の２次元のベクトルをサンプリングするために使用される。最終的に、これらのサンプリングされたカラー値によってスクリーンでのターゲットのレンダリングの効果が決まる。レンダリングアルゴリズムは、テクスチャデータをサンプリングするというサンプリングが必要である。
【００６７】
動的な照明の効果を効果的に取得するために、本発明の実施例は、これらのカラー値を変更する必要があり、根本的には、元のテクスチャマップを再構築することである。本発明の実施例は、通常、シェーダーにＭａｓｋマスクを導入してこれらのテクスチャを制御し、音楽のリズムにリアルタイムでマッチングさせるために、本発明の実施例は、ステージ上の全てのカスタムテクスチャオフセット効果を非常に簡単且つ効果的に実現できる動的なＭａｓｋを作成する方法を実現する。図６に示すように、本発明の実施例による動的なマスクの処理フローチャートである。グローバルな倍率パラメーターを使用してオリジナルマスクテクスチャマップを乗算して、動的なマスクテクスチャマップを取得し、動的なマスクテクスチャマップとシーンプロップのオリジナルカラーテクスチャマップを乗算して、シーンプロップの実際のカラーテクスチャマップを取得する。
【００６８】
その中、シーンプロップの素材は、仮想コンサートシーンにおけるステージライトが気分が高くなることに従って1つずつオンされるという効果を実現する。その中、本発明の実施例は、現在、歌手が歌っているかどうかを識別することができ、歌っている場合、当該感情は歌手の声の状況を表すことができ、歌っていない場合、この状況は伴奏を表すことができ、オリジナルカラーテクスチャマップはアートから与えられたオリジナルデータであり、テクスチャマップを有する完全なモデルであり、モデルの表現は、ライトが全てオンし、モデルのＵＶ座標が一定であることであり、一部のライトがオンし、一部のライトがオフするネオン効果を実現するためには、暗いライトＵＶに対応するカラー値をゼロにする必要があり、テクスチャサンプリングを乗算することによってマスク操作を完成することができる。半分の黒と半分の白のオリジナルテクスチャが与えられると、本発明の実施例は、任意の比率のマスクを巧みに計算することができ、例えば、パーセンテージパラメータによってＵＶオフセット量を制御し、動的なマスクテクスチャマップを動的に取得し、動的なマスクテクスチャマップとオリジナルカラーテクスチャマップを乗算して、対応する実際のテクスチャを取得し、オフセット量がＢであり、パーセンテージがｐであるとすると、Ｂ=(ｕ-ｐ)/２であり、ここで、ｕはｕ座標である。
【００６９】
仮想キャラクターのインタラクションは主にサンドハンマーの伴奏とグロースティックでバブルを打つという２つの小さなゲームで実現される。プレイヤーはＯｃｕｌｕｓ Ｔｏｕｃｈ又はＶｉｖｅ ＣｏｎｔｒｏｌｌｅｒのようなＶＲハンドルで操作することができ、ほとんどのインタラクションもハンドルによって完成される。本発明の実施例は、ＵＥ４における入力制御システムにより完全な入力マッピング抽象化を確立するため、複数のプラットフォームの統一性を保証する。ＶＲシーンでは、プレイヤーが手で持っているゲームハンドルは２つの仮想手にマッピングされ、同時に、仮想空間におけるそれらの位置と向きもセンサーによってキャプチャされ、ヘッドマウントディスプレイスクリーンににリアルタイムでプロットされ、この仮想手の最も重要な作用は、オブジェクトを掴み、ジェスチャーとボタンによってオブジェクトを制御することである。図７ａ及び８ａに示されるサンドハンマーとグロースティックは、歌手と観衆とのインタラクションを実現する主なキャリアである。
【００７０】
まず、図７ａのサンドハンマーインタラクションの例を示し、図７ｂに示すように、サンドハンマーの伴奏で解决すべき重要な問題は動作と音声との間のマッチングであり、実際に、サンドハンマー楽器が音を発することができるのは、物体内部の砂が内壁に衝突するためであり、内部の粒子の動きをリアルタイムで完全にシミュレートしようとすると、これらのオーバーヘッドは、本発明の実施例の軽量ゲームによって支えられない。そのため、本発明の実施例はＵＥ４に組み込まれたＰｈｙｓｉｃｓ物理エンジンを放棄し、軽量の衝突発声方法を再設計し、衝突を速度、角速度、加速度及び角加速度の４つの変数によって完全にシミュレートする。本発明の実施例は、ステートマシンを導入してサンドハンマーの発声を制御し、図７ｂに示すように、サンドハンマーの発声ステートマシンは高速運動、高加速度運動、静止又は低速運動という複数の状態を有し、これらの運動状態は自動的に切り替えることができ、例えば、高速運動のサンドハンマーの速度が一定の閾値を下回り、加速度が大きい場合、サンドハンマーが１回鳴る。角速度、角加速度も同様であるが、速度と加速度とは別に計算され、重ね合わせられ、サンドハンマーの発声を共同で制御する。
【００７１】
図８ｂに示すように、グロースティックを使用して応援する小さなゲームでは、本発明の実施例は、上述したグローバルな倍率パラメータを使用して、飛び出るバブルの数と頻度を制御する。手応えの調整が最も難しい問題であり、優れた打ち感覚を得るには、適切なトリガー特殊効果と音声効果、及びハンドルの振動フィードバックを追加する必要があり、プレイヤーの操作と表現に一貫性がない場合、不快感が生じるため、効果をトリガーするための衝突時点は非常に重要である。しかし、バブルが大きくなっている間、フレネル効果のために不規則な変化もあり、そこで、本発明の実施例では、打ち手応えを保証するために動的衝突方法を設計し、バブルのエッジ部は不安定であるため、いずれかのグロースティックの命中の判断には、時間の進み量がある。バブルの素材はフレネル反射によって実現され、サイズは視覚的に不安定であり、プレイヤーがバブルを打つのは衝突検出によって判断され、進み量がない場合、プレイヤーがバブルを打つ感覚は実際の表現と一致しない。衝突の命中が事前に判定された後、特殊効果を呼び出し、当該特殊効果が継続して再生された後、コールバックの破壊を実行することができ、最後に、命中率を統計するときに今回の命中を命中率に更新して、既存の命中率を１増加させる。その中、コールバックの破壊とはプレイヤーがバブルを命中したか、又はバブルの存在する時間が予め設定された生命周期を超えた場合、このコールバックの破壊を通知してバブルの破壊フローを実行する。
【００７２】
本発明の実施例によって提案される表現とインタラクションの解決策は、ＶＲでコンサートをシミュレートするという問題を解決し、プレイヤーが視聴覚の饗宴を楽しみながら、ＶＲ社交によって他人との間の距離を近くすることを可能にする。１つのユーザーは歌手をシミュレートし、別のユーザーは観衆をシミュレートすることによって、両者にインタラクションが発生するので、他人との距離が近くなる。
【００７３】
なお、上記の各方法の実施例では、簡単な説明のために、それらを一連の動作の組み合わせとして表現したが、当業者は、本発明が記載された動作の順序により限定されないことを理解すべきであるので、本発明に従って、あるステップは他の順序で、又は同時に行われる可能性がある。加えて、当業者は、明細書に記載された実施例が全て好ましい実施例であり、関与する動作とモジュールが必ずしも本発明に必須ではないことも理解すべきである。
【００７４】
本発明の実施例の上記解決策の実施を容易にするために、上記解決策を実施するための関連装置も以下に提供する。
【００７５】
図９ａを参照して、本発明の実施例によって提供される端末装置９００は、取得モジュール９０１と、キャラクター確定モジュール９０２と、プロップ調整モジュール９０３と、表示モジュール９０４とを含むことができ、
取得モジュール９０１は、前記ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得し、前記ＶＲシーンでの前記手モデルの移動はインタラクションコントローラーによって制御され、
キャラクター確定モジュール９０２は、前記キャラクター取得指令に従って前記ＶＲシーンから仮想キャラクターを確定し、
プロップ調整モジュール９０３は、前記ＶＲシーンで再生される音楽ファイルに従って前記ＶＲシーンでの仮想プロップを動的に調整し、
表示モジュール９０４は、ＶＲディスプレイによって、前記ＶＲシーンでの前記仮想キャラクターを表示するとともに、動的に調整された前記仮想プロップを表示する。
【００７６】
本発明のいくつかの実施例では、前記取得モジュール９０１は、具体的に、前記ＶＲシーンで前記手モデルによって選択された歌い待ち歌を検出し、前記歌い待ち歌を歌のリストに追加し、前記手モデルの選択操作に従って前記キャラクター取得指令を確定する。
【００７７】
さらに、本発明のいくつかの実施例では、前記キャラクター確定モジュール９０２は、具体的に、前記点歌リストに従って前記仮想キャラクターの歌う順番を確定し、前記歌う順番に従って、前記仮想キャラクターの歌う順番になった場合、前記仮想キャラクターの現在のキャラクター状態が歌手キャラクターであると確定し、マイクを有効にし、前記歌う順番に従って前記仮想キャラクターの歌う順番ではない場合に、前記仮想キャラクターの現在のキャラクター状態が観衆キャラクターであると確定する。
【００７８】
本発明のいくつかの実施例では、図９ｂを参照して、前記端末装置９００はさらに、歌データベースから歌い待ち歌の伴奏ファイルと歌詞ファイルを取得し、前記マイクによって前記歌手キャラクターが歌う音声ファイルを採集し、前記伴奏ファイル、前記歌詞ファイル及び前記音声ファイルに従って前記ＶＲシーンで再生される音楽ファイルを確定するための音楽ファイル取得モジュール９０５を含む。
【００７９】
本発明のいくつかの実施例では、前記プロップ調整モジュール９０３は、具体的に、前記音楽ファイルの音楽リズムに従ってグローバルな倍率パラメータを確定し、前記グローバルな倍率パラメータを使用して前記ＶＲシーンでの仮想プロップを動的に調整する。
【００８０】
本発明のいくつかの実施例では、前記プロップ調整モジュール９０３は、具体的に、前記グローバルな倍率パラメータをループ再生時間軸に導入し、前記ループ再生時間軸の再生周期に従って前記仮想プロップのプロップ属性パラメータを設置する。
【００８１】
さらに、本発明のいくつかの実施例では、前記仮想プロップは、前記ＶＲシーンでのシーンプロップを含み、
前記プロップ調整モジュール９０３は、具体的に、前記グローバルな倍率パラメータを使用してオリジナルマスクテクスチャマップを乗算して、動的なマスクテクスチャマップを取得し、前記動的なマスクテクスチャマップと前記シーンプロップのオリジナルカラーテクスチャマップを乗算して、前記シーンプロップの実際のカラーテクスチャマップを取得する。
【００８２】
本発明のいくつかの実施例では、前記仮想プロップは、前記ＶＲシーンでのインタラクションプロップを含み、
前記表示モジュール９０４は、具体的に、前記インタラクションコントローラーの移動によって前記ＶＲシーンでの前記インタラクションプロップの移動を制御し、前記インタラクションプロップの移動情報を採集し、前記移動情報に従って、前記ＶＲシーンで前記インタラクションプロップが音を発するかどうかを制御し、前記移動情報には、速度、角速度、加速度及び角加速度のうち少なくとも１つの情報が含まれる。
【００８３】
本発明のいくつかの実施例では、前記表示モジュール９０４は、具体的に、予め設置される発声判断条件に基づき、前記移動情報が前記発声判断条件を満たすかどうかに従って、前記移動情報が前記発声判断条件を満たす場合、前記インタラクションプロップを前記ＶＲシーンで音を発するように制御し、前記移動情報が前記発声判断条件を満たさない場合、前記インタラクションプロップを前記ＶＲシーンで音を発しないように制御し、前記発声判断条件には速度閾値条件、角速度閾値条件、加速度閾値条件及び角加速度閾値条件のうち少なくとも１つの閾値条件が含まれる。
【００８４】
本発明のいくつかの実施例では、前記仮想プロップは、前記ＶＲシーンでのインタラクションプロップを含み、
前記表示モジュール９０４は、具体的に、前記インタラクションコントローラーの移動によって前記インタラクションプロップの前記ＶＲシーンでの移動を制御し、前記ＶＲシーンでの前記インタラクションプロップと別の仮想プロップとの衝突が命中するかどうかを事前に判定し、前記インタラクションプロップが前記別の仮想プロップによって衝突命中されると事前に判定される場合、予め設置された進み量に従って衝突特殊効果情報を取得し、前記衝突特殊効果情報を表示する。
【００８５】
本発明のいくつかの実施例では、前記表示モジュール９０４はさらに、前記衝突特殊効果情報に従って衝突音を再生した後、前記インタラクションコントローラーによって衝突が成功する振動フィードバックメッセージを送信する。
【００８６】
上記の実施例による本発明の説明から分かるように、本発明の実施例では、まず、ＶＲシーンで手モデルによってトリガーされるキャラクター取得指令を取得し、ＶＲシーンでの当該手モデルの移動はインタラクションコントローラーによって制御され、その後、キャラクター取得指令に従ってＶＲシーンから仮想キャラクターを確定し、次に、ＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整し、最後に、ＶＲディスプレイによって、ＶＲシーンでの仮想キャラクターを表示するとともに、動的に調整された仮想プロップを表示する。本発明の実施例におけるＶＲシーンで再生される音楽ファイルに従ってＶＲシーンでの仮想プロップを動的に調整することによって、ＶＲシーンでの仮想プロップは動的に調整でき、プレイヤーはＶＲシーンで再生される音楽ファイルを聞いたときに、目を通して音楽ファイルに伴う仮想プロップの動的な調整を観察し、それによって、ユーザーにより強い没入感をもたらすことができる。
【００８７】
なお、上記装置の各モジュール／ユニットの間の情報のインタラクション、実行プロセスなどの内容は、本発明の方法の実施例と同じ構想に基づくものであり、その技術的効果は本発明の方法の実施例と同じであり、具体的な内容は本発明の上述した方法の実施例における説明を参照することができ、ここで再度説明しない。
【００８８】
本発明の実施例はコンピュータ記憶媒体をさらに提供し、当該コンピュータ記憶媒体にはプログラムが記憶され、当該プログラムは上記方法の実施例で説明した一部又は全部のステップを実行する。
【００８９】
本発明の実施例は端末装置をさらに提供し、図１０に示すように、前記端末装置１０００は、プロセッサー１０１０、メモリ１０２０、インタラクションコントローラー１０３０及びＶＲディスプレイ１０４０を含み、前記プロセッサー１０１０と前記メモリ１０２０はバスを介して互いに通信し、プロセッサー１０１０は無線ネットワークを介して前記インタラクションコントローラー１０３０及び前記ＶＲディスプレイ１０４０と互いに通信し、
前記インタラクションコントローラー１０３０は、手モデルの移動を制御し、
前記メモリ１０２０はプログラム、指令及びデータを記憶し、
前記プロセッサー１０１０は、前記メモリ内のプログラム、指令及びデータを呼び出し、上記実施例で説明した方法を実行し、
前記ＶＲディスプレイ１０４０は、前記プロセッサー１０１０の制御によって、前記ＶＲシーンでの前記仮想キャラクターを表示するとともに、動的に調整された前記仮想プロップを表示する。
【００９０】
具体的に、メモリ１０２０は、ソフトウェアプログラム及びモジュールを記憶するために使用され、プロセッサー１０１０は、端末装置１０００の様々な機能アプリケーション及びデータ処理を実行するために、メモリ１０２０に記憶されたソフトウェアプログラム及びモジュールを実行する。メモリ１０２０は、プログラム記憶エリア及びデータ記憶エリアを主に含む。プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能（音声再生機能及び画像表示機能など）に必要なアプリケーションプログラムなどを記憶してもよい。データ記憶エリアは、端末装置の使用に従って作成されたデータ（オーディオデータ及びアドレス帳など）などを記憶してもよい。さらに、メモリ１０２０は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリのような不揮発性メモリ、又は他の揮発性ソリッドステート記憶デバイスを含んでもよい。
【００９１】
プロセッサー１０１０は、端末装置１０００の制御センターであり、様々なインタフェース及びラインにより端末装置全体の各部分を接続する。メモリ１０２０に記憶されたソフトウェアプログラム及び／又はモジュールを実行又は行い、メモリ１０２０に記憶されたデータを呼び出すことにより、端末装置の様々な機能及びデータ処理を実行し、それにより、端末装置の全体を監視する。任意選択で、プロセッサー１０１０は、１つまたは複数の処理ユニットを含んでもよい。好ましくは、プロセッサー１０１０は、アプリケーションプロセッサー及びモデムプロセッサーを集積してもよい。アプリケーションプロセッサーは、主にオペレーティングシステム、ユーザーインタフェース、アプリケーションなどを処理する。モデムプロセッサーは、主に無線通信を処理する。なお前述のモデムプロセッサーは、プロセッサー１０１０に集積されなくてもよい。
【００９２】
本発明の実施例では、当該端末装置１０００に含まれるプロセッサー１０１０は、以上の端末によって実行されるＶＲシーンでのキャラクターシミュレーション方法の制御及び実行をさらに有する。
【００９３】
また、上記した装置の実施例は単なる例示である点は留意すべきである。別々の部分として記載したユニットは、物理的に分離されてもよく或いは分離されなくてもよく、ユニットとして表示される部分は、物理的なユニットでもよく或いは物理的なユニットでなくてもよく、１つの場所に位置してもよく、或いは複数のネットワークユニットに分散されてもよい。モジュールの一部又は全部は、本実施例の解決策の目的を達成するために、実際のニーズに従って選択されてもよい。さらに、本発明によって提供される装置の実施例の添付図面において、モジュールの間の接続関係は、それらが互いに通信接続を有することを示し、これは、具体的には１つ以上の通信バス又は信号ケーブルとして実現されてもよい。当業者は、創造的取り組みなしに理解して実現し得る。
【００９４】
実施例の前述の説明に基づいて、当業者は、本発明がソフトウェアに必要なユニバーサルハードウェアを加えて実現されてもよく、或いは専用集積回路、専用ＣＰＵ、専用メモリ、専用コンポーネントなどを含む専用ハードウェアのみにより実現されてもよいことを明確に理解し得る。一般的に、コンピュータプログラムにより実行可能な如何なる機能も、対応するハードウェアを使用することにより容易に実現可能である。さらに、同じ機能を達成するために使用される具体的なハードウェア構成は様々な形式、例えば、アナログ回路、デジタル回路、専用回路などの形式であってもよい。但し、本発明について、ソフトウェアプログラムの実現がほとんどの場合によりよい実現方式である。このような理解に基づいて、本発明の技術的解決策又は既存技術に貢献する部分は、ソフトウェアプロダクトの形式で実質的に具現化できる。コンピュータソフトウェアプロダクトは、読み取り可能記憶媒体、例えば、コンピュータのフロッピーディスク、Ｕディスク、取り外し可能ハードディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクに記憶され、コンピュータデバイス（例えば、パーソナルコンピュータ、サーバー又はネットワークデバイス）に本発明の各実施例による方法を実行させるために使用されるいくつかの指令を含む。
【００９５】
上記の実施例では、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせによって全部又は部分的に実現することができる。ソフトウェアで実現する場合、全部又は一部をコンピュータープログラム製品の形式で実現できる。
【００９６】
前記コンピュータープログラム製品には１つ又は複数のコンピューター指令が含まれる。前記コンピュータープログラム指令がコンピューターにロードされて実行されるときに、本発明の実施例に従って説明されるプロセス又は機能は、全部又は部分的に生成される。前記コンピューターは汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又はその他のプログラマブル装置である。前記コンピューター指令はコンピューター可読記憶媒体に記憶されるか、又は１つのコンピューター可読記憶媒体から他のコンピューター可読記憶媒体に伝送することができ、例えば、前記コンピューター指令は、ウェブサイト、コンピューター、サーバー又はデータセンターから有線（例えば同軸ケーブル、光ファイバー、デジタル加入者線（ＤＳＬ）又は無線（例えば赤外線、ワイヤレス、電子レンジな）によって他のウェブサイト、コンピューター、サーバー又はデータセンターに伝送することができる。前記コンピューター可読記憶媒体は、コンピューターが記憶できる任意の使用可能な媒体、又は１つ又は複数の使用可能な媒体集積を含むサーバー、データセンターなどのデータ記憶装置である。前記使用可能な媒体は、磁気性媒体、（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、又は半導体媒体（例えばソリッドステートディスクｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ（ＳＳＤ））などであり得る。
【符号の説明】
【００９７】
９００  端末装置
９０１  取得モジュール
９０２  キャラクター確定モジュール
９０３  プロップ調整モジュール
９０４  表示モジュール
９０５  音楽ファイル取得モジュール
１０００  端末装置
１０１０  プロセッサー
１０２０  メモリ
１０３０  インタラクションコントローラー
１０４０  ＶＲディスプレイ
【図１】
0006925589.tif 000002
【図２】
0006925589.tif 000003
【図３】
0006925589.tif 000004
【図４】
0006925589.tif 000005
【図５】
0006925589.tif 000006
【図６】
0006925589.tif 000007
【図７ａ】
0006925589.tif 000008
【図７ｂ】
0006925589.tif 000009
【図８ａ】
0006925589.tif 000010
【図８ｂ】
0006925589.tif 000011
【図９ａ】
0006925589.tif 000012
【図９ｂ】
0006925589.tif 000013
【図１０】
0006925589.tif 000014