(57)【要約】      （修正有）【課題】音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器を提供する。【解決手段】グラフィカルユーザインターフェースにサムネイル地図を提供し、サムネイル地図上にゲームシーンにおける仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするステップＳ１と、ゲームシーンにおける第１の予定範囲内の音声を検知し、ゲームシーンにおける第１の予定範囲内の音声が検知された場合、音声の音源の方位情報を取得するステップＳ２と、音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に音声に対応する第２のグラフィカル識別子を生成するステップＳ３と、を含む。本発明によれば、ユーザは騒がしい環境で音声の種類、音声の音源の仮想オブジェクトに対する距離及び方位を認識でき、ユーザ経験が良い。【選択図】図１
2019080920.tif 000002
【特許請求の範囲】
【請求項１】
音声情報を補償する視覚的表示方法であって、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、
前記方法は、
前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするステップと、
前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得するステップと、
前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップと、を含む
音声情報を補償する視覚的表示方法。
【請求項２】
前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップは、
前記方位情報に基づき、前記音源の前記仮想オブジェクトに対する相対的な方位情報を決定するステップと、
前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップと、を含む
ことを特徴とする請求項１に記載の方法。 
【請求項３】
前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップは、
前記第１のグラフィカル識別子を中心とした環状領域を設定し、前記相対的な方位情報に基づき、前記環状領域の対応する位置に前記第２のグラフィカル識別子を表示するステップを含む
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在位置に応じて決定した領域範囲である
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記音声の音源の状態及び／又は前記仮想オブジェクトに対する距離を取得し、前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記状態及び／又は前記距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップは、
前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含む
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応する前記第２のグラフィカル識別子とするステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記方位情報は、前記音源の前記仮想オブジェクトに対する相対的な方位及び／又は前記ゲームシーンにおける前記音源の方位を含む
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記サムネイル地図上に前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子を提供するステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記音声が発生されてからの時間を記録するためのタイマーを設定し、前記時間が予定時間閾値を超えているか否かを判定し、超えていない場合に、前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項１１】
同じ方位に位置し、且ついずれも前記予定時間閾値を超えていない複数の前記音声が検知された場合、最も遅く発生された前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む
ことを特徴とする請求項１０に記載の方法。
【請求項１２】
音声情報を補償する視覚的表示装置であって、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、
前記装置は、
前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするレンダリングモジュールと、
前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する検知取得モジュールと、
前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する制御モジュールと、を備える
音声情報を補償する視覚的表示装置。
【請求項１３】
プロセッサに実行されることにより、請求項１〜１１の何れか一項に記載の音声情報を補償する視覚的表示方法を実現する
ことを特徴とするコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムが記憶されることを特徴とするコンピュータ読取可能な記録媒体。
【請求項１５】
プロセッサーと、     
前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、
ここで、前記プロセッサーは、前記実行可能な命令を実行することで、請求項１〜１１のいずれか１項に記載の音声情報を補償する視覚的表示方法を実行するように構成される
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒューマンコンピュータインタラクション技術分野に関し、特に音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器に関する。
【背景技術】
【０００２】
従来のＰＣ側ゲームでは、ユーザは、ゲーム中の音声の種類を判断し、左右チャネルの音効果により、ユーザが制御する仮想オブジェクトに対する音源の相対的な方位を判断でき、例えば、足音の変化規則により敵の移動方向を判断でき、さらに、例えば、銃声により危険源を判断できる。したがって、従来のＰＣ側ゲームでは、ユーザは、ゲーム中の音に基づいて、ユーザが制御する仮想オブジェクトが位置する環境を迅速に判断し、迅速に対応することができる。さらに、従来のＰＣ側のアプリケーション環境が良好であるため、音響効果のよいイヤホーンやオーディオと組み合わせると、没入感が容易に中断されず、ユーザにより良い経験をもたらす。
【０００３】
現在、ハンドヘルド端末の普及に伴い、ゲームもますますハンドヘルド端末で応用されている。しかしながら、従来のＰＣ側と比較して、ハンドヘルド端末のアプリケーション環境は比較的広く、ハンドヘルド端末が騒がしい環境で使用される場合、ユーザは、ゲーム中の音によりユーザが制御する仮想オブジェクトが位置する環境を判断することが困難であり、且つ没入感が容易に中断され、また、ほとんどのハンドヘルド端末は、左右チャネルを介して音源の方向をうまく表現できない。
【０００４】
なお、上記の背景技術の部分に開示された情報は、単なる本発明の背景に対する理解を深めるためのもので、当業者に知られている従来技術を構成しない情報を含んでもよい。
【発明の概要】
【０００５】
本発明の目的は、音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器を提供して、少なくとも関連技術の制限及び欠陥による１つ又は複数の問題をある程度克服することにある。
【０００６】
本発明の一態様によれば、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法が提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記方法は、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするステップと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得するステップと、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップと、を含む。
【０００７】
好ましくは、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップは、前記方位情報に基づき、前記音源の前記仮想オブジェクトに対する相対的な方位情報を決定するステップと、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップと、を含む。
【０００８】
好ましくは、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップは、前記第１のグラフィカル識別子を中心とした環状領域を設定し、前記相対的な方位情報に基づき、前記環状領域の対応する位置に前記第２のグラフィカル識別子を表示するステップを含む。
【０００９】
好ましくは、前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在位置に応じて決定した領域範囲である。
【００１０】
好ましくは、前記方法は、前記音声の音源の状態及び／又は前記仮想オブジェクトに対する距離を取得し、前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップをさらに含む。
【００１１】
好ましくは、前記状態及び／又は前記距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップは、前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含む。
【００１２】
好ましくは、前記方法は、前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応する前記第２のグラフィカル識別子とするステップをさらに含む。
【００１３】
好ましくは、前記方位情報は、前記音源の前記仮想オブジェクトに対する相対的な方位及び／又は前記ゲームシーンにおける前記音源の方位を含む。
【００１４】
好ましくは、前記方法は、前記サムネイル地図上に前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子を提供するステップをさらに含む。
【００１５】
好ましくは、前記方法は、前記音声が発生されてからの時間を記録するためのタイマーを設定し、前記時間が予定時間閾値を超えているか否かを判定し、超えていない場合に、前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。
【００１６】
好ましくは、前記方法は、同じ方位に位置し、且ついずれも前記予定時間閾値を超えていない複数の前記音声が検知された場合、最も遅く発生された前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。
【００１７】
本発明によれば、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示装置がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記装置は、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするレンダリングモジュールと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する検知取得モジュールと、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する制御モジュールと、を備える。
【００１８】
本発明によれば、プロセッサに実行されることにより、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実現するコンピュータプログラムを提供する。本発明によれば、前述したコンピュータプログラムが記憶されたコンピュータ読取り可能な記憶媒体を提供する。
【００１９】
本発明によれば、電子機器がさらに提供され、前記機器は、プロセッサーと、前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサーは、前記実行可能な命令を実行することで、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実行するように構成される。
【００２０】
本発明の一例示的な実施例に提供された音声情報を補償する視覚的表示方法及び装置、記録媒体、電子機器によれば、グラフィカルユーザインターフェースにサムネイル地図を提供し、ゲームシーンにおける仮想オブジェクトの現在位置及び向き、及び検知された音声の音源の方位情報を、グラフィカル識別子を介してサムネイル地図上の該当位置に示すことで、ユーザがゲーム音をオフにした場合、又は、騒がしい環境である場合、又は、機器に左右チャネルを介して音源方向を表現する条件が不足である場合、サムネイル地図上の該当グラフィカル識別子の視覚的表示により、音源の方向を補償して表現する。
【００２１】
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示の解釈的な記載であり、本発明を限定しない。
【図面の簡単な説明】
【００２２】
本発明の上記及び他の特徴及び利点は、図面を参照しながらその例示的な実施例を詳細に説明することにより、より明らかになるであろう。なお、以下の記載における図面は本発明の一部の実施例に過ぎず、当業者の場合、創造的な労働を付与しない前提で、これらの図面によって他の図面を得ることができる。
【図１】本発明の音声情報を補償する視覚的表示方法のフローチャートである。
【図２】本発明の音声情報を補償する視覚的表示方法に係るグラフィカルユーザインターフェースの模式図である。
【図３】本発明の一例示的な実施例における方位識別子の模式図である。
【図４】本発明の一例示的な実施例における第２のグラフィカル識別子及び関連コンポーネントの模式図である。
【図５ａ】本発明の別の例示的な実施例における仮想オブジェクトの位置移動前の第２のグラフィカル識別子及び関連コンポーネントの模式図である。
【図５ｂ】本発明の別の例示的な実施例における仮想オブジェクトの位置移動後の第２のグラフィカル識別子及び関連コンポーネントの模式図である。
【図６】本発明の別の例示的な実施例における環状領域及び関連コンポーネントの模式図である。
【図７】本発明の別の例示的な実施例における第２のグラフィカル識別子及び関連コンポーネントの模式図である。
【図８】本発明の別の例示的な実施例における第３のグラフィカル識別子及び関連コンポーネントの模式図である。
【図９】本発明の別の例示的な実施例における第２のグラフィカル識別子及び関連コンポーネントの模式図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、例示的な実施例について詳細に説明する。なお、例示的な実施例は様々な形態で実施されることができ、本発明は、ここで説明される実施例に限定されるものではないことを理解すべきである。逆に、これらの実施例を提供することによって、本開示はより具体的な統合性を有するとともに例示的な実施例の構想を全面的に当業者に伝えることができる。図面において、同じ符号は、同一又は類似の部分を示しているため、重複する説明を省略する。
【００２４】
また、説明する特徴、構造また特性は、任意の適切な方法で、一つ又は複数の実施形態に組み合わせることができる。以下、多くの具体的な詳細を提供して、本発明の実施例を十分に理解させる。なお、本発明の技術案における特定の詳細の中の一つ又は複数を省略しても、或いは、他の方法、構成、材料、装置、ステップなどを採用しても、本発明の技術案が実践できることは、当業者であれば理解し得ることである。また、本発明が不明瞭となることを避けるために、周知の構造、方法、装置、実現、材料、又は操作については、詳細に図示又は説明しない。
【００２５】
図面に示すブロック図は、単なる機能エンティティであり、必ずしも物理的に独立したエンティティに対応する必要はない。即ち、ソフトウェアの形式でこれらの機能エンティティを実現でき、又は１つ又は複数のソフトウェアをハードウェア化したモジュールにおいてこれらの機能エンティティ又は機能エンティティの一部を実現でき、又は異なるネットワーク及び／又はプロセッサー装置及び／又はマイクロコントローラー装置においてこれらの機能エンティティを実現できる。
【００２６】
この例示的な実施例では、まず、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法が開示され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含む。このタッチ端末は、例えば、携帯電話、タブレットＰＣ、ゲーム機、ＰＤＡ等のようなタッチスクリーンを備える様々な電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラムインターフェースを介して、タッチ端末のタッチスクリーンが仮想オブジェクト、及び仮想ジョイスティックを含む仮想ジョイスティック領域、仮想戦闘シーン、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体領域であってもよいが、タッチスクリーンの一部領域であってもよく、この例示的な実施例では、これを特に限定しない。前記仮想オブジェクトとは、ユーザが操作するゲームキャラクタであり、前記ゲームキャラクタの一部又は全体の形式でグラフィカルユーザインターフェースに表示される。例えば、１人称視点では、グラフィカルユーザインターフェースのコンテンツはユーザのマスタ視点で提示され、ユーザの没入経験が増強され、インターフェースにはゲームキャラクタの手や足のような局所しか見えない。３人称視点では、ゲームキャラクタ全体をグラフィカルユーザインターフェースに提示することができ、ユーザによる操作難易度及び眩惑を低下し、且つ画面のアクション感覚をさらに強調でき、具体的に如何に表示するかは、開発者がゲームのコンテンツに応じて選択してもよく、本発明はこれらに限定されない。図１に示すように、前記音声情報を補償する視覚的表示方法は、下記のステップを含んでもよい。
【００２７】
ステップＳ１：前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングする。
【００２８】
ステップＳ２：前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する。
【００２９】
ステップＳ３：前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する。
【００３０】
グラフィカルユーザインターフェースにサムネイル地図を提供し、ゲームシーンにおける仮想オブジェクトの現在位置及び向き、及び検知された音声の音源の方位情報を、グラフィカル識別子を介してサムネイル地図上の該当位置に示すことで、ユーザがゲーム音をオフにした場合、又は、騒がしい環境である場合、又は、機器に左右チャネルを介して音源方向を表現する条件が不足である場合、サムネイル地図上の該当グラフィカル識別子の視覚的表示により、音源の方向を補償して表現する。
【００３１】
以下、図１〜６を参照しながら、この例示的な実施例における音声情報を補償する視覚的表示方法をさらに説明する。
【００３２】
ステップＳ１において、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングする。
【００３３】
図２に示す実施例では、グラフィカルユーザインターフェースに仮想オブジェクト５０の移動を制御するための移動操作領域２０と、スキルの放出を制御するためのスキルコントロール１０と、が含まれており、本実施例では、グラフィカルユーザインターフェースにおいてサムネイル地図３０を追加して提供し、サムネイル地図上に第１のグラフィカル識別子６０をレンダリングしており、前記第１のグラフィカル識別子６０は、ゲームシーンにおける仮想オブジェクト５０の現在位置及び向きを示すためのものであり、図面に示すように、第１のグラフィカル識別子６０が３時方向を指し、即ち、現在の向きが東である。前記第１のグラフィカル識別子６０として、三角形、矢印又は他の好適なグラフィカルパターンを使用でき、本発明ではこれを限定しない。
【００３４】
好ましくは、図３に示すように、前記サムネイル地図において文字の形式（例えば、東、西、南、北）及び／又は方位目盛（３０°、６０°、１２０°等）でゲームシーンの各方位を示すことができる。これらの方位識別子により、ユーザに現在の大まかな向きを提示でき、移動端末のスクリーン空間の局限性により、サムネイル地図上に０〜３６０度のすべての角度の範囲を展示することが困難である場合は、重視している一部目盛領域の詳細のみスクリーン上に表示し、他の部分目盛領域については、方位の説明により概略的に展示できる。
【００３５】
ステップＳ２において、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する。
【００３６】
この例示的な実施例では、前記第１の予定範囲のサイズは、開発者によりゲームコンテンツに応じて設定でき、好ましくは、前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在位置に応じて決定された領域範囲であり、例えば、前記第１の予定範囲は、仮想キャラクタの聴覚範囲に応じて決定された範囲であってもよいが、ゲームシーンの全体領域又はグラフィカルユーザインターフェースに表示されたゲームシーンの領域等であってもよく、もちろん、開発者は、またゲームの必要に応じて第１の予定範囲の選定規則を設定でき、例えば、予定距離範囲内で吸音障害物により完全に遮断されていない領域等のような多重条件を使用できる。
【００３７】
検知モジュールにより第１の予定範囲内の音声を予定周期で検知でき、前記予定周期は、開発者により自ら設定されてもよいが、検知の精度を確保するために、前記予定周期は過大に設定されてはいけない。
【００３８】
好ましい実施例では、さらに多くの補償を提供してさらに多くの情報を表示するために、方位情報の他に、また、前記音声の種類、前記音源の仮想オブジェクトに対する距離等のデータを同時に取得でき、これにより、音声種類取得モジュールにより前記音声の種類を取得でき、ここで、前記音声の種類は、足音、会話音、ドア開音、銃声、戦闘音等であってもよく、この例示的な実施例では、これを特に限定しない。仮想オブジェクトの座標及び音声の音源の座標を取得し、前記仮想オブジェクトの座標及び音声の音源の座標に基づいて音声の音源の仮想オブジェクトに対する距離及び方位を算出できる。
【００３９】
ステップＳ３において、前記方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応するグラフィカル識別子を生成する。
【００４０】
音声が検知された場合に、前記音声の音源の方位情報を取得し、この方位情報は、音源の仮想オブジェクトに対する相対的な方位であってもよいが、前記ゲームシーンにおける音源の方位であってもよく、又は両者を同時に取得してもよい。開発者は、ゲームの具体的な必要に応じて決定でき、一方では、ゲームにおいて表示する必要がある情報に応じて選択でき、例えば、音源の仮想オブジェクトに対する相対的な方位のみ表記する必要がある場合に、相対的な方位を選択でき、反対な場合、ゲームシーンにおける音源の方位を得ることができる。また一方では、ゲームエンジンからデータを取得する利便性に応じて選択でき、相対的な方位を得ることがより便利である場合に、相対的な方位を使用できる。また、音源と仮想オブジェクトとは往々にして同じ座標系に位置するため、相対的な方位及びシーンにおける音源の方位は互いに換算でき、開発者がそのうちの１つを取得し、換算により別のデータを得ることもできる。音源の方位は、また、音源の座標情報に基づいて算出されることができ、開発者は、座標情報を取得してから算出することで方位情報を得ることができる。
【００４１】
好ましい実施例では、ステップＳ３における前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップは、前記方位情報に基づき、前記音源の前記仮想オブジェクトに対する相対的な方位情報を決定するステップと、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップと、を含む。
【００４２】
図４に示すように、ユーザに音声情報を補償して表示するために、本実施例では、サムネイル地図３０上に第１のグラフィカル識別子６０をレンダリングすることで、第１のグラフィカル識別子６０の向きに基づき、ゲームシーンにおける仮想オブジェクトの向きが真北であることを知ることができ、また、予定範囲内で２つの音声を検知し、２つの音声の音源の前記仮想オブジェクトに対する相対的な方位情報を取得し、ここで、第１の音声、第２の音声の音源の前記仮想キャラクタに対する相対的な方位情報は、それぞれ真南５０ｍ、北東１００ｍである。即ち、第２のグラフィカル識別子７１、７２が位置する方位と第１のグラフィカルユーザ識別子６０（現在の向きは真北である）とは、それぞれ１８０°及び４５°になり、ゲームシーンとサムネイル地図との比例縮尺に基づいて２つの第２のグラフィカル識別子７１、７２の第１のグラフィカル識別子６０に対する距離を算出する。図４の第２のグラフィカル識別子７１、７２は、星形でサムネイル地図に示されてよく、グラフィカル識別子は、また円形、角形、矢印等であってもよく、開発者やユーザにより自ら設定されることができ、本発明はこれらに限定されない。
【００４３】
この例示的な実施例では、図４に示すように、第１のグラフィカル識別子の位置は、常にサムネイル地図の中心位置に位置することができ、それに応じて、サムネイル地図に提示されるゲームシーンも変更される。また、前記第１のグラフィカル識別子の位置もユーザが前記仮想オブジェクトの移動を制御するにつれて移動でき、前記サムネイル地図に提示されるゲームシーンは相対的に固定であり、前記仮想オブジェクトが移動してサムネイル地図が現在表示しているゲームシーン範囲から外れた後でこそ、前記サムネイル地図に提示される一部ゲームシーンに相応な変化が起こり、開発者やユーザは具体的な必要に応じて相応な設定を行うことができ、本発明はこれらに限定されない。例えば、図５ａに示すように、仮想オブジェクトがゲームシーンにおけるＡ位置に位置するものとすると、相応にサムネイル地図４０に仮想オブジェクトの現在位置及び向きに対応する第１のグラフィカル識別子６０を表示し、予定範囲内に２つの音声の音源が存在していることを検出し、それぞれ第２のグラフィカル識別子７１、７２と表示する。ユーザのタッチ操作が仮想オブジェクトを移動するように制御することを検出すると、図５ｂに示すように、仮想オブジェクトがゲームシーンにおけるＢ位置まで移動し、相応に前記第１のグラフィカル識別子６０の位置及び向きも変更され、したがって、２つの音声の音源も移動され、対応する第２のグラフィカル識別子７１、７２の相対的な方位も変更される。
【００４４】
一好ましい実施例として、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップは、前記第１のグラフィカル識別子を中心とした環状領域を設定し、前記相対的な方位情報に基づき、前記環状領域の対応する位置に前記第２のグラフィカル識別子を表示するステップを含む。図６に示すように、サムネイル地図４０に第１のグラフィカル識別子６０を中心とした環状領域１０を設定し、第１のグラフィカル識別子６０の現在の向きが東であり、３つの音源の前記仮想オブジェクトに対する相対的な方位情報に基づき、第１の音７０３の仮想オブジェクトに対する距離が１００ｍ（即ち、環状領域の内径ｒ）で、方位が真西である。それとともに、前記仮想オブジェクトに対する距離が２００ｍ（即ち、環状領域の外径Ｒ）である他の２つの第２の音声、第３の音声をさらに検出し、その方位がそれぞれ東北３０°、南東であり、それから、前記第２の音、第３の音に対応する第２のグラフィカル識別子７０１、７０２が相応に環状領域の外環上の３０°、１３５°位置に表示される。ユーザは、ゲームを経験するとともに、サムネイル地図上でゲームシーンにおける予定領域範囲内の音声の相対的な方位情報及び距離情報を直感的に取得できる。ゲームのグラフィカルユーザインターフェースに展示されるコントロール及びコンテンツが比較的に多いので、図６に示すように、環状領域はサムネイル地図において破線の形式で表示でき、又は表示されず、開発者のみにより開発時に設定されることができ、本発明はこれらに限定されない。
【００４５】
一好ましい実施例として、前記方法は、前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応する前記第２のグラフィカル識別子とするステップをさらに含む。図４に示す実施例における第２のグラフィカル識別子７１、７２のように、ゲームシーンに複数の音源が存在している場合、音声種類を区分せずにすべての音について同じグラフィカル識別子を使用できるが、この方式はプレーヤが音声種類を区分するのに不利である。したがって、異なる音声に対して異なるグラフィカル識別子を使用することが好ましく、図６に示す実施例では、音を足音、銃声及びドア開音に区分し、それに応じて、それぞれ異なる表意グラフィカルを使用して異なる音声種類をマークし、足裏表意グラフィカル７０１は足音を示し、ピストル表意グラフィカル７０２は銃声を示し、ドア状表意グラフィカル７０３はドア開音を示すためのものであり、音声種類及び表意グラフィカル、並びにその対応関係はゲームに予め記憶されることができ、音声の種類を取得した後、予定コンテンツを照会することで、対応する表意グラフィカルを選択できる。
【００４６】
一好ましい実施例として、前述したように、音源の仮想オブジェクトに対する距離を取得した場合、また、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御でき、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御するステップは、前記距離に基づいて対応するグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含んでもよい。図７に示す実施例では、第２のグラフィカル識別子８０１、８０２のサイズはそれぞれ距離に対応する。
【００４７】
この例示的な実施例では、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて対応する識別子グラフィカルを制御するステップは、下記の方式を含んでもよい。
【００４８】
方式１：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて第２のグラフィカル識別子の表示形態を制御する。
【００４９】
この例示的な実施例では、前記第２のグラフィカル識別子の透明度と前記音声の音源の前記仮想オブジェクトに対する距離とは負の相関関係を有し、即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、第２のグラフィカル識別子の透明度が高くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、第２のグラフィカル識別子の透明度が低くなる。なお、前記第２のグラフィカル識別子の透明度の取り得る値の範囲は、１００％〜０％であり、ここで、透明度が１００％である場合、前記第２のグラフィカル識別子が完全に透明になり、透明度が０％である場合、前記第２の識別子グラフィカルが完全に不透明になる。
【００５０】
方式２：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて前記第２のグラフィカル識別子のサイズの表示形態を制御する。
【００５１】
この例示的な実施例では、前記第２の識別子グラフィカルのサイズと前記音声の音源の前記仮想オブジェクトに対する距離とは負の相関関係を有する。即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、第２のグラフィカル識別子のサイズが小さくなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、第２のグラフィカル識別子のサイズが大きくなり、図７に示すように、例えば、仮想オブジェクトの付近に２つの足音声があることが検出された場合、第２のグラフィカル識別子はそれぞれ８０１、８０２に対応し、第２のグラフィカル識別子８０２に対応する音声の音源の仮想オブジェクトに対する距離は別の音源８０１よりも近い。
【００５２】
方式３：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて前記第２のグラフィカル識別子の輝度の表示形態を制御する。
【００５３】
この例示的な実施例では、前記第２のグラフィカル識別子の輝度と前記音声の音源の前記第２のグラフィカル識別子に対する距離とは負の相関関係を有し、即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、第２のグラフィカル識別子の輝度が低くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、第２のグラフィカル識別子の輝度が高くなる。
【００５４】
なお、また、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応して関連される前記第２のグラフィカル識別子の透明度、サイズ、輝度、又は動的効果のうちのいずれか１つ、２つ、３つ又は４つの表示形態を制御できる。
【００５５】
一好ましい実施例として、また、前記音声の音源の状態に基づいて対応する第２のグラフィカル識別子の表示形態を制御でき、このステップは、前記音声の音源の状態に基づいて対応する第２のグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含んでもよい。ゲームシーンにおいて、音声の音源の種類が同一である場合、その状態が異なることもあり、ある種類の銃器の銃声を例として、あるユーザが制御する仮想オブジェクトの銃器にサプレッサーが装備されていることを検出した場合、前記銃声は、同一の位置に位置するが、サプレッサーが装備されていない同じ種類の銃器より弱く、したがって、前記銃声に応してサムネイル地図上にフィードバックされる第２のグラフィカル識別子の表示形態が異なる。前記第２のグラフィカル識別子に関連する前記音声の音源の状態の異なる表示形態は、前述に関連する相対的な距離の異なる表示形態の具体的な実施形態と同じであり、上記で詳細に記述しているので、ここでは詳細な説明を省略する。
【００５６】
より好ましい具体的な実施例として、前記方法は、サムネイル地図上に前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子を提供するステップをさらに含む。図８に示すように、サムネイル地図４０上に、第１のグラフィカル識別子６０の位置に基づいて前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子９０をレンダリングすることで、ユーザは、音声の音源に対する相対的な距離を直感的に取得し、対応する音声の音源ターゲットと会う前に十分に準備できるように前記音声の音源ターゲットが視野範囲に入る時間を予測できる。
【００５７】
より好ましい具体的な実施例として、前記方法は、前記音声が発生されてからの時間を記録するタイマーを設定し、前記時間が予定時間閾値を超えているか否かを判定し、超えていない場合に、前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。予定時間閾値を設定することで、音声情報の時効性をさらに向上できる。例えば、予定時間閾値を５秒と設定し、ゲームシーン内の第１の予定範囲内の音声の音源が検知されて、前記第２のグラフィカル識別子を介して相応にサムネイル地図上の該当位置に表示するとともに、タイマーをオンにして計時を行い、音声が発生されてからの時間が予定時間閾値を超えてから５秒後に、前記音源に対応する第２のグラフィカル識別子がサムネイル地図上からなくなる。ユーザは、ゲームシーンにおける音声情報のリアルタイム更新を連続して取得することで、予定範囲内の音声情報のリアルタイム性及び正確性を確保できる。
【００５８】
さらに、前記方法は、同じ方位に位置し、且ついずれも前記予定時間閾値を超えていない複数の前記音声が検知された場合、最も遅く発生された前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。ゲームにおいて複数の音声の音源ターゲットが同じ方位に位置し、且ついずれも予定時間閾値を超えていないことがあるが、サムネイル地図のサイズが有限であるため、各音声の音源に対応する第２のグラフィカル識別子を同時に図中に示すことが困難である。この場合、好ましくは、サムネイル地図に最も遅く発生された音声の音源に対応する第２のグラフィカル識別子を表示する。
【００５９】
以下、図９を参照しながら、本発明の方式をより具体的な実施例を介して説明し、本実施例では、複数の音声を３つの音声として本発明の視覚的表示を説明する。例えば、ゲームシーンにおける仮想オブジェクトの現在の向きが東であり、３つの音声がそれぞれ第１の音声、第２の音声、第３の音声であり、ここで、第１〜第３の音声の種類がそれぞれ足音、銃声、ドア開音であり、第１〜第３の音声の音源の仮想オブジェクトに対する距離がそれぞれ１０ｍ、２０ｍ、３０ｍであり、第１〜第３の音声の音源の仮想オブジェクトに対する方位がそれぞれ図面に示すとおりである。足裏グラフィカル７０１は足音を示し、ピストル表意グラフィカル７０２は銃声を示し、ドア状表意グラフィカル７０３はドア開音を示すためのものであり、これを基礎として、距離に基づき、足裏表意グラフィカル７０１が最も大きく、ピストル表意グラフィカル７０２が次に大きく、ドア状表意グラフィカル７０３が最も小さく、各第２のグラフィカル識別子がそれぞれサムネイル地図上の該当位置に表示される。一実施例として、プレーヤはタッチ操作により仮想オブジェクトの移動を制御でき、仮想オブジェクトの向き及び位置がゲームシーンにおいて相応に変更され、仮想オブジェクトの向きが変更されると、対応する第１のグラフィカル識別子の向きも相応に変更される。
【００６０】
本発明の例示的な実施例では、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含む。このタッチ端末は、例えば、携帯電話、タブレットＰＣ、ゲーム機、ＰＤＡ等のようなタッチスクリーンを備える様々な電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラムインターフェースを介して、タッチ端末のタッチスクリーンが仮想オブジェクト、及び仮想ジョイスティックを含む仮想ジョイスティック領域、仮想戦闘シーン、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体領域であってもよく、タッチスクリーンの一部領域であってもよく、この例示的な実施例では、これを特に限定しない。前記仮想オブジェクトとは、ユーザが操作するゲームキャラクタであり、前記ゲームキャラクタの一部又は全体の形式でグラフィカルユーザインターフェースに表示される。例えば、１人称視点では、グラフィカルユーザインターフェースのコンテンツはユーザのマスタ視点で提示され、ユーザの没入経験が増強され、例えば、インターフェースにゲームキャラクタの手や足のような局所しか見えない。３人称視点では、ゲームキャラクタ全体をグラフィカルユーザインターフェースに提示することができ、ユーザの操作難易度及び眩惑を低下し、且つ画面のアクション感覚をさらに増強できるが、具体的に如何に表示するかは、開発者がゲームのコンテンツに応じて選択でき、本発明はこれらに限定されない。
【００６１】
本発明の例示的な実施例では、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示装置がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記装置は、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするレンダリングモジュールと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する検知取得モジュールと、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する制御モジュールと、を備える。
【００６２】
上記の音声情報を補償する各視覚装置モジュールの具体的な詳細は、対応する音声情報を補償する視覚的表示方法の説明で既に詳細に説明しているので、ここでは詳細な説明を省略する。
【００６３】
なお、上記の詳細な説明において実行のための機器の幾つかのモジュール又はユニットが言及されているが、このような分割は必須のものではないことを注意すべきである。実際には、本発明の実施形態によれば、上記で説明された２つ以上のモジュール又はユニットの特徴及び機能は、１つのモジュール又はユニットにおいて具体化されることができる。逆に、上記で説明された１つのモジュール又はユニットの特徴及び機能は、複数のモジュール又はユニットにより具体化されるようにさらに分割されることもできる。
【００６４】
本発明の例示的な実施例では、上記方法を実現可能な電子機器がさらに提供される。
【００６５】
当業者であれば、本発明の各態様がシステム、方法又はプログラム製品として実現されることが理解される。したがって、本発明の各態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、マイクロコード等を含む）、又はハードウェア及びソフトウェアの態様を組み合わせた実施形態の形式に具体的に実現されることができ、ここで、「回路」、「モジュール」又は「システム」と総称できる。
【００６６】
本発明によれば、電子機器がさらに提供され、前記機器は、プロセッサーと、前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサーは、前記実行可能な命令を実行することで、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実行するように構成される。
【００６７】
当業者であれば、明細書及びここで開示された発明を考慮した後、本発明の他の実施例を容易に構想できる。本願は、本発明の任意の変形、用途又は適応的な変更を含むことを意図し、これらの変形、用途又は適応的な変更は本発明の一般的な原理に従っており、本発明に開示されていない本技術分野の周知の常識や慣用の技術手段を含む。明細書及び実施例は単なる例示的なもので、本発明の本当の範囲及び精神は特許請求の範囲により示される。
【００６８】
なお、本発明は、上記で説明され、図中に示された厳密な構造に限定されず、その範囲を逸脱しない範囲内で様々な修正及び変更を行うことができることが理解されるべきである。本発明の範囲は特許請求の範囲によってのみ限定される。
【図１】
2019080920.tif 000003
【図２】
2019080920.tif 000004
【図３】
2019080920.tif 000005
【図４】
2019080920.tif 000006
【図５ａ】
2019080920.tif 000007
【図５ｂ】
2019080920.tif 000008
【図６】
2019080920.tif 000009
【図７】
2019080920.tif 000010
【図８】
2019080920.tif 000011
【図９】
2019080920.tif 000012