(57)【要約】      （修正有）【課題】音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器を提供する。【解決手段】グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供するステップと、ゲームシーンにおける第１の予定範囲内の音声を検知し、ゲームシーンにおける第１の予定範囲内の音声が検知された場合、音声の音源の方位情報を取得するステップと、方位情報に基づき、方位スケールの該当位置に音声に対応するグラフィカル識別子を生成するステップと、を含む。本発明によれば、ユーザは騒がしい環境で音声の種類、音声の音源の前記仮想オブジェクトに対する距離及び方位を認識でき、ユーザ経験が良い。【選択図】図１
2019063506.tif 000002
【特許請求の範囲】
【請求項１】
音声情報を補償する視覚的表示方法であって、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用され、前記グラフィカルユーザインターフェースによって表示されるコンテンツは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、
前記方法は、
前記グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供するステップと、
前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得するステップと、
前記方位情報に基づき、前記方位スケールの該当位置に前記音声に対応するグラフィカル識別子を生成するステップと、を含む
ことを特徴とする音声情報を補償する視覚的表示方法。
【請求項２】
前記ゲームシーンにおける前記仮想オブジェクトの現在の向きを検出し、前記方位スケールにより前記現在の向きを示すステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記方位スケールにより前記現在の向きを示すステップは、
前記グラフィカルユーザインターフェースに方向インジケータを表示し、前記現在の向きに基づき、前記方位スケールが前記グラフィカルユーザインターフェースにおいて移動するように制御して、前記方位スケールにおける前記現在の向きに対応する位置が前記方向インジケータにより指示される位置に位置するようにするステップを含む
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記方位識別子は、方位目盛及び／又は方位の説明を含む
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在の位置に応じて決定された領域範囲である
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記音声の音源の前記仮想オブジェクトに対する距離を取得し、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御するステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記距離に基づいて対応するグラフィカル識別子の表示形態を制御するステップは、前記距離に基づいて対応するグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含む
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応するグラフィカル識別子とするステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記方位情報は、前記音源の前記仮想オブジェクトに対する相対的な方位及び／又は前記ゲームシーンにおける前記音源の方位を含む
ことを特徴とする請求項１に記載の方法。
【請求項１０】
音声情報を補償する視覚的表示装置であって、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、
前記装置は、
前記グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供するための方位スケールモジュールと、
前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の前記仮想オブジェクトに対する相対的な方位を取得するための検知取得モジュールと、
前記相対的な方位に基づき、前記方位スケールの該当位置に前記音声に対応するグラフィカル識別子を生成するための制御モジュールと、を備える
ことを特徴とする音声情報を補償する視覚的表示装置。
【請求項１１】
プロセッサに実行されることにより、請求項１〜９の何れか一項に記載の音声情報を補償する視覚的表示方法を実現する
ことを特徴とするコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムが記憶される
ことを特徴とするコンピュータ読取可能な記録媒体。
【請求項１３】
プロセッサーと、   
前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、
ここで、前記プロセッサーは、前記実行可能な命令を実行することで、請求項１〜９のいずれか１項に記載の音声情報を補償する視覚的表示方法を実行するように構成される
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒューマンコンピュータインタラクション技術分野に関し、特に音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器に関する。
【背景技術】
【０００２】
従来のＰＣ側ゲームで、ユーザは、ゲーム中の音声の種類を判断し、左右チャネルの音効果により、ユーザが制御する仮想オブジェクトに対する音源の相対的な方位を判断でき、例えば、足音の変化規則により敵の移動方向を判断でき、さらに、例えば、銃声により危険源を判断できる。したがって、従来のＰＣ側ゲームで、ユーザは、ゲーム中の音に基づいて、ユーザが制御する仮想オブジェクトが位置する環境を迅速に判断し、迅速に対応することができる。さらに、従来のＰＣ側のアプリケーション環境が良好であるため、音響効果のよいイヤホーンやオーディオと組み合わせると、没入感が容易に中断されず、さらに、ユーザにより良い経験をもたらす。
【０００３】
現在、ハンドヘルド端末の普及に伴い、ゲームもますますハンドヘルド端末で応用されている。しかしながら、従来のＰＣ側と比較して、ハンドヘルド端末のアプリケーション環境は比較的広く、ハンドヘルド端末が騒がしい環境で使用される場合、ユーザは、ゲーム中の音によりユーザが制御する仮想オブジェクトが位置する環境を判断することが困難であり、且つ没入感が容易に中断され、一方、ほとんどのハンドヘルド端末は、左右チャネルを介して音源の方向を優秀に表現できない。
【０００４】
なお、上記の背景技術の部分に開示された情報は、単なる本発明の背景に対する理解を増強させるためのもので、当業者に知られている従来技術を構成しない情報を含んでもよい。
【発明の概要】
【０００５】
本発明の目的は、音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器を提供して、少なくとも関連技術の制限及び欠陥による１つ又は複数の問題をある程度克服することにある。
【０００６】
本発明の一態様によれば、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法が提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記方法は、前記グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供するステップと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得するステップと、前記方位情報に基づき、前記方位スケールの該当位置に前記音声に対応するグラフィカル識別子を生成するステップと、を含む。
【０００７】
好ましくは、前記方法は、前記ゲームシーンにおける前記仮想オブジェクトの現在の向きを検出し、前記方位スケールにより前記現在の向きを示すステップをさらに含む。
【０００８】
好ましくは、前記方位スケールにより前記現在の向きを示すステップは、前記グラフィカルユーザインターフェースに方向インジケータを表示し、前記現在の向きに基づき、前記方位スケールが前記グラフィカルユーザインターフェースにおいて移動するように制御して、前記方位スケールにおける前記現在の向きに対応する位置が前記方向インジケータにより指示される位置に位置するようにするステップを含む。
【０００９】
好ましくは、前記方位識別子は、方位目盛及び／又は方位の説明を含む。
【００１０】
好ましくは、前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在の位置に応じて決定された領域範囲である。
【００１１】
好ましくは、前記音声の音源の前記仮想オブジェクトに対する距離を取得し、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御する。
【００１２】
好ましくは、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御するステップは、前記距離に基づいて対応するグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含む。
【００１３】
好ましくは、前記方法は、前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応するグラフィカル識別子とするステップをさらに含む。
【００１４】
好ましくは、前記方位情報は、前記音源の前記仮想オブジェクトに対する相対的な方位及び／又は前記ゲームシーンにおける前記音源の方位を含む。
【００１５】
本発明によれば、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示装置がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記装置は、前記グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供するための方位スケールモジュールと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の前記仮想オブジェクトに対する相対的な方位を取得するための検知取得モジュールと、前記相対的な方位に基づき、前記方位スケールの該当位置に前記音声に対応するグラフィカル識別子を生成するための制御モジュールと、を備える。
【００１６】
本発明によれば、プロセッサに実行されることにより、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実現するコンピュータプログラムを提供する。本発明によれば、前述したコンピュータプログラムが記憶されたコンピュータ読取り可能な記憶媒体を提供する。
【００１７】
本発明によれば、電子機器がさらに提供され、前記機器は、プロセッサーと、     前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサーは、前記実行可能な命令を実行することで、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実行するように構成される。
【００１８】
本発明の一例示的な実施例に提供された音声情報を補償する視覚的表示方法及び装置、記録媒体、電子機器によれば、グラフィカルユーザインターフェースに方位スケールを提供し、検知された音声の音源の方位情報をグラフィカル識別子を介して前記方位スケールの該当位置に示すことで、ユーザがゲーム音をオフにした場合、又は、騒がしい環境である場合、又は、機器に左右チャネルを介して音源方向を表現する条件が不足である場合、方位スケールの視覚的表示により、音源の方向を補償して表現する。
【００１９】
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示ので解釈的な記載であり、本発明を限定しない。
【図面の簡単な説明】
【００２０】
本発明の上記及び他の特徴及び利点は、図面を参照しながらその例示的な実施例を詳細に説明することにより、より明らかになるであろう。なお、以下の記載における図面はただ本発明の一部の実施例に過ぎず、当業者の場合、創造的な労働を付与しない前提で、これらの図面によって他の図面を得ることができる。
【図１】本発明の音声情報を補償する視覚的表示方法のフローチャートである。
【図２】本発明の音声情報を補償する視覚的表示方法にかかるグラフィカルユーザインターフェースの模式図である。
【図３】本発明の一例示的な実施例における方位スケールの模式図である。
【図４】本発明の一例示的な実施例における方位スケール及び関連コンポーネントの模式図である。
【図５】本発明の別の例示的な実施例における方位スケール及び関連コンポーネントの模式図である。
【図６】本発明の別の例示的な実施例におけるグラフィカルユーザインターフェースの模式図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、例示的な実施例について詳細に説明する。なお、例示的な実施例は様々な形態で実施されることができ、本発明は、ここで説明される実施例に限定されるものではないことを理解すべきである。逆に、これらの実施例を提供することによって、本開示はより具体的な統合性を有するとともに例示的な実施例の構想を全面的に当業者に伝えることができる。図面において、同じ符号は、同一又は類似の部分を示しているため、重複する説明を省略する。
【００２２】
また、説明する特徴、構造また特性は、任意の適切な方法で、一つ又は複数の実施形態に組み合わせることができる。以下、多くの具体的な詳細を提供して、本発明の実施例を十分に理解させる。なお、本発明の技術案における特定な詳細の中の一つ又は複数を省略しても、或いは、他の方法、構成、材料、装置、ステップなどを採用しても、本発明の技術案が実践できることは、当業者であれば理解し得ることである。また、本発明が不明瞭となることを避けるために、周知の構造、方法、装置、実現、材料、又は操作については、詳細に図示又は説明しない。
【００２３】
図面に示すブロック図は、単なる機能エンティティであり、必ずしも物理的に独立したエンティティに対応する必要はない。即ち、ソフトウェアの形式でこれらの機能エンティティを実現でき、又は１つ又は複数のソフトウェアをハードウェア化したモジュールにおいてこれらの機能エンティティ又は機能エンティティの一部を実現でき、又は異なるネットワーク及び／又はプロセッサー装置及び／又はマイクロコントローラー装置においてこれらの機能エンティティを実現できる。
【００２４】
この例示的な実施例では、まず、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法が開示され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含む。このタッチ端末は、例えば、携帯電話、タブレットＰＣ、ゲーム機、ＰＤＡ等のようなタッチスクリーンを備える様々な電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラムインターフェースを介して、タッチ端末のタッチスクリーンが仮想オブジェクト、及び仮想ジョイスティックを含む仮想ジョイスティック領域、仮想戦闘シーン、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体領域であってもよいが、タッチスクリーンの一部領域であってもよく、この例示的な実施例では、これを特に限定しない。前記仮想オブジェクトとは、ユーザが操作するゲームキャラクタであり、前記ゲームキャラクタの一部又は全体の形式でグラフィカルユーザインターフェースに表示され、例えば、１人称視点で、グラフィカルユーザインターフェースのコンテンツはユーザのマスタ視点で提示され、ユーザの没入経験が増強され、インターフェースにゲームキャラクタの手や足のような局所しか見えず、３人称視点では、ゲームキャラクタ全体をグラフィカルユーザインターフェースに提示することができ、ユーザによる操作難易度及び眩惑を低下し、且つ画面のアクション感覚をさらに強調でき、具体的に如何に表示するかは、開発者がゲームのコンテンツに応じて選択してもよく、本発明はこれらに限定されない。図１に示すように、前記音声情報を補償する視覚的表示方法は、下記のステップを含んでもよい。
【００２５】
ステップＳ１：前記グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供する。
【００２６】
ステップＳ２：前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する。
【００２７】
ステップＳ３：前記方位情報に基づき、前記方位スケールの該当位置に前記音声に対応するグラフィカル識別子を生成する。
【００２８】
グラフィカルユーザインターフェースに方位スケールを提供し、検知された音声の音源の方位情報をグラフィカル識別子を介して前記方位スケールの該当位置に示すことで、ユーザがゲーム音をオフにした場合、又は、騒がしい環境である場合、又は、機器に左右チャネルを介して音源方向を表現する条件が不足である場合、方位スケールの視覚的表示により、音源の方向を補償して表現する。
【００２９】
以下、図１〜６を参照しながら、この例示的な実施例における音声情報を補償する視覚的表示方法をさらに説明する。
【００３０】
ステップＳ１において、グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供する。
【００３１】
図２に示す実施例では、グラフィカルユーザインターフェースに仮想キャラクタ５０の移動を制御するための移動操作領域２０と、スキルの放出を制御するためのスキルコントロール４０と、サムネイルゲームシーンを展示するための小地図１０と、が含まれており、本実施例では、グラフィカルユーザインターフェースに方位スケール３０を追加して提供し、この方位スケール３０は方位を示すための方位識別子を含み、この方位識別子は方位目盛及び／又は方位の説明を含んでもよい。図３に示す方位スケール３０では、例えば、１０５、１２０、１５０等のように数字で示す方位目盛、及び東、南東、南、南西等のように文字で示す方位目盛３１０も含むが、方位の説明３２０も含み、方位の説明は文字で説明することが好ましいが、グラフィカルに説明する方式も使用でき、図２の方位スケール３０は文字で説明されており、ここで、最左側に表示されている「左後」、最右側に表示されている「右後」があり、この方位の説明は、プレーヤが方位スケールを理解する理解難易度を低下することができ、一方、スクリーン空間の局限性により、スクリーン上に方位スケール０〜３６０度のすべての目盛範囲を同等に表示することが困難であり、重視している一部目盛領域の詳細のみスクリーン上に表示し、他の部分目盛領域については、方位の説明により概略的に表示でき、図４に示す実施例では、仮想オブジェクト後側の領域について、ただ左後及び右後として概略的に区分する。
【００３２】
方位スケール３０として、図２に示すような定規の表現形式を使用できるが、例えば、模擬コンパスを使用する方式、又は円弧状の目盛盤を使用する方式等のような方位を示すことができる他の形式も使用できる。
【００３３】
ステップＳ２において、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する。
【００３４】
この例示的な実施例では、前記第１の予定範囲のサイズは、開発者によりゲームコンテンツに応じて設定でき、好ましくは、前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在位置に応じて決定された領域範囲であり、例えば、前記第１の予定範囲は、仮想キャラクタの聴覚範囲に応じて決定された範囲であってもよいが、ゲームシーンの全体領域又はグラフィカルユーザインターフェースに表示されたゲームシーンの領域等であってもよく、もちろん、開発者は、またゲームの必要に応じて第１の予定範囲の選定規則を設定でき、例えば、予定距離範囲内で吸音障害物により完全に遮断されていない領域等のような多重条件を使用できる。
【００３５】
検知モジュールにより第１の予定範囲内の音を予定周期で検知でき、前記予定周期は、開発者により自ら設定されてもよいが、検知の精度を確保するために、前記予定周期は過大に設定されてはいけない。
【００３６】
音声が検知された場合に、前記音声の音源の仮想オブジェクトに対する方位情報を取得し、この方位情報は、音源の仮想オブジェクトに対する相対的な方位であってもよいが、前記ゲームシーンにおける音源の方位であってもよく、又は両者を同時に取得してもよい。開発者は、ゲームの具体的な必要に応じて決定でき、一方では、ゲームにおいて表示する必要がある情報に応じて選択でき、例えば、音源の仮想オブジェクトに対する相対的な方位のみ表記する必要がある場合に、相対的な方位を選択でき、反対な場合、ゲームシーンにおける音源の方位を得ることができ、一方では、ゲームエンジンからデータを取得する利便性に応じて選択でき、相対的な方位を得ることがより便利である場合に、相対的な方位を使用できる。また、音源と仮想オブジェクトとは往々にして同じ座標系に位置するため、相対的な方位及びシーンにおける音源の方位は互いに換算でき、開発者がそのうちの１つを取得し、換算により別のデータを得ることもできる。音源の方位は、また、音源の座標情報に基づいて算出されることができ、開発者は、座標情報を取得してから算出することで方位情報を得ることができる。
【００３７】
好ましい実施例では、さらに多い補償を提供してさらに多い情報を表示するために、方位情報の他に、また、前記音声の種類、前記音源の仮想オブジェクトに対する距離等のデータを同時に取得でき、これにより、音声種類取得モジュールにより前記音声の種類を取得でき、ここで、前記音声の種類は、足音、会話音、ドア開音、銃声、戦闘音等であってもよく、この例示的な実施例では、これを特に限定しない。
【００３８】
仮想オブジェクトの座標及び音声の音源の座標を取得し、前記仮想オブジェクトの座標及び音声の音源の座標に基づいて音声の音源の仮想オブジェクトに対する距離及び方位を算出できる。
【００３９】
ステップＳ３において、前記方位情報に基づき、前記方位スケールの該当位置に前記音声に対応するグラフィカル識別子を生成する。
【００４０】
図４に示すように、ユーザに音声情報を補償して表示するために、本実施例では、方位スケール３００の下側にグラフィカル表示領域５００を設定することで、音声に対応するグラフィカル識別子７００をこの表示領域５００に表示し、前記音声の方位情報に基づき、グラフィカル識別子７００の表示位置が方位スケールの該当位置に位置するように制御する。
【００４１】
一好ましい実施例として、音声種類を区分せずにすべての音声について同一のグラフィカル識別子７００を使用できるが、この方式はプレーヤが音声種類を区分するのに不利である。したがって、異なる音声に対して異なるグラフィカル識別子を使用することが好ましく、図４に示す実施例では、音声を足音、銃声及びドア開音に区分し、それに応じて、それぞれ異なる表意グラフィカルを使用して異なる音声種類を示し、足裏表意グラフィカル７０１は足音を示し、ピストル表意グラフィカル７０２は銃声を示し、ドア状表意グラフィカル７０３はドア開音を示すためのものであり、音声種類及び表意グラフィカル、並びにその対応関係はゲームに予め記憶されることができ、音声の種類を取得した後、予定コンテンツを照会することで、対応する表意グラフィカルを選択できる。
【００４２】
好ましい実施例として、前述したように、音源の仮想オブジェクトに対する距離を取得した場合、また、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御でき、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御するステップは、前記距離に基づいて対応するグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含んでもよい。図４に示す実施例では、グラフィカル識別子７００のサイズはそれぞれ距離に対応する。
【００４３】
この例示的な実施例では、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて対応する識別子グラフィカル７００を制御するステップは、下記の方式を含んでもよい。
【００４４】
方式１：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて識別子グラフィカルの表示形態を制御する。
【００４５】
この例示的な実施例では、前記識別子グラフィカルの透明度と前記音声の音源の前記仮想オブジェクトに対する距離とは負の相関関係を有する。即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、識別子グラフィカルの透明度が高くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、識別子グラフィカルの透明度が低くなる。なお、前記識別子グラフィカルの透明度の取り得る値の範囲は、１００％〜０％であり、ここで、識別子グラフィカルの透明度が１００％である場合、識別子グラフィカルが完全に透明になり、識別子グラフィカルの透明度が０％である場合、識別子グラフィカルが完全に不透明になる。
【００４６】
方式２：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて前記識別子グラフィカルのサイズの表示形態を制御する。
【００４７】
この例示的な実施例では、前記識別子グラフィカルのサイズと前記音声の音源の前記仮想オブジェクトに対する距離とは負の相関関係を有する。即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、識別子グラフィカルのサイズが小さくなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、識別子グラフィカルのサイズが大きくなり、図５に示すように、例えば、仮想オブジェクトの付近に２つの足音声があることが検出された場合、識別子グラフィカルはそれぞれ８０１、８０２に対応し、識別子グラフィカル８０２に対応する音声の音源の仮想オブジェクトに対する距離は別の音源８０１よりも近い。
【００４８】
方式３：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて前記識別子グラフィカルの輝度の表示形態を制御する。
【００４９】
この例示的な実施例では、前記識別子グラフィカルの輝度と前記音声の音源の前記識別子グラフィカルに対する距離とは負の相関関係を有する。即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、識別子グラフィカルの輝度が低くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、識別子グラフィカルの輝度が高くなる。
【００５０】
なお、また、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応して関連される前記識別子グラフィカルの透明度、サイズ、輝度、又は動的効果のうちのいずれか１つ、２つ、３つ又は４つの表示形態を制御できる。
【００５１】
より好ましい具体的な実施例として、方位スケールは、また、ゲームシーンにおける仮想オブジェクトの現在の向きを示すために使用され、例えば、仮想オブジェクトの現在の状態での正面前方の方位を示すために使用される。仮想オブジェクトの現在の向きを示すために音声の方位を示す方法と同じ方法を使用でき、例えば、方位スケールの該当位置に仮想オブジェクトのグラフィカル識別子を生成する方法を使用できる。
【００５２】
しかしながら、より好ましい方式として、図４に示すように、前記グラフィカルユーザインターフェースに方向インジケータ６００を表示し、前記現在の向きに基づき、前記方位スケール３０が前記グラフィカルユーザインターフェースにおいて移動するように制御して、前記方位スケール３０における前記現在の向きに対応する位置が前記方向インジケータ６００により指示される位置に位置するようにすることができる。この好ましい実施例では、方向インジケータ６００の位置を固定し、スケールを移動させる方式により、仮想オブジェクトの向きが常にインジケータ６００により指示される位置に位置するようにし、このような方式によれば、インジケータ６００は向きを指示するとともに、プレーヤに１つの方位参照情報を提供することができ、プレーヤは、具体的な目盛を見ることなく音源の方位を大まかに判断できる。
【００５３】
方向インジケータ６００として、三角形、矢印又は他の好適なグラフィカルパターンを使用でき、本発明ではこれを限定しない。
【００５４】
以下、図６を参照しながら、本発明の方式をより具体的な実施例を介して説明し、本実施例では、複数の音声を３つの音声として本発明の視覚的表示を説明する。
【００５５】
例えば、上記３つの音声がそれぞれ第１の音声、第２の音声、第３の音声であり、ここで、第１〜第３の音声の種類がそれぞれ足音、銃声、ドア開音であり、第１〜第３の音声の音源の仮想オブジェクトに対する距離がそれぞれ１０ｍ、２０ｍ、３０ｍであり、第１〜第３の音声の音源の仮想オブジェクトに対する方位がそれぞれ北、北東６０〜７０度、南東１６０度である。足裏グラフィカル７０１は足音を示し、ピストル表意グラフィカル７０２は銃声を示し、ドア状表意グラフィカル７０３はドア開音を示すためのものであり、これを基礎として、距離に基づき、足裏表意グラフィカル７０１が最も大きく、ピストル表意グラフィカル７０２が次に大きく、ドア状表意グラフィカル７０３が最も小さくなるように制御し、各アイコンがそれぞれ方位スケールの該当目盛位置に位置する。ゲームシーンにおける仮想オブジェクトの現在の向き（例えば、現在の正面向き）が１０５度の位置に位置する。一実施例として、プレーヤは、タッチ操作により仮想オブジェクトの向きを制御でき、仮想オブジェクトの向きが変更されると、相応的に方位スケールも移動され、現在の向きが常に方向インジケータにより指示される位置に位置するように維持する。
【００５６】
本発明の例示的な実施例では、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含む。このタッチ端末は、例えば、携帯電話、タブレットＰＣ、ゲーム機、ＰＤＡ等のようなタッチスクリーンを備える様々な電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラムインターフェースを介して、タッチ端末のタッチスクリーンが仮想オブジェクト、及び仮想ジョイスティックを含む仮想ジョイスティック領域、仮想戦闘シーン、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体領域であってもよく、タッチスクリーンの一部領域であってもよく、この例示的な実施例では、これを特に限定しない。前記仮想オブジェクトとは、ユーザが操作するゲームキャラクタであり、前記ゲームキャラクタの一部又は全体の形式でグラフィカルユーザインターフェースに表示され、例えば、１人称視点で、グラフィカルユーザインターフェースのコンテンツはユーザのマスタ視点で提示され、ユーザの没入経験が増強され、例えば、インターフェースにゲームキャラクタの手や足のような局所しか見えず、３人称視点では、ゲームキャラクタ全体をグラフィカルユーザインターフェースに提示することができ、ユーザの操作難易度及び眩惑を低下し、且つ画面のアクション感覚をさらに増強でき、具体的に如何に表示するかは、開発者がゲームのコンテンツに応じて選択でき、本発明はこれらに限定されない。
【００５７】
本発明の例示的な実施例では、音声情報を補償する視覚的表示装置がさらに提供され、本発明は、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示装置をさらに開示し、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記装置は、前記グラフィカルユーザインターフェースに方位を示すための方位識別子を含む方位スケールを提供する方位スケールモジュールと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の前記仮想オブジェクトに対する相対的な方位を取得するための検知取得モジュールと、前記方位情報に基づき、前記方位スケールの該当位置に前記音声に対応するグラフィカル識別子を生成するための制御モジュールと、を備える。
【００５８】
上記の音声情報を補償する各視覚装置モジュールの具体的な詳細は、対応する音声情報を補償する視覚的表示方法の説明で既に詳細に説明しているので、ここでは詳細な説明を省略する。
【００５９】
なお、上記の詳細な説明において実行のための機器の幾つかのモジュール又はユニットが言及されているが、このような分割は必須のものではないことを注意すべきである。実際には、本発明の実施形態によれば、上記で説明された２つ以上のモジュール又はユニットの特徴及び機能は、１つのモジュール又はユニットにおいて具体化されることができる。逆に、上記で説明された１つのモジュール又はユニットの特徴及び機能は、複数のモジュール又はユニットにより具体化されるようにさらに分割されることもできる。
【００６０】
本発明の例示的な実施例では、上記方法を実現可能な電子機器がさらに提供される。
【００６１】
当業者であれば、本発明の各態様がシステム、方法又はプログラム製品として実現されることが理解される。したがって、本発明の各態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、マイクロコード等を含む）、又はハードウェア及びソフトウェアの態様を組み合わせた実施形態の形式に具体的に実現されることができ、ここで、「回路」、「モジュール」又は「システム」と総称できる。
【００６２】
本発明によれば、電子機器がさらに提供され、前記機器は、プロセッサーと、前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサーは、前記実行可能な命令を実行することで、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実行するように構成される。
【００６３】
当業者であれば、明細書及びここで開示された発明を考慮した後、本発明の他の実施例を容易に構想できる。本願は、本発明の任意の変形、用途又は適応的な変更を含むことを意図し、これらの変形、用途又は適応的な変更は本発明の一般的な原理に従っており、本発明に開示されていない本技術分野の周知の常識や慣用の技術手段を含む。明細書及び実施例は単なる例示的なもので、本発明の本当の範囲及び精神は特許請求の範囲により示される。
【００６４】
なお、本発明は、上記で説明され、図中に示された厳密な構造に限定されず、その範囲を逸脱しない範囲内で様々な修正及び変更を行うことができることが理解されるべきである。本発明の範囲は特許請求の範囲によってのみ限定される。
【図１】
2019063506.tif 000003
【図２】
2019063506.tif 000004
【図３】
2019063506.tif 000005
【図４】
2019063506.tif 000006
【図５】
2019063506.tif 000007
【図６】
2019063506.tif 000008