(57)【要約】【課題】周囲音の解析結果を蓄積し、当該蓄積結果を利用して多様なゲーム態様を実現する。【解決手段】周囲音収集・格納手段２により、周囲音を収集・格納し、周囲音解析・累計手段３により、周囲音収集・格納手段２に格納されているデータを解析して数値データに変換するとともに該数値データを音素材テーブル４に累計する。音素材・適用対象選定手段５により、音素材テーブル４に格納されている音素材と該音素材を適用すべき対象であるオブジェクトを選定し、システム１は、前記選定された音素材の数値データに基づき前記選定されたオブジェクトの態様を変更する。さらに、システム１は、音素材・適用対象選定手段５によって選定された音素材及びオブジェクトに基づいてシミュレーションを行うためのシミュレーション手段６を具備している。【選択図】図１
2016202436.tif 000002
【特許請求の範囲】
【請求項１】
周囲音を収集し、格納する周囲音収集・格納手段と、
前記周囲音収集・格納手段に格納されているデータを解析して数値データに変換するとともに該数値データを後記音素材テーブルに累計する周囲音解析・累計手段と、
前記数値データの累計値を音素材として格納する音素材テーブルと、
前記音素材テーブルに格納されている音素材と該音素材を適用すべき対象であるオブジェクトを選定する音素材・適用対象選定手段と、
を具備し、前記選定された音素材の数値データに基づき前記選定されたオブジェクトの態様を変更することを特徴とするシステム。
【請求項２】
請求項１記載のシステムであって、さらに、前記音素材・適用対象選定手段によって選定された音素材及びオブジェクトに基づいてシミュレーションを行うためのシミュレーション手段を具備することを特徴とするシステム。
【請求項３】
請求項１又は２記載の装置において、前記周囲音解析・累計手段によるデータの解析は、前記周囲音収集・格納手段に格納されているデータについて、周波数スペクトル、持続時間、繰り返し回数、または音圧のうちのいずれか１つまたは２つ以上を解析するものであることを特徴とするシステム。
【請求項４】
周囲音収集・格納手段が周囲音を収集し、格納するステップと、
周囲音解析・累計手段が、前記周囲音収集・格納手段に格納されているデータを解析して数値データに変換するとともに該数値データを音素材テーブルに累計するステップと、
音素材・適用対象選定手段が、前記音素材テーブルに格納されている音素材と該音素材を適用すべき対象であるオブジェクトを選定するステップと、
を具備し、前記選定された音素材の数値データに基づき前記選定されたオブジェクトの態様を変更することを特徴とする方法。
【請求項５】
請求項４記載の方法であって、さらに、シミュレーション手段が、前記音素材・適用対象選定手段によって選定された音素材及びオブジェクトに基づいてシミュレーションを行うステップを具備することを特徴とする方法。
【請求項６】
請求項４又は５記載の方法において、前記周囲音解析・累計手段によるデータの解析は、前記周囲音収集・格納手段に格納されているデータについて、周波数スペクトル、持続時間、繰り返し回数、または音圧のうちのいずれか１つまたは２つ以上を解析するものであることを特徴とする方法。
【請求項７】
コンピュータに請求項４〜６の何れか１項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲音を記録しゲームに反映させるためのシステム、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
音声認識技術をゲームに適用し、プレイヤーの音声に応じてゲームの進行等を変化させるゲーム装置が提案されている（例えば、特許文献１乃至特許文献４参照）。
【０００３】
特許文献１は、音声入力手段から入力された音声信号の音圧レベルを検出し、音圧レベルに応じてゲームの進行態様を変更するゲーム装置を開示する。特許文献２は、プレイヤーが発した音声の音域を検出し、検出された音声入力の音域に応じてゲームの進行を変化させ、あるいはキャラクタの動作を変化させるゲーム装置を開示する。特許文献３は、プレイヤーが発した音声の継続時間を検出し、検出された音声の継続時間に応じてゲームの進行を変化させる、あるいはキャラクタの動作を連続させるゲーム装置を開示する。特許文献４は、プレイヤーからの入力音声をキャラクタの動作に反映させるゲーム装置であって、音程の変化分の推移および音量の推移についての評価基準となる音声データを予め、基準音声データとして記憶手段に記憶させておき、プレイヤーの所定単位の音声から、音程の変化分の推移と音量の推移を抽出し、これらを基準データと周期的に比較して評価し、その評価結果に基づいてキャラクタの動作内容を決定するゲーム装置を開示する。
【０００４】
特許文献１乃至特許文献４は、ゲームの進行等を変化させるのにプレイヤーの音声を利用しているが、現実世界の多様な音または音声を利用してキャラクタを探索し、捕獲し、収集するゲーム装置も提案されている（特許文献５参照）。
【０００５】
また、周囲音を音響解析し、解析結果をキャラクタに変換するゲーム装置も提案されている（特許文献６参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−８５８３４号公報
【特許文献２】特開２００２−３２０７７２号公報
【特許文献３】特開２００２−３２０７７３号公報
【特許文献４】特開２００２−１３６７６４号公報
【特許文献５】特開２００７−１５８８２０号公報
【特許文献６】特開２００６−１０９９６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特許文献１乃至特許文献４記載のゲーム装置は、ゲームの進行等を変化させるのにプレイヤーの音声を利用しており、プレイヤーの音声以外の音を利用するものではなかった。
【０００８】
また、上記特許文献５及び特許文献６記載のゲーム装置は、プレイヤーの音声以外の音を解析してキャラクタの収集等に利用するものであるが、音の解析結果の利用対象はキャラクタに限定されるものであった。
【０００９】
本発明は上記事情に着目してなされたものであって、その目的とするところは、周囲音の解析結果を蓄積し、当該蓄積結果を利用して多様なゲーム態様を実現し得る、周囲音を記録しゲームに反映させるためのシステム、方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一実施形態は、周囲音を収集し、格納する周囲音収集・格納手段と、前記周囲音収集・格納手段に格納されているデータを解析して数値データに変換するとともに該数値データを後記音素材テーブルに累計する周囲音解析・累計手段と、前記数値データの累計値を音素材として格納する音素材テーブルと、前記音素材テーブルに格納されている音素材と該音素材を適用すべき対象であるオブジェクトを選定する音素材・適用対象選定手段と、を具備し、前記選定された音素材の数値データに基づき前記選定されたオブジェクトの態様を変更することを特徴とするシステムに係るものである。
【００１１】
また、上記実施形態において、さらに、前記音素材・適用対象選定手段によって選定された音素材及びオブジェクトに基づいてシミュレーションを行うためのシミュレーション手段を具備するようにしてもよい。
【００１２】
また、上記各実施形態において、前記周囲音解析・累計手段によるデータの解析は、前記周囲音収集・格納手段に格納されているデータについて、周波数スペクトル、持続時間、繰り返し回数、または音圧のうちのいずれか１つまたは２つ以上を解析するものであってもよい。
【００１３】
本発明の他の実施形態は、上記各システムと略同様の内容を有する方法、及び、該方法をコンピュータにより実現するためのプログラムに係るものである。
【発明の効果】
【００１４】
本発明によれば、周囲音の解析結果を蓄積し、当該蓄積結果を利用して多様なゲーム態様を実現することができる。
【００１５】
なお、本発明のシステムを一例に作用効果を説明したが、方法、及び、プログラムにおいても同様の作用効果を奏するものである。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施の一形態に係るシステムの構成を示すブロック図である。
【図２】図２は、本発明の実施の一形態に係るシステムを実現するためのハードウェア構成の一例を示すブロック図である。
【図３】図３は、音解析を実行し音素材を取得するための処理の一例を表すフローチャートである。
【図４】図４は、周囲音デジタル信号を周波数解析し、解析結果を集計するための一態様を模式的に示す説明図である。
【図５】図５は、音素材テーブルに格納された音素材の数値を利用してゲーム態様を変更するための処理の一例を表すフローチャートである。
【図６】図６は、音素材をオブジェクトに適用してオブジェクトを変化させる一態様を模式的に示す説明図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明に係る実施の形態を図面に基づいて詳細に説明する。なお、本発明は、以下において説明する実施の形態に限定されるべきではなく、特許請求の範囲の記載に基き解釈されるべきである。また、当業者であれば、他の類似する実施形態を使用することができること、また、本発明から逸脱することなく適宜形態の変更又は追加を行うことができることに留意すべきである。
【００１８】
図１は、本発明の実施の一形態に係るシステム１の構成を示すブロック図である。システム１は、周囲音を収集し、格納する周囲音収集・格納手段２と、周囲音収集・格納手段２に格納されているデータを解析して数値データに変換するとともに該数値データを音素材テーブル４に累計する周囲音解析・累計手段３と、数値データの累計値を音素材として格納する音素材テーブル４と、音素材テーブル４に格納されている音素材と該音素材を適用すべき対象であるオブジェクトを選定する音素材・適用対象選定手段５とを具備している。
【００１９】
なお、システム１は、音素材・適用対象選定手段５によって選定された音素材及びオブジェクトに基づいてシミュレーションを行うためのシミュレーション手段６を具備してもよい。
システム１の各構成要素２〜６の果たす機能の詳細については、以下において詳述する。
【００２０】
図２は、本発明の実施の一形態に係るシステム１を実現するためのハードウェア構成１０の一例を示すブロック図である。ハードウェア構成１０は、ＣＰＵ１１と、ＧＰＵ（グラフィックプロセッサユニット）１２と、インターフェース１３と、記憶部１４とを備えている。ＣＰＵ１１、ＧＰＵ１２、インターフェース１３、および記憶部１４は、バス１５によって接続されている。
【００２１】
インターフェース１３には、例えば、不図示の操作ボタン群およびタッチスクリーンを含む操作部１６と、マイクロフォン等の音入力部１７とが接続されている。また、ＧＰＵ１２には、表示部１９が接続されると共に、メモリバス２１を介してＶＲＡＭ（ビデオＲＡＭ）２０が接続されている。
【００２２】
ＣＰＵ１１は、例えば、外部よりダウンロードされたプログラムを実行することにより、所定の処理を行う。
【００２３】
ＧＰＵ１２は、ＣＰＵ１１からの指示により描画処理を行い、表示部１９にゲーム画像を表示させる。
【００２４】
インターフェース１３は、ＣＰＵ１１と、操作部１６および音入力部１７、あるいは不図示の周辺装置との間のデータのやりとりを制御する。なお、音入力部１７から入力される周囲音アナログ信号は、不図示のＡ／Ｄ変換回路により、周囲音デジタル信号に変換され、記憶部１４内の所定の記憶領域に格納される。
【００２５】
ＣＰＵ１１は、記憶部１４に格納される周囲音デジタル信号に対し、音解析を実行する。音解析は、周囲音デジタル信号について、周波数スペクトル、持続時間、繰り返し回数、または音圧のうちのいずれか１つまたは２つ以上を解析することにより、音要素を分解して数値化するための処理である。そして、ＣＰＵ１１は、音要素を分解して数値化したデータを集計し、当該集計値に基づき記憶部１４内の音素材テーブルを更新する。
【００２６】
ＧＰＵ１２は、ユーザによる操作部１６の操作入力に応じたＣＰＵ１１からの指示により、描画処理を行い、表示部１９に表示する。
【００２７】
次に、本発明の実施の形態に係るシステム１の音解析を実行し音素材を取得するための処理の一例を、フローチャートを参照して説明する。
図３は、上記音解析を実行し音素材を取得するための処理の一例を表すフローチャートである。
【００２８】
ユーザが操作部１６を操作し、選択メニューから「周囲音収集」を選択すると、ＣＰＵ１１は「周囲音収集モード」を起動させ周囲音の収集・格納を開始させる（Ｓ１０１）。
【００２９】
周囲音収集モードにおいて、ＣＰＵ１１は、音入力部１７から入力され不図示のＡ／Ｄ変換回路によって変換された周囲音を、周囲音デジタル信号として記憶部１４内の所定の記憶領域に格納する（Ｓ１０２）。
【００３０】
ユーザが操作部１６を操作し、周囲音収集モードを終了させる選択を行った場合（Ｓ１０３、ＹＥＳ）、ＣＰＵ１１は、処理を終了させ、周囲音の収集・格納が終了する（Ｓ１０４）。なお、周囲音収集モードの終了はユーザの終了操作により行っているが、ユーザの終了操作が行われない場合には、周囲音収集モードの起動後所定の時間が経過していることを検知して周囲音収集モードを終了させてもよい。
【００３１】
ユーザによって周囲音収集モードを終了させる選択が行われない場合（Ｓ１０３、ＮＯ）、ＣＰＵ１１は、周囲音の収集・格納を継続する（Ｓ１０２）。
【００３２】
周囲音収集モードが終了すると、ＣＰＵ１１は、記憶部１４内の所定の記憶領域に格納されている周囲音デジタル信号について、周波数スペクトル、持続時間、繰り返し回数、または音圧のうちのいずれか１つまたは２つ以上を解析し、周囲音に関する数値化されたデータを取得し、この数値化されたデータを記憶部１４内の作業用バッファ領域に格納する（Ｓ１０４）。
【００３３】
続いてＣＰＵ１１は、記憶部１４内の作業用バッファ領域に格納された数値化されたデータを集計し、集計結果に基づき記憶部１４内の音素材テーブルを更新する（Ｓ１０５）。
これにより、一連の処理は終了する。なお、周囲音の収集により、記憶部１４内の所定の記憶領域に格納されている周囲音デジタル信号は、一連の処理が終了した段階で消去するようにしてもよい。
【００３４】
次に、図４を参照し、上記ステップＳ１０４及びＳ１０５における音解析、集計、音素材テーブル更新に係る処理の一例を詳述する。
図４は、記憶部１４内の所定の記憶領域に格納されている周囲音デジタル信号を周波数解析し、解析結果を集計するための一態様を模式的に示す説明図であり、横軸を時間、縦軸を周波数としたグラフが示されている。
【００３５】
図４に示すグラフは、周囲音デジタル信号を各時刻ごとに周波数解析し、得られた時刻と周波数の組合せを座標上の点としてプロットしたものであり、併せて、当該周波数がどの帯域に（図４の例では、帯域１〜７の７つの帯域）に属するかが示されている。なお、図４の例では、各時刻について１つの周波数が存在するケースが示されているが、各時刻に複数の周波数が存在するケースもあり、このようなケースにおいては、各時刻に複数の点がプロットされることになる。また、図４の左端に示される数値は、所定の期間における各周波数帯に属する点の数を示すものである。
【００３６】
図４に即していえば、ステップＳ１０４においては、図４のグラフに相当するデータを取得し、取得したデータを記憶部１４内の作業用バッファ領域に格納しており、ステップＳ１０５においては、作業用バッファ領域に格納されたデータに基づいて、所定の期間における各周波数帯に属する点の数（図４の左端に示される数値）を集計し、当該集計結果を記憶部１４内の音素材テーブルに累計して音素材テーブルを更新している。
【００３７】
なお、この場合の音素材テーブルは、図４の左端に示されるような、各周波数帯に属する点の数を累計した１次元の数値テーブルであるが、持続時間、繰り返し回数、または音圧のうちのいずれか１つを解析して１次元の数値テーブルとしてもよいし、周波数スペクトル、持続時間、繰り返し回数、または音圧のうちの２つ以上を解析して２次元以上の数値テーブルとしてもよい。そして、このような場合の音素材は２次元以上のベクトルとして表されるものである。
【００３８】
次に、このような音素材テーブルに格納された音素材の数値を利用してゲーム態様を変更するための処理の一例を、フローチャートを参照して説明する。
図５は、音素材テーブルに格納された音素材の数値を利用してゲーム態様を変更するための処理の一例を表すフローチャートである。
【００３９】
ユーザが操作部１６を操作し、選択メニューから「ゲーム態様変更」を選択すると、ＣＰＵ１１は「ゲーム態様変更モード」を起動させる（Ｓ２０１）。
【００４０】
ゲーム態様変更モードにおいて、ＣＰＵ１１は、記憶部１４内の音素材テーブルから音素材を読み出し表示部１９に表示する。例えば、音素材テーブルに格納されている音素材の数値を一覧化したリストを表示してもよい。また、併せて、ＣＰＵ１１は、表示部１９に音素材を適用すべき対象の候補を表示する。適用対象の候補の表示は、ゲーム内のオブジェクトを一覧表示する形でもあってもよいし、適用対象の候補となるオブジェクトが含まれるゲームの画面を表示する形であってもよい。また、例えば、背景画像全体を１つのオブジェクトとして取り扱うことができる。
【００４１】
次に、ユーザは、操作部１６を操作し、表示部１９に表示された適用対象の候補（オブジェクト）の中から１つの適用対象（オブジェクト）を選択し、当該適用対象（オブジェクト）に１つ又は複数の音素材を紐付ける。音素材に関しては、音素材の数値の全てを利用する場合の他、音素材の数値の一部を利用する場合もあり、同一の音素材を複数のオブジェクトに紐付けることもできるが、その場合には、紐付けられる音素材の数値の総計が音素材テーブルに格納されている当該音素材の数値を超えることはできないことに留意すべきである。なお、選択された各音素材及び適用対象（オブジェクト）については、表示部１９上で表示形態を異ならせる（例えば、表示色の変更）等により、ユーザが確認できるようにしてもよい（Ｓ２０２）。
【００４２】
上記のステップＳ２０２が完了した段階で、適用対象（オブジェクト）に１つ又は複数の音素材を紐付けたことによる適用対象（オブジェクト）の態様の変化を事前にシミュレーションしてユーザが確認したい場合がある。また、ゲームに習熟したユーザ等は、このようなシミュレーションを行うことなく、すぐにゲームを開始させたい場合もある。
【００４３】
ステップＳ２０３は、このようなシミュレーションモードを実施するか否かの選択を問うものであり、ユーザが操作部１６を操作し、シミュレーションモードの選択を行わなかった場合（Ｓ２０３、ＮＯ）には、後述するステップＳ２０７の処理に移行する。
【００４４】
ユーザによってシミュレーションモードを実施するとの選択が行われた場合（Ｓ２０３、ＹＥＳ）、シミュレーションを実施する（Ｓ２０４）。
シミュレーション処理の一例を、図６を参照して説明する。
【００４５】
図６は、記憶部１４内の所定の記憶領域内の音素材テーブルに格納された音素材をオブジェクトに適用してオブジェクトを変化させる一態様を模式的に示す説明図である。
図６においては、ユーザにより選択されたオブジェクト５０に高音素材６０（図４に示される周波数の帯域１〜帯域３に相当）に属する音素材６１及び６２、又は低音素材７０（図４に示される周波数の帯域５〜帯域７に相当）に属する音素材７１、７２をそれぞれ適用し、適用結果としてオブジェクト５０の進化態様５１又は５２を得るという処理が模式的に示されている。ここで、音素材６１、６２は、それぞれ、オブジェクト５０に適用される図４に示される周波数の帯域１、帯域２に属する音素材の数値であり、仮に、図４の左端に示される数値が音素材テーブルの内容を表しているものとすれば、帯域１の音素材の数値「１１」のうち「５」をオブジェクト５０に適用し、帯域２の音素材の数値「１０」のうち「１０」、即ち、帯域２の音素材の全てをオブジェクト５０に適用することを表している。
また、音素材７１、７２は、それぞれ、オブジェクト５０に適用される図４に示される周波数の帯域６、帯域７に属する音素材の数値であり、帯域６の音素材の数値「８」のうち「８」、即ち、帯域６の音素材の全てをオブジェクト５０に適用し、帯域７の数値「１２」のうち「１０」をオブジェクト５０に適用することを表している。
【００４６】
なお、音素材６１、６２、７１、７２の内容が上述のものと異なれば、オブジェクト５０の進化態様５１、５２も上述のものと異なることになる。また、例えば、オブジェクトして、背景画像中の樹木を指定するケース等も想定されるが、このようなケースで、高音素材を適用した場合には樹木が高く成長するようにでき、低音素材を適用した場合には樹木が低く横に成長するように設定できる。
【００４７】
次に、ユーザに対して上記のシミュレーションにより得られたオブジェクト５０の進化態様５１又は５２を表示して確認を求める。例えば、ユーザが、オブジェクト５０の進化態様５１又は５２に画面上でタッチすると、それらの属性が確認できるようにしておく。ユーザによる確認を経てシミュレーションの終了の選択が行われた場合（Ｓ２０５、ＹＥＳ）には、後述するステップＳ２０７の処理に移行する。
【００４８】
ユーザによってシミュレーションの終了の選択が行われなかった場合（Ｓ２０５、ＮＯ）、ユーザは、前述のステップＳ２０２と同様に、操作部１６を操作し、表示部１９に表示された適用対象の候補（オブジェクト）の中から１つの適用対象（オブジェクト）を新たに選択し、当該適用対象（オブジェクト）に１つ又は複数の音素材を紐付けてもよいし、適用対象（オブジェクト）の選択を省き、紐付けられる音素材のみを変更するようにしてもよい（Ｓ２０６）。
【００４９】
ステップＳ２０６の処理が終了した場合、ステップＳ２０４に戻り、再度シミュレーションを実施する。
【００５０】
シミュレーションモードの選択を行わなかった場合（Ｓ２０３、ＮＯ）や、シミュレーションの終了の選択が行われた場合（Ｓ２０５、ＹＥＳ）には、選択された音素材に基づくゲーム態様の変更が確定され、例えば、指定されたオブジェクトの進化態様が確定される（Ｓ２０７）。
【００５１】
次に、上記のゲーム態様の変更の確定に伴い、ゲーム態様の変更のために消費した音素材の数値を音素材テーブルの対応欄の数値から減算し、音素材テーブルを更新する（Ｓ２０８）。
これにより、一連の処理は終了する。
【００５２】
音素材テーブルに格納されている音素材の在庫が減少してきた場合には、図３に示される処理を実行し音素材を再度取得して音素材テーブルを更新することができる。また、必要に応じて、音素材テーブルの内容をリセットし、新たに音素材を取得して音素材テーブルを作成することもできる。
【００５３】
なお、前記システムを構成する各手段は、専用のハードウェアであってもよいが、コンピュータがプログラムを実行することにより各処理段階ごとに実現される仮想的手段（所謂、機能実現手段）であってもよい。
【００５４】
また、前記システムは、ゲーム専用の装置に搭載されるものであってもよいが、ユーザが所持する携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型パーソナル・コンピュータ等の携帯端末に搭載されるものであってもよい。
【符号の説明】
【００５５】
１    システム
２    周囲音収集・格納手段
３    周囲音解析・累計手段
４    音素材テーブル
５    音素材・適用対象選定手段
６    シミュレーション手段
１０    ハードウェア構成
１１    ＣＰＵ
１２    ＧＰＵ
１３    インターフェース
１４    記憶部
１５    バス
１６    操作部
１７    音入力部
１９    表示部
２０    ＶＲＡＭ
２１    メモリバス
【図１】
2016202436.tif 000003
【図２】
2016202436.tif 000004
【図３】
2016202436.tif 000005
【図４】
2016202436.tif 000006
【図５】
2016202436.tif 000007
【図６】
2016202436.tif 000008