(57)【要約】【課題】  携帯型機器により適した娯楽性の高いコンテンツを提供する。【解決手段】  情報処理端末１０において、マイク４０は、外部の音を取得する。音変換テーブル７２は、取得した音を表す音データとマッチング対象とする音データと、その発生源を関連づけて管理する。図形オブジェクトテーブル７４は、当該発生源と、それに応じた図形を関連づけて管理する。音認識部４２は、音変換テーブル７２を参照して、取得した音の発生源を特定する。制御部６０は、図形オブジェクトテーブル７４を参照して、特定した発生源に応じた図形を特定する。表示部２０は、特定した図形を表示する。【選択図】  図１
2006102270.tif 000002
【特許請求の範囲】
【請求項１】
外部から音を入力するステップと、
入力した音の発生源を特定するステップと、
特定された発生源に応じて、予め設定された処理を実行するステップと、
を備えることを特徴とする情報処理方法。
【請求項２】
請求項１に記載の方法において、前記実行するステップは、特定された発生源に応じた図形を表示することを特徴とする情報処理方法。
【請求項３】
請求項１または２に記載の方法において、前記実行するステップは、特定された発生源に応じた図形をその特定の確度に応じて異なる態様にて表示することを特徴とする情報処理方法。
【請求項４】
探索の目的物を直接的または間接的にユーザに提示するステップと、
ユーザの指示に応じ、外部から音を入力するステップと、
入力した音の発生源を特定するステップと、
特定された発生源が前記目的物と一致するか否かを判定するステップと、
判定の結果、一致した場合、前記目的物が発見された旨を所定の態様にてユーザへ通知するステップと、
を備えることを特徴とする情報処理方法。
【請求項５】
外部から音を順次入力するステップと、
入力した音の発生源を順次特定するステップと、
前記発生源を示す情報を順次記憶するステップと、
ユーザから所定の再生指示を受けるステップと、
前記再生指示の後、前記情報を参照して、前記発生源に応じた図形を特定するステップと、
特定された図形を所定の表示形態にて画面に表示するステップと、
を備えることを特徴とする情報処理方法。
【請求項６】
請求項５に記載の方法において、前記表示するステップは、前記図形を所定の概念下で統一されたフォーマットにて表示することを特徴とする情報処理方法。
【請求項７】
請求項１から６のいずれかに記載の方法において、外部から入力すべき音のサンプルを再生するステップをさらに備えることを特徴とする情報処理方法。
【請求項８】
外部の音を取得するマイクと、
取得した音を表す音データのマッチング対象となる音データと、その発生源を関連づけて管理する第１テーブルと、
前記第１テーブルを参照して、前記取得した音の発生源を特定する音認識部と、
前記発生源と、それに応じた図形を関連づけて管理する第２テーブルと、
前記第２テーブルを参照して、前記発生源から前記図形を特定する制御部と、
特定された図形を画面に表示する表示部と、
を備えることを特徴とする情報処理端末。
【請求項９】
請求項８に記載の情報処理端末において、前記第２テーブルは、前記発生源を象徴する図形を関連づけていることを特徴とする情報処理端末。
【請求項１０】
請求項８または９に記載の情報処理端末において、前記音認識部により特定された発生源を示す情報を、順次記憶する記憶部をさらに備えることを特徴とする情報処理端末。
【請求項１１】
請求項１０に記載の情報処理端末において、前記制御部は、前記ユーザから所定の再生指示を受けると、前記情報を参照して、前記図形を特定することを特徴とする情報処理端末。
【請求項１２】
請求項８または９に記載の情報処理端末において、前記マイクにより取得された音を、順次記憶する記憶部をさらに備えることを特徴とする情報処理端末。
【請求項１３】
請求項１２に記載の情報処理端末において、前記音認識部および前記制御部は、前記ユーザから所定の再生指示を受けると、前記音の発生源およびそれに応じた図形を特定することを特徴とする情報処理端末。
【請求項１４】
外部の音を取得するマイクと、
取得した音を表す音データのマッチング対象となる音データと、その発生源を関連づけて管理する第１テーブルと、
前記第１テーブルを参照して、前記取得した音の発生源を特定する音認識部と、
前記発生源と、それに応じた図形を関連づけて管理する第２テーブルと、
前記第２テーブルを参照して、前記発生源から前記図形を特定するゲーム実行部と、
特定された図形を画面に表示する表示部と、
前記ゲーム実行部は、前記音認識部により前記発生源を特定する際、所定のキャラクタに所定のアクションを実行させることを特徴とするゲーム機。
【請求項１５】
請求項１４に記載のゲーム機において、前記ゲーム実行部は、前記キャラクタと異なるキャラクタが欲する目的物を直接的または間接的にユーザに提示することを特徴とするゲーム機。
【請求項１６】
外部から音を入力する処理と、
入力した音の発生源を特定する処理と、
特定された発生源に応じて、予め設定された処理を実行する処理と、
をコンピュータに実行させることを特徴とするコンピュータ読み取り可能なプログラム。
【請求項１７】
外部から音を入力する処理と、
入力した音の発生源を特定する処理と、
特定された発生源に応じて、予め設定された処理を実行する処理と、
をコンピュータに実行させることを特徴とするコンピュータ読み取り可能なプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報処理方法および情報処理端末に関する。特に、ゲームその他のプログラムを実行するための情報処理方法および情報処理端末に関する。
【背景技術】
【０００２】
近年、ゲームを実行可能な携帯型の情報端末が普及している。そのような情報端末では、据え置き型のゲーム機の高い性能を実現することは難しいこともあり、携帯ゲーム機ならではの性能や娯楽性を求める傾向がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
据え置き型のゲーム機で実現する場合よりも、こうした情報端末で実現したほうが魅力が大きいコンテンツを提供できれば、このような情報端末にとって、キラーコンテンツとなりえる。本発明はこうした状況においてなされたものであり、その目的は、携帯型機器により適した娯楽性の高いコンテンツを実現する技術を提供することにある。
【課題を解決するための手段】
【０００４】
このような課題を解決するために、本発明では、外部から音を入力し、音の発生源を特定する。特定した発生源に応じて、予め設定された処理を実行する。
【０００５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、ゲーム機、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００６】
本発明によれば、娯楽性の高いコンテンツを実現することができる。
【発明を実施するための最良の形態】
【０００７】
まず、実施形態を詳細に説明する前に、概要を以下に示す。
ある態様は、外部から音を入力し、その音の発生源を特定する。特定された発生源に応じて、予め設定された処理を実行する。ここで、「音」とは、主に非発声音を指すが、人間や動物の発する音声も含む概念である。このような場合、男の人、女の人、猫などが発生源となる。上記処理は、特定された発生源に応じた図形、それを象徴する図形を表示するものである。この「象徴する図形」とは、音の発生源たる物体を、キャラクター化したものなどを含む。また、図形を表示する際、特定された図形をその特定の確度に応じて異なる態様にて表示してもよい。例えば、認識率が所定の閾値を超えた場合、具体的な物体を表示し、それ以下の場合、より抽象的なものを表示する。なお、上記処理は、特定された発生源を表す、または示唆するアクションをキャラクタにさせるものでもよい。
【０００８】
別の態様は、探索の目的物を直接的または間接的にユーザに提示する。ユーザの指示に応じ、外部から音を入力し、その音の発生源を特定し、その発生源が前記目的物と一致するか否かを判定する。判定の結果、一致した場合、前記目的物が発見された旨を所定の態様にてユーザへ通知する。ここで、「間接的に」とは、ユーザに目的物を想起させるヒントを出すことを含む。
【０００９】
さらに別の態様は、外部から音を順次入力し、その音の発生源を順次特定し、その発生源を示す情報を順次記憶する。ユーザから所定の再生指示を受け、その後、前記情報を参照して、前記発生源に応じた図形を特定し、その図形を所定の表示形態にて画面に表示する。表示する際、前記図形を所定の概念下で統一されたフォーマットにて表示してもよい。例えば、魚という一つのテーマで統一した場合、入力された音の発生源が車であれ、丸太であれ、それらをそのテーマとなる魚に擬した図形オブジェクトにて表示する。また、ユーザの要求により、または所定の時機に外部から入力すべき音のサンプルを再生してもよい。
【００１０】
さらに別の態様は、マイクで外部の音を取得し、その音を表す音データのマッチング対象となる音データと、その発生源を関連づけて第１テーブルで管理する。第１テーブルを参照して、取得した音の発生源を音認識部で特定する。発生源と、それに応じた図形を関連づけて第２テーブルで管理し、第２テーブルを参照して、発生源から図形を制御部で特定する。その図形を画面に表示する。ここで、「第２テーブルは」、発生源を象徴する図形を関連づけていてる。また、音認識部により特定された発生源を示す情報、またはマイクが取得した音を、記憶部に順次記憶してもよい。ユーザから所定の再生指示を受けると、前記情報が記憶部に記憶されている場合、それを参照して図形を特定し、前記音が記憶されている場合、音の発生源およびそれに応じた図形を特定する。
【００１１】
さらに別の態様は、マイクで外部の音を取得し、その音を表す音データのマッチング対象となる音データと、その発生源を関連づけて第１テーブルで管理する。第１テーブルを参照して、取得した音の発生源を音認識部で特定する。発生源と、それに応じた図形を関連づけて第２テーブルで管理する。第２テーブルを参照して、発生源から図形をゲーム実行部で特定する。その図形を画面に表示する。音認識部により発生源を特定する際、所定のキャラクタに所定のアクションをゲーム実行部で実行させる。ここで、「所定のキャラクタ」は、ユーザが操作し、主体的な動作を行うメインキャラクタである。「所定のアクション」とは、魔法をかけるなどのランダム性を想起させるアクションが該当する。音の誤認識により無関係の図形が出現するなど、本来エラーとすべき処理を、ランダム性を表現するゲームの演出に置き換えることができる。また、前記キャラクタと異なるキャラクタが欲する目的物を直接的または間接的にユーザに提示する。
【００１２】
（第１実施形態）
本実施形態は、音を認識してその音の発生源である音源をゲームフィールドに図形オブジェクトとして出現せしめるゲームの例である。従来、マイクを使用したゲームでは、声で指示する、台詞を読む、キャラクターに話しかけるなどコントローラの代替として使用するものが多かった。これは、内気な人にとっては声を出すことに気恥ずかしさを感じる場合もあった。本実施形態では、マイクを使用したゲームでありながら、発声を必要としない全く新しいタイプのゲームを提供する。
【００１３】
図１は、情報処理端末１０の全体構成を示す機能ブロック図である。情報処理端末１０は、携帯型ゲーム機、ゲーム機能を備えた携帯電話機またはＰＤＡ（Personal Digital Assistants）などが該当する。情報処理端末１０は、表示部２０、入力部３０、マイク４０、音認識部４２、通信部５０、制御部６０、記憶部７０、および外部記憶部８０を含む。
【００１４】
この構成は、ハードウェア的には、ＣＰＵ、メモリ、ハードディスクなどのドライブ、マイクその他のデバイスで実現され、ソフトウェア的にはゲームの実行、音認識に関するプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックとして描かれている。したがって、これらの機能ブロックがハードウェアとソフトウェアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。また、これらの機能ブロックは、ソフトウェアとしてフラッシュメモリなどの記録媒体に格納され、ゲーム実行時に記録媒体に対応する読み取り機能を備えた外部記憶部８０から、記憶部７０に読み出されてＣＰＵにて処理されることで実現されてもよい。
【００１５】
表示部２０は、例えば液晶パネルなどで構成されて、制御部６０で生成された画像を出力する。入力部３０は、ユーザからの操作指示を受け付ける方向キーや操作キーなどを備える。また、本実施形態では、ユーザがキーを操作することにより、マイク４０から外部の音を採取する。例えば、キーを押下している期間、音を取得したり、キーを１回押下すると、数秒間、音を取得するといった設計が可能である。
【００１６】
マイク４０は、外部の音を取得する。このマイク４０は、一回の衝突に基づく単発衝撃音を認識し、木板、金属缶、ガラス瓶、ドラムの打撃音、拍手、ハンドベル、鈴などの非発声音も認識することができる。なお、マイク４０は、本体に設けられていても、外付けでもよい。
【００１７】
なお、マイク４０として、マイクロホンアレーを用いてもよい。マイクロホンアレーを用いた場合、音が各マイクに到達する時間差などから音源方向を推定することもできる。例えば、仮想的なビームフォーマを同時並行的に計算し、各方向からの音を取り出す。そして、最も大きな方向の音を取り出し、一定値以上にパワーが連続した場合に、その後の処理を開始してもよい。このマイクロホンアレーによれば、背景ノイズ低減にも利用することができる。
【００１８】
なお、図示しないＡＧＣ（Automatic Gain Control）回路を設けて、マイク４０が取得した音を所定のレンジに収まるよう制御してもよい。また、図示しないアナログデジタル変換器を設けて、スペクトル計算などをデジタル信号で行ってもよい。
【００１９】
音認識部４２は、マイク４０が取得した音からその発生源（以下、音源と表記する。）を識別する。以下、音源識別方法の一例を示す。まず、単発衝撃音であるか否かを判定するために、入力された音を解析し、そのパワーの時間的変化が、単発衝撃音の特徴である指数減衰型のプロファイルをなしているか否かを判別する。次に、単発衝撃音のパワーのピーク時と、減衰時におけるスペクトルを計算し、それを１６の周波数帯域に分割した３２個の特徴量を求める。それぞれの単発衝撃音について、多数のサンプルからあらかじめ作成しておいた特徴量の分布とパターンマッチングを行い、最もマッチングした音源の種類を識別結果として出力する。
【００２０】
制御部６０は、情報処理端末１０全体を制御する。ゲーム実行部６２は、情報処理端末１０が実行するゲームを実現するためのプログラムを含む。ゲーム実行部６２は、記憶部７０から様々なデータを読み出し、また入力部３０からユーザが入力したデータを必要に応じて記憶しながらゲームを進行していく。
【００２１】
通信部５０は、無線ＬＡＮなどを利用して、ゲーム機などの他の情報処理端末とパケットを送受信する機能をもつ。例えば、獲得した図形オブジェクトなどを交換することができる。
【００２２】
記憶部７０は、音変換テーブル７２、図形オブジェクトテーブル７４を含む。音変換テーブル７２は、音認識部４２でのマッチング処理に利用する多数の音源のサンプルデータを記憶する。音変換テーブル７２の詳細は後述する。図形オブジェクトテーブル７４は、音認識部４２で音源が特定された後、その音源を象徴する、または一定の関連を持つキャラクターなどの図形オブジェクトを記憶している。
【００２３】
外部記憶部８０は、ハードディスクや所定の記録媒体などが該当し、ゲームプログラムや上記した音のサンプルや図形オブジェクトなどのデータを記憶したり、ゲームデータのセーブなどに利用される。
【００２４】
図２は、音変換テーブル７２の一例を示す図である。当該音変換テーブル７２には、あらかじめサンプルされた音データが多数登録されている。例えば、音データ１は、丸太を叩いたときの音が登録されている。各音データは、サンプルした音の特徴量をデジタル値で持っていてもよい。
【００２５】
図２では、物体レベルの丸太、テーブルなどを抽象化した木といった素材レベル（以下、「元素レベル」と表記する。）を示す元素情報という項目も設けられている。また、この項目には、具体的な犬の鳴き声や猫の鳴き声を上位概念化した動物の鳴き声といった情報が設定されてもよい。この項目は、上記した物体群などに共通した特徴量を持った音データを備える。また、釣り竿といった一つの物体に対して、複数の音データを持ってもよい。例えば、種々の釣り竿を、軽く叩く、強く叩く、落とす、擦る、スプーンで叩くなど多数のケースを想定して、それぞれの音データを登録してもよい。このように、音データを多数登録することが可能であるが、その場合、外部記憶部８０にその全部を格納し、その一部を適宜、記憶部７０に出力することにより、音変換テーブル７２を生成してもよい。音認識部４２は、このようにして生成された音変換テーブル７２を参照して、上述した音源を特定していく。具体的には、外部から取得した音から生成した音データと、音変換テーブル７２に設定された各音データとをマッチングしていき、各音データについて、そのマッチング度合いを示す認識率を求めていく。その際、設定されたすべての音データとマッチングしてもよいし、後述するアルゴリズムによりマッチング対象を絞りこんでもよい。この認識率を参照して、音源を特定する処理の詳細については後述する。
【００２６】
図３は、本実施形態における情報処理端末１０が実行するゲームの全体動作を説明するためのフローチャートである。このゲームは、音も色もない灰色の世界を舞台とする。例えば、そのような状況の島を想定する。その島には、複数の住民が生活しているが、それぞれが悩みをかかえており、その表情は泣きベソである。メインキャラクタである主人公は、それらの住民から悩みを聞き、それを解決することにより、サブキャラクタである住民を笑顔に変えていく。
【００２７】
まず、ゲーム実行部６２は、ユーザが探索すべき目的物を直接的または間接的にユーザに提示する。具体的には、ユーザが操作する主人公が住民に近寄り、彼らから悩みを聞く（Ｓ１０）。ここでは、主人公が住民に話しかけて、会話の過程で悩みを聞き出すという形式でもよいし、住民が始めから主人公に悩みを訴えかけてくるという形式でもよい。悩みとしては、のどがカラカラに乾いている、焚き火が消えて寒さにふるえている、お花が元気なくて悲しい、または土砂が邪魔で先に進めないなど、千差万別である。主人公を操作するユーザは、これらの悩みを解決するための目的物を想像し、それを取得するための音を探索しにいく。
【００２８】
なお、住民が欲する目的物を主人公に直接、訴えかけてもよいが、その目的物に到達するためのヒントを間接的に提示してもよい。この場合、ユーザの想像力をかきたてることができる。また、目的物の答えを複数にすることもできる。例えば、寒さを訴えている住民に、焚き火をするための火をプレゼントしても、寒さをしのぐための毛布をプレゼントしても、その住民の悩みが解決されることになる。
【００２９】
次に、ユーザは、住民の悩みを解決するための目的物の音を探索し、その音を採取する（Ｓ１２）。例えば、水を探索しているときに水道の蛇口を開き、水が流れている状態の音を採取する。具体的には、情報処理端末１０を携帯して水道の近くに行き、そこで入力部３０を操作して、マイク４０を有効にして外部の音を集音する。
【００３０】
次に、音認識部４２は、マイク４０から入力された音を解析して、その音源を音変換テーブル７２を参照して特定する（Ｓ１４）。この処理の詳細は後述する。
【００３１】
次に、ゲーム実行部６２は、図形オブジェクトテーブル７４を参照して、音認識部４２により特定された音源を、対応する図形オブジェクトに変換して、画面上に表示する（Ｓ１６）。例えば、丸太が音源の場合、図形オブジェクトテーブル７４にあらかじめ登録されている丸太などの物体を模した、または擬人化した丸太キャラクターを表示部２０に表示し、水が流れる音が音源の場合、登録されている水の精霊などのキャラクターを表示する。この変換時間中、マイクで取得した音を主人公が食べて、咀嚼後に魔法をかけるようなシーンを表示するなど、音の入力が行われたという表示と、それの処理をしているという表示を行ってもよい。取得した音と、音変換テーブル７２とのマッチング時間をかせぐとともに、音の入力が行われたことをユーザに認識させ、さらにユーザがどのようなオブジェクトが出現してくるのだろうかという期待感を高めることができる。さらに、音認識率を１００パーセントにすることは難しいため、まれに意図しない図形オブジェクトが出現してしまう可能性がある。魔法をかけるという不確性を象徴するアクションは、設計者側からみれば、音を、それに応じた図形オブジェクトに完全な精度で変換できないという状況になぞらえたものといえる。また、通常、意図しない図形オブジェクトが出現するということは、エラーといえるが、まれに魔法みたいに不思議な現象が発生することを逆にゲームの演出として利用することができ、一石二鳥である。
【００３２】
次に、ゲーム実行部６２は、音認識部４２により特定された音源が上記目的物と一致するか否かを判定し、住民の悩みが解決したか否かを判定する（Ｓ１８）。一致しない場合（Ｓ１８のＮ）、その住民の悩みを解決することができなかったので、ステップＳ１０に遷移し、ユーザはさらに悩みを聞く。２度目の処理では１度目より詳細なヒントを出してもよい。もしくは、ステップＳ１２に遷移し、すぐに新たな音を入力してもよい。勿論、ゲームを中断した場合は（Ｓ２４のＮ）、今回のプレイは終了となる。
【００３３】
特定された音源が上記目的物と一致した場合（Ｓ１８のＹ）、上記目的物が発見された旨を所定の態様にてユーザへ通知する。図３の例では、以下の処理によりそれを表現する。まず、悩みが解決した住民の表情が笑顔になる（Ｓ２０）。また、その住民の半径５ｍ程度の範囲を灰色から通常の配色に変更する（Ｓ２２）。これにより、島が徐々に活気づいていくことになる。灰色の島を配色していく演出は、ユーザのモティベーションを高める効果も伴う。
【００３４】
また、上記ユーザへの通知は、このような演出に限るものではなく、「正解」や「成功」といった文字を画面に表示してもよい。勿論、効果音で成功をユーザに認識させてもよい。ユーザは、ゲーム中断またはクリアするまで（Ｓ２４のＮ）、上述した処理を繰り返し、住民の悩みを次々に解決していき、島を活気づけていく。
【００３５】
ゲームを中断する場合（Ｓ２４のＹ）、現在の島の状況などを内部のハードディスクや、取り外しおよび持ち運び可能な記録媒体などにゲームの進行状況を記録して、今回のプレイを終了することができる。
【００３６】
次に、上述した音源特定処理の詳細を説明する。図４は、音認識部４２による音源特定処理の一例を示すフローチャートである。以下に示す例は、特定された図形オブジェクトをその特定の確度に応じて異なる態様にて表示する要素を含むものである。音認識部４２は、マイク４０から音を取得し、音変換テーブル７２に登録されている音データとマッチングする（Ｓ１１２）。
【００３７】
音認識部４２は、マッチングの結果、そのマッチング度合いを示す認識率が所定の認識率（以下、第１閾値と表記する。）、例えば８５パーセントの認識率を超える音データが検出できた場合（Ｓ１１４のＹ）、取得した音の音源を、当該音データに対応する音源に特定する（Ｓ１１６）。
【００３８】
音変換テーブル７２中の音データのそれぞれについて、認識率を算出した結果、第１閾値を超える音データが検出できない場合（Ｓ１１４のＮ）、上記音源の候補が複数検出できるか否かを判断する（Ｓ１１８）。音源候補が複数検出できない場合、すなわち一つの音データしか検出できなかった場合（Ｓ１１８のＮ）、第１閾値に達していなくても、その音データの音源に特定する（Ｓ１１６）。
【００３９】
音源候補が複数検出できた場合、例えば、取得した音から生成した音データが釣り竿の音データの５０パーセント、木製バットの音データの３０パーセントの特徴量を満たす場合（Ｓ１１８のＹ）、さらに、検出した複数の音源候補の内、すべてに共通する元素レベルおよび上位概念レベルの項目が存在するか否かを判断する（Ｓ１２０）。その項目が存在する場合（Ｓ１２０のＹ）、その元素レベルおよび上位概念レベルの項目に音源に特定する（Ｓ１２２）。例えば、複数の音源候補として、スコップと木製バットが検出された場合、図２のテーブルでは、両方とも元素情報として木を含むため、木を音源に特定する。すなわち、スコップは元素情報として、鉄を含むが、木製バットはそれを含まないため、鉄を音源に特定しない。勿論、音データの５パーセントしか満たさないなど、ほとんど一致しない音データは、音源候補に該当しない。
【００４０】
共通する元素レベルおよび上位概念レベルの項目が存在しない場合（Ｓ１２０のＮ）、複数の音源候補の内、最も認識率の高い項目に特定し、その元素レベルおよび上位概念レベルの項目に音源を特定する（Ｓ１２４）。例えば、取得した音が釣り竿の音データの５０パーセント、携帯電話機の音データの２０パーセントを満たす場合、認識率の高い釣り竿の元素レベルの項目である木を音源に特定する。
【００４１】
このように、特定の確度に応じて異なるレベルの図形オブジェクトを表示することにより、より変換ミスの少ないシステムを生成することができる。すなわち、確度が低い場合には、より元素レベルに近いものを表示することにより、網が広がるので変換ミスが低減されることになる。また、特定の確度に応じて表示する図形オブジェクトの大きさを変えてもよい。例えば、確度が高い場合に図形オブジェクトを大きく表示し、確度が低い場合にそれを小さく表示してもよい。マッチングにおける確度を可視的に表現することができる。
【００４２】
図５は、本実施形態における情報処理端末１０を用いたゲームの一場面を概略的に説明するイメージ画面Ａを示す図である。このイメージ画面Ａは、主人公Ｍが住民Ｒの悩みを聞いている様子を示すものである。ここでは、住民Ｒが「のどがカラカラだよ」と主人公Ｍに訴えかけている。
【００４３】
続いて、図６は、本実施形態における情報処理端末１０を用いたゲームの一場面を概略的に説明するイメージ画面Ｂを示す図である。このイメージ画面Ｂは、住民Ｒの訴えから水が必要と想像したユーザが、水が流れる音をマイク４０から取得した後に表示されるものである。より具体的には、上記水が流れる音を採取した後、例えば約１秒間、主人公Ｍが魔法をかけるアクションを行い、その魔法に対応した形で図形オブジェクトたる水Ｗが出現した様子を示すものである。
【００４４】
以上説明したように第１実施形態によれば、音を認識してゲームフィールドにオブジェクトとして出現させることにより、音を本質的な要素に利用したゲームコンテンツを実現することができる。しかも、自然界に存在する音全般を対象とすることができるため、持ち運び可能な携帯型ゲーム機や携帯電話機など携帯型機器に特に適したコンテンツとなる。このコンテンツは、据え置き型ゲーム機のコンテンツを携帯型の機器で実行可能なよう、単に移植したというに止まらず、プレイフィールドが広い、すわなち採取可能な音の種類が多いという携帯型機器の特性を生かしたものといえる。
【００４５】
また、ユーザは、音を採取してから図形オブジェクトが出現するまでの時間、正に「何が出現するかな」という理科の実験のような好奇心を抱くことができる。さらに、ゲームコンテンツ側からのヒントにしたがい、音の探索にユーザを屋外に誘う作用を期待でき、室内にこもるという従来のゲームに対する一般のイメージを一新する効果も期待できる。特に、子供には、自然界に存する様々な音を図形オブジェクトに変換したいという遊び心が強く芽生えることが期待できるため、子供が屋外で遊ぶようになることが期待される。
【００４６】
（第２実施形態）
本実施形態は、第１実施形態のようにゲームコンテンツ側からの誘導により、目的の音を探索するというゲーム側主導のコンテンツではなく、自然界から音を採取し、ユーザ側がゲームを形作るための素材を集めるというものである。
【００４７】
第２実施形態の構成は、図１に示した機能ブロックと同様である。この機能ブロックは、複数の機器の連携で実現される情報処理システムであってもよい。例えば、入力部３０、マイク４０、音認識部４２、制御部６０、記憶部７０、および外部記憶部８０を備える携帯型ゲーム機と、表示部２０、入力部３０、ゲーム実行部６２、記憶部７０、および外部記憶部８０を備える据え置き型ゲーム機やパーソナルコンピュータの連携でもよい。この場合、携帯型ゲーム機で主に屋外の音を採取して、ログデータとして記録し、そのログデータを据え置き型ゲーム機などに入力して、当該ゲーム機でゲームを実行することができる。
【００４８】
また、入力部３０、マイク４０、制御部６０、記憶部７０、および外部記憶部８０を備える携帯電話機やマイクキットと、表示部２０、入力部３０、音認識部４２、ゲーム実行部６２、記憶部７０、および外部記憶部８０を備える据え置き型ゲーム機の連携でもよい。この場合、携帯電話機やマイクキットで主に屋外の音を採取して、採取した音データを据え置き型ゲーム機に入力して、当該ゲーム機でゲームを実行することができる。勿論、図１の機能ブロックを単体の機器で実現してもよい。
【００４９】
図７は、本実施形態における情報処理端末１０または情報処理システムが実行するゲームの全体動作を説明するためのフローチャートである。本実施形態は、ユーザが音を採取し、それを素材にしてそのゲームを形作るものである。まず、ユーザは、ゲームの素材とするために録音を開始する（Ｓ３０）。マイク４０は、外部の音を取得し、記憶部７０に記憶する。音認識部４２は、所定のトリガが発生したか否かを判定する（Ｓ３２）。ここで、所定のトリガとは、所定の閾値レベル以上の音が検出された場合、上述した単発衝撃音が検出された場合などが該当する。また、ユーザが入力部３０から音の採取指示を出したときも該当する。
【００５０】
ステップＳ３２にて、所定のトリガが発生しない間は（Ｓ３２のＮ）、上述した音源特定処理を発動させずに、単に録音を継続する（Ｓ３０）。所定のトリガが発生した場合（Ｓ３２のＹ）、音認識部４２は、上述した音源特定処理を行う（Ｓ３４）。そして、特定した音源を含む情報、例えばログデータを記憶部７０または外部記憶部８０に記憶しておく（Ｓ３６）。ここで、ログデータとは、特定した音源の音変換テーブル７２上のアドレスデータであってもよい。また、取得した日時も当該ログデータに含めてもよい。
【００５１】
ユーザの意思により録音を終了したい場合、または外部記憶部８０の容量の制限から録音を終了すべき場合まで（Ｓ３８のＮ）、上述した処理を継続する。
【００５２】
ユーザは、録音を終了した後（Ｓ３８のＹ）、録音した機器とゲームを実行する機器が異なる場合、上記ログデータを、当該ゲームを実行する機器に入力する（Ｓ４０）。したがって、一つの機器で録音とゲームを行う場合はこの処理は不要である。そして、ユーザは、所望の時機にゲームを実行する（Ｓ４２）。ゲーム実行部６２は、図形オブジェクトテーブル７４を参照して、上記ログデータを所定の図形オブジェクトに変換する（Ｓ４４）。ゲームの進行やユーザの操作に応じて、当該図形オブジェクトを画面に表示していく。上記ゲーム実行開始や、その後のユーザ操作は、所定の再生指示となる。ここで、「再生」とは、音で採取した目的物を図形で表示することを含む。
【００５３】
ユーザは、ゲーム中断またはクリアするまで（Ｓ４６のＮ）、上述した処理を繰り返し、ゲームを中断する場合（Ｓ４６のＹ）、現在のゲームの状況などを内部のハードディスクや、記録媒体などに記録して、今回のプレイを終了することができる。
【００５４】
ここで、本実施形態に適用可能なゲームの一例について説明する。このゲームは、音で採取した目的物を所定の概念下で統一されたフォーマットにて表示するものである。魚釣りゲーム、鳥を撃ち落とすゲーム、車のレーシングゲームなど複数のミニゲームから構成される。この場合、図形オブジェクトテーブル７４に、一つの音源に対して、複数のフォーマットの図形オブジェクトを登録しておく。例えば、丸太の音源に対して、それを魚に擬したキャラクター、鳥に擬したキャラクター、車に擬したキャラクターといったように、上記ミニゲームの内容に対応させて複数、登録しておく。
【００５５】
ゲーム実行部６２は、例えばユーザにより魚釣りゲームが選択された場合、図形オブジェクトテーブル７４を参照して、ユーザが採取した音から生成されたログデータを、それに対応する魚に擬された図形オブジェクトに、そのゲームの進行に応じて変換する。
【００５６】
図８は、本実施形態における情報処理端末１０または情報処理システムを用いたゲームの一場面を概略的に説明するイメージ画面を示す図である。図８は、魚釣りゲーム実行中のイメージ画面を示している。ゲーム実行部６２は、ユーザが音で採取した笛、目覚まし時計などを、図８に示す笛Ａ１、新幹線Ａ２、目覚まし時計Ａ３、携帯電話機Ａ４、および丸太Ａ５のような魚に擬された図形オブジェクトに変換して、表示部２０に表示している。図形オブジェクトのフォーマットは、ゲームの内容に沿うよう、魚という概念で統一している。それらを主人公である猫Ｃが釣っている。
【００５７】
このように、ユーザが意識的または無意識的に採取した音を、ゲームの内容に沿った図形オブジェクトに変換して楽しむことができる。また、ログデータに各音源に対応した採取日時の情報が含まれている場合、図形オブジェクトが出現する時機や順番なども制御することができる。例えば、ゲーム実行部６２は、採取した順にしたがって、図形オブジェクトを出現させてもよい。
【００５８】
さらに、採取した音を統一的なフォーマットで、ゲーム内容に沿った図形オブジェクトに擬しなくとも、フォーマットが統一されていない複数の図形オブジェクトを、各種パズルゲームなどの素材に利用するものでもよい。例えば、当該図形オブジェクトを制限時間内に積み上げていき、その高さを競うゲームでもよい。
【００５９】
以上説明したように第２実施形態によれば、第１実施形態と同様、音を認識してゲームフィールドにオブジェクトとして出現させることにより、音を本質的な要素に利用したゲームコンテンツを実現することができる。しかも、自然界に存在する音全般を対象とすることができるため、携帯型ゲーム機や携帯電話機など携帯型機器に特に適したコンテンツとなる。
【００６０】
また、ユーザは、ゲームに使用する素材を音という形で自ら採取する楽しみと、それを素材としたゲームを楽しむことができる。正に料理人の食材選びと調理のような楽しみを味わうことができる。
【００６１】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、これらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そのような変形例について述べる。
【００６２】
第１、第２の実施形態にて、音認識部４２によるマッチング速度を向上させるために、種々のアルゴリズムを用いることができる。例えば、第１実施形態において、住民の悩みを解決するための目的物のサンプルデータ、およびその目的物と関連度の高い音源のサンプルデータを全部、外部記憶部８０から記憶部７０にロードする。これに対して、上記目的物と関連度の低い音源のサンプルデータは、元素レベルおよび上位概念レベルの項目のみを外部記憶部８０から記憶部７０にロードする。または、関連度の低い音源のサンプルデータ適宜間引いてロードする。このようにして、音変換テーブル７２を構築することにより、上記目的物と関連度の低いサンプルデータとのマッチング回数を削減することができ、全体としてマッチング処理の高速化を図ることができる。
【００６３】
また、第１、第２の実施形態にて、採取した音データを図２の元素レベルおよび上位概念レベルを代表する音データとプレマッチング処理を行い、該当する可能性のある項目のみ、物体レベルの項目とマッチング処理を行ってもよい。これによっても、サンプルデータとのマッチング回数を削減することができ、全体としてマッチング処理の高速化を図ることができる。
【００６４】
また、第２実施形態では、ユーザが音を採取し、それを素材にしてそのゲームを形作る例を説明した。この点、採取した音を素材に日記を作成してもよい。音から変換される図形オブジェクトを絵文字のように使用し、日記を作成すれば、その図形オブジェクトを過去の記憶をたどる端緒にすることができる。また、情報処理端末１０にＧＰＳ（Global Positioning System）を搭載すれば、音とともにその日に移動した経路をトレースした情報も含めた日記を作成することができる。したがって、どの場所でその音を採取したかという情報を記録することもできる。
【００６５】
また、第２実施形態では、録音データから所定の音源を特定し、ログデータとして記録した。この点、大容量のハードディスクなどを外部記憶部８０に搭載している場合、録音データ自体をそこに記録してもよい。そして、ゲーム実行の際に、上述した音源特定処理および図形オブジェクトへの変換処理を行ってもよい。これによれば、データ量が大きくなってしまうが、採取した音を再生することが可能になる。このような態様によれば、ゲーム形式以外でも携帯型機器に特に適したコンテンツを実現することができる。
【００６６】
また、第１、第２の実施形態にて、どのような音を採取すればどのような図形オブジェクトが出現するかのヒントをユーザに提示するために、ユーザの要求によりまたは所定の時機に、外部から入力すべき音のサンプルを、図形オブジェクトに関連づけて再生するモードが搭載されていてもよい。ユーザがこのモードを実行すると、図形オブジェクトが画面上に複数出現し、ユーザがその中のいずれかを選択すると、選択された図形オブジェクトを出現させるためのサンプル音を再生するといった形態であってもよい。この際、ユーザがまだ採取していない音のサンプルを再生するものであってもよい。また、第１実施形態にて、ユーザがなかなか住民の悩みを解決するための音を採取できない場合に、目的物の音をヒントとして再生し、ユーザにそのような音を採取するよう促してもよい。これによれば、ユーザフレンドリーなコンテンツを実現することができる。
【００６７】
また、実施形態１、２では、取得した音の音源を特定し、その音源に応じた図形オブジェクトを表示した。この点、その音源に応じたアクションをキャラクタにさせてもよい。例えば、音源として釣り竿が特定された場合、キャラクタが釣りを行うジェスチャを行うなどである。この場合、図形オブジェクトテーブル７４には、音源に対応して、キャラクタのジェスチャなどのアクションを静止画または動画で登録しておけばよい。さらに、ぬいぐるみなどの人形に本発明の情報処理方法を適用すれば、特定した音源に応じて、その人形にアクションさせることができる。
【００６８】
さらに、本発明は、外部からの音を採取することにより、携帯電話機などにアイコンや絵文字を入力することにも適用可能である。これによれば、携帯電話機などの携帯型機器の新たな入力方法を提供することができる。
【図面の簡単な説明】
【００６９】
【図１】実施形態における情報処理端末の全体構成を示す機能ブロック図である。
【図２】実施形態における音変換テーブルの一例を示す図である。
【図３】第１本実施形態における情報処理端末が実行するゲームの全体動作を説明するためのフローチャートである。
【図４】実施形態における音認識部による音源特定処理の一例を示すフローチャートである。
【図５】第１実施形態における情報処理端末を用いたゲームの一場面を概略的に説明するイメージ画面Ａを示す図である。
【図６】第１実施形態における情報処理端末を用いたゲームの一場面を概略的に説明するイメージ画面Ｂを示す図である。
【図７】第２実施形態における情報処理端末または情報処理システムが実行するゲームの全体動作を説明するためのフローチャートである。
【図８】第２実施形態における情報処理端末または情報処理システムを用いたゲームの一場面を概略的に説明するイメージ画面を示す図である。
【符号の説明】
【００７０】
１０  情報処理端末、  ２０  表示部、  ３０  入力部、  ４０  マイク、  ４２  音認識部、  ５０  通信部、  ６０  制御部、  ６２  ゲーム実行部、  ７０  記憶部、  ７２  音変換テーブル、  ７４  図形オブジェクトテーブル、  ８０  外部記憶部。
【図１】
2006102270.tif 000003
【図２】
2006102270.tif 000004
【図３】
2006102270.tif 000005
【図４】
2006102270.tif 000006
【図５】
2006102270.tif 000007
【図６】
2006102270.tif 000008
【図７】
2006102270.tif 000009
【図８】
2006102270.tif 000010