(57)【要約】  【課題】カラオケ装置において、利用者が気軽に楽しめるアミューズメントや利用者が操作しなくてもよい自動制御機能を提供する。  【解決手段】歌唱者の歌唱音声からフォルマントを抽出し、このフォルマントに基づいて歌唱者の声がどの程度男性らしいかどの程度女性らしいかの性別度やどの位の年齢の声に聞こえるかの推定年齢などの情報を割り出す。割り出した性別度や推定年齢を用いて種々の情報を表示したりカラオケ演奏を制御したりする。たとえば、年齢と性別で決定される運勢を表示したり、性別度や推定年齢の声質の歌唱が最も映えるような伴奏となるようにカラオケ演奏を制御するなどである。【選択図】  図１
2007304619.tif 000002
【特許請求の範囲】
【請求項１】
歌唱音声からフォルマントを抽出するフォルマント抽出手段と、
抽出されたフォルマントに基づいて歌唱者の性別または年齢を推定する推定手段と、
推定された性別または年齢に応じた情報を表示する情報提供手段と、
を備えたことを特徴とするカラオケ装置。
【請求項２】
入力音声からフォルマントを抽出するフォルマント抽出手段と、
抽出されたフォルマントに基づいて遊技者の性別または年齢を推定する推定手段と、
推定された性別または年齢に応じた情報を表示する情報提供手段と、
を備えたことを特徴とするゲーム装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力される歌唱音声に基づいて歌唱者の性別や年齢を推定するカラオケ装置およびゲーム装置に関する。
【背景技術】
【０００２】
カラオケ装置において、歌唱者の歌唱を分析して何らかの結果を報告する機能としては、採点機能があった。採点機能は、歌唱者の音程や音量をリファレンス（ガイドメロディデータ）と比較し、その一致度に応じて歌唱を採点する機能である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この機能は歌唱の巧拙を判定するものであったため、競い合う感じになり、だれでも気軽に参加できるものではなかった。また、歌唱の巧拙を判断したのち、この情報を用いてそれ以外のサービスや機能制御を行うことはできなかった。
【０００４】
この発明は、フォルマントを分析することで性別や年齢などを推定し、利用者が気軽に楽しめるアミューズメントなどを提供することができるカラオケ装置およびゲーム装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１の発明は、歌唱音声からフォルマントを抽出するフォルマント抽出手段と、抽出されたフォルマントに基づいて歌唱者の性別または年齢を推定する推定手段と、推定された性別または年齢に応じた情報を表示する情報提供手段と、を備えたことを特徴とする。
【０００６】
請求項２の発明であるゲーム装置は、入力音声からフォルマントを抽出するフォルマント抽出手段と、抽出されたフォルマントに基づいて遊技者の性別または年齢を推定する推定手段と、推定された性別または年齢に応じた情報を表示する情報提供手段と、を備えたことを特徴とする。
【０００７】
この発明では、歌唱者の歌唱音声からフォルマントデータを抽出し、これを分析する。フォルマントデータとは、発声された母音のスペクトル上の優勢な周波数成分であり、周波数の低い順に第１フォルマント、第２フォルマント，…と呼んでいる。このうち、第３フォルマントまでが音韻性に寄与していると言われている。図５に示すように男性と女性のフォルマントパターンは明らかに異なっており、歌唱音声からフォルマントを抽出し、これを分析することによって歌唱者が男性であるか女性であるかを推定することができる。さらに、どの程度男性的な声であるか女性的な声であるかを割り出すこともできる。また、同様にこのフォルマントによって年齢を推定することができる。
【０００８】
このようにして、カラオケの歌唱音声から歌唱者の性別や年齢を推定し、これに応じた情報を表示する。これにより、歌唱者は、歌唱するのみで何もしなくても自分にあったサービスの提供を受けることができる。この情報表示をゲームなどアミューズメント的なものにすることにより、誰にでも気軽に参加できる歌唱ゲームを提供することができる。また、推定された性別や年齢に基づいてカラオケ演奏を制御することにより、この性別・年齢の歌唱音声が最も映えるような伴奏にカラオケ演奏を調整することができ、歌唱者が何も調整しなくても、歌唱するのみで歌唱者が最も歌いやすいカラオケ演奏に制御することができる。
【発明の効果】
【０００９】
以上のようにこの発明によれば、歌唱音声のフォルマントを抽出して、その性別や年齢を推定し、これに応じた情報表示やカラオケ演奏の制御を行うことにより、歌唱者がマニュアル操作で何かを入力しなくても、歌唱するのみで何らかの情報表示や演奏制御を行うことができ、サービス・機能の向上につながる利点がある。
【００１０】
また、上記サービスは歌唱音声のフォルマントに応じたものであり、従来の採点ゲームのように歌唱の巧拙を採点するものではないため、誰でも気軽に参加できるという利点がある。
【発明を実施するための最良の形態】
【００１１】
図面を参照してこの発明の実施形態について説明する。図１はこの発明の実施形態であるカラオケ装置の機能ブロック図である。このカラオケ装置は、通常のカラオケ演奏を実行する機能を備えているとともに、カラオケ演奏時の歌唱音声を取り込み、そのフォルマントを分析して歌唱音声の性別度および推定年齢を割り出す。そして、この割り出した性別（度）および（推定）年齢に対応する今日または明日の運勢を運勢データベースから読み出してこれをモニタに表示する。
【００１２】
また、この性別度および推定年齢の声質にはどのような伴奏（カラオケ演奏）が適しているかを判断し、これに基づいてカラオケ演奏を調整する。これにより、歌唱者が調整しなくても歌唱が最も映えるようにカラオケ演奏を自動的に調整することができる。
【００１３】
図１において、歌唱音声入力部１は、カラオケ歌唱用のマイクを含んでいる。歌唱音声入力部１から入力された歌唱音声１０はフォルマント抽出部２に取り込まれる。フォルマント抽出部２は、入力された歌唱音声１０から母音を切り出し、各母音毎のフォルマントを抽出する。母音は周期信号であり、カラオケ歌唱においては数十ミリ秒〜数秒程度の時間継続するため、同一周期の波形区間を切り出すことによって短時間の非周期信号である子音と区別することができる。また、その周期波形の継承に基づいてア，イ，ウ，エ，オのどの母音であるかを識別することができる。フォルマントとは、母音の周波数スペクトル上の優勢な周波数成分であり、周波数の低い順に第１，第２，第３，…フォルマントと言う。フォルマント抽出部２は、切り出された母音の第１〜第３フォルマントを抽出する。このフォルマントの抽出はＦＦＴ（高速フーリエ解析）などで行えばよい。カラオケ曲の歌詞の進行に従って入力される歌唱音声１０の母音毎にフォルマント抽出を行うことにより、フォルマント抽出部２は、１秒に１回程度の頻度でフォルマント周波数データを出力することができる。
【００１４】
抽出されたフォルマント１１は、フォルマント比較部３に入力される。フォルマント比較部３は、入力したフォルマント１１をリファレンス１２と比較することによってこの歌唱音声の性別度，推定年齢を割り出す。性別度とは、この歌唱音声がどの程度男性的かまたはどの程度女性的かを示す指標であり、推定年齢とは、この歌唱音声がどのくらいの年齢の人の声に聞こえるかを示すものである。
【００１５】
リファレンスデータベース４に記憶されているリファレンス１２は、歌唱音声から抽出されたフォルマント１１の性別度，推定年齢を割り出すための資料となる情報であり、この実施形態では、多数のサンプル音声からフォルマントを抽出し、これを男性・女性別、年齢別に平均したデータをリファレンスとして用いている。
【００１６】
フォルマント比較部３は、入力したフォルマントデータ１１をリファレンス１２の男性の平均フォルマントおよび女性の平均フォルマントと比較し、これらとの近似度によって性別度を割り出す。さらに、入力したフォルマントデータ１１をリファレンス１２の各年齢層の平均フォルマントと比較し、これらとの近似度によって推定年齢を割り出す。割り出された性別度・推定年齢１３は、カラオケ演奏制御部７に入力されるとともに、運勢データベース５に入力される。
【００１７】
運勢データベース５は、入力された性別度および推定年齢を曲が終了するまで蓄積記憶し、カラオケ曲が終了したとき蓄積した性別度，推定年齢を平均して曲全体の平均の性別度，推定年齢を算出する。そして、この平均の性別度，推定年齢を検索キーとして検索を行い、対応する運勢文言を読み出す。読み出された運勢文言は、前記性別度、推定年齢とともに表示部６に入力される。表示部６はモニタを有しており、カラオケ演奏中は歌詞や背景映像などを表示している。カラオケ曲の演奏が終了したとき、歌詞の表示を消去するとともに、運勢データベース５から入力された運勢文言、性別度・推定年齢を表示する。
【００１８】
また、カラオケ演奏制御部７は、フォルマント比較部３から刻々入力される性別度・推定年齢１３に基づいてカラオケ演奏部８をリアルタイムで制御する。入力される性別度・推定年齢１３は、その歌唱者の声質を表す情報であるため、この声質に最も適した、すなわちこの声質が最も映える演奏（伴奏）となるようにカラオケ演奏を制御する。制御ルールとしては、たとえば、
男性度が高ければアタックを強くする。
女性度が高ければレガートにする。
推定年齢が若ければフィルタのカットオフを上げて倍音成分を多くし、華やかな音にする。
推定年齢が高ければフィルタのカットオフを下げて倍音の少ないまるい音にする。
などである。
【００１９】
図２は上記機能を実現するカラオケ装置のハードウェアのブロック図である。図１に示す機能は、このハードウェア上で図４に示すようなプログラムを実行することによって実現される。
【００２０】
このカラオケ装置は、カラオケ装置本体２１，コントロールアンプ２２，音声信号処理装置２３，ＣＤ−ＲＯＭチェンジャ２４，スピーカ２５，モニタ２６，マイク２７および赤外線のリモコン装置２８で構成されている。カラオケ装置本体２１はこのカラオケ装置全体の動作を制御する。該カラオケ装置本体２１の制御装置であるＣＰＵ３０には、内部バスを介してＲＯＭ３１，ＲＡＭ３２，ハードディスク記憶装置３７，通信制御部３６，リモコン受信部３３，表示パネル３４，パネルスイッチ３５，音源装置３８，音声データ処理部３９，文字表示部４０，表示制御部４１が接続されるとともに、上記外部装置であるコントロールアンプ２２，音声信号処理装置２３およびＣＤ−ＲＯＭチェンジャ２４がインタフェースを介して接続されている。
【００２１】
ＲＯＭ３１にはこの装置を起動するために必要な起動プログラムなどが記憶されている。装置の動作を制御するシステムプログラム，カラオケ演奏実行プログラムなどはハードディスク記憶装置３７に記憶されている。カラオケ装置の電源がオンされると上記起動プログラムによってシステムプログラムやカラオケ演奏プログラムがＲＡＭ３２に読み込まれる。
【００２２】
ハードディスク記憶装置３７には、上記プログラムや楽曲データが記憶されているほか、歌唱音声のフォルマントを分析して性別度・推定年齢を割り出すためのリファレンスデータベース１７１、性別度を文言化して表示するための表示文言データベース１７２、割り出された性別度・推定年齢に基づいて運勢を表示するための運勢データベース１７３、割り出された性別度・推定年齢に基づいてカラオケ演奏を制御するための演奏制御データベース１７４などが記憶されている（図３参照）。前記ＲＡＭ３２には、装置の起動時にハードディスク記憶装置３７からプログラムを読み込むプログラム記憶エリアや演奏されるカラオケ曲の楽曲データを読み込む実行曲データ記憶エリアなどが設定されるほか、カラオケ演奏中に割り出される性別度・推定年齢を蓄積記憶する蓄積記憶エリアも設定される。
【００２３】
通信制御部３６はＩＳＤＮ回線を介して配信センタ１９と接続される。配信センタ１９は、定期的にカラオケ装置に対して電話を掛け、新曲の楽曲データやバージョンアップされた制御プログラムなどをダウンロードする。また、図３に示すリファレンスデータベース１７１，表示文言データベース１７２，運勢データベース１７３，演奏制御データベース１７４も配信センタ１９からダウンロードされる。特に、運勢データベース１７３は、毎日内容が変わるものであるため、毎日その日の運勢データベースまたは定期的に数日分の運勢データベースがダウンロードされる。
【００２４】
リモコン装置２８は、テンキーなどのキースイッチを備えており、利用者がこれらのスイッチを操作するとその操作に応じたコード信号が赤外線で出力される。リモコン受信部３３はリモコン装置１８から送られてくる赤外線信号を受信して、そのコード信号を復元しＣＰＵ３０に入力する。
【００２５】
表示パネル３４はこのカラオケ装置本体２１の前面に設けられており、現在演奏中の曲番号や予約曲数を表示するマトリクス表示器や、現在設定されているキーやテンポを表示するＬＥＤ群などを含んでいる。パネルスイッチ３５は、前記汎用のリモコン装置２８と同様の曲番号入力用のテンキーなどを備えている。
【００２６】
音源装置３８は、楽曲データに基づいて楽音信号を形成する。楽曲データは、複数トラックの演奏データを含んでおり、音源装置３８はこのデータに基づいて複数パートの楽音信号を同時に形成する。音声データ処理部３９は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。音声データは、バックコーラスなどの人声など電子的に形成しにくい信号波形をそのままＰＣＭ信号として記憶したものである。前記音源装置３８が形成した楽音信号および音声データ処理部３９が再生した音声信号は、コントロールアンプ２２に入力される。
【００２７】
また、コントロールアンプ２２には、２本のマイク２７ａ，２７ｂが接続されており、カラオケ歌唱者の歌唱音声が入力される。コントロールアンプ２２はこれらのオーディオ信号に、それぞれエコーなど所定の効果を付与したのち増幅してスピーカ２５に出力する。音声信号処理装置２３は、コントロールアンプ２２から入力された歌唱音声の信号（いずれか１本のマイクの信号）をディジタルデータに変換し、周期信号（母音）を切り出してこの周期信号をＦＦＴ解析することによりフォルマントを抽出する。また、この周期波形の形状に基づきア，イ，ウ，エ，オのどの母音であるかを識別し、これを示す母音情報を発生する。抽出されたフォルマントデータおよび母音情報はＣＰＵ３０に入力される。また、音声信号処理装置２３は、歌唱音声の音程のずれを修正したり、他のパートのハーモニー歌唱を作成したりする機能を備えている。修正された歌唱音声や他のパートのハーモニー歌唱音声は再度コントロールアンプ２２に入力される。この修正機能は両方のマイクの信号に施してもよい。
【００２８】
なお、上記音源３８およびコントロールアンプ２２は、性別度・推定年齢に基づきその歌唱者の音質に適合するカラオケ演奏になるように制御される。
文字表示部４０はＶＲＡＭを備え、カラオケ曲の歌詞などを文字パターンに展開した画像データをモニタ２６の表示エリアに対応したマトリクスに展開する。展開されたマトリクスデータは、順次スキャンされ映像信号として表示制御部４１に入力される。カラオケ演奏時はＣＤ−ＲＯＭチェンジャ２４は背景映像を再生し、この映像信号も表示制御部４１に入力される。表示制御部４１は、歌詞の文字パターンを背景映像にスーパーインポーズで合成してモニタ２６に表示する。また、カラオケ曲の終了後、ＣＰＵ３０は、文字表示部４０に運勢の文言，性別度を示す文言および推定年齢の文字を入力する。文字表示部４０はこれを映像信号化してモニタ２６に表示する。
【００２９】
図３は前記ハードディスク３７の一部記憶内容を示す図である。ハードディスク３７にはリファレンスデータベース１７１、表示文言データベース１７２、運勢データベース１７３および演奏制御データベース１７４が設定されている。
【００３０】
リファレンスデータベース１７１は、マイク２７から入力された歌唱音声から抽出したフォルマントの性質を調べるためのリファレンスを記憶したデータベースであり、この実施形態ではリファレンスとして、「あ、い、う、え、お」の各母音の第１，第２，第３フォルマントを、男性全体、、女性全体、男性の年齢別（〜２０才、〜３０才、〜４０才、４０才〜）、および、女性の年齢別（〜２０才、〜３０才、〜４０才、４０才〜）毎に記憶している。性別，年齢別のフォルマントは、多数の人声をサンプリングしてフォルマントを抽出し、その平均値を求めればよい。
【００３１】
同図（Ｂ）に示す表示文言データベースは、音声信号から抽出したフォルマントをリファレンスと比較して割り出された性別度，推定年齢をモニタ２６に表示するときの文言を記憶したデータベースである。性別度，推定年齢とも数値情報として算出される。推定年齢はそのまま数値で表示しても理解可能であるが、性別度は数値では一般の利用者が理解しづらいため、これを文言に置き換えて表示する。そのための文言がこの表示文言データベースに記憶されている。
【００３２】
運勢データベース１７３は、性別および年齢で決まる当日または翌日の運勢を記憶したデータベースである。このデータベースは、配信センタ１９からダウンロードされ、常に最新の運勢を表示できるようにされる。ダウンロードは毎日行ってもよく、数日分をまとめてダウンロードするようにしてもよい。
【００３３】
演奏制御データベース１７４は、性別度，推定年齢に応じて、歌唱者の声質を引き立たせるためのカラオケ演奏の制御態様を記憶したデータベースであり、上述したようなルールが記憶されている。このルール記述方式としてはファジィルールを用いてもよい。
【００３４】
上記構成のカラオケ装置でカラオケ演奏が実行されると、マイク２７から入力された歌唱音声がコントロールアンプ２２を介して音声信号処理装置２３に入力される。音声信号処理装置２３は、この信号をデジタルデータ化し、周期信号の区間を割り出してこれを切り出す。この区間がア，イ，ウ，エ，オのどの母音であるかを割り出す。これはア，イ，ウ，エ，オのサンプルデータとのマッチングなどで割り出せばよい。そして、ＦＦＴ解析によりその母音のフォルマントを抽出する。このフォルマントデータと前記母音情報をＣＰＵ３０に入力する。
【００３５】
ＣＰＵ３０は、入力された母音情報に基づいて、その母音に関するリファレンスを読み出し、入力されたフォルマントデータと比較することによってこの歌唱音声の性別度と推定年齢を割り出す。このようにして割り出した性別度、推定年齢データをＲＡＭ３２に蓄積記憶するとともに、演奏制御データベース１７４を検索して制御態様を読み出し、これに基づいてカラオケ演奏を制御する。そして、カラオケ演奏が終了すると、ＲＡＭ３２に蓄積記憶した性別度および推定年齢の平均値を算出し、この値で表示文言データベース１７２および運勢データベース１７３を検索して、歌唱者の声質の評価文言、および、今日または明日の運勢を読み出す。そして、これらを推定年齢と一緒にモニタ２６に表示する。
【００３６】
図４は同カラオケ装置の動作を示すフローチャートである。この動作は、カラオケ演奏時の動作を示すフローチャートである。カラオケ演奏がスタート（ｓ１）すると、マイク２７から音声信号処理装置２３に歌唱音声を入力する。なお、この歌唱音声は、音源３８等によって合成されるカラオケ演奏音とともにコントロールアンプ２２からスピーカ２５にも出力される。入力された歌唱音声は、音声信号処理装置２３によってフォルマントが抽出され（ｓ３）、このフォルマントデータがＣＰＵ３０に入力される。ＣＰＵ３０はこのフォルマントデータに対応するリファレンスデータを読み出し（ｓ４）、これらを比較することによって（ｓ５）、性別度，推定年齢を割り出す（ｓ６）。割り出した性別度，推定年齢を蓄積記憶する（ｓ７）とともに、これで演奏制御データベース１７４を検索することによって制御態様を割り出し（ｓ８）、これで実行中のカラオケ演奏を制御する（ｓ９）。カラオケ曲が終了するまでｓ２以下の動作を継続的に実行する。
【００３７】
カラオケ曲の演奏が終了すると（ｓ１０）、蓄積記憶した性別度・推定年齢を平均して平均性別度，平均推定年齢を算出し（ｓ１１）、これに基づいて表示文言データベース１７２を検索して表示文言を選出するとともに、運勢データベース１７３を検索して今日または明日の運勢を読み出す（ｓ１３）。そしてこれらをモニタ２６に表示する（ｓ１４）。
【００３８】
なお、上記実施形態では、歌唱者のフォルマントから割り出された性別度・推定年齢に基づいて、カラオケ演奏を制御し、運勢を表示しているが、カラオケ装置が行う制御、サービスは上記に限定されない。
【図面の簡単な説明】
【００３９】
【図１】この発明の実施形態であるカラオケ装置の機能ブロック図
【図２】同カラオケ装置のハードウェアのブロック図
【図３】同カラオケ装置のハードディスクの一部構成を示す図
【図４】同カラオケ装置の動作を示すフローチャート
【図５】一般的なフォルマント周波数の分布を示す図
【符号の説明】
【００４０】
１…歌唱音声入力部、２…フォルマント抽出部、３…フォルマント比較部、４…リファレンスデータベース、５…運勢データベース、６…表示部、７…カラオケ演奏制御部、８…カラオケ演奏部、
１０…歌唱音声、１１…フォルマント、１２…リファレンス、１３…性別度・推定年齢、
２３…音声信号処理装置、２７…歌唱用マイク、３０…ＣＰＵ、３２…ＲＡＭ、３７…ハードディスク記憶装置、４０…文字表示部、
１７１…リファレンスデータベース、１７２…表示文言データベース、１７３…運勢データベース、１７４…演奏制御データベース
【図１】
2007304619.tif 000003
【図２】
2007304619.tif 000004
【図３】
2007304619.tif 000005
【図４】
2007304619.tif 000006
【図５】
2007304619.tif 000007