(57)【要約】      （修正有）【課題】シャウト技法による歌唱を評価するカラオケ装置（音声評価装置）において、カラオケ歌唱の評価を行うに際し、シャウト技法による歌唱に対して適正な評価をする。【解決手段】カラオケ装置（音声評価装置）は、入力された歌唱音声データに基づき、シャウト技法での歌唱の有無を判定するシャウト技法判定手段を有している。このシャウト技法判定手段は、リファレンスデータと歌唱音声データとに基づき、歌唱期間内における第１シャウト技法での歌唱の有無を判定する第１シャウト判定処理Ｓ５と、リファレンスデータと歌唱音声データとに基づき、歌唱期間外における第２シャウト技法での歌唱の有無を判定する第２シャウト判定処理Ｓ１０とを行う。【選択図】図８
2014092550.tif 000002
【特許請求の範囲】
【請求項１】
入力された歌唱音声データに基づき、シャウト技法での歌唱の有無を判定するシャウト技法判定手段を有する音声評価装置であって、
前記シャウト技法判定手段は、
リファレンスデータと前記歌唱音声データとに基づき、歌唱期間内における第１シャウト技法での歌唱の有無を判定する第１シャウト判定処理と、
前記リファレンスデータと前記歌唱音声データとに基づき、歌唱期間外における第２シャウト技法での歌唱の有無を判定する第２シャウト判定処理とを行うことを特徴とする音声評価装置。
【請求項２】
前記歌唱音声データに基づいて歌唱を採点する採点手段と、採点対象の歌唱に関するコメントを作成するコメント作成手段とを有し、
前記コメント作成手段は、前記第２シャウト技法での歌唱に応じて、前記コメントの内容を定めることを特徴とする請求項１に記載の音声評価装置。
【請求項３】
前記コメント作成手段は、前記第２シャウト技法による歌唱の回数に応じて、前記コメントの内容を定めることを特徴とする請求項２に記載の音声評価装置。
【請求項４】
前記コメント作成手段は、前記第１シャウト技法での歌唱に応じて、前記コメントの内容を定めることを特徴とする請求項２又は３に記載の音声評価装置。
【請求項５】
前記採点手段は、前記歌唱音声データにおけるリズム、抑揚、音程の少なくとも１つを採点の評価対象とし、
前記コメント作成手段は、前記リズムの良否、前記抑揚の大きさ、前記音程の精度のうち少なくとも１つと、前記第１シャウト技法による歌唱の回数とに応じて、前記コメントの内容を定めることを特徴とする請求項４に記載の音声評価装置。
【請求項６】
前記採点手段は、前記第１シャウト技法での歌唱を、採点の評価値に加味することを特徴とする請求項２から５の何れか１項に記載の音声評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ歌唱の評価を行う音声評価装置であって、特にシャウト技法による歌唱を評価するものに関する。
【背景技術】
【０００２】
カラオケ歌唱の評価を行う音声評価装置は、例えば採点機能付きのカラオケ装置として普及している。カラオケの採点では、リファレンスデータとしてのガイドメロディデータと歌唱者による歌唱音声データとを比較し、歌唱音声がガイドメロディに近いほど高い得点が得られるようになっている。
【０００３】
カラオケでは気分の盛り上がり等によって、「ワォ」、「イェーイ」などの叫び声（以下、シャウト技法による歌唱という）が発せられることがある。シャウト技法による歌唱が歌唱者のアドリブでなされた場合、ガイドメロディに含まれないことから、歌唱すべき内容とは異なる内容の歌唱を行っていると判定され、評価が低くなってしまうことがあった。
【０００４】
特許文献１のカラオケ装置では、歌唱音声データの音量やピッチの変化パターンを分析し、これらの変化パターンが所定の変化パターンに適合する場合に、シャウト技法による歌唱がなされたと判定している。そして、シャウト技法による歌唱については減点対象としないことで、シャウト技法による歌唱の悪影響を抑えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−７８７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
シャウト技法による歌唱は、カラオケ歌唱を盛り上げるためには効果的であるが、これまではマイナスの評価しかなされていない。前述のカラオケ装置でも、シャウト技法による歌唱を減点対象から除外することで悪影響を抑えている。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、その目的は、シャウト技法による歌唱に対して適正な評価をすることにある。
【課題を解決するための手段】
【０００８】
前述の目的を達成するため、本発明は、入力された歌唱音声データに基づき、シャウト技法での歌唱の有無を判定するシャウト技法判定手段を有する音声評価装置であって、前記シャウト技法判定手段は、リファレンスデータと前記歌唱音声データとに基づき、歌唱期間内における第１シャウト技法での歌唱の有無を判定する第１シャウト判定処理と、前記リファレンスデータと前記歌唱音声データとに基づき、歌唱期間外における第２シャウト技法での歌唱の有無を判定する第２シャウト判定処理とを行うことを特徴とする。
【０００９】
本発明によれば、歌唱期間内における第１シャウト技法による歌唱と、歌唱期間外における第２シャウト技法での歌唱とを分けて評価できるので、それぞれの歌唱に個別の評価基準を設定できる。これにより、シャウト歌唱に対する適正な評価を行うことができる。
【００１０】
前述の音声評価装置において、前記歌唱音声データに基づいて歌唱を採点する採点手段と、採点対象の歌唱に関するコメントを作成するコメント作成手段とを有し、前記コメント作成手段は、前記第２シャウト技法での歌唱に応じて、前記コメントの内容を定めることが好ましい。この構成では、歌唱期間外における第２シャウト技法での歌唱を、コメントによって評価することができる。
【００１１】
前述の音声評価装置において、前記コメント作成手段は、前記第２シャウト技法による歌唱の回数に応じて、前記コメントの内容を定めることが好ましい。この構成では、コメントの内容を定めるに際して、第２シャウト技法による歌唱の回数を用いているので、処理を簡素化できる。
【００１２】
前述の音声評価装置において、前記コメント作成手段は、前記第１シャウト技法での歌唱に応じて、前記コメントの内容を定めることが好ましい。この構成では、歌唱期間内における第１シャウト技法での歌唱を、コメントによって評価することができる。
【００１３】
前述の音声評価装置において、前記採点手段は、前記歌唱音声データにおけるリズム、抑揚、音程の少なくとも１つを採点の評価対象とし、前記コメント作成手段は、前記リズムの良否、前記抑揚の大きさ、前記音程の精度のうち少なくとも１つと、前記第１シャウト技法による歌唱の回数とに応じて、前記コメントの内容を定めることが好ましい。この構成では、コメントの内容を定めるに際して、通常の歌唱と第１シャウト技法での歌唱とが加味されるので、多様なコメントを歌唱者に提示できる。
【００１４】
前述の音声評価装置において、前記採点手段は、前記第１シャウト技法での歌唱を、採点の評価値に加味することが好ましい。この構成では、歌唱期間内における第１シャウト技法での歌唱のみが採点の評価値に加味されるので、採点の適正化が図れる。
【発明の効果】
【００１５】
本発明によれば、カラオケ歌唱の評価を行うに際し、シャウト技法による歌唱に対して適正な評価をすることができる。
【図面の簡単な説明】
【００１６】
【図１】カラオケシステムの概略構成を説明する概念図である。
【図２】カラオケ装置の構成を説明するブロック図である。
【図３】カラオケ本体の構成を説明するブロック図である。
【図４】シャウト検出における判定期間を説明する図である。
【図５】評価基準情報に定められた信号の変化パターンを説明する図である。
【図６】評価基準情報に定められた判定基準を説明する図である。
【図７】コメントデータベースを説明する概念図である。
【図８】採点モード処理を説明するフローチャートである。
【図９】採点区間を説明する概念図である。
【図１０】区間採点処理を説明するフローチャートである。
【図１１】結果報知映像の一例を説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について説明する。本実施形態では、図１に示すカラオケシステムを例示する。このカラオケシステムでは、採点機能付きのカラオケ装置２が用いられている。すなわち、カラオケ装置２が、本発明に係る音声評価装置に相当する。
【００１８】
図１のカラオケシステムは、ホスト装置１とカラオケ装置２とを通信回線３で接続することにより構成されている。ホスト装置１は、顧客情報等の各種情報を蓄積及び管理する。カラオケ装置２はカラオケ演奏や歌唱採点を行う装置であり、例えばカラオケ店の各カラオケルームに設置されている。
【００１９】
図２に示すように、カラオケ装置２は、カラオケ本体２１と、スピーカ２２と、モニタ２３と、マイク２４と、リモコン装置２５とを有している。
【００２０】
カラオケ本体２１は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク２４を通じて入力された歌唱音声信号の処理といった、カラオケに関する各種の制御を行う部分である。このカラオケ本体２１については、後で詳しく説明する。
【００２１】
スピーカ２２は、カラオケ本体２１に接続されており、カラオケ本体２１からの放音信号に基づいて放音する。モニタ２３もカラオケ本体２１に接続されており、カラオケ本体２１からの映像信号に基づいて映像を画面に表示する。マイク２４もカラオケ本体２１に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体２１に入力させる。
【００２２】
リモコン装置２５は、カラオケ本体２１との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約や採点モードの実行時などに操作される。カラオケ楽曲の予約時にあっては、演奏対象の楽曲を識別するための楽曲ＩＤを含んだ操作信号がリモコン装置２５から送信される。また、採点モードの実行時にあっては、その旨を示すコマンドがリモコン装置２５から送信される。これらの操作信号やコマンドは、カラオケ本体２１（後述する操作部３６）で受信され、制御に用いられる。
【００２３】
次に、カラオケ本体２１について詳細に説明する。図３に示すように、カラオケ本体２１は、制御部３１と、通信部３２と、記憶部３３と、音響処理部３４と、表示処理部３５と、操作部３６とを有している。そして、これらの各部がバスを介して通信可能な状態に接続されている。
【００２４】
制御部３１は、カラオケ本体２１における制御の中心となる部分であり、ＣＰＵ３１ａやメモリ３１ｂを有している。
【００２５】
ＣＰＵ３１ａは、メモリ３１ｂに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作入力プログラムの実行によって操作部３６からの操作を受け付ける操作入力処理を行う。また、シーケンサプログラムの実行によって、シーケンサとして動作するシーケンサ処理を行う。また、採点プログラムの実行によって、歌唱の採点を行う採点モード処理を行う。さらに、通信部３２を介してホスト装置１との間で行われる通信も制御する。
【００２６】
メモリ３１ｂは、ＣＰＵ３１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。このため、メモリ３１ｂには、各種のプログラムを記憶する記憶領域や、採点モード処理の実行時に評価結果等を記憶する採点ログ領域などが設けられている。
【００２７】
記憶部３３は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この記憶部３３には、例えば、選択されたカラオケ楽曲を演奏するための楽曲データ、モニタ２３に背景映像を表示するための背景映像データ、歌唱音声信号をデジタルデータ化した歌唱音声データ、シャウト技法の歌唱を判定するための基準を示す評価基準情報、歌唱の評価時に参照されるポイント算出テーブル、コメントの生成時に参照されるコメントデータベース（ＤＢ，後述）が記憶されている。
【００２８】
なお、楽曲データには、採点モード処理においてリファレンスデータとされるガイドメロディ（以下、ＧＭという）データが含まれている。そして、このＧＭデータには、ノートオンデータやノートオフデータも含まれている。これらのノートオンデータ及びノートオフデータは、歌唱期間を制御上認識させるためのデータである。すなわち、ノートオンデータのタイミングが歌唱期間の開始タイミングと認識され、ノートオフデータのタイミングが歌唱期間の終了タイミングと認識される。この他、楽曲データには、伴奏の基となる伴奏データやその楽曲の歌詞が記録された歌詞データなども記憶されている。
【００２９】
音響処理部３４は、カラオケ楽曲に対する演奏の制御を行ったり、マイク２４を通じて入力された歌唱音声信号を歌唱音声データにデジタル変換する等の制御を行ったりする部分である。この音響処理部３４では、伴奏データに応じて生成された楽音信号と歌唱音声データとに対し、エコーなどの効果を付与するとともに、楽音信号と歌唱音声データとを適当なバランスでミキシングする。ミキシングで得られた信号は、アナログ信号への変換処理と増幅処理が施され、放音信号としてスピーカ２２へ出力される。
【００３０】
また、音響処理部３４は、歌唱音声データやＧＭデータから歌唱周波数やＧＭ周波数を示す信号（周波数信号）を生成する。本実施形態において、歌唱周波数及びＧＭ周波数は、Ｃ０からのセント値で表現される。各周波数信号は同期され、所定周期（例えば３０ｍｓ）毎に制御部３１へと入力される。入力された各周波数信号は、制御部３１で実行される採点モード処理で使用される。
【００３１】
表示処理部３５は、カラオケ演奏時における背景映像の表示や採点モード処理における結果報知映像の表示等の制御を行う。背景映像の表示は、記憶部３３から読み出された背景映像データに基づいて行われる。カラオケ演奏時において、表示処理部３５には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部３５は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ２３に出力する。その結果、モニタ２３には、背景映像に歌詞テロップが重ねられた映像が表示される。また、結果報知映像の表示処理において、表示処理部３５は、背景映像の映像信号にコメント等の文字情報を合成し、合成後の映像信号をモニタ２３に出力する。その結果、モニタ２３には、結果報知映像が表示される。
【００３２】
操作部３６は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置２５の操作に応じた操作信号を制御部３１に対して出力する。制御部３１は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置２５は、カラオケ楽曲を選択したり、採点モードなどのモードを選択したりするための種々のキースイッチを備えている。
【００３３】
楽曲ＩＤを含む操作信号が操作部３６から出力されると、制御部３１は、その楽曲ＩＤをメモリ３１ｂに格納して演奏処理の待ち行列で管理する。そして、制御部３１は、待ち行列から楽曲ＩＤを順次取り出し、取り出した楽曲ＩＤに対応する楽曲データを記憶部３３から読み出す。これに伴い、音響処理部３４や表示処理部３５が動作し、カラオケ楽曲、背景映像、及び、歌詞が同期されたカラオケ演奏が行われる。また、カラオケ演奏で取得された歌唱音声データは記憶部３３に記憶される。
【００３４】
採点モードの実行を示すコマンドが操作部３６から出力されると、制御部３１は、採点モード処理を行う。この採点モード処理を実行することで、制御部３１は採点手段として機能し、歌唱に対する採点を行う。この採点を行うため、制御部３１は、音響処理部３４から周期的に送信される歌唱周波数信号及びＧＭ周波数信号に対してローパスフィルタ処理（ＬＰＦ処理）を施し、ＬＰＦ周波数信号を得る。また、制御部３１は、歌唱音声データから振幅のエンベロープ（歌唱の音量レベル）を検出する処理も行う。そして、歌唱周波数信号、ＧＭ周波数信号、歌唱ＬＰＦ周波数信号、ＧＭＬＰＦ周波数信号、及び、エンベロープ等の各種信号が、メモリ３１ｂの採点ログ領域に記憶される。
【００３５】
また、制御部３１は、採点モード処理の実行に伴って、シャウト技法判定手段として機能し、シャウト技法による歌唱の有無を検出する。以下、シャウト技法による歌唱の検出について説明する。
【００３６】
まず、制御部３１は、予め定められた採点区間のエンベロープを時系列で取得する。これにより、例えば、図４に示すように、音量と時間の関係を示す曲線ＶＬが描ける。
【００３７】
次に、制御部３１は、しきい値Ｖｔｈに基づいて無音歌唱期間Ｓｏｆｆと判定期間Ｓｏｎを特定する。この例では、しきい値Ｖｔｈ未満の歌唱音量が規定時間（例えば５００ｍｓｅｃ）以上継続する期間を、無音歌唱期間Ｓｏｆｆとしている。また、歌唱音量がしきい値Ｖｔｈ以上であり、無音歌唱期間Ｓｏｆｆに前後を挟まれ、かつ、歌唱すべき構成音が２つ以上含まれない歌唱期間を、判定期間Ｓｏｎとしている。
【００３８】
次に、制御部３１は、判定期間Ｓｏｎにおける歌唱音量の最大値が、判定期間Ｓｏｎ以外の歌唱期間における歌唱音量の平均値よりも大きいか否かを判定し、大きい場合には「ＯＫ」を示す情報（例えばフラグ）を、そうでない場合は「ＮＧ」を示す情報を設定する。また、制御部３１は、判定期間Ｓｏｎの曲線ＶＬが有するピークの数をカウントし、２つ以上のピークが存在する場合には「ピーク数２以上」を示す情報を設定する。
【００３９】
次に、制御部３１は、歌唱周波数信号に基づいて歌唱音声のピッチ（以下、歌唱ピッチという）を検出し、判定期間Ｓｏｎにおける歌唱ピッチの変化が、予め決められた変化パターンに対応するか否かを判定する。予め決められた変化パターンは、ピッチが上昇した後に下降するパターンであり、評価基準情報に規定されている。このようなピッチの変化は、シャウト技法に特徴的な変化である。
【００４０】
図５（ａ）に示す波形１は、時刻０からピッチが急激に上昇し、時刻ｔｐ１においてピーク値ＰＬ１となり、その後、時刻ｔｅ１まで急激に下降する波形である。図５（ｂ）に示す波形２は、時刻０からピッチが急激に上昇し、時刻ｔｐ２においてピーク値ＰＬ２となり、時刻ｔｅ２まで緩やかに下降して下降値ＰＤ２となる波形である。なお、同図において、符号Ｔ１は上昇期間、符号Ｔ２は下降期間Ｔ２である。
【００４１】
制御部３１は、判定期間Ｓｏｎにおける歌唱ピッチの変化と評価基準情報（波形１、２の変化パターン）とを比較し、「波形１」、「波形２」、或いは、「ＮＧ」を示す情報を設定する。そして、図６の判定基準に基づき、判定期間Ｓｏｎでの歌唱がシャウト技法によるものか、そうでないかを判定する。さらに、シャウト技法による歌唱の場合には、短いシャウト技法による歌唱か、長いシャウト技法による歌唱かを判定する。
【００４２】
ここで、短いシャウト技法による歌唱とは「ワォ」のような短い叫び声であり、長いシャウト技法による歌唱とは「イェーイ」のような長い叫び声である。そして、短いシャウト技法による歌唱と判定される条件は、判定期間Ｓｏｎの時間が判断基準時間（例えば８００ｍｓｅｃ）未満、音量「ＯＫ」、変化パターン「波形１」、かつ、ピーク数「１以下」である。一方、長いシャウト技法による歌唱と判定される条件は、音量「ＯＫ」、変化パターン「波形２」、かつ、構成音数「０」である。
【００４３】
また、制御部３１は、採点モード処理の実行時にコメントデータベースを参照し、シャウト技法による歌唱を加味したコメントを生成する。以下、図７を参照し、生成されるコメントについて説明する。
【００４４】
図７は、コメントデータベースを説明する概念図である。同図では、コメントデータベースの内容が行列形式で記載されている。左端には、コメント番号が付されている。このデータベースでは１つの行が１つのレコードを構成しており、各レコードには選択条件とコメントとが互いに関連付けられた状態で記憶されている。選択条件に関し、このデータベースでは、音程、抑揚、リズム、内シャウト、及び、外シャウトの各項目が記載されている。これらの項目のうち、内シャウトとは、歌唱期間内でのシャウト技法（第１シャウト技法）による歌唱を意味し、外シャウトとは、歌唱期間外でのシャウト技法（第２シャウト技法）による歌唱を意味する。なお、実際のデータベースでは、選択条件として他の項目も記載されている。
【００４５】
このコメントデータベースには、内シャウトを加味したコメント、及び、外シャウトを加味したコメントが定義されている。そして、内シャウトを加味したコメントでは、音程、抑揚、リズムの何れかの評価と内シャウトの回数とに基づき、コメントの内容が定められる。また、外シャウトを加味したコメントでは、外シャウトの回数に基づいてコメントの内容が定められる。
【００４６】
まず、内シャウトを加味したコメントについて説明する。例えば、Ｎｏ．ＡＡＡのレコードでは、項目「リズム」にフラグ「Ｇ」が、「内シャウトＬ」と「内シャウトＳ」のそれぞれにフラグ「１」が設定されている。これは、リズムの評価値が「良い」に属し、歌唱期間内の長いシャウト技法による歌唱か、歌唱期間内の短いシャウト技法による歌唱が規定回数以上行われたことを意味する。この例では、リズムが良く、シャウトが多いとして、「ノリがいい」、「シャウトが決まっている」といったコメントが定義されている。
【００４７】
また、Ｎｏ．ＢＢＢのレコードでは、項目「抑揚」にフラグ「ＳＴ」が、「内シャウトＬ」と「内シャウトＳ」のそれぞれにフラグ「１」が設定されている。これは、抑揚の評価値が「強い」に属し、歌唱期間内の長いシャウト技法による歌唱か、歌唱期間内の短いシャウト技法による歌唱が規定回数以上行われたことを意味する。この例では、抑揚が強く、シャウトが多いとして、「情感がこもっている」、「熱い歌声」といったコメントが定義されている。
【００４８】
また、Ｎｏ．ＣＣＣのレコードでは、項目「音程」にフラグ「ＬＣ」が、「内シャウトＬ」のみにフラグ「１」が設定されている。これは、音程の評価値が「低評価」に属し、歌唱期間内の短いシャウト技法による歌唱が規定回数以上行われたことを意味する。この例では、音程が低評価、短いシャウトが多いとして、「短いシャウトが決まっている」、「ナリきっている」といったコメントが定義されている。
【００４９】
これらの他、項目「リズム」については、先走りを示すフラグやタメを示すフラグが定められている。同様に、項目「抑揚」については、非常に強いを示すフラグや弱いを示すフラグが定められ、項目「音程」については、高評価を示すフラグや標準評価を示すフラグが定められている。そして、コメントデータベースには、各フラグの組み合わせに応じた内容のコメントが定義されている。
【００５０】
次に、外シャウトを加味したコメントについて説明する。例えば、Ｎｏ．ＸＸＸのレコードでは、「外シャウトＬ」と「外シャウトＳ」のそれぞれにフラグ「１」が設定されている。これは、歌唱期間外において長いシャウト技法及び短いシャウト技法による歌唱が規定回数以上行われたことを意味する。この例では、長いシャウトと短いシャウトが多いとして、「曲間も盛り上がっている」、「シャウトが決まっている」といったコメントが定義されている。
【００５１】
また、例えば、Ｎｏ．ＹＹＹのレコードでは、「外シャウトＬ」にフラグ「１」が設定されている。これは、歌唱期間外において長いシャウト技法よる歌唱が規定回数以上行われたことを意味する。この例では、長いシャウトが多いとして、「情感がこもっている」、「長いシャウトが決まっている」といったコメントが定義されている。
定義されている。
【００５２】
また、例えば、Ｎｏ．ＺＺＺのレコードでは、「外シャウトＳ」にフラグ「１」が設定されている。これは、歌唱期間外において短いシャウト技法よる歌唱が規定回数以上行われたことを意味する。この例では、短いシャウトが多いとして、「ノリがいい」、「短いシャウトが決まっている」といったコメントが定義されている。
【００５３】
次に、上記構成を有するカラオケ装置２（音声評価装置）の動作について説明する。
【００５４】
このカラオケ装置２（音声評価装置）では、採点モード処理に特徴を有している。特徴について簡単に説明すると、採点モードが選択されると、制御部３１（採点手段）は、その歌唱者による歌唱を評価する。歌唱の評価に関連して制御部３１（シャウト技法判定手段）は、入力された歌唱音声データに基づき、シャウト技法による歌唱の有無を判定する。その際、制御部３１は、ＧＭデータを参照し、歌唱期間内におけるシャウト技法（第１シャウト技法）での歌唱の有無を判定する処理（第１シャウト判定処理）と、歌唱期間外におけるシャウト技法（第２シャウト技法）での歌唱の有無を判定する処理（第２シャウト判定処理）とを行う。
【００５５】
そして、制御部３１（採点手段）は、歌唱の採点に際して、歌唱期間内になされたシャウト技法による歌唱を評価する。例えば、楽曲の区間毎に算出される採点値にシャウト技法による歌唱点を加算し、各区間の平均値を最終的な採点結果として採用する。また、制御部３１（コメント作成手段）は、コメントデータベースを参照し、シャウト技法での歌唱に応じてコメントの内容を定め、採点結果として表示されるコメントを作成する。
【００５６】
制御部３１（コメント作成手段）は、作成したコメントのデータを表示処理部３５（報知手段）に送信する。また、制御部３１（採点手段）は、採点結果のデータも表示処理部３５に送信する。表示処理部３５は、コメントや採点結果の映像信号を背景映像の映像信号に合成し、合成後の映像信号をモニタ２３（報知手段）に出力する。その結果、採点結果やコメントを含んだ結果報知映像がモニタ２３に表示される。
【００５７】
この映像を視認することにより、歌唱者は、シャウト技法での歌唱が反映されたコメントを認識する。このように、シャウト技法での歌唱がコメントに反映されるので、シャウト技法による歌唱に対して適正な評価を歌唱者に与えることができる。
【００５８】
以下、前述した採点モード処理の動作を、図８のフローチャートに基づいて詳細に説明する。このフローチャートは、採点プログラムの実行に伴って制御部３１でなされる処理を示している。
【００５９】
この採点モード処理では、ステップＳ１で制御部３１が歌唱音声データやＧＭデータ等を取得する。ここでは、音響処理部３４から周期的に送信された歌唱音声データ、歌唱周波数信号、ＧＭ周波数信号、及び、カラオケ演奏に同期して読み出されたＧＭデータなどが取得される。
【００６０】
次に、ステップＳ２で制御部３１は、歌唱期間内か歌唱期間外かを判定する。この判定は、ＧＭデータに含まれるノートオンデータ及びノートオフデータに基づいて行われる。すなわち、取得したＧＭデータにノートオンデータが含まれていた場合には歌唱期間の開始と判定し、ノートオフデータが含まれていた場合には歌唱期間の終了と判定する。従って、ノートオンデータを取得してからノートオフデータを取得するまでの期間が「歌唱期間内」と判定され、それ以外の期間が「歌唱期間外」と判定される。
【００６１】
ステップＳ２で歌唱期間内と判定された場合には、ステップＳ３に移行する。このステップＳ３において、制御部３１は、ステップＳ１で取得した歌唱音声データ等を書き込む。この例では、ステップＳ１で取得した歌唱音声データが記憶部３３に書き込まれる。また、歌唱周波数信号、及び、ＧＭ周波数信号がメモリ３１ｂの採点ログ領域に書き込まれる。さらに、制御部３１で生成された歌唱ＬＰＦ周波数信号、ＧＭＬＰＦ周波数信号、及び、エンベロープも採点ログ領域に書き込まれる。
【００６２】
一方、ステップＳ２で歌唱期間外と判定された場合には、ステップＳ４に移行する。このステップＳ４において、制御部３１は、歌唱期間内に書き込まれた歌唱音声データについて、未判定のものがあるか否かを判断する。言い換えれば、歌唱期間内から歌唱期間外へと切り替わった直後か否かが判断される。
【００６３】
未判定の歌唱音声データがある場合（切り替わり直後の場合）、ステップＳ５に移行し、対象ノートに対する判定処理が行われる。このステップＳ５において、制御部３１は、採点対象ノートの合格／不合格、ビブラート、ロングトーン、及び、タイミングを判定する。また、このステップＳ５では、前述の手順に従って、シャウト技法での歌唱の有無も判定される。従って、このステップＳ５では、歌唱期間内におけるシャウト技法（第１シャウト技法）での歌唱の有無を判定する第１シャウト判定処理が行われている。
【００６４】
ステップＳ５で判定処理を行ったならばステップＳ６に移行し、判定処理の結果を記憶する。ここでは、採点対象ノートの合格／不合格やビブラート等の判定結果、及び、歌唱期間内におけるシャウト技法での歌唱回数が、メモリ３１ｂの採点ログ領域に書き込まれる。
【００６５】
また、前述のステップＳ４で、未判定の歌唱音声データがなかった場合には、ステップＳ７に移行し、歌唱期間外における歌唱音声データの有無が判定される。そして、歌唱音声データがあると判定された場合には、ステップＳ８に移行する。このステップＳ８において、制御部３１は、ステップＳ１で取得した歌唱音声データ等を書き込む。この例では、ステップＳ１で取得した歌唱音声データが記憶部３３に書き込まれ、歌唱周波数信号、及び、エンベロープが採点ログ領域に書き込まれる。
【００６６】
ステップＳ８で書き込み処理を行ったならばステップＳ９に移行し、取得した歌唱音声データについて判定可能か否かが判断される。後述するステップＳ１０でシャウト技法での歌唱の有無が判定されることから、このステップＳ９では、シャウト技法での歌唱を判定するために必要な時間に亘って歌唱音声データが書き込まれたか否かが判定される。そして、判定可能と判断された場合には、ステップＳ１０に移行する。
【００６７】
ステップＳ１０では、前述の手順に従って、シャウト技法での歌唱の有無が判定される。従って、このステップＳ１０では、歌唱期間外におけるシャウト技法（第２シャウト技法）での歌唱の有無を判定する第２シャウト判定処理が行われている。ステップＳ１０で判定処理を行ったならばステップＳ１１に移行し、判定処理の結果を記憶する。ここでは、歌唱期間外におけるシャウト技法での歌唱回数が、採点ログ領域に書き込まれる。
【００６８】
制御部３１は、これらのステップＳ１〜Ｓ１１の処理を、所定の採点区間が経過するまで繰り返し行う（ステップＳ１２）。ここで、採点区間とは採点を行う単位となる区間である。図９に示す例では、歌唱期間ＳＴが複数の採点区間ＰＴ１〜ＰＴｎに分割されているので、各採点区間ＰＴ１〜ＰＴｎの終了タイミングが到来すると、採点区間の終了と判断される。
【００６９】
これにより、ステップＳ１３に移行し、区間採点処理が行われる。図１０に示すように、この区間採点処理では、ステップＳ２１で評価値が取得される。このステップＳ２１において、制御部３１は、採点ログ領域に書き込まれた判定結果を参照し、歌唱直後のカラオケ楽曲に対する評価値を取得する。この例では、音程、安定性、表現力、リズム、ビブラート／ロングトーン、シャウト歌唱（長、短）の各評価項目について、評価値が取得される。
【００７０】
評価値が取得されたならば、ステップＳ２２に移行し、取得された評価値に対応する歌唱得点、すなわち区間得点が算出される（Ｓ２２）。このステップＳ２２で制御部３１は、ステップＳ１３で取得した評価値に基づいてポイントを算出する。その際、制御部３１は、ポイント算出テーブルやシャウト歌唱（長、短）の回数を参照することにより、付加的なポイントを算出する。
【００７１】
シャウト技法での歌唱による付加的なポイントは、例えば１回の歌唱について０．１ポイントを加算するというように、歌唱の回数に応じて増加するものとしている。そして、算出された区間得点は、採点ログ領域に書き込まれる。
【００７２】
このようにして、区間得点が算出されたならば、図８のフローチャートにおけるステップＳ１４に移行する。このステップＳ１４で制御部３１は、楽曲が終了したか否かを判断する。図９の例で説明すると、最終の採点区間ＰＴｎの終了タイミングが到来したか否かが判定される。そして、楽曲が終了していない場合には、楽曲の途中であることからステップＳ１に移行し、次の採点区間に対する処理を繰り返し行う。一方、楽曲が終了した場合には、ステップＳ１５へ移行する。
【００７３】
ステップＳ１５では、最終得点が算出される。このステップＳ１５で制御部３１は、各採点区間ＰＴ１〜ＰＴｎでの区間得点を平均し、最終得点を算出する。そして、算出された最終得点は、採点ログ領域に書き込まれる。
【００７４】
最終得点が算出されたならば、ステップＳ１６に移行する。このステップＳ１６で制御部３１は、コメントを作成する。前述したように、コメントには、内シャウトを加味したコメント、及び、外シャウトを加味したコメントがある。このため、制御部３１は、採点ログ領域に書き込まれた評価値とコメントデータとを参照し、内シャウトを加味したコメント、及び、外シャウトを加味したコメントを選択し、採点対象のカラオケ楽曲についてのコメントとする。
【００７５】
コメントが作成されたならば、ステップＳ１７に移行する。このステップＳ１７では、結果の報知が行われる。このため、制御部３１は、採点結果（得点）の情報やコメントの情報を表示処理部３５に出力する。そして、表示処理部３５は、背景映像の映像信号に得点やコメント等の情報を合成し、合成後の映像信号をモニタ２３に出力する。その結果、モニタ２３には、結果報知映像が表示される。
【００７６】
例えば、図１１に示すように、モニタ２３の得点表示領域２３ａには、採点対象のカラオケ楽曲についての歌唱得点が表示され、評価項目表示領域２３ｂには各評価項目の評価値がレーダーチャートで描かれている。また、コメント表示領域２３ｃには、ステップＳ１６で作成されたコメントが表示されている。前述したように、このコメントは、シャウト技法での歌唱が反映された内容になっている。
【００７７】
このように、本実施形態のカラオケシステムでは、歌唱期間内におけるシャウト技法による歌唱と、歌唱期間外におけるシャウト技法での歌唱とを分けて評価しているので、それぞれの歌唱に個別の評価基準を設定できる。例えば、歌唱期間内におけるシャウト技法の歌唱については、回数を付加的なポイントとして加算し、歌唱期間外におけるシャウト技法の歌唱については、コメントの内容に反映させている。これにより、シャウト歌唱に対する適正な評価を行うことができる。
【００７８】
また、歌唱期間外におけるシャウト技法での歌唱に関し、歌唱の回数を基準にしてコメントデータベースに記録されたレコードを参照し、コメントの内容を定めているので、処理の簡素化が図れる。
【００７９】
また、歌唱期間内におけるシャウト技法での歌唱に関し、リズム、抑揚及び音程を採点の評価対象とし、リズムの良否、抑揚の大きさ、及び、音程の精度と、シャウト技法での歌唱の回数とに応じて、コメントデータベースに記録されたレコードを参照し、コメントの内容を定めているので、多様なコメントを歌唱者に提示できる。
【００８０】
さらに、歌唱期間内におけるシャウト技法での歌唱は、コメントのみならず採点における付加ポイントとして加味されているので、シャウト技法での歌唱による盛り上げ効果などを適性に評価できる。
【００８１】
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。
【００８２】
前述の実施形態では、区間得点にシャウト技法での歌唱得点を加算し、区間得点の平均値を最終的な得点としていたが、この構成に限定されるものではない。例えば、区間得点の算出時にはシャウト技法による歌唱得点を加算せず、区間得点の平均値にシャウト技法による歌唱得点を加算して最終得点としてもよい。例えば、シャウト技法での歌唱を３回検出したならば、区間得点の平均値に０．３点プラスするようにしてもよい。
【００８３】
また、前述の実施形態では、シャウト技法での歌唱の回数に基づいてコメントの内容を定めていたが、この構成に限定されない。例えば、歌唱ピッチの変化パターンや音量の変化パターンに基づいてコメントの内容を定めてもよい。この場合、図５で説明した波形１や波形２の変化パターンをさらに細かく分類することで複数種類の変化パターンを設定する。そして、それぞれの変化パターンと対応するコメントとを、互いに関連付けた状態でコメントデータベースに登録しておき、得られた変化パターンに最も近い変化パターンに対応するコメントを読み出す。
【００８４】
また、短いシャウト技法と長いシャウト技法の歌唱比率に基づいてコメントの内容を定めてもよい。すなわち、短いシャウト技法と長いシャウト技法の合計歌唱回数が同じであっても、短いシャウト技法による歌唱回数が多い場合と、長いシャウト技法による歌唱回数が多い場合とで、コメントの内容を異ならせてもよい。この場合も、歌唱比率と対応するコメントとを互いに関連付けた状態でコメントデータベースに登録しておき、得られた歌唱比率に対応するコメントを読み出す。
【００８５】
また、前述の実施形態では、音声評価装置としてカラオケ装置２を例示したが、他の種類の装置であってもよい。例えば、単体で動作するカラオケ装置２であってもよいし、採点カラオケ用のプログラムを実行可能なパーソナルコンピュータや携帯端末であってもよい。
【符号の説明】
【００８６】
１…ホスト装置，２…カラオケ装置，３…通信回線，２１…カラオケ本体，２２…スピーカ，２３…モニタ，２３ａ…得点表示領域，２３ｂ…評価項目表示領域，２３ｃ…コメント表示領域，２４…マイク，２５…リモコン装置，３１…制御部，３１ａ…ＣＰＵ，３１ｂ…メモリ，３２…通信部，３３…記憶部，３４…音響処理部，３５…表示処理部，３６…操作部，ＰＴ１〜ＰＴｎ…採点区間
【図１】
2014092550.tif 000003
【図２】
2014092550.tif 000004
【図３】
2014092550.tif 000005
【図４】
2014092550.tif 000006
【図５】
2014092550.tif 000007
【図６】
2014092550.tif 000008
【図７】
2014092550.tif 000009
【図８】
2014092550.tif 000010
【図９】
2014092550.tif 000011
【図１０】
2014092550.tif 000012
【図１１】
2014092550.tif 000013