(57)【特許請求の範囲】
【請求項１】
ユーザーの歌唱の巧拙を評価する歌唱評価方法であって、
前記ユーザーが目標とする目標音声を表す目標音声データから、時間遷移する前記目標音声の周波数を特定し、前記ユーザーの音声であるユーザー音声を表すユーザー音声データから、時間遷移する前記ユーザー音声の周波数を特定する周波数特定ステップと、
前記目標音声の周波数に基づいて、前記目標音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間を目標呼吸区間として特定し、前記ユーザー音声の周波数に基づいて、前記ユーザー音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間をユーザー呼吸区間として特定する呼吸区間特定ステップと、
前記目標呼吸区間および前記ユーザー呼吸区間を比較する呼吸区間比較ステップと、
前記呼吸区間比較ステップにおいて比較された結果を出力する出力ステップと、を有する歌唱評価方法。
【請求項２】
前記目標音声の周波数および前記ユーザー音声の周波数に基づいて、進行する前記歌唱の同一タイミングにおける、前記目標音声の周波数および前記ユーザー音声の周波数を比較する周波数比較ステップをさらに有し、
前記出力ステップにおいては、前記周波数比較ステップにおいて比較された結果も出力する請求項１に記載の歌唱評価方法。
【請求項３】
前記目標音声データから、時間遷移する前記目標音声のレベルを特定し、前記ユーザー音声データから、時間遷移する前記ユーザー音声のレベルを特定するレベル特定ステップと、
進行する前記歌唱の同一タイミングにおける、前記目標音声のレベルおよび前記ユーザー音声のレベルを比較するレベル比較ステップと、を有し、
前記出力ステップにおいては、前記レベル比較ステップにおいて比較された結果も出力する請求項１または２に記載の歌唱評価方法。
【請求項４】
前記出力ステップにおいては、結果を点数として表示部に表示する請求項１〜３のいずれか１項に記載の歌唱評価方法。
【請求項５】
前記出力ステップにおいては、結果に関連するアドバイスを表示部に表示する請求項１〜４のいずれか１項に記載の歌唱評価方法。
【請求項６】
請求項１〜５のいずれか１項に記載の歌唱評価方法をコンピューターに実行させるための歌唱評価プログラム。
【請求項７】
ユーザーの歌唱の巧拙を評価する歌唱評価装置であって、
前記ユーザーが目標とする目標音声を表す目標音声データから、時間遷移する前記目標音声の周波数を特定し、前記ユーザーの音声であるユーザー音声を表すユーザー音声データから、時間遷移する前記ユーザー音声の周波数を特定する周波数特定部と、
前記目標音声の周波数に基づいて、前記目標音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間を目標呼吸区間として特定し、前記ユーザー音声の周波数に基づいて、前記ユーザー音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間をユーザー呼吸区間として特定する呼吸区間特定部と、
前記目標呼吸区間および前記ユーザー呼吸区間を比較する呼吸区間比較部と、
前記呼吸区間比較部によって比較された結果を出力する出力部と、を有する歌唱評価装置。
【請求項８】
前記目標音声の周波数および前記ユーザー音声の周波数に基づいて、進行する前記歌唱の同一タイミングにおける、前記目標音声の周波数および前記ユーザー音声の周波数を比較する周波数比較部をさらに有し、
前記出力部は、前記周波数比較部によって比較された結果も出力する請求項７に記載の歌唱評価装置。
【請求項９】
前記目標音声データから、時間遷移する前記目標音声のレベルを特定し、前記ユーザー音声データから、時間遷移する前記ユーザー音声のレベルを特定するレベル特定部と、
進行する前記歌唱の同一タイミングにおける、前記目標音声のレベルおよび前記ユーザー音声のレベルを比較するレベル比較部と、を有し、
前記出力部は、前記レベル比較部によって比較された結果も出力する請求項７または８に記載の歌唱評価装置。
【請求項１０】
前記出力部は、結果を点数として表示部に表示する請求項７〜９のいずれか１項に記載の歌唱評価装置。
【請求項１１】
前記出力部は、結果に関連するアドバイスを表示部に表示する請求項７〜１０のいずれか１項に記載の歌唱評価装置。
【請求項１２】
ユーザーの音声であるユーザー音声からユーザー音声データを生成し、前記ユーザー音声データを、ネットワークを介して送信するユーザー端末と、
前記ユーザー音声データを前記ユーザー端末から受信し、前記ユーザー音声データを、前記ユーザーが目標とする目標音声を表す目標音声データと比較して、歌唱評価の結果を送信する請求項７〜１１のいずれか１項に記載の歌唱評価装置として機能するサーバー装置と、を有し、
前記ユーザー端末は、前記サーバー装置から、前記歌唱評価の結果を受信し、当該結果を出力する歌唱評価システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱評価方法、歌唱評価プログラム、歌唱評価装置、および歌唱評価システムに関する。
【背景技術】
【０００２】
従来から、ユーザーの歌唱の巧拙を採点する方法が種々提案されている。例えば、下記の特許文献１には、ユーザーの音声データに基づいて抽出されるピッチ（音程）と、楽音データに基づくピッチと、を比較して、ユーザーのピッチの正確性を判定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２８３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ピッチが正確であれば、音程に関しては、正確に歌唱していることになる。しかし、歌唱の巧拙は、歌声のピッチの正確性だけで判断されるものではない。歌唱の巧拙としては、歌声を途切れさせるタイミングや歌声の長さを判断することも必要である。そして、歌声を途切れさせるタイミングや歌声の長さは、ユーザーの呼吸区間に依存する。ユーザーが呼吸区間を工夫することで、歌声を伸ばしたり、歌声を大きくしたり、また表現力に幅を持たせることもできる。特許文献１に係る判定方法では、このようなユーザーの呼吸区間は評価されていない。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、ユーザーの呼吸区間を評価することのできる歌唱評価方法、歌唱評価プログラム、歌唱評価装置、および歌唱評価システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成する本発明に係る歌唱評価方法は、ユーザーの歌唱の巧拙を評価する歌唱評価方法である。歌唱評価方法は、前記ユーザーが目標とする目標音声を表す目標音声データから、時間遷移する前記目標音声の周波数を特定し、前記ユーザーの音声であるユーザー音声を表すユーザー音声データから、時間遷移する前記ユーザー音声の周波数を特定する周波数特定ステップを有する。歌唱評価方法は、前記目標音声の周波数に基づいて、前記目標音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間を目標呼吸区間として特定し、前記ユーザー音声の周波数に基づいて、前記ユーザー音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間をユーザー呼吸区間として特定する呼吸区間特定ステップを有する。歌唱評価方法は、前記目標呼吸区間および前記ユーザー呼吸区間を比較する呼吸区間比較ステップと、前記呼吸区間比較ステップにおいて比較された結果を出力する出力ステップと、を有する。
【０００７】
また、上記目的を達成する本発明に係る歌唱評価プログラムは、上述した歌唱評価方法をコンピューターに実行させるための歌唱評価プログラムである。
【０００８】
また、上記目的を達成する本発明に係る歌唱評価装置は、ユーザーの歌唱の巧拙を評価する歌唱評価装置である。歌唱評価装置は、前記ユーザーが目標とする目標音声を表す目標音声データから、時間遷移する前記目標音声の周波数を特定し、前記ユーザーの音声であるユーザー音声を表すユーザー音声データから、時間遷移する前記ユーザー音声の周波数を特定する周波数特定部を有する。歌唱評価装置は、前記目標音声の周波数に基づいて、前記目標音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間を目標呼吸区間として特定し、前記ユーザー音声の周波数に基づいて、前記ユーザー音声において周波数が万遍なく散らばり広い範囲に亘って無数の周波数が存在する呼吸区間をユーザー呼吸区間として特定する呼吸区間特定部を有する。歌唱評価装置は、前記目標呼吸区間および前記ユーザー呼吸区間を比較する呼吸区間比較部と、前記呼吸区間比較部によって比較された結果を出力する出力部と、を有する。
【０００９】
また、上記目的を達成する本発明に係る歌唱評価システムは、ユーザーの音声であるユーザー音声からユーザー音声データを生成し、前記ユーザー音声データを、ネットワークを介して送信するユーザー端末を有する。歌唱評価システムは、前記ユーザー音声データを前記ユーザー端末から受信し、前記ユーザー音声データを、前記ユーザーが目標とする目標音声を表す目標音声データと比較して、歌唱評価の結果を送信する上記の歌唱評価装置として機能するサーバー装置を有する。前記ユーザー端末は、前記サーバー装置から、前記歌唱評価の結果を受信し、当該結果を出力する。
【発明の効果】
【００１０】
上述の歌唱評価方法、歌唱評価プログラム、歌唱評価装置、および歌唱評価システムによれば、目標音声の周波数に基づいて、目標呼吸区間を特定する。また、ユーザー音声の周波数に基づいて、ユーザー呼吸区間を特定する。そして、目標呼吸区間とユーザー呼吸区間とを比較して、比較結果を出力する。このため、ユーザーは、目標呼吸区間に対する、ユーザー呼吸区間のずれを把握することができる。したがって、ユーザーの呼吸区間を評価することのできる歌唱評価方法、歌唱評価プログラム、歌唱評価装置、および歌唱評価システムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る歌唱評価装置の概略構成を示すブロック図である。
【図２】歌唱評価装置のＣＰＵの機能構成を示すブロック図である。
【図３】時間遷移に伴う音声の周波数の変化の一例を示す図である。
【図４】時間遷移に伴う音声のレベルの変化の一例を示す図である。
【図５】本実施形態に係る歌唱評価方法を示すフローチャートである。
【図６】表示部に表示される結果の一例を示す図である。
【図７】呼吸区間、音程（周波数）、および声の大きさ（レベル）を選択可能な様子を示す図である。
【図８】歌唱評価システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【００１３】
図１は、本実施形態に係る歌唱評価装置１００の概略構成を示すブロック図である。
【００１４】
歌唱評価装置１００は、例えばデスクトップ型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やノート型ＰＣなどのコンピューター端末である。また、歌唱評価装置１００は、カラオケ装置などの一部に組み込まれてもよい。歌唱評価装置１００は、ユーザーの音声入力を受け付け、ユーザーの歌唱の巧拙を評価する。
【００１５】
歌唱評価装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１０、メモリー１２０、ハードディスク１３０、通信Ｉ／Ｆ部１４０、表示部１５０、操作部１６０、音声入力部１７０、および音声出力部１８０を有する。各構成は、バス１９０を介して、相互に通信可能に接続されている。
【００１６】
ＣＰＵ１１０は、メモリー１２０やハードディスク１３０に記録されているプログラムに従って、各構成の制御や各種の演算処理などを実行する。
【００１７】
メモリー１２０は、各種プログラムや各種データを記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、作業領域として一時的にプログラムやデータを記憶するＲＡＭ（Ｒａｎｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などから構成される。
【００１８】
ハードディスク１３０は、オペレーティングシステムを含む各種プログラムや各種データを記憶する。ハードディスク１３０は、ユーザーが目標とする目標音声を表す目標音声データと、ユーザーに伴奏音を提供するための伴奏データとを含む楽曲データを記憶する。なお、本明細書において、目標音声は、例えばプロの歌手が歌唱した音声を意味するが、歌の手本となる人が歌唱した音声であれば特に限定されない。また、ハードディスク１３０は、ユーザーの音声であるユーザー音声を表すユーザー音声データを記憶する。また、ハードディスク１３０は、歌唱評価結果に関連するアドバイスの情報を記憶する。
【００１９】
通信Ｉ／Ｆ部１４０は、ネットワークを介して他の機器と通信するためのインターフェースであり、イーサネット（登録商標）、ＦＤＤＩ（Ｆｉｂｅｒ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｄａｔａ  Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）などの規格を用いる。通信Ｉ／Ｆ部１４０は、目標音声データおよび伴奏データを含む楽曲データや、歌唱評価結果に関連するアドバイスの情報を、外部のサーバーなどから受信する。
【００２０】
表示部１５０は、例えば液晶ディスプレイであり、歌唱評価結果等の各種情報を表示する。
【００２１】
操作部１６０は、例えばマウスなどのポインティングデバイスやキーボードであり、ユーザーが各種情報を入力するために使用される。
【００２２】
音声入力部１７０は、ユーザー音声を電気信号に変換するマイクロホン、変換された電気信号を増幅するアンプ、電気信号をアナログ信号からデジタル信号に変換するＡ／Ｄコンバーターなどから構成される。つまり、音声入力部１７０によって、ユーザー音声はデジタル信号に変換され、変換されたデジタル信号は、ＣＰＵ１１０によって、ユーザー音声データとして処理される。
【００２３】
音声出力部１８０は、電気信号をデジタル信号からアナログ信号に変換するＤ／Ａコンバーター、電気信号を増幅するアンプ、電気信号を音に変換して音を出力するスピーカーまたはヘッドホンなどから構成される。
【００２４】
なお、音声入力部１７０および音声出力部１８０の構成の一部または全部は、歌唱評価装置１００の外部に設けられてもよく、図１に示す例に限定されない。例えば、音声入力部１７０および音声出力部１８０の構成の一部が、歌唱評価装置１００に設けられた音声入力端子および音声出力端子を介して、歌唱評価装置１００と接続されていてもよい。
【００２５】
図２は、歌唱評価装置１００のＣＰＵ１１０の機能構成を示すブロック図である。
【００２６】
ＣＰＵ１１０は、各種プログラムを実行することによって、例えば、周波数特定部１１１、呼吸区間特定部１１２、レベル特定部１１３、伴奏データ再生部１１４、呼吸区間比較部１１５、周波数比較部１１６、レベル比較部１１７、および出力部１１８として機能する。以下、各機能構成について説明する。
【００２７】
周波数特定部１１１は、目標音声データから、時間遷移する目標音声の周波数を特定する。また、周波数特定部１１１は、ユーザー音声データから、時間遷移するユーザー音声の周波数を特定する。具体的には、周波数特定部１１１は、目標音声データおよびユーザー音声データに対して、それぞれフーリエ変換を適用する。そして、周波数特定部１１１は、所定時間毎に音声の周波数成分を特定し、特定された周波数成分のうち、最も低い周波数を「基本周波数」として特定する。音声の基本周波数は、人間が感じる音の高さ（音程）に相当する。特定された周波数成分は、例えば、図３のように表現できる。
【００２８】
図３は、時間遷移に伴う音声の周波数の変化の一例を示す図である。周波数特定部１１１が、歌唱の進行（時間の進行）に従って、所定時間毎に音声の周波数を特定することによって、時間遷移に伴う音声の周波数の変化が確認される。ここで、所定時間は任意であり、例えば、０．１秒である。この所定時間が短いほど、精密に音声の周波数の遷移を特定できる。図３に示す周波数成分のうち、矢印Ａで示す最も低い周波数成分が、基本周波数であって、矢印Ｂで示す周波数成分は、倍音の周波数である。
【００２９】
図２に戻って、呼吸区間特定部１１２は、目標音声の周波数に基づいて、目標音声における呼吸区間を目標呼吸区間として特定する。また、呼吸区間特定部１１２は、ユーザー音声の周波数に基づいて、ユーザー音声における呼吸区間をユーザー呼吸区間として特定する。呼吸区間特定部１１２は、図３の矢印Ｃに示すように、周波数が万遍なく散らばっている箇所を呼吸区間として特定する。より具体的には、呼吸区間特定部１１２は、矢印Ａで示される基本周波数や矢印Ｂで示される倍音の周波数のように特定の周波数が存在する区間ではなく、広い範囲に亘って無数の周波数が存在する区間を呼吸区間として特定する。呼吸する際の音は、特定の周波数成分を有さず、分散するため、このように分散している部分を呼吸区間として特定できる。
【００３０】
レベル特定部１１３は、目標音声データから、時間遷移する目標音声のレベルを特定する。また、レベル特定部１１３は、ユーザー音声データから、時間遷移するユーザー音声のレベルを特定する。レベル特定部１１３は、目標音声データおよびユーザー音声データに対して、所定時間毎に音声のレベルを特定する。音声のレベルは、音声の強さ（音圧）に対応する。音声のレベルは、例えば、図４のように表現できる。
【００３１】
図４は、時間遷移に伴う音声のレベルの変化の一例を示す図である。レベル特定部１１３が、歌唱の進行（時間の進行）に従って、所定時間毎に音声のレベルを特定することによって、時間遷移に伴う音声のレベルの変化が確認される。ここで、所定時間は任意であり、例えば、０．１秒である。この所定時間が短いほど、精密に音声のレベルの遷移を特定できる。
【００３２】
図２に戻って、伴奏データ再生部１１４は、ユーザーに伴奏を提供するために、ハードディスク１３０などに記憶され、目標音声データと共に楽曲データに含まれる伴奏データを再生する。そして、伴奏データ再生部１１４は、伴奏データに基づく電気信号を音声出力部１８０に出力し、音声出力部１８０に、楽曲の伴奏音として出力させる。ユーザーは、音声出力部１８０によって出力される伴奏音を聞きながら、歌唱する。
【００３３】
呼吸区間比較部１１５は、目標呼吸区間およびユーザー呼吸区間を比較する。具体的には、呼吸区間比較部１１５は、目標呼吸区間およびユーザー呼吸区間の開始および終了タイミングをそれぞれ比較する。
【００３４】
周波数比較部１１６は、進行する歌唱の同一タイミングにおける、目標音声の周波数およびユーザー音声の周波数を比較する。具体的には、周波数比較部１１６は、進行する歌唱の同一タイミングにおける、目標音声の周波数に対するユーザー音声の周波数の比率を求める。なお、周波数比較部１１６は、比率に代えて、進行する歌唱の同一タイミングにおける、目標音声の周波数とユーザー音声の周波数との差分を求めてもよい。
【００３５】
レベル比較部１１７は、進行する歌唱の同一タイミングにおける、目標音声のレベルおよびユーザー音声のレベルを比較する。なお、目標音声およびユーザー音声は、同じ条件で録音されないため、ユーザー音声のレベルが目標音声のレベルと比較して、全体的に音のレベルが小さくなる場合や大きくなる場合がある。このため、例えば下記の手順によって比較を行う。まず、レベル比較部１１７は、歌唱の一部または全部における、目標音声のレベルおよびユーザー音声のレベルの平均値をそれぞれ算出し、目標音声のレベルの平均値に対するユーザー音声のレベルの平均値の割合を算出する。そして、ＣＰＵ１１０は、算出された割合を目標音声のレベルに乗算することによって、目標音声のレベルを補正する。そして、ＣＰＵ１１０は、進行する歌唱の同一タイミングにおいて、補正された目標音声のレベルと、ユーザー音声のレベルとを比較する。具体的には、レベル比較部１１７は、進行する歌唱の同一タイミングにおける、補正された目標音声のレベルに対するユーザー音声のレベルの比率を求める。なお、レベル比較部１１７は、比率に代えて、進行する歌唱の同一タイミングにおける、補正された目標音声のレベルとユーザー音声のレベルとの差分を求めてもよい。
【００３６】
出力部１１８は、呼吸区間比較部１１５、周波数比較部１１６、およびレベル比較部１１７によって得られる結果を表示部１５０に出力する。具体的には以下の通りである。
【００３７】
呼吸区間比較部１１５による比較結果において、目標呼吸区間およびユーザー呼吸区間の開始および終了タイミングのずれが小さい場合、出力部１１８は、歌唱が巧いと判断する。一方、呼吸区間比較部１１５による比較結果において、目標呼吸区間およびユーザー呼吸区間の開始および終了タイミングのずれが大きい場合、出力部１１８は、歌唱が拙いと判断する。そして、出力部１１８は、呼吸区間の比較結果に関連するアドバイスを表示部１５０に表示する。
【００３８】
周波数比較部１１６による比較結果において、目標音声の周波数に対するユーザー音声の周波数の比率が１に近いほど、出力部１１８は、歌唱が巧いと判断する。そして、出力部１１８は、周波数の比較結果に関連するアドバイスを表示部１５０に表示する。
【００３９】
レベル比較部１１７による比較結果において、補正された目標音声のレベルに対するユーザー音声のレベルの比率が１に近いほど、出力部１１８は、歌唱が巧いと判断する。そして、出力部１１８は、周波数の比較結果に関連するアドバイスを表示部１５０に表示する。
【００４０】
出力部１１８は、呼吸区間比較部１１５、周波数比較部１１６、レベル比較部１１７によって得られる結果に基づいて採点する機能を有する。例えば、呼吸区間が０．１秒ずれている場合は、マイナス１点とするなどのルールを予め決めておき、楽曲の全ての区間についてのマイナス点を総計し、１００点から減点する。出力部１１８は、採点結果としての点数を表示部１５０に出力する。
【００４１】
次に、図５を参照して本実施形態に係る歌唱評価方法を説明する。図５は、本実施形態に係る歌唱評価方法を示すフローチャートである。なお、図５のフローチャートに示される処理は、歌唱評価装置１００のメモリー１２０またはハードディスク１３０にプログラムとして記憶されており、ＣＰＵ１１０によって実行される。本実施形態に係る歌唱評価装置１００のプログラムは、ユーザー音声データを目標音声データと比較して、ユーザーの歌唱の巧拙を評価するものである。
【００４２】
まず、ＣＰＵ１１０は、周波数特定部１１１として、ハードディスク１３０に記憶されている楽曲データに含まれる目標音声データから、時間遷移する目標音声の周波数を特定する（ステップＳ１０１）。具体的には、ＣＰＵ１１０は、時間遷移する目標音声の基本周波数（以下、目標基本周波数と称する）を、所定時間毎に特定する。ＣＰＵ１１０は、目標基本周波数を特定した後、目標音声データにおいて目標基本周波数を特定した時間と、当該目標基本周波数と、を関連付けた情報を、メモリー１２０などに記憶させる。
【００４３】
次に、ＣＰＵ１１０は、呼吸区間特定部１１２として、ステップＳ１０１で特定された目標基本周波数に基づいて、目標呼吸区間を特定する（ステップＳ１０２）。具体的には、ＣＰＵ１１０は、目標音声データのうち、目標音声において呼吸している時間ごとに、目標呼吸区間を特定する。ＣＰＵ１１０は、目標呼吸区間を特定した後、目標音声において呼吸区間を特定した時間と、各時間における呼吸区間と、を関連付けた情報を、メモリー１２０などに記憶させる。
【００４４】
次に、ＣＰＵ１１０は、レベル特定部１１３として、目標音声データから、時間遷移する目標音声のレベルを特定する（ステップＳ１０３）。具体的には、ＣＰＵ１１０は、時間遷移する目標音声のレベル（以下、目標レベルと称する）を、所定時間毎に特定する。ＣＰＵ１１０は、目標レベルを特定した後、目標音声データにおいて目標レベルを特定した時間と、当該目標レベルと、を関連付けた情報を、メモリー１２０などに記憶させる。
【００４５】
ここまでのステップＳ１０１〜Ｓ１０３により、ユーザーが目標とする目標音声の特徴が特定される。以上のステップは、以下のステップと連続せずに、予め実行され、目標呼吸期間、目標音声の周波数およびレベルは、ハードディスク１３０等に格納されていてもよい。
【００４６】
次に、ＣＰＵ１１０は、伴奏データ再生部１１４として、伴奏データに基づく伴奏音を音声出力部１８０から再生する（ステップＳ１０４）。ユーザーは、伴奏音を聞きながら、音声入力部１７０を介して歌唱する。
【００４７】
ＣＰＵ１１０は、ユーザーによる歌唱の間（伴奏音が再生されている間）、音声入力部１７０を介してユーザー音声データを取得する（ステップＳ１０５）。
【００４８】
次に、ＣＰＵ１１０は、周波数特定部１１１として、ステップＳ１０５で取得されたユーザー音声データから、時間遷移するユーザー音声の周波数を特定する（ステップＳ１０６）。具体的には、ＣＰＵ１１０は、時間遷移するユーザー音声の基本周波数（以下、ユーザー基本周波数と称する）を、所定時間毎に特定する。ＣＰＵ１１０は、ユーザー基本周波数を特定した後、ユーザー音声データにおいてユーザー基本周波数を特定した時間と、当該ユーザー基本周波数と、を関連付けた情報を、メモリー１２０などに記憶させる。
【００４９】
次に、ＣＰＵ１１０は、呼吸区間特定部１１２として、ステップＳ１０６で特定されたユーザー基本周波数に基づいて、ユーザー呼吸区間を特定する（ステップＳ１０７）。具体的には、ＣＰＵ１１０は、ユーザー音声データのうち、ユーザー音声において呼吸している区間ごとに、ユーザー呼吸区間を特定する。ＣＰＵ１１０は、ユーザー呼吸区間を特定した後、ユーザー音声において呼吸区間を特定した時間と、各時間における呼吸区間とを関連付けた情報を、メモリー１２０などに記憶させる。
【００５０】
次に、ＣＰＵ１１０は、レベル特定部１１３として、ステップＳ１０５で取得されたユーザー音声データから、時間遷移するユーザー音声のレベルを特定する（ステップＳ１０８）。具体的には、ＣＰＵ１１０は、時間遷移するユーザー音声のレベル（以下、ユーザーレベルと称する）を、所定時間毎に特定する。ＣＰＵ１１０は、ユーザーレベルを特定した後、ユーザー音声データにおいてユーザーレベルを特定した時間と、当該ユーザーレベルと、を関連付けた情報を、メモリー１２０などに記憶させる。
【００５１】
次に、ＣＰＵ１１０は、呼吸区間比較部１１５として、ステップＳ１０２で特定された目標呼吸区間およびステップＳ１０７で特定されたユーザー呼吸区間を比較する（ステップＳ１０９）。具体的には、ＣＰＵ１１０は、ステップＳ１０２およびステップＳ１０７においてメモリー１２０などに記憶された情報を参照し、同じ時間に関連付けられた目標呼吸区間およびユーザー呼吸区間の開始タイミングおよび終了タイミングを比較する。この処理は、ステップＳ１０７において特定された全てのユーザー呼吸区間に対して、つまり、ユーザー音声の全体に対して実行される。
【００５２】
次に、ＣＰＵ１１０は、周波数比較部１１６として、進行する歌唱の同一タイミングにおける、ステップＳ１０１で特定された目標基本周波数およびステップＳ１０６で特定されたユーザー基本周波数を比較する（ステップＳ１１０）。具体的には、ＣＰＵ１１０は、ステップＳ１０１およびステップＳ１０６においてメモリー１２０などに記憶された情報を参照し、同じ時間に関連付けられた目標基本周波数およびユーザー周波数を比較する。この処理は、ステップＳ１０６において特定された全てのユーザー基本周波数に対して、つまり、ユーザー音声の全体に対して実行される。
【００５３】
次に、ＣＰＵ１１０は、レベル比較部１１７として、進行する歌唱の同一タイミングにおける、ステップＳ１０３において特定された目標レベルおよびステップＳ１０８において特定されたユーザーレベルを比較する（ステップＳ１１１）。具体的には、ＣＰＵ１１０は、ステップＳ１０３およびステップＳ１０８においてメモリー１２０などに記憶された情報を参照し、同じ時間に関連付けられた目標レベルおよびユーザーレベルを比較する。この処理は、ステップＳ１０８において特定された全てのユーザーレベルに対して、つまり、ユーザー音声の全体に対して実行される。
【００５４】
次に、ＣＰＵ１１０は、出力部１１８として、ステップＳ１０９、ステップＳ１１０、およびステップＳ１１１における比較結果を、図６に示すように、表示部１５０に出力する（ステップＳ１１２）。図６は、表示部１５０に表示される結果の一例を示す図である。図６において、太線は目標基本周波数を示し、細線はユーザー基本周波数を示す。なお、表示部１５０に表示する際は、ユーザーが自身の歌唱の巧拙を理解しやすくするために、周波数ではなく、音程で表示することが好ましい。
【００５５】
図６では、歌詞「もりのなか」と歌う前の呼吸区間が短く、歌詞「あ」のときの声が小さく、また歌詞「の」のときの声が極端に高い場合の結果を示している。このような結果の場合、ユーザー音声が目標音声に対して異なる該当箇所に、比較結果に基づくアドバイスが表示される。例えば、呼吸区間が短い箇所には、「呼吸長く」などのアドバイスが表示される。また、各比較結果を数値に換算し、得点として表示することもできる。図６では、左上に「９４点」と表示される例を示している。また、１００点からのマイナス分の内訳が表示されることが好ましい。例えば、図６では、１００点からのマイナス６点の内訳が、呼吸区間：−２点、周波数（音程）：−２点、レベル：−２点である場合を示す。
【００５６】
なお、図６では、楽曲の歌詞も表示している。歌詞は全文が表示されてもよいが、図６に示すように、一部だけが表示されてもよい。この場合、画面の切り換えやスクロール等によって、前または後の歌詞も表示できる。
【００５７】
以上説明したように、本実施形態に係る歌唱評価方法および歌唱評価装置によれば、目標音声の周波数に基づいて、目標音声における呼吸区間を目標呼吸区間として特定する。また、ユーザー音声の周波数に基づいて、ユーザー音声における呼吸区間をユーザー呼吸区間として特定する。そして、目標呼吸区間とユーザー呼吸区間とを比較して、比較結果を出力する。このため、ユーザーは、目標呼吸区間に対する、ユーザー呼吸区間のずれを把握することができる。したがって、呼吸区間を評価することができる。
【００５８】
また、進行する歌唱の同一タイミングにおける、目標音声の周波数およびユーザー音声の周波数を比較して、周波数の比較結果を出力できる。このため、目標音声の周波数に対する、ユーザー音声の周波数のずれを把握することができる。よって、呼吸区間の評価だけでなく、周波数の評価を行うこともでき、より精密に歌唱を評価することができる。
【００５９】
また、目標音声データから、時間遷移する目標レベルを特定し、ユーザー音声データから、時間遷移するユーザーレベルを特定し、進行する歌唱の同一タイミングにおける目標レベルおよびユーザーレベルを比較して、レベルの比較結果を出力できる。このため、目標音声のレベルに対する、ユーザー音声のレベルのずれを把握することができる。よって、呼吸区間および周波数の評価だけでなく、レベルの評価を行うこともでき、より精密に歌唱を評価することができる。
【００６０】
また、比較結果が、点数として表示部１５０に表示される。このため、歌唱の巧拙をユーザーが判断しやすい。
【００６１】
また、比較結果に関連するアドバイスが表示部１５０に表示される。このため、ユーザーが、苦手箇所を把握しやすくなる。
【００６２】
なお、本発明は上述した実施形態に限定されるものではなく、特許請求の範囲内で種々改変することができる。
【００６３】
例えば、上述した実施形態では、ユーザー呼吸区間、ユーザー音声の周波数、およびユーザーレベルの全てを比較した。しかしながら、図７に示すように、呼吸区間、音程（周波数）、声の大きさ（レベル）の３つの項目をチェックリストとして、ユーザーが評価したい項目を適宜選択することができるようにしてもよい。これによって、ユーザー自身が苦手であると認識している項目を評価することができ、その項目を重点的に練習することでユーザーの歌唱力向上につながる。
【００６４】
また、上述した実施形態では、周波数比較部１１６は、目標基本周波数とユーザー基本周波数とを比較して、音程のずれを評価した。しかしながら、周波数比較部１１６は、これに加えてまたは代えて、音階が上昇する箇所、音階が下降する箇所、およびビブラートのそれぞれのタイミングを比較してもよい。このような項目を評価することで、より精密な歌唱評価を実施することができる。
【００６５】
また、上述した実施形態では、歌唱評価装置１００は、図５に示す歌唱評価方法において、目標基本周波数およびユーザー基本周波数を比較した。しかし、本発明はこれに限定されず、基本周波数以外の周波数を比較してもよい。例えば、歌唱評価装置１００は、目標音声の第２倍音の周波数およびユーザー音声の第２倍音の周波数を比較してもよい。
【００６６】
また、上述した実施形態では、ユーザーが楽曲を最初から最後まで歌唱した後に、ユーザーの歌唱を評価する歌唱評価方法について説明した。しかしながらこれに限定されず、ユーザーが歌唱しつつ、リアルタイムで歌唱の評価を行ってもよい。このとき、例えば、ユーザー呼吸区間が目標呼吸区間に対してずれている場合には、ブザーを鳴らして警告してもよいし、表示部１５０にその旨記載してもよい。
【００６７】
また、上述した実施形態では、ユーザー音声のレベルを特定するステップＳ１０８は、ユーザー音声の周波数を特定するステップＳ１０６、およびユーザー呼吸区間を特定するステップＳ１０７に次いで実行された。しかしながら、これに限定されず、ユーザー音声のレベルを特定するステップＳ１０８は、ユーザー音声の周波数を特定するステップＳ１０６、およびユーザー呼吸区間を特定するステップＳ１０７と並行して、またはそれらのステップの前に実行されてもよい。
【００６８】
また、上述した実施形態における歌唱評価結果はデータとして、ハードディスク１３０に保存してもよい。このように歌唱評価結果をデータとして保存できることで、ユーザーは日々の歌唱の向上を確認することができる。
【００６９】
また、上述した実施形態において、目標音声のレベルを特定するステップＳ１０３、ユーザー音声のレベルを特定するステップＳ１０８、目標基本周波数およびユーザー基本周波数を比較するステップＳ１１０、目標レベルおよびユーザーレベルを比較するステップＳ１１１は、省略されてもよい。
【００７０】
＜改変例１＞
以下、上述した実施形態の改変例について説明する。
【００７１】
上記実施形態においては、歌唱評価装置１００単体により、ユーザー音声の取得や、歌唱の評価を実行している。改変例１では、複数の装置を含む歌唱評価システムにより、ユーザー音声の取得や、歌唱の評価を実行する。
【００７２】
図８は、歌唱評価システム２００の概略構成を示すブロック図である。
【００７３】
歌唱評価システム２００は、図８に示すように、ＰＣ２１０と、携帯端末２２０と、サーバー装置２３０と、を有する。
【００７４】
ＰＣ２１０は、デスクトップ型ＰＣやノート型ＰＣなどのコンピューター端末である。
【００７５】
携帯端末２２０は、タブレット端末やスマートフォンなどの、ユーザーが携帯可能な端末である。
【００７６】
ＰＣ２１０および／または携帯端末２２０は、ユーザー端末として機能する。
【００７７】
サーバー装置２３０は、歌唱評価方法を実行する情報処理装置である。サーバー装置２３０は、図１に示す歌唱評価装置１００と略同様のハードウェア構成を有する。さらに、サーバー装置２３０は、図２に示す歌唱評価装置１００のＣＰＵ１１０の機能構成と同様の構成を有する。
【００７８】
ネットワーク２４０は、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉなどの規格によるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、ＬＡＮ同士を専用線で接続したＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などからなる。なお、ネットワーク２４０に接続される各構成の種類および台数は、図８に示す例に限定されない。
【００７９】
歌唱評価システム２００の作用について説明する。
【００８０】
ユーザー端末であるＰＣ２１０または携帯端末２２０は、サーバー装置２３０から伴奏データを取得する。以下では、携帯端末２２０が伴奏データを取得したものとして説明する。携帯端末２２０は、伴奏データを再生し、ユーザー音声の入力を受け付ける。ここで、ユーザー音声の入力は、携帯端末２２０に内蔵されたマイクを介しても良いし、携帯端末２２０に接続されたマイクを介してもよい。携帯端末２２０は、入力されたユーザー音声から、ユーザー音声データを生成する。そして、携帯端末２２０は、ネットワーク２４０を介して、ユーザー音声データをサーバー装置２３０に送信する。
【００８１】
サーバー装置２３０は、携帯端末２２０において生成されたユーザー音声データを、携帯端末２２０から受信する。そして、サーバー装置２３０は、図５に示す歌唱評価方法を開始する。図５に示す歌唱評価方法は、上述した実施形態とほぼ同様の工程であるため、その詳細な説明は省略する。サーバー装置２３０は、歌唱評価方法により、ユーザー音声と目標音声を比較して、比較結果を歌唱評価の結果として、携帯端末２２０に送信（出力）する。
【００８２】
携帯端末２２０は、歌唱評価の結果を、サーバー装置２３０から受信し、結果を出力する。携帯端末２２０における歌唱評価の結果の出力は、例えば、携帯端末２２０の画面上に表示されたり、音声として発声されたりすることにより、実行される。
【００８３】
以上のように、改変例１に係る歌唱評価システム２００によれば、ユーザー音声の取得は、ＰＣ２１０や携帯端末２２０などのユーザー端末によって行い、ユーザー音声に基づく歌唱の評価は、サーバー装置２３０によって行う。比較的処理能力が低いユーザー端末側において、歌唱の評価を実行する必要がない。その一方で、比較的処理能力が高いサーバー装置により、歌唱の評価を実行できる。つまり、処理能力の高い装置で、処理負荷が大きい処理を実行でき、また、処理能力の低い装置で、処理負荷が小さい処理を実行できる。したがって、処理を最適化できる。
【００８４】
ユーザーは、歌唱評価プログラムがインストールされたＰＣを保有したり、当該ＰＣがある場所に出向いたりする必要がない。つまり、歌唱評価システム２００によれば、ユーザー自身のＰＣ２１０や携帯端末２２０を用いて、手軽に歌唱評価のサービスを提供できる。
【００８５】
なお、サーバー装置２３０を介することによって、例えば、第３者と、歌唱評価結果を比較して、ランキング付けできるシステムが提案されてもよい。このように構成された歌唱評価システム２００によれば、ユーザーの歌唱練習のモチベーションにつながる。
【００８６】
本発明による歌唱評価装置１００による処理は、上記各手順を実行するための専用のハードウェア回路によっても、また、上記各手順を記述したプログラムをＣＰＵが実行することによっても実現できる。後者により本発明を実現する場合、歌唱評価装置１００を動作させる上記プログラムは、ＵＳＢメモリー、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭなどのコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネットなどのネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリーやハードディスクなどに転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、歌唱評価装置１００の一機能としてその装置のソフトウェアに組み込んでもよい。
【符号の説明】
【００８７】
１００    歌唱評価装置、
１１０    ＣＰＵ、
１１１    周波数特定部、
１１２    呼吸区間特定部、
１１３    レベル特定部、
１１４    伴奏データ再生部、
１１５    呼吸区間比較部、
１１６    周波数比較部、
１１７    レベル比較部、
１１８    出力部、
１２０    メモリー、
１３０    ハードディスク、
１４０    通信Ｉ／Ｆ部、
１５０    表示部、
１６０    操作部、
１７０    音声入力部、
１８０    音声出力部、
１９０    バス、
２００    歌唱評価システム、
２１０    ＰＣ（ユーザー端末）、
２２０    携帯端末（ユーザー端末）、
２３０    サーバー装置、
２４０    ネットワーク。
【図１】
0006650248.tif 000002
【図２】
0006650248.tif 000003
【図３】
0006650248.tif 000004
【図４】
0006650248.tif 000005
【図５】
0006650248.tif 000006
【図６】
0006650248.tif 000007
【図７】
0006650248.tif 000008
【図８】
0006650248.tif 000009