(57)【要約】【課題】歌唱評価の基準を安定させつつ、歌唱技法に対する評価の冗長性をもたせること。【解決手段】本発明の一実施形態に係る評価基準生成装置は、基準データを取得する基準取得部と、前記基準データから音の特徴量の時間変化を示す特徴量データを算出する基準特徴量算出部と、特徴量データが示す特徴量を基準として含むように設定された基準特徴量範囲であって、当該基準からの許容範囲を含み、当該許容範囲が基準データに含まれる情報に基づいて変更される基準特徴量範囲を規定する評価基準データを生成する生成部と、を備える。【選択図】図２
2016177144.tif 000002
【特許請求の範囲】
【請求項１】
基準データを取得する基準取得部と、
前記基準データから音の特徴量の時間変化を示す特徴量データを算出する基準特徴量算出部と、
前記特徴量データが示す特徴量を基準として含むように設定された基準特徴量範囲であって、当該基準からの許容範囲を含み、当該許容範囲が前記基準データに含まれる情報に基づいて変更される基準特徴量範囲を規定する評価基準データを生成する生成部と、
を備えることを特徴とする評価基準生成装置。
【請求項２】
前記特徴量データから、前記特徴量が特定の条件を満たす特定区間を検出する検出部をさらに備え、
前記生成部によって生成される評価基準データが規定する基準特徴量範囲の前記許容範囲は、前記特定区間以外において第１ルールで設定され、前記特定区間において第２ルールで設定されることによって、当該許容範囲が前記基準データに含まれる情報に基づいて変更されることを特徴とする請求項１に記載の評価基準生成装置。
【請求項３】
評価精度の設定する評価精度設定部をさらに備え、
前記生成部は、前記評価精度設定部によって設定された評価精度に基づいて前記許容範囲を変更することを特徴とする請求項１または請求項２に記載の評価基準生成装置。
【請求項４】
前記許容範囲は、評価方法がそれぞれ異なる複数の評価範囲に区分されていることを特徴とする請求項１または請求項２に記載の評価基準生成装置。
【請求項５】
前記基準データは、入力音を示し、
前記特徴量は、前記入力音のピッチを含み、
前記第１ルールで設定される前記許容範囲は、前記入力音のピッチからのピッチ幅であり、
前記第２ルールで設定される前記許容範囲は、前記第１ルールで設定される前記許容範囲よりも広い範囲であることを特徴とする請求項２に記載の評価基準生成装置。
【請求項６】
前記第２ルールは、前記基準音のピッチを含む第１ピッチ幅、および当該ピッチを含まず当該第１ピッチ幅とは連続しない第２ピッチ幅を含む許容範囲を設定するルールが含まれることを特徴とする請求項５に記載の評価基準生成装置。
【請求項７】
前記特徴量は、前記基準音の音量の微分値を含むことを特徴とする請求項１または請求項２に記載の評価基準生成装置。
【請求項８】
前記特定区間は、前記特徴量が満たす条件に応じて決められる評価対象区間および評価除外区間を含み、
前記第２ルールは、前記評価対象区間では前記許容範囲を設定し、前記評価除外区間では評価対象外であることを示す識別子を前記評価基準データに付加することを特徴とする請求項２に記載の評価基準生成装置。
【請求項９】
前記基準特徴量算出部は、前記基準データから音の特徴量の時間変化を示す波形に対して予め決められたフィルタ処理を施した波形を示す前記特徴量データを算出することを特徴とする請求項１に記載の評価基準生成装置。
【請求項１０】
請求項１乃至請求項９のいずれかに記載の評価基準生成装置と、
歌唱入力音を取得する歌唱音取得部と、
前記歌唱入力音から前記特徴量の時間変化を示す歌唱特徴量データを算出する歌唱特徴量算出部と、
前記評価基準データが示す前記基準特徴量範囲と、前記歌唱特徴量データが示す前記特徴量の時間変化とを比較する比較部と、
前記比較された結果に基づいて、前記歌唱入力音に対する評価値を算出する評価部と、
を備えることを特徴とする歌唱評価装置。
【請求項１１】
歌唱入力音を取得する歌唱音取得部と、
前記歌唱入力音から特徴量の時間変化を示す歌唱特徴量データを算出する歌唱特徴量算出部と、
前記特徴量の評価の基準となる基準特徴量を含むように設定された基準特徴量範囲であって、当該基準特徴量からの許容範囲を含み、当該許容範囲が区間によって変更されている基準特徴量範囲を規定する評価基準データを取得する評価基準取得部と、
前記評価基準データが示す前記基準特徴量範囲と、前記歌唱特徴量データが示す前記特徴量の時間変化とを比較する比較部と、
前記比較された結果に基づいて、前記歌唱入力音に対する評価値を算出する評価部と、
を備えることを特徴とする歌唱評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置には、歌唱音声を解析して評価する機能が備えられていることが多い。歌唱の評価には様々な方法が用いられる。その方法の一つとして、例えば、特許文献１には、歌唱音声のピッチと歌唱すべき模範音声のピッチとを比較し、ピッチ差に応じて歌唱を評価する技術が開示されている。また、歌唱音声にビブラートが含まれていることを検出した場合には、ビブラートが含まれている区間ではピッチの差が大きくても高評価が得られるように、評価基準を緩くする技術も特許文献１には開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２０９６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
模範音声においてビブラートが含まれている箇所において、歌唱音声にビブラートが含まれていない場合、歌唱技法の有無つまり表現の問題であるため、ビブラートの表現が違うからといってあまり低い評価にするべきではない。しかしながら、特許文献１に開示された技術では、ビブラートの無い歌唱音声が、模範音声のビブラートに追従していないことになり、評価を低くしてしまう。また、歌唱音声に依存して評価基準を決めている。そのため、例えばビブラートが不要な区間においても歌唱音声に含まれるビブラートによって、歌唱の評価基準を変動させてしまうため評価基準が不安定になってしまうという問題もあった。
【０００５】
本発明の目的の一つは、歌唱評価の基準を安定させつつ、歌唱技法に対する評価の冗長性をもたせることにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によると、基準データを取得する基準取得部と、前記基準データから音の特徴量の時間変化を示す特徴量データを算出する基準特徴量算出部と、前記特徴量データが示す特徴量を基準として含むように設定された基準特徴量範囲であって、当該基準からの許容範囲を含み、当該許容範囲が前記基準データに含まれる情報に基づいて変更される基準特徴量範囲を規定する評価基準データを生成する生成部と、を備えることを特徴とする評価基準生成装置が提供される。
【０００７】
本発明の一実施形態によると、歌唱入力音を取得する歌唱音取得部と、前記歌唱入力音から特徴量の時間変化を示す歌唱特徴量データを算出する歌唱特徴量算出部と、前記特徴量の評価の基準となる基準特徴量を含むように設定された基準特徴量範囲であって、当該基準特徴量からの許容範囲を含み、当該許容範囲が区間によって変更されている基準特徴量範囲を規定する評価基準データを取得する評価基準取得部と、前記評価基準データが示す前記基準特徴量範囲と、前記歌唱特徴量データが示す前記特徴量の時間変化とを比較する比較部と、前記比較された結果に基づいて、前記歌唱入力音に対する評価値を算出する評価部と、を備えることを特徴とする歌唱評価装置が提供される。また、前記評価基準取得部によって取得される評価基準データが規定する基準特徴量範囲の前記許容範囲は、予め決められた特定区間以外において第１ルールで設定され、当該特定区間において第２ルールで設定されてもよい。
【０００８】
本発明の一実施形態によると、歌唱入力音を取得する歌唱音取得部と、前記歌唱入力音から特徴量の時間変化を示す歌唱特徴量データを算出する歌唱特徴量算出部と、前記特徴量の評価の基準として上限値および下限値によって設定され、当該上限値と当該下限値までの範囲が区間によって変更されている基準特徴量範囲を規定する評価基準データを取得する評価基準取得部と、前記評価基準データが示す前記基準特徴量範囲と、前記歌唱特徴量データが示す前記特徴量の時間変化とを比較する比較部と、前記比較された結果に基づいて、前記歌唱入力音に対する評価値を算出する評価部と、を備えることを特徴とする歌唱評価装置が提供される。また、前記評価基準取得部によって取得される評価基準データが規定する基準特徴量範囲は、上限値と下限値との幅が第１幅となる許容範囲の第１区間および当該第１幅とは異なる第２幅となる許容範囲の第２区間とを含んでもよい。また、前記基準特徴量範囲は、許容範囲が大きい低評価範囲と、許容範囲が小さい高評価範囲とを含み、前記評価部は、前記歌唱特徴量データが示す前記特徴量の時間変化に対して、前記低評価範囲と比較した結果、および前記高評価範囲と比較した結果に基づいて、前記歌唱入力音に対する評価値を算出してもよい。
【発明の効果】
【０００９】
本発明の一実施形態によれば、歌唱評価の基準を安定させつつ、歌唱技法に対する評価の冗長性をもたせることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態における評価装置１の構成を示すブロック図である。
【図２】本発明の第１実施形態における評価基準生成機能および評価機能の構成を示すブロック図である。
【図３】本発明の第１実施形態における通常区間における基準ピッチ範囲の決定に適用される第１ルールを説明する図である。
【図４】本発明の第１実施形態におけるビブラート検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。
【図５】本発明の第１実施形態におけるコブシ検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。
【図６】本発明の第１実施形態におけるフォール検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。
【図７】本発明の第１実施形態におけるシャクリ検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。
【図８】本発明の第１実施形態におけるロングトーン検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。
【図９】本発明の第１実施形態における歌唱ピッチを用いた歌唱評価方法を説明する図である。
【図１０】本発明の第２実施形態における基準音量速度範囲を説明する図である。
【図１１】本発明の第３実施形態における通常区間およびビブラート検出区間における基準ピッチ範囲の決定方法を説明する図である。
【図１２】本発明の第４実施形態における評価機能の構成を示すブロック図である。
【図１３】本発明の第６実施形態における評価基準生成機能の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態における評価装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。
【００１２】
＜第１実施形態＞
本発明の第１実施形態における評価装置について、図面を参照しながら詳細に説明する。第１実施形態に係る評価装置は、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音声を評価するための評価基準を生成し、その評価基準によって歌唱音声を評価する装置である。この評価装置は、評価の基準となるピッチ範囲（以下、基準ピッチ範囲という場合がある）を音声（この例では、模範となる歌唱音声（模範音声））の入力によって生成する。このとき、模範音声に所定の歌唱技法が含まれる区間とそれ以外の区間とでは、異なるルールによって基準ピッチ範囲を設定する。なお、模範音声は、模範となる歌唱者によるものに限らず、合成音声等、コンピュータ等によって生成された音声、楽器音など人声以外の音声であってもよい。
【００１３】
また、評価装置は、このように生成した基準ピッチ範囲と歌唱ピッチとを比較して、歌唱音声を評価する。以下に説明する方法で基準ピッチ範囲を設定すれば、模範音声において歌唱技法が含まれる区間に、歌唱音声に歌唱技法が含まれていなくても、歌唱の評価を下げないようにすることができる。また、模範音声に歌唱技法が含まれる区間と同じ区間に、歌唱音声に歌唱技法が含まれている場合に、模範音声と全く同じ歌唱でなくても評価を下げないようにすることができる。以下、このような評価装置について説明する。
【００１４】
［ハードウエア］
図１は、本発明の第１実施形態における評価装置１の構成を示すブロック図である。評価装置１は、例えば、カラオケ装置である。なお、評価装置１は、スマートフォン等の携帯装置であってもよいし、ネットワークを介して連携する複数の装置で構成されていてもよい。評価装置１は、制御部１１、記憶部１３、操作部１５、表示部１７、通信部１９、および信号処理部２１を含む。これらの各構成は、バスを介して接続されている。また、信号処理部２１には、マイクロフォン２３およびスピーカ２５が接続されている。
【００１５】
制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を評価装置１において実現させる。実現される機能には、歌唱音声を評価する機能（評価機能）およびその評価の基準を生成する機能（評価基準生成機能）が含まれる。なお、いずれか一方の機能のみが実現されてもよい。すなわち、評価基準生成機能を実現せず、評価機能を実現する装置（評価装置）であってもよいし、評価機能を実現せず、評価基準生成機能を実現する装置（評価基準生成装置）であってもよい。
【００１６】
記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、評価機能を実現するための制御プログラムを記憶する。制御プログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、評価装置１は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワーク経由でダウンロードされてもよい。
【００１７】
また、記憶部１３は、歌唱に関するデータとして、楽曲データ、歌唱音声データ、および評価基準データを記憶する。楽曲データは、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。歌唱音声データは、歌唱者がマイクロフォン２３から入力した歌唱音声を示すデータである。この例では、歌唱音声データは、評価機能によって歌唱音声が評価されるまで、記憶部１３にバッファされる。なお、記憶部１３は、評価基準データを生成するために入力される模範音声を示すデータを記憶してもよい。
【００１８】
評価基準データは、評価機能によって歌唱音声の評価の基準として用いられる情報であり、評価対象の歌唱曲（歌唱音声の入力がされるときに出力されている歌唱曲）を示す楽曲データに対応付けられている。この例では、評価基準データは、評価基準生成機能により模範音声の入力に基づいて生成され、評価対象の歌唱曲の進行に伴って時間変化する基準ピッチ範囲（基準特徴量範囲）を規定するデータとして生成される。基準ピッチ範囲は、上限ピッチと下限ピッチとで規定されている。基準ピッチ範囲は、一つの範囲として規定される場合に限らず、複数の範囲として規定される場合もある。この場合、複数の範囲は、第１上限ピッチと第１下限ピッチとの間の第１範囲、および第２上限ピッチと第２下限ピッチとの間の第２範囲として規定される。また、基準ピッチ範囲は、後述する通常区間と特定区間とでは基準となるピッチからの幅が異なるように決められている。
【００１９】
なお、評価基準データは、特徴量の上限値および下限値で規定される場合に限られず、通常区間と特定区間とが識別子等で区別され、基準となる特徴量、通常区間における特徴量の幅、および特定区間における特徴量の幅とで規定されていてもよい。
【００２０】
操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。なお、操作部１５と表示部１７とが一体となったタッチパネルであってもよい。通信部１９は、制御部１１の制御に基づいて、インターネットなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部１９において通信可能な外部装置で実現されてもよい。
【００２１】
信号処理部２１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、マイクロフォン２３において電気信号に変換されて信号処理部２１に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部１３にバッファされる。また、伴奏データは、制御部１１によって読み出され、信号処理部２１においてＤ／Ａ変換され、スピーカ２５から歌唱曲の伴奏として出力される。このとき、ガイドメロディもスピーカ２５から出力されるようにしてもよい。
【００２２】
［評価装置１の機能］
評価装置１の制御部１１が制御プログラムを実行することによって実現される評価基準生成機能および評価機能について説明する。なお、以下に説明する機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよいし、ネットワークを介してサーバ上で実現されてもよい。
【００２３】
図２は、本発明の第１実施形態における評価基準生成機能および評価機能の構成を示すブロック図である。評価基準生成機能１００は、入力された模範音声を用いて評価基準データを生成して、記憶部１３に記憶する。評価機能２００は、入力された歌唱音声を評価基準データと比較して、比較結果に基づいて評価する。以下、それぞれの機能について、具体的に説明する。
【００２４】
［評価基準生成機能］
評価基準生成機能１００は、基準取得部１０１、基準特徴量算出部１０３、特定区間検出部１０５、生成部１０７および評価精度設定部１０９を含む。基準取得部１０１は、マイクロフォン２３へ入力された基準音（この例では、模範音声）を示すデータ（基準音データ）を取得する。このとき、生成される評価基準データを対応付ける楽曲データが指定される。なお、基準取得部１０１は、指定された楽曲データの歌唱曲の伴奏音等をスピーカ２５から出力させ、歌唱曲の進行に連動してリアルタイムに基準音データを取得してもよいし、予め記憶された基準音データを記憶部１３等の記憶装置から読み込むことによって取得してもよい。なお、取得する基準音データは、評価の基準となる音を示していればよいため、必ずしも歌唱の模範となる音声を示していなくてもよい。
【００２５】
基準特徴量算出部１０３は、基準取得部１０１によって取得された基準音データが示す模範音声（基準入力音）を解析し、模範音声の特徴量の時間的変化を算出する。この例では、特徴量はピッチである。したがって、基準特徴量算出部１０３は、模範音声のピッチ（以下、模範ピッチという場合がある）の時間的な変化、すなわち、模範ピッチ波形を算出する。具体的には、模範音声の波形のゼロクロスを用いた方法、ＦＦＴ（Fast Fourier Transform）を用いた方法等、公知の方法で模範ピッチ波形（特徴量データ）が算出される。
【００２６】
特定区間検出部１０５は、模範ピッチ波形を解析し、模範音声の入力期間のうち、予め決められた特定の条件満たす（この例では歌唱技法を含む）区間を検出する。検出される区間を特定区間という。このとき検出される特定区間は、歌唱技法の種類ごとに対応付けられる。検出される歌唱技法は、例えば、以下の歌唱技法を含む。なお、予め決められた特定の条件を満たす区間として予め設定しておけば、これら以外のピッチ変化（特定の遷移状態）についても検出の対象としてもよい。
（１）ビブラート：ピッチが細かく（所定周期以下で）高低に変化する。ビブラート検出の具体的な例は、特開２００５−１０７０８７号公報に開示されている。
（２）コブシ：ピッチが一時的に（所定時間以内で）高くなり、その後、元のピッチに戻る。コブシ検出の具体的な例は、特開２００８−２６８３７０号公報に開示されている。
（３）シャクリ：ピッチが所定時間かけて高くなり、その後安定する。シャクリ検出の具体的な例は、特開２００５−１０７３３４号公報に開示されている。
（４）フォール：ピッチが所定時間かけて低くなり、その後、歌唱が途切れる。フォール検出の具体的な例は、特開２００８−２２５１１５号公報に開示されている。
（５）ロングトーン：ピッチが一定期間以上、狭い範囲で続く。ロングトーン検出の具体的な例は、特開２００８−２２５１１４号公報に開示されている。
【００２７】
生成部１０７は、模範ピッチ波形を基準として、基準ピッチ範囲を決定する。この例では、基準ピッチ範囲は、通常区間（歌唱音声の入力があった区間のうち、特定区間を除く区間）と特定区間とで異なるルール（第１ルール、第２ルール）に従って決められる。まず、通常区間において基準ピッチ範囲の決定に適用される第１ルールについて説明する。
【００２８】
図３は、本発明の第１実施形態における通常区間における基準ピッチ範囲の決定に適用される第１ルールを説明する図である。模範ピッチ波形が図３に示す波形ＰＳである場合を例として説明する。まず、ピッチ方向に幅ＰＷ、時間方向に幅ＴＷのウインドウＣＳを生成する。なお、幅ＴＷは、存在しなくてもよい。
【００２９】
生成したウインドウＣＳの中心Ｃを、模範ピッチ波形ＰＳに沿って移動させる。この際に、ウインドウＣＳが通過した領域を基準ピッチ範囲ＡＷ１とする。基準ピッチ範囲ＡＷ１の上限を上限ピッチＵＬ、下限を下限ピッチＬＬとして示す。模範ピッチ波形ＰＳに対して、上限ピッチＵＬまでの範囲および下限ピッチＬＬまでの範囲は、模範ピッチに対する許容範囲となる。模範ピッチ波形ＰＳが存在しない区間等の存在により、基準ピッチ範囲ＡＷ１が存在しない区間ＮＴがある場合には、その区間ＮＴにおいて基準ピッチ範囲が存在しないことを示す識別子等が含まれていてもよい。
【００３０】
このようにして、模範ピッチ波形に基づいて、通常区間における基準ピッチ範囲が第１ルールに従って決定される。続いて、特定区間において基準ピッチ範囲の決定に適用される第２ルールについて説明する。第２ルールは、第１ルールとは異なる方法で、基準ピッチ範囲を決定する。また、特定区間に対応付けられた歌唱技法の種類（この例では、ビブラート検出区間、コブシ検出区間、フォール検出区間、シャクリ検出区間、およびロングトーン検出区間）によって、それぞれ異なる方法で基準ピッチ範囲を決定する。以下、それぞれの種類において、基準ピッチ範囲の決定に適用される第２ルールについて説明する。
【００３１】
図４は、本発明の第１実施形態におけるビブラート検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。図４に示すように、ビブラート検出区間ＶＰにおいて第２ルールが適用されて決定される基準ピッチ範囲ＡＷ２は、模範ピッチ波形ＰＳの最大値および最小値を基準として所定幅（例えば、ウインドウＣＳの幅ＰＷの半分のピッチ）を拡げた範囲とする。このとき、ビブラート検出区間においては上限ピッチＵＬと下限ピッチＬＬは一定値になるように決定される。このようにすると、ビブラートの周期、ピークのタイミング等が一致していなくても、ある程度近いビブラートであれば、歌唱ピッチが基準ピッチ範囲に含まれるようにすることができる。
【００３２】
このような決定方法は一例であって、ビブラート検出区間ＶＰにおける基準ピッチ範囲ＡＷ２は、模範ピッチ波形ＰＳ全体が含まれ、通常区間ＮＰにおける基準ピッチ範囲ＡＷ１の決定方法と異なるルールが適用されて決定されていればよい。
【００３３】
図５は、本発明の第１実施形態におけるコブシ検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。図５に示すように、コブシ検出区間ＫＰにおいて第２ルールが適用されて決定される基準ピッチ範囲ＡＷ３は、上限ピッチＵＬについては、模範ピッチ波形ＰＳを基準として第１ルールと同様にして決められている。一方、下限ピッチＬＬについては、模範音声にコブシ技法が含まれていない場合を想定した波形ＶＳを基準として第１ルールと同様にして決定される。このようにすると、コブシ技法が含まれていない歌唱をしたときに、基準ピッチ範囲から外れてしまう、すなわち、コブシ技法を模範音声のとおりに必ず実行しないと低評価になってしまうということを除外することができる。
【００３４】
このような決定方法は一例であって、コブシ検出区間ＫＰにおける基準ピッチ範囲ＡＷ３は、模範ピッチ波形ＰＳ全体が含まれ、通常区間ＮＰにおける基準ピッチ範囲ＡＷ１の決定方法と異なるルールが適用されて決定されていればよい。
【００３５】
図６は、本発明の第１実施形態におけるフォール検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。図６に示すように、フォール検出区間ＦＰにおいて第２ルールが適用されて決定される基準ピッチ範囲は、第１範囲ＡＷ４および第２範囲ＡＷ５を含む。第１範囲ＡＷ４の上限ピッチＵＬ１および下限ピッチＬＬ１は、模範ピッチ波形ＰＳを基準として第１ルールと同様にして決められている。一方、第２範囲ＡＷ５の上限ピッチＵＬ２および下限ピッチＬＬ２については、模範音声にフォール技法が含まれていない場合を想定した波形ＶＳを基準として第１ルールと同様にして決定される。このようにすると、フォール技法が含まれていない歌唱をしたときに、基準ピッチ範囲から外れてしまう、すなわち、フォール技法を模範音声のとおりに必ず実行しないと低評価になってしまうということを除外することができる。
【００３６】
なお、上限ピッチＵＬ１および下限ピッチＬＬ２を考慮せず、上限ピッチＵＬ２および下限ピッチＬＬ１の間に含まれるピッチ範囲全体が、基準ピッチ範囲として決定されてもよい。このようにすると、フォール技法のピッチの落とし方が少なかったとしても、低評価になってしまうことを除外することができる。このような決定方法は一例であって、フォール検出区間ＦＰにおける基準ピッチ範囲（第１範囲ＡＷ４および第２範囲ＡＷ５）は、いずれかにの範囲の一部に模範ピッチ波形ＰＳ全体が含まれ、通常区間ＮＰにおける基準ピッチ範囲ＡＷ１の決定方法と異なるルールが適用されて決定されていればよい。
【００３７】
図７は、本発明の第１実施形態におけるシャクリ検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。図７に示すように、シャクリ検出区間ＳＰにおいて第２ルールが適用されて決定される基準ピッチ範囲は、第１範囲ＡＷ６および第２範囲ＡＷ７を含む。第１範囲ＡＷ６の上限ピッチＵＬ１および下限ピッチＬＬ１は、模範ピッチ波形ＰＳを基準として第１ルールと同様にして決められている。一方、第２範囲ＡＷ７の上限ピッチＵＬ２および下限ピッチＬＬ２については、模範音声にシャクリ技法が含まれていない場合を想定した波形ＶＳを基準として第１ルールと同様にして決定される。このようにすると、シャクリ技法が含まれていない歌唱をしたときに、基準ピッチ範囲から外れてしまう、すなわち、シャクリ技法を模範音声のとおりに必ず実行しないと低評価になってしまうということを除外することができる。
【００３８】
なお、上限ピッチＵＬ１および下限ピッチＬＬ２を考慮せず、上限ピッチＵＬ２および下限ピッチＬＬ１の間に含まれるピッチ範囲全体が、基準ピッチ範囲として決定されてもよい。このようにすると、シャクリ技法のピッチの上げ方が少なかったとしても、低評価になってしまうことを除外することができる。このような決定方法は一例であって、シャクリ検出区間ＳＰにおける基準ピッチ範囲（第１範囲ＡＷ６および第２範囲ＡＷ７）は、いずれかにの範囲の一部に模範ピッチ波形ＰＳ全体が含まれ、通常区間ＮＰにおける基準ピッチ範囲ＡＷ１の決定方法と異なるルールが適用されて決定されていればよい。
【００３９】
図８は、本発明の第１実施形態におけるロングトーン検出区間における基準ピッチ範囲の決定に適用される第２ルールを説明する図である。図８に示すように、ロングトーン検出区間ＬＰにおいて第２ルールが適用されて決定される基準ピッチ範囲ＡＷ８は、模範ピッチ波形ＰＳを基準として所定幅（例えば、ウインドウＣＳの幅ＰＷの半分のピッチ）を拡げた範囲とする。ロングトーンでは、ピッチがずれていると、そのずれが目立ってしまうため、ロングトーン検出区間での判定基準を厳しくすることができる。
【００４０】
このとき、ロングトーン検出区間ＬＰの後ろの区間ほど、幅が狭くなるようにしてもよい。このような決定方法は一例であって、ロングトーン検出区間ＬＰにおける基準ピッチ範囲ＡＷ８は、模範ピッチ波形ＰＳ全体が含まれ、通常区間ＮＰにおける基準ピッチ範囲ＡＷ１の決定方法と異なるルールが適用されて決定されていればよい。
【００４１】
このようにして、生成部１０７は、基準ピッチ範囲を決定し、基準ピッチ範囲を示すパラメータ（例えば、上限ピッチおよび下限ピッチ）により規定された評価基準データを生成する。
【００４２】
図２に戻って説明を続ける。評価精度設定部１０９は、歌唱評価の精度を設定する。評価精度は、ユーザによって設定される。評価精度は、生成部１０７における第１ルールおよび第２ルールの少なくとも一方における許容範囲を決めるためのパラメータである。生成部１０７は、例えば、評価精度が高くなると、基準ピッチ範囲（ＡＷ１、ＡＷ２、・・・）が狭くなるようにして、評価基準データを生成する。具体的には、評価精度が高く設定されるほど、上述したウインドウＣＳの面積（特に、幅ＰＷ）を小さくするようにして基準ピッチ範囲が決定される。なお、評価精度設定部１０９は、存在しなくてもよい。存在しない場合には、評価精度は予め決められた値に設定されていればよい。
【００４３】
［評価機能］
続いて、評価機能２００について説明する。評価機能２００は、伴奏出力部２０１、歌唱音取得部２０３、歌唱特徴量算出部２０５、評価基準取得部２０７、特徴量比較部２０９、および音声評価部２１１を含む。伴奏出力部２０１は、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部２１を介して、伴奏音をスピーカ２５から出力させる。歌唱音取得部２０３は、マイクロフォン２３から入力された歌唱音声を示す歌唱音声データを取得する。この例では、伴奏音が出力されている期間におけるマイクロフォン２３への入力音を、評価対象の歌唱音声として認識する。なお、歌唱音取得部２０３は、記憶部１３にバッファされた歌唱音声データを取得するが、記憶部１３に１曲全体の歌唱音声データが記憶された後に取得してもよいし、信号処理部２１から直接取得してもよい。
【００４４】
歌唱特徴量算出部２０５は、歌唱音取得部２０３によって取得された歌唱音声データを解析し、歌唱音声の特徴量の時間的変化を算出する。この例では、上述と同様に、特徴量はピッチである。したがって、歌唱特徴量算出部２０５は、歌唱音声のピッチ（以下、歌唱ピッチという場合がある）の時間的な変化、すなわち、歌唱ピッチ波形を算出する。算出方法は、上述した模範ピッチ波形の算出方法と同様である。
【００４５】
評価基準取得部２０７は、評価対象となる歌唱曲（伴奏出力部２０１において出力した伴奏音）の楽曲データに対応付けられた評価基準データを記憶部１３から読み出して取得する。特徴量比較部２０９は、評価基準データが示す基準ピッチ範囲と、歌唱ピッチとを比較する。
【００４６】
図９は、本発明の第１実施形態における歌唱ピッチを用いた歌唱評価方法を説明する図である。歌唱特徴量算出部２０５において算出された歌唱ピッチの時間変化を示す波形ＩＳ（歌唱ピッチ波形）は、上限ピッチＵＬおよび下限ピッチＬＬによって決められた基準ピッチ範囲と比較される。図９では、ビブラート検出区間ＶＰを少し越えたタイミングまで歌唱ピッチが算出されている例を示している。この時点において、歌唱ピッチ波形ＩＳは、２箇所の外れ区間ＮＧにおいて、下限ピッチＬＬよりも低いピッチとなり、基準ピッチ範囲を外れている。歌唱音声の評価結果における一つのパラメータとして、例えば、全区間における外れ区間ＮＧの割合が高いほど、不一致度が高くなるように決められる。
【００４７】
また、ビブラート検出区間ＶＰにおいては、歌唱ピッチ波形ＩＳにおけるビブラートの周期、ピークタイミング等がずれていても、上述した第２ルールで基準ピッチ範囲を決めているため、外れ区間ＮＧが増加しないようにすることができる。その結果、不一致度が高くならないようにすることができる。このように、この歌唱評価方法によれば、模範ピッチ波形に対する許容範囲を規定して予め基準ピッチ範囲として定めておくことで、歌唱評価の基準を安定させつつ、歌唱技法に対する評価の冗長性を持たせることができる。なお、区間ＮＴにおいて歌唱ピッチ波形が含まれる場合には、評価の対象としないようにしてもよいし、外れ区間ＮＧとして扱ってもよい。
【００４８】
図２に戻って説明を続ける。音声評価部２１１は、特徴量比較部２０９における比較結果に基づいて、歌唱音声の評価の指標となる評価値を算出する。この例では、特徴量比較部２０９で算出された不一致度が高いほど評価値が低く算出され、歌唱音声の評価が悪くなる。なお、音声評価部２１１は、この不一致度のみに基づいて評価値を算出するのではなく、さらに他の要素に基づいて評価値を算出してもよい。他の要素は、歌唱技法および歌唱音声データから抽出可能な他のパラメータなどが想定される。音声評価部２１１による評価結果は、表示部１７において提示されてもよい。以上、評価基準生成機能１００および評価機能２００の説明である。
【００４９】
＜第２実施形態＞
上述した第１実施形態では、ピッチを特徴量として用いていた。第２実施形態では、特徴量として音量の一階微分をした値（音量速度）を用いた例について説明する。なお、基準特徴量算出部１０３、および歌唱特徴量算出部２０５において算出される特徴量の内容が異なるだけであるので、詳細についての説明は省略する。
【００５０】
図１０は、本発明の第２実施形態における基準音量速度範囲を説明する図である。図１０（ａ）は、模範音声から算出された模範音量の波形ＡＳ１を示している。図１０（ｂ）は、模範音量波形ＡＳ１を時間で一階微分した音量速度波形ＡＳ２を示す。また、この音量速度波形ＡＳ２を基準として、第１実施形態で説明した複数のルール（第１ルールおよび第２ルール）に相当するルールを用いて決められた基準音量速度範囲ＡＷ１０、ＡＷ１１（上限音量速度ＵＬと下限音量速度ＬＬとの間）についても示されている。基準音量速度範囲ＡＷ１０は、通常区間ＮＰでの音量速度の範囲である。基準音量速度範囲ＡＷ１１は、ビブラート検出区間ＶＰにおける音量速度の範囲である。
【００５１】
このようにして決定された基準音量速度範囲を示す評価基準データが記憶部１３に記憶される。そして、歌唱音の評価の際には、歌唱音声から特徴量として算出した音量速度を、基準音量速度範囲と比較する。このように、一階微分をすることによって音量の直流成分を除去し、音量の変化の傾向を比較する。これによって、歌唱音の入力レベルが模範音声の入力レベルと大きく異なっても、変化の傾向を用いた比較を行うことができる。なお、音量速度を用いると、例えば、例示したビブラートの他にも、歌唱の抑揚、ブレスといった技法の検出も可能となる。
【００５２】
なお、特徴量としては、その他にも、周波数分布であってもよい。例えば、基音と倍音とのパワー比、またはこれに基づいて生成されるパラメータを特徴量とすることで、声質の時間変化に基づく評価をすることもできる。いずれの特徴量が採用されたとしても、模範音声に含まれる特殊な歌唱が検出される特定区間においては、第２ルールは、歌唱音声に特殊な歌唱が含まれなかった場合でも基準特徴量範囲に含まれるように設定される。
【００５３】
＜第３実施形態＞
第３実施形態では、評価基準データに含まれる基準ピッチ範囲が２段階に決められている例について説明する。なお、以下の説明では基準ピッチ範囲が２段階で定義されているが、さらに多くの複数段階で定義されていてもよい。
【００５４】
図１１は、本発明の第３実施形態における通常区間およびビブラート検出区間における基準ピッチ範囲の決定方法を説明する図である。図１１は、図４に対応する図である。この図に示すように、通常区間ＮＰにおいて、模範ピッチ波形ＰＳを含む基準ピッチ範囲は、高評価範囲ＡＷ１および低評価範囲ＡＷ１ａを含む。また、ビブラート検出区間ＶＰにおいては、模範ピッチ波形ＰＳを含む基準ピッチ範囲は、高評価範囲ＡＷ２および低評価範囲ＡＷ２ａを含む。この例では、低評価範囲ＡＷ１ａ、ＡＷ２ａは、上限ピッチＵＬに対して所定のピッチだけ増加させた上限ピッチＵＬａと、下限ピッチＬＬに対して所定のピッチだけ減少させた下限ピッチＬＬａとの間のピッチ幅である。
【００５５】
評価基準データは、このように、高評価範囲と低評価範囲というように複数段階に区分した基準ピッチ範囲を示していてもよい。このように複数段階に区分された基準ピッチ範囲は、歌唱音声の評価において、様々に適用可能である。まず、第１実施形態では、基準ピッチ範囲に歌唱ピッチ波形が含まれているか否かのいずれかで判定され、どの程度ずれているかについては考慮していなかった。一方、この例のように、基準ピッチ範囲に複数段階を設けることで、上限ピッチＵＬａとＵＬとの間または、下限ピッチＬＬａとＬＬとの間に歌唱ピッチ波形が含まれる区間を特定することもできる。これによれば、歌唱ピッチ波形が少しだけ基準ピッチ範囲から離れた場合と、完全に離れた場合とを区別して、不一致度の算出に重み付けをすることで、より詳細な歌唱音声を評価することができる。
【００５６】
また、上限ピッチＵＬａとＵＬとの間、および下限ピッチＬＬａとＬＬとの間をそれぞれ区別して、いずれの間において歌唱ピッチ波形が多く含まれるかを判定してもよい。これによれば、歌唱ピッチがシャープ側（高ピッチ側）にずれているのか、フラット側（低ピッチ側）にずれているのかを評価することもできる。
【００５７】
また、上限ピッチＵＬと下限ピッチＬＬとの間の基準ピッチ幅ＡＷ１、ＡＷ２と歌唱ピッチ波形とを比較した場合の不一致度１、および上限ピッチＵＬａと下限ピッチＬＬａとの間の基準ピッチ幅ＡＷ１ａ、ＡＷ２ａと歌唱ピッチ波形とを比較した場合の不一致度２を特徴量比較部２０９で算出し、不一致度１と不一致度２との相対関係（例えば、比）を、評価のためのパラメータとして用いることもできる。
【００５８】
また、ピッチ幅ＡＷ１Ｕａとピッチ幅ＡＷ１Ｌａとは、同じ幅ではなく異なる幅にしてもよい。例えば、ピッチ幅ＡＷ１Ｕａを狭く、ピッチ幅ＡＷ１Ｌａをピッチ幅ＡＷ１Ｕａよりも大きくすることで、シャープ側に触れた歌唱に対して厳しくすることもできる。
【００５９】
＜第４実施形態＞
第４実施形態では、歌唱音声から歌唱技法を検知して、特徴量比較部２０９Ａまたは音声評価部２１１Ａの処理の内容を変更する評価機能２００Ａについて説明する。
【００６０】
図１２は、本発明の第４実施形態における評価機能の構成を示すブロック図である。評価機能２００Ａの構成のうち、上述した第１実施形態における評価機能２００とは異なる構成を説明する。特定区間検出部２１３は、第１実施形態における評価基準生成機能１００の特定区間検出部１０５と同様な機能を有し、歌唱ピッチ波形から特定の歌唱技法が含まれる第２特定区間を検出する。なお、以下の説明では、特定区間検出部１０５において検出された特定区間を第１特定区間と表記して、この第２特定区間と区別する。
【００６１】
特徴量比較部２０９Ａは、第１実施形態における特徴量比較部２０９とほぼ同じ処理によって不一致度を算出するが、以下の点が異なっている。特徴量比較部２０９Ａは、評価基準データにおける第１特定区間ではない通常区間と、歌唱ピッチ波形に特定の歌唱技法に対応した第２特定区間とが重複する区間が存在するか否かを判定する。重複する区間が存在する場合には、重複する区間を不一致度の算出に用いない。歌唱者が模範音声とは異なる区間で歌唱技法を用いた場合に、基準ピッチ範囲をはずれてしまうことがあるが、このような処理によって不一致度の増加を抑えることができる。なお、このような処理を行わない第１実施形態では、模範音声に近い歌唱が求められる場合に用いられればよい。
【００６２】
また、この例では、音声評価部２１１Ａは、第１実施形態における音声評価部２１１とほぼ同じ処理によって評価値を算出するが、上記のように第２特定区間が評価基準データにおける通常区間と重複していた場合、評価が高くなるように評価値を算出する。なお、音声評価部２１１Ａは、このような場合に評価が高くなるようにするのではなく、第１特定区間と第２特定区間とが一致した場合に評価が高くなるように評価値を算出してもよい。
【００６３】
＜第５実施形態＞
上述した実施形態では、特定区間検出部１０５は、模範ピッチ波形に歌唱技法に対応した波形が含まれている特定区間（評価対象区間）を検出していた。第５実施形態においては、特定区間検出部１０５は、さらに模範ピッチ波形に特定の条件を満たす波形が含まれている場合には、評価を除外するための特定区間（評価除外区間）を検出する。そのため、特定区間は、模範ピッチ波形が満たす条件に応じて決められる評価対象区間と評価除外区間とが含まれる。評価対象区間は、上記の通り歌唱技法が含まれる区間である。一方、評価除外区間としては、例えば、模範ピッチが急峻に変化する区間であったり、模範ピッチの算出ができずに分散してしまうような区間であったりすればよい。そして、生成部１０７において適用される第２ルールによって、評価対象区間に対しては第１実施形態と同様な処理が実行される一方、評価除外区間に対してはその区間が評価対象外であることを示す識別子を評価基準データに付加する処理が実行されればよい。すなわち、評価対象外の特定区間では、第２ルールによって許容範囲が「０」とされた評価基準データが生成される、ということもできる。
【００６４】
なお、特定区間をすべて評価除外区間としてもよい。この場合、歌唱技法が含まれる区間を評価除外区間としてもよい。そして、第４実施形態において説明した第２特定区間が、評価除外区間と重複する場合（または評価除外区間に含まれる場合）には、評価が高くなるように評価値が算出されてもよい。
【００６５】
＜第６実施形態＞
上述した実施形態では、基準特徴量算出部１０３は、基準入力音として取得された模範音声から特徴量（例えば、模範ピッチ）を算出していた。模範音声としては、上述したように、合成音声等、コンピュータ等によって生成された音声、楽器音など、人声以外であってもよいことを説明したが、第６実施形態では、模範音声のような音の波形データ以外のデータを基準データとして特徴量算出に用いる場合について、いくつかの例を説明する。
【００６６】
基準データとしては、ＭＩＤＩ形式のデータなど、音を規定するシーケンスデータであってもよい。また、図３に示すような波形ＰＳを手書き入力（紙に描画した波形をスキャンして画像データとしてコンピュータに入力、または、操作部１５を用いて入力）したデータであってもよい。このような手書き入力は、手本となる歌唱を聴きながら実施されるようにしてもよい。このように、基準データは、音の特徴量の時間変化に変換できるデータであれば、その音そのものを示すデータ（第１実施形態における模範音声）でなくてもよい。
【００６７】
また、基準データが第１実施形態のように模範音声である場合には、特定区間は、特徴量の時間変化が特定の条件を満たす区間として規定される。特定の条件としては、所定の歌唱技法が存在するという条件を具体例として説明した。一方、特徴量が所定の範囲外である場合（特徴量がピッチであれば、高音であったり低音であったりする場合）など、特定の条件を満たすか否かの判断が、特徴量の時間変化を対象とする場合に限らず、各タイミングにおける特徴量の値が対象であってもよい。
【００６８】
また、基準データに、歌唱曲の情報が含まれる場合、この歌唱曲の情報に基づいて、通常区間の許容範囲から変更される特定区間が検出されてもよい。歌唱曲の情報は、例えば、曲の構成情報（歌い出し、サビ、Ａメロ、Ｂメロ、Ａメロの頭、エンディング等）、音域情報（高音、低音等）、および音情報（和音構成音、経過音等）である。なお、上述した特徴量についても、基準データ（模範音声）から算出して得られる情報であるから、基準データに含まれる情報の一種である。
【００６９】
許容範囲の変化量は、操作部１５を介してユーザによって設定されてもよいし、予め設定されていてもよい。このとき、基準データに含まれる情報の種別によって、許容範囲の変化量が異なるように設定されていてもよい。なお、許容範囲は、通常区間と特定区間とで変更されるだけでなく、区間を区別せずに変更されてもよい。このような場合の評価基準生成機能１００Ｂについて説明する。
【００７０】
図１３は、本発明の第６実施形態における評価基準生成機能の構成を示すブロック図である。図１３に示すように、評価基準生成機能１００Ｂは、特定区間を区別せずに処理を実行するため特定区間検出部１０５を備えていなくてもよい。一方、生成部１０７Ｂは、基準データに含まれる情報を、基準取得部１０１または基準特徴量算出部１０３から取得して、この情報に基づいて許容範囲を変更させながら基準データ範囲を決定する。このように、必ずしも特定区間を検出する構成を含まなくてもよい。
【００７１】
＜第７実施形態＞
上述した実施形態では、生成部１０７は、通常区間と特定区間とで異なるルールに従って基準ピッチ範囲を決定していた。第７実施形態では、基準ピッチ範囲を決定する際に通常区間と特定区間とを分けず、１つのルールに従って基準ピッチ範囲が決定される。１つのルールとは、模範ピッチ波形を基準として基準ピッチ範囲を決定するものであれば、上述した第１ルールに相当するルールであってもよいし、それ以外のルール、例えば、低ピッチ側ほど許容範囲を大きくするルール、模範ピッチ波形の変化量に応じて許容範囲を変化させるルールなどを適用してもよい。このような場合には、上述した実施形態における第２ルールを適用する特定区間を検出する必要が無いため、特定区間検出部１０５は存在しなくてもよい。
【００７２】
このように第２ルールを用いない場合には、基準特徴量算出部１０３は、模範音声の特徴量の時間変化を示す波形に対してＬＰＦ（ローパスフィルタ）等のフィルタ処理を施し、これを模範ピッチ波形（特徴量データ）としてもよい。例えばＬＰＦを通して得られた模範ピッチ波形は、例えば、ビブラートの波形が除去されたものとなる。この状態で、許容範囲を広めに設定すると、歌唱技法に対する評価の冗長性が向上する。なお、第２ルールを用いる場合であっても、基準特徴量算出部１０３は、フィルタ処理が施された模範ピッチ波形を算出するようにしてもよい。
【符号の説明】
【００７３】
１…評価装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…通信部、２１…信号処理部、２３…マイクロフォン、２５…スピーカ、１００…評価基準生成機能、１０１…基準取得部、１０３…基準特徴量算出部、１０５…特定区間検出部、１０７…生成部、１０９…評価精度設定部、２００，２００Ａ…評価機能、２０１…伴奏出力部、２０３…信号取得部、２０５…歌唱特徴量算出部、２０７…評価基準取得部、２０９，２０９Ａ…特徴量比較部、２１１，２１１Ａ…音声評価部、２１３…特定区間検出部
【図１】
2016177144.tif 000003
【図２】
2016177144.tif 000004
【図３】
2016177144.tif 000005
【図４】
2016177144.tif 000006
【図５】
2016177144.tif 000007
【図６】
2016177144.tif 000008
【図７】
2016177144.tif 000009
【図８】
2016177144.tif 000010
【図９】
2016177144.tif 000011
【図１０】
2016177144.tif 000012
【図１１】
2016177144.tif 000013
【図１２】
2016177144.tif 000014
【図１３】
2016177144.tif 000015