(57)【要約】【課題】メロディに依存せずに音の評価を行うこと。【解決手段】本発明の一実施形態に係る評価装置は、入力音を取得する入力音取得部と、入力音取得部によって取得された入力音の入力音のピッチを算出するピッチ算出部と、所定の評価区間において、複数の基準ピッチとピッチ算出部によって算出された入力音のピッチとを比較するピッチ比較部と、ピッチ比較部によって比較された結果に基づいて、入力音に対する評価値を算出する評価部と、を備える。【選択図】図３
2016173562.tif 000002
【特許請求の範囲】
【請求項１】
入力音を取得する入力音取得部と、
前記入力音取得部によって取得された前記入力音のピッチを算出するピッチ算出部と、
所定の評価区間において、複数の基準ピッチと前記ピッチ算出部によって算出された前記入力音のピッチとを比較するピッチ比較部と、
前記ピッチ比較部によって比較された結果に基づいて、前記入力音に対する評価値を算出する評価部と、
を備えることを特徴とする評価装置。
【請求項２】
前記入力音の入力期間のうち、前記ピッチ算出部によって算出された前記入力音のピッチが特定の変化をする特定区間を検出する特定区間検出部をさらに備え、
前記所定の評価区間は、前記入力期間のうち前記特定区間に基づいて決められていることを特徴とする請求項１に記載の評価装置。
【請求項３】
前記入力音の入力期間のうち、前記入力音のピッチが特定の変化をする特定区間を検出する特定区間検出部と、
前記特定区間における前記入力音のピッチを、変更ルールに従って変更するピッチ変更部と、
をさらに備え、
前記ピッチ比較部による比較対象である前記ピッチ算出部によって算出された前記入力音のピッチは、前記ピッチ変更部によって変更された後の前記入力音のピッチを含むことを特徴とする請求項１に記載の評価装置。
【請求項４】
隣接する前記基準ピッチが１００ｃｅｎｔの間隔で決められていることを特徴とする請求項１に記載の評価装置。
【請求項５】
前記入力期間において、音出力装置に伴奏音を出力する伴奏音出力部をさらに備え、
前記基準ピッチは、前記出力される前記伴奏音に基づいて決められていることを特徴とする請求項１に記載の評価装置。
【請求項６】
前記基準ピッチは、前記伴奏音に対応して変更されることを特徴とする請求項５に記載の評価装置。
【請求項７】
前記評価部は、前記特定区間の検出および前記比較された結果に基づいて、前記評価値を算出することを特徴とする請求項２または請求項３に記載の評価装置。
【請求項８】
前記特定区間は、当該特定区間に含まれている前記入力音のピッチに対応して分類された技法区間と不正区間とを含み、
前記評価部は、前記技法区間と前記不正区間とでは、前記評価値の算出に与える影響が異なることを特徴とする請求項２または請求項３に記載の評価装置。
【請求項９】
入力音を取得し、
前記入力音のピッチを算出し、
所定の評価区間において、複数の基準ピッチと前記算出された前記入力音のピッチとを比較し、
前記比較された結果に基づいて、前記入力音に対する評価値を算出する
ことをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置には、歌唱音声を解析して評価する機能が備えられていることが多い。歌唱は、例えば、歌唱音声のピッチと歌唱すべきメロディのピッチとを比較し、これらの一致の程度に基づいて評価される（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１５４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、メロディを判定の基準に用いるため、歌唱曲ごとに判定の基準となる情報を用意する必要がある。なお、歌唱を伴わない楽器音などを評価しようとする場合にも、同様に、曲毎に判定の基準となる情報を用意する必要がなる。
【０００５】
本発明の目的の一つは、メロディに依存せずに音の評価を行うことにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によると、入力音を取得する入力音取得部と、前記入力音取得部によって取得された前記入力音のピッチを算出するピッチ算出部と、所定の評価区間において、複数の基準ピッチと前記ピッチ算出部によって算出された前記入力音のピッチとを比較するピッチ比較部と、前記ピッチ比較部によって比較された結果に基づいて、前記入力音に対する評価値を算出する評価部と、を備えることを特徴とする評価装置が提供される。
【０００７】
また、本発明の一実施形態によると、入力音を取得し、前記入力音のピッチを算出し、所定の評価区間において、複数の基準ピッチと前記算出された前記入力音のピッチとを比較し、前記比較された結果に基づいて、前記入力音に対する評価値を算出することをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【０００８】
本発明の一実施形態によれば、メロディに依存せずに音の評価を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態における評価装置１の構成を示すブロック図である。
【図２】本発明の第１実施形態における評価機能の構成を示すブロック図である。
【図３】本発明の第１実施形態における評価方法を説明する図である。
【図４】本発明の第２実施形態における評価方法を説明する図である。
【図５】本発明の第３実施形態における評価方法を説明する図である。
【図６】本発明の第４実施形態における評価方法を説明する図である。
【図７】本発明の第５実施形態における評価機能の構成を示すブロック図である。
【図８】本発明の第５実施形態における評価方法を説明する図である。
【図９】本発明の第６実施形態における評価機能の構成を示すブロック図である。
【図１０】本発明の第６実施形態における評価方法を説明する図である。
【図１１】本発明の第７実施形態における評価機能の構成を示すブロック図である。
【図１２】本発明のその他の実施形態における評価機能の構成を示すブロック図である。
【図１３】本発明のその他の実施形態における評価方法を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態における評価装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。
【００１１】
＜第１実施形態＞
本発明の第１実施形態における評価装置について、図面を参照しながら詳細に説明する。第１実施形態に係る評価装置は、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音声を評価する装置である。この評価装置は、所定期間ごとに決められた複数のピッチ（以下、基準ピッチという場合がある）と、歌唱者の歌唱音声のピッチ（以下、歌唱ピッチという場合がある）とを比較して、歌唱の評価を行う。メロディに依存しない評価をすることができ、この例では、さらに、歌唱技法を用いた歌唱を行うことにより基準ピッチから意図的にずらした歌唱ピッチが含まれる場合であっても、評価を下げてしまわないようにすることができる。以下、このような評価装置について説明する。
【００１２】
［ハードウエア］
図１は、本発明の第１実施形態における評価装置１の構成を示すブロック図である。評価装置１は、例えば、カラオケ装置である。なお、スマートフォン等の携帯装置であってもよい。評価装置１は、制御部１１、記憶部１３、操作部１５、表示部１７、通信部１９、および信号処理部２１を含む。これらの各構成は、バスを介して接続されている。また、信号処理部２１には、マイクロフォン２３およびスピーカ２５が接続されている。
【００１３】
制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を評価装置１において実現させる。実現される機能には、歌唱音声の評価機能が含まれる。記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、評価機能を実現するための制御プログラムを記憶する。制御プログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、評価装置１は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワーク経由でダウンロードされてもよい。
【００１４】
また、記憶部１３は、歌唱に関するデータとして、楽曲データ、歌唱音声データ、および評価基準情報を記憶する。楽曲データは、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。歌唱音声データは、歌唱者がマイクロフォン２３から入力した歌唱音声を示すデータである。この例では、歌唱音声データは、評価機能によって歌唱音声が評価されるまで、記憶部１３にバッファされる。
【００１５】
評価基準情報は、評価機能が歌唱音声の評価の基準として用いる情報である。例えば、評価基準情報には、歌唱技法を検出するための歌唱ピッチの変化（歌唱ピッチ波形）を特定するための情報が含まれる。ビブラート、コブシ、シャクリ、フォールといった歌唱技法であれば、例えば、以下のような歌唱ピッチ波形を示す。
（１）ビブラート：ピッチが細かく（所定周期以下で）高低に変化する。ビブラート検出の具体的な例は、特開２００５−１０７０８７号公報に開示されている。
（２）コブシ：ピッチが一時的に（所定時間以内で）高くなり、その後、元のピッチに戻る。コブシ検出の具体的な例は、特開２００８−２６８３７０号公報に開示されている。
（３）シャクリ：ピッチが所定時間かけて高くなり、その後安定する。シャクリ検出の具体的な例は、特開２００５−１０７３３４号公報に開示されている。
（４）フォール：ピッチが所定時間かけて低くなり、その後、歌唱が途切れる。フォール検出の具体的な例は、特開２００８−２２５１１５号公報に開示されている。
【００１６】
また、評価基準情報には、歌唱ピッチと比較されるべき基準ピッチが規定されている。基準ピッチは、複数のピッチとして規定されている。この例では、基準ピッチは、４４０Ｈｚを含み、４４０Ｈｚを基準として１００ｃｅｎｔ間隔で規定されている。なお、楽曲によって基準となるピッチが４４０Ｈｚからずれている場合、例えば、４４２Ｈｚである場合には、基準ピッチは、４４２Ｈｚを基準として１００ｃｅｎｔ間隔で規定されればよい。このずれ量については、例えば、楽曲データにチューン情報として格納されていればよい。
【００１７】
操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。なお、操作部１５と表示部１７とは一体としてタッチパネルを構成してもよい。通信部１９は、制御部１１の制御に基づいて、インターネットなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部１９において通信可能な外部装置で実現されてもよい。
【００１８】
信号処理部２１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、マイクロフォン２３において電気信号に変換されて信号処理部２１に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部１３にバッファされる。また、伴奏データは、制御部１１によって読み出され、信号処理部２１においてＤ／Ａ変換され、スピーカ２５から歌唱曲の伴奏として出力される。このとき、ガイドメロディもスピーカ２５から出力されるようにしてもよい。
【００１９】
［評価機能］
評価装置１の制御部１１が制御プログラムを実行することによって実現される評価機能について説明する。なお、以下に説明する評価機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
【００２０】
図２は、本発明の第１実施形態における評価機能の構成を示すブロック図である。評価機能１００は、伴奏出力部１０１、入力音取得部１０３、ピッチ算出部１０５、特定区間検出部１０７、ピッチ比較部１０９、および評価部１１１を含む。伴奏出力部１０１は、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部２１を介して、伴奏音をスピーカ２５から出力させる。入力音取得部１０３は、マイクロフォン２３から入力された歌唱音声を示す歌唱音声データを取得する。この例では、伴奏音が出力されている期間におけるマイクロフォン２３への入力音を、評価対象の歌唱音声として認識する。なお、入力音取得部１０３は、記憶部１３にバッファされた歌唱音声データを取得するが、記憶部１３に１曲全体の歌唱音声データが記憶された後に取得してもよいし、信号処理部２１から直接取得してもよい。また、入力音取得部１０３は、マイクロフォン２３へ入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部１９によりネットワーク経由で取得してもよい。
【００２１】
ピッチ算出部１０５は、入力音取得部１０３によって取得された歌唱音声データを解析し、歌唱ピッチ（周波数）の時間的な変化、すなわち歌唱ピッチ波形を算出する。具体的には、歌唱音声の波形のゼロクロスを用いた方法、ＦＦＴ（Fast Fourier Transform）を用いた方法等、公知の方法で歌唱ピッチ波形が算出される。特定区間検出部１０７は、歌唱ピッチ波形を解析し、歌唱音声の入力期間のうち、評価基準情報によって規定された歌唱技法を含む区間（特定区間）を検出する。このとき検出される特定区間は、歌唱技法の種類ごとに対応付けられていてもよい。
【００２２】
ピッチ比較部１０９は、歌唱音声の入力期間のうち、特定区間検出部１０７において検出された特定区間を除いた区間を、評価区間として設定する。ピッチ比較部１０９は、評価区間における歌唱ピッチ波形を、基準ピッチと比較する。比較結果として、この例では、歌唱ピッチ波形と基準ピッチとの不一致度を算出する。ここで、複数の基準ピッチが１００ｃｅｎｔ間隔で存在する。そのため、複数の基準ピッチのうち、歌唱ピッチに最も近い基準ピッチが歌唱ピッチの比較対象として選択される。歌唱ピッチ波形と基準ピッチとの差が大きいほど、不一致度が高くなるように算出される。例えば、歌唱ピッチ波形の各サンプルにおける歌唱ピッチと基準ピッチとの差分を評価区間において加算し、加算値を評価区間のサンプル数で除算することによって、不一致度が算出される。
【００２３】
なお、基準ピッチからシャープ側（高ピッチ側）およびフラット側（低ピッチ側）に所定範囲のピッチ幅を合格域とし、それ以外を不合格域として、不合格域のサンプル数を、評価区間のサンプル数で除算することによって不一致度を算出してもよい。シャープ側とフラット側とで合格域のピッチ幅が異なっていてもよい。また、不合格域のうちシャープ側とフラット側とで、サンプル数の加算値に対して異なる重み付けがされてもよい。例えば、シャープ側にずれたサンプル数の加算値の不一致度に対する影響が大きくなるように重み付けがされてもよい。これによれば、聴感上目立つとされているシャープ側にずれた歌唱に厳しくなる評価を行うことも可能である。また、不合格域の歌唱ピッチ波形の各サンプルにおける歌唱ピッチと基準ピッチとの差分を評価区間において加算し、加算値を評価区間のサンプル数で除算することによって、不一致度が算出されてもよい。
【００２４】
このようにして、メロディに依存しない歌唱評価を行うことができる。また、この例では、歌唱ピッチと基準ピッチとが、歌唱音声の入力期間全体ではなく、特定区間を除いた区間において比較している。したがって、特定区間における歌唱技法による意図的な歌唱ピッチのずれが、不一致度を増加させてしまわないようにすることもできる。なお、評価区間をさらに複数に分割された区間に分けて、それぞれの区間において不一致度を算出するようにしてもよい。複数に分割された区間は、それぞれ一部が重複した区間を有していてもよい。
【００２５】
評価部１１１は、ピッチ比較部１０９における比較結果に基づいて、歌唱音声の評価の指標となる評価値を算出する。この例では、ピッチ比較部１０９で算出された不一致度が高いほど評価値が低く算出され、歌唱音声の評価が悪くなる。なお、評価部１１１は、この不一致度のみに基づいて評価値を算出するのではなく、さらに他の要素に基づいて評価値を算出してもよい。他の要素は、歌唱技法および歌唱音声データから抽出可能な他のパラメータなどが想定される。歌唱技法を評価値に反映させる場合には、特定区間検出部１０７において検出された特定区間に対応する歌唱技法を用いればよい。他のパラメータとしては、例えば、音量変化がある。音量変化を用いれば、歌唱の抑揚を評価に加えることもできる。評価部１１１による評価結果は、表示部１７において提示されてもよい。以上のとおり、歌唱音声データが入力されて評価値を算出するまでの評価方法は、評価機能１００の各構成における処理が順に実行されることにより提供される。
【００２６】
［歌唱評価の例］
上述した評価機能１００による歌唱音声の評価方法について、図３に示す具体的な歌唱ピッチの例を用いて説明する。
【００２７】
図３は、本発明の第１実施形態における評価方法を説明する図である。図３（ａ）に示す波形は、歌唱の一部における歌唱ピッチ波形の例である。縦軸はピッチを示す。ピッチ方向に１００ｃｅｎｔごとに配置された破線は複数の基準ピッチを示している。横軸は時間の経過を示している。特定区間検出部１０７は、歌唱ピッチ波形から、歌唱技法が存在する特定区間を検出する。図３（ａ）に示す区間Ｓは「シャクリ」、区間Ｆは「フォール」、区間Ｋは「コブシ」、区間Ｖは「ビブラート」にそれぞれ対応する特定区間である。したがって、評価区間は、区間Ｓ、Ｆ、Ｋ、Ｖに対応する特定区間以外となる。
【００２８】
ピッチ比較部１０９において算出される不一致度は、各サンプルにおける歌唱ピッチと基準ピッチとの差分の加算値、すなわち、図３（ｂ）に示す斜線部分の面積に対応している。区間Ｖにおいては、ビブラートのピッチ変化の特徴から、図３（ｃ）に示す斜線部分の面積が大きくなる。そのため、区間Ｖを歌唱ピッチと基準ピッチとの比較の対象に含める場合に、ビブラートの歌唱技法を用いた豊かな歌唱であるにもかかわらず、不一致度が大きく算出されて歌唱の評価を下げてしまう場合がある。このような場合であっても、本実施形態における評価装置１のように、区間Ｖを含む特定区間を除いた評価区間において歌唱ピッチと基準ピッチとの比較をすれば、歌唱技法を用いることによって評価を下げてしまわないようにすることもできる。ここでは、歌唱技法としてビブラートの例を示したが、「シャクリ」、「コブシ」、「フォール」でも同様である。
【００２９】
＜第２実施形態＞
図４は、本発明の第２実施形態における評価方法を説明する図である。第２実施形態では、ピッチ比較部１０９において予め特定区間を除去し、評価区間のみを抽出した歌唱ピッチ波形を生成し、歌唱ピッチと基準ピッチとを比較する。この方法は、歌唱曲全体の歌唱音声データをまとめて解析するときに用いると、処理の効率がよい。
【００３０】
＜第３実施形態＞
第３実施形態では、歌唱評価に用いる不一致度の算出方法が異なる評価方法である。上記実施形態では、不一致度は、ピッチ比較部１０９において、各サンプルにおける歌唱ピッチと基準ピッチとの差分の加算値を用いて算出された。第３実施形態では、所定のピッチ幅（例えば、２ｃｅｎｔ）単位でピッチを区分し、この区分された各ピッチ範囲における歌唱ピッチの度数、すなわち、各ピッチ範囲における歌唱ピッチが含まれるサンプル数を算出する。この度数の算出には、上述の実施形態と同様に、評価区間の歌唱ピッチが用いられる。
【００３１】
図５は、本発明の第３実施形態における評価方法を説明する図である。縦軸はピッチ（各ピッチ範囲）を示す。ピッチ方向に１００ｃｅｎｔごとに配置された破線は複数の基準ピッチを示している。横軸は時間の経過を示している。図５（ａ）は、歌唱評価が高くなる歌唱ピッチの度数分布を示している。図５（ｂ）は、歌唱評価が低くなる歌唱ピッチの度数分布を示している。
【００３２】
図５（ａ）と図５（ｂ）を比較すると、ピークの位置はほとんど同じであるが、図５（ａ）に示す度数分布の方が、高いピーク（ピークとディップの差が大きい）を有し、そのピークの幅が狭い。このことは、歌唱ピッチが基準ピッチ近傍で安定していることを示しているため、算出される不一致度は低くなる。一方、図５（ｂ）では基準ピッチに対する歌唱ピッチのばらつきが大きいことを示しているため、不一致度は大きくなる。また、ピークの位置が基準ピッチからずれているほど、不一致度を高くしてもよい。このように、第３実施形態のピッチ比較部１０９は、各ピッチ範囲で歌唱ピッチの度数分布に基づいて、不一致度を算出してもよい。
【００３３】
＜第４実施形態＞
第４実施形態では、第３実施形態の評価方法において、度数分布のピークが基準ピッチからずれている場合でも、所定の条件を満たす場合には、不一致度を高くしないようにする評価方法である。
【００３４】
図６は、本発明の第４実施形態における評価方法を説明する図である。図６（ａ）は、図５（ａ）とは度数分布のピークの位置（矢印部分）が基準ピッチよりも低くなっている。ただし、全てのピークについて、全体的に基準ピッチよりも低くなっている。このような場合には、ピッチ比較部１０９は、度数分布と基準ピッチとの関係をピッチ方向に調整する。このとき、度数分布の各ピークに対して、ピークの各々から最も近い基準ピッチとのピッチ差の合計が最も少なくなるように、度数分布と基準ピッチとの関係が調整される。例えば、図６（ａ）の状態から、図６（ｂ）に示すように基準ピッチを下げることによって、ピークと基準ピッチとをほぼ一致させることができる。このように調整した上で、不一致度が算出される。
【００３５】
このように度数分布と基準ピッチとの関係を調整することによって、歌唱音声が絶対的なピッチから外れていても、歌唱ピッチが１００ｃｅｎｔの倍数で正しく遷移していれば歌唱評価を高くすることができる。また、楽曲の基準となるピッチが４４０Ｈｚからずれている場合において、ずれたピッチに基づく伴奏にあわせて歌唱した場合に、歌唱評価を高くすることができる。第３実施形態での評価方法では、図６（ａ）の度数分布では、ピークと基準ピッチのピッチ差のため歌唱評価が低くなってしまうことになるが、第４実施形態のように図６（ｂ）の度数分布に調整すれば、歌唱評価が低くならないようにすることができる。
【００３６】
＜第５実施形態＞
上記実施形態では、歌唱音声の入力期間から特定区間を除いた区間を、評価区間としていたが、第５実施形態では、少なくとも特定区間においては歌唱ピッチ波形を別の波形に変更して評価する。
【００３７】
図７は、本発明の第５実施形態における評価機能の構成を示すブロック図である。評価機能１００Ａのうち、上記実施形態と異なる構成（ピッチ変更部１１３、ピッチ比較部１０９Ａ）について説明する。ピッチ変更部１１３は、特定区間検出部１０７において検出された特定区間の歌唱ピッチ波形を、歌唱技法に応じた変更ルールに従って変更する。具体例として、図８を用いて説明する。
【００３８】
図８は、本発明の第５実施形態における評価方法を説明する図である。図８において、破線で示した歌唱ピッチ波形は、特定区間において変更され、実線で示した歌唱ピッチ波形となる。この例で示すように、歌唱ピッチ波形は、基準ピッチから外れた歌唱ピッチを少なくするように変更されている。例えば、「シャクリ」、「フォール」では、歌唱ピッチが急峻に変化するように変更される。「コブシ」では、歌唱ピッチの急峻な上昇および下降を平滑化するように変更される。「ビブラート」では、周期的な歌唱ピッチの変動を平滑化（例えば、周期当たりの平均に平滑化）するように変更される。この際、特定区間だけではなく、特定区間の周辺部分においても変更されてもよい。なお、特定区間のうち、歌唱技法における歌唱ピッチ波形の特定の変化をする部分のみ除去し、結果的に歌唱ピッチの変化が少ない部分、すなわち歌唱ピッチ波形がほぼ水平になっている部分のみを抽出して評価されるようにしてもよい。
【００３９】
ピッチ比較部１０９Ａは、ピッチ変更部１１３によって変更された歌唱ピッチと基準ピッチとを比較する。比較対象となる区間は、上記実施形態とは異なり、歌唱音声の入力期間となる。すなわち、特定区間を除くものではない。一方、上記実施形態とは異なり、歌唱技法が検出された特定区間において歌唱ピッチが変更され、その結果、歌唱ピッチは基準ピッチから外れる期間が短くなっている。したがって、特定区間を除いた評価を実行しなくても、不一致度が高くなりにくい。このようにして歌唱評価を実行することも可能である。なお、全ての特定区間において歌唱ピッチを変更するのではなく、一部の特定区間については、上記実施形態のように評価対象から除外してもよい。
【００４０】
＜第６実施形態＞
上記実施形態では、歌唱ピッチと比較される基準ピッチは歌唱曲全体にわたって変更されなかったが、第６実施形態では、歌唱曲の位置によって基準ピッチが変更される。
【００４１】
図９は、本発明の第６実施形態における評価機能の構成を示すブロック図である。評価機能１００Ｂのうち、上記実施形態と異なる構成（コード検出部１１５、ピッチ比較部１０９Ｂ）について説明する。コード検出部１１５は、伴奏出力部１０１によって出力される伴奏音を解析し、歌唱曲の各期間におけるコードを検出する。ピッチ比較部１０９Ｂは、コード検出部１１５において検出されたコードに基づいて、各期間における基準ピッチを設定し、歌唱ピッチと比較する。この例では、コード構成音が基準ピッチとして設定される。具体例として、図１０を用いて説明する。
【００４２】
図１０は、本発明の第６実施形態における評価方法を説明する図である。この例では、前半期間のコードが「Ｄｍ７」と検出され、後半期間のコードが「Ｇ７」と検出された場合を示している。そのため、「Ｄｍ７」の前半期間では、基準ピッチが「Ｄ」、「Ｆ」、「Ａ」、「Ｃ」として設定される。「Ｇ７」の後半期間では、基準ピッチが「Ｇ」、「Ｂ」、「Ｄ」、「Ｆ」として設定される。ピッチ比較部１０９Ｂは、評価区間において、歌唱ピッチと、コードに応じて設定された基準ピッチとを比較して、不一致度を算出する。
【００４３】
このように、基準ピッチは歌唱曲の全体にわたって固定されていなくてもよく、評価区間において変更されていてもよい。また、上記の通り、伴奏音に基づいて基準ピッチが決められる場合には、基準ピッチをコード構成音としてもよいし、スケール構成音としてもよい。また、歌唱曲の調を伴奏音から検出し、この調に基づいて基準ピッチが決められてもよい。なお、基準ピッチが歌唱曲の全体にわたって固定されている場合であっても評価区間において変更される場合であっても、基準ピッチが予め決められていてもよい。例えば、歌唱曲に対して予め設定された調に基づいて、この調に基づいた基準ピッチが予め決められてもよい。この場合には、予め基準ピッチが１００ｃｅｎｔ間隔で決められたピッチの一部が用いられることになる。また、上記実施形態では、基準ピッチは１００ｃｅｎｔ間隔（半音間隔）で決められていたが、周波数が対数的に等間隔な１００ｃｅｎｔ以外の別の間隔（例えば、５０ｃｅｎｔ間隔、２００ｃｅｎｔ間隔など）であってもよい。
【００４４】
＜第７実施形態＞
第７実施形態では、さらに、歌唱者が歌唱したメロディの各構成音を発したタイミングを歌唱評価に加えた評価機能１００Ｃについて説明する。
【００４５】
図１１は、本発明の第７実施形態における評価機能の構成を示すブロック図である。評価機能１００Ｃのうち、上記実施形態と異なる構成（タイミング評価部１１７、評価部１１１Ｃ）について説明する。タイミング評価部１１７は、伴奏音を解析して歌唱曲の各期間におけるビート、すなわち、拍のタイミングを検出する。また、タイミング評価部１１７は、歌唱音声の音量変化に基づいて、ノートオンタイミング（メロディの構成音を歌唱者が発したと想定されるタイミング）を検出する。そして、タイミング評価部１１７は、検出した拍のタイミングとノートオンタイミングとを比較する。評価部１１１Ｃは、評価値の算出において、タイミング評価部１１７における比較結果を反映させる。すなわち、拍のタイミングとノートオンタイミングとが一致しているほど、高い評価になるように評価値が算出される。
【００４６】
＜第８実施形態＞
上記実施形態では、特定区間検出部１０７は、歌唱ピッチに、歌唱技法に対応した波形が含まれている特定区間を検出していた。第８実施形態においては、その他においても評価区間として除外すべき特定区間が検出される。例えば、特定区間は、加点対象となるような歌唱技法に対応した区間（技法区間）と加点対象とならないような区間（不正区間）とに分類されてもよい。不正区間は、歌唱音声として入力された音が、評価されるべきではない歌唱（例えば、マイクロフォン２３に入力された伴奏音などの歌唱以外の音）である場合、または高評価を狙って特殊な歌唱をした場合として検出された区間である。
【００４７】
入力された歌唱音声が、例えば、同じ歌唱ピッチが所定時間以上連続する場合に不正区間として検出される。具体的には、歌唱ピッチのデータ列を微分したものを正負でそれぞれ積算し、一定以上の起伏が歌唱ピッチに存在しない場合である。同じ歌唱ピッチで歌唱し続けて基準ピッチに一致させようとすることは比較的容易である。そのため、同じ歌唱ピッチで歌唱し続ければ、高評価が得られてしまう。したがって、このような場合には不正な歌唱であると検出されるべきである。一方、歌唱曲のメロディとは関係なく、歌唱ピッチを変動させて歌唱することは容易ではない。そのため、一定以上の歌唱ピッチの起伏があれば、歌唱曲のメロディを歌唱しているものと推定される。
【００４８】
また、入力音に伴奏音が回り込んで、歌唱音ではない可能性が高いときには、不正区間として検出する。マイクロフォン２３へ入力された音に伴奏音が含まれている可能性が高い場合は、以下に示す歌唱ピッチ波形を持つ区間が検出される。例えば、歌唱ピッチが所定時間にわたって連続しない細切れになっている場合、歌唱ピッチの変化が急激すぎる場合、歌唱ピッチが短期間で不連続的に大きく変化する場合（ピッチの跳躍がある場合）等である。
【００４９】
なお、歌唱音声データから抽出される歌唱ピッチ以外のパラメータから不正区間を検出してもよい。例えば、音量が所定時間以上にわたって同じである（またはほとんど変化しない）場合、音量変化から判定されるノート（一つのメロディ音）が連続して所定時間（例えば１０秒）以上続く場合、または、フォルマントが通常の歌唱で得られるフォルマントとは大きく異なる（ピークの分布の相関が一定値以下である場合など）場合には、通常の歌唱以外の音（例えば、伴奏音、楽器音等）が含まれている可能性が高い。したがって、このような条件を満たす区間は、不正区間として検出される。
【００５０】
上記のような不正区間は、特定区間として評価区間から除外する。特定区間のうち歌唱技法の検出がされた部分（技法区間）については、評価部１１１が歌唱ピッチにかかわらず、歌唱技法を使っていることにより評価を高くするように評価値を算出してもよいことは、上述した。一方、不正区間については、評価値の算出に影響を与えなくてもよい。また、意図的に高評価を狙った不正な入力音である場合もあるため、評価を低くするように評価値が算出されてもよい。
【００５１】
＜その他の実施形態＞
上記実施形態において、評価区間は、歌唱音声の入力期間から特定区間を除外した区間として設定していたが、これに限られない。例えば、特定区間の前または後の所定区間も評価の対象外となるように評価区間が設定されてもよい。また、特定区間の一部が評価区間に組み込まれてもよい。なお、評価区間は、特定区間とは関係なく、所定の区間として予め決められていてもよい。この場合には、特定区間の検出は不要であるから、図１２に示すように、特定区間検出部がなく、また、特定区間とは関係なく決められた評価区間において歌唱ピッチ波形を基準ピッチと比較する比較部１０９Ｄを含む評価機能１００Ｄが実現されてもよい。
【００５２】
また、この例における評価方法は、図１３に示すフローチャートで示される。すなわち、この例における評価方法は、入力音を取得し（ステップＳ１０１）、取得された入力音のピッチを算出し（ステップＳ１０３）、所定の評価区間において、複数の基準ピッチと、算出された入力音のピッチとを比較し（ステップＳ１０５）、比較された結果に基づいて、入力音に対する評価値を算出する（ステップＳ１０７）ことの各処理を含む。なお、第１実施形態のように、入力音の入力期間のうち、算出された入力音のピッチが特定の変化をする特定区間を検出するステップを有していてもよい。この場合には、所定の評価区間は、入力期間のうち特定区間に基づいて決められていてもよい。また、第５実施形態のように、特定区間における入力音のピッチを変更ルールに従って変更するステップを有することによって、比較対象である入力音のピッチが、変更された後の入力音のピッチを含むようになっていてもよい。
【００５３】
ピッチ比較部１０９において算出される不一致度は、基準ピッチと歌唱ピッチとの差分をサンプルごとに加算していたが、この差分が大きいほど、不一致度がさらに大きくなるように重み付けをしてもよい。例えば、差分が１０ｃｅｎｔである場合に対して２０ｃｅｎｔである場合には、差分が２倍になるのではなく３倍になるようにすればよい。一方、基準ピッチと歌唱ピッチとの差分が所定範囲より小さい場合（例えば、２ｃｅｎｔ以下）である場合には、一致（差分０ｃｅｎｔ）しているものとして扱い、不一致度を大きくしないようにしてもよい。
【００５４】
また、基準ピッチと歌唱ピッチとの差分は、フラット側とシャープ側とに分けて加算してもよい。そして、フラット側の不一致度とシャープ側の不一致度とをそれぞれ算出してもよい。不一致度の大きさがいずれかに偏っている場合には、シャープ気味に外れた歌唱なのか、フラット気味に外れた歌唱なのかを判定することもできる。
【００５５】
入力音取得部１０３によって取得される歌唱音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。また、楽器音である場合には、特定区間として検出される技法として、例えば、ビブラート、スタッカート、ベンドアップ（シャクリ）、ベンドダウン（フォール）、スライド（ポルタメント）がある。これらの技法のうち、ピッチ変化を伴うビブラート、ベンドアップ、ベンドダウン、スライドが、実施形態と同様な方法で検出される。ピッチ比較部１０９において算出される不一致度に影響を及ぼすため、このようにして検出された特定区間においては、歌唱の場合と同様に評価区間における評価から除外される。これら以外にも、トリルおよび極めて短い修飾音等の音符の表現、サックスのグロール、ギターのカッティング等の音色に関する技法についても、ピッチの取得精度に影響があるため特定区間として検出して評価の除外の対象としてもよい。さらに複音の発音ができる楽器は誤動作を防止するために複音を検出して除去の対象としてもよい。なお、第８実施形態に示すような技法区間および不正区間の検出の場合を含み、全ての実施形態において、マイクロフォン２３への入力音は歌唱音声に限らず楽器音であってもよい。
【符号の説明】
【００５６】
１…評価装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…通信部、２１…信号処理部、２３…マイクロフォン、２５…スピーカ、１００…評価機能、１０１…伴奏出力部、１０３…入力音取得部、１０５…ピッチ算出部、１０７…特定区間検出部、１０９…ピッチ比較部、１１１…評価部、１１３…ピッチ変更部、１１５…コード検出部、１１７…タイミング評価部
【図１】
2016173562.tif 000003
【図２】
2016173562.tif 000004
【図３】
2016173562.tif 000005
【図４】
2016173562.tif 000006
【図５】
2016173562.tif 000007
【図６】
2016173562.tif 000008
【図７】
2016173562.tif 000009
【図８】
2016173562.tif 000010
【図９】
2016173562.tif 000011
【図１０】
2016173562.tif 000012
【図１１】
2016173562.tif 000013
【図１２】
2016173562.tif 000014
【図１３】
2016173562.tif 000015