(57)【要約】【課題】演奏音や歌唱音声などの種々の入力音における決められた一つの音高に対する精度の高い評価を行う。【解決手段】本発明の一実施形態に係るプログラムは、入力音を取得し、前記入力音に基づいてピッチデータを時系列に取得し、取得した前記ピッチデータのうち、所定区間のピッチデータを所定の時間ごとに蓄積し順次更新し、前記所定区間の入力音に基づいて、前記所定区間における有効区間を特定し、前記有効区間のピッチデータと所定のリファレンス音情報とを比較し、比較結果に基づいて前記所定区間のピッチデータの評価値を算出すること、をコンピュータに実行させる。【選択図】図２
2018146929.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
入力音を取得し、
前記入力音に基づいてピッチデータを時系列に取得し、取得した前記ピッチデータのうち、所定区間のピッチデータを所定の時間ごとに蓄積し順次更新し、
前記所定区間の入力音に基づいて、前記所定区間における有効区間を特定し、
前記有効区間のピッチデータと所定のリファレンス音情報とを比較し、比較結果に基づいて前記所定区間のピッチデータの評価値を算出すること、
を実行させるためのプログラム。
【請求項２】
前記有効区間を特定することとしては、前記所定区間のピッチデータを順次取得し、前記所定区間のピッチデータに基づいて、前記所定区間における前記有効区間を特定すること、を前記コンピュータに実行させる、請求項１に記載のプログラム。
【請求項３】
前記有効区間を特定することとしては、前記所定区間におけるピッチの線形近似曲線の傾きの絶対値に基づいて、前記所定区間における前記有効区間を特定すること、を前記コンピュータに実行させる、請求項２に記載のプログラム。
【請求項４】
前記有効区間を特定することとしては、前記所定区間におけるピッチの分散に基づいて、前記所定区間における前記有効区間を特定すること、を前記コンピュータに実行させる、請求項２に記載のプログラム。
【請求項５】
前記入力音の音量データを取得し、取得した前記音量データを前記所定区間のピッチデータに関連付けて所定の時間ごとに蓄積し順次更新させること、
を前記コンピュータにさらに実行させ、
前記有効区間を特定することとしては、前記所定区間の音量データに基づいて、前記所定区間における前記有効区間を特定すること、を前記コンピュータに実行させる、請求項１に記載のプログラム。
【請求項６】
前記有効区間を特定することとしては、前記所定区間の音量データの変化量に基づいて、前記所定区間における前記有効区間を特定すること、を前記コンピュータに実行させる、請求項５に記載のプログラム。
【請求項７】
前記所定区間のピッチデータの評価値を算出することとしては、前記有効区間における代表ピッチを特定し、前記代表ピッチと前記所定のリファレンス音情報のピッチと比較して、前記所定区間のピッチデータの評価値を算出すること、を前記コンピュータに実行させる、請求項１乃至請求項６の何れか一項に記載のプログラム。
【請求項８】
前記所定区間のピッチデータの評価値を算出することとしては、前記有効区間におけるピッチデータが前記所定のリファレンス音情報に対応するピッチを基準とした所定のピッチ範囲内であるか否かに基づいて、前記所定区間のピッチデータの評価値を算出すること、を前記コンピュータに実行させる、請求項１乃至請求項６の何れか一項に記載のプログラム。
【請求項９】
前記所定区間のピッチデータの評価値を算出することとしては、前記有効区間におけるピッチデータの度数分布に基づいて、前記所定区間のピッチデータの評価値を算出すること、を前記コンピュータに実行させる、請求項１乃至請求項６の何れか一項に記載のプログラム。
【請求項１０】
入力音を取得する入力音取得部と、
前記入力音に基づいてピッチデータを時系列に取得し、取得した前記ピッチデータのうち、所定区間のピッチデータを所定の時間ごとに蓄積し順次更新する特徴量取得部と、
前記所定区間の入力音に基づいて、前記所定区間における有効区間を特定する有効区間特定部と、
前記有効区間のピッチデータと所定のリファレンス音情報とを比較し、比較結果に基づいて前記所定区間のピッチデータの評価値を算出する評価部と、
を備える、評価装置。
【請求項１１】
入力音を取得し、
前記入力音に基づいてピッチデータを時系列に取得し、取得した前記ピッチデータのうち、所定の区間のピッチデータを所定の時間ごとに蓄積し順次更新し、
前記所定区間の入力音に基づいて、前記所定区間における有効区間を特定し、
前記有効区間のピッチデータと所定のリファレンス音情報とを比較し、比較結果に基づいて前記所定区間のピッチデータの評価値を算出すること、
を含む、評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音を評価する技術に関する。
【背景技術】
【０００２】
演奏音や歌唱音声を評価する評価装置には、入力音を解析して評価する機能が備えられている。音の評価には様々な方法が用いられる。例えば、特許文献１には、リファレンスデータを実際の歌唱に近くなるように加工し、歌唱音声を加工されたリファレンスデータと比較し、歌唱音声を採点するカラオケ装置が開示されている。また、特許文献２には、所定の評価区間において入力音のピッチと基準ピッチを比較して、比較結果に基づいて入力音の評価を行う評価装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０７３２８号公報
【特許文献２】特開２０１６−１７３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１及び特許文献２の技術では、所定の期間に入力される入力音に対するまとまった評価はできるものの、単音に対する評価はできない。
【０００５】
本発明の課題の一つは、演奏音や歌唱音声などの種々の入力音における決められた一つの音高に対する精度の高い評価を行うことにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によると、コンピュータに、入力音を取得し、前記入力音に基づいてピッチデータを時系列に取得し、取得した前記ピッチデータのうち、所定区間のピッチデータを所定の時間ごとに蓄積し順次更新し、前記所定区間の入力音に基づいて、前記所定区間における有効区間を特定し、前記有効区間のピッチデータと所定のリファレンス音情報とを比較し、比較結果に基づいて前記所定区間のピッチデータの評価値を算出すること、を実行させるためのプログラムが提供される。
【０００７】
前記有効区間を特定することとしては、前記所定区間のピッチデータを順次取得し、前記所定区間のピッチデータに基づいて、前記所定区間における前記有効区間を特定すること、であってもよい。
【０００８】
前記有効区間を特定することとしては、前記所定区間におけるピッチの線形近似曲線の傾きの絶対値に基づいて、前記所定区間における前記有効区間を特定すること、であってもよい。
【０００９】
前記有効区間を特定することとしては、前記所定区間におけるピッチの分散に基づいて、前記所定区間における前記有効区間を特定すること、であってもよい。
【００１０】
前記入力音の音量データを取得し、取得した前記音量データを前記所定区間のピッチデータに関連付けて所定の時間ごとに蓄積し順次更新させること、を前記コンピュータに実行させるようにしてもよい。この場合、前記有効区間を特定することとしては、前記所定区間の音量データに基づいて、前記所定区間における前記有効区間を特定すること、であってもよい。
【００１１】
前記有効区間を特定することとしては、前記所定区間の音量データの変化量に基づいて、前記所定区間における前記有効区間を特定すること、であってもよい。
【００１２】
前記所定区間のピッチデータの評価値を算出することとしては、前記有効区間における代表ピッチを特定し、前記代表ピッチと前記所定のリファレンス音情報のピッチと比較して、前記所定区間のピッチデータの評価値を算出すること、であってもよい。
【００１３】
前記所定区間のピッチデータの評価値を算出することとしては、前記有効区間におけるピッチデータが前記所定のリファレンス音情報に対応するピッチを基準とした所定のピッチ範囲内であるか否かに基づいて、前記所定区間のピッチデータの評価値を算出すること、であってもよい。
【００１４】
前記所定区間のピッチデータの評価値を算出することとしては、前記有効区間におけるピッチデータの度数分布に基づいて、前記所定区間のピッチデータの評価値を算出すること、であってもよい。
【００１５】
本発明の一実施形態によると、入力音を取得する入力音取得部と、前記入力音に基づいてピッチデータを時系列に取得し、取得した前記ピッチデータのうち、所定区間のピッチデータを所定の時間ごとに蓄積し順次更新する特徴量取得部と、前記所定区間の入力音に基づいて、前記所定区間における有効区間を特定する有効区間特定部と、前記有効区間のピッチデータと所定のリファレンス音情報とを比較し、比較結果に基づいて前記所定区間のピッチデータの評価値を算出する評価部と、を備える、評価装置が提供される。
【００１６】
本発明の一実施形態によると、入力音を取得し、前記入力音に基づいてピッチデータを時系列に取得し、取得した前記ピッチデータのうち、所定の区間のピッチデータを所定の時間ごとに蓄積し順次更新し、前記所定区間の入力音に基づいて、前記所定区間における有効区間を特定し、前記有効区間のピッチデータと所定のリファレンス音情報とを比較し、比較結果に基づいて前記所定区間のピッチデータの評価値を算出すること、を含む、評価方法が提供される。
【発明の効果】
【００１７】
本発明の一実施形態によれば、演奏音や歌唱音声などの種々の入力音について決められた一つの音高に対する精度の高い評価を行うことが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態における評価装置の構成を示すブロック図である。
【図２】本発明の一実施形態における評価機能の構成を示すブロック図である。
【図３】本発明の一実施形態における評価機能の構成によって実行される、入力音の評価方法の流れを示したフローチャートである。
【図４Ａ】所定区間における有効区間特定の概念の一例を説明するための図である。
【図４Ｂ】（ａ）所定区間におけるピッチの頻度を示す図である。（ｂ）所定区間におけるピッチデータの時系列の変動を示す図である。
【図５Ａ】該所定区間におけるピッチデータの評価値を算出する概念の一例を説明するための図である。
【図５Ｂ】該所定区間におけるピッチデータの評価値を算出する概念の別の一例を説明するための図である。
【図６Ａ】該所定区間におけるピッチデータの評価値を算出する概念の一例を説明するための図である。
【図６Ｂ】該所定区間におけるピッチデータの評価値を算出する概念の別の一例を説明するための図である。
【図７】所定区間における有効区間特定の概念の一例を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施形態における評価装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。
【００２０】
本発明の一実施形態における評価装置について、図面を参照しながら詳細に説明する。本発明の一実施形態に係る評価装置は、演奏者によって演奏された楽器の入力音を評価する機能を備えた装置である。この評価装置は、入力音のピッチデータを時系列に取得し、取得したピッチデータにおける所定区間のピッチデータを蓄積し、所定時間ごとに該所定区間のピッチデータを順次更新する。そして、当該評価装置は、該所定区間の入力音に基づいて、該所定区間における有効区間を特定し、該有効区間のピッチデータに基づいて該所定区間のピッチデータの評価行う。
【００２１】
［ハードウエア］
図１は、本発明の一実施形態における評価装置１０の構成を示すブロック図である。評価装置１０は、評価装置１０は、制御部１１、記憶部１３、表示部１５、および信号処理部１７を備える。信号処理部１７には、音入力部（例えば、マイクロフォン）１９が接続されている。また、評価装置１０は、任意で操作部２１及び通信部２３を備えてもよい。これらの各構成は、バス２５を介して相互に接続されている。
【００２２】
制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラム１３ａをＣＰＵにより実行して、各種機能を評価装置１０において実現させる。実現される機能には、演奏者に演奏による楽器の入力音の評価機能が含まれる。また、制御部１１は、入力音をＦＩＦＯ（First In, First Out）に保存する入力音記憶部１１ａを含む。入力音記憶部１１ａはＦＩＦＯメモリである。
【００２３】
記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、評価機能を実現するための制御プログラム１３ａを記憶する。制御プログラム１３ａは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、評価装置１０は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム１３ａは、インターネット等のネットワーク経由でダウンロードされてもよい。また、記憶部１３は、リファレンス音情報１３ｂを記憶する。リファレンス音情報１３ｂは、入力音の評価の基準として用いられる基準音情報である。
【００２４】
表示部１５は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいて演奏者による入力音に対する評価を表す画面が表示される。
【００２５】
信号処理部１７は、Ａ／Ｄコンバータ等を含む。演奏者によって演奏された楽器の入力音は、音入力部１９において電気信号に変換されて信号処理部１７に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。
【００２６】
操作部２１は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。評価装置１０の使用者は、評価対象になる入力音に対応するリファレンス音を操作部２１によって指定してもよい。通信部２３は、制御部１１の制御に基づいて、インターネットやＬＡＮなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部２３において通信可能な外部装置で実現されてもよい。
【００２７】
［評価機能］
評価装置１０の制御部１１が記憶部１３に記憶された制御プログラム１３ａを実行することによって実現される評価機能について説明する。なお、以下に説明する評価機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
【００２８】
図２は、本発明の一実施形態における評価機能１００の構成を示すブロック図である。図２を参照すると、評価機能１００は、入力音取得部１０３、特徴量取得部１０５、有効区間特定部１０７、及び評価部１０９を含む。
【００２９】
図３は、図２に示した、本発明の一実施形態における評価機能１００の構成によって実行される、入力音の評価方法の流れを示したフローチャートである。図２及び図３を参照して、本発明の一実施形態における評価機能１００の構成によって実行される、入力音の評価方法の一例を簡単に説明する。
【００３０】
まず、入力音取得部１０３によって入力音が取得される（Ｓ１）。次に、特徴量取得部１０５によって、取得された入力音に基づいて特徴量が取得され（Ｓ２）、ＦＩＦＯに保存される。ＦＩＦＯに保存された所定区間の特徴量に基づいて、有効区間特定部１０７によって、該所定区間における有効区間が特定される（Ｓ３）。即ち、該所定区間に有効区間は存在しているか否か判定される。有効区間が特定されない場合、後述するＳ５に進む。有効区間が特定された場合、評価部１０９によって、特定された有効区間のピッチデータに基づいて、該有効区間が含まれる所定区間のピッチデータに対する評価値が算出される（Ｓ４）。評価値が算出されると、入力音に対する評価が終了したか否かが判定される（Ｓ５）。入力音に対する評価が終了していない場合、次の所定区間における有効区間の特定に進む。最初の入力音の取得から一定時間経過後、入力音に対する評価が終了してもよく、評価装置１０の使用者による操作で終了してもよい。
【００３１】
以下、本発明の一実施形態に係る評価機能１００における、入力音取得部１０３、特徴量取得部１０５、有効区間特定部１０７及び評価部１０９について説明する。
【００３２】
入力音取得部１０３は、音入力部１９から入力された入力音を取得する。ここで、入力音取得部１０３によって取得された入力音は、信号処理部１７によってデジタル化されている。なお、入力音取得部１０３は、入力音を信号処理部１７から直接取得するが、いったん記憶部１３に記憶された入力音を取得するようにしてもよい。また、入力音取得部１０３は、音入力部１９への入力音を取得する場合に限らず、外部装置へのデジタル化された入力音を、通信部２３によりネットワーク経由で取得してもよい。本実施形態においては、入力音取得部１０３は、順次入力される入力音を、特徴量取得部１０５に順次出力する。
【００３３】
特徴量取得部１０５は、入力音取得部１０３によって取得された入力音から、入力音の特徴量を時系列に検出する。入力音の特徴量は、入力音のピッチを含む。特徴量取得部１０５は、フレーム（所定期間で区切られたデータサンプル）ごとに入力音が示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによって入力音のピッチ（周波数）を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。また、特徴量取得部１０５は、入力音にＦＦＴ（Fast Fourier Transform）を施して得られるスペクトルから入力音のピッチを特定してもよい。このようにして検出したピッチを示すピッチデータの所定区間のデータがＦＩＦＯに順次保存される。ＦＩＦＯにおけるバッファサイズ、つまり該所定区間の長さは、特に限定されず任意であるが、例えば、直近〜数百ｍｓｅｃであってもよい。
【００３４】
また、特徴量取得部１０５は、入力音の特徴量として、入力音の音量を検出してもよい。特徴量取得部１０５は、入力音取得部１０３によって取得された入力音から、入力音の音量を時系列に検出する。特徴量取得部１０５は、入力音に基づいて、入力音の音量の時間的な変化（音量波形）を検出する。特徴量取得部１０５は、入力音が示す音声信号の振幅に基づいて音量を検出する。特徴量取得部１０５は、検出した入力音の音量を示す音量データをピッチデータに関連付けて所定区間ごとにＦＩＦＯに保存する。
【００３５】
有効区間特定部１０７は、特徴量取得部１０５によって取得され、ＦＩＦＯに保存された、入力音の所定区間の特徴量に基づいて、該所定区間における有効区間を特定する。有効区間特定部１０７は、特徴量取得部１０５によって取得された特徴量のうち、ピッチデータに基づいて、所定区間における有効区間を特定する。しかしながら、有効区間特定部１０７は、特徴量取得部１０５によって取得された特徴量のうち、音量データに基づいて、所定区間における有効区間を特定してもよい。また、有効区間特定部１０７は、ピッチデータ及び音量データに基づいて、所定区間における有効区間を特定してもよい。ここで、有効区間とは、所定区間における、所定のリファレンス音情報との比較対象となるピッチデータに対応する区間を意味する。本実施形態では、有効区間特定部１０７が、特徴量取得部１０５によって取得され、ＦＩＦＯに保存された、所定区間のピッチデータに基づいて、該所定区間における有効区間を特定する一例を説明する。
【００３６】
有効区間特定部１０７は、特徴量取得部１０５からＦＩＦＯに保存された所定区間のピッチデータを順次取得し、取得した所定区間にピッチデータに基づいて、該所定区間における有効区間を特定する。例えば、有効区間特定部１０７は、所定区間のピッチの線形近似曲線の傾きの絶対値に基づいて、該所定区間における有効区間を特定することができる。
【００３７】
図４Ａは、有効区間特定部１０７による、所定区間における有効区間特定の概念の一例を説明するための図である。図４Ａは、所定区間におけるピッチデータの時系列の変動を示している。図４Ａにおいて、所定区間はｔ０〜ｔｉとする。有効区間特定部１０７は、所定区間ｔ０〜ｔｉのピッチデータを取得すると、取得したピッチデータにおける各ピッチの線形近似を行い、線形近似曲線の傾きを求める。有効区間特定部１０７は、所定区間ｔ０〜ｔｉにおいて、ピッチの線形近似曲線の傾きの絶対値が所定の閾値未満である区間を有効区間と特定する。所定の閾値は、任意であり、評価装置１０の使用者によって設定されてもよい。図４Ａでは、ｔｂ〜ｔｄを有効区間として示しており、有効区間ｔｂ〜ｔｄにおけるピッチの線形近似曲線の傾きの絶対値は、所定の閾値未満である。例えば、所定区間ｔ０〜ｔｉにおける有効区間ｔｂ〜ｔｄにおいて、ｔｂにおけるピッチの線形近似曲線Ｂの傾きの絶対値、ｔｃにおけるピッチの線形近似曲線Ｃの傾きの絶対値、及びｔｄにおけるピッチの線形近似曲線Ｄの傾きの絶対値は、所定の閾値未満である。一方、所定区間ｔ０〜ｔｉにおける有効区間ｔｂ〜ｔｄを除いた区間であるｔ０〜ｔｂ区間及びｔｄ〜ｔｉ区間におけるピッチの線形近似曲線の傾きの絶対値、例えば、ｔａにおける線形近似曲線Ａの傾きの絶対値、及びｔｅにおける線形近似曲線の傾きの絶対値は、該所定の閾値以上である。
【００３８】
以上では、有効区間特定部１０７が、所定区間におけるピッチの線形近似曲線の傾きの絶対値に基づいて該所定区間における有効区間を特定する方法を説明したが、所定区間における有効区間の特定は、所定区間におけるピッチの線形近似曲線の傾きの絶対値に基づく特定方法に限定されるわけではない。例えば、有効区間特定部１０７は、所定区間におけるピッチの分散に基づいて、該所定区間における有効区間を特定することができる。
【００３９】
有効区間特定部１０７は、所定区間ｔ０〜ｔｉのピッチデータを取得すると、取得したピッチデータの分散値を算出する。算出した分散値が所定値以上である場合、有効区間特定部１０７は、所定区間ｔ０〜ｔｉに有効区間は存在しないと判定する。一方、算出した分散値が所定値未満である場合、有効区間特定部１０７は、所定区間ｔ０〜ｔｉに有効区間が存在すると判定する。尚、ここで所定値は、任意であり、評価装置１０の使用者が設定することもできる。
【００４０】
所定区間ｔ０〜ｔｉに有効区間が存在する場合、有効区間特定部１０７は、所定区間ｔ０〜ｔｉのピッチデータに基づき、所定区間ｔ０〜ｔｉにおける有効区間を特定する。有効区間特定部１０７は、所定区間ｔ０〜ｔｉにおいて、所定の閾値以上の頻度を有するピッチ範囲が存在する場合、所定の閾値以上の頻度を有するピッチ範囲に存在しているピッチに対応する区間であり、且つ該ピッチ範囲に存在しているピッチが所定期間連続している区間を有効区間と特定する。
【００４１】
図４Ｂは、有効区間特定部１０７による、所定区間における有効区間特定の概念の別の一例を説明するための図である。図４Ｂ（ａ）は、所定区間におけるピッチの頻度を示し、図４Ｂ（ｂ）は該所定区間におけるピッチデータの時系列の変動を示している。図４Ｂ（ａ）に示すように、所定区間ｔ０〜ｔｉのピッチデータにおける各ピッチは、ピッチＰａ〜ピッチＰｂ、ピッチＰｂ〜ピッチＰｃ、ピッチＰｃ〜ピッチＰｄ、ピッチＰｄ〜ピッチＰｅ、ピッチＰｅ〜ピッチＰｆ、ピッチＰｆ〜ピッチＰｇ、ピッチＰｆ〜ピッチＰｈ、ピッチＰｈ〜ピッチＰｉのピッチ範囲に存在する。尚、各ピッチ範囲は、任意に設定することができ、各ピッチ範囲におけるピッチは、重複していてもよく、重複していなくてもよい。有効区間特定部１０７は、所定区間ｔ０〜ｔｉにおいて、所定の閾値Ｖａ以上の頻度を有するピッチ範囲を特定する。図４Ｂ（ｂ）に示すように、ピッチＰｆ〜ピッチＰｇのピッチ範囲の頻度が所定の閾値Ｖａ以上である。有効区間特定部１０７は、ピッチＰｆ〜ピッチＰｇのピッチ範囲に存在しているピッチに対応し、且つ、ピッチＰｆ〜ピッチＰｇのピッチ範囲に対応するピッチが所定期間連続する区間を有効区間と特定する。例えば、図４Ｂ（ｂ）に示すように、ピッチＰｆ〜ピッチＰｇのピッチ範囲に対応するピッチが、ｔｘ１〜ｔｘ２の区間で連続している場合、有効区間特定部１０７は、所定区間ｔ０〜ｔｉにおいてｔｘ１〜ｔｘ２の区間を有効区間と特定する。
【００４２】
以上に説明したように、有効区間特定部１０７は、特徴量取得部１０５から、ＦＩＦＯに保存された所定区間のピッチデータを順次取得し、取得した所定区間のピッチデータに基づいて、以上に述べたように該所定区間における有効区間を順次特定する。有効区間特定部１０７は、該所定区間において有効区間を特定すると、該所定区間における有効区間を示す情報を評価部１０９に伝達する。また、該所定区間において、有効区間が存在しない場合は、該所定区間が有効区間を含まないことを示す情報を評価部１０９に伝達する。尚、所定区間における有効区間の特定方法は、以上に述べた方法に限定されるわけではない。
【００４３】
評価部１０９は、特徴量取得部１０５からＦＩＦＯに保存された所定区間のピッチデータを順次取得する。また、評価部１０９は、取得した所定区間に有効区間が存在しない場合、有効区間特定部１０７から該所定区間が有効区間を含まないことを示す情報を受信し、取得した所定区間に有効区間が存在する場合は、有効区間特定部１０７から該所定区間における有効区間を示す情報を受信する。取得した所定区間に有効区間が存在しない場合、評価部１０９は、評価不能を示す情報を出力する。一方、有効区間特定部１０７によって、所定区間における有効区間が特定されると、評価部１０９は、該所定区間内の有効区間におけるピッチデータと、記憶部１３から取得した所定のリファレンス音情報とを比較し、比較結果に基づいて該所定区間におけるピッチデータの評価値を算出する。以下、評価部１０９における、所定区間におけるピッチデータの評価方法を説明する。
【００４４】
評価部１０９は、特定された有効区間のピッチデータにおいて、代表ピッチを特定し、特定した代表ピッチと所定のリファレンス音情報のピッチとを比較して、該所定区間のピッチデータの評価値を算出することができる。ここで、代表ピッチは、有効区間における所定のピッチであってもよく、有効区間におけるピッチデータの平均ピッチであってもよい。また、代表ピッチは、有効区間における中央値ピッチであってもよい。
【００４５】
評価部１０９は、特定した代表ピッチが、所定のリファレンス音情報のピッチを基準とした所定のピッチ範囲であるか否かに基づいて、所定区間におけるピッチデータの評価値を算出する。図５Ａは、評価部１０９による、所定区間における有効区間の代表ピッチに基づいて、該所定区間におけるピッチデータの評価値を算出する概念の一例を説明するための図である。図５Ａに示すように、所定のリファレンス音情報のピッチＰｒｅｆを基準とした、ピッチＰｒｅｆ−ａセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲に有効区間の代表ピッチが存在する場合、評価部１０９は、該有効区間が含まれる所定区間のピッチデータの評価値を１００点（合格）とする。図５Ａにおいて、１００点（合格）となるピッチ範囲は、斜線で示している。有効区間の代表ピッチがピッチＰｒｅｆ−ａセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲外である場合、評価部１０９は、該有効区間が含まれる所定区間のピッチデータの評価値を０点（不合格）とする。
【００４６】
尚、所定のリファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲は、複数の区間に分割されもよい。評価部１０９は、特定した代表ピッチに対応する区間に基づいて、所定区間におけるピッチデータの評価値を算出することができる。図５Ｂは、評価部１０９による、所定区間における有効区間の代表ピッチに基づいて、該所定区間におけるピッチデータの評価値を算出する概念の別の一例を説明するための図である。図５Ｂでは、一例として、所定のリファレンス音情報のピッチＰｒｅｆを基準とした、所定のピッチ範囲は３つの区間（区間４０１、区間４０３及び区間４０５）に分割されている。
【００４７】
図５Ｂにおいて、区間４０１は、所定のリファレンス音情報のピッチＰｒｅｆを基準とした、ピッチＰｒｅｆ−ｂセント〜ピッチＰｒｅｆ＋ｂセントのピッチ範囲を示し、区間４０３は、ピッチＰｒｅｆ＋ｂセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲を示し、区間４０５は、ピッチＰｒｅｆ−ｂセント〜ピッチＰｒｅｆ−ａセントのピッチ範囲を示している。ここでは、ａ＞ｂである。図５Ｂに示すように、所定のリファレンス音情報のピッチＰｒｅｆを基準とした、ピッチＰｒｅｆ−ｂセント〜ピッチＰｒｅｆ＋ｂセントのピッチ範囲に有効区間の代表ピッチが存在する場合、即ち、代表ピッチに対応する区間が区間４０１に存在する場合、評価部１０９は、該有効区間が含まれる所定区間のピッチデータの評価値を１００点（合格）とする。また、代表ピッチに対応する区間が区間４０３又は区間４０５に存在する場合、評価部１０９は、有効区間が存在する所定区間のピッチデータの評価値を１００＞ｘ＞０点（合格）とする。ここで、ｘは、評価部１０９によって所定区間のピッチデータに対してつけられる任意の点数であり、図５Ｂに示すように、代表ピッチがピッチＰｒｅｆ−ｂセント〜ピッチＰｒｅｆ＋ｂセントのピッチ範囲に近ければ近いほど、高得点がつけられてもよく、代表ピッチがピッチＰｒｅｆ−ｂセント〜ピッチＰｒｅｆ＋ｂセントのピッチ範囲から離れるほど、低い点数がつけられてもよい。有効区間の代表ピッチがピッチＰｒｅｆ−ａセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲外である場合、即ち、区間４０１、区間４０３、及び区間４０５外である場合、評価部１０９は、該有効区間が含まれる所定区間のピッチデータの評価値を０点（不合格）とする。
【００４８】
図５Ｂに示すように、リファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲を複数の区間に分割して、所定区間のピッチデータに対する評価値を算出する場合、各区間に対応する評価値は、演奏された楽器によって変更可能であってもよい。また、所定のリファレンス音情報がシャープ（＃）又はフラット（♭）である場合、各区間に対応する評価値は不均衡に設定されてもよい。さらに、演奏された楽器とリファレンス音情報のピッチに基づいて、判定基準は変更されてもよい。例えば、高音域が出しにくい楽器を用いて高音の評価を行う場合、リファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲を大きくしたり、該ピッチ範囲を細かく分割してもよい。また、評価部１０９は、評価部１０９は、特徴量取得部１０５からＦＩＦＯに保存された所定区間のピッチデータを取得する際、所定区間のピッチデータに関連付けられた音量データを取得し、有効区間又は所定区間における音量の変動が少ない場合、該所定区間のピッチデータに対する評価値に加重値を付与してもよい。
【００４９】
以上では、評価部１０９が、特定された有効区間のピッチデータにおいて、代表ピッチを特定し、特定した代表ピッチと所定のリファレンス音情報のピッチとを比較することによって、該所定区間のピッチデータの評価値を算出する例を説明したが、評価部１０９による所定区間のピッチデータの評価値の算出は、これに限定されるわけではない。例えば、評価部１０９は、特定された有効区間のピッチデータと所定のリファレンス音情報のピッチとを比較して、該所定区間のピッチデータの評価値を算出してもよい。つまり、図５Ａ及び図５Ｂを参照して説明した評価部１０９による所定区間のピッチデータに対する評価は、該所定区間における有効区間の代表ピッチを特定して、特定された代表ピッチとリファレンス音情報のピッチとを比較したが、必ずしも代表ピッチを特定する必要はない。評価部１０９は、有効区間の全体又は一部のピッチデータと所定のリファレンス音情報のピッチとを比較して、該所定区間のピッチデータの評価値を算出してもよい。
【００５０】
また、有効区間のピッチデータと所定のリファレンス音情報のピッチとを比較する際、評価部１０９は、所定のリファレンス音情報のピッチＰｒｅｆを含むピッチ範囲に有効区間のピッチデータ全体又は一部が存在するかどうかを判定することにより、該有効区間が含まれる所定区間のピッチデータに対する評価値を算出してもよい。例えば、図５Ａに示したように、所定のリファレンス音情報のピッチＰｒｅｆを基準とした、ピッチＰｒｅｆ−ａセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲に有効区間のピッチデータの全体又は一部が存在する場合、評価部１０９は、該有効区間が含まれる所定区間のピッチデータの評価値を１００点（合格）としてもよい。また、図５Ｂに示したように、リファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲が複数の区間に分割されてもよく、その場合、評価部１０９は、有効区間のピッチデータに対応する区間に基づいて、所定区間におけるピッチデータの評価値を算出してもよい。
【００５１】
リファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲を複数の区間に分割して、所定区間のピッチデータに対する評価値を算出する場合、各区間に対応する評価値は、演奏された楽器によって変更可能であってもよい。また、所定のリファレンス音情報がシャープ（＃）又はフラット（♭）である場合、各区間に対応する評価値は不均衡に設定されてもよい。さらに、演奏された楽器とリファレンス音情報のピッチに基づいて、判定基準は変更されてもよい。例えば、高音域が出しにくい楽器を用いて高音の評価を行う場合、リファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲を大きくしたり、該ピッチ範囲を細かく分割してもよい。また、評価部１０９は、特徴量取得部１０５からＦＩＦＯに保存された所定区間のピッチデータを取得する際、所定区間のピッチデータに関連付けられた音量データを取得し、有効区間又は所定区間における音量の変動が少ない場合、該所定区間のピッチデータに対する評価値に加重値を付与してもよい。
【００５２】
また、評価部１０９は、有効区間のピッチデータの統計をとり、該有効区間のピッチの度数分布に基づいて、該有効区間が含まれる所定区間のピッチデータに対する評価値を算出してもよい。図６Ａは、評価部１０９による、該有効区間のピッチの度数分布に基づいて、該所定区間におけるピッチデータの評価値を算出する概念の一例を説明するための図である。図６Ａに示すように、評価部１０９は、所定のリファレンス音情報のピッチＰｒｅｆに基づいて、該所定のリファレンス音情報のピッチＰｒｅｆを基準とした、ピッチＰｒｅｆ−ａセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲６０１を設定する。さらに、評価部１０９は、ピッチ範囲６０１における加重値Ａを設定する。例えば、加重値Ａは１００点としてもよい。評価部１０９は、有効区間の全ピッチに対するピッチ範囲６０１におけるピッチの度数の割合に加重値Ａ（１００点）を掛け、得られた点数を該有効区間が含まれる所定区間のピッチデータの評価値とする。ピッチ範囲６０１におけるピッチの度数が高いほど、該有効区間が含まれる所定区間のピッチデータの評価値が高くなる。評価部１０９は、所定区間のピッチデータの評価値が所定の点数以上である場合、該所定区間のピッチデータの評価値を一律に１００点（合格）としてもよい。ピッチ範囲６０１における有効区間のピッチの度数が低いほど、該有効区間が含まれる所定区間のピッチデータの評価値は低くなる。例えば、ピッチ範囲６０１に有効区間のピッチが存在しない場合、評価部１０９は、該有効区間が含まれる所定区間のピッチデータの評価値を０点（不合格）とする。また、評価部１０９は、所定区間のピッチデータの評価値が所定の点数未満である場合、該所定区間のピッチデータの評価値を一律に０点（不合格）としてもよい。
【００５３】
尚、所定のリファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲は、複数の区間に分割されもよい。評価部１０９は、各区間における有効区間のピッチの度数分布に基づいて、所定区間におけるピッチデータの評価値を算出することができる。図６Ｂは、評価部１０９による、該有効区間のピッチの度数分布に基づいて、該所定区間におけるピッチデータの評価値を算出する概念の別の一例を説明するための図である。図６Ｂに示すように、評価部１０９は、所定のリファレンス音情報のピッチＰｒｅｆに基づいて、該所定のリファレンス音情報のピッチＰｒｅｆを基準とした、ピッチＰｒｅｆ−ａセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲６０１を設定する。さらに、評価部１０９は、ピッチ範囲６０１を３つの区間（区間６０３、区間６０５及び区間６０７）に分割する。尚、分割された区間の数は、３つに限定されるわけではない。
【００５４】
図６Ｂにおいて、区間６０３は、所定のリファレンス音情報のピッチＰｒｅｆを基準とした、ピッチＰｒｅｆ−ｂセント〜ピッチＰｒｅｆ＋ｂセントのピッチ範囲を示し、区間６０５は、ピッチＰｒｅｆ＋ｂセント〜ピッチＰｒｅｆ＋ａセントのピッチ範囲を示し、区間６０７は、ピッチＰｒｅｆ−ｂセント〜ピッチＰｒｅｆ−ａセントのピッチ範囲を示している。ここでは、ａ＞ｂである。評価部１０９は、ピッチ範囲６０１における区間６０３、区間６０５及び区間６０７に対して、それぞれ加重値Ａ、加重値Ｂ及び加重値Ｃを設定する。例えば、区間６０３に対する加重値Ａは１００点であってもよい。区間６０５及び区間６０７に対する加重値Ｂ及び加重値Ｃは、加重値Ａより小さければ特に限定されず、加重値Ｂ及び加重値Ｃは同一であってもよく、異なっていてもよい。例えば、加重値Ｂ及び加重値Ｃは６０点であってもよい。尚、分割された区間に対応する加重値は、所定のリファレンス音情報のピッチＰｒｅｆに近いほど相対的に高く設定し、所定のリファレンス音情報のピッチＰｒｅｆから離れるほど相対的に低く設定する。
【００５５】
評価部１０９は、区間６０３のピッチの度数の割合に加重値Ａ（１００点）を掛けて、区間６０３の評価値を算出する。同様に、評価部１０９は、区間６０５のピッチの度数の割合に加重値Ｂ（６０点）を掛けて、区間６０５の評価値を算出する。また、評価部１０９は、区間６０７のピッチの度数の割合に加重値Ｃ（６０点）を掛けて、区間６０７の評価値を算出する。評価部１０９は、区間６０３の評価値、区間６０５の評価値及び区間６０７の評価値を合算して得られた点数を有効区間が含まれる所定区間のピッチデータの評価値とする。ピッチ範囲６０１におけるピッチの度数が高いほど、該有効区間が含まれる所定区間のピッチデータの評価値が高くなる。特に、ピッチ範囲６０１における、区間６０３のピッチの度数が高いほど、つまり、有効区間のピッチがリファレンス音情報のピッチＰｒｅｆに近いほど、該有効区間が含まれる所定区間のピッチデータの評価値が高くなる。評価部１０９は、所定区間のピッチデータの評価値が所定の点数以上である場合、該所定区間のピッチデータの評価値を一律に１００点（合格）としてもよい。一方、ピッチ範囲６０１における有効区間のピッチの度数が低いほど、つまり、有効区間のピッチがリファレンス音情報のピッチＰｒｅｆから離れるほど、該有効区間が含まれる所定区間のピッチデータの評価値は低くなる。例えば、ピッチ範囲６０１に有効区間のピッチデータが存在しない場合、評価部１０９は、該有効区間が含まれる所定区間のピッチデータの評価値を０点（不合格）とする。また、評価部１０９は、所定区間のピッチデータの評価値が所定の点数未満である場合、該所定区間のピッチデータの評価値を一律に０点（不合格）としてもよい。
【００５６】
図６Ｂに示すように、リファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲を複数の区間に分割して、所定区間のピッチデータに対する評価値を算出する場合、各区間に対応する評価値は、演奏された楽器によって変更可能であってもよい。また、所定のリファレンス音情報がシャープ（＃）又はフラット（♭）である場合、各区間に対応する評価値は不均衡に設定されてもよい。さらに、演奏された楽器とリファレンス音情報のピッチに基づいて、判定基準は変更されてもよい。例えば、高音域が出しにくい楽器を用いて高音の評価を行う場合、リファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲を大きくしたり、該ピッチ範囲を細かく分割してもよい。また、評価部１０９は、特徴量取得部１０５からＦＩＦＯに保存された所定区間のピッチデータを取得する際、所定区間のピッチデータに関連付けられた音量データを取得し、有効区間又は所定区間における音量の変動が少ない場合、該所定区間のピッチデータに対する評価値に加重値を付与してもよい。
【００５７】
また、評価部１０９は、所定区間のピッチデータに対する評価値が、所定回数以上連続して閾値以上である場合、或は、所定回数以上連続して合格である場合、入力音に対して最終的な合格とする評価を行う。この場合、評価部１０９は、所定区間のピッチデータに対する評価値の中から最も高い点数を入力音に対する最終的な評価値としてもよく、所定区間のピッチデータに対する評価値の平均点を演奏者の入力音に対する最終的な評価値としてもよい。また、評価部１０９は、所定区間のピッチデータに対する評価値が閾値以上である期間の長さ、即ち、合格と判定された期間の長さに基づいて、最終的な評価値に加重値を付与してもよく、入力音のピッチがリファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲内にある期間が長いほど、さらに加重値を付与してもよい。また、評価部１０９は、所定の数以上の連続する所定区間のピッチデータに対する評価値に対しローパスフィルタをかけ、ノイズ成分を除去した評価値が一定以上連続する場合、演奏者の入力音に対して最終的な合格とする評価を行ってもよい。また、評価部１０９は、入力音のピッチ取得開始時点から、入力音のピッチがリファレンス音情報のピッチＰｒｅｆを基準とした所定のピッチ範囲内に入る時間が所定の時間よりも短い場合は、最終的な評価値に加重値を付与してもよい。この場合、所定の時間は、任意に設定することができる。
【００５８】
評価部１０９は、以上に述べたような方法により、所定区間のピッチデータに対する評価値を算出し、算出した評価値を表示部１５に伝達する。表示部１５は、伝達された評価値に基づいて、所定区間のピッチデータに対する評価を楽器の演奏者が認識できるように結果を表示する。尚、評価部１０９による所定区間のピッチデータに対する評価値の算出方法を以上に説明したが、評価値の算出方法は、以上に述べた方法に限定されるわけではない。
【００５９】
以上に述べた評価機能１００によると、所定区間のピッチデータから有効区間を特定し、有効区間のピッチデータに基づいて所定区間のピッチデータを評価することにより、演奏音や歌唱音声などの種々の入力音における決められた一つの音高に対する精度の高い評価を行うことができる。
【００６０】
（変形例）
以上に述べた評価機能１００では、有効区間特定部１０７において、所定区間における有効区間は、該所定区間のピッチデータに基づいて、特定されている。しかしながら、有効区間特定部１０７は、特徴量取得部１０５によって取得された特徴量のうち、音量データに基づいて、所定区間における有効区間を特定することもできる。
【００６１】
有効区間特定部１０７は、特徴量取得部１０５からＦＩＦＯに保存された所定区間の音量データを順次取得し、取得した所定区間の音量データの変化量に基づいて、該所定区間における有効区間を特定する。例えば、有効区間特定部１０７は、所定区間の音量の変動が所定の閾値以下の区間を、該所定区間における有効区間を特定することができる。
【００６２】
図７は、有効区間特定部１０７による、所定区間における有効区間特定の概念の一例を説明するための図である。図７は、所定区間における音量データの時系列の変動を示している。図７において、所定区間はｔ０〜ｔｉとする。有効区間特定部１０７は、所定区間ｔ０〜ｔｉの音量データを取得すると、取得した音量データにおける各ピッチの線形近似を行い、線形近似曲線の傾きを求める。有効区間特定部１０７は、所定区間ｔ０〜ｔｉにおいて、音量の線形近似曲線の傾きの絶対値が所定の閾値未満である区間を有効区間と特定する。所定の閾値は、任意であり、評価装置１０の使用者によって設定されてもよい。図７では、ｔｂ〜ｔｄを有効区間として示しており、有効区間ｔｂ〜ｔｄにおけるピッチの線形近似曲線の傾きの絶対値は、所定の閾値未満である。例えば、所定区間ｔ０〜ｔｉにおける有効区間ｔｂ〜ｔｄにおいて、ｔｂにおけるピッチの線形近似曲線Ｂの傾きの絶対値、ｔｃにおけるピッチの線形近似曲線Ｃの傾きの絶対値、及びｔｄにおけるピッチの線形近似曲線Ｄの傾きの絶対値は、所定の閾値未満である。一方、所定区間ｔ０〜ｔｉにおける有効区間ｔｂ〜ｔｄを除いた区間であるｔ０〜ｔｂ区間及びｔｄ〜ｔｉ区間におけるピッチの線形近似曲線の傾きの絶対値、例えば、ｔａにおける線形近似曲線Ａの傾きの絶対値、ｔｅにおける線形近似曲線の傾きの絶対値、及びｔｆにおける線形近似曲線の傾きの絶対値は、該所定の閾値以上である。
【００６３】
このように、有効区間特定部１０７は、所定区間の音量データに基づいて、該所定区間における有効区間を特定することができる。尚、有効区間特定部１０７における、所定区間の音量データを用いた有効区間の特定方法は、図７を参照して述べた方法に限定されるわけではない。
【００６４】
有効区間特定部１０７によって、音量データに基づいて所定区間における有効区間を特定した後は、前述したように、評価部１０９によって有効区間のピッチデータに基づいて該有効区間が含まれる所定区間のピッチデータに対する評価値の算出が行われる。
【００６５】
本発明の実施形態として説明した構成を基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったもの、又は、工程の追加、省略もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
【００６６】
また、上述した実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされると解される。
【符号の説明】
【００６７】
１０：評価装置、１１：制御部、１３：記憶部、１５：表示部、１７：信号処理部、１９：音入力部、２１：操作部、２３：通信部、１００：評価機能、１０３：入力音取得部、１０５：特徴量取得部、１０７：有効区間特定部、１０９：評価部
【図１】
2018146929.tif 000003
【図２】
2018146929.tif 000004
【図３】
2018146929.tif 000005
【図４Ａ】
2018146929.tif 000006
【図４Ｂ】
2018146929.tif 000007
【図５Ａ】
2018146929.tif 000008
【図５Ｂ】
2018146929.tif 000009
【図６Ａ】
2018146929.tif 000010
【図６Ｂ】
2018146929.tif 000011
【図７】
2018146929.tif 000012