(57)【要約】【課題】商用音楽コンテンツを用いたカラオケ採点を可能とする。【解決手段】楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する。歌唱音声信号等の被比較音響信号から所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する。第１の音高特徴量と第２の音高特徴量との比較で、音響信号間の類似度を算出する。楽曲音響信号から算出された楽曲構成音の音高特徴量をお手本データとするものであり、例えば、ＣＤ等で提供される商用音楽コンテンツを用いたカラオケ採点等が可能となる。【選択図】図２
2013167828.tif 000002
【特許請求の範囲】
【請求項１】
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを備える
音響処理装置。
【請求項２】
上記被比較音響信号は、歌唱音声信号である
請求項１に記載の音響処理装置。
【請求項３】
上記類似度に応じて、上記歌唱音声信号に所定の音響効果を付加する音響効果付加部をさらに備える
請求項２に記載の音響処理装置。
【請求項４】
上記第１の特徴量算出部は、
上記楽曲音響信号の時間周期毎あるいは周波数毎の信号強度情報を上記第１の音高特徴量として算出し、
上記第２の特徴量算出部は、
上記被比較音響信号に含まれる各信号成分の時間周期または周波数を上記第２の音高特徴量として算出する
請求項１に記載の音響処理装置。
【請求項５】
上記類似度算出部は、
上記第１の音高特徴量としての信号強度情報を２値化して用いる
請求項４に記載の音響処理装置。
【請求項６】
上記類似度算出部は、
上記第２の音高特徴量としての時間周期または周波数の他に、該時間周期の２倍の時間周期および該周波数の１／２の周波数を用いる
請求項４に記載の音響処理装置。
【請求項７】
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出するステップと、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出するステップと、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出するステップとを備える
音響処理方法。
【請求項８】
コンピュータを、
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出手段と、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出手段と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出手段と
して機能させるプログラム。
【請求項９】
楽曲音響信号に応じた伴奏音の出力を行う伴奏音出力部と、
被比較音響信号を取得する音響信号取得部と、
上記被比較音響信号と上記楽曲音響信号との比較処理を行う信号処理部とを備え、
上記信号処理部は、
上記楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
上記被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを有する
電子機器。
【請求項１０】
歌唱音声信号に基づいて採点処理を行う採点処理部と、
上記採点処理の結果に応じて上記歌唱音声信号に所定の音響効果を付加する音響効果付加部とを備える
音響処理装置。
【請求項１１】
上記採点処理部は、
楽曲音響信号と上記歌唱音声信号との類似度を算出して上記採点処理を行う
請求項１０に記載の音響処理装置。
【請求項１２】
上記採点処理部は、
上記楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを有する
請求項１１に記載の音響処理装置。
【請求項１３】
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
上記第１の音高特徴量に基づいた情報をクライアント装置に送信する情報送信部とを備える
サーバ装置。
【請求項１４】
上記クライアント装置から被比較音響信号を受信する音響信号受信部と、
上記被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、
上記情報送信部は、上記類似度を、上記クライアント装置に送信する
請求項１３に記載のサーバ装置。
【請求項１５】
被比較音響信号から上記所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量を、上記クライアント装置から受信する特徴量受信部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、
上記情報送信部は、上記類似度を、上記クライアント装置に送信する
請求項１３に記載のサーバ装置。
【請求項１６】
被比較音響信号を取得する音響信号取得部と、
楽曲音響信号から所定の時間区間毎に算出された第１の音高特徴量と上記被比較音響信号から上記所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量との比較により算出された音響信号間の類似度を取得する類似度取得部とを備える
クライアント装置。
【請求項１７】
上記被比較音響信号から上記第２の音高特徴量を算出する特徴量算出部と、
サーバ装置から上記第１の音高特徴量を受信する特徴量受信部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、
上記類似度取得部は、上記類似度算出部から上記類似度を取得する
請求項１６に記載のクライアント装置。
【請求項１８】
上記被比較音響信号から上記第２の音高特徴量を算出する特徴量算出部と、
上記第１の音高特徴量をサーバ装置に送信する特徴量送信部と、
上記サーバ装置から上記類似度を受信する類似度受信部とをさらに備え、
上記類似度取得部は、上記類似度受信部から上記類似度を取得する
請求項１６に記載のクライアント装置。
【請求項１９】
サーバ装置とクライアント装置とからなり、
上記サーバ装置は、
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する特徴量算出部と、
上記第１の音高特徴量に基づいた情報をクライアント装置に送信する情報送信部とを備え、
上記クライアント装置は、
被比較音響信号を取得する音響信号取得部と、
上記第１の音高特徴量と上記被比較音響信号から上記所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量との比較により算出された音響信号間の類似度を取得する類似度取得部とを備える
音響処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、音響処理装置、音響処理方法、プログラム、電子機器、サーバ装置、クライアント装置および音響処理システムに関し、特に、商用音楽コンテンツを用いたカラオケ採点を可能にする音響処理装置等に関する。
【背景技術】
【０００２】
従来のカラオケ採点方法、システム及び装置は、楽曲の歌唱主旋律を含まない伴奏データの他にお手本となる歌唱主旋律データを用意し、採点対象となる歌唱者の歌唱音声から抽出された音高時系列データと歌唱主旋律データとの合致度により採点を行うものがほとんどである(例えば、特許文献１参照)。このようなカラオケ採点機能は、市中のカラオケ店舗、飲食店舗に装備されたカラオケ装置やカラオケゲーム、インターネットサービスなどにより提供されている。
【０００３】
一方、昨今の商用音楽コンテンツはＣＤのような有形のメディアパッケージ、あるいはインターネットなどの通信回線によるＭＰ３，ＡＡＣなどの圧縮オーディオファイル形式でのダウンロード販売といった形態でエンドユーザに届けられる。商用音楽コンテンツは通常、歌唱と伴奏が混然と記録されたオーディオ信号として提供されることがほとんどで、その場合に歌唱主旋律が独立データとして提供されることはない。
【０００４】
また、商用音楽コンテンツの歌唱と伴奏が混然となったオーディオ信号から歌唱主旋律信号のみを抽出する技術が存在すれば、従来方法によるカラオケ採点が実現できる。しかし、数々の研究はあるものの、その歌唱主旋律信号抽出の精度は十分であるとは言い難い。以上の状況を鑑みると、ＣＤや圧縮オーディオファイル形式として供されている商用音楽コンテンツのみでカラオケ採点を楽しむ手段は今までなかったと言える。
【０００５】
また、従来のカラオケの音響効果の制御は、歌唱者があらかじめカラオケ装置（カラオケボックスのカラオケマシン、ＰＣやゲームのソフトウェア）を使用して、エコーやハモリの調整、つまり機能のオン・オフや強・弱の制御を行うことが一般的であった。また、これらの音響効果を楽曲の雰囲気に合致したものに自動的に適用されるように、あらかじめ楽曲提供側が用意する方法も考案されている（例えば、特許文献２参照）。
【０００６】
しかし、歌唱者があらかじめ音響効果を設定する場合には、終始同じような音響効果が続き、聴覚的な刺激に欠ける。また、ハモリに関しては、歌唱力のない者が使用すると、不協和音が発生し、歌唱者本人だけでなく、周りの聴衆も不快な思いをする。楽曲の雰囲気に合わせて音響効果を変化させる場合は、ある程度の聴覚的な刺激は得られるが、楽曲提供側があらかじめ音響効果を設定する手間がある問題や、歌唱力のない者がハモリを使用した場合の不協和音の問題は残っている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平４−０７０６９０号公報
【特許文献２】特開平１１−０５２９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本技術の目的は、商用音楽コンテンツを用いたカラオケ採点を可能にすることにある。また、本技術の目的は、歌唱者の歌唱力に応じてリアルタイムに音響効果を付加可能とすることにある。
【課題を解決するための手段】
【０００９】
本技術の概念は、
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを備える
音響処理装置にある。
【００１０】
本技術において、第１の特徴量算出部により、楽曲音響信号から所定の時間区間毎の第１の音高特徴量が算出される。楽曲音響信号は、例えば、ＣＤ等のメディアパッケージで提供されるか、あるいはインターネットなどの通信回線で提供されるものである。所定の時間区間は、例えば、その区間内では特徴量がほぼ一定であるような比較的短い時間区間である。
【００１１】
第２の特徴量算出部により、被比較音響信号から所定の時間区間に対応した時間区間毎の第２の音高特徴量が算出される。比較音響信号は、例えば、歌唱音声信号あるいは楽器演奏信号などである。所定の時間区間に対応した時間区間は、必ずしも所定の時間区間に一対一に対応している必要はなく、所定の時間区間との対応関係がついていればよい。例えば、所定の時間区間に対応した時間区間は、所定の時間区間の整数倍の時間区間とされていてもよい。
【００１２】
例えば、第１の特徴量算出部では、楽曲音響信号の時間周期毎あるいは周波数毎の信号強度情報が、第１の音高特徴量として算出される。また、例えば、第２の特徴量算出部では、被比較音響信号に含まれる各信号成分の時間周期または周波数が、第２の音高特徴量として算出される。
【００１３】
類似度算出部により、第１の音高特徴量と第２の音高特徴量との比較で、音響信号間の類似度が算出される。例えば、第１の音高特徴量としての上述の信号強度情報は、そのまま使用されるか、あるいは、２値化されて使用されてもよい。２値化されて使用されることで、類似度算出のための演算量の低減が可能となる。また、例えば、第２の音高特徴量としての時間周期または周波数の他に、その時間周期の２倍の時間周期およびその周波数の１／２の周波数が用いられてもよい。
【００１４】
このように本技術においては、楽曲音響信号から算出された所定の時間区間毎の第１の音高特徴量と、被比較音響信号から算出された所定の時間区間に対応した時間区間毎の第２の音高特徴量との比較により音響信号間の類似度を算出するものであり、例えば、商用音楽コンテンツを用いたカラオケ採点等が可能となる。
【００１５】
なお、本技術において、例えば、類似度に応じて、歌唱音声信号に所定の音響効果を付加する音響効果付加部をさらに備える、ようにされてもよい。この場合、歌唱者の歌唱力に応じてリアルタイムに音響効果を付与することが可能となる。
【００１６】
また、本技術の他の概念は、
楽曲音響信号に応じた伴奏音の出力を行う伴奏音出力部と、
被比較音響信号を取得する音響信号取得部と、
上記被比較音響信号と上記楽曲音響信号との比較処理を行う信号処理部とを備え、
上記信号処理部は、
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを有する
電子機器にある。
【００１７】
また、本技術のさらに他の概念は、
歌唱音声信号に基づいて採点処理を行う採点処理部と、
上記採点処理の結果に応じて上記歌唱音声信号に所定の音響効果を付加する音響効果付加部とを備える
音響処理装置にある。
【００１８】
本技術において、採点処理部により、歌唱音声信号に基づいて採点処理が行われる。そして、音響効果付加部により、採点処理の結果に応じて歌唱音声信号に所定の音響効果が付加される。例えば、採点処理部は、楽曲音響信号と歌唱音声信号との類似度を算出して採点処理を行う、ようにされてもよい。例えば、採点処理部は、楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、歌唱音声信号から所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、第１の音高特徴量と第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを有する、ようにされてもよい。
【００１９】
このように本技術においては、歌唱音声信号に基づいた採点処理の結果に応じて、この歌唱音声信号に所定の音響効果を付加するものであり、歌唱者の歌唱力に応じてリアルタイムに音響効果を付与することが可能となる。
【００２０】
また、本技術の別の概念は、
サーバ装置とクライアント装置とからなり、
上記サーバ装置は、
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する特徴量算出部と、
上記第１の音高特徴量に基づいた情報をクライアント装置に送信する情報送信部とを備え、
上記クライアント装置は、
被比較音響信号を取得する音響信号取得部と、
上記第１の音高特徴量と上記被比較音響信号から上記所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量との比較により算出された音響信号間の類似度を取得する類似度取得部とを備える
音響処理システムにある。
【００２１】
本技術はサーバ装置とクライアント装置とからなるものである。サーバ装置には、特徴量算出部と情報送信部とが備えられる。特徴量算出部により、楽曲音響信号から所定の時間区間毎の第１の音高特徴量が算出される。情報送信部により、第１の音高特徴量に基づいた情報がクライアント装置に送信される。
【００２２】
例えば、サーバ装置は、クライアント装置から被比較音響信号を受信する音響信号受信部と、被比較音響信号から所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、第１の音高特徴量と第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、情報送信部は、類似度を、クライアント装置に送信する、ようにされてもよい。
【００２３】
また、例えば、サーバ装置は、被比較音響信号から、所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量を受信する特徴量受信部と、第１の音高特徴量と第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、情報送信部は、類似度を、クライアント装置に送信する、ようにされてもよい。
【００２４】
クライアント装置には、音響信号取得部と、類似度取得部とが備えられる。音響信号取得部により、被比較音響信号が取得される。類似度取得部により、第１の音高特徴量と被比較音響信号から所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量との比較により算出された音響信号間の類似度が取得される。
【００２５】
例えば、クライアント装置は、被比較音響信号から第２の音高特徴量を算出する特徴量算出部と、サーバ装置から第１の音高特徴量を受信する特徴量受信部と、第１の音高特徴量と第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、類似度取得部は、類似度算出部から類似度を取得する、ようにされてもよい。
【００２６】
また、例えば、クライアント装置は、被比較音響信号から第２の音高特徴量を算出する特徴量算出部と、第１の音高特徴量をサーバ装置に送信する特徴量送信部と、サーバ装置から類似度を受信する類似度受信部とをさらに備え、類似度取得部は、類似度受信部から類似度を取得する、ようにされてもよい。
【００２７】
このように本技術においては、少なくとも楽曲音響信号から第１の音高特徴量を算出する処理がサーバ装置で行うものであり、ユーザ側装置の処理負荷、回路規模を低減することが可能となる。
【発明の効果】
【００２８】
本技術によれば、商用音楽コンテンツを用いたカラオケ採点が可能となる。また、本技術によれば、歌唱者の歌唱力に応じてリアルタイムに音響効果を付加できる。
【図面の簡単な説明】
【００２９】
【図１】実施の形態としてのカラオケ装置の構成例を示すブロック図である。
【図２】カラオケ装置を構成する採点処理部の構成例を示すブロック図である。
【図３】ある時間区間における、楽曲音響信号の時間周期毎の信号強度情報の一例を示す図である。
【図４】各時間区間で算出される楽曲音響信号の時間周期毎の信号強度情報の一例を模式的に表した図である。
【図５】各時間区間で算出される楽曲音響信号の時間周期毎の信号強度情報を２値化した例を示す図である。
【図６】楽曲音響信号の時間区間毎の各時間周期の２値化された信号強度情報の一例と、歌唱音声信号の時間区間毎の時間周期情報の一例を示す図である。
【図７】採点処理部の採点処理例１における採点処理の手順の一例を示すフローチャートである。
【図８】楽曲音響信号の時間区間毎の各時間周期の信号強度情報の一例と、歌唱音声信号の時間区間毎の時間周期情報の一例を示す図である。
【図９】採点処理部の採点処理例２における採点処理の手順の一例を示すフローチャートである。
【図１０】楽曲音響信号の時間区間毎の各時間周期の２値化された信号強度情報の一例と、歌唱音声信号の時間区間毎の時間周期情報の一例を示す図である。
【図１１】採点処理部の採点処理例３における採点処理の手順の一例を示すフローチャートである。
【図１２】採点処理部に対する追加処理構成の一例を示すブロック図である。
【図１３】クライアント装置およびサーバ装置により構成される採点処理部の構成例１を示すブロック図である。
【図１４】クライアント装置およびサーバ装置により構成される採点処理部の構成例２を示すブロック図である。
【図１５】クライアント装置およびサーバ装置により構成される採点処理部の構成例３を示すブロック図である。
【図１６】カラオケ装置を構成する採点処理部の他の構成例を示すブロック図である。
【図１７】カラオケ装置を構成する音響効果付加部の構成例を示すブロック図である。
【図１８】カラオケ装置を構成する音響効果付加部の他の構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００３１】
＜１．実施の形態＞
［カラオケ装置の構成例］
図１は、実施の形態としてのカラオケ装置１０の構成例を示している。このカラオケ装置１０は、マイクロホン１１と、採点処理部１２と、音響効果付加部１３と、加算器１４と、スピーカ１５を有している。
【００３２】
マイクロホン１１は、歌唱音声信号の取得部を構成している。ユーザ（歌唱者）は、伴奏音に合わせて、マイクロホン１１から歌唱音声を入力し、マイクロホン１１は、その歌唱音声に対応した歌唱音声信号を出力する。採点処理部１２は、歌唱音声信号に基づいて採点処理を行って、類似度を示す採点情報を出力する。
【００３３】
音響効果付加部１３は、マイクロホン１１から出力される歌唱音声信号に、採点処理結果としての採点情報に応じて、所定の音響効果を付加する。加算器１４は、音響効果付加部１２から出力される歌唱音声信号を伴奏音響信号に加算する。スピーカ１５は、加算器１４の出力信号による音（伴奏音、歌唱音）を出力する。
【００３４】
「採点処理部の構成例」
図２は、採点処理部１２の構成例を示している。この採点処理部１２は、商用音楽コンテンツ、つまり歌唱と伴奏が混然と記録された楽曲音響信号を用いて採点処理を行う。この採点処理部１２は、音高特徴量解析部１１１と、音高検出部１１３と、歌唱音声採点部１１４を有している。
【００３５】
音高特徴量解析部１１１は、楽曲音響信号を解析して、所定の時間区間毎の楽曲構成音の音高特徴量を算出する。ここで、所定の時間区間は、例えば、この区間内では特徴量がほぼ一定であるような比較的短い、２０ｍｓｅｃ、４０ｍｓｅｃ等の時間区間である。ここで、算出される音響特徴量としては、楽曲音響信号の時間周期毎あるいは周波数毎の信号強度情報が考えられる。音高特徴量解析部１１１は、楽曲音響信号の全ての上述の所定の時間区間で上述の音高特徴量を算出することで、楽曲音響信号の音高特徴量の時系列データを得る。
【００３６】
楽曲音響信号の時間周期毎の信号強度情報は、例えば、以下の数式（１）で示される自己相関関数の式を用いて算出される。図３は、ある時間区間における、楽曲音響信号の時間周期毎の信号強度情報の一例を示している。図示の例は、時間周期Ｔを０〜５１２まで変化させたときのＲ（T）の値をプロットしたしたものである。横軸の周期は上述のＴを表し、縦軸の信号強度は上述のＲ（T）を表す。
【００３７】
【数１】
2013167828.tif 000003
【００３８】
図４は、各時間区間で算出される楽曲音響信号の時間周期毎の信号強度情報を模式的に表した例である。横軸の「＃１，＃２，＃３・・・」はそれぞれ時間区間を示し、縦軸の・・・７６，７７，７８，・・・」はそれぞれ時間周期を示している。図示の例では、自己相関値Ｒ(T)が大きい時間周期は濃い状態で表されている。
【００３９】
また、楽曲音響信号の周波数毎の信号強度情報は、例えば、短時間フーリエ変換を行うことで算出される。なお、以下では、音高特徴量解析部１１１で楽曲音響信号の時間周期毎の信号強度情報が得られるものとして説明する。しかし、詳細説明は省略するが、音高特徴量解析部１１１において楽曲音響信号の周波数毎の信号強度情報が算出される場合にあっても同様の処理で採点情報を得ることが可能である。
【００４０】
音高検出部１１３は、歌唱音声信号から、上述の所定の時間区間に対応した時間区間毎に、音高特徴量を算出する。この所定の時間区間に対応した時間区間は、所定の時間区間と同じであっても、同じでなくともよい。すなわち、この所定の時間区間に対応した時間区間は、必ずしも所定の時間区間に一対一に対応している必要はなく、所定の時間区間との対応関係がついていればよい。例えば、所定の時間区間に対応した時間区間は、所定の時間区間の整数倍の時間区間とされていてもよい。なお、以下では、一対一に対応しているものとして説明する。音高検出部１１３は、歌唱音声信号の各時間区間で上述の音高特徴量を算出することで、歌唱音声信号の音高特徴量の時系列データを得る。
【００４１】
ここで、算出される音響特徴量としては、歌唱音声信号の時間周期情報あるいは周波数情報が考えられる。歌唱音声信号の時間周期情報は、例えば、上述の数式（１）で示される自己相関関数の式を用いて算出される。この場合、音高検出部１１３は、強い相関値を示す基本周期を抽出する。また、歌唱音声信号の周波数情報は、短時間フーリエ変換を行うことで算出される。この場合、音高検出部１１３は、周期信号のパワースペクトルは基本周波数の整数倍にピークを持つため、最も低いピークの周波数を抽出する。なお、歌唱音声信号の周波数情報を算出した後、この周波数情報を上述の時間周期情報に変換することも容易に行うことができる。以下では、音高検出部１１３で歌唱音声信号の時間周期情報が得られるものとして説明する。
【００４２】
歌唱音声採点部１１４は、音高特徴量解析部１１１で得られる楽曲音響信号の音高特徴量と、音高検出部１１３で得られる歌唱音声信号の音高特徴量との比較により、音響信号間の類似度を示す採点情報を算出する。なお、この歌唱音声採点部１１４では、音高特徴量解析部１１１で得られる楽曲音響信号の時間周期毎の信号強度情報がそのまま使用されるか、あるいは、２値化されて使用される。２値化により演算量の低減が可能となる。また、この歌唱音声採点部１１４では、音高検出部１１３で得られる歌唱音声信号の時間周期情報がそのまま使用されるか、あるいは、さらにその２倍の時間周期情報も使用される。ここで、２倍の時間周期は、周波数的には１／１の周波数である。
【００４３】
図５は、各時間区間で算出される楽曲音響信号の時間周期毎の信号強度情報を２値化した例である。図示の例は、上述の図４に示す楽曲音響信号の時間周期毎の信号強度情報を、閾値１０で２値化した例である。図示の例では、信号強度情報が「１」となる時間周期が濃い状態で表されている。
【００４４】
採点処理部１２における採点処理例について説明する。
「採点処理例１」
この採点処理例１では、音高特徴量解析部１１１で所定の時間区間毎の楽曲音響信号の音高特徴量として時間周期毎の信号強度情報が算出され、歌唱音声採点部１１４では、その信号強度情報の２値化情報が使用される。また、この採点処理例１では、音高検出部１１３で所定の時間区間毎の歌唱音声信号の音高特徴量である時間周期情報が算出され、歌唱音声採点部１１４ではその時間周期情報が使用される。
【００４５】
図６（ｂ）は、楽曲音響信号の時間区間毎の各時間周期の２値化された信号強度情報の一例を示している。図６（ａ）は、歌唱音声信号の時間区間毎の時間周期情報の一例を示している。なお、図６（ｂ）では、各時間区間において、歌唱音声信号の時間周期情報が示す時間周期の箇所に、「○」印を付して示している。
【００４６】
図７のフローチャートは、採点処理部１２の採点処理例１における採点処理の手順の一例を示している。採点処理部１２は、ステップＳＴ１において、採点処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、採点処理部１２は、音高特徴量解析部１１１で、楽曲音響信号の対象時間区間における各時間周期の信号強度情報を算出する。そして、採点処理部１２は、ステップＳＴ３において、歌唱音声採点部１１４で、ステップＳＴ２で算出された各時間周期の信号強度情報を、２値化する（図６（ｂ）参照）。
【００４７】
次に、採点処理部１２は、ステップＳＴ４において、音高検出部１１３で、歌唱音声信号の対象時間区間における時間周期情報を算出する（図６（ａ）参照）。そして、採点処理部１２は、ステップＳＴ５において、歌唱音声採点部１１４で、ステップＳＴ３で２値化された各時間周期の信号強度情報のうち、ステップＳＴ４で算出された時間周期情報が示す時間周期の信号強度情報が「１」であるか否かを判断する。信号強度情報が「１」であるとき、採点処理部１２は、ステップＳＴ６において、歌唱音声採点部１１４で、スコアに１点を加え、その後に、ステップＳＴ７の処理に移る。一方、信号強度情報が「０」であるとき、採点処理部１２は、直ちに、ステップＳＴ７の処理に移る。
【００４８】
採点処理部１２は、ステップＳＴ７において、歌唱音声採点部１１４で、スコアを経過時間区間数で割り、採点結果（採点情報）とする。そして、採点処理部１２は、ステップＳＴ８において、歌唱が終了したか否かを判断する。採点処理部１２は、例えば、ユーザが図示しない操作部から終了操作を行ったとき、あるいは伴奏音が終了したとき、歌唱終了と判断できる。歌唱が終了していないとき、採点処理部１２は、ステップＳＴ２の処理に戻り、次の時間区間を対象時間区間とする処理に移る。一方、歌唱が終了したとき、採点処理部１２は、直ちに、ステップＳＴ９において、採点処理を終了する。
【００４９】
なお、図７のフローチャートの採点処理では、全ての時間区間が採点対象の時間区間となるが、例えば、間奏期間の時間区間あるいは歌唱音声の入力がない時間区間などは、採点対象の時間区間から除くように構成してもよい。
【００５０】
「採点処理例２」
この採点処理例２では、音高特徴量解析部１１１で所定の時間区間毎の楽曲音響信号の音高特徴量として時間周期毎の信号強度情報が算出され、歌唱音声採点部１１４では、その信号強度情報がそのまま使用される。また、この採点処理例２では、音高検出部１１３で所定の時間区間毎の歌唱音声信号の音高特徴量である時間周期情報が算出され、歌唱音声採点部１１４ではその時間周期情報が使用される。
【００５１】
図８（ｂ）は、楽曲音響信号の時間区間毎の各時間周期の信号強度情報の一例を示している。図８（ａ）は、歌唱音声信号の時間区間毎の時間周期情報の一例を示している。なお、図８（ｂ）では、各時間区間において、歌唱音声信号の時間周期情報が示す時間周期の箇所に、「○」印を付して示している。
【００５２】
図９のフローチャートは、採点処理部１２の採点処理例２における採点処理の手順の一例を示している。採点処理部１２は、ステップＳＴ１１において、採点処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、採点処理部１２は、音高特徴量解析部１１１で、楽曲音響信号の対象時間区間における各時間周期の信号強度情報を算出する（図８（ｂ）参照）。そして、採点処理部１２は、ステップＳＴ１３において、音高検出部１１３で、歌唱音声信号の対象時間区間における時間周期情報を算出する（図８（ａ）参照）。
【００５３】
次に、採点処理部１２は、ステップＳＴ１４において、歌唱音声採点部１１４で、ステップＳＴ３で２値化された各時間周期の信号強度情報のうち、ステップＳＴ１３で算出された時間周期情報が示す時間周期の信号強度情報をスコアに加える。そして、採点処理部１２は、ステップＳＴ１５において、歌唱音声採点部１１４で、スコアを経過時間区間数で割り、採点結果（採点情報）とする。
【００５４】
次に、採点処理部１２は、ステップＳＴ１６において、歌唱が終了したか否かを判断する。採点処理部１２は、例えば、ユーザが図示しない操作部から終了操作を行ったとき、あるいは伴奏音が終了したとき、歌唱終了と判断できる。歌唱が終了していないとき、採点処理部１２は、ステップＳＴ１２の処理に戻り、次の時間区間を対象時間区間とする処理に移る。一方、歌唱が終了したとき、採点処理部１２は、直ちに、ステップＳＴ１７において、採点処理を終了する。
【００５５】
なお、図９のフローチャートの採点処理では、全ての時間区間が採点対象の時間区間となるが、例えば、間奏期間の時間区間あるいは歌唱音声の入力がない時間区間などは、採点対象の時間区間から除くように構成してもよい。
【００５６】
「採点処理例３」
この採点処理例３では、音高特徴量解析部１１１で所定の時間区間毎の楽曲音響信号の音高特徴量として時間周期毎の信号強度情報が算出され、歌唱音声採点部１１４では、その信号強度情報の２値化情報が使用される。また、この採点処理例３では、音高検出部１１３で所定の時間区間毎の歌唱音声信号の音高特徴量である時間周期情報が算出され、歌唱音声採点部１１４ではその時間周期情報と共にその２倍の時間周期情報が使用される。
【００５７】
図１０（ｂ）は、楽曲音響信号の時間区間毎の各時間周期の２値化された信号強度情報の一例を示している。図１０（ａ）は、歌唱音声信号の時間区間毎の時間周期情報の一例を示している。なお、図１０（ｂ）では、各時間区間において、歌唱音声信号の時間周期情報が示す時間周期の箇所に「実線○」印を付して示し、その時間周期の２倍の時間周期の箇所に「破線○」印を付して示している。
【００５８】
図１１のフローチャートは、採点処理部１２の採点処理例３における採点処理の手順の一例を示している。採点処理部１２は、ステップＳＴ２１において、採点処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、採点処理部１２は、音高特徴量解析部１１１で、楽曲音響信号の対象時間区間における各時間周期の信号強度情報を算出する。そして、採点処理部１２は、ステップＳＴ２３において、歌唱音声採点部１１４で、ステップＳＴ２で算出された各時間周期の信号強度情報を、２値化する（図１０（ｂ）参照）。
【００５９】
次に、採点処理部１２は、ステップＳ２４において、音高検出部１１３で、歌唱音声信号の対象時間区間における時間周期情報を算出する（図１０（ａ）参照）。そして、採点処理部１２は、ステップＳＴ２５において、歌唱音声採点部１１４で、ステップＳＴ２３で２値化された各時間周期の信号強度情報のうち、ステップＳＴ２４で算出された時間周期情報が示す時間周期の信号強度情報が「１」であるか否かを判断する。信号強度情報が「１」であるとき、採点処理部１２は、ステップＳＴ２６において、歌唱音声採点部１１４で、スコアに１点を加え、その後に、ステップＳＴ２７の処理に移る。
【００６０】
ステップＳＴ２５で信号強度情報が「０」であるとき、採点処理部１２は、ステップＳＴ２８において、ステップＳＴ２４で算出された時間周期情報が示す時間周期の２倍の時間周期、つまり１オクターブ下の時間周期が「１」であるか否かを判断する。信号強度情報が「１」であるとき、採点処理部１２は、ステップＳＴ２６において、歌唱音声採点部１１４で、スコアに１点を加え、その後に、ステップＳＴ７の処理に移る。一方、信号強度情報が「０」であるとき、採点処理部１２は、直ちに、ステップＳＴ２７の処理に移る。
【００６１】
採点処理部１２は、ステップＳＴ２７において、歌唱音声採点部１１４で、スコアを経過時間区間数で割り、採点結果（採点情報）とする。そして、採点処理部１２は、ステップＳＴ２９において、歌唱が終了したか否かを判断する。採点処理部１２は、例えば、ユーザが図示しない操作部から終了操作を行ったとき、あるいは伴奏音が終了したとき、歌唱終了と判断できる。歌唱が終了していないとき、採点処理部１２は、ステップＳＴ２２の処理に戻り、次の時間区間を対象時間区間とする処理に移る。一方、歌唱が終了したとき、採点処理部１２は、直ちに、ステップＳＴ３０において、採点処理を終了する。
【００６２】
なお、図１１のフローチャートの採点処理では、全ての時間区間が採点対象の時間区間となるが、例えば、間奏期間の時間区間あるいは歌唱音声の入力がない時間区間などは、採点対象の時間区間から除くように構成してもよい。
【００６３】
図２に示す採点処理部１２の動作を説明する。音高特徴量解析部１１１で、楽曲音響信号が解析され、所定の時間区間毎の楽曲音響信号（楽曲構成音）の音高特徴量、例えば、各時間周期の信号強度情報が算出される。また、ユーザの歌唱が開始され、音高検出部１１３で、歌唱音声信号から、所定の時間区間毎の歌唱音声信号の音高特徴量、例えば、時間周期情報が算出される。そして、歌唱音声採点部１１４で、音高特徴量解析部１１１で得られた楽曲音響信号の音高特徴量と、音高検出部１１３で得られた歌唱音声信号の音高特徴量との比較により、採点情報が算出されて出力される。
【００６４】
［スピーカからの伴奏音の回り込みの低減処理］
なお、楽曲音響信号による伴奏音をスピーカで空間に出力しながら歌唱を行うことが想定される。その場合、上述の図２に示す採点処理部１２に対して、図１２に示すような追加処理構成が考えられる。この図１２において、図２と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。
【００６５】
楽曲音響信号は、音高特徴量解析部１１１の他に、楽曲ボーカルキャンセル処理部１２１に供給される。この楽曲ボーカルキャンセル処理部１２１では、楽曲音響信号からボーカル信号がキャンセルされて、伴奏音響信号得られる。この伴奏音信号はスピーカ１２２に供給され、このスピーカ１２２から伴奏音が出力される。
【００６６】
マイクロホン１２３には歌唱音声が入力されると共に、スピーカ１２２から回り込んだ伴奏音も入力される。そのため、マイクロホン１２３の出力信号は、歌唱音声信号に伴奏音によるエコー信号が加算されたものとなる。エコー推定部１２５は、スピーカ・マイク間の空間伝達特性（エコー特性）が適応フィルタ処理などで実現されたものであり、伴奏音信号等に基づいて、歌唱音声信号に含まれるエコー信号に対応したエコー信号が生成される。加算器１２４では、マイクロホン１２３の出力信号からエコー推定部１２５で生成されたエコー信号が減算される。そして、この加算器１２４からはエコー信号が除かれた歌唱音声信号のみが出力され、音高検出部１１３に入力される。
【００６７】
図１２に示すような追加処理構成においては、加算器１２４でマイクロホン１２３の出力信号から伴奏音によるエコー信号が除かれ、音高検出部１１３に歌唱音声信号のみを入力することが可能となる。そのため。スピーカ１２２からマイクロホン１２３への伴奏音の回り込みの影響を低減できる。つまり、音高検出部１１３における音高特徴量の算出、例えば、歌唱音声信号の時間周期情報等の算出精度を高めることが可能となる。
【００６８】
また、図２に示す採点処理部１２を、ユーザ側のクライアント装置１２Ａと、クラウド（ネットワーク）上のサーバ装置１２Ｂにより、構成することも考えられる。この場合、クライアント（ユーザ）側装置の処理負荷、回路規模を低減することが可能となる。
【００６９】
［採点処理部のクライアント装置、サーバ装置による構成］
「構成例１」
図１３は、クライアント装置１２Ａおよびサーバ装置１２Ｂにより構成される採点処理部１２の構成例１を示している。この構成例１は、サーバ装置１２Ｂで、楽曲音響信号の解析を行う例である。この図１３において、図２と対応する部分には同一符号を付し、適宜その説明を省略する。
【００７０】
サーバ装置１２Ｂは、音高特徴量解析部１１１と、音高特徴量送信部１３１を有している。音高特徴量解析部１１１は、楽曲音響信号を解析して所定の時間区間毎の楽曲音響信号の音高特徴量、例えば、各時間周期の信号強度情報を算出する。音高特徴量送信部１３１は、音高特徴量解析部１１１で得られた音高特徴量の時系列データを、クライアント装置１２Ａに送信する。なお、指示経路の図示は省略しているが、歌唱前にクライアント装置１２Ａからサーバ装置１２Ｂに解析指示が送られ、サーバ装置１２Ｂではこの解析指示に基づいて、楽曲音響信号の解析が開始される。
【００７１】
クライアント装置１２Ａは、音高検出部１１３と、歌唱音声採点部１１４と、音高特徴量受信部１３２を有している。音高検出部１１３は、歌唱音声信号から、所定の時間区間毎の歌唱音声信号の音高特徴量、例えば、時間周期情報を算出する。音声特徴量受信部１３２は、サーバ装置１２Ｂから送られてくる音高特徴量の時系列データを受信する。歌唱音声採点部１１４は、音高特徴量受信部１３２で受信された楽曲音響信号の音高特徴量と、音高検出部１１３で得られた歌唱音声信号の音高特徴量との比較により、音響信号間の類似度を示す採点情報を算出して出力する。
【００７２】
図１３に示す採点処理部１２（構成例１）の動作を簡単に説明する。歌唱前にクライアント装置１２Ａからサーバ装置１２Ｂに楽曲構成音の音高特徴量の解析指示が送られる。サーバ装置１２Ｂでは、音高特徴量解析部１１１で、楽曲音響信号が解析され、所定の時間区間毎の楽曲音響信号の音高特徴量、例えば、各時間周期の信号強度情報が算出される。このように算出される音高特徴量の時系列データは、サーバ装置１２Ｂの音高特徴量送信部１３１からクライアント装置１２Ａに送信され、クライアント装置１２Ａの音高特徴量受信部１３２により受信される。
【００７３】
クライアント装置１２Ａでは、クライアント（ユーザ）の歌唱が開始される。音高検出部１１３で、歌唱音声信号から、所定の時間区間毎の歌唱音声信号の音高特徴量、例えば、時間周期情報が算出される。そして、クライアント装置１２Ａでは、歌唱音声採点部１１４で、音高特徴量受信部１３２で受信された楽曲音響信号の音高特徴量と、音高検出部１１３で得られた歌唱音声信号の音高特徴量との比較により採点情報が算出される。これにより、クライアント装置１２Ａで採点情報の取得が行われる。
【００７４】
図１３に示す採点処理部１２（構成例１）では、クライアント（ユーザ）側装置の処理負荷、回路規模を低減することが可能となる。また、音楽配信サービス等において、サーバ側では、楽曲音響信号の音高特徴量時系列データを付加価値としてユーザに提供可能となる。また、ネットワーク配信型のカラオケサービスにおいて、従来採点向け正解データ（メロディデータ）を人手で作成していたのを、自動作成が可能となる。
【００７５】
「構成例２」
図１４は、クライアント装置１２Ａおよびサーバ装置１２Ｂにより構成される採点処理部１２の構成例２を示している。この構成例２は、サーバ装置１２Ｂで、楽曲音響信号の解析を行うと共に、歌唱音声信号の音高検出、さらには採点処理も行う例である。この図１４において、図２と対応する部分には同一符号を付し、適宜その説明を省略する。
【００７６】
サーバ装置１２Ｂは、音高特徴量解析部１１１と、音高検出部１１３と、歌唱音声採点部１１４と、音声信号受信部１４２と、採点情報送信部１４３を有している。音高特徴量解析部１１１は、楽曲音響信号を解析して所定の時間区間毎の楽曲音響信号の音高特徴量、例えば、各時間周期の信号強度情報を算出する。なお、指示経路の図示は省略しているが、歌唱前にクライアント装置１２Ａからサーバ装置１２Ｂに解析指示が送られ、サーバ装置１２Ｂではこの解析指示に基づいて、楽曲音響信号の解析が開始される。
【００７７】
音声信号受信部１４２は、クライアント装置１２Ａから送られてくる歌唱音声信号を受信する。音高検出部１１３は、音声信号受信部１４２で受信された歌唱音声信号から、所定の時間区間毎の歌唱音声信号の音高特徴量、例えば、時間周期情報を算出する。歌唱音声採点部１１４は、音高特徴量解析部で得られた楽曲音響信号の音高特徴量と、音高検出部１１３で得られた歌唱音声信号の音高特徴量との比較により、音響信号間の類似度を示す採点情報を算出する。採点情報送信部１４３は、歌唱音声採点部１１４で算出された採点情報を、クラインアント装置１２Ａに送信する。
【００７８】
クライアント装置１２Ａは、音声信号送信部１４１と、採点情報受信部１４４を有している。音声信号送信部１４１は、歌唱音声信号をサーバ装置１２Ｂに送信する。採点情報受信部１４４は、サーバ装置１２Ｂから送られてくる採点情報を受信する。
【００７９】
図１４に示す採点処理部１２（構成例２）の動作を簡単に説明する。歌唱前にクライアント装置１２Ａからサーバ装置１２Ｂに楽曲構成音の音高特徴量の解析指示が送られる。サーバ装置１２Ｂでは、音高特徴量解析部１１１で、楽曲音響信号が解析され、所定の時間区間毎の楽曲音響信号の音高特徴量、例えば、各時間周期の信号強度情報が算出される。
【００８０】
クライアント装置１２Ａでは、クライアント（ユーザ）の歌唱が開始される。歌唱音声信号は、クライアント装置１２Ａの音声信号送信部１４１から送信され、サーバ装置１２Ｂの音声信号受信部１４２で受信される。サーバ装置１２Ｂでは、このように受信された歌唱音声信号から、音高検出部１１３で、所定の時間区間毎の歌唱音声信号の音高特徴量、例えば、時間周期情報が算出される。
【００８１】
そして、サーバ装置１２Ｂでは、歌唱音声採点部１１４で、音高特徴量解析部１１１で得られた楽曲音響信号の音高特徴量と、音高検出部１１３で得られた歌唱音声信号の音高特徴量との比較により、採点情報が算出される。このように算出された採点情報は、サーバ装置１２Ｂの採点情報送信部１４３から送信され、クライアント装置１２Ａの採点情報受信部１４４で受信され、クライアント装置１２Ａで採点情報の取得が行われる。
図１４に示す採点処理部１２（構成例２）では、クライアント（ユーザ）側装置の処理負荷、回路規模を大幅に低減することが可能となる。
【００８２】
「構成例３」
図１５は、クライアント装置１２Ａおよびサーバ装置１２Ｂにより構成される採点処理部１２の構成例３を示している。この構成例３は、サーバ装置１２Ｂで、楽曲音響信号の解析を行うと共に、採点処理も行う例である。この図１５において、図２と対応する部分には同一符号を付し、適宜その説明を省略する。
【００８３】
サーバ装置１２Ｂは、音高特徴量解析部１１１と、歌唱音声採点部１１４と、音高特徴量受信部１５２と、採点情報送信部１５３を有している。音高特徴量解析部１１１は、楽曲音響信号を解析して所定の時間区間毎の楽曲音響信号の音高特徴量、例えば、各時間周期の信号強度情報を算出する。なお、指示経路の図示は省略しているが、歌唱前にクライアント装置１２Ａからサーバ装置１２Ｂに解析指示が送られ、サーバ装置１２Ｂではこの解析指示に基づいて、楽曲音響信号の解析が開始される。
【００８４】
音高特徴量受信部１５２は、クランアント装置１２Ａから送られてくる歌唱音声信号の音高特徴量の時系列データを受信する。歌唱音声採点部１１４は、音高特徴量受信部１５２で受信された歌唱音声信号の音高特徴量と、音高特徴量解析部１１１で得られた楽曲音響信号の音高特徴量との比較により、音響信号間の類似度を示す採点情報を算出する。採点情報送信部１５３は、歌唱音声採点部１１４で算出された採点情報を、クラインアント装置１２Ａに送信する。
【００８５】
クライアント装置１２Ａは、音高検出部１１３と、音高特徴量送信部１５１と、採点情報受信部１５４を有している。音高検出部１１３は、歌唱音声信号から、所定の時間区間毎の歌唱音声信号の音高特徴量、例えば、時間周期情報を算出する。音高特徴量送信部１５１は、音高検出部１１３で得られた音高特徴量の時系列データを、サーバ装置１２Ｂに送信する。採点情報受信部１５４は、サーバ装置１２Ｂから送られてくる採点情報を受信する。
【００８６】
図１５に示す採点処理部１２（構成例３）の動作を簡単に説明する。歌唱前にクライアント装置１２Ａからサーバ装置１２Ｂに楽曲構成音の音高特徴量の解析指示が送られる。サーバ装置１２Ｂでは、音高特徴量解析部１１１で、楽曲音響信号が解析され、所定の時間区間毎の楽曲音響信号の音高特徴量、例えば、各時間周期の信号強度情報が算出される。
【００８７】
クライアント装置１２Ａでは、クライアント（ユーザ）の歌唱が開始される。そして、クライアント装置１２Ａでは、音高検出部１１３で、所定の時間区間毎の歌唱音声信号の音高特徴量、例えば、時間周期情報が算出される。この歌唱音声信号の音高特徴量の時系列データは、クライアント装置１２Ａの音高特徴量送信部１５１から送信され、サーバ装置１２Ｂの音高特徴量受信部１５２で受信される。
【００８８】
そして、サーバ装置１２Ｂでは、歌唱音声採点部１１４で、音高特徴量解析部１１１で得られた楽曲音響信号の音高特徴量と、音高特徴量受信部１５２で受信された歌唱音声信号の音高特徴量との比較により、採点情報が算出される。このように算出された採点情報は、サーバ装置１２Ｂの採点情報送信部１５３から送信され、クライアント装置１２Ａの採点情報受信部１５４で受信され、クライアント装置１２Ａで採点情報の取得が行われる。
【００８９】
図１５に示す採点処理部１２（構成例３）では、クライアント（ユーザ）側装置の処理負荷、回路規模を大幅に低減することが可能となる。また、上述の構成例２に比べて、クライアント装置１２Ａからサーバ装置１２Ｂに送信するデータのサイズが小さくて済む。
【００９０】
上述したように、図２に示す採点処理部１２においては、楽曲音響信号から算出された楽曲音響信号の音高特徴量と、歌唱音声信号から算出された歌唱音声の音高特徴量との比較により類似度（採点情報）を得るものである。そのため、例えば、商用音楽コンテンツを用いたカラオケ採点等が可能となる。
【００９１】
［採点処理部の他の構成例］
なお、図２に示す採点処理部１２の構成例は、楽曲音響信号を用いて採点を行うことを可能としたものである。しかし、図１に示すカラオケ装置１０における採点処理部１２は、その他の構成、例えば従来周知の構成であってもよい。図１６は、採点処理部１２の他の構成例を示している。
【００９２】
この採点処理部１２は、正解データ送出部１６１と、音高検出部１６２と、歌唱音声採点部１６３を有している。音高検出部１６２は、所定の時間区間（短時間区間）毎に歌唱音声信号の音高情報を検出し、歌唱音声採点部１６３に入力する。ここで、音高情報は、短時間区間毎に歌唱音声信号の周期性を分析して得られた基本周波数またはそれを量子化して音名に変換したものである。
【００９３】
正解データ送出部１６１は、音高情報と時間同期を取りながら正解データを歌唱音声採点部１６３に送出する。ここで、正解データは、お手本となる基本周波数またはそれを量子化して音名に変換したものが時系列に記されているものである。歌唱音声採点部１６３は、音高情報と正解データとを比較し、一致もしくはその値の近さに応じて点数化を行い、採点情報を得る。
【００９４】
図１６に示す採点処理部１２の動作を説明する。ユーザの歌唱音声に対応した歌唱音声信号は、音高検出部１６２に供給される。この音高検出部１６２では、所定の時間区間（短時間区間）毎に歌唱音声信号の音高情報が検出され、歌唱音声採点部１６３に入力される。また、正解データ送出部１６１から、音高情報と時間同期を取りながら、正解データが歌唱音声採点部１６３に入力される。そして、歌唱音声採点部１６３では、音高情報と正解データとが比較され点数化が行われ、採点情報が得られる。
【００９５】
［音響効果付加部の構成例］
図１７は、図１に示すカラオケ装置１０における音響効果付加部１３の構成例を示している。この音響効果付加部１３は、音響効果判定部１７１と、残響付加部１７２と、ハモリ付加部１７３と、加算部１７４と、スイッチ部１７５を有している。残響効果付加部１７２は、歌唱音声信号Ｓ１を入力とし、この歌唱音声信号Ｓ１にフィルタなどの信号処理により、エコー（リバーブ）などの残響を付加して、残響付加信号Ｓ２を生成する。
【００９６】
ハモリ付加部１７３は、歌唱音声信号Ｓ１を入力とし、この歌唱音声信号Ｓ１と合成した際に調和する音程（例えば３度や５度）に変換された信号を付加することで、ハモリ付加信号Ｓ３を生成する。加算部１７４は、ハモリ付加部１７３で生成されたハモリ付加信号Ｓ３に残響付加部１７２で生成された残響付加信号Ｓ２を加算して、残響・ハモリ付加信号Ｓ４を得る。
【００９７】
音響効果付加判定部１７１は、採点処理部１２（図１参照）で得られた採点情報に対して、以下のような閾値判定処理を行い、点数に応じてスイッチ部１７５を切り替え、出力される歌唱音声信号Ｓ５を切り替える。以下において、α、βは、それぞれ、閾値である。なお、スイッチ部１７５において、ａ端子には入力歌唱音声信号Ｓ１が供給され、ｂ端子には残響付加信号Ｓ２が供給され、ｃ端子には残響・ハモリ付加信号Ｓ４が供給されている。
【００９８】
音響効果付加判定部１７１は、点数＜αであるときは、スイッチ部１７５をａ端子への接続に切り替え、出力歌唱音声信号Ｓ５として入力歌唱音声信号Ｓ１が出力されるようにする。また、音響効果付加判定部１７１は、α≦点数＜βであるときは、スイッチ部１７５をｂ端子への接続に切り替え、出力歌唱音声信号Ｓ５として残響付加信号Ｓ２が出力されるようにする。さらに、御行効果判定部１７１は、β≦点数であるときは、スイッチ部１７５をｃ端子への接続に切り替え、出力歌唱音声信号Ｓ５として残響・ハモリ付加信号Ｓ４が出力されるようにする。
【００９９】
図１７に示す音響効果付加部１３の動作を説明する。入力される歌唱音声信号Ｓ１は、残響付加部１７２、ハモリ付加部１７３およびスイッチ部１７５のａ端子のそれぞれに供給される。残響付加部１７２では、歌唱音声信号Ｓ１にフィルタなどの信号処理が施され、エコー（リバーブ）などの残響が付加された残響付加信号Ｓ２が生成される。この残響付加信号Ｓ２は、スイッチ部１７５のｂ端子に供給される。
【０１００】
ハモリ付加部１７３では、歌唱音声信号Ｓ１に、それと合成した際に調和する音程（例えば３度や５度）に変換された信号が付加されてハモリ付加信号Ｓ３が生成される。このハモリ付加信号Ｓ３と上述した残響付加信号Ｓ２とが加算部１７４で加算され、ハモリ・残響付加信号Ｓ４が得られる。このハモリ・残響付加信号Ｓ４はスイッチ部１７５のｃ端子に供給される。
【０１０１】
また、採点情報は音響効果付加判定部１７１に供給される。この音響効果付加判定部１７１では、採点情報に対して閾値判定処理が行われ、スイッチ部１７５の切り替えが制御される。点数＜αであって、点数が低いときは、スイッチ部１７５はａ端子への接続に切り替えられ、入力歌唱音声信号Ｓ１が、そのまま出力歌唱音声信号Ｓ５とされる。また、α≦点数＜βであって、点数が中ぐらいのときは、スイッチ部１７５はｂ端子への接続に切り替えられ、残響付加信号Ｓ２が出力歌唱音声信号Ｓ５とされる。また、β≦点数であって、点数が高いときは、スイッチ部１７５はｃ端子への接続に切り替えられ、残響・ハモリ付加信号Ｓ４が出力歌唱音声信号Ｓ５とされる。
【０１０２】
この図１７に示す音響効果付加部１３においては、歌唱の点数が上昇していくにつれて、より豊かな音響効果が重畳されていき、歌唱者の気分が高揚していくことが期待できる。すなわち、歌唱者の歌唱力に応じてリアルタイムに音響効果が付与されることで、歌唱者に対して聴覚的に刺激を与えることができ、飽きさせることなく、より歌を上達させたいという挑戦心を掻き立て、カラオケの利用価値を高めることができる。また、この音響効果付加部１３においては、ある程度歌唱力が安定した状態にある者のみがハモリを使用することになり、歌唱者だけでなく、聴衆もより快適にカラオケを楽しむことができる。
【０１０３】
なお、上述の図１７に示す音響効果付加部１３は、採点情報に応じて、出力歌唱音声信号Ｓ５として、入力歌唱音声信号Ｓ１、残響付加信号Ｓ２あるいは残響・ハモリ付加信号Ｓ３のいずれかを選択的に出力するものである。しかし、採点情報に応じて連続的なエフェクト効果を付加することも考えられる。
【０１０４】
例えば、採点情報（点数）をＳＣＯＲＥ（１００点満点）とし、αおよびβ（ただし、α＜β）を閾値として、歌唱音声信号に以下のようにエフェクト効果を付加することが考えられる。
（１）ＳＣＯＲＥ＜αであれば、出力歌唱音声信号Ｓ５を、入力歌唱音声信号Ｓ１に切り替える。
【０１０５】
（２）α≦ＳＣＯＲＥ＜βであれば、出力歌唱音声信号Ｓ５を、以下のようにＳＣＯＲＥに応じて残響の強度が制御された残響付加信号Ｓ２に切り替える。この場合、残響の強度をＲＬｅｖ（０〜１．０）とするとするとき、ＲＬｅｖ＝ＳＣＯＲＥ÷１００である。
【０１０６】
（３）β≦ＳＣＯＲＥであれば、出力歌唱音声信号Ｓ５を、以下のようにＳＣＯＲＥに応じて残響およびハモリの強度が制御された残響・ハモリ付加信号Ｓ３に切り替える。この場合、残響の強度をＲＬｅｖ（0〜1.0）とするとき、ＲＬｅｖ＝ＳＣＯＲＥ÷１００である。また、この場合、ハモリの強度をＨＬｅｖ（０〜１．０）とするとき、ＨＬｅｖ＝ＳＣＯＲＥ÷１００である。
【０１０７】
図１８は、このように採点情報に応じて連続的なエフェクト効果を付加する場合における音響効果付加部１３の構成例を示している。この場合、音響効果付加判定部１７１により、残響付加部１７２の残響の強度が上述したように制御されると共に、ハモリ付加部１７３のハモリの強度が上述したように制御される。
【０１０８】
また、上述の図１７に示す音響効果付加部１３は、歌唱の点数が高い程音響効果を付加する例である。しかし、逆に、点数が低い程音響効果を付加することも考えられる。例えば、採点情報（点数）をＳＣＯＲＥ（１００点満点）とし、αを閾値として、歌唱音声信号に以下のようにエフェクト効果を付加することが考えられる。
【０１０９】
（１）ＳＣＯＲＥ＜αであれば、出力歌唱音声信号Ｓ５を、以下のようにＳＣＯＲＥに応じて残響の強度が制御された残響付加信号Ｓ２に切り替える。この場合、残響の強度をＲＬｅｖ（０〜１．０）とするとき、ＲＬｅｖ＝（１００−ＳＣＯＲＥ）÷１００である。
【０１１０】
（２）α≦ＳＣＯＲＥであれば、以下のようにＳＣＯＲＥに応じて残響およびハモリの強度が制御された残響・ハモリ付加信号Ｓ３に切り替える。この場合、残響の強度をＲＬｅｖ（０〜１．０）とするとき、ＲＬｅｖ＝（１００−ＳＣＯＲＥ）÷１００である。また、この場合、ハモリの強度をＨＬｅｖ（０〜１．０）とすると、ＨＬｅｖ＝ＳＣＯＲＥ÷１００である。
【０１１１】
このような制御により、点数が低いほどエコー（リバーブ）を効かせることで、音痴をカバーできる。ハモリは、音痴の場合は不快になるので、点数が低いほど、強度が抑えられる。
【０１１２】
上述したように、図１にカラオケ装置１０においては、歌唱音声信号に基づいた採点処理の結果（採点情報）に応じて、この歌唱音声信号に所定の音響効果を付加するものであり、歌唱者の歌唱力に応じてリアルタイムに音響効果を付与することができる。
【０１１３】
＜２．変形例＞
なお、上述実施の形態においては、被比較音響信号が歌唱音声信号である例を示したが、本技術はこれに限定されるものではなく、その他の音響信号、例えば楽器演奏信号等である場合も考えられる。
【０１１４】
また、上述実施の形態においては、歌唱音声信号として一人が歌唱した場合を想定して説明したが、例えばデュエット曲で二人が歌唱した場合の歌唱音声信号に対しても、同様の採点処理を行うことができる。勿論、３人以上であってもよい。
【０１１５】
また、上述実施の形態において、楽曲音響信号から音高特徴量解析部１１１で楽曲構成音の音高特徴量を得る処理を、歌唱に合わせてリアルタイムに行うことは必ずしも必要ではなく、予めその処理を行っておいてもよい。
【０１１６】
また、本技術は、以下のような構成をとることもできる。
（１）楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを備える
音響処理装置。
（２）上記被比較音響信号は、歌唱音声信号である
前記（１）に記載の音響処理装置。
（３）上記類似度に応じて、上記歌唱音声信号に所定の音響効果を付加する音響効果付加部をさらに備える
前記（２）に記載の音響処理装置。
（４）上記第１の特徴量算出部は、
上記楽曲音響信号の時間周期毎あるいは周波数毎の信号強度情報を上記第１の音高特徴量として算出し、
上記第２の特徴量算出部は、
上記被比較音響信号に含まれる各信号成分の時間周期または周波数を上記第２の音高特徴量として算出する
前記（１）から（３）のいずれかに記載の音響処理装置。
（５）上記類似度算出部は、
上記第１の音高特徴量としての信号強度情報を２値化して用いる
前記（４）に記載の音響処理装置。
（６）上記類似度算出部は、
上記第２の音高特徴量としての時間周期または周波数の他に、該時間周期の２倍の時間周期および該周波数の１／２の周波数を用いる
前記（４）または（５）に記載の音響処理装置。
（７）楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出するステップと、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出するステップと、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出するステップとを備える
音響処理方法。
（８）コンピュータを、
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出手段と、
被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出手段と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出手段と
して機能させるプログラム。
（９）楽曲音響信号に応じた伴奏音の出力を行う伴奏音出力部と、
被比較音響信号を取得する音響信号取得部と、
上記被比較音響信号と上記楽曲音響信号との比較処理を行う信号処理部とを備え、
上記信号処理部は、
上記楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
上記被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを有する
電子機器。
（１０）歌唱音声信号に基づいて採点処理を行う採点処理部と、
上記採点処理の結果に応じて上記歌唱音声信号に所定の音響効果を付加する音響効果付加部とを備える
音響処理装置。
（１１）上記採点処理部は、
楽曲音響信号と上記歌唱音声信号との類似度を算出して上記採点処理を行う
前記（１０）に記載の音響処理装置。
（１２）上記採点処理部は、
上記楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
上記歌唱音声信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とを有する
前記（１１）に記載の音響処理装置。
（１３）楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する第１の特徴量算出部と、
上記第１の音高特徴量に基づいた情報をクライアント装置に送信する情報送信部とを備える
サーバ装置。
（１４）上記クライアント装置から被比較音響信号を受信する音響信号受信部と、
上記被比較音響信号から上記所定の時間区間に対応した時間区間毎の第２の音高特徴量を算出する第２の特徴量算出部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、
上記情報送信部は、上記類似度を、上記クライアント装置に送信する
前記（１３）に記載のサーバ装置。
（１５）被比較音響信号から上記所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量を、上記クライアント装置から受信する特徴量受信部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、
上記情報送信部は、上記類似度を、上記クライアント装置に送信する
前記（１３）に記載のサーバ装置。
（１６）被比較音響信号を取得する音響信号取得部と、
楽曲音響信号から所定の時間区間毎に算出された第１の音高特徴量と上記被比較音響信号から上記所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量との比較により算出された音響信号間の類似度を取得する類似度取得部とを備える
クライアント装置。
（１７）上記被比較音響信号から上記第２の音高特徴量を算出する特徴量算出部と、
サーバ装置から上記第１の音高特徴量を受信する特徴量受信部と、
上記第１の音高特徴量と上記第２の音高特徴量との比較により、音響信号間の類似度を算出する類似度算出部とをさらに備え、
上記類似度取得部は、上記類似度算出部から上記類似度を取得する
前記（１６）に記載のクライアント装置。
（１８）上記被比較音響信号から上記第２の音高特徴量を算出する特徴量算出部と、
上記第１の音高特徴量をサーバ装置に送信する特徴量送信部と、
上記サーバ装置から上記類似度を受信する類似度受信部とをさらに備え、
上記類似度取得部は、上記類似度受信部から上記類似度を取得する
前記（１６）に記載のクライアント装置。
（１９）サーバ装置とクライアント装置とからなり、
上記サーバ装置は、
楽曲音響信号から所定の時間区間毎の第１の音高特徴量を算出する特徴量算出部と、
上記第１の音高特徴量に基づいた情報をクライアント装置に送信する情報送信部とを備え、
上記クライアント装置は、
被比較音響信号を取得する音響信号取得部と、
上記第１の音高特徴量と上記被比較音響信号から上記所定の時間区間に対応した時間区間毎に算出された第２の音高特徴量との比較により算出された音響信号間の類似度を取得する類似度取得部とを備える
音響処理システム。
【符号の説明】
【０１１７】
１０・・・カラオケ装置
１１・・・マイクロホン
１２・・・採点処理部
１２Ａ・・・クライアント装置
１２Ｂ・・・サーバ装置
１３・・・音響効果付加部
１４・・・加算器
１５・・・スピーカ
１１１・・・音高特徴量解析部
１１３・・・音高検出部
１１４・・・歌唱音声採点部
１２１・・・楽曲ボーカルキャンセル処理部
１２２・・・スピーカ
１２３・・・マイクロホン
１２４・・・加算器
１２５・・・エコー推定部
１３１・・・音高特徴量送信部
１３２・・・音高特徴量受信部
１４１・・・音声信号送信部
１４２・・・音声信号受信部
１４３・・・採点情報送信部
１４４・・・採点情報受信部
１５１・・・音高特徴量送信部
１５２・・・音高特徴量受信部
１５３・・・採点情報送信部
１５４・・・採点情報受信部
１６１・・・正解データ送出部
１６２・・・音高検出部
１６３・・・歌唱音声採点部
１７１・・・音響効果付加判定部
１７２・・・残響付加部
１７３・・・ハモリ付加部
１７４・・・加算部
１７５・・・スイッチ部
【図１】
2013167828.tif 000004
【図２】
2013167828.tif 000005
【図７】
2013167828.tif 000006
【図９】
2013167828.tif 000007
【図１１】
2013167828.tif 000008
【図１２】
2013167828.tif 000009
【図１３】
2013167828.tif 000010
【図１４】
2013167828.tif 000011
【図１５】
2013167828.tif 000012
【図１６】
2013167828.tif 000013
【図１７】
2013167828.tif 000014
【図１８】
2013167828.tif 000015
【図３】
2013167828.tif 000016
【図４】
2013167828.tif 000017
【図５】
2013167828.tif 000018
【図６】
2013167828.tif 000019
【図８】
2013167828.tif 000020
【図１０】
2013167828.tif 000021