(57)【要約】【課題】複数の音声の協和または不協和の程度を高精度に評価する。【解決手段】マスク生成部３０は、目標音ＶAのスペクトル系列ＲAにおける複数のピークｐの各々について、当該ピークｐからの周波数差と当該ピークｐの成分に対する不協和度との関係を表す不協和関数Ｆdを設定することで、周波数毎に目標音ＶAと当該周波数の音声との不協和の程度を表す評価用マスクＭを生成する。指標算定部６０は、評価音ＶBのスペクトル系列ＲBと評価用マスクＭとを照合することで、目標音ＶAと評価音ＶBとの協和または不協和の度合を表す協和指標値Ｄを算定する。【選択図】図２
2010008448.tif 000002
【特許請求の範囲】
【請求項１】
第１音声のスペクトル系列における複数のピークの各々について、当該ピークからの周波数差と当該ピークの成分に対する不協和度との関係を表す不協和関数を設定することで、周波数毎に前記第１音声と当該周波数の音声との不協和の程度を表す評価用マスクを生成するマスク生成手段と、
第２音声のスペクトル系列と前記評価用マスクとを照合することで、前記第１音声と前記第２音声との協和または不協和の度合を表す協和指標値を算定する指標算定手段と
を具備する音声処理装置。
【請求項２】
前記第１音声のスペクトル系列と前記第２音声のスペクトル系列との相関値を両者間の周波数差毎に算定する相関算定手段と、
前記相関算定手段が算定した相関値が最大となる周波数差だけ前記第２音声のスペクトル系列を周波数軸の方向に移動するシフト処理手段とを具備し、
前記指標算定手段は、前記シフト処理手段による処理後の前記第２音声のスペクトル系列を前記評価用マスクと照合する
請求項１の音声処理装置。
【請求項３】
前記指標算定手段は、前記第２音声のスペクトル系列を周波数軸の方向に相異なる移動量だけ移動させた複数の場合の各々について前記協和指標値を算定し、
前記協和指標値が示す協和の度合が最大となる移動量だけ前記第２音声の音高を変化させる音高調整手段とを具備する
請求項１または請求項２の音声処理装置。
【請求項４】
前記指標算定手段は、複数の前記第２音声の各々を前記評価用マスクと照合することで第２音声毎に協和指標値を算定する
請求項１から請求項３の何れかの音声処理装置。
【請求項５】
第１音声のスペクトル系列における複数のピークの各々について、当該ピークからの周波数差と当該ピークの成分に対する不協和度との関係を表す不協和関数を設定することで、周波数毎に前記第１音声と当該周波数の音声との不協和の程度を表す評価用マスクを生成するマスク生成処理と、
第２音声のスペクトル系列と前記評価用マスクとを照合することで前記第１音声と前記第２音声との不協和の度合を表す協和指標値を算定する指標算定処理と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音声の協和または不協和（dissonance）の度合を評価する技術に関する。
【背景技術】
【０００２】
複数の音声について聴感上における相違（協和または不協和）の程度を評価するための技術が従来から提案されている。例えば特許文献１や特許文献２には、利用者による歌唱音と楽曲の規範的な音声（模範音）とでピッチの相違を測定するとともに測定の結果に応じて歌唱音のピッチを補正する技術が開示されている。
【特許文献１】特開２００７−３１６４１６号公報
【特許文献２】国際公開第０６／０７９８１３号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１や特許文献２の技術においては、歌唱音と模範音との相違の程度を評価するために両音声のピッチ（基本周波数）を検出する必要があるから、例えば歌唱音と模範音とでピッチが大幅に相違する場合には歌唱音と模範音との協和または不協和の程度を適切に評価できないという問題がある。なお、以上においては歌唱音を評価する場合を例示したが、楽器の演奏音など歌唱音以外の音声を評価する場合にも同様の問題がある。以上の事情に鑑みて、本発明は、複数の音声の協和または不協和の程度を高精度に評価することをひとつの目的とする。
【課題を解決するための手段】
【０００４】
以上の課題を解決するために、本発明に係る音声処理装置は、第１音声（例えば目標音ＶA）のスペクトル系列における複数のピークの各々について、当該ピークからの周波数差と当該ピークの成分に対する不協和度との関係を表す不協和関数を設定することで、周波数毎に第１音声と当該周波数の音声との不協和の程度を表す評価用マスクを生成するマスク生成手段と、第２音声（例えば評価音ＶB）のスペクトル系列と評価用マスクとを照合することで、第１音声と第２音声との協和または不協和の度合を表す協和指標値を算定する指標算定手段とを具備する。なお、本発明における音声は、任意の音響を意味し、人間による発声音はもちろん楽器の演奏音や機械の作動音などを包含する概念である。
【０００５】
以上の構成においては、第１音声のスペクトル系列における複数のピークの各々について不協和関数を設定することで生成された評価用マスクが第１音声と第２音声との協和指標値の算定に使用されるから、第１音声や第２音声の基本周波数の検出は原理的には不要である。したがって、第１音声や第２音声の基本周波数に拘わらず、第１音声と第２音声との協和または不協和の度合を高精度に評価することが可能である。
【０００６】
本発明の好適な態様において、マスク生成手段は、第１音声を時間軸上で区分した複数の単位区間の各々について評価用マスクを生成し、指標算定手段は、第２音声を時間軸上で区分した複数の単位区間の各々のスペクトル系列を、当該単位区間に対応する評価用マスクと照合する。以上の態様においては、複数の単位区間の各々について第２音声のスペクトル系列と評価用マスクとが照合されるから、第１音声および第２音声の各々における音声の経時的な変化を踏まえて両者の協和または不協和の度合を評価することが可能となる。
【０００７】
本発明の好適な態様に係る音声処理装置は、第１音声のスペクトル系列と第２音声のスペクトル系列との相関値を両者間の周波数差毎に算定する相関算定手段と、相関算定手段が算定した相関値が最大となる周波数差だけ第２音声のスペクトル系列を周波数軸の方向に移動するシフト処理手段とを具備し、指標算定手段は、シフト処理手段による処理後の第２音声のスペクトル系列を評価用マスクと照合する。以上の態様においては、第１音声のスペクトル系列と第２音声のスペクトル系列との相関値が最大となる周波数差だけ第２音声のスペクトル系列を周波数軸の方向に移動したうえで評価用マスクと照合されるから、例えば第１音声の音域と第２音声の音域とが相違する場合であっても、両者の協和または不協和の度合を高精度に評価することが可能である。
【０００８】
本発明の好適な態様において、相関算定手段は、第１音声のスペクトル系列および第２音声のスペクトル系列の各々から、当該スペクトル系列を区分した各単位帯域内の振幅に応じた強度を複数の単位帯域について設定した帯域強度分布を生成する帯域処理手段と、単位帯域に相当する周波数差毎に第１音声の帯域強度分布と第２音声の帯域強度分布との相関値を算定する演算処理手段とを含む。以上の態様においては、第１音声の帯域強度分布と第２音声の帯域強度分布との相関値が算定されるから、例えば第１音声の周波数スペクトルと第２音声の周波数スペクトルとの相関値を算定する場合と比較して、相関算定手段の処理が簡素化されるという利点がある。
【０００９】
さらに好適な態様において、相関算定手段は、第１音声の帯域強度分布のうち第２音声の帯域強度分布と重複しない部分における強度の合計に応じた第１補正値を両者間の周波数差毎に算定する第１補正値算定手段と、第２音声の帯域強度分布のうち第１音声の帯域強度分布と重複しない部分における強度の合計に応じた第２補正値を両者間の周波数差毎に算定する第２補正値算定手段と、演算処理手段が算定した相関値から第１補正値および第２補正値を周波数差毎に減算することで当該相関値を補正する補正手段とを含む。以上の態様においては、第１音声および第２音声の一方の帯域強度分布のうち他方の帯域強度分布と重複しない部分の強度が高いにも拘わらず相関値が高くなるという不整合が解消されるから、第１音声の音域と第２音声の音域とを高度に合致させることが可能である。
【００１０】
本発明の好適な態様において、マスク生成手段は、周波数軸上で複数の不協和関数が相重複する場合に複数の不協和関数の当該周波数での不協和度のうちの最大値を選択して評価用マスクを生成する。以上の態様においては、第１音声のスペクトル系列において相隣接する各ピークが近接することで複数の不協和関数が周波数軸上で重複する場合であっても、各ピークの音声に対する不協和度を適切に設定した評価用マスクを生成することが可能である。
【００１１】
本発明の好適な態様において、マスク生成手段は、周波数軸上に設定された不協和関数の不協和度に所定値を加算または減算することで評価用マスクを生成する。以上の態様においては、評価用マスクにおける不協和度が所定値の加算または減算で適宜に調整されるから、第２音声のスペクトル系列の振幅が分布する範囲に応じて、当該スペクトル系列との照合に適切な評価用マスクを生成することが可能である。
【００１２】
本発明の好適な態様において、指標算定手段は、第２音声のスペクトル系列におけるピークの振幅の最大値を特定する強度特定手段と、第２音声のスペクトル系列の各振幅と評価用マスクの各数値とを周波数毎に乗算する照合手段と、強度特定手段が特定した振幅の最大値で照合手段による乗算値の最大値を除算することで協和指標値を決定する指標決定手段とを含む。以上の態様においては、照合手段による乗算値の最大値が、第２音声のスペクトル系列におけるピークの振幅の最大値による除算で正規化されるから、第２音声のスペクトル系列の振幅の大小の影響を低減して適切な協和指標値を算定できるという利点がある。
【００１３】
本発明の好適な態様において、指標算定手段は、第２音声のスペクトル系列を周波数軸の方向に相異なる移動量だけ移動させた複数の場合の各々について協和指標値を算定し、協和指標値が示す協和の度合が最大となる（不協和の度合が最小となる）移動量だけ第２音声の音高を変化させる音高調整手段とを具備する。以上の態様においては、協和指標値に応じた移動量だけ第２音声の音高（ピッチ）が調整されるから、第１音声に対して高度に協和する第２音声を生成することが可能である。
【００１４】
本発明の好適な態様において、指標算定手段は、複数の第２音声の各々を評価用マスクと照合することで第２音声毎に協和指標値を算定する。以上の態様においては、複数の第２音声の各々について協和指標値が算定されるから、複数の第２音声のなかから第１音声に対する協和または不協和の度合が高い音声を適切に選択することが可能となる。
【００１５】
以上の各態様に係る音声処理装置は、音声の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、第１音声のスペクトル系列における複数のピークの各々について、当該ピークからの周波数差と当該ピークの成分に対する不協和度との関係を表す不協和関数を設定することで、周波数毎に第１音声と当該周波数の音声との不協和の程度を表す評価用マスクを生成するマスク生成処理と、第２音声のスペクトル系列と評価用マスクとを照合することで第１音声と第２音声との不協和の度合を表す協和指標値を算定する指標算定処理とをコンピュータに実行させる。本発明のプログラムによれば、以上の各態様に係る音声処理装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【発明を実施するための最良の形態】
【００１６】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声処理装置のブロック図である。図１に示すように、音声処理装置１００Aは、演算処理装置１２と記憶装置１４とを具備するコンピュータシステムで実現される。演算処理装置１２は、プログラムを実行することで特定の機能（音声評価部２０）を実現する。記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用するデータを記憶する。
【００１７】
図１に示すように、記憶装置１４は複数の音声Ｖ（ＶA，ＶB）を記憶する。各音声Ｖは、時間領域での波形を表すデジタルデータの形態で記憶装置１４に格納される。ひとつの音声Ｖは、例えば楽曲のうち特徴的な区間（２小節から４小節）の歌唱音や楽器の演奏音である。音声Ｖは、単独の音声（ひとりの歌唱音やひとつの楽器の演奏音）および複数の音声の混合音の何れでもよい。ただし、調波構造（倍音構造）をもつ音声Ｖが音声処理装置１００Aによる処理の対象として好適である。
【００１８】
演算処理装置１２は音声評価部２０として機能する。音声評価部２０は、記憶装置１４に格納されたひとつの音声（以下では「目標音」という）ＶAと別の音声（以下では「評価音」という）ＶBとについて協和指標値Ｄを算定する。協和指標値Ｄは、目標音ＶAと評価音ＶBとが並列または連続に再生された場合に、目標音ＶAに対して評価音ＶBが協和しない（dissonance）と受聴者が聴感上で知覚する度合の指標となる数値である。協和指標値Ｄが大きい評価音ＶBほど目標音ＶAに対して音楽的に協和し難い（協和指標値Ｄが小さい評価音ＶBほど目標音ＶAに協和し易い）という傾向がある。音声評価部２０が算定した協和指標値Ｄは、例えば画像または音声として表示装置や放音装置から出力される。利用者は、協和指標値Ｄを知得することで目標音ＶAと評価音ＶBとの不協和度を認識できる。なお、本形態においては目標音ＶAと評価音ＶBとが同じ時間長である場合を想定するが、目標音ＶAおよび評価音ＶBの時間長は相違し得る。
【００１９】
図２は、音声評価部２０のブロック図である。図２に示すように、音声評価部２０は、周波数分析部２２と量子化部２４とマスク生成部３０と相関算定部４０とシフト処理部５０と指標算定部６０とを含んで構成される。なお、音声評価部２０の各要素を複数の集積回路に分散的に搭載した構成や、音声の処理に専用される電子回路（ＤＳＰ）が各要素を実現する構成も採用される。
【００２０】
図３は、周波数分析部２２および量子化部２４の動作を説明するための概念図である。図２の周波数分析部２２は、図３に示すように、音声Ｖ（目標音ＶAおよび評価音ＶB）を時間軸上で区分した複数のフレームＦRの各々について周波数スペクトルＱ（目標音ＶAの周波数スペクトルＱAおよび評価音ＶBの周波数スペクトルＱB）を算定する。
【００２１】
図２に示すように周波数分析部２２は変換部２２１と調整部２２３とを含む。変換部２２１は、時間軸上の各フレームＦRについて目標音ＶAの周波数スペクトルｑAと評価音ＶBの周波数スペクトルｑBとを算定する。周波数スペクトルｑAおよび周波数スペクトルｑBの算定には、例えばハニング窓を使用した短時間フーリエ変換が好適に利用される。一方、調整部２２３は、周波数スペクトルｑAおよび周波数スペクトルｑBの振幅を調整することで周波数スペクトルＱAおよび周波数スペクトルＱBを生成する。さらに詳述すると、調整部２２３は、対数値に換算した振幅が所定の範囲（例えば-2.0dB〜+2.0dB）の全体に分布するように周波数スペクトルｑAの振幅を調整することで周波数スペクトルＱAを算定する。評価音ＶBの周波数スペクトルＱBも同様の処理（振幅の調整）で周波数スペクトルｑBから算定される。
【００２２】
図２の量子化部２４は、周波数分析部２２が算定した周波数スペクトルＱ（ＱA，ＱB）を時間軸および周波数軸の双方について量子化することでスペクトル系列Ｒ（ＲA，ＲB）を生成する。スペクトル系列ＲAは目標音ＶAの周波数スペクトルＱAから算定され、スペクトル系列ＲBは評価音ＶBの周波数スペクトルＱBから算定される。
【００２３】
量子化部２４は、第１に、図３に示すように、周波数の単位をセント（cent）に換算した周波数スペクトルＱを所定幅（例えば10セント）の帯域Ｂq毎に周波数軸上で区分し、周波数スペクトルＱのピークｐが存在する帯域Ｂqについて当該ピークｐの周波数ｆ0と振幅ａ0とを特定する。なお、帯域Ｂq内に複数のピークｐが存在する場合には、例えば振幅ａ0が大きいピークｐのみについて周波数ｆ0と振幅ａ0とを特定する。
【００２４】
第２に、量子化部２４は、図３に示すように、Ｎt個（例えば２０個）のフレームＦRで構成される単位区間ＴU毎に各ピークｐの周波数ｆpと振幅ａpとを算定する。周波数ｆpは、単位区間ＴU内のＮt個のフレームＦRについて周波数ｆ0をピークｐ毎に平均した数値であり、振幅ａpは、Ｎt個のフレームＦRについて振幅ａ0をピークｐ毎に平均した数値である。単位区間ＴU内のＮt個の周波数スペクトルＱAについて算定された周波数ｆpと振幅ａpとの複数組がスペクトル系列ＲAであり、単位区間ＴU内の複数の周波数スペクトルＱBの各ピークｐについて算定された周波数ｆpと振幅ａpとの複数組がスペクトル系列ＲBである。目標音ＶAのスペクトル系列ＲAと評価音ＶBのスペクトル系列ＲBとは単位区間ＴU毎に時系列に生成される。
【００２５】
図２のマスク生成部３０は、目標音ＶAのスペクトル系列ＲAから評価用マスクＭを生成する。評価用マスクＭは、量子化部２４が順次に生成する複数のスペクトル系列ＲAの各々について（すなわち単位区間ＴU毎に）生成される。評価用マスクＭは、図４の部分(E)に示すように、周波数軸（周波数ｆ）に沿って目標音ＶAに対する不協和度Ｄmask(f)を規定する数値列（関数）である。周波数ｆにおける不協和度Ｄmask(f)は、目標音ＶAと当該周波数ｆの音声との不協和の度合を意味する。すなわち、評価用マスクＭにおいて不協和度Ｄmask(f)が高い周波数ｆの成分を評価音ＶBが豊富に含む場合、評価音ＶBは、目標音ＶAに対して不協和な音声であると評価される。
【００２６】
図５は、マスク生成部３０のブロック図である。図５に示すように、マスク生成部３０は関数設定部３２と第１調整部３４と第２調整部３６と第３調整部３８とを含む。関数設定部３２は、図４の部分(A)に示すように、目標音ＶAのスペクトル系列ＲAにおける複数のピークｐの各々（周波数ｆp，振幅ａp）について不協和関数Ｆdを設定する。不協和関数Ｆdは、目標音ＶAのスペクトル系列ＲAにおけるピークｐの成分と当該ピークｐの周波数ｆpに対して周波数差ｄ（cent）の音声との不協和度ｗ(d)を規定する周波数差ｄ（ｄ＝|ｆ−ｆp|）の関数である。具体的には不協和度ｗ(d)は以下の式(1)のように定義される。
【数１】
2010008448.tif 000003
【００２７】
図６の部分(A)は、式(1)で定義される不協和関数Ｆdのグラフである。図６の部分(A)に示すように、不協和度ｗ(d)は、周波数差ｄが「100cent」である場合に極大となるように「30cent」から「300cent」までの範囲内で周波数差ｄに応じて非線形に変化する。また、目標音ＶAのスペクトル系列ＲAのうちピークｐの振幅ａpが大きい成分ほど、他の音声に対して受聴者が知覚する不協和の度合は増加するという傾向があるため、式(1)で表現されるように、ピークｐに設定される不協和度ｗ(d)は当該ピークｐの振幅ａpに応じた数値（振幅ａpに比例した数値）となる。図６の部分(B)に示すように、関数設定部３２は、目標音ＶAのスペクトル系列ＲAにおける各ピークｐの周波数ｆpを基準（ｄ＝|f-fp|＝０）として当該ピークｐの両側（正側および負側）に不協和関数Ｆdを設定する。
【００２８】
図４の部分(A)に示すように、相近接する各ピークｐに設定された不協和関数Ｆdは周波数軸上で相互に重複する場合がある。図５の第１調整部３４は、図４の部分(B)に示すように、周波数軸上の各周波数ｆにおける不協和度ｗ(d)の最大値を不協和度Ｄ0(f)として選択する。すなわち、不協和関数Ｆdが重複しない周波数ｆについては当該不協和関数Ｆdの不協和度ｗ(d)が不協和度Ｄ0(f)として選択され、複数の不協和関数Ｆdが重複する周波数ｆについては当該周波数ｆにおける複数の不協和度ｗ(d)のなかの最大値が不協和度Ｄ0(f)として選択される。
【００２９】
以上の演算で算定される不協和度Ｄ0(f)は、目標音ＶAのピークｐの周波数ｆpにおいてゼロとならない場合がある。しかし、周波数ｆが共通する音声の成分は必然的に協和する（すなわち不協和度Ｄ0(f)はゼロとなる）。そこで、図５の第２調整部３６は、図４の部分(C)に示すように、各ピークｐの周波数ｆpにおける不協和度Ｄ0(fp)から当該ピークｐの振幅ａpを減算する。
【００３０】
図５の第３調整部３８は、最大値が所定値ｋとなるように第２調整部３６による調整後の不協和度Ｄ0(f)（図４の部分(C)）を調整することで不協和度Ｄmask(f)を算定する。さらに詳述すると、第３調整部３８は、第２調整部３６による調整後の不協和度Ｄ0(f)から最大値Ｄmaxを特定したうえで（図４の部分(C)）、周波数軸の全域にわたる不協和度Ｄ0(f)に対して共通に最大値Ｄmaxの減算と所定値ｋの加算とを実行することで不協和度Ｄmask(f)を算定する。すなわち、第３調整部３８による演算は以下の式(2)で表現される。
Ｄmask(f)＝Ｄ0(f)−Ｄmax＋ｋ  ……(2)
さらに、第３調整部３８は、図４の部分(E)に示すように、ゼロを下回る不協和度Ｄmask(f)をゼロに設定することで評価用マスクＭを確定する。図４の部分(D)に示すように、式(2)で算定される不協和度Ｄmask(f)の最大値は所定値ｋとなる。所定値ｋは、評価用マスクＭと対比される評価音ＲBのスペクトル系列ＲBにおける振幅ａpの範囲（例えば-2.0dB〜+2.0dB）に応じて実験的または統計的に適切な数値（例えばｋ＝0.6）に設定される。
【００３１】
評価用マスクＭは以上の手順で生成されるから、評価用マスクＭにおいて不協和度Ｄmask(f)が高い周波数ｆの成分を評価音ＶBが豊富に含む場合、評価音ＶBは目標音ＶAに対して不協和である可能性が高い。そこで、図２の指標算定部６０は、目標音ＶAから生成された評価用マスクＭと評価音ＶBのスペクトル系列ＲBとを照合することで目標音ＶAと評価音ＶBとの協和指標値Ｄを算定する。
【００３２】
ただし、目標音ＶAと評価音ＶBとで音域が合致しない場合には、評価用マスクＭのうち不協和度Ｄmask(f)が高い周波数ｆの範囲とスペクトル系列ＲBのピークｐの周波数ｆpの範囲とは相違するから、実際には目標音ＶAと評価音ＶBとが音楽的に協和しない音声であっても、評価用マスクＭとスペクトル系列ＲBとの照合で算定される協和指標値Ｄは小さい数値となる（すなわち、両者は協和すると評価される）。以上のような不整合を防止するために、図２の相関算定部４０およびシフト処理部５０は、目標音ＶAの音域に合致するように評価音ＶBのスペクトル系列ＲBを周波数軸の方向に移動（シフト）する。相関算定部４０およびシフト処理部５０の具体的な動作を以下に説明する。
【００３３】
図２の相関算定部４０は、量子化部２４が生成した目標音ＶAのスペクトル系列ＲAと評価音ＶBのスペクトル系列ＲBとの相関値（相互相関値）Ｃを算定する。図７に示すように、相関算定部４０は、帯域処理部４２と演算処理部４４と第１補正値算定部４６１と第２補正値算定部４６２と補正部４８とを含んで構成される。
【００３４】
帯域処理部４２は、量子化部２４が各単位区間ＴUについて生成したスペクトル系列Ｒ（ＲA，ＲB）から単位区間ＴU毎に帯域強度分布Ｓ（ＳA，ＳB）を生成する。スペクトル系列ＲAから帯域強度分布ＳAが生成され、スペクトル系列ＲBから帯域強度分布ＳBが生成される。
【００３５】
帯域強度分布Ｓ（ＳA，ＳB）は、図８に示すように、周波数軸に沿ってスペクトル系列Ｒ（ＲA，ＲB）を区分したＮf個の帯域（以下「単位帯域」という）ＢUの各々について強度ｘを設定した数値列である（Ｎfは自然数）。単位帯域ＢUは、例えば１オクターブに相当する帯域幅（1200cent）に設定される。また、各単位帯域ＢUの強度ｘは、スペクトル系列Ｒのうち当該単位帯域ＢU内の成分の振幅に応じた数値に設定される。本形態の強度ｘは、図８に示すように、単位帯域ＢU内におけるスペクトル系列Ｒの振幅ａpの最大値である。すなわち、帯域強度分布ＳAは、目標音ＶAのスペクトル系列ＲAにおける単位帯域ＢU内の振幅ａpの最大値を強度ｘとして複数の単位帯域ＢUについて配列した数値列であり、帯域強度分布ＳBは、評価音ＶBのスペクトル系列ＲBにおける単位帯域ＢU内の振幅ａpの最大値を強度ｘとして複数の単位帯域ＢUについて配列した数値列である。なお、単位帯域ＢU内の振幅ａpの平均値を帯域強度分布Ｓの強度ｘとした構成も採用される。
【００３６】
図７の演算処理部４４は、帯域処理部４２が生成した帯域強度分布ＳAと帯域強度分布ＳBとの相関値Ｃ0を算定する。さらに詳述すると、演算処理部４４は、帯域強度分布ＳAと帯域強度分布ＳBとの周波数差Δｆが変化するように両者を周波数軸に沿って相対的に移動させながら、帯域強度分布ＳAと帯域強度分布ＳBとが周波数軸上で重複する部分の相関値Ｃ0を算定する。図９の部分(A)に示すように、周波数差Δｆは、帯域強度分布ＳBの一方の端部（右端部）にある１個の単位帯域ＢUのみが帯域強度分布ＳAと重複する位置（Δｆ＝−(Ｎ−１)）から、帯域強度分布ＳBの他方の端部（左端部）にある１個の単位帯域ＢUのみが帯域強度分布ＳAと重複する位置（Δｆ＝Ｎ−１）までの範囲内で、単位帯域ＢUを単位として順次に変更される。周波数差Δｆがゼロである場合には帯域強度分布ＳAと帯域強度分布ＳBとが完全に重複する。図９の部分(B)に示すように、帯域強度分布ＳAおよび帯域強度分布ＳBの周波数差Δｆと両者間の相関値Ｃ0との関係が演算処理部４４にて算定される。目標音ＶAの音域と評価音ＶBの音域とが接近する周波数差Δｆにて相関値Ｃ0が最大化するという傾向がある。
【００３７】
ところで、相関値Ｃ0は、帯域強度分布ＳAおよび帯域強度分布ＳBにおいて相重複する区間のみを対象として算定されるから、帯域強度分布ＳAまたは帯域強度分布ＳBにおいて周波数差Δｆのもとで相重複しない部分に各々の顕著な成分（振幅が大きい帯域内の成分）が存在する場合であっても、演算処理部４４が算定する相関値Ｃ0は大きい数値となる場合がある。しかし、帯域強度分布ＳAまたは帯域強度分布ＳBの相重複しない区間に各々の顕著な成分が存在するのであれば、帯域強度分布ＳAと帯域強度分布ＳBとは全体としてみれば相関が低いと評価されるべきである。以上の事情を考慮して、本形態の補正部４８は、演算処理部４４が算定した相関値Ｃ0を、帯域強度分布ＳAと帯域強度分布ＳBとのうち相重複しない区間内での強弱に応じて補正する。さらに詳述すると、補正部４８は、帯域強度分布ＳAと帯域強度分布ＳBとが重複しない区間の成分が顕著となる周波数差Δｆについて演算処理部４４が算定した相関値Ｃ0を低下させる。相関値Ｃ0の補正の具体例を以下に詳述する。
【００３８】
図７の第１補正値算定部４６１は、補正部４８による相関値Ｃ0の補正に使用される補正値Ａ1を各周波数差Δｆについて算定する。図９の部分(C)は、補正値Ａ1と周波数差Δｆとの関係の具体例である。補正値Ａ1は、帯域強度分布ＳAのうち帯域強度分布ＳBと重複しない区間内の振幅が大きいほど増加する。例えば図１０に示すように、第１補正値算定部４６１は、複数の周波数差Δｆの各々について、帯域強度分布ＳAのうち帯域強度分布ＳBと重複しない各単位帯域ＢU内の強度ｘの合計値ＹAと、帯域強度分布ＳBの全部（Ｎf個）の単位帯域ＢUにわたる強度ｘの合計値ＸBとを乗算することで補正値Ａ1を算定する（Ａ1＝ＹA・ＸB）。
【００３９】
同様に、図７の第２補正値算定部４６２は、相関値Ｃ0の補正に使用される補正値Ａ2を各周波数差Δｆについて算定する。図９の部分(D)は、補正値Ａ2と周波数差Δｆとの関係の具体例である。補正値Ａ2は、帯域強度分布ＳBのうち帯域強度分布ＳAと重複しない区間内の振幅が大きいほど増加する。例えば図１０に示すように、第２補正値算定部４６２は、複数の周波数差Δｆの各々について、帯域強度分布ＳBのうち帯域強度分布ＳAと重複しない各単位帯域ＢU内の強度ｘの合計値ＹBと、帯域強度分布ＳAの全部（Ｎf個）の単位帯域ＢUにわたる強度ｘの合計値ＸAとを乗算することで補正値Ａ2を算定する（Ａ2＝ＹB・ＸA）。
【００４０】
補正部４８は、相関値Ｃ0から周波数差Δｆ毎に補正値Ａ1および補正値Ａ2を減算することで補正後の相関値Ｃを算定する。図９の部分(E)は、補正後の相関値Ｃと周波数差Δｆとの関係の具体例である。各周波数差Δｆにおける相関値Ｃは、当該周波数差Δｆについて演算処理部４４が算定した相関値Ｃ0から当該周波数差Δｆの補正値Ａ1および補正値Ａ2を減算した数値に相当する（Ｃ＝Ｃ0−Ａ1−Ａ2）。したがって、帯域強度分布ＳAや帯域強度分布ＳBのうち強度ｘが大きい区間の相関が高い周波数差Δｆにて相関値Ｃは極大となる。すなわち、帯域強度分布ＳAや帯域強度分布ＳBのうち強度ｘが小さい区間が類似（相関）するだけでは相関値Ｃは極大となり難い。例えば、評価音ＶBの音域が目標音ＶAと比較して１オクターブだけ高い場合、周波数差Δｆが「１」の地点で相関値Ｃは最大となる。以上が相関算定部４０の構成および作用である。
【００４１】
図２のシフト処理部５０は、評価音ＶBの音域が目標音ＶAと合致するようにスペクトル系列ＲBを周波数軸の方向に移動する。スペクトル系列ＲBの移動は単位区間ＴU毎に個別に実行される。すなわち、シフト処理部５０は、相関算定部４０が各単位区間ＴUについて算定した相関値Ｃに応じた移動量ΔＦだけ当該単位区間ＴUのスペクトル系列ＲBを周波数軸の方向に移動する。図９の部分(E)に示すように、移動量ΔＦは、相関算定部４０の算定した相関値Ｃが最大となる周波数差Δｆに相当する。図１１の部分(A)は、各単位区間ＴUについてシフト処理部５０が決定した移動量ΔＦの時系列である。
【００４２】
図１１の部分(B)は、シフト処理部５０による処理後のスペクトル系列ＲBの時系列を図示した模式図である。周波数差Δｆは単位帯域ＢUを単位として変化するから、スペクトル系列ＲBは、単位帯域ＢUの帯域幅（１オクターブ）を単位として周波数軸の正側または負側に移動する。例えば、移動量ΔＦが「１」であれば単位帯域ＢUの１個分（１オクターブに相当する1200cent）だけ周波数軸の正側に移動し、移動量ΔＦが「−２」であれば単位帯域ＢUの２個分（２オクターブに相当する2400cent）だけ周波数軸の負側に移動する。スペクトル系列ＲBのうち周波数軸上の移動で初期の帯域Ｂ0（単位帯域ＢUのＮ個分）の外側に移動した区間（図１１の部分(B)にて斜線が付された区間）は破棄され、帯域Ｂ0のうちスペクトル系列ＲBの移動でデータが存在しなくなった区間（スペクトル系列ＲBの移動の上流側の区間）については、ピークｐがない（振幅ａpがゼロである）ことを示すデータｚが充填される。
【００４３】
図２の指標算定部６０は、シフト処理部５０による処理後のスペクトル系列ＲBとマスク生成部３０が生成した評価用マスクＭとを照合することで目標音ＶAと評価音ＶBとの協和指標値Ｄを算定する。図１２に示すように、指標算定部６０は、強度特定部６２と照合部６４と指標決定部６６とを含む。強度特定部６２は、評価音ＶBの全部（Ｎt個）の単位区間ＴUのスペクトル系列ＲB（シフト処理部５０による処理前または処理後のスペクトル系列ＲB）のなかからピークｐの振幅ａpの最大値Ａmaxを特定する。
【００４４】
照合部６４は、Ｎt個の単位区間ＴUの各々のスペクトル系列ＲBと当該単位区間ＴUのスペクトル系列ＲAから生成された評価用マスクＭとを照合する。さらに詳述すると、照合部６４は、図１３に示すように、スペクトル系列ＲBのうちピークｐが存在する複数の帯域Ｂq（10cent）の各々について、評価用マスクＭのうち当該ピークｐの周波数ｆpにおける不協和度Ｄmask(fp)とスペクトル系列ＲBの当該ピークｐの振幅ａpとを乗算することで指標値ｄを算定する（ｄ＝Ｄmask(fp)・ａp）。スペクトル系列ＲBと評価用マスクＭとの照合（帯域Ｂq毎の指標値ｄの算定）は、評価音ＶBの全部（Ｎt個）の単位区間ＴUについて反復される。
【００４５】
図１２の指標決定部６６は、図１３に示すように、照合部６４が算定した複数の指標値ｄから最大値ｄmaxを検索し、強度特定部６２が算定した振幅の最大値Ａmaxで最大値ｄmaxを除算することで、目標音ＶAと評価音ＶBとの協和指標値Ｄを算定する（Ｄ＝ｄmax／Ａmax）。照合部６４が算定した指標値ｄは評価音ＶBの音量に依存するが、指標値ｄの最大値ｄmaxをスペクトル系列ＲBの振幅ａpの最大値Ａmaxで除算することで、協和指標値Ｄは、評価音ＶBの音量に対する依存を低減した数値に正規化される。評価用マスクＭのうちスペクトル系列ＲBにて振幅ａpが大きいピークｐの周波数ｆpにおける不協和度Ｄmask(fp)が大きいほど協和指標値Ｄは大きい数値となる。したがって、協和指標値Ｄが大きい評価音ＶBを、目標音ＶAに対して音楽的に協和し難い音声Ｖと評価することが可能である。
【００４６】
以上に説明したように、本形態においては、目標音ＶAのスペクトル系列ＲAにおける複数のピークｐの各々について不協和関数Ｆdを設定した評価用マスクＭを利用して目標音ＶAと評価音ＶBとの協和指標値Ｄが算定されるから、目標音ＶAや評価音ＶBの基本周波数の検出は原理的には不要である。したがって、目標音ＶAと評価音ＶBとで基本周波数が相違する場合や、目標音ＶAまたは評価音ＶBにて基本周波数の成分が欠落している場合（missing fundamental）であっても、目標音ＶAと評価音ＶBとの不協和（または協和）の度合を高精度に評価することが可能である。
【００４７】
また、目標音ＶAの音域と評価音ＶBの音域とが接近するように評価音ＶBのスペクトル系列ＲBが周波数軸に沿って移動されるから、目標音ＶAの音域と評価音ＶBの音域とが相違する場合（例えば目標音ＶAと評価音ＶBとで演奏に使用された楽器が相違する場合）であっても、目標音ＶAと評価音ＶBとの不協和（または協和）の度合を高精度に評価できるという利点がある。さらに本形態においては、補正値Ａ1および補正値Ａ2に応じた補正後の相関値Ｃがスペクトル系列ＲBの移動量ΔＦの決定に使用されるから、スペクトル系列ＲAやスペクトル系列ＲBにおいて顕著な成分が存在する帯域の如何に拘わらず、目標音ＶAの音域と評価音ＶBの音域とを高精度に接近させることが可能である。
【００４８】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下の各形態において第１実施形態と共通する要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
【００４９】
図１４は、本形態に係る音声処理装置１００Bのブロック図である。図１４に示すように、本形態の演算処理装置１２は音声評価部２０および音高調整部７０として機能する。音声評価部２０は、第１実施形態と同様の構成（図２）である。ただし、本形態の指標算定部６０は、シフト処理部５０による処理後の各スペクトル系列ＲBを評価用マスクＭに対して周波数軸上で移動量ΔＰだけ移動させたときの協和指標値Ｄを、移動量ΔＰを変化させた複数の場合の各々について図１３の処理を実行することで算定する。例えば、音声評価部２０は、帯域Ｂqに相当する変化量（10cent）を単位として単位帯域ＢUの帯域幅（1200cent）の範囲にわたって移動量ΔＰを変化させることで、ひとつの評価音ＶBについて120個の協和指標値Ｄを算定する。そして、音声評価部２０は、複数（120個）の協和指標値Ｄが最小となる場合（すなわち、目標音ＶAに最も協和する場合）のスペクトル系列ＲBの移動量ΔＰを特定する。
【００５０】
図１４の音高調整部７０は、協和指標値Ｄが最小となる移動量ΔＰだけ評価音ＶBの音高（ピッチ）を変化させる。音高の調整には公知の技術が任意に採用される。以上のように本形態においては、音声評価部２０の算定する協和指標値Ｄが最小となるように評価音ＶBの音高が調整されるから、目標音ＶAに対して聴感上で充分に協和する評価音ＶBを生成することが可能である。音高調整部７０による調整後の評価音ＶBは、例えば目標音ＶAとの混合や連結（さらには新規な楽曲の編成）に好適に利用できる。なお、以上においてはスペクトル系列ＲBを移動量ΔＰだけ移動させたが、スペクトル系列ＲBは固定したうえで評価用マスクＭを周波数軸上で移動量ΔＰだけ順次に移動させることで複数の協和指標値Ｄを算定する構成も採用される。
【００５１】
＜Ｃ：第３実施形態＞
図１５は、本発明の第３実施形態に係る音声処理装置１００Cのブロック図である。図１５に示すように、相異なる音声の波形を表す複数の評価音ＶBが記憶装置１４に格納される。音声評価部２０は、複数の評価音ＶBの各々について個別に協和指標値Ｄを算定する。協和指標値Ｄの算定の方法は第１実施形態と同様である。
【００５２】
音声評価部２０は、協和指標値Ｄが最小となる（すなわち目標音ＶAに最も協和する）評価音ＶBを記憶装置１４内の複数の評価音ＶBのなかから選択する。以上のように本形態においては、目標音ＶAに対して聴感上で充分に協和する評価音ＶBを多数の評価音ＶBのなかから抽出することが可能である。音声評価部２０が特定した評価音ＶBは、例えば目標音ＶAとの混合や連結（さらには新規な楽曲の編成）に好適に利用できる。
【００５３】
なお、以上においてはひとつの評価音ＶBを選択したが、協和指標値Ｄが小さい順番で上位にある複数個の評価音ＶBを選択する構成（さらには目標音ＶAとの混合や連結に使用する構成）も好適である。また、第２実施形態の構成は本形態にも適用される。例えば、記憶装置１４に格納された複数の評価音ＶBのうち協和指標値Ｄが最小となる評価音ＶBを対象として、目標音ＶAとの協和指標値Ｄが最小となる移動量ΔＰを第２実施形態と同様の手順で決定し、当該評価音ＶBの音高を音高調整部７０が移動量ΔＰだけ変化させる。
【００５４】
＜Ｄ：変形例＞
以上の各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下に例示する各態様を任意に組合わせてもよい。
【００５５】
（１）変形例１  
以上の各形態においては協和指標値Ｄの算定時にスペクトル系列Ｒ（ＲA，ＲB）を算定したが、各音声Ｖ（目標音ＶAや評価音ＶB）のスペクトル系列Ｒを事前に算定して記憶装置１４に格納した構成も好適である。第３実施形態のように複数の評価音ＶBが目標音ＶAと対比される構成においては、協和指標値Ｄの算定時に各音声Ｖのスペクトル系列Ｒの算定に必要となる時間を削減するという観点から、複数の音声Ｖ（特に評価音ＶB）の各々についてスペクトル系列Ｒを事前に記憶装置１４に格納した構成が格別に好適である。また、外部装置にて算定されたスペクトル系列Ｒが通信網や可搬型の記録媒体を介して演算処理装置１２に提供される構成（したがって周波数分析部２２や量子化部２４は音声評価部２０から省略される）も好適である。以上のようにスペクトル系列Ｒが事前に用意された構成においては、記憶装置１４が音声Ｖを記憶する必要はない。なお、以上においてはスペクトル系列Ｒについて言及したが、帯域強度分布Ｓ（ＳA，ＳB）についても事前に記憶装置１４に格納された構成や外部装置から提供される構成が採用される。
【００５６】
（２）変形例２  
指標算定部６０が協和指標値Ｄを算定する方法は適宜に変更される。例えば、照合部６４が各スペクトル系列ＲBについて算定した指標値ｄをＮt個の単位区間ＴUにわたって平均することで協和指標値Ｄを算定する構成が採用される。すなわち、評価音ＶBのスペクトル系列ＲBと評価用マスクＭとを照合することで協和指標値Ｄを算定する構成が本発明においては好適であり、スペクトル系列ＲBと評価用マスクＭとの照合の結果と協和指標値Ｄとの関係は本発明において任意である。また、以上の各形態では指標値ｄの最大値を協和指標値Ｄとして決定したが、指標値ｄの最小値を協和指標値Ｄとして決定する構成（目標音ＶAと評価音ＶBとが協和するほど協和指標値Ｄが増加する構成）も好適である。すなわち、協和指標値Ｄは、目標音ＶAと評価音ＶBとの協和または不協和の度合を表す指標値として定義され、協和または不協和の度合の増減と協和指標値Ｄの増減との関係は任意である。
【００５７】
（３）変形例３  
目標音ＶAの音域と評価音ＶBの音域との相違が問題とならない場合（例えば目標音ＶAと評価音ＶBとで音域が合致する場合）、以上の各形態における相関算定部４０やシフト処理部５０は省略される。また、以上の各形態においては目標音ＶAの帯域強度分布ＳAと評価音ＶBの帯域強度分布ＳBとの相関値Ｃを算定したが、目標音ＶAのスペクトル系列ＲA（または周波数スペクトルＱA，ｑA）と評価音ＶBのスペクトル系列ＲB（または周波数スペクトルＱB，ｑB）とについて相関値Ｃを算定する構成も採用される。
【００５８】
（４）変形例４  
以上の形態においては量子化部２４による量子化後のスペクトル系列Ｒ（ＲA，ＲB）を協和指標値Ｄの算定に使用したが、変換部２２１が算定した周波数スペクトルｑ（ｑA，ｑB）を以上の各形態におけるスペクトル系列Ｒ（ＲA，ＲB）の代わりに使用した構成（すなわち調整部２２３と量子化部２４とを省略した構成）や、調整部２２３による調整後の周波数スペクトルＱ（ＱA，ＱB）を以上の各形態におけるスペクトル系列Ｒ（ＲA，ＲB）の代わりに使用した構成（すなわち量子化部２４を省略した構成）も採用される。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１実施形態に係る音声処理装置のブロック図である。
【図２】音声評価部のブロック図である。
【図３】スペクトル系列の生成を説明するための概念図である。
【図４】評価用マスクの生成を説明するための概念図である。
【図５】マスク生成部のブロック図である。
【図６】不協和関数の設定を説明するための概念図である。
【図７】相関算定部のブロック図である。
【図８】帯域強度分布の生成を説明するための概念図である。
【図９】相関算定部の動作を説明するための概念図である。
【図１０】補正値の算定を説明するための概念図である。
【図１１】シフト処理部の動作を説明するための概念図である。
【図１２】指標算定部のブロック図である。
【図１３】指標算定部の動作を説明するための概念図である。
【図１４】第２実施形態に係る音声処理装置のブロック図である。
【図１５】第３実施形態に係る音声処理装置のブロック図である。
【符号の説明】
【００６０】
１００A，１００B，１００C……音声処理装置、１２……演算処理装置、１４……記憶装置、２０……音声評価部、２２……周波数分析部、２４……量子化部、３０……マスク生成部、４０……相関算定部、４２……帯域処理部、４４……演算処理部、４６１……第１補正値算定部、４６２……第２補正値算定部、４８……補正部、５０……シフト処理部、６０……指標算定部、６２……強度特定部、６４……照合部、６６……指標決定部、７０……音高調整部、Ｄ……協和指標値、ＶA……目標音、ＶB……評価音、ＲA，ＲB……スペクトル系列、Ｍ……評価用マスク、ＳA，ＳB……帯域強度分布、Ｃ0，Ｃ……相関値、Ａ1，Ａ2……補正値。
【図１】
2010008448.tif 000004
【図２】
2010008448.tif 000005
【図３】
2010008448.tif 000006
【図４】
2010008448.tif 000007
【図５】
2010008448.tif 000008
【図６】
2010008448.tif 000009
【図７】
2010008448.tif 000010
【図８】
2010008448.tif 000011
【図９】
2010008448.tif 000012
【図１０】
2010008448.tif 000013
【図１１】
2010008448.tif 000014
【図１２】
2010008448.tif 000015
【図１３】
2010008448.tif 000016
【図１４】
2010008448.tif 000017
【図１５】
2010008448.tif 000018