(57)【要約】【課題】発声者に固有の声の揺らぎを定量的に評価する。【解決手段】声の揺らぎの評価装置は、入力音声データからピッチとピッチの変化量との関係を表すピッチ分布を音声特徴パラメータとして抽出するパラメータ抽出部１０２と、ピッチ分布と予め登録された比較対象となるリファレンスデータとの類似度を算出するマッチング部１０４とを有する。【選択図】  図１
2006154210.tif 000002
【特許請求の範囲】
【請求項１】
入力音声データからピッチとピッチの変化量との関係を表すピッチ分布を音声特徴パラメータとして抽出するパラメータ抽出手順と、
このピッチ分布を基に声の揺らぎを評価する評価手順とを有することを特徴とする声の揺らぎの評価方法。
【請求項２】
請求項１記載の声の揺らぎの評価方法において
前記評価手順は、前記ピッチ分布と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出手順を含むことを特徴とする声の揺らぎの評価方法。
【請求項３】
入力音声データからピッチとピッチの変化量との関係を表すピッチ分布を音声特徴パラメータとして抽出するパラメータ抽出部と、
このピッチ分布を基に声の揺らぎを評価するマッチング部とを有することを特徴とする声の揺らぎの評価装置。
【請求項４】
請求項３記載の声の揺らぎの評価装置において
前記マッチング部は、前記ピッチ分布と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出部を含むことを特徴とする声の揺らぎの評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の声を定量的に評価する技術に係り、特に声の揺らぎの評価方法および評価装置に関するものである。
【背景技術】
【０００２】
声帯模写とは、一般的には、ある特定の人の発声の癖や声質を意図的に模倣する行為であり、例えば有名人の声の真似や歌手の歌い方の特徴を真似するものである。このような声帯模写において声色の類似性の判断を、人の感覚ではなく、システマティックに評価するためには、音声を定量化する必要がある。
【０００３】
現在、音声を定量的に評価する身近な応用例として、カラオケの採点システムが提案されている（例えば、特許文献１、特許文献２参照）。この採点システムは、人の歌唱を評価する技術として、人の音声の高低（ピッチ）と楽譜の音符との類似度評価を時系列で行うものである。
【０００４】
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
【特許文献１】特開平１１−２５９０８１号公報
【特許文献２】特開２０００−１３２１７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のカラオケの採点システムでは、音声のピッチと楽譜の音符とが対応しているか否かを評価するだけであり、音程に対する忠実さを評価することはできるが、それは人の音声の中の一部の要素であり、発声の癖を評価することはできないという問題点があった。
ある人が歌を歌うとき、感情移入や発声の癖によって楽譜（メロディ）の音程と歌の音程とがマッチしないことがある。発声者は、あるパートでは、急激に音程を上げたり、またあるパートでは急激に音程を下げたりと、歌い方に表情をつける。このピッチの変動量、すなわち「声の揺らぎ」が発声者の個性ともなり、声帯模写において重要なポイントになると考えられる。
【０００６】
本発明の目的は、発声者に固有の声の揺らぎを定量的に評価することができる声の揺らぎの評価方法および評価装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の声の揺らぎの評価方法は、入力音声データからピッチとピッチの変化量との関係を表すピッチ分布を音声特徴パラメータとして抽出するパラメータ抽出手順と、このピッチ分布を基に声の揺らぎを評価する評価手順とを有するものである。
また、本発明の声の揺らぎの評価方法の１構成例において、前記評価手順は、前記ピッチ分布と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出手順を含むものである。
【０００８】
また、本発明の声の揺らぎの評価装置は、入力音声データからピッチとピッチの変化量との関係を表すピッチ分布を音声特徴パラメータとして抽出するパラメータ抽出部と、このピッチ分布を基に声の揺らぎを評価するマッチング部とを有するものである。
また、本発明の声の揺らぎの評価装置の１構成例において、前記マッチング部は、前記ピッチ分布と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出部を含むものである。
【発明の効果】
【０００９】
本発明によれば、単なる音程の忠実度を測るのではなく、音声特徴パラメータであるピッチとその変化量とからピッチとピッチの変化量との関係を表すピッチ分布を求めることにより、声の揺らぎを定量的に評価することができる。これにより、本発明では、発声者が楽譜に記載された音程の忠実な再現から意図的に外れて独自につけた声のメリハリや、発声者に固有の声の癖を評価することができる。
【００１０】
また、本発明では、ピッチ分布と予め登録された比較対象となるリファレンスデータとの類似度を算出することにより、ピッチ分布に基づく声の揺らぎの定量的評価を実現することができる。また、歌や台詞回しなどの声色の類似度を評価する際の１つの有効な尺度として、声の揺らぎの類似度を用いることが可能になる。
【発明を実施するための最良の形態】
【００１１】
本発明は、発声者の声の揺らぎを定量的に評価することを最も主要な特徴とする。これまでの技術である、人の声の高さを表わす物理パラメータであるピッチを用いた時系列マッチングは、実用サービスとしてカラオケの採点システムなどで用いられている。この評価方法では、楽譜の音程に対する忠実度を測ることができるが、発声者は、必ずしも楽譜の音程に忠実に歌うわけではない。つまり、発声者は、声の高低に独自のめりはりをつけることで、歌に脚色をつける。この独自の声の揺らぎが発声者の個性につながる。
【００１２】
そこで、本実施の形態では、声の揺らぎを評価する物理的な尺度として、声の高低を表わす絶対ピッチとこのピッチの時系列における変化に着目し、微小時間の絶対ピッチとピッチの変化量（以下、Δピッチとする）からピッチとΔピッチとの関係を表すピッチ分布を求め、このピッチ分布を音声特徴パラメータとして用いて、声の揺らぎを定量的に評価する。
図１は、本発明の実施の形態となる声の揺らぎの評価装置の構成を示すブロック図である。この評価装置は、前処理部１０１と、パラメータ抽出部１０２と、データベース部１０３と、マッチング部１０４とから構成される。各構成の動作は以下のとおりである。
【００１３】
前処理部１０１は、入力部１と、音声分析部２とを有する。比較対象となる音声データは、図示しない音声入力装置（マイクやコンピュータ、磁気ディスク装置、光ディスク装置等）から入力部１に入力される。入力信号がアナログ音声信号の場合、入力部１は、音声信号をＤ／Ａ変換して音声データを生成する。
【００１４】
音声分析部２は、図２に示すようにノイズ・ＢＧＭ除去フィルター２０を有し、入力部１から入力された図３（Ａ）のような音声データからノイズやＢＧＭ（background  music ）などを除去して、対象となる人の音声を抽出する。ノイズやＢＧＭ除去後の音声データを図３（Ｂ）に示す。なお、音声データはデジタル信号であるが、図３（Ａ）、図３（Ｂ）では、音声データをアナログで表している。
【００１５】
パラメータ抽出部１０２は、ピッチ抽出部３を有する。ピッチ抽出部３は、前処理部１０１から入力された音声データをフーリエ変換して単位時間毎のピッチを抽出し、抽出したピッチから単位時間毎のΔピッチを計算する。単位時間毎のΔピッチとは、計算対象の時刻におけるピッチと、それより単位時間前のピッチとの差分（相対的な周波数の増減値）のことを指す。そして、ピッチ抽出部３は、このようなピッチとΔピッチの抽出を単位時間毎に繰り返し行うことで、ピッチとΔピッチとの関係を表すピッチ分布を求める。このようなピッチ分布を用いることにより、声の揺らぎを分析することができる。図４にピッチ分布の１例を示す。図４の例では、ピッチデータを縦軸に、Δピッチデータを横軸にとっている。
【００１６】
データベース部１０３は、リファレンスデータ記憶部４を有する。リファレンスデータ記憶部４は、音声特徴パラメータの比較対象となるリファレンスデータを特徴ベクトルとして予め記憶している。
マッチング部１０４は、パラメータ抽出部１０２から入力された音声特徴パラメータとデータベース部１０３に格納されているリファレンスデータとを比較して距離値（類似度）を算出する。このマッチング部１０４は、類似度算出部５を有する。
【００１７】
類似度算出部５は、ピッチ抽出部３で得られたピッチ分布とリファレンスデータ記憶部４に格納されているピッチ分布データとの類似度を算出する。このときの類似度をＳとすると、類似度Ｓは次式で計算される。
【００１８】
【数１】
2006154210.tif 000003
【００１９】
式（１）において、Ｎはピッチの階級値（代表値）の数、ＭはΔピッチの階級値の数である。図５は、式（１）を用いた類似度の算出方法を説明するための図である。図５の例では、記載を容易にするために、ピッチとΔピッチの階級値をそれぞれ整数値に単純化しており、ピッチのｉ（ｉは１からＮまでの整数）＝１番目，ｉ＝２番目，ｉ＝３番目，ｉ＝４番目，・・・・，ｉ＝Ｎ番目の階級値をそれぞれ１，２，３，４，・・・・，Ｎとし、Δピッチのｊ（ｊは１からＭまでの整数）＝１番目，ｊ＝２番目，ｊ＝３番目，ｊ＝４番目，・・・・，ｊ＝Ｍ番目の階級値をそれぞれ１，２，３，４，・・・・，Ｍとしている。
【００２０】
ピッチのｉ番目の階級値とΔピッチのｊ番目の階級値とにおける度数は、ピッチのｉ番目の階級値とΔピッチのｊ番目の階級値とで特定される図５の四角形のセルの中にあるデータの個数である。類似度算出部５は、ピッチ抽出部３で得られた、ピッチのｉ番目の階級値とΔピッチのｊ番目の階級値とにおける度数を式（１）のｘｉｊに代入し、リファレンスデータ記憶部４に格納されている、ピッチのｉ番目の階級値とΔピッチのｊ番目の階級値とにおける度数データを式（１）のｙｉｊに代入する。このような代入をｉ＝１〜Ｎ及びｊ＝１〜Ｍのそれぞれについて行うことにより、類似度Ｓを算出する。
【００２１】
以上のように、本実施の形態では、音声特徴パラメータとしてピッチ分布を用いることにより、声の揺らぎを定量的に評価することができる。また、本実施の形態では、声の揺らぎの定量的評価の１例として、ピッチ分布と予め登録されたリファレンスデータとの類似度を算出している。これにより、本実施の形態では、歌の物真似を評価する際の１つの尺度、あるいは歌に限らず、台詞回しなどの物真似を評価する際の１つの尺度として、声の揺らぎの類似度を用いることが可能になる。
【００２２】
なお、本実施の形態で説明した評価装置のうちパラメータ抽出部１０２とデータベース部１０３とマッチング部１０４とは、ＣＰＵ、メモリ及びインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。ＣＰＵは、メモリに格納されたプログラムに従って本実施の形態で説明したような処理を実行する。
【産業上の利用可能性】
【００２３】
本発明は、人の声を定量的に評価する技術に適用することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態となる声の揺らぎの評価装置の構成を示すブロック図である。
【図２】図１の音声分析部の構成を示すブロック図である。
【図３】入力音声データとノイズやＢＧＭを除去した後の音声データの波形図である。
【図４】ピッチ分布の１例を示す図である。
【図５】ピッチ分布の類似度の算出方法を説明するための図である。
【符号の説明】
【００２５】
１０１…前処理部、１０２…パラメータ抽出部、１０３…データベース部、１０４…マッチング部、１…入力部、２…音声分析部、３…ピッチ抽出部、４…リファレンスデータ記憶部、５…類似度算出部、２０…ノイズ・ＢＧＭ除去フィルター、Ｓ…類似度。
【図１】
2006154210.tif 000004
【図２】
2006154210.tif 000005
【図３】
2006154210.tif 000006
【図４】
2006154210.tif 000007
【図５】
2006154210.tif 000008