(57)【要約】【課題】声の響きを定量的に評価する。【解決手段】声の響きの評価装置は、入力音声データからスペクトルピークに関する情報を音声特徴パラメータとして抽出するパラメータ抽出部１０２と、このスペクトルピークに関する情報を基に声の響きを評価するマッチング部１０４とを有する。【選択図】  図１
2006154213.tif 000002
【特許請求の範囲】
【請求項１】
入力音声データからスペクトルピークに関する情報を音声特徴パラメータとして抽出するパラメータ抽出手順と、
このスペクトルピークに関する情報を基に声の響きを評価する評価手順とを有することを特徴とする声の響きの評価方法。
【請求項２】
請求項１記載の声の響きの評価方法において、
前記パラメータ抽出手順は、前記スペクトルピークに関する情報として、単位時間あたりのスペクトルピーク総数を求めるスペクトルピーク総数抽出手順を含み、
前記評価手順は、前記スペクトルピーク総数と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出手順を含むことを特徴とする声の響きの評価方法。
【請求項３】
請求項１記載の声の響きの評価方法において、
前記パラメータ抽出手順は、前記入力音声データの各周波数毎に、その周波数までの範囲に出現したスペクトルピークの累積頻度を単位時間について求め、周波数毎の累積頻度が飽和する飽和周波数を前記スペクトルピークに関する情報として求める飽和周波数抽出手順を含み、
前記評価手順は、前記飽和周波数と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出手順を含むことを特徴とする声の響きの評価方法。
【請求項４】
入力音声データからスペクトルピークに関する情報を音声特徴パラメータとして抽出するパラメータ抽出部と、
このスペクトルピークに関する情報を基に声の響きを評価するマッチング部とを有することを特徴とする声の響きの評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の声を定量的に評価する技術に係り、特に声の響きを評価する声の響きの評価方法および評価装置に関するものである。
【背景技術】
【０００２】
声帯模写とは、一般的には、ある特定の人の発声の癖や声質を意図的に模倣する行為であり、例えば有名人の声の真似や歌手の歌い方の特徴を真似するものである。このような声帯模写において声色の類似性の判断を、人の感覚ではなく、システマティックに評価するためには、音声を定量化する必要がある。
【０００３】
現在、音声を定量的に評価する身近な応用例として、カラオケの採点システムが提案されている（例えば、特許文献１、特許文献２参照）。この採点システムは、人の歌唱を評価する技術として、人の音声の高低（ピッチ）と楽譜の音符との類似度評価を時系列で行うものである。
一方、人の音声を特定する技術として、声紋と呼ばれる音声の周波数成分、とりわけフォルマントと呼ばれる周波数成分が強く現れている部分を用いて時系列的にあるいは瞬間的に音声のマッチングを行うものがある（例えば、非特許文献１、非特許文献２参照）。
【０００４】
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
【特許文献１】特開平１１−２５９０８１号公報
【特許文献２】特開２０００−１３２１７６号公報
【非特許文献１】鹿野清宏，中村哲，伊勢史郎共著，「音声・音情報のディジタル信号処理  ディジタル信号処理シリーズ第５巻」，昭晃堂，１９９７年，ｐ．３５−５８
【非特許文献２】今井聖著，「音声信号処理  音声の性質と聴覚の特性を考慮した信号処理」，森北出版株式会社，１９９６年，ｐ．５８−９４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のカラオケの採点システムでは、音声のピッチと楽譜の音符とが対応しているか否かを評価するだけであり、音程に対する忠実さを評価することはできるが、それは人の音声の中の一部の要素であり、声の響きを評価することはできないという問題点があった。とりわけ、人が高音部を歌っている時の響き具合には、声の個人性が強く表われる。この声の響きは、人の声を評価する上で重要な尺度になり得ると考えられる。
一方、フォルマント成分を用いて音声のマッチングを行う技術では、先天的な声質の類似度を評価することはできるが、音声の個人的特徴に大きく影響する声の響きを評価することはできないという問題点があった。
【０００６】
本発明の目的は、声の響きを定量的に評価することができる声の響きの評価方法および評価装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の声の響きの評価方法は、入力音声データからスペクトルピークに関する情報を音声特徴パラメータとして抽出するパラメータ抽出手順と、このスペクトルピークに関する情報を基に声の響きを評価する評価手順とを有するものである。
また、本発明の声の響きの評価方法の１構成例において、前記パラメータ抽出手順は、前記スペクトルピークに関する情報として、単位時間あたりのスペクトルピーク総数を求めるスペクトルピーク総数抽出手順を含み、前記評価手順は、前記スペクトルピーク総数と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出手順を含むものである。
また、本発明の声の響きの評価方法の１構成例において、前記パラメータ抽出手順は、前記入力音声データの各周波数毎に、その周波数までの範囲に出現したスペクトルピークの累積頻度を単位時間について求め、周波数毎の累積頻度が飽和する飽和周波数を前記スペクトルピークに関する情報として求める飽和周波数抽出手順を含み、前記評価手順は、前記飽和周波数と予め登録された比較対象となるリファレンスデータとの類似度を算出する類似度算出手順を含むものである。
【０００８】
また、本発明の声の響きの評価装置は、入力音声データからスペクトルピークに関する情報を音声特徴パラメータとして抽出するパラメータ抽出部と、このスペクトルピークに関する情報を基に声の響きを評価するマッチング部とを有するものである。
【発明の効果】
【０００９】
本発明によれば、単なる音程の忠実度を測るのではなく、音声特徴パラメータとしてスペクトルピークに関する情報を求めることにより、声の響きを定量的に評価することができる。これにより、本発明では、個人の特徴が強く現れる声の響きを評価することができる。
【００１０】
また、本発明では、スペクトルピークに関する情報として、単位時間あたりのスペクトルピーク総数を求め、スペクトルピーク総数と予め登録された比較対象となるリファレンスデータとの類似度を算出することにより、スペクトルピークに基づく声の響きの定量的評価を実現することができる。また、歌や台詞回しなどの声色の類似度を評価する際の１つの有効な尺度として、声の響きの類似度を用いることが可能になる。
【００１１】
また、本発明では、入力音声データの各周波数毎に、その周波数までの範囲に出現したスペクトルピークの累積頻度を単位時間について求め、周波数毎の累積頻度が飽和する飽和周波数をスペクトルピークに関する情報として求め、飽和周波数と予め登録された比較対象となるリファレンスデータとの類似度を算出することにより、スペクトルピークに基づく声の響きの定量的評価を実現することができる。また、歌や台詞回しなどの声色の類似度を評価する際の１つの有効な尺度として、声の響きの類似度を用いることが可能になる。
【発明を実施するための最良の形態】
【００１２】
本発明は、スペクトルピークに関する情報を用いて人の声の響きを評価することを最も主要な特徴とする。これまでの技術である、人の声の高さを表わす物理パラメータであるピッチを用いた時系列マッチングは、実用サービスとしてカラオケの採点システムなどで用いられている。この評価方法では、楽譜の音程に対する忠実度を測ることができるが、声の響きまで評価することはできない。人が歌を聞いて上手いと感じる時、その理由として音程が合っているということの他に、歌声に響きがあるということも挙げられる。そこで、本実施の形態では、この声の響きを定量的に評価する手法を提供する。
【００１３】
従来技術には、個人の声質の特性を抽出する手法として、第１フォルマントと第２フォルマントの分布を用いる方法がある。しかし、この分布から先天的な声質の類似度を評価することはできるが、声の響きを評価することは難しい。そこで、本実施の形態では、第１フォルマントや第２フォルマントというような、定められたフォルマントの値のみに着目するのではなく、周波数スペクトル全体に渡り、周波数成分が強く表われている極大値（スペクトルピーク）の個所を時系列に分析する。そして、スペクトルピークの総数や、スペクトルピークの周波数毎の累積頻度から求めた累積頻度の飽和周波数を用いて声の響きを評価する。
【００１４】
図１に、ある時刻における音声データの周波数スペクトルの１例を示す。人がある歌い手の歌を上手いと感じる時、上手いと感じられない歌声に比べて、スペクトルピークの出現頻度はより多くなり、またスペクトルピークは低周波数から高周波数まで幅広い周波数範囲にわたって現れる（すなわち、累積頻度の飽和周波数が高くなる）。このスペクトルピークの総数と累積頻度の飽和周波数とを音声特徴パラメータとして用いることにより、声の響きを定量的に評価することが可能である。
【００１５】
図２は本発明の実施の形態となる声の響きの評価装置の構成を示すブロック図である。この評価装置は、前処理部１０１と、パラメータ抽出部１０２と、データベース部１０３と、マッチング部１０４とから構成される。各構成の動作は以下のとおりである。
【００１６】
前処理部１０１は、入力部１と、音声分析部２とを有する。比較対象となる音声データは、図示しない音声入力装置（マイクやコンピュータ、磁気ディスク装置、光ディスク装置等）から入力部１に入力される。入力信号がアナログ音声信号の場合、入力部１は、音声信号をＤ／Ａ変換して音声データを生成する。
【００１７】
音声分析部２は、図３に示すようにノイズ・ＢＧＭ除去フィルター２０を有し、入力部１から入力された図４（Ａ）のような音声データからノイズやＢＧＭ（background  music ）などを除去して、対象となる人の音声を抽出する。ノイズやＢＧＭ除去後の音声データを図４（Ｂ）に示す。なお、音声データはデジタル信号であるが、図４（Ａ）、図４（Ｂ）では、音声データをアナログで表している。
【００１８】
パラメータ抽出部１０２は、スペクトルピーク総数抽出部３と、飽和周波数抽出部４とを有する。
スペクトルピーク総数抽出部３は、前処理部１０１から入力された音声データをフーリエ変換し、予め定められた周波数下限値ｆｍｉｎから周波数上限値ｆｍａｘまでの周波数範囲についてスペクトルピークの数を毎時刻カウントすることにより、単位時間（フレーム）あたりのスペクトルピーク総数を求める。すなわち、スペクトルピーク総数抽出部３は、図１のような周波数スペクトルに現れるスペクトルピークの数を所定の周波数範囲についてカウントすることになる。スペクトルピーク総数抽出部３は、このようなスペクトルピーク総数の導出を単位時間毎に行う。
【００１９】
一方、飽和周波数抽出部４は、スペクトルピーク総数抽出部３と同様にして単位時間あたりのスペクトルピーク総数を求めると共に、周波数下限値ｆｍｉｎ以上で周波数上限値ｆｍａｘ以下の各周波数毎に、その周波数までの範囲に出現したスペクトルピークの累積頻度を単位時間について求め、周波数毎の累積頻度が飽和する飽和周波数を求める。
【００２０】
図５は、スペクトルピークの周波数毎の累積頻度の求め方を説明するための図である。図５のように、飽和周波数抽出部４は、周波数下限値ｆｍｉｎからある周波数までのスペクトルピークの累積頻度を求めることを、周波数上限値ｆｍａｘ以下の各周波数について行う。周波数下限値ｆｍｉｎから周波数ｓ（ｓ≦ｆｍａｘ）までのスペクトルピークの累積頻度をＳ（ｓ）とすると、累積頻度Ｓ（ｓ）は次式で与えられる。
Ｓ（ｓ）＝Σｆ（ｎ）                                              ・・・（１）
【００２１】
ｆ（ｎ）は、周波数ｎにおいてスペクトルピークが出現した場合は「１」、スペクトルピークが出現していない場合は「０」になる評価関数である。式（１）は、評価関数ｆ（ｎ）をｎ＝ｆｍｉｎ〜ｎ＝ｓまでの各周波数について加算することを意味する。
次に、飽和周波数の求め方を図６を用いて説明する。単位時間あたりのスペクトルピーク総数をＰ（ｔ）とすると、単位時間あたりのスペクトルピークの周波数毎の累積出現率はＳ（ｓ）／Ｐ（ｔ）となる。図６に示すように、飽和周波数ｆｓａｔは、累積出現率が１００％に到達する最小の周波数である。
【００２２】
図７（Ａ）は累積出現率の周波数分布の１例を示す図、図７（Ｂ）は累積出現率の周波数分布の他の例を示す図である。また、図８に、互いに直交する３つの軸のうち１つの軸に時間をとり、他の軸に周波数をとり、残りの軸にスペクトルピークの累積出現率をとったグラフを示す。図７（Ａ）の例では、飽和周波数ｆｓａｔが高く、声の響きが豊かであることが分かる。これに対して、図７（Ｂ）の例では、飽和周波数ｆｓａｔが低く、図７（Ａ）の場合に比べて声の響きが乏しいことが分かる。
【００２３】
データベース部１０３は、リファレンスデータ記憶部５を有する。リファレンスデータ記憶部５は、各音声特徴パラメータの比較対象となるリファレンスデータを特徴ベクトルとして予め記憶している。
マッチング部１０４は、パラメータ抽出部１０２から入力された音声特徴パラメータとデータベース部１０３に格納されているリファレンスデータとを対応するデータ毎に比較して、各音声特徴パラメータ毎に距離値（類似度）を算出する。このマッチング部１０４は、類似度算出部６，７を有する。
【００２４】
類似度算出部６は、スペクトルピーク総数抽出部３で得られたスペクトルピーク総数とリファレンスデータ記憶部５に格納されているスペクトルピーク総数データとの類似度を算出する。このときの類似度をＳＩとすると、類似度ＳＩは次式で計算される。
【００２５】
【数１】
2006154213.tif 000003
【００２６】
式（２）において、Ｎはフレーム数である。類似度算出部６は、スペクトルピーク総数抽出部３で得られた、フレームｉにおけるスペクトルピーク総数を式（２）のｘｉに代入し、リファレンスデータ記憶部５に格納されている、フレームｉにおけるスペクトルピーク総数データを式（２）のｙｉに代入する。このような代入をｉ＝１〜Ｎのそれぞれについて行うことにより、類似度を算出する。
【００２７】
一方、類似度算出部７は、飽和周波数抽出部４で得られた飽和周波数とリファレンスデータ記憶部５に格納されている飽和周波数データとの類似度を算出する。スペクトルピーク総数の場合と同様に、類似度算出部７は、飽和周波数抽出部４で得られた、フレームｉにおける飽和周波数を式（２）のｘｉに代入し、リファレンスデータ記憶部５に格納されている、フレームｉにおける飽和周波数データを式（２）のｙｉに代入する。このような代入をｉ＝１〜Ｎのそれぞれについて行うことにより、類似度を算出する。
【００２８】
以上のように、本実施の形態では、音声特徴パラメータとしてスペクトルピークに関する情報を用いることにより、声の響きを定量的に評価することができる。また、本実施の形態では、声の響きの定量的評価の１例として、スペクトルピーク総数を求め、スペクトルピーク総数と予め登録された比較対象となるリファレンスデータとの類似度を算出している。この算出は複数の単位時間（Ｎフレーム）について行われているので、スペクトルピーク総数の時系列推移の類似度を算出していることになる。これにより、本実施の形態では、歌の物真似を評価する際の１つの尺度、あるいは歌に限らず、台詞回しなどの物真似を評価する際の１つの尺度として、声の響きの類似度を用いることが可能になる。また、累積頻度の飽和周波数を求め、飽和周波数と予め登録された比較対象となるリファレンスデータとの類似度を算出することにより、同様の効果を得ることができる。この場合は、周波数方向と時間方向の累積頻度分布の類似度を概算していることになる。
【００２９】
なお、本実施の形態で説明した評価装置のうちパラメータ抽出部１０２とデータベース部１０３とマッチング部１０４とは、ＣＰＵ、メモリ及びインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。ＣＰＵは、メモリに格納されたプログラムに従って本実施の形態で説明したような処理を実行する。
【産業上の利用可能性】
【００３０】
本発明は、人の声を定量的に評価する技術に適用することができる。
【図面の簡単な説明】
【００３１】
【図１】音声データの周波数スペクトルの１例を示す図である。
【図２】本発明の実施の形態となる声の響きの評価装置の構成を示すブロック図である。
【図３】図２の音声分析部の構成を示すブロック図である。
【図４】入力音声データとノイズやＢＧＭを除去した後の音声データの波形図である。
【図５】スペクトルピークの周波数毎の累積頻度の求め方を説明するための図である。
【図６】スペクトルピークの周波数毎の累積頻度が飽和する飽和周波数の求め方を説明するための図である。
【図７】累積出現率の周波数分布の例を示す図である。
【図８】時間と周波数とスペクトルピークの累積出現率との関係の１例を示す図である。
【符号の説明】
【００３２】
１０１…前処理部、１０２…パラメータ抽出部、１０３…データベース部、１０４…マッチング部、１…入力部、２…音声分析部、３…スペクトルピーク総数抽出部、４…飽和周波数抽出部、５…リファレンスデータ記憶部、６、７…類似度算出部、２０…ノイズ・ＢＧＭ除去フィルター。
【図１】
2006154213.tif 000004
【図２】
2006154213.tif 000005
【図３】
2006154213.tif 000006
【図４】
2006154213.tif 000007
【図５】
2006154213.tif 000008
【図６】
2006154213.tif 000009
【図７】
2006154213.tif 000010
【図８】
2006154213.tif 000011