(57)【要約】【課題】お手本のイントネーションだけをハミングによって真似るような悪意あるユーザの音声を高評価の対象から確実に排除すること。【解決手段】入力音声信号の各フレームとお手本音声信号の各フレームとからピッチを検出し、時間軸上の位置を同じくするにもかかわらず入力音声信号のフレームからしかピッチを検出し得なかった区間の比率が所定の閾値を上回っているときは、お手本のイントネーションだけをハミングによって真似た不真面目な発音であるとして高評価を与えないようにする。【選択図】図１
2007163976.tif 000002
【特許請求の範囲】
【請求項１】
第１の音声信号を区分して得た一連のフレームを記憶する記憶手段と、
第２の音声信号を入力する入力手段と、
前記入力手段から入力された第２の音声信号を区分することによって一連のフレームを取得する入力音声フレーム化手段と、
前記記憶手段に記憶された一連のフレームの各々のピッチを検出すると共に、前記取得された一連のフレームの各々のピッチを検出するピッチ検出手段と、
前記記憶手段に記憶された一連のフレームの各々と前記入力音声フレーム化手段が取得した一連のフレームの各々を時間軸上の位置を同じくするフレームの組毎に対応付け、対応付けた各組のうち前記ピッチ検出手段によってピッチを検出し得たフレームとピッチを検出し得なかったフレームとからなる組の比率であるピッチ不整合率を求める比率算出手段と、
前記比率算出手段が求めたピッチ不整合率を基に第１の音声信号と第２の音声信号の類似を判断する判断手段と
を備えた音声評価装置。
【請求項２】
第１の音声信号を区分して得た一連のフレームを記憶する記憶手段と、
第２の音声信号を入力する入力手段と、
前記入力手段から入力された第２の音声信号を区分することによって一連のフレームを取得する入力音声フレーム化手段と、
前記記憶手段に記憶された一連のフレームの各々のピッチを検出すると共に、前記取得された一連のフレームの各々のピッチを検出するピッチ検出手段と、
前記記憶手段に記憶された一連のフレームを解析することにより、それらのフレームの波形の特徴を表す特徴パラメータ列を取得すると共に、前記取得された一連のフレームを解析することにより、それらのフレームの波形の特徴を表す特徴パラメータ列を取得する解析手段と、
前記解析手段により取得された両特徴パラメータ列を所定のアルゴリズムに従って比較した結果を基に、第１の音声信号と第２の音声信号のうち一方から得た一連のフレームの時間軸を他方から得たフレームの時間軸に合わせて伸縮し、時間軸上の位置を同じくするフレーム同士を組として対応付けるアライメント手段と、
前記アライメント手段によって対応付けられた各組のうち前記ピッチ検出手段によってピッチを検出し得たフレームとピッチを検出し得なかったフレームとからなる組の比率であるピッチ不整合率を求める比率算出手段と、
前記比率算出手段が求めたピッチ不整合率と所定の閾値とを比較し、その比較の結果に応じて第１の音声信号と第２の音声信号の類似を判断する判断手段と
を備えた音声評価装置。
【請求項３】
請求項２に記載の音声評価装置において、
第１の音声信号から得られる特徴パラメータ列と第２の音声信号から得られる特徴パラメータ列の一致度を示す各値とピッチ不整合率の各閾値とを対応付けて記憶したテーブル
を更に備え、
前記判断手段は、
前記解析手段により取得された両特徴パラメータ列の一致度を求め、求めた一致度の値と対応付けて前記テーブルに記憶された閾値と前記比率算出手段が求めたピッチ不整合率とを比較する
音声評価装置。
【請求項４】
請求項２又は３に記載の音声評価装置において、
前記所定のアルゴリズムは、
動的計画法アルゴリズムである
音声評価装置。
【請求項５】
請求項２乃至４に記載の音声評価装置において、
前記アライメント手段は、
前記第２の音声信号から得た一連のフレームの時間軸を第１の音声信号から得たフレームに合わせて伸縮する
音声評価装置。
【請求項６】
請求項２乃至５に記載の音声評価装置において、
第１の音声信号を入力する手段と、
当該入力された第１の音声信号を所定時間長毎に区分することによって一連のフレームを取得し、取得した一連のフレームを前記記憶手段に記憶する手段と
を更に備えた音声評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声評価装置に関する。
【背景技術】
【０００２】
音声評価の分野においては、お手本として準備された音声データとユーザがそのお手本を模して発音した音声データの類似度を比較することによって発音の巧拙を評価する装置が提案されている。例えば、特許文献１に記載された発音採点装置は、まず、お手本として準備しておいた語学教材の音声をスピーカから放音し、その音声を模してユーザが発音した音声をマイクロホン等を介して収録する。そして、収録した音声を分析することによって、ストレスアクセント、トニックアクセント、イントネーションアクセントなどの特徴量を抽出し、更にその特徴量をお手本の音声データから抽出しておいた特徴量と比較することによって発音の巧拙を評価するようになっている。
【特許文献１】特開２０００−３４７５６０
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、この種の装置では、お手本の音韻をはっきりとさせずにそのイントネーションだけをハミングによって真似るような不真面目な発音をユーザが行った場合でも、真面目に発音した場合とあまり大差がない評価結果が下されてしまうという問題があった。
本発明は、このような背景の下に案出されたものであり、お手本のイントネーションだけをハミングによって真似るような悪意あるユーザの音声を高評価の対象から確実に排除できるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である音声評価装置は、第１の音声信号を区分して得た一連のフレームを記憶する記憶手段と、第２の音声信号を入力する入力手段と、前記入力手段から入力された第２の音声信号を区分することによって一連のフレームを取得する入力音声フレーム化手段と、前記記憶手段に記憶された一連のフレームの各々のピッチを検出すると共に、前記取得された一連のフレームの各々のピッチを検出するピッチ検出手段と、前記記憶手段に記憶された一連のフレームの各々と前記入力音声フレーム化手段が取得した一連のフレームの各々を時間軸上の位置を同じくするフレームの組毎に対応付け、対応付けた各組のうち前記ピッチ検出手段によってピッチを検出し得たフレームとピッチを検出し得なかったフレームとからなる組の比率であるピッチ不整合率を求める比率算出手段と、前記比率算出手段が求めたピッチ不整合率を基に第１の音声信号と第２の音声信号の類似を判断する判断手段とを備える。
【０００５】
本発明の別の好適な態様である音声評価装置は、第１の音声信号を区分して得た一連のフレームを記憶する記憶手段と、第２の音声信号を入力する入力手段と、前記入力手段から入力された第２の音声信号を区分することによって一連のフレームを取得する入力音声フレーム化手段と、前記記憶手段に記憶された一連のフレームの各々のピッチを検出すると共に、前記取得された一連のフレームの各々のピッチを検出するピッチ検出手段と、前記記憶手段に記憶された一連のフレームを解析することにより、それらのフレームの波形の特徴を表す特徴パラメータ列を取得すると共に、前記取得された一連のフレームを解析することにより、それらのフレームの波形の特徴を表す特徴パラメータ列を取得する解析手段と、前記解析手段により取得された両特徴パラメータ列を所定のアルゴリズムに従って比較した結果を基に、第１の音声信号と第２の音声信号のうち一方から得た一連のフレームの時間軸を他方から得たフレームの時間軸に合わせて伸縮し、時間軸上の位置を同じくするフレーム同士を組として対応付けるアライメント手段と、前記アライメント手段によって対応付けられた各組のうち前記ピッチ検出手段によってピッチを検出し得たフレームとピッチを検出し得なかったフレームとからなる組の比率であるピッチ不整合率を求める比率算出手段と、前記比率算出手段が求めたピッチ不整合率と所定の閾値とを比較し、その比較の結果に応じて第１の音声信号と第２の音声信号の類似を判断する判断手段とを備える。
【０００６】
この態様において、第１の音声信号から得られる特徴パラメータ列と第２の音声信号から得られる特徴パラメータ列の一致度を示す各値とピッチ不整合率の各閾値とを対応付けて記憶したテーブルを更に備え、前記判断手段は、前記解析手段により取得された両特徴パラメータ列の一致度を求め、求めた一致度の値と対応付けて前記テーブルに記憶された閾値と前記比率算出手段が求めたピッチ不整合率とを比較するようにしてもよい。
【０００７】
また、前記所定のアルゴリズムは、動的計画法アルゴリズムであってもよい。
前記アライメント手段は、前記第２の音声信号から得た一連のフレームの時間軸を第１の音声信号から得たフレームに合わせて伸縮するようにしてもよい。
また、第１の音声信号を入力する手段と、当該入力された第１の音声信号を所定時間長毎に区分することによって一連のフレームを取得し、取得した一連のフレームを前記記憶手段に記憶する手段とを更に備えてもよい。
【発明の効果】
【０００８】
本発明によると、お手本のイントネーションだけをハミングによって真似るような悪意あるユーザの音声を高評価の対象から確実に排除することができる。
【発明を実施するための最良の形態】
【０００９】
（第１実施形態）
本願発明の第１実施形態について説明する。
本実施形態は、以下の２つの特徴を有する。
１つ目の特徴は、発音のお手本となる英語音声の音声信号（以下、「お手本音声信号」と呼ぶ）を模してマイクロホンから入力されるユーザの音声の音声信号（以下、「入力音声信号」と呼ぶ）の時間軸を非線形に伸縮した後、両音声信号を区分した一連のフレームの波形の特徴を比較することによって発音の巧拙を評価するようにした点である。
２つ目の特徴は、入力音声信号の各フレームとお手本音声信号の各フレームとからピッチを検出し、時間軸上の位置を同じくするにもかかわらず入力音声信号のフレームからしかピッチを検出し得なかった区間の比率が所定の閾値を上回っているときは、お手本のイントネーションだけをハミングによって真似た不真面目な発音であるとして高評価を与えないようにした点である。
【００１０】
図１は、本実施形態にかかる音声評価装置の全体構成図である。図に示すように、この音声評価装置は、各種制御を行うＣＰＵ１１、ワークエリアを提供するＲＡＭ１２、ＩＰＬ（Initial Program Loader）を記憶したＲＯＭ１３、コンピュータディスプレイ１４、ハードディスク１５のほか、音声を収音してその音声信号を自装置へ入力するマイクロホン１６、音声信号を音声として放音するスピーカ１７などを備える。
【００１１】
ハードディスク１５は、お手本音声データ１５ａ、閾値テーブル１５ｂ、及び音声評価プログラム１５ｃを記憶する。
お手本音声データ１５ａは、英語発音のお手本として予め収録されたお手本音声信号を表す符号列である。
閾値テーブル１５ｂは、お手本のイントネーションだけをハミングによって真似た発音であるか否かの判断に用いる所定の閾値を定義したテーブルである。このテーブルのデータ構造については後の動作説明の項で詳述する。
【００１２】
音声評価プログラム１５ｃは、本実施形態に特徴的な機能をＣＰＵ１１に付与するプログラムである。ＲＡＭ１２をワークエリアとしてこのプログラムを実行するＣＰＵ１１には、以下に示す５つの機能が付与される。
ａフレーム化機能
これは、お手本音声データ１５ａが表すお手本音声信号とマイクロホン１６から入力される入力音声信号を所定時間長（例えば、「30msec」）毎に区分することで両音声信号から一連のフレームを取得する機能である。
ｂピッチ検出機能
これは、お手本音声信号と入力音声信号から得た一連のフレームの各々のピッチを検出する機能である。
ｃアライメント機能
これは、入力音声信号の時間軸をお手本音声信号に合わせて伸縮した後、時間軸上の位置を同じくするフレームを組として順次対応付ける機能である。
ｄ比率算出機能
これは、時間軸上の位置を同じくするフレームの各組のうちピッチを検出し得たフレームとピッチを検出し得なかったフレームとからなる組の比率（以下、「無声部ピッチ不整合率」と呼ぶ）を求める機能である。
ｅ評価判断機能
これは、無声部ピッチ不整合率と閾値テーブル１５ｂの閾値とを比較した結果を基に、入力音声信号がお手本のイントネーションだけをハミングによって真似た発音であるか否かを判断する機能である。
【００１３】
図２は、本実施形態の動作を示すフローチャートである。
図に示す動作は、ＣＰＵ１１が、ハードディスク１５のお手本音声データ１５ａが表すお手本音声信号をお手本の英語音声としてスピーカ１７から放音させた後、その音声を模してユーザが発音した音声の音声信号が入力音声信号としてマイクロホン１６から入力されると開始される。
図において、入力音声信号が供給されると、ＣＰＵ１１は、その入力音声信号を所定時間長（例えば、30msec）毎に区分することによって一連のフレームを取得する（Ｓ１００）。一方で、お手本音声データ１５ａが表すお手本音声信号も同様に所定時間長毎に区分することによって一連のフレームを取得する（Ｓ１１０）。これらの両ステップで生成されるフレームは、時間軸上の位置を示すタイムスタンプと夫々対応付けられる。
【００１４】
続いて、ＣＰＵ１１は、ステップ１００で取得された一連のフレームの各々のピッチを検出すると共に（Ｓ１２０）、それらのフレームの各々の波形の特徴を表す特徴パラメータ列を取得する（Ｓ１３０）。
ここで、ステップ１２０におけるピッチの検出は、以下の手順で行われる。まず、各フレームをＬＰＦ（Low Pass Filter ）に入力することによって高域成分をカットし、更に別のＬＰＦに入力することによって帯域別の重み付けを付与する。次に、ＨＰＦ（High Pass Filter ）に入力することによってＤＣ成分をカットする。そして、ＨＰＦを透過させたフレームのアンプリチュードが閾値（例えば、最大を０ｄＢとして−５０ｄＢ）未満であればピッチ非検出とする一方で、閾値以上であるときは、フレームの波形が負から正に変化する際の各ゼロクロスを検出し、それらゼロクロスの時間間隔を測定することによってピッチを抽出する。また、ステップ１３０における特徴パラメータは、音声スペクトルの絶対位置を表すベクトル量であるケプストラム値を示すパラメータであり、各フレームにフーリエ変換をかけ、その結果得られたスペクトルの絶対値の対数に逆フーリエ変換をかけることによって得られる。
【００１５】
一方で、ＣＰＵ１１は、ステップ１１０で取得された一連のフレームの各々のピッチを検出すると共に（Ｓ１４０）、それらのフレームの各々の波形の特徴を表す特徴パラメータ列を取得する（Ｓ１５０）。
続いて、ＣＰＵ１１は、ステップ１３０で取得した特徴パラメータ列とステップ１５０で取得した特徴パラメータ列をＤＰ（Dynamic Programming：動的計画法）マッチングアルゴリズムに従って順次比較していくことによって、ＤＰマッチングスコアの最小値を求める（Ｓ１６０）。
【００１６】
ステップ１６０におけるＤＰマッチングアルゴリズム及びＤＰマッチングスコアの内容について図３を参照して詳述する。
ＤＰマッチングにおいては、まず、お手本音声信号の各フレームから得た特徴パラメータ列を縦軸に、入力音声信号の各フレームから得た特徴パラメータ列を横軸に夫々対応させた座標平面（以下、この座標平面を「ＤＰプレーン」と呼ぶ）をＲＡＭ１２に形成する。図において、ａ１、ａ２、ａ３・・・ａｎは、お手本音声信号の各フレームを時間軸に従って並べたものであり、ｂ１、ｂ２、ｂ３・・・ｂｎは、入力音声信号の各フレームを時間軸に従って並べたものである。縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・の各特徴パラメータと、ｂ１、ｂ２、ｂ３・・・の各特徴パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点には、お手本音声信号の一連のフレームのうち最初のフレームから得た特徴パラメータと入力音声信号の一連のフレームのうち最初のフレームから得た特徴パラメータのユークリッド距離を示す値が対応付けられることになる。
このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる格子点（始端）からａｎとｂｎとにより位置決めされる格子点（終端）に至る全経路を探索し、探索した各経路毎に、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して行き、最小の累算値を求める。後に詳述するように、このＤＰマッチングスコアの累算値が最も小さくなる経路は、入力音声信号の各フレームの時間軸をお手本音声信号に合わせて伸縮する際における伸縮の尺度として参酌される。
【００１７】
図２において、ＣＰＵ１１は、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、特定した経路の内容に応じて入力音声信号の時間軸を伸縮する処理であるアライメント処理を行う（Ｓ１７０）。具体的には、ＤＰプレーン上から特定された経路上の各格子点のＤＰマッチングスコアが時間軸上の位置を同じくするフレームから得た特徴パラメータのユークリッド距離を表すものとなるように、入力音声信号の各フレームのタイムスタンプの内容を書き換えた上で、時間軸上の位置を同じくする各フレームを組として順次対応付けていく。例えば、図３に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる始点からその右上のａ２とｂ２により位置決めされる格子点に進んでいることが分かる。この場合、ａ２とｂ２のフレームの時間軸上の位置は当初から同じであるので、ｂ２のフレームのタイムスタンプの内容を書き換える必要はない。更に、この経路においては、ａ２とｂ２により位置決めされる格子点からその右のａ２とｂ３により位置決めされる格子点に進んでいることが分かる。この場合、ｂ２のフレームだけでなくｂ３のフレームもａ２のフレームと時間軸上の位置を同じくする必要があるので、ｂ３のフレームと対を成していたタイムスタンプをフレーム一つ分だけ早いものと置き換える。この結果、ａ２のフレームとｂ２及びｂ３のフレームが時間軸上の位置を同じくするフレームの組として対応付けられることになる。このようなタイムスタンプの置き換えとフレームの対応付けがｂ１からｂｎに至る全フレーム区間について行われることにより、図４（ａ）に示すようなお手本よりもゆっくりと発音した音声の入力音声信号が入力されてきた場合でも、その時間軸を図４（ｂ）に示すようにお手本音声信号に合わせて伸縮することが可能になる。
【００１８】
図２の説明に戻り、ＣＰＵ１１は、入力音声信号のフレームから検出したピッチの各々とお手本音声信号のフレームから検出したピッチの各々を基に無声部ピッチ不整合率を算出する（Ｓ１８０）。この無声部ピッチ不整合率は、以下に示す算出式（１）を用いて算出される。以下の算出式（１）において、Ｒは、無声部ピッチ不整合率を表す。そして、Ｉｆは、お手本音声信号の各フレームのうちピッチを検出し得なかったフレームの数を、Ｅｆは、Ｉｆに該当するお手本音声信号のフレームにアライメントされた入力音声信号の各フレームのうちピッチを検出し得たフレームの数を夫々表す。
Ｒ＝Ｅｆ／Ｉｆ・・・（１）
【００１９】
無声部ピッチ不整合率を求めたＣＰＵ１１は、その無声部ピッチ不整合率とステップ１６０で求めたＤＰマッチングスコアの最小値とを基に閾値テーブル１５ｂを参照することにより、入力音声信号がお手本のイントネーションだけをハミングによって真似た発音であるか否かを判断する（Ｓ１９０）。
図５は、閾値テーブル１５ｂのデータ構造図である。このテーブルの横軸は無声部ピッチ不整合率を表しており、縦軸はＤＰマッチングスコアを表している。また、図に示す線ｈは閾値を表しており、ＤＰマッチングスコアが高いほど無声部ピッチ不整合率の閾値が低くなり、ＤＰマッチングスコアが低いほど閾値が高くなるような内容となっている。本ステップにおいては、ステップ１６０で求めたＤＰマッチングスコアの最小値とステップ１８０で求めた無声部ピッチ不整合率とに応じてプロットされるテーブル上の位置が線ｈの閾値よりも上側である場合はお手本のイントネーションだけをハミングによって真似た発音であると判断される一方、下側である場合は音韻をはっきりさせた発音であると判断される。
【００２０】
続いて、ＣＰＵ１１は、お手本音声信号のフレームから検出したピッチと入力音声信号のフレームから検出したピッチの差をステップ１６０において対応付けられたフレームの各組毎に順次求め、求めた差の総計を基に所定のスコア変換テーブルを参照することによって、発音の巧拙を示す評価基準スコアを取得する（Ｓ２００）。このスコア評価テーブルは、ピッチの差の総計が大きいほど評価基準スコアが低くなり、ピッチの差の総計が小さいほど評価基準スコアが高くなるようにピッチ差の総計値とスコアの関係を定義している。
【００２１】
ＣＰＵ１１は、ステップ２００で取得した評価基準スコアをステップ１９０の判断結果に応じて適宜修正して得た総合評価スコアをコンピュータディスプレイ１４に表示させる（Ｓ２１０）。具体的には、ステップ１９０において入力音声信号がお手本のイントネーションだけをハミングによって真似た発音であると判断していたときは、ステップ２００で得た評価基準スコアから所定値を減点して得た値を総合評価スコアとして表示させる一方、音韻をはっきりさせた発音であると判断していたときは、ステップ２００で得た評価基準スコアを総合評価スコアとしてそのまま表示させる。
【００２２】
以上説明した本実施形態では、お手本音声信号とお手本を模して発音した音声の入力音声信号とから得た一連のフレームの各々からピッチを検出し、時間軸上の位置を同じくするにもかかわらず入力音声信号からしかピッチを抽出し得なかったフレーム区間の比率が閾値を超えていたときは、お手本のイントネーションだけをハミングによって真似た不真面目な発音を行ったと判断するようになっている。これにより、音韻をはっきりさせない発音に対して高評価が与えられてしまうことを確実に防ぐことができる。
【００２３】
ここで、本実施形態に特有の顕著な効果を裏付けるべく本願出願人らが取り纏めた実験結果を紹介する。
図６は、お手本のイントネーションをハミングにより真似た発音、英語を母国語としない話者によるふつうの発音、及び英語を母国語とするネイティブスピーカによる発音の入力音声信号の各々から求めたＤＰマッチングスコアの最小値と無声部ピッチ不整合率の座標位置を図５の座標平面上に重ねた図である。図において、●のプロットはお手本のイントネーションをハミングにより真似た発音を、△のプロットは英語を母国語としない話者によるふつうの発音を、◆のプロットは英語を母国語とするネイティブスピーカによる発音をそれぞれ表すものとなっている。図に示す実験結果を参照すると、●のプロットだけが閾値の線よりも上側に分布していることが明白である。このことから、図５に示す閾値テーブル１５ｂを基にステップ１９０の判断を行えば、お手本のイントネーションだけをハミングにより真似た発音を高い確度で分離できることが分かる。
【００２４】
（第２実施形態）
本願発明の第２実施形態について説明する。
上記実施形態では、ＤＰマッチングスコアと無声部ピッチ不整合率の閾値とを対応付けた閾値テーブルを準備し、このテーブルを参照することによって、お手本のイントネーションだけをハミングにより真似た発音であるか否かを判断していた。これに対し本実施形態は、お手本音声信号と入力音声信号とから得たフレームにフーリエ変換をかけて得たスペクトルの一致度と無声部ピッチ不整合率の閾値とを対応付けた閾値テーブルを準備し、このテーブルを参照することによって、お手本のイントネーションだけをハミングにより真似た発音であるか否かを判断する。
【００２５】
図７は、本実施形態における閾値テーブル１５ｂのデータ構造図である。このテーブル１５ｂの横軸は無声部ピッチ不整合率を表しており、縦軸はお手本音声信号と入力音声信号のスペクトルの一致度を表している。一致度は、お手本音声信号のフレームと入力音声信号のフレームのスペクトルが完全に一致している場合には最大値である「１．０」となり、両者のスペクトルの相違が大きくなるに従って小さくなっていく。図に示す線ｈは閾値を表しており、スペクトルの一致度が高いほど閾値が高くなり、一致度が低いほど閾値も低くなるような内容となっている。
【００２６】
図８は、本実施形態の動作を示すフローチャートである。
図に示す動作は、ステップ１８１及びステップ１９０’の処理内容を除いて図２と同様である。これら両処理の内容について説明すると、まず、ステップ１８１では、お手本音声信号と入力音声信号のフレームから得られるスペクトルの一致度を算出する。具体的には、ステップ１３０で入力音声信号の各フレームにフーリエ変換をかけた際に得ていたスペクトルとステップ１５０でお手本音声信号の各フレームにフーリエ変換をかけた際に得ていたスペクトルの一致度をステップ１６０にて対応付けられたフレームの各組毎に順次求め、求めた全ての一致度を平均値化する。
そして、続くステップ１９０’では、ステップ１８１で求めた一致度とステップ１８０で求めた無声部ピッチ不整合率を基に閾値テーブル１５ｂを参照することにより、入力音声信号がお手本のイントネーションだけをハミングによって真似た発音であるか否かを判断する。
【００２７】
以上説明した本実施形態では、お手本音声信号と入力音声信号の各フレームから得られるスペクトルの一致度と対応付けてテーブル化された閾値と無声部ピッチ不整合率とを比較することによって、お手本のイントネーションだけをハミングにより真似た発音であるか否かを判断する。この手法によっても、音韻をはっきりさせない発音に対して高評価が与えられてしまうことを確実に防ぐことができる。
【００２８】
ここで、本実施形態に特有の顕著な効果を裏付けるべく本願出願人らが取り纏めた実験結果を紹介する。
図９及び図１０は、お手本のイントネーションをハミングにより真似た発音、英語を母国語としない話者によるふつうの発音、及び英語を母国語とするネイティブスピーカによる発音の入力音声信号の各々から求めたスペクトルの一致度と無声部ピッチ不整合率の座標位置を図７の座標平面上にプロットした図である。なお、図９は、１６００Ｈｚ〜４０００Ｈｚの「中低域」と呼ばれる帯域のスペクトルの一致度を縦軸にとり、図１０は、８００Ｈｚ〜１６００Ｈｚの「低域」と呼ばれる帯域のスペクトルの一致度を縦軸にとったものである。●のプロットがお手本のイントネーションをハミングにより真似た発音を、△のプロットが英語を母国語としない話者によるふつうの発音を、◆のプロットが英語を母国語とするネイティブスピーカによる発音をそれぞれ表すものであることは図６と同様である。両図に示す実験結果を参照すると、●のプロットだけが閾値の線よりも下側に分布していることが明白である。このことから、図７に示す閾値テーブル１５ｂを基にステップ１９０’の判断を行えば、お手本のイントネーションだけをハミングにより真似た発音を高確度に分離できることが分かる。
【００２９】
（第３実施形態）
本願発明の第３実施形態について説明する。上記両実施形態では、お手本音声信号と入力音声信号とから得た無声部ピッチ不整合率とＤＰマッチングスコア、又は無声部ピッチ不整合率とスペクトル一致度を基にテーブルを参照することによって、お手本のイントネーションだけをハミングにより真似た発音であるか否かを判断していた。これに対し本実施形態は、ＤＰマッチングスコアやスペクトル一致度を取得することなく無声部ピッチ不整合率だけを用いて判断を行う。
図１１は、本実施形態の動作を示すフローチャートである。図に示す動作では、図８のステップ１８１に相当する処理が実行されず、また、ステップ１９０''の処理内容が上記両実施形態と異なる。このステップ１９０''においては、ステップ１８０で求めた無声部ピッチ不整合率と予め設定された閾値とを比較する。そして、無声部ピッチ不整合率が閾値を上回っていればお手本のイントネーションだけを真似た発音であると判断する一方、閾値を上回っていなければ音韻をはっきりさせた発音であると判断する。
ここで、本実施形態に特有の顕著な効果を裏付けるべく本願出願人らが取り纏めた実験結果を紹介する。
図１２は、お手本のイントネーションをハミングにより真似た発音、英語を母国語としない話者によるふつうの発音、及び英語を母国語とするネイティブスピーカによる発音の入力音声信号の各々から求めた無声部ピッチ不整合率を座標平面上にプロットした図である。図において、黒のバーはお手本のイントネーションをハミングにより真似た発音を、白のバーは英語を母国語としない話者によるふつうの発音を、ハッチングを施したバーは英語を母国語とするネイティブスピーカによる発音をそれぞれ表すものとなっている。図に示す実験結果を参照すると、白のバーは無声部ピッチ不整合率が０．７よりも小さい領域にのみ分布していることが明白である。このことから、閾値を０．７に設定した上でステップ１９０''の判断を行うようにすれば、お手本のイントネーションだけをハミングにより真似た発音を高い確度で分離できることが分かる。
【００３０】
（他の実施形態）
本実施形態は、種々の変形実施が可能である。
上記実施形態においては、入力音声信号の時間軸をお手本音声信号に合わせて伸縮してから時間軸上の位置を同じくするフレームの対応付けを行っていたが、これとは逆に、お手本音声信号の時間軸を入力音声信号に合わせて伸縮してもよい。
上記実施形態においては、フレームの波形が負から正に変化する際の各ゼロクロスを検出し、それらゼロクロスの時間間隔を測定することによってピッチを抽出していたが、ケプストラム法などの他の周知の手法を用いてピッチの検出を行ってもよい。
上記実施形態においては、フレームにフーリエ変換をかけて得たスペクトルの絶対値の対数に逆フーリエ変換をかけることによって、ケプストラム値を示す特徴パラメータを取得していた。これに対し、フレームにフーリエ変換をかける代わりに、透過帯域を異にする複数のバンドパスフィルタへ入力することによってそれら各帯域毎のスペクトルを取得してもよい。
また、特徴パラメータとしてケプストラム値を用いる代わりに、音声の特徴を示す他の特徴量を尺度としてＤＰマッチングスコアの最小値を求めるようにしてもよい。
上記実施形態においては、お手本音声信号を表す全符号列を表すお手本音声データ１５ａを記憶しておき、このお手本音声データ１５ａが表すお手本音声信号が一連のフレームに区分されるようになっていた。これに対し、お手本音声信号を区分した一連のフレームをデータとしてハードディスク１５に予め記憶させておき、入力音声信号の入力があった時にその一連のフレームを直ちに読み出して処理を行うようにしてもよい。
上記実施形態は、英語音声の発音学習に本願発明を適用したものであり、予め準備しておいたお手本音声信号とマイクロホン１６から入力される入力音声信号とをフレームレベルで比較することにより発音の巧拙を評価していた。これに対し、お手本として歌唱音声信号を準備しておくことにより、本願発明を歌唱学習に適用することも可能である。要するに、本願発明は、予め準備されている「第１の音声信号」とそれを模して入力される「第２の音声信号」の類似度を比較することによって評価を行うものであれば、評価対象となる音声信号の内容は問わない。
【００３１】
上記実施形態では、お手本音声信号と入力音声信号の各フレームから夫々検出したピッチの差を基に評価基準スコアを求めると共にそれらのフレームから求めた無声部ピッチ不整合率を閾値と比較し、無声部ピッチ不整合率が閾値よりも高ければ評価基準スコアから所定値を減点して得た値を総合評価スコアとして表示させる一方で、閾値よりも低ければ評価基準スコアをそのまま総合評価スコアとして表示させるようになっていた。これに対し、無声部ピッチ不整合率と閾値の比較を行うことなく、評価基準スコアと無声部ピッチ不整合率とを以下に示す算出式（２）に入力することによって総合評価スコアを求めてもよい。算出式（２）において、Ｓ１はピッチの差から求められた評価基準スコアを、Ｓ２は総合評価スコアを、Ｅは無声部ピッチ不整合率を示している。この算出式によれば、ピッチ不整合率が最大値である１に近づくにつれて総合評価スコアが低くなるようにすることができ、無声部ピッチ不整合率が閾値よりも高いか低いかという判断を行う必要がなくなる。
Ｓ２＝Ｓ１×（１−Ｅ）・・・（２）
上記実施形態では、入力音声信号のフレームの時間軸をお手本音声信号のフレームに合わせて伸縮してからピッチの比較や無声部ピッチ不整合率の算出を行っていた。これに対し、本願発明を歌唱学習に応用する場合であれば、入力音声信号のフレームの時間軸はお手本音声信号と概ね一致しているはずなので、両音声信号の発声開始位置のタイミングを合わせた後、時間軸の伸縮を行うことなく直ちにピッチの比較やピッチ不整合率の算出を行ってもよい。発声開始位置のタイミングを合わせる手法としては、入力音声信号の音量レベルが閾値（例えば、−５０ｄＢ）を超えた箇所を先頭位置とするものや、発音開始タイミングを指示する音を音声評価装置から放音させるものなど種々の態様があるが、それらのいずれを用いてもよい。
上記実施形態では、お手本音声信号と入力音声信号を所定時間長毎に区分することによって一連のフレームを取得していた。これに対し、両音声信号を可変長にフレーム化してもよい。例えば、音声信号を以下の算出式（３）に従ってフレーム化するようにしてもよい。算出式（３）において、Ｐは前フレームのピッチ（Ｈｚ）を、ｋは定数を、Ｌ（ｎ）はｎフレーム目のフレーム長を夫々示し、Ｌ（０）の値はフレーム長の初期値として予め設定された値とする。
Ｌ（ｎ）＝ｋ÷Ｐ・・・（３）
【図面の簡単な説明】
【００３２】
【図１】音声評価装置の全体構成図である。
【図２】第１実施形態の動作を示すフローチャートである。
【図３】ＤＰマッチングを示す図である。
【図４】入力音声信号の時間軸の伸長を示す図である。
【図５】閾値テーブルのデータ構造図である（第１実施形態）。
【図６】実験結果を示す図である（第１実施形態）
【図７】閾値テーブルのデータ構造図である（第２実施形態）。
【図８】第２実施形態の動作を示すフローチャートである。
【図９】実験結果を示す図である（第２実施形態）。
【図１０】実験結果を示す図である（第２実施形態）。
【図１１】第３実施形態の動作を示すフローチャートである。
【図１２】実験結果を示す図である（第３実施形態）。
【符号の説明】
【００３３】
１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…コンピュータディスプレイ、１５…ハードディスク、１６…マイクロホン、１７…スピーカ
【図１】
2007163976.tif 000003
【図２】
2007163976.tif 000004
【図３】
2007163976.tif 000005
【図４】
2007163976.tif 000006
【図５】
2007163976.tif 000007
【図６】
2007163976.tif 000008
【図７】
2007163976.tif 000009
【図８】
2007163976.tif 000010
【図９】
2007163976.tif 000011
【図１０】
2007163976.tif 000012
【図１１】
2007163976.tif 000013
【図１２】
2007163976.tif 000014