(57)【要約】      （修正有）【課題】発話を評価する特徴としての明瞭さの有用な抽出手法を備えた発話評価システムを提供する。【解決手段】発話者の自由発話の音声信号が入力される入力部と、入力された音声信号から評価に用いられる特徴を抽出する特徴抽出部と、特徴抽出部で抽出された特徴と予め格納されている参照特徴を比較する特徴評価部と、比較結果を出力する出力部と、を備え、前記評価に用いられる特徴には、少なくとも発声の明瞭さが含まれ、前記発声の明瞭さは、入力された音声信号における阻害音対共鳴音比によって表され、前記特徴抽出部は、入力された音声信号を複数のセグメントに分割する手段と、得られたセグメントを阻害音と共鳴音に分類する手段と、を用いて前記阻害音対共鳴音比を取得する、発話評価装置である。【選択図】図１
2015068897.tif 000002
【特許請求の範囲】
【請求項１】
発話者の自由発話の音声信号が入力される入力部と、
入力された音声信号から評価に用いられる特徴を抽出する特徴抽出部と、
特徴抽出部で抽出された特徴と予め格納されている参照特徴を比較する特徴評価部と、
比較結果を出力する出力部と、
を備え、
前記評価に用いられる特徴には、少なくとも発声の明瞭さが含まれ、
前記発声の明瞭さは、入力された音声信号における阻害音対共鳴音比によって表され、
前記特徴抽出部は、入力された音声信号を複数のセグメントに分割する手段と、得られたセグメントを阻害音と共鳴音に分類する手段と、を用いて前記阻害音対共鳴音比を取得する、
発話評価装置。
【請求項２】
前記評価に用いられる特徴には、さらに、声の大きさが含まれ、
前記特徴抽出部は、入力された音声信号のエネルギーから声の大きさを取得する、
請求項１に記載の発話評価装置。
【請求項３】
前記評価に用いられる特徴には、さらに、ポーズ率が含まれ、
前記ポーズ率は、音声信号の長さにおいて発話されていない時間の割合であり、
前記特徴抽出部は、音声区間検出手段によって前記割合を取得する、
請求項１、２いずれか１項に記載の発話評価装置。
【請求項４】
前記評価に用いられる特徴には、さらに、ピッチが含まれ、
前記特徴抽出部は、ピッチ抽出手段によってピッチを取得する、
請求項１〜３いずれか１項に記載の発話評価装置。
【請求項５】
前記評価に用いられる特徴には、さらに、喋りの速さが含まれ、
前記喋りの速さは、所定時間内の発話イベント数によって表され、
前記特徴抽出部は、所定時間内の発話イベント数をカウントすることで、喋りの速さを取得する、
請求項１〜４いずれか１項に記載の発話評価装置。
【請求項６】
前記発話イベントは音節である、請求項５に記載の発話評価装置。
【請求項７】
前記入力された音声信号を複数のセグメントに分割する手段において、前記セグメントは音節であり、
前記特徴抽出部において、前記喋りの速さを取得する際の音節境界を用いて複数のセグメントを取得する、
請求項６に記載の発話評価装置。
【請求項８】
前記セグメントを阻害音と共鳴音に分類する手段は、教師付き機械学習手段を用いるものである、
請求項１〜７いずれか１項に記載の発話評価装置。
【請求項９】
前記教師付き機械学習手段は、特徴ベクトルとして、セグメントの時間長、周期性、メル周波数ケプストラム係数、を用いる、
請求項８に記載の発話評価装置。
【請求項１０】
前記阻害音対共鳴音比は、阻害音セグメント数対共鳴音セグメント数比である、請求項１〜９いずれか１項に記載の発話評価装置。
【請求項１１】
前記セグメントは単音ないし音素であり、前記阻害音対共鳴音比は、阻害音エネルギー対共鳴音エネルギー比である、請求項１〜９いずれか１項に記載の発話評価装置。
【請求項１２】
発話者の自由発話の音声信号を入力するステップと、
入力された音声信号から評価に用いられる特徴を抽出する特徴抽出ステップと、
特徴抽出ステップで抽出された特徴と予め格納されている参照特徴を比較する特徴評価ステップと、
比較結果を出力するステップと、
を備え、
前記評価に用いられる特徴には、少なくとも発声の明瞭さが含まれ、
前記発声の明瞭さは、入力された音声信号における阻害音対共鳴音比によって表され、
前記特徴抽出ステップは、入力された音声信号を複数のセグメントに分割するステップと、得られたセグメントを阻害音と共鳴音に分類するステップと、阻害音対共鳴音比を取得するステップと、を含んでいる、
発話評価方法。
【請求項１３】
前記評価に用いられる特徴には、さらに、声の大きさが含まれ、
前記特徴抽出ステップは、入力された音声信号のエネルギーから声の大きさを取得することを含む、
請求項１２に記載の発話評価方法。
【請求項１４】
前記評価に用いられる特徴には、さらに、ポーズ率が含まれ、
前記ポーズ率は、音声信号の長さにおいて発話されていない時間の割合であり、
前記特徴抽出ステップは、音声区間検出手段によって前記割合を取得することを含む、
請求項１２、１３いずれか１項に記載の発話評価方法。
【請求項１５】
前記評価に用いられる特徴には、さらに、ピッチが含まれ、
前記特徴抽出ステップは、ピッチ抽出手段によってピッチを取得することを含む、
請求項１２〜１４いずれか１項に記載の発話評価方法。
【請求項１６】
前記評価に用いられる特徴には、さらに、喋りの速さが含まれ、
前記喋りの速さは、所定時間内の発話イベント数によって表され、
前記特徴抽出ステップは、所定時間内の発話イベント数をカウントすることで、喋りの速さを取得することを含む、
請求項１２〜１５いずれか１項に記載の発話評価方法。
【請求項１７】
前記発話イベントは音節である、請求項１６に記載の発話評価方法。
【請求項１８】
前記入力された音声信号を複数のセグメントに分割するステップにおいて、前記セグメントは音節であり、
前記特徴抽出ステップにおいて、前記喋りの速さを取得する際の音節境界を用いて複数のセグメントを取得する、
請求項１７に記載の発話評価方法。
【請求項１９】
前記セグメントを阻害音と共鳴音に分類するステップは、教師付き機械学習手段を用いるものである、
請求項１２〜１８いずれか１項に記載の発話評価方法。
【請求項２０】
前記教師付き機械学習手段は、特徴ベクトルとして、セグメントの時間長、周期性、メル周波数ケプストラム係数、を用いる、
請求項１９に記載の発話評価方法。
【請求項２１】
前記阻害音対共鳴音比は、阻害音セグメント数対共鳴音セグメント数比である、請求項１２〜２０いずれか１項に記載の発話評価方法。
【請求項２２】
前記セグメントは単音ないし音素であり、前記阻害音対共鳴音比は、阻害音エネルギー対共鳴音エネルギー比である、請求項１２〜２０いずれか１項に記載の発話評価方法。
【請求項２３】
請求項１２〜２２いずれか１項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話（喋り方、話し方、スピーチ等）の評価方法及び装置、発話を評価するためのコンピュータプログラムに関するものである。
【背景技術】
【０００２】
人間は誰しもが喋り方において何らかの癖ないし特徴をもっている。例えば、ある者は喋りが速く、ある者は声が大きく、ある者は、滑舌が悪かったりする。また、個々人が有する癖は本人が認識していない場合も多い。
【０００３】
話し方の矯正手法としては、第三者にスピーチを聴いてもらい、後からフィードバックをもらうことが一般的である。また、スピーチを録音しておき、録音されたスピーチを後から評価することも行われる。
【０００４】
自分のスピーチについて他人に評価されることはあまり気持ちの良いことではないことに加えて、評価までにそれなりの時間を要し、発話者に対して、スピーチ中に矯正ないし修正する機会を与えることが困難である。
【０００５】
そこで、人間ではなく機械によって発話を評価することが考えられる。ユーザの発話の特徴において、人間が認識できる品質に影響を与え得るものは幾つも知られている。例えば、吃音の程度、ろれつの悪さ、単語の発音の正確性、単語生成の速度、ピッチ変動、声の大きさは全て発話の品質の知覚に違いをもたらす。例えば、声の大きさやピッチは、人間でも機械でも抽出しやすい特徴であり、既存の手法が存在する。しかしながら、発話の明瞭さは、発話者自身では気づきにくく、また、これを認識できる有用な既存手法もない。
【０００６】
音声処理については古くから様々な研究が行われている。音声研究の代表的なものとしては、音声合成、音声認識、話者認識等が挙げられるが、これらの目的は通常の自然な発話を評価して話者にフィードバックすることではない。例えば自動音声認識の目的は、発話→テキストへの変換であり、また、音声認識モジュールがスマートフォンに搭載されているものの、現状ではある程度明瞭な発音での音声入力を必要としており、自然な自由発話を処理対象とするものではない。
【０００７】
語学学習の分野において音声処理を用いて発話評価が行われているが（非特許文献１、２）、具体的には、予め容易されたテキストについての話者のスピーチと、当該テキストについて予め録音されたネイティブスピーカーの音声を対比して評価するものであって、自由発話について評価するものではない。
【０００８】
音声処理では、目的に応じて様々な特徴量の抽出が行われるが、発話者へのフィードバックとして用いるためには、特徴量は人間がコントロールできるものである必要がある。典型的な例では、声の大きさという特徴量であれば、人間が容易にコントロールすることができる。これに対して、音声学の分野において、音声処理によって特徴を抽出して評価することが試みられているが（非特許文献３）、そこで抽出される特徴は人間がコントロールするには限界があるような特徴であり、発話者へのフィードバックとして用いることは困難である。
【０００９】
また、本願の発明者等は、特にスマートフォンのようなモバイルデバイスを用いてどのように発話特徴を抽出して有用なフィードバックが提供できるかを考えた。発話評価を、特にスマートフォンのようなモバイルデバイス上で、実時間で実行するためには、特徴量の計算量が少ないことが重要である。
【非特許文献１】Franco, H., Abrash, V., Precoda, K., et al. The SRI EduSpeakTMsystem: Recognition and pronunciation scoring for language learning. Proc.InSTILL ’00 (2000).
【非特許文献２】Lai, Y., Tsai, H., and Yu, P. A multimedia English learning systemusing HMMs to improve phonemic awareness for English learning. EducationalTechnology and Society (2009).
【非特許文献３】Rusilo, L., and de Camargo, Z. The validity of some acousticmeasures to predict voice quality settings: trends between acoustic andperceptual correlates of voice quality. In ExLing ’11 (2011).
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、発話を評価する特徴としての明瞭さを備えた発話評価システムを提供することを目的とする。
本発明の他の目的は、スマートフォンのようなモバイルデバイス上で、評価結果を実時間で発話者に提供する発話評価システムを提供することにある。
【００１１】
本発明が採用した技術手段は、
発話者の自由発話の音声信号が入力される入力部と、
入力された音声信号から評価に用いられる特徴を抽出する特徴抽出部と、
特徴抽出部で抽出された特徴と予め格納されている参照特徴を比較する特徴評価部と、
比較結果を出力する出力部と、
を備え、
前記評価に用いられる特徴には、少なくとも発声の明瞭さが含まれ、
前記発声の明瞭さは、入力された音声信号における阻害音対共鳴音比によって表され、
前記特徴抽出部は、入力された音声信号を複数のセグメントに分割する手段と、得られたセグメントを阻害音と共鳴音に分類する手段と、を用いて前記阻害音対共鳴音比を取得する、
発話評価装置、である。
【００１２】
１つの態様では、前記評価に用いられる特徴には、さらに、声の大きさが含まれ、前記特徴抽出部は、入力された音声信号のエネルギーから声の大きさを取得する。
【００１３】
１つの態様では、前記評価に用いられる特徴には、さらに、ポーズ率が含まれ、
前記ポーズ率は、音声信号の長さにおいて発話されていない時間の割合であり、
前記特徴抽出部は、音声区間検出手段によって前記割合を取得する。
１つの態様では、前記音声区画検出手段は、入力された音声信号のエネルギーを用いて、音声区画を検出する。
【００１４】
１つの態様では、前記評価に用いられる特徴には、さらに、ピッチが含まれ、
前記特徴抽出部は、ピッチ抽出手段によってピッチを取得する。
１つの態様では、前記ピッチ抽出手段は、自己相関法を用いた手段である。
後述する実施態様では、自己相関法としてESACF（enhanced summary autocorrelation function)が用いられる。
【００１５】
１つの態様では、前記評価に用いられる特徴には、さらに、喋りの速さが含まれ、
前記喋りの速さは、所定時間内の発話イベント数によって表され、
前記特徴抽出部は、所定時間内の発話イベント数をカウントすることで、喋りの速さを取得する。
１つの態様では、前記発話イベントは音節である。
【００１６】
１つの態様では、前記声の大きさを表す、縦軸がエネルギー、横軸が時間の関数をラウドネス関数と呼び、
前記特徴抽出部は、ラウドネス関数のエネルギー局所最小点を音節境界とする。
１つの態様では、前記特徴抽出部は、
入力された音声信号からラウドネス関数を取得する第１手段と、
前記ラウドネス関数から凸包関数を算出する第２手段と、
算出した凸包関数と対応するラウドネス関数との差が最大となる点を探索し、前記差が閾値以上であれば、当該点をエネルギー局所最小点として決定する第３手段と、
を備え、
前記第１手段、前記第２手段、前記第３手段が再帰的に繰り返される。
【００１７】
１つの態様では、前記入力された音声信号を複数のセグメントに分割する手段において、前記セグメントは音節であり、
前記特徴抽出部において、前記喋りの速さを取得する際の音節境界を用いて複数のセグメントを取得する。
【００１８】
１つの態様では、前記セグメントを阻害音と共鳴音に分類する手段は、教師付き機械学習手段を用いるものである。
１つの態様では、前記教師付き機械学習手段は、特徴ベクトルとして、セグメントの時間長、周期性、メル周波数ケプストラム係数（MFCC）、を用いる。例えば、周期性はピッチ抽出において取得することができる。メル周波数ケプストラム係数の計算は当業者において周知である。
１つの態様では、前記教師付き機械学習手段は、サポートベクターマシン（ＳＶＭ）である。
ＳＶＭは学習が重い場合もあるものの分類が高速であり、軽い計算で実行されるため有利である。
なお、本発明に適用され得る教師付き機械学習手段はＳＶＭに限定されるものではなく、単純ベイズ分類器、Ｋ近傍法、ベイジアンネットワーク、HMM(隠れマルコフモデル)、GMM(混合ガウスモデル)、クラスタリング、判別分析（線形判別関数やマハラノビス距離）、ロジスティック回帰分析、決定木等の既存手段から選択され得る。
【００１９】
１つの態様では、前記阻害音対共鳴音比は、阻害音セグメント数対共鳴音セグメント数比である。
阻害音のエネルギーが高ければ高いほど明瞭さが高いと考えられ、所定時間の発話における阻害音セグメントの数が多ければ（対共鳴音比でみることができる）エネルギーが高いとみなすことができ、明瞭さが高いと判定できる。
【００２０】
１つの態様では、前記セグメントは単音ないし音素であり、前記阻害音対共鳴音比は、阻害音エネルギー対共鳴音エネルギー比である。
音声信号における単音あるいは音素の区切りを抽出し、各単音ないし音素を、阻害音、共鳴音のいずれかに分類し、阻害音のエネルギーを計り、阻害音のエネルギーが高いほど明瞭であるとする。
阻害音のエネルギーの高さは、所定時間の発話における阻害音エネルギーの高低によって判定することができ、所定時間内の阻害音エネルギーの高低は、阻害音のエネルギーと共鳴音のエネルギーの比率（これと実質的に等価な指標を含む）を用いて判断することができる。比率が高ければ（阻害音のエネルギーが高い）、発話の明瞭さが高いと判定する。
阻害音のエネルギーとしては、例えば、ＲＭＳを用いることができるが、他の音量の計り方を用いてもよい。
【００２１】
１つの態様では、前記特徴評価部に格納された参照特徴は、各ユーザが目標とする発話を特徴付ける特徴である。
【００２２】
１つの態様では、前記出力部は、比較結果を視覚的に表示する表示部である。
１つの態様では、前記特徴抽出部、前記特徴評価部、前記出力部は、入力された音声信号についてリアルタイムで実行される。
【００２３】
１つの態様では、発話評価装置は、スマートフォン等のモバイルデバイスから構成される。
【００２４】
１つの態様では、前記特徴は、設定された時間における特徴の平均値である。
１つの態様では、さらに、設定された時間における特徴の標準偏差が計算される。
【００２５】
本発明が採用した他の技術手段は、
発話者の自由発話の音声信号を入力するステップと、
入力された音声信号から評価に用いられる特徴を抽出する特徴抽出ステップと、
特徴抽出ステップで抽出された特徴と予め格納されている参照特徴を比較する特徴評価ステップと、
比較結果を出力するステップと、
を備え、
前記評価に用いられる特徴には、少なくとも発声の明瞭さが含まれ、
前記発声の明瞭さは、入力された音声信号における阻害音対共鳴音比によって表され、
前記特徴抽出ステップは、入力された音声信号を複数のセグメントに分割するステップと、得られたセグメントを阻害音と共鳴音に分類するステップと、阻害音対共鳴音比を取得するステップと、を含んでいる、
発話評価方法、である。
【００２６】
上記発話評価装置において記載された数々の態様についての記載は、発話評価方法を限定する態様として援用することができる。
【００２７】
本発明が採用した他の技術手段は、発話評価方法をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【００２８】
本発明によれば、発話者自身では気づきにくく、また、有用な認識手法が存在しなかった「発話の明瞭さ」を特徴の１つの含む発話評価手法を提供することができる。
本発明によれば、発話者がコントロールできる特徴をフィードバックすることで、自己の発話における問題を発見し修正することができる。
本発明によれば、目標ないし理想とする発話についての参照特徴を格納しておくことで、ユーザは自己の発話を目標ないし理想とするスピーチに近づけるような修正が可能となる。
本発明で用いる特徴は比較的計算量が軽く、スマートフォンのようなリソースが限られたモバイルデバイスにおいてリアルタイムフィードバックを可能とする。
【図面の簡単な説明】
【００２９】
【図１】本発明に係る発話評価システムの全体概略図である。
【図２】発話評価システムが搭載されたスマートフォンの正面図であり、左図は概要スクリーン、右図は詳細スクリーンを示す。
【図３】発話評価システムのユーザインターフェースの状態遷移図である。
【図４】発話評価システムのアーキテクチャの概要を示す図である。
【図５】発話評価システムが搭載されたスマートフォンにおける当該システムのＣＰＵ使用割合を示す図である。
【図６】本実施形態に係る発話評価システムの特徴抽出部の詳細を示す図である。
【図７】音声の２つの500msサンプルに適用した時のESACFアルゴリズムにより得られた自己相関値を示す。音声は16000 Hzでサンプリングされ、W=1024でESACFを適用した。上図は、高い周期性、低い周波数、下図は、低い周期性、雑音、高い周波数を示す。
【図８】上図は、TIMITスピーチコーパスからのオリジナル波形及び音データ、下図はそこから得られたラウドネス関数である。発話は、発話者FAEM0、サンプルSA2: “[. . . ] carry an oily rag [. . . ].”である。
【図９】上図は、図８図と同じであり、下図は、図８のラウドネス関数において、ラウドネス関数の凸包、セグメント境界を示す。
【図１０】発話コーパスサンプルについての、本実施形態の速さ抽出アルゴリズムの結果を、実際の速さと比較したものを示す。
【図１１】図９と類似する図であり、ラウドネス関数において音節セグメント境界を示す。
【図１２】図１１における音節セグメントを阻害音（Ｏ）、共鳴音（Ｃ）に分類したものを示す。この例では、明瞭さのスコア＝阻害音数／全セグメント数＝４／（４＋３）＝０．５７となる。
【図１３】clearspeechjph S教材におけるクリアスピーチ（上図）、くだけたスピーチ（下図）のそれぞれについての明瞭さの値の分布を示す。
【図１４】(a)は１分間に亘る４人の発話者のそれぞれの特徴の平均値を示す。(b)は各発話者についてのピッチ、話す速さの標準偏差を示す。
【発明を実施するための形態】
【００３０】
［Ａ］発話評価システムの概要
図１に示すように、本実施形態に係る発話評価システムは、発話者の自由発話の音声信号が入力される入力部（マイクロフォン）と、入力された音声信号から評価に用いられる特徴を抽出する特徴抽出部と、特徴抽出部で抽出された特徴と予め格納されている参照特徴を比較する特徴評価部と、比較結果を出力する出力部（スクリーン）と、を備え、当該システムは、コンピュータ（入力部、ディスプレイ、ＲＡＭ、ＲＯＭ等の記憶部、ＣＰＵを主体とする処理部等を備える）から構成することができる。
【００３１】
特徴抽出部はコンピュータの処理部から構成され、マイクロフォンによって得られた音信号を処理することで、発話の特徴を抽出する。本実施形態では、特徴抽出部によって取得される特徴は、声の大きさ、ポーズ率、ピッチ、話す速さ、明瞭さの５つである。これらの特徴については、後に詳述する。
【００３２】
参照特徴格納部はコンピュータの記憶部から構成され、特徴抽出部で抽出された特徴に対応する参照特徴、具体的には、声の大きさ、ポーズ率、ピッチ、話す速さ、明瞭さの５つの参照特徴が格納されている。参照特徴は、学習モードにおいて、参照となる発話（マイクロフォンからの入力、あるいは、発話が録音されたメディアライブラリ）の特徴を特徴抽出部で抽出して、特徴学習部で処理することで、参照特徴格納部に格納される。参照特徴の実際の値は、ユーザ毎に異なり得るものである。
【００３３】
特徴評価部はコンピュータの処理部から構成され、特徴抽出部で抽出された入力発話の特徴を、参照特徴格納部に格納されている参照特徴と比較し、比較結果をスクリーンに表示する。
【００３４】
図２左図は、評価結果の概要を表示するスクリーンであって、Energy（声の大きさ）、Pause（ポーズ率）、Pitch（ピッチ）、Speed（話す速さ）、Clarity（明瞭さ）という５つの特徴について、参照特徴（学習データ）が正五角形の頂点に配置されている。ユーザの発話の特徴は、参照となる特徴に対する相対的なスケールで表示されている。所定時間（ユーザによって設定された時間）でのユーザ発話の各特徴の平均値が頂点となり、白い太線は頂点を結ぶ辺である。ユーザの発話の特徴の五角形の各頂点と正五角形とのズレは、参照特徴からのズレを表す。
【００３５】
スクリーンには、また、平均値±１標準偏差の領域がユーザの特徴を結ぶ五角形の辺に沿って帯状に示してある（図２左図参照）。特徴の標準偏差が大きくなると、帯の幅が大きくなり、帯も同幅でなくなる。標準偏差は、各特徴の所定時間に亘る変化を示している。特徴の時間的な変化を示すことで、２次的特徴を視覚的に表示することができる。例えば、所定時間に亘る声の大きさ及びピッチの大きな変化は、ダイナミックなスピーチ（反対に小さな変化は、モノトーンなスピーチ）を意味し、速さにおける小さな変化は、安定したリズムであることを意味する。
【００３６】
概要スクリーンの下方には、特徴の平均及び標準偏差を計算する時間フレームを設定するためのスライダが設けてある。スライダは、水平状のトラックと、トラック上を移動可能な丸ボタンと、からなり、例えば親指でスライダをドラッグすることで、時間フレームを所望の時間（例えば、１秒から３０秒の間の任意の時間）に設定することができる。
【００３７】
概要スクリーンの右上には、学習ボタン（Train）、詳細表示ボタン(Details)が配置されている。詳細表示ボタンをタッチすると、画面が詳細表示に切り替わる（図２右図参照）。学習ボタンをタッチすると、学習モードに切り替わる。発話評価システムの学習は、デバイスのマイクロフォンからのスピーチのライブ録音、あるいは、デバイスの記憶部に格納したメディアライブラリの音声録音をロードすることによって行うことができる（図３参照）。システムの学習はオフラインで行うことができる。
【００３８】
ユーザは、話すことによって発話評価システムとインタラクトし、視覚的にフィードバックを受け取り、ユーザは、自分の話し方を他人（自分の話し方のサンプルであってもよい）の話し方と比較することができる。発話評価システムを、自分が真似したいと思うような模範の話し方で学習させることで、ターゲットとなる話し方と自己の話か方との差を認識することがで、ターゲットとなる話し方に近づけるように矯正ないし修正を試みることができる。発話評価システムのアプリケーションはスマートフォンに搭載され、ユーザの音声が入力されると、声の大きさ、ポーズ率、ピッチ、話す速さ、明瞭さの５つの特徴を抽出し、ユーザに理解されやすい形式のグラフィカルフィードバックをユーザにリアルタイムで提供する。発話評価は、スピーチやプレゼンテーション中に実行することができ、また、通話中（例えば、ヘッドセットやハンズフリーユニット、スピーカフォーンを用いて画面を見ることができる状態にある場合）に実行することもできる。
【００３９】
本実施形態では、発話評価システムは、スマートフォンに搭載される。スマートフォンは汎用コンピュータのハードウェア要素を備えており、スマートフォンから発話評価システムを構成することができる。ただし、表１に示すように、ＣＰＵや記憶部の能力の面で、パーソナルコンピュータに比べて制限されており、デジタル信号処理の計算やスクリーン上の表示処理をより少ない計算量で実行することが要求される。
【表１】
2015068897.tif 000003
【００４０】
図４に、本実施形態に係る発話評価システムのアーキテクチャの概要を示す。本実施形態では、マルチスレッドモデルによって計算量が軽いアーキテクチャをサポートする。スレッドは、音声キャプチャスレッド、音声処理スレッド、レンダリングスレッドとして形成され、Grand Central Dispatchにより管理されるJob Queueによって互いにデータのやり取りを行う。音声キャプチャは、16 kHzオーディオの25 msノンオーバラッピングフレームのストリームを生成するiOS の Audio Unit APIによって実行され、40 Hz でフレームの処理を行うシステムが得られる。音声処理アルゴリズム(ベクトル、マトリックス、高速フーリエ変換(FFT:Fast Fourier Transform)計算)は、SIMD (single instruction, multiple data)CPU インストラクションの API を提供する vDSP によって実行される。グラフィックレンダリングは、Core Graphics (“Quartz”)とOpenGLの両方を用いる。Quartzは、その高度な描画機能が必要となる時に用いられ、Quartzイメージデータは、デバイスのGPU上のOpenGLテクスチャメモリにキャッシュされる。他の全ての描画についてはOpenGLが用いられ、必要な場合には、キャッシュされたQuartzイメージデータに直接アクセスすることができる。
【００４１】
スマートフォン（iPhone 4’s single-core A4 CPU, with  iOS 5.1.）上で発話評価システムが実行される場合（１０秒間）のCPUの使用状況を図５に示す。発話評価システムは、CPU使用の31.9%を占めている（Ａ）。その内、音声処理が70.8%を占めている（Ｂ）。音声処理における各特徴が占める割合のブレークダウンを示す（Ｃ）。特徴が高度になるほどCPU timeが増えることがわかる。
【００４２】
［Ｂ］特徴抽出
ユーザの発話の特徴において、人間が認識できる品質に影響を与え得るものは幾つも知られている。例えば、吃音の程度、ろれつの悪さ、単語の発音の正確性、単語生成の速度、ピッチ変動、声の大きさは全て発話の品質の知覚に違いをもたらす。本願の発明者等は、スマートフォンのようなモバイルデバイスを用いてどのように発話特徴を抽出して有用なフィードバックが提供できるかを考えた。本実施形態では、計算及びメモリの要求をなるべく抑えつつオンラインで実行できる手法を提案する。本実施形態では、抽出する特徴として５つの特徴（声の大きさ、ポーズ率、ピッチ、話す速さ、明瞭さ）を選択した。
【００４３】
表２に、音声処理及び発話特徴のヒエラルキー、及び、音響／音声特徴、を示す。デジタル信号処理（ＤＳＰ）、自動音声認識（ＡＳＲ）、自然言語処理（ＮＬＰ）の順に高度な処理となっており、各処理によって得られる特徴も異なる。本実施形態では、ＤＳＰによって５つの特徴（声の大きさ、ポーズ率、ピッチ、話す速さ、明瞭さ）を抽出する。なお、本発明で用いられ得る特徴は、これらの５つに限定されるものではなく、さらに他の特徴（「吃音」、「語尾などの癖」等）が含まれていても良い。
【表２】
2015068897.tif 000004
【００４４】
本実施形態で用いる５つの特徴のうち、幾つかは、表３に示すように既存の手法を用いて取得することができる。より低いレベルの特徴は、より高い特徴をサポートする。例えば、発話の明瞭さは発話の速さとピッチに依存し、発話の速さは声の大きさに依存する。以下の説明では、よりシンプルな特徴（声の大きさ）からより複雑な特徴（明瞭さ）へ順次説明する。
【表３】
2015068897.tif 000005
【００４５】
図６に示すように、マイクロフォンから入力された音声信号は、ＦＦＴ処理されてＲＭＳ振幅が取得され声の大きさ特徴が取得される。このＲＭＳ振幅を用いてＶＡＤアルゴリズムで音声区間を検出してポーズ率が取得される。音声信号に対して自己相関法（ＥＳＡＣＦ）を適用してピッチ抽出が行われる。ピッチ抽出における基本周波数計算において、音声区間検出のＶＡＤアルゴリズムを用いて無声区間を取り除く。音声信号について得られるラウドネス関数（縦軸がエネルギー、横軸が時間の関数）に対してMermelstein’s
syllabic-unit segmentation algorithm（以下、「Mermelsteinアルゴリズム」という）を適用してセグメントを取得し、単位時間当たりのセグメント数から話す速さを取得する。このセグメントを利用して、阻害音／共鳴音分類手段によって阻害音、共鳴音を分離して阻害音対共鳴音比を取得し、発話の明瞭さスコアとする。５つの特徴（声の大きさ、ポーズ率、ピッチ、話す速さ、明瞭さ）のスコアは所定時間の平均値である。また、これらの特徴について所定時間における標準偏差が計算される。例えば、ピッチについての標準偏差は発話の抑揚の指標（２次的特徴）として用いることができる。
【００４６】
［Ｂ−１］声の大きさ（Loudness）
本実施形態では、人間の知覚にマッチするような声の大きさを表現するために、よく知られている音の強さないしインテンシティ（intensity）を用いる。音の強さは、音響フレーム毎（例えば、２５ｍｓ毎）に計算される。音の強さは、音響エネルギーの対数量（ここでは、デシベルスケールを用いる）であり、音量に対する人間の知覚に近似する。音響エネルギーとしては、例えば、RMS振幅を用いることができる。
【００４７】
すなわち、本実施形態において、声の大きさは、以下の式によって表現される。
2015068897.tif 000006
ここで、xは、Ｎサンプルの発話波形（振幅）値からなる音響フレームを表すベクトルである。
音の強さについては、以下の論文を参照することができる。Jurafsky, D., Martin,
J., Kehler, A., et al. Speech and Language Processing: An Introduction to
Natural Language Processing, Computational Linguistics, and Speech Recognition,
second ed. Prentice Hall New Jersey, 2008.
【００４８】
音の強さは、計算量が軽く汎用的である。実験によると、音の強さを用いた手法は、使用者のマイクロフォンからの距離が大きく変わらなければ良好に機能することが確認された。
【００４９】
［Ｂ−２］ポーズ率（Pause Ratio）
ポーズ率は、信号全体の長さに対する発話していない時間量として定義される。音響信号が人間の声を含む時を特定するために 音声区間検出アルゴリズム（VAD：Voice Activity Detection)が用いられる。 発話を雑音から識別することは、音声処理ドメインにおいて基本的なタスクであり、以下の論文にも示されるように、様々な手法が提案されている。Ramirez, J., G´orriz, J., and Segura, J. Voice activity detection.
fundamentals and speech recognition system robustness. Robust Speech
Recognition and Understanding (2007).
【００５０】
本実施形態では、計算量の軽い特徴推定を保証するために、エネルギーをベースとした手法を用いる。最新のt秒のエネルギー値（RMS振幅）を環状バッファに保存し、最小エネルギー値を雑音として取得する。最小エネルギー値に対して所定の閾値を超えたエネルギーは発話コンテンツであると仮定する。本実施形態では、非限定的な数値として、t = 5秒、閾値は6 dBである。この手法は雑音に敏感であるが、比較的静かな環境であれば、有効かつ計算量が少なくて済む。上記手法は、声の大きさを取得するために取得したＲＭＳ振幅を用いるものであり、別途独立してVADを計算するものでないため計算量が少なくてすむ。なお、VADの計算方法としては様々なものが知られており、本発明に用いられ得るVADは上記手法に限定されない。
【００５１】
［Ｂ−３］ピッチ（Pitch）
発話信号の基本周波数(f0)を自己相関アルゴリズムを用いて推定し、この推定をピッチの測定値として用いる。本実施形態では、基本周波数f0は、各フレームに対してエンハンストサマリー自己相関関数（ESACF：enhanced summary autocorrelation function)を適用することで推定する。ESACFは時間領域でのピッチ推定法（全自己相関手法であるので）であり、 試した幾つかのアルゴリズムの中では、正確性と軽い計算量のベストバランスを備えている。ESACFは公知であり、具体的な内容については、例えば以下の文献を参照することができる。Tolonen, T., and Karjalainen, M. A computationally efficient
multipitch analysis model. IEEE Trans. Speech Audio Process (2000).  Mazzoni, D., and Dannenberg,
R. Melody matching directly from audio. In Proc. ISMIR ’01, Indiana University
(2001).
【００５２】
本実施形態では、周波数スペクトラムを用いる一般的な手法を用いずに、上記手法を選択した。最もシンプルなアプローチは、発話信号の周波数領域におけるスペクトログラムをユーザに提示することであるが、スペクトログラムを解釈することは簡単ではない。ピーク位置を分析することでスペクトラムから基本周波数f0を推定することは可能であるが、現実的ではない。人間のスピーチは複雑であり、多くの異なる周波数や高調波を含むからである。
【００５３】
ESACFを含む自己相関アルゴリズムは、数々の時間ずれ（タイムラグ）において自身に対する信号の相関関係を計算することによって実行される。Ｗサンプル長のオーバーラッピング窓を信号Ｓに対して移動させ、当該アルゴリズムは、ずれ（ラグ）１＜τ＜Ｗ／２について相関を計算する。各ラグτは、サンプルレート／τＨｚの周波数を表す。このラグにおける値は信号中のその周波数の強度を表す。したがって、以下の式で基本周波数f0（すなわち、ピッチ）を推定することができる。
2015068897.tif 000007
【００５４】
音声信号を含まないフレームについて、ESACFは、小さなタイムラグにおいて高いf0を示す大きな値を生成する傾向にある。図７には、この問題を無声サンプル（下方）における大きなピーク3200 Hzで示す。本実施形態では、これらのピークを、上記ＶＡＤアルゴリズムを用いてフィルターし、f0推定計算から無声音を取り除き、１フレームを超えて周波数で２倍（１オクターブ）を超えるような突然の増加を無視して、無声であるが高いエネルギー発話をフィルターする。なお、ピッチ推定法には様々種類が知られており、本発明で用いられ得るピッチ推定法はESACFに限定されない。有声音の基本周波数やピッチ周期を求めるピッチ抽出法には、時間領域における手法（自己相関法等）、周波数領域における手法（スペクトル上の調波構造から基本周波数を検出する手法）が知られており、これらの手法を用いることもできる。
【００５５】
［Ｂ−４］速度（Speed）
速度を測定するために、時間に亘って発話イベントの数をカウントする。これらのイベントは、発話信号においてエネルギーピークによって分離され、子音（副音）、音節核（中央母音）、あるいは、複合音節等を表す。
【００５６】
本実施形態では、Mermelsteinアルゴリズム の変形に基づいてリアルタイムで速度を抽出する。Mermelsteinアルゴリズム自体は公知であり、例えば、以下の文献を参照することができる。
Mermelstein, P. Automatic segmentation of speech into syllabic
units. Journal of the Acoustical Society of America (JASA) (1975).
Villing, R., Ward, T., and Timoney, J. Performance limits for
envelope based automatic syllable segmentation. In Proc. ISSC ’06, IET (2006).
【００５７】
本発明者等は、ＡＳＲ（自動音声認識）の出力結果や他のアルゴリズムを用いた速度算出を比較した上で、Mermelsteinアルゴリズムを採用した。先ず、ＡＳＲ（自動音声認識）システムのテキスト出力において、単語、音節、あるいは単音をカウントすることが考えられる。Litman, D. J., Hirschberg, K. B., and Swerts, M. Predicting
automatic speech recognition performance using prosodic cues. In Proc. NAACL
’00, ACM (2000).しかしながら、ＡＳＲに内在され得る言語／方言依存性に加えて、現状のＡＳＲは、スマートフォンに対するリアルタイムかつ自然な大規模語彙からなる発話を精度良く認識できる程の技術レベルには未だ無い。
【００５８】
一方、DSP手法では、声の大きさ特徴計算によって生成された強度値のストリームにおける 最小を直接探索して、音がある部分をスピーチイベントとすることを考えたが、１フレームの長さでは低分解能となり、後に述べる明瞭さ特徴の性能に影響を与え得る。なお、本発明における速度計算のためのセグメンテーション手法は、Mermelsteinアルゴリズムを用いるものに限定されるものではなく、ＡＳＲ（自動音声認識）の出力結果や他のアルゴリズムを用いたものを排除するものではない。
【００５９】
Mermelsteinアルゴリズムは波形に対して直接適用されるものであり、軽い計算量の要求に沿っており、この適用のダウンサンプリングによって、分解能の低減を殆ど生じさせずに、凸包生成における処理についてのサンプル数を低減できる。
【００６０】
Mermelsteinアルゴリズムは、音信号のラウドネス関数の凸包を計算して、音節に良好に対応する高いエネルギーのインターバルを検知する。この手順の例を図８、図９に示す。上側のグラフは原波形（振幅）を示し、下側のグラフはラウドネス関数を示す。凸包を斜線で示す。ラウドネス関数とその凸包との差の最大がラウドネス関数における最小を見つけるのに用いられる。 閾値を超える差における最大が、音節ユニットセグメント境界（syllabic-unit segment boundary）として決定され、信号はそこで分割される。このアルゴリズムは、さらなる有意最小（significant minima）が見つからなくなるまで繰り返し適用される。
【００６１】
本実施形態におけるMermelsteinアルゴリズムは、オンラインで実行される点においてオリジナルのアルゴリズムと異なる。最初に提案されたアルゴリズムでは、信号の全体の長さが決定されており、メモリに記憶されている（オフラインで実行される）。これは、凸包を生成するためにラウドネス関数の最大を見つけるのに必要である。信号は、ラウドネス関数の最小（無音）を伴って始まり、そして終わり、その間にラウドネス関数の最大があり、最大は、凸包が単調増加関数から単調減少関数へと変化する。本実施形態では、Mermelsteinアルゴリズムをオンラインで実行するために、凸包生成及び繰り返し最小探索を、最も直近のセグメント境界から始まり最も直近のフレーム終端で終了する音信号の可変窓に対して適用する。最も直近のセグメント境界は、ラウドネス関数の最小であり、したがって、この窓を用いたアプローチは、オリジナルのアプローチと同じ境界が得られる。このオンライン変形手法のパフォーマンスを向上させるために、音信号の波形、ラウドネス関数、凸包、ラウドネス関数と凸包との距離は、最も直近のセグメント境界からキャッシュに保存される。新しい音フレームが追加されるとキャッシュが更新され、新しいセグメントが発見されるとキャッシュが取り除かれる。例えば、最初のセグメント境界がαｓで見つかると、αｓ以前のデータを削除し、αｓから次のセグメント境界が見つかるまで窓（可変窓）を伸ばしていく。当該窓の中のβｓでセグメント境界が見つかると、βｓまでのデータを削除して当該窓を短くする。この作業を繰り返す。
【００６２】
このアルゴリズムを評価するために、人間によって正確な速度かつ最小誤差でスピーチを生成するのではなく、テキスト−スピーチ変換エンジン(「Daniel」（男性、イギリス英語）設定の Apple’s Speech Synthesis Manager)を用いた。本アルゴリズムによる測定を実行するために、リニア間隔で120〜400 wpm(単語／分)の異なる速度で発話することで、スピーチサンプルの小さなコーパスを生成した。実験では、テキストとして、Project Gutenberg(http://www.gutenberg.org/ebooks/11)からダウンロードしたルイスキャロルの不思議な国のアリスの第１章から最初の１０段落を用いた。Mermelsteinアルゴリズムのオンライン変形をこのデータに対して適用した。結果を図１０に示す。アルゴリズムで認識されたセグメント数／秒は、速度(単語／分)と線形増加を示している。この線形の結果は、アルゴリズムがスピーチ速度の同定に成功したことを示す。
【００６３】
［Ｂ−５］発声の明瞭性（Enunciation Clarity）
本発話評価システムにおいて、はっきりと発音する能力として、発声の明瞭さを考慮する。これは、ろれつ、その他了解度を落とし得る発音問題に密接に関連する。発生の明瞭さについては長年研究されてはいるが、明瞭さを推定するアルゴリズムについては有用な先行文献が殆ど存在しない。音声学における“明瞭な話し方”の概念は、人間が所定の状況下、例えばノンネイティブスピーカに話しかけたり、あるいは、子供に話しかけたり、あるいはコンピュータインターフェースに話変えるといった、特定の状況下で採用するような人為的な自然ではない明瞭な話し方である。
【００６４】
Pisoni文献（Pisoni, D. Clear Speech.
In The Handbook of Speech Perception. Blackwell Publishing, 2005, ch. 9, 218-227）では、明瞭な話し方の要素として考慮されるグローバル特徴として、音の強さ、話す速度、ポーズ、基本周波数、スペクトル傾斜、時間エンベロープ変調が挙げられている。本明細書では、最初の４つについて言及した。
【００６５】
音声学的特徴についても調査が行われており、consonant-to-vowel ratio(CVR)が提案されている。これは、母音のエネルギーに対する子音のエネルギーの比であり、子音のエネルギーが高いことが話し方の明瞭さを示すものであるとして提案されている。しかしながら、CVRを用いることで異なる様々な結果が得られている（Hazan, V., and Markham, D. Acoustic-phonetic correlates of talker
intelligibility for adults and children. Journal of the Acoustical Society of
America (JASA)(2004)）。これは、以下のような基本的な欠陥に起因すると考えられる。子音と母音は文字としてのテキスト上では合理的に識別可能であるが、子音の音には様々な種類があり、母音の音と類似する音響特徴を備えた子音も多い。また、明瞭さを推定する際に、全ての子音が同等に重要であるわけではなく、破裂音や強い摩擦音が比較的重要であり、鼻音はあまり重要でないという報告もある（Kennedy, E., Levitt, H., Neuman, A. C., and Weiss, M.
Consonant-vowel intensity ratios for maximizing consonant recognition by
hearing-impaired listeners. Journal of the Acoustical Society of America (JASA)
(1998)）。
【００６６】
そこで、本発明者等は、明瞭さを推定するために、阻害音と共鳴音比とを比較するという考え方を提案する。したがって、本発明では、発話の明瞭さの尺度として、子音対母音比ではなく、阻害音対共鳴音比（ＯＳＲ：obstruent-to-sonorant ratio）を用いる。ＯＳＲを取得すためには、先ず、音声信号において単音境界を特定する必要がある。これは、メル周波数ケプストラム係数（MFCCs）のようなフレーム特徴で訓練したガウシアン混合モデル（GMM）を用いるようなＡＳＲ様のシステムを用いることで可能であろう。
【００６７】
しかしながら、本実施形態では、全ての単音境界を見つけることを代替する計算量が軽い手段として、上述の速度推定アルゴリズムで生成された境界を再利用する。このアルゴリズムでは全ての単音境界が見つけられているわけではないが、得られている境界はすべて信号のラウドネス関数におけるエネルギー最小値を同定している。共鳴音と阻害音の間に位置する境界において、両方の音はこれらのエネルギーピーク間に有意最小（significant minimum）を形成するのに十分なエネルギーを備えているはずである。低いエネルギーの阻害音は、このミニマムを生成するような十分なエネルギーを持たないであろう。ここで、得られたセグメントを共鳴音、阻害音のいずれかに分類することによって、高いエネルギーの阻害音をカウントすることができる。阻害音の数が多いことはOSRが高くなることを意味し、結果として、明瞭な話し方を示す。本実施形態では、全セグメント数に対する阻害音セグメントの数を尺度とする。図１１はラウドネス関数における音節セグメント境界を示し、７つのセグメントが得られている。図１２に示すように、７つのセグメントが、阻害音４、共鳴音３に分離された。この時、明瞭さのスコア＝阻害音数／全セグメント数＝４／（４＋３）＝０．５７となる。
【００６８】
共鳴音と阻害音の識別は、バイナリ分類問題である。この問題を解くため、本実施形態では、これらの２つのカテゴリーの音を分類するためにサポートベクターマシン(SVM)を学習させた。サポートベクターマシンは当業者によく知られており、例えば、Cortes, C., and Vapnik, V. Support-vector networks. Machine Learning(1995).を参照することができる。サポートベクターマシンは分類を迅速に実行することができ（学習には所要の時間を要するものの）、軽い計算量特性を維持するため有効な手段であることがわかった。モデルはオフラインで学習され、アプリケーション自体はバイナリ分類のみを実行するので、計算量が軽いという特性が得られる。
【００６９】
学習データ及びテストデータを生成するために、上記速度推定アルゴリズムを用いて、音がタグ付けされたコーパス（phone-tagged corpus）中の各文章を分割した。そして、セグメント中の音を見つける音注釈を用いて、各セグメントが共鳴音か否かを決定した。いかなる共鳴音を含むセグメントは共鳴音であると同定する。
【００７０】
各セグメントを記述する特徴ベクトルは、１４個の要素：時間長、周期性、及び、１２個のメル周波数ケプストラム係数（MFCCs）からなる。１３個のメル周波数ケプストラム係数（MFCCs）を生成したが、最初の係数は絶対エネルギーレベル（TIMIT corpusにおいては比較的不変であるが、実際の音響環境では変化する）への依存性を含むので除外した。周期性については、ピッチ抽出の ESACF の出力を用いることができる。メル周波数ケプストラム係数（MFCCs）の計算は、当業者において周知であるため説明は省略する。
【００７１】
スピーチコーパスには、TIMITを用いた。Garofolo, J., Lamel, L., Fisher, W., et al. TIMIT acoustic-phonetic continuous
speech corpus. Linguistic Data Consortium (1993).TIMITコーパスは、８つの異なる米国英語方言で喋られた６３００個の文章を含んでいる。コーパスを学習データ（4,620個の文、464人の話者)と、テストデータ(1,680個の文、168人の話者)に分けた。幾つかの文は同じものであっても、異なる話者によるものである。
【００７２】
速度推定アルゴリズムを用いて、全ての文章を分割し、共鳴音を含む音か否かに基づいてセグメントにラベル付けを行った。母音、半母音、わたり音(glide)は共鳴音として扱った。有声音セグメント49,409 (70.2%)、無声音セグメント21,003 (29.8%)からなる訓練セット、及び、有声音セグメント18,109 (69.8%)、無声音セグメント7,848 (30.2%)からなるテストセット、を得た。
【００７３】
ＳＶＭの実装にはSVMlightを用いた。SVMカーネルには、 RBF(radial basis
function)を用いた。RBFカーネルの最適なＣ値及びγ値を見つけるために、訓練データから2,000個のランダムサンプルを採用し、LIBSVM’s [Chang, C., and Lin, C.
LIBSVM: a library for support vector machines. ACM Trans. Intelligent Systems
and Technology (2011).] grid parameter search tool [Hsu, C., Chang, C., Lin,
C., et al. A practical guide to support vector classification, 2003.]を用いた。セグメントの時間長、周期性、１２個のメル周波数ケプストラム係数からなる特徴を用いることで、セグメントを、精度93.27%、再現率94.85%で分類できた。 なお、時間長及び周期性のみを用いた場合は、精度75.51%、再現率58.47% であった。
【００７４】
本アルゴリズムによる実際のスピーチの評価を検証するためのコーパスとして、題名clearspeechjphというコーパスの教材S (3 paragraphs,separated into 34 phrases)を用いた。クリアスピーチの定義は、本発明のものとは同じではないが、本発明に係るOSR尺度の正確性を予備的に検証するものとして採用した。発話者は、各サンプルを、クリアなわかりやすいスタイル、くだけたスタイルの両方で発話している。結果を図１３に示す。上図において、クリアスピーチサンプルが１近傍に分布しており、下図において、くだけたスピーチサンプルが０近傍に分布している。なお、くだけたスピーチサンプルは、必ずしも悪い発話ではないので、ある程度全体に亘って分布している。
【００７５】
［Ｃ］実際の発話の評価
本実施形態に係る発話評価システムを用いてバラク・オバマ、ウディ・アレン、メリル・ストリープ、リサ・シンプソンの４名の発話について評価した。発話時間は１分程度である。発話は、実際の使用に近づけるべく、スピーカからiPhoneの内部マイクロフォンに向けて再生した。結果を図１４に示す。実際の発話評価システムの使用では、ユーザインターフェースには、ユーザの発話の特徴と選択的にモデルスピーカの発話特徴が表示されるが、図１４（ａ）では、４人の発話者の評価結果をまとめて示して比較した。正五角形は、４人の発話者の特徴の平均値を示す。実際のスクリーンには、図２左図に示すように、標準偏差、すなわちダイナミズムを帯状に示すが、図１４（ａ）では標準偏差は図示せず、図１４（ｂ）に別途示した。
【００７６】
全てのエネルギーレベルがほぼ同等であることは、同じ環境で同じようなボリュームレベルで録音がプレイバックされたことによるものである。ポーズ率が類似していることは、おそらく、全てのスピーチがモノローグスピーチ形式であったことによるものである。ピッチは、各スピーカのピッチ及びピッチの変動を示す。オバマは比較的低い声で話すのに対して、アレンは男性にしては高い声で話す。ストリープは女性にしては低い声で話すが、リサはコミカルな高いピッチで話す。
【００７７】
発話の速さにおいて、ストリープは規則的な力強いモノローグであるのに対して、アレンは途切れ途切れで速いペースの神経症的なスタイルである。
【００７８】
明瞭さの結果は、アレンは速いペースにもかかわらず、単語をとても丁寧にはっきり発音することを示す。オバマの発話は最も低い明瞭さスコアとなっており、アレンのシャープな発音に比べて、オバマの低いエネルギーの子音はより丸みのある音を与える。図１４（ｂ）のダイナミズム値（ピッチおよび速さ）は、オバマはリズム／ペースにおいてモノトニックかつ安定しているのに対して、アレンのピッチは変動が多く、ペースもまた変動しており、よりダイナミックな感じを与える。
【産業上の利用可能性】
【００７９】
本発明は、発話矯正アプリケーションとして、スマートフォン等のモバイルデバイスに搭載することができる。
【図１】
2015068897.tif 000008
【図６】
2015068897.tif 000009
【図２】
2015068897.tif 000010
【図３】
2015068897.tif 000011
【図４】
2015068897.tif 000012
【図５】
2015068897.tif 000013
【図７】
2015068897.tif 000014
【図８】
2015068897.tif 000015
【図９】
2015068897.tif 000016
【図１０】
2015068897.tif 000017
【図１１】
2015068897.tif 000018
【図１２】
2015068897.tif 000019
【図１３】
2015068897.tif 000020
【図１４】
2015068897.tif 000021