(57)【要約】【課題】音素単位の評定精度が十分である、とは言えなかった。【解決手段】教師データと1以上のフレーム音声データから特徴ベクトル系列を取得し、評定対象の音素系列に沿った音響モデルと特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得し、最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の組である最適音素部分系列を１組以上取得し、各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得し、特徴ベクトル系列が評定対象の音素である事後確率を取得し、当該事後確率から評定値を算出する発音評定装置により、音素単位の評定を高い精度で行うことができる。【選択図】図１
2008191551.tif 000002
【特許請求の範囲】
【請求項１】
1以上の音素毎の音響モデルである教師データを１以上格納している教師データ格納部と、
評定対象の1以上音素の並びのであり、同一の音素が連続する１以上の最適音素系列の集合である最適音素部分系列を１組以上格納している最適音素部分系列格納部と、
音声の入力を受け付ける音声受付部と、
前記音声受付部が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得部と、
前記1以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列を取得する特徴ベクトル系列取得部と、
前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列格納部の各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する特徴ベクトル部分系列取得部と、
前記教師データ格納部から教師データを読み出し、当該教師データを用いて、前記特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列が評定対象の音素である事後確率を算出し、当該事後確率から音声の評定値を算出する評定値算出部と、
前記評定値算出部が算出した評定値を出力する出力部を具備する発音評定装置。
【請求項２】
評定対象の1以上音素の並びの情報である評定対象音素系列を格納している評定対象音素系列格納部と、
前記評定対象音素系列に沿った音響モデルを前記教師データ格納部から読み出し、当該音響モデルと、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列であり、前記音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得する最適状態系列取得部と、
前記最適状態系列取得部が取得した最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の集合である最適音素部分系列を１組以上取得する最適音素部分系列取得部をさらに具備し、
前記特徴ベクトル部分系列取得部は、
前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列取得部が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する請求項1記載の発音評定装置。
【請求項３】
前記評定値算出部は、
全ての音響モデルである教師データが与えられたという条件のもと、音素区間音声データの時刻ごとに、当該音素区間音声データが、評定対象の正解となる音素に対応した音響モデルの持つ状態である事後確率を算出し、当該事後確率から音素の評定値を算出する請求項１または請求項２記載の発音評定装置。
【請求項４】
前記評定値算出部は、
音素区間音声データの時刻ごとに、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出する請求項1記載または請求項２記載の発音評定装置。
【請求項５】
前記評定値算出部は、
音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出する
請求項1または請求項２記載の発音評定装置。
【請求項６】
前記評定値算出部は、
フレーム毎または音素毎の前記評定値を基にして、文章や単語の評定値を算出する請求項１から請求項５いずれか記載の発音評定装置。
【請求項７】
各音素の時間に関する情報である音素時間情報を取得する音素時間情報取得部をさらに具備し、
前記評定値算出部は、
音素時間長を重みとした音素の評定値の加重平均を算出し、当該加重平均から文章または単語の評定値を算出する請求項６記載の発音評定装置。
【請求項８】
コンピュータを、
音声の入力を受け付ける音声受付部と、
前記音声受付部が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得部と、
前記1以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列を取得する特徴ベクトル系列取得部と、
前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、格納されている各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する特徴ベクトル部分系列取得部と、
格納されている教師データを読み出し、当該教師データを用いて、前記特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列が評定対象の音素である事後確率を算出し、当該事後確率から音声の評定値を算出する評定値算出部と、
前記評定値算出部が算出した評定値を出力する出力部として機能させるためのプログラム。
【請求項９】
コンピュータを、
格納されている評定対象音素系列に沿った音響モデルを読み出し、当該音響モデルと、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列であり、前記音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得する最適状態系列取得部と、
前記最適状態系列取得部が取得した最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の組である最適音素部分系列を１組以上取得する最適音素部分系列取得部として、さらに機能させ、
前記特徴ベクトル部分系列取得部は、
前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列取得部が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得するように機能させるための請求項８記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声を評価する装置等に関し、特に、語学学習等に利用できる発音評定装置等に関するものである。
【背景技術】
【０００２】
従来、比較される対象の音声に関するデータであり、音韻毎の隠れマルコフモデル（ＨＭＭ）に基づくデータである教師データを１以上格納しており、音声入力を受け付ける音声受付部と、前記受け付けた音声を、フレームに区分するフレーム区分部と、前記区分されたフレーム毎の音声データであるフレーム音声データを１以上得るフレーム音声データ取得部と、前記教師データと前記１以上のフレーム音声データに基づいて、前記音声受付部が受け付けた音声の評定を行う評定部と、前記評定部の評定結果を出力する出力部を具備する発音評定装置があった（例えば、特許文献１参照）。上記の発音評定装置において、例えば、ｐ−ＤＡＰと呼ばれるアルゴリズムを用いて発音評定を行なっていた。ｐ−ＤＡＰは、各フレームにおける、すべての音韻の中で最適な音韻の事後確率（確率値）を表すように評定値を算出する。
【特許文献１】特開２００６−２２７５８７号公報（第１頁、第１図等）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の発音評定装置においては、フレームの属する音素区間以外の音声データの情報も評定点に混入していた。そのために、音素単位の評定精度が十分である、とは言えなかった。
【課題を解決するための手段】
【０００４】
本第一の発明の発音評定装置は、1以上の音素毎の音響モデルである教師データを１以上格納している教師データ格納部と、評定対象の1以上音素の並びのであり、同一の音素が連続する１以上の最適音素系列の集合である最適音素部分系列を１組以上格納している最適音素部分系列格納部と、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得部と、前記1以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列格納部の各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する特徴ベクトル部分系列取得部と、前記教師データ格納部から教師データを読み出し、当該教師データを用いて、前記特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列が評定対象の音素である事後確率を算出し、当該事後確率から音声の評定値を算出する評定値算出部と、前記評定値算出部が算出した評定値を出力する出力部を具備する発音評定装置である。
【０００５】
かかる構成により、音素単位の評定を高い精度で行うことができる。
【０００６】
また、本第二の発明の発音評定装置は、第一の発明に対して、評定対象の１以上音素の並びの情報である評定対象音素系列を格納している評定対象音素系列格納部と、前記評定対象音素系列に沿った音響モデルを前記教師データ格納部から読み出し、当該音響モデルと、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列であり、前記音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得する最適状態系列取得部と、前記最適状態系列取得部が取得した最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の組である最適音素部分系列を１組以上取得する最適音素部分系列取得部をさらに具備し、前記特徴ベクトル部分系列取得部は、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列取得部が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する発音評定装置である。
【０００７】
かかる構成により、音素単位の評定を高い精度で行うことができる。また、予め１組以上の最適音素部分系列を用意しておく必要がない。
【０００８】
また、本第三の発明の発音評定装置は、第一、第二いずれかの発明に対して、前記評定値算出部は、全ての音響モデルである教師データが与えられたという条件のもと、音素区間音声データの時刻ごとに、当該音素区間音声データが、評定対象の正解となる音素に対応した音響モデルの持つ状態である事後確率を算出し、当該事後確率から音素の評定値を算出する発音評定装置である。
【０００９】
かかる構成により、音素単位の評定を高い精度で行うことができる。
【００１０】
また、本第四の発明の発音評定装置は、第一記載、第二いずれかの発明に対して、前記評定値算出部は、音素区間音声データの時刻ごとに、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出する発音評定装置である。
【００１１】
かかる構成により、高速に音素単位の評定をより高い精度で行うことができる。
【００１２】
また、本第五の発明の発音評定装置は、第一、第二いずれかの発明に対して、前記評定値算出部は、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出する発音評定装置である。
【００１３】
かかる構成により、より高速に音素単位の評定を高い精度で行うことができる。
【００１４】
また、本第六の発明の発音評定装置は、第五の発明に対して、前記評定値算出部は、前記同時生起確率値を、バックワードアルゴリズムを用いずにフォワードアルゴリズムにより取得する発音評定装置である。
【００１５】
かかる構成により、高速に音素単位の評定をより高い精度で行うことができる。
【００１６】
また、本第七の発明の発音評定装置は、第一から第六いずれかの発明に対して、前記評定値算出部は、フレーム毎または音素毎の前記評定値を基にして、文章や単語の評定値を算出する発音評定装置である。
【００１７】
かかる構成により、文章や単語の評定値を算出できる。
【００１８】
また、本第八の発明の発音評定装置は、第七の発明に対して、各音素の時間に関する情報である音素時間情報を取得する音素時間情報取得部をさらに具備し、前記評定値算出部は、音素時間長を重みとした音素の評定値の加重平均から文章または単語の評定値を算出する発音評定装置である。
【００１９】
かかる構成により、文章や単語の評定値を精度高く算出できる。
【発明の効果】
【００２０】
本発明による発音評定装置によれば、音素単位の評定を高い精度で行うことができる。
【発明を実施するための最良の形態】
【００２１】
以下、発音評定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
【００２２】
本実施の形態において、最適状態系列から求めることができる音素区間ごとに評定点を算出するアルゴリズムにより発音評定を行う発音評定装置について説明する。このアルゴリズムは、音素区間ごとに動的事後確率を算出するということと、後に解説するアルゴリズムとの区別のために修飾子を付けて、PDAPS-PE（Phoneme Ergodic Phoneme unit Dynamic A posteriori Probability based pronunciation Scoring／音韻エルゴディック音韻単位動的事後確率に基づく発音評定）と呼ぶ。
【００２３】
PDAPS-PEアルゴリズムは、評定値の算出に用いる音声データを音素区間に限定し、その音素区間以外の情報を排除したアルゴリズムである。
【００２４】
図１は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、教師データ格納部１０２、評定対象音素系列格納部１０３、音声受付部１０４、フレーム音声データ取得部１０５、特徴ベクトル系列取得部１０６、最適状態系列取得部１０７、最適音素部分系列取得部１０８、特徴ベクトル部分系列取得部１０９、評定値算出部１１０、出力部１１１を具備する。
【００２５】
入力受付部１０１は、発音評定装置の動作開始を指示する動作開始指示や、処理を終了する終了指示などの入力を受け付ける。かかる指示等の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。入力受付部１０１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００２６】
教師データ格納部１０２は、1以上の音素毎の音響モデル（以下、適宜、音響モデルパラメータ、とも言う。）である教師データを１以上格納している。教師データは、隠れマルコフモデル（ＨＭＭ）に基づくデータであることは好適である。さらに、本実施の形態における発音評定装置（PDAPS-PEアルゴリズムで利用する場合）では、教師データは、ＨＭＭであり、一の音素ＨＭＭの終端状態から、当該一の音素または他のすべての音素の始端状態へ連結された音響モデルであることは好適である。つまり、実施の形態２以降の発音評定装置（PDAPS、PAPPS、PAPPS-FNのアルゴリズムで利用する場合）では、教師データは、一の音素ＨＭＭの終端状態から、当該一の音素または他のすべての音素の始端状態へ連結された音響モデルではない。
【００２７】
なお、教師データは、必ずしも、音韻毎のＨＭＭを連結したＨＭＭに基づくデータである必要はない。教師データは、全音素のＨＭＭの、単なる集合であっても良い。また、教師データは、必ずしもＨＭＭに基づくデータである必要はない。教師データは、単一ガウス分布モデルや、確率モデル（ＧＭＭ：ガウシャンミクスチャモデル）や、統計モデルなど、他のモデルに基づくデータでも良い。なお、音響モデルは、例えば、音響を識別するＩＤと音響を特徴付ける特徴ベクトルの組である。教師データ格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２８】
評定対象音素系列格納部１０３は、評定対象の1以上音素の並びの情報である評定対象音素系列を格納している。評定対象音素系列は、ユーザが、本来、発音しなければならない単語や文章（正解の単語や文章）などの音素列を示す情報である。音素の情報は、例えば、音素のＩＤや音素を示す文字コードなどである。1以上音素の並びの情報とは、例えば、［ａ，ｏ，ｉ］などの音素の文字コード列や、［１，５，２］などの音素のＩＤ列などである。また、評定対象音素系列格納部１０３の評定対象音素系列は、入力受付部１０１が受け付けた情報でも良いし、予め格納されていても良い。評定対象音素系列格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２９】
音声受付部１０４は、評定対象の音声の入力を受け付ける。ここで受け付けとは、通常、マイクからの受け付けであるが、記録媒体に格納された音声を読み込む処理、外部装置からの受信処理等でも良い。音声受付部１０４は、例えば、マイクのドライバーソフトで実現され得る。また、なお、音声受付部１０４は、マイクとそのドライバーから実現されると考えても良い。音声は、マイクから入力されても良いし、磁気テープやＣＤ−ＲＯＭなどの記録媒体から読み出すことにより入力されても良い。
【００３０】
フレーム音声データ取得部１０５は、音声受付部１０４が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得て、当該1以上のフレーム音声データをメモリ上に配置する。フレーム音声データ取得部１０５は、公知技術により実現され得る。フレーム音声データ取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。フレーム音声データ取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３１】
特徴ベクトル系列取得部１０６は、フレーム音声データ取得部１０５が取得した１以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を取得する。特徴ベクトル系列取得部１０６は、フレーム音声データを、スペクトル分析することにより、特徴ベクトル（ｏｔ）を取得する。また、特徴ベクトルは、例えば、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。また、スペクトル分析において、ケプストラム平均除去を施すことは好適である。ただし、音声分析条件が、他の条件でも良いことは言うまでもない。なお、特徴ベクトル系列取得部１０６は、公知技術により実現され得る。特徴ベクトル系列取得部１０６は、通常、ＭＰＵやメモリ等から実現され得る。特徴ベクトル系列取得部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３２】
最適状態系列取得部１０７は、評定対象音素系列格納部１０３から評定対象音素系列を読み出し、当該読み出した評定対象音素系列に沿った音響モデルを、教師データ格納部１０２から読み出し、メモリ上に配置する。そして、最適状態系列取得部１０７は、当該読み出した音響モデルと、特徴ベクトル系列取得部１０６が取得した特徴ベクトル系列（Ｏ＝ｏ１，ｏ２，・・ｏｔ・・，ｏＴ）であり、音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態（特徴ベクトルｏｔに対する最適状態）の集合である最適状態系列（ｑ＊１，ｑ＊２，・・ｑ＊ｔ・・，ｑ＊Ｔ）を取得する。最適状態系列取得部１０７は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。最適状態系列取得部１０７が最適状態を決定するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムによる。かかる場合、最適状態系列取得部１０７は、通常、上記で評定対象の音素系列に沿って連結した音響モデル（ここでは、ＨＭＭ）を用いて最適状態を決定する。最適状態系列取得部１０７は、２以上のフレームの最適状態である最適状態系列を求めることとなる。最適状態系列取得部１０７は、通常、ＭＰＵやメモリ等から実現され得る。最適状態系列取得部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３３】
最適音素部分系列取得部１０８は、最適状態系列取得部１０７が取得した最適状態系列（ｑ＊１，ｑ＊２，・・ｑ＊ｔ・・，ｑ＊Ｔ）の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の集合である最適音素部分系列を１組以上取得する。つまり、最適状態（ｑ＊ｔ）の属する音響モデルを（ｐ＊ｔ）とすると、最適音素部分系列取得部１０８は、最適状態系列（ｑ＊１，ｑ＊２，・・ｑ＊ｔ・・，ｑ＊Ｔ）中の各最適状態に対応する音響モデルを、教師データ格納部１０２から読み出し、最適音素系列（ｐ＊１，ｐ＊２，・・ｐ＊ｔ・・，ｐ＊Ｔ）を取得する。そして、最適音素部分系列取得部１０８は、最適音素系列（ｐ＊１，ｐ＊２，・・ｐ＊ｔ・・，ｐ＊Ｔ）の中で同じ音素が連続した部分を検出し、音素系列の部分系列（｛ｐ＊１，ｐ＊２，・・｝（１）・・・・｛・・・，ｐ＊ｔ・・，ｐ＊Ｔ（ｎ）｝（ｎ）・・・｛・・・，ｐ＊Ｔ｝（ｓ）｝を得る。なお、音素（ｐ＊ｔ）は、例えば、音素を識別するＩＤや音素を示す文字のコードなどである。また、｛・・・，ｐ＊ｔ・・，ｐ＊Ｔ（ｎ）｝（ｎ）が、最適音素部分系列の一つである。最適音素部分系列取得部１０８は、通常、ＭＰＵやメモリ等から実現され得る。最適音素部分系列取得部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３４】
特徴ベクトル部分系列取得部１０９は、特徴ベクトル系列取得部１０６が取得した特徴ベクトル系列から、最適音素部分系列取得部１０８が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列（｛ｏ＊１，ｏ＊２，・・｝（１）・・・・｛・・・，ｏ＊ｔ・・，ｏ＊Ｔ（ｎ）｝（ｎ）・・・｛・・・，ｏ＊Ｔ｝（ｓ）｝を１組以上取得する。なお、この特徴ベクトル部分系列が評定対象の音素区間音声データであり、それに対応した最適音素部分系列の代表音素が評定対象の（正解の）音素となる。特徴ベクトル部分系列取得部１０９は、通常、ＭＰＵやメモリ等から実現され得る。特徴ベクトル部分系列取得部１０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
評定値算出部１１０は、音素の評定値を音素区間データから算出する。評定値算出部１１０は、音素の評定値を算出する場合に、入力された音声データをすべて用いるようなことはしない。つまり、評定値算出部１１０は、全ての音響モデルである教師データが与えられたという条件のもと、音素区間音声データの時刻ごとに、当該音素区間音声データが、評定対象の正解となる音素に対応した音響モデルの持つ状態である事後確率を算出し、当該事後確率から音素の評定値を算出する。なお、評定対象の状態は、正解となる音素に対応した音響モデルが有するものである。具体的には、評定値算出部１１０は、例えば、以下の数式１、数式２により、音声の評定値（ＰＤＡＰＳ−ＰＥ（ｔ））を算出する。つまり、評定値算出部１１０は、最適音素部分系列取得部１０８が取得した最適音素部分系列と、その部分系列に対応する特徴ベクトル部分系列取得部１０９が取得した特徴ベクトル部分系列「Ｏ（ｎ）」と、教師データ格納部１０２から読み出した全ての音響モデルを用いて、最適音素部分系列の時刻ごとの最適音素「Ｐｔ＊」ごとに、特徴ベクトル部分系列の時刻（フレーム）「ｔ」における状態が「ｊ」である事後確率を最適音素「Ｐｔ＊」に含まれる全ての状態において取得し、その事後確率の総和を取得することで、音声の評定値（ＰＤＡＰＳ−ＰＥ（ｔ））を算出する。さらに詳細には、評定値算出部１１０は、最適音素部分系列取得部１０８が取得した最適音素部分系列と、その部分系列に対応する特徴ベクトル部分系列取得部１０９が取得した特徴ベクトル部分系列「Ｏ（ｎ）」と、教師データ格納部１０２から読み出した全ての音響モデルを用いて、最適音素部分系列の時刻ごとの最適音素「Ｐｔ＊」ごとに、全ての音響モデルの全状態において、全ての音響モデルパラメータ「λａｌｌ」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の時刻（フレーム）「ｔ」における状態が「ｊ」である確率を取得し、その取得した状態ごとの確率値から、全ての音響モデルパラメータ「λａｌｌ」と特徴ベクトル系列「Ｏ（ｎ）」が与えられたときに、そのベクトル系列の時刻（フレーム）「ｔ」における状態が「ｊ」である事後確率を最適音素「Ｐｔ＊」に含まれる全ての状態において取得し、その事後確率の総和を取得することで、音声の評定値（ＰＤＡＰＳ−ＰＥ（ｔ））を算出する。
【数１】
2008191551.tif 000003
【数２】
2008191551.tif 000004
【００３６】
なお、数式１において、「λall」は全ての音響モデル（教師データ）のパラメータであり、「N」は教師データ全体の総状態数である。また、数式２は、公知のアルゴリズムである、前向き後ろ向き（Forward-Backward）アルゴリズムにより、確率値が算出されることを示す。また、数式１、２等において、「Pr(ｑｔ＝ｊ、Ｏ（ｎ）｜λａｌｌ)」は、全ての音響モデルパラメータ「λａｌｌ」が与えられたという条件のもと、特徴ベクトル部分系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の時刻（フレーム）「ｔ」における状態が「ｊ」である確率である。
【００３７】
つまり、数式２は、前向き後ろ向きアルゴリズムを用いて、全ての音響モデルパラメータ「λａｌｌ」が与えられたという条件のもと、特徴ベクトル部分系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の時刻(フレーム)「ｔ」における状態が「ｊ」である確率を算出する数式である。
【００３８】
以下、数式２における確率値を算出する方法について説明する。従来の発音評定や音声認識などに用いる音素単位の音響モデル（HMM）は、音素ごとに独立しており、１つの音響モデルのみで実行するように定義されている。前向き後ろ向きアルゴリズムは、数式２のように全ての音響モデルパラメータ「λall」を用いて実行することは出来ない。そこで独立した音素ごとの音響モデルをあたかも１つの大きな音響モデルとして振舞うように改造する。
【００３９】
具体的には、例えば、レフトtoライト型の１つの音素HMMは始端と終端の状態を持ち、その間が自己遷移を含めた状態遷移でつながれた形で独立している。その１つの音素HMMの終端状態から自分自身もあわせて全ての音素HMMの始端状態へと状態遷移を仮想的につなぎ合わせる。こうして終端から始端への仮想状態遷移を全ての音素HMMにおいて作成しつなぎ合わせることにより、複数の音素HMMを１つの大きな音響モデルとして実装する。したがって、教師データは、隠れマルコフモデル（ＨＭＭ）であり、一の音素ＨＭＭの終端状態から、当該一の音素または他のすべての音素の始端状態へ連結された音響モデルであることは好適である。
【００４０】
以上のようにして改造された音響モデルを用いることで数式２の前向き後ろ向きアルゴリズムは実行される。なお、この改造された音響モデルならびにその音響モデルを用いて実行される前向き後ろ向きアルゴリズムのことを、音素エルゴディック音響モデルならびに音素エルゴディック前向き後ろ向きアルゴリズムと呼ぶこととする。
【００４１】
つまり、評定値算出部１１０は、取得した１以上の事後確率を基にした音素の確率値をパラメータとして音声の評定値を算出する。評定値算出部１１０は、例えば、時間ごとの音素の確率値の時間区間における平均値や中央値を算出し、当該算出した値を評定値とする。そして、時間区間を一文章や一単語や一音素などの区間にすれば、評定値算出部１１０は、文章ごとや単語ごとや音素ごとの評定値を算出できる。評定値算出部１１０は、通常、ＭＰＵやメモリ等から実現され得る。評定値算出部１１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４２】
出力部１１１は、評定値算出部１１０が算出した評定値を出力する。評定値の出力態様は問わない。評定値は数値で出力されても良いし、折れ線グラフや棒グラフ等で出力されても良い。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積等を含む概念である。出力部１１１は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１１は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００４３】
次に、発音評定装置の動作について図２、図３のフローチャートを用いて説明する。
【００４４】
（ステップＳ２０１）入力受付部１０１は、発音評定装置の動作開始を指示する動作開始指示を受け付けたか否かを判断する。動作開始指示を受け付ければステップＳ２０２に行き、動作開始指示を受け付けなければステップＳ２１４に飛ぶ。
【００４５】
（ステップＳ２０２）音声受付部１０４は、音声の入力を受け付けたか否かを判断する。音声の入力を受け付ければステップＳ２０３に行き、音声の入力を受け付けなければステップＳ２１３に飛ぶ。
【００４６】
（ステップＳ２０３）フレーム音声データ取得部１０５は、ステップＳ２０２で受け付けた音声のデータを図示しないバッファに一時格納する。
【００４７】
（ステップＳ２０４）フレーム音声データ取得部１０５は、バッファに一時格納した音声データをフレームに区分し、当該区分されたフレーム毎の音声データであるフレーム音声データを取得し、1以上のフレーム音声データをメモリ上に配置する。
【００４８】
（ステップＳ２０５）特徴ベクトル系列取得部１０６は、フレーム音声データ取得部１０５が取得した１以上のフレーム音声データをそれぞれ音声分析し、1以上の特徴ベクトルを抽出し、特徴ベクトル系列（Ｏ＝ｏ１，ｏ２，・・ｏｔ・・，ｏＴ）を得る。本特徴ベクトルは、例えば、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。
【００４９】
（ステップＳ２０６）最適状態系列取得部１０７は、評定対象音素系列格納部１０３から評定対象音素系列を読み出す。
【００５０】
（ステップＳ２０７）最適状態系列取得部１０７は、ステップＳ２０６で読み出した評定対象音素系列に沿った音響モデルを、教師データ格納部１０２から読み出し、メモリ上に配置する。
【００５１】
（ステップＳ２０８）最適状態系列取得部１０７は、ステップＳ２０７で読み出した音響モデルと、ステップＳ２０５で取得した特徴ベクトル系列（Ｏ＝ｏ１，ｏ２，・・ｏｔ・・，ｏＴ）とを比較し、フレーム毎の最適状態（特徴ベクトルｏｔに対する最適状態）の集合である最適状態系列（ｑ＊１，ｑ＊２，・・ｑ＊ｔ・・，ｑ＊Ｔ）を、Ｖｉｔｅｒｂｉアルゴリズムにより取得する。
【００５２】
（ステップＳ２０９）最適音素部分系列取得部１０８は、ステップＳ２０８で取得した最適状態系列（ｑ＊１，ｑ＊２，・・ｑ＊ｔ・・，ｑ＊Ｔ）の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の組である最適音素部分系列を１組以上取得し、メモリ上に1組以上の最適音素部分系列を配置する。各最適音素部分系列の区切りの情報は、何でも良い。つまり、各最適音素部分系列は、異なるバッファに格納されても良いし、区切りの情報（例えば「，」）が、最適音素部分系列の間に挿入されていても良い。
【００５３】
（ステップＳ２１０）特徴ベクトル部分系列取得部１０９は、ステップＳ２０５で取得した特徴ベクトル系列から、ステップＳ２０９で取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列（｛ｏ＊１，ｏ＊２，・・｝（１）・・・・｛・・・，ｏ＊ｔ・・，ｏ＊Ｔ（ｎ）｝（ｎ）・・・｛・・・，ｏ＊Ｔ｝（ｓ）｝を１組以上取得する。特徴ベクトル部分系列取得部１０９は、最適音素部分系列と特徴ベクトル部分系列の対応を、フレームＩＤや時刻でとる。
【００５４】
（ステップＳ２１１）評定値算出部１１０は、評定値を算出する。評定値を算出するアルゴリズム例の詳細は、図３のフローチャートを用いて説明する。
【００５５】
（ステップＳ２１２）出力部１１１は、評定値算出部１１０が算出した評定値を出力する。
【００５６】
（ステップＳ２１３）音声受付部１０４は、タイムアウトか否かを判断する。つまり、音声受付部１０４は、所定の時間以上、音声の入力を受け付けなかったか否かを判断する。タイムアウトであればステップＳ２０１に戻り、タイムアウトでなければステップＳ２０２に戻る。
【００５７】
（ステップＳ２１４）入力受付部１０１は、終了指示を受け付けたか否かを判断する。終了指示を受け付ければ処理を終了し、終了指示を受け付なければステップＳ２０１に戻る。
【００５８】
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５９】
次に、ステップＳ２１１の評定値を算出するアルゴリズム例の詳細について、図３のフローチャートを用いて説明する。
【００６０】
（ステップＳ３０１）評定値算出部１１０は、評定値を代入するバッファを初期化する。
【００６１】
（ステップＳ３０２）評定値算出部１１０は、カウンタｉに１を代入する。なお、カウンタｉは、評定値を代入するバッファ（例えば、配列）のアドレス（配列の添え字）を示すカウンタである。
【００６２】
（ステップＳ３０３）評定値算出部１１０は、教師データ格納部１０２から、すべての音響モデルを読み出し、メモリ上に配置する。
【００６３】
（ステップＳ３０４）評定値算出部１１０は、カウンタｎに１を代入する。
【００６４】
（ステップＳ３０５）評定値算出部１１０は、ｎ番目の最適音素部分系列が存在するか否かを判断する。ｎ番目の最適音素部分系列が存在すればステップＳ３０６に行き、ｎ番目の最適音素部分系列が存在しなければステップＳ３１８に行く。
【００６５】
（ステップＳ３０６）評定値算出部１１０は、ｎ番目の最適音素部分系列を取得し、メモリ上に配置する。
【００６６】
（ステップＳ３０７）評定値算出部１１０は、ｎ番目の特徴ベクトル部分系列を取得し、メモリ上に配置する。
【００６７】
（ステップＳ３０８）評定値算出部１１０は、特徴ベクトル部分系列の時刻ごと、全ての音響モデルの状態ごとの確率を、全ての音響モデルパラメータを用いて、前向き後ろ向きアルゴリズムにより算出し、バッファに格納する。
【００６８】
（ステップＳ３０９）評定値算出部１１０は、カウンタｔに１を代入する。
【００６９】
（ステップＳ３１０）評定値算出部１１０は、「ｔ＜＝Ｔ（ｎ）」を満たすか否か、つまり、評定対象のｔ番目のフレームが存在するか否かを判断する。ｔ番目のフレームが存在すればステップＳ３１１に行き、ｔ番目のフレームが存在しなければステップＳ３１７に行く。
【００７０】
（ステップＳ３１１）評定値算出部１１０は、t番目のフレームの状態確率の総和を算出し、メモリ上に配置する。
【００７１】
（ステップＳ３１２）評定値算出部１１０は、最適音素「Ｐｔ＊」に含まれる状態（ｊ）を取得する。
【００７２】
（ステップＳ３１３）評定値算出部１１０は、状態（ｊ）の事後確率を算出する。さらに具体的には、評定値算出部１１０は、「状態（ｊ）の確率／状態確率の総和」により、状態（ｊ）の事後確率を算出する。
【００７３】
（ステップＳ３１４）評定値算出部１１０は、ステップＳ３１３で算出した事後確率をｉ番目の評定値に加算し、ｉ番目の評定値のバッファに代入する。
【００７４】
（ステップＳ３１５）評定値算出部１１０は、最適音素「Ｐｔ＊」に、次の状態が存在するか否かを判断する。次の状態が存在すればステップＳ３１２に行き、次の状態が存在しなければステップＳ３１６に行く。
【００７５】
（ステップＳ３１６）評定値算出部１１０は、カウンタｔ、およびカウンタｉを１、インクリメントし、ステップＳ３１０に戻る。
【００７６】
（ステップＳ３１７）評定値算出部１１０は、カウンタｎを１、インクリメントし、ステップＳ３０５に戻る。
【００７７】
（ステップＳ３１８）評定値算出部１１０は、フレーム毎の評定値から、音素区間、単語区間、文章区間の評定値を算出し、算出値をメモリ上に配置する。かかる、音素区間、単語区間、文章区間の評定値の算出方法は、フレーム毎の評定値の各区間における平均値や中央値を算出する方法等がある。上位処理にリターンする。
【００７８】
以上、本実施の形態によれば、精度の高い発音評定ができる。具体的には、本実施の形態によれば、音素単位の評定を正確に行うことができる。
【００７９】
なお、本実施の形態における発音評定装置の評価実験の結果について、他の発音評定装置の評価実験の結果にまとめて後述する。
【００８０】
また、本実施の形態の具体例によれば、評定値算出部１１０は、数式１、２により、上記の事後確率値を算出した。しかし、評定値算出部１１０が評定値を算出するアルゴリズムは、数式１、２によるものとは限らない。例えば、数式１の事後確率の算出において、音響モデルの状態としての、起こりうる全ての事象が母音の音素を表すもののみになっても良い。かかる場合、数式２の確率を求めるために用いる音響モデルパラメータ「λａｌｌ」も母音の音素を表すもののみとなり、評定対象の音素は、いずれかの母音を表すもののみが許されることは明らかである。つまり、本実施の形態における発音評定装置は、全ての音響モデルパラメータが与えられたという条件のもと、音素区間音声データの時刻ごとに、音素区間音声データが評定対象の状態である事後確率から音素の評定値を算出することができる。
【００８１】
また、本実施の形態において、評定対象の音声データが、予め音素区間に区切られた音声データである音素区間音声データの集合でも良い。かかる場合、発音評定装置において、最適状態系列取得部や最適音素部分系列取得部は不要である。かかる場合、発音評定装置は、同一の音素が連続する１以上の最適音素系列の集合である最適音素部分系列を１組以上格納している最適音素部分系列格納部を有する。
【００８２】
また、本実施の形態において、発音評定装置が、フレーム毎の評定値を基にして、文章や単語の評定値を算出することは好適である。具体的には、発音評定装置は、文章や単語に含まれるフレーム毎の複数の評定値の平均値や中央値から評定値を算出することは好適である。
【００８３】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得部と、前記1以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、格納されている各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する特徴ベクトル部分系列取得部と、格納されている教師データを読み出し、当該教師データを用いて、前記特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列が評定対象の音素である事後確率を算出し、当該事後確率から音声の評定値を算出する評定値算出部と、前記評定値算出部が算出した評定値を出力する出力部として機能させるためのプログラム、である。
【００８４】
また、上記プログラムにおいて、コンピュータを格納されている評定対象音素系列に沿った音響モデルを読み出し、当該音響モデルと、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列であり、前記音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得する最適状態系列取得部と、前記最適状態系列取得部が取得した最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の集合である最適音素部分系列を１組以上取得する最適音素部分系列取得部として、さらに機能させ、前記特徴ベクトル部分系列取得部は、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列取得部が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得するように機能させるためのプログラム、であることは好適である。
【００８５】
また、上記プログラムにおいて、前記評定値算出部が、全ての音響モデルである教師データが与えられたという条件のもと、音素区間音声データの時刻ごとに、当該音素区間音声データが、評定対象の正解となる音素に対応した音響モデルの持つ状態である事後確率を算出し、当該事後確率から音素の評定値を算出するように機能させるためのプログラム、であることは好適である。
【００８６】
また、上記の教師データは、隠れマルコフモデル（ＨＭＭ）であり、一の音素ＨＭＭの終端状態から、当該一の音素または他のすべての音素の始端状態へ連結された音響モデルである、ことは好適である。
（実施の形態２）
【００８７】
本実施の形態において、実施の形態１で説明したPDAPS-PEアルゴリズムをさらに音素の評定という意味で改良したアルゴリズムにより発音評定を行う発音評定装置について説明する。このアルゴリズムは、PDAPS-PEアルゴリズムの改良であるということと、その名前の修飾子であり、そのアルゴリズムの特徴であった音素エルゴディックな要素を取り除きより純粋に対象の音素区間を評定するということで、PDAPS（Phoneme unit Dynamic A posteriori Probability based pronunciation Scoring／音韻単位動的事後確率に基づく発音評定）と呼ぶこととする。
【００８８】
実施の形態１で説明したPDAPS-PEアルゴリズムにおいて、評定対象の音声データに含まれる正解となる音素があきらかに限定されているにも関わらず、数式１の分子にある評定対象音素であるところの状態の確率を表す特徴ベクトル列「Ｏ（ｎ）」が観測され、かつ、時刻「ｔ」における状態が「ｊ」であることの確率の算出に「λａｌｌ」を用いることで、評定対象音素以外の音素の確率値が混入していた。このとき同じく数式１の分母にある各状態の確率を表す値にも同様に、求めたい音素以外の音素の確率が混入している。ここで、かかる混入要素を取り除いたものがPDAPSアルゴリズムである。
【００８９】
図４は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、教師データ格納部１０２、評定対象音素系列格納部１０３、音声受付部１０４、フレーム音声データ取得部１０５、特徴ベクトル系列取得部１０６、最適状態系列取得部１０７、最適音素部分系列取得部１０８、特徴ベクトル部分系列取得部１０９、評定値算出部４１０、出力部１１１を具備する。
【００９０】
本発音評定装置は、実施の形態１で述べた発音評定装置と比較して、評定値算出部のみが異なる。
【００９１】
評定値算出部４１０は、音素の評定値を音素区間データから算出する。評定値算出部４１０は、音素区間音声データ（音素の区間に分離された音声データ）の時刻ごとに、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出する。また、さらに具体的には、評定値算出部４１０は、例えば、以下の数式３、数式４により、最適音素部分系列取得部１０８が取得した最適音素部分系列と、その部分系列に対応する特徴ベクトル部分系列取得部１０９が取得した特徴ベクトル部分系列「Ｏ（ｎ）」と、教師データ格納部１０２から全ての音響モデルを読み出し、最適音素部分系列の時刻ごとの最適音素「Ｐｔ＊」ごとに、全ての音響モデルの全状態において、その状態「ｊ」が属する音響モデルパラメータ「λＰ（ｊ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の時刻（フレーム）「ｔ」における状態が「ｊ」である確率を取得し、その取得した状態ごとの確率値から、全ての音素（音響モデル）について音響モデルパラメータ「λＰ（ｊ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測される確率を取得し、その取得した音素ごとの確率値から、特徴ベクトル系列「Ｏ（ｎ）」が与えられたときに、そのベクトル系列が最適音素「Ｐｔ＊」である事後確率を取得することで、音声の評定値（ＰＤＡＰＳ（ｔ））を算出する。
【数３】
2008191551.tif 000005
【数４】
2008191551.tif 000006
【００９２】
なお、数式３において、「λ（Ｐｔ＊）」は音素「Ｐｔ＊」の音響モデルのパラメータであり、「λＰ（ｊ）」は状態「ｊ」を含む音響モデルのパラメータである。状態「ｊ」が音素「Ｐｔ＊」の音響モデルの持つ状態であるならば、「λＰ（ｊ）」と「λ（Ｐｔ＊）」は同じ音響モデルのパラメータを表す。また、「Ｍ」は全ての音響モデル数であり、「Ｎ」は音響モデル全体の総状態数である。また、数式３において「Ｐｒ（ｍ）」は音素「ｍ」の事前確率を表し、音響モデルパラメータ「λ（ｍ）」の事前確率「Ｐｒ（λ（ｍ））」を意味する（「Ｐｒ（Ｐｔ＊）」についても同様）。また、数式３において音素の事前確率「Ｐｒ（ｍ）」はすべての音素において一定と仮定し、式の途中で省略している。数式４は、状態「ｊ」が属する音響モデルパラメータ「λＰ（ｊ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の時刻（フレーム）「ｔ」における状態が「ｊ」である確率を、前向き後向き（Ｆｏｒｗａｒｄ−Ｂａｃｋｗａｒｄ）アルゴリズムにより算出することを示す。
【００９３】
このとき、数式３の各項における分子は評定対象音素の音響モデルパラメータが与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測される確率を表しており、評定対象音素以外の確率の混入が取り除かれている。さらに、その分母においても各状態を表すところの確率は、その状態が属する音素以外の確率の混入が取り除かれている。そして、数式３により算出される評定値は、入力の音素区間評定対象音声データが、評定対象の音素モデルに近い（似た）音声データであり、それ以外の音素とは遠い（似ていない）音声データであるならば、分子と分母の値が近づいてそれは大きくなり（１に近くなり）、評定対象以外の音素モデルに近ければ分子と分母の値は遠ざかって（分子＜分母）それは小さくなる（０に近くなる）。また、いずれの音素モデルとも遠ければその分子と分母の各確率値は小さな値となり評定値は小さくなる。このようにしてPDAPSアルゴリズムは、評定対象音声データの音素区間を、より純粋に評定対象の音素として評定することで、高い評定精度を得ることができる。
【００９４】
評定値算出部４１０は、通常、ＭＰＵやメモリ等から実現され得る。評定値算出部４１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００９５】
次に、発音評定装置の動作について説明する。本発音評定装置の動作において、実施の形態１の発音評定装置と比較して、評定値算出処理が異なる。したがって、図５のフローチャートを用いて、本発音評定装置の評定値算出処理について説明する。図５のフローチャートにおいて、図３のフローチャートと異なるステップについてのみ説明する。
【００９６】
（ステップＳ５０１）評定値算出部４１０は、特徴ベクトル部分系列の時刻ごと、全ての音響モデルの状態ごとの確率を、状態の属する音響モデルパラメータを用いて、前向き後ろ向きアルゴリズムにより算出し、バッファに格納する。なお、評定値算出部４１０は、上記の確率の算出前に、ステップＳ３０３で取得した音響モデルの中から、状態の属する音響モデルパラメータを取得する。
【００９７】
（ステップＳ５０２）評定値算出部４１０は、カウンタｍに１を代入する。なお、ｍは、音素のカウンタである。
【００９８】
（ステップＳ５０３）評定値算出部４１０は、ｍ番目の音素の音響モデルが存在するか否かを判断する。ｍ番目の音素の音響モデルが存在すればステップＳ５０４に行き、ｍ番目の音素の音響モデルが存在しなければステップＳ５０６に行く。
【００９９】
（ステップＳ５０４）評定値算出部４１０は、ｍ番目の音素の音響モデルに含まれる全状態の時刻ｔにおける確率の総和から、ｍ番目の音素の確率を算出する。
【０１００】
（ステップＳ５０５）評定値算出部４１０は、カウンタｍを１、インクリメントし、ステップＳ５０３に戻る。
【０１０１】
（ステップＳ５０６）評定値算出部４１０は、最適音素「Ｐｔ＊」の事後確率を算出する。
【０１０２】
（ステップＳ５０７）評定値算出部４１０は、算出した事後確率をｉ番目の評定値のバッファに格納する。
【０１０３】
（ステップＳ５０８）評定値算出部４１０は、カウンタｔ、およびカウンタｉを１、インクリメントし、ステップＳ３１０に戻る。
【０１０４】
以上、本実施の形態によれば、精度の高い発音評定ができる。具体的には、本実施の形態によれば、音素単位の評定を精度高く行うことができる。
【０１０５】
なお、本実施の形態における発音評定装置の評価実験の結果について、他の発音評定装置の評価実験の結果にまとめて後述する。
【０１０６】
また、本実施の形態の具体例によれば、評定値算出部４１０は、数式３、４により、上記の事後確率値を算出した。しかし、評定値算出部４１０が評定値を算出するアルゴリズムは、数式３、４によるものとは限らない。例えば、数式３の事後確率の算出において、音素としての、起こりうる全ての事象が母音の音素を表すもののみになっても良い。かかる場合、評定対象の音素は、いずれかの母音を表すもののみが許されることは明らかである。つまり、評定値算出部４１０は、音素区間音声データの時刻ごとに、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出すればよい。
【０１０７】
また、本実施の形態において、発音評定装置が、フレーム毎の評定値を基にして、文章や単語の評定値を算出することは好適である。具体的には、発音評定装置は、文章や単語に含まれるフレーム毎の複数の評定値の平均値や中央値から評定値を算出することは好適である。
【０１０８】
なお、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得部と、前記1以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、格納されている各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する特徴ベクトル部分系列取得部と、格納されている教師データを読み出し、当該教師データを用いて、前記特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列が評定対象の音素である事後確率を算出し、当該事後確率から音声の評定値を算出する評定値算出部と、前記評定値算出部が算出した評定値を出力する出力部として機能させるためのプログラム、である。
【０１０９】
また、上記プログラムにおいて、コンピュータを格納されている評定対象音素系列に沿った音響モデルを読み出し、当該音響モデルと、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列であり、前記音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得する最適状態系列取得部と、前記最適状態系列取得部が取得した最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の組である最適音素部分系列を１組以上取得する最適音素部分系列取得部として、さらに機能させ、前記特徴ベクトル部分系列取得部は、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列取得部が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得するように機能させるためのプログラム、であることは好適である。
【０１１０】
また、上記プログラムにおいて、前記評定値算出部が、音素区間音声データの時刻ごとに、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出するように機能させるためのプログラム、であることは好適である。
（実施の形態３）
【０１１１】
本実施の形態において、実施の形態２で説明したPDAPSアルゴリズムをさらに改良したアルゴリズムにより発音評定を行う発音評定装置について説明する。PDAPSアルゴリズムは、入力される評定対象音声データの全体と、その最適状態系列から求めた音素区間ごとに評定点を算出し、音素エルゴディックな要素を取り除いて純粋に音素区間を評定するアルゴリズムである。PDAPSアルゴリズムの評定値算出式には、評定対象の音素区間内のどの時刻（フレーム）においても評定値が同じになるという処理効率の意味から重複した計算を含んでおり、その重複を取り除いて改良したアルゴリズムが、本実施の形態において説明するアルゴリズムである。
【０１１２】
本アルゴリズムは、PDAPSアルゴリズムから重複処理を取り除いて改良したものであり、改良の過程で評定値の算出に動的要素を直接利用しなくなったことからPAPPS（Phonemic A Posteriori Probability based pronunciation Scoring／音韻の事後確率に基づく発音評定）と呼ぶこととする。
【０１１３】
以下、さらに詳細に、実施の形態２で説明したPDAPSアルゴリズムと本実施の形態におけるPAPPSアルゴリズムとの違いについて述べる。PDAPSアルゴリズムは、その評定値算出過程の基礎となる数式４で示した前向き後ろ向きアルゴリズムが、前向きアルゴリズムの算出値としての前向き確率と、後ろ向きアルゴリズムの算出値としての後ろ向き確率を、掛け合わせた値としての特徴ベクトル系列と時刻「ｔ」における状態が「ｊ」であることの同時生起確率を、与えられたモデルパラメータの持つ全ての状態で足し合わせることで、特徴ベクトル系列の生起確率となって、時刻と状態の変数が無くなり、どの時刻でその生起確率を算出しても同じ値になるという特徴をもつために、数式３の分子と分母は評定対象音素区間の特徴ベクトル系列「Ｏ（ｎ）」内のどの時刻においても同じ値となり、評定値も時刻の違いによる差がなくなる。さらに、前向き後ろ向きアルゴリズムを用いて特徴ベクトル系列の最終時刻「Ｔ（ｎ）」での確率を求める場合、後ろ向きアルゴリズムは必要とせず、前向きアルゴリズムのみで求めることができる。これらの特徴を利用することでPDAPSアルゴリズムを簡略化して、高速に全く同じ評定値を算出するアルゴリズムがPAPPSである。ただし、PDASPアルゴリズムは評定対象の音素区間内では同じ値であるが時刻（フレーム）ごとに評定値を算出するが、PAPPSアルゴリズムでは評定対象の音素区間ごとに評定値を得る。
【０１１４】
図６は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、教師データ格納部１０２、評定対象音素系列格納部１０３、音声受付部１０４、フレーム音声データ取得部１０５、特徴ベクトル系列取得部１０６、最適状態系列取得部１０７、最適音素部分系列取得部１０８、特徴ベクトル部分系列取得部１０９、評定値算出部６１０、出力部１１１、最適音素代表系列取得部６０１を具備する。
【０１１５】
最適音素代表系列取得部６０１は、最適音素部分系列取得部１０８が取得した１組以上の各最適音素部分系列に対して、音素を代表する一の代表音素を取得し、当該取得した１以上の代表音素を有する最適音素代表系列（Ｐ＝｛Ｐ１，Ｐ２，・・・，Ｐｎ，・・・，Ｐｓ｝）を取得し、当該最適音素代表系列をメモリ上に配置する。最適音素代表系列取得部６０１は、例えば、３つの最適音素部分系列｛｛ａ，ａ，・・・，ａ｝｛ｏ，ｏ，・・・，ｏ｝｛ｉ，ｉ，・・・，ｉ｝｝の各最適音素部分系列に対して、｛ａ，ｏ，ｉ｝という３つの代表音素を有する最適音素代表系列を取得する。かかる処理は、音素のＩＤ列や音素を示す文字コード列が存在する場合の、公知の文字列処理である。最適音素代表系列取得部６０１は、通常、ＭＰＵやメモリ等から実現され得る。最適音素代表系列取得部６０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１１６】
評定値算出部６１０は、音素の評定値を音素区間データから算出する。評定値算出部６１０は、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出する。評定値算出部６１０は、例えば、以下の数式５、数式６により、最適音素代表系列取得部が取得した代表音素「Ｐｎ」ごとに、その音素に対応する特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列「Ｏ（ｎ）」と、教師データ格納部から全ての音響モデルを読み出し、全ての音響モデルの全状態において、その状態「ｊ」が属する音響モデルパラメータ「λＰ（ｊ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の最終時刻（フレーム）「Ｔ（ｎ）」における状態が「ｊ」である確率を取得し、その取得した状態ごとの確率値から、全ての音素について音響モデルパラメータ「λＰ（ｊ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測される確率を取得し、その取得した音素ごとの確率値から、特徴ベクトル系列「Ｏ（ｎ）」が与えられたときに、そのベクトル系列が代表音素「Ｐｎ」である事後確率を取得することで、音声の評定値（ＰＡＰＰＳ（Ｐｎ））を算出する。評定値算出部６１０は、状態ごとの確率値を、バックワードアルゴリズムを用いずにフォワードアルゴリズムにより取得することは好適である。
【数５】
2008191551.tif 000007
【数６】
2008191551.tif 000008
【０１１７】
数式５において、「Ｐｎ」は最適音素代表系列の「ｎ」番目の音素である。また、数式５において、「λ（Ｐｎ）」は音素「Ｐｎ」の音響モデルパラメータであり、「λＰ（ｊ）」は状態「ｊ」を含む音響モデルのパラメータである。状態「ｊ」が音素「Ｐｎ」の音響モデルの持つ状態であるならば、「λＰ（ｊ）」と「λ（Ｐｎ）」は同じ音響モデルのパラメータを表す。また、「Ｍ」は全ての音響モデル数であり、「Ｎ」は音響モデル全体の総状態数である。また、数式５において、「Ｐｒ（ｍ）」は音素「ｍ」の事前確率を表し、音響モデルパラメータ「λ（ｍ）」の事前確率「Ｐｒ（λ（ｍ））」を意味する（「Ｐｒ（Ｐｎ）」についても同様）。また、数式５において、音素の事前確率「Ｐｒ（ｍ）」は、すべての音素において一定と仮定し、式の途中で省略している。
【０１１８】
また、数式６は、状態「ｊ」が属する音響モデルパラメータ「λ（Ｐｎ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の最終時刻（フレーム）「Ｔ（ｎ）」における状態が「ｊ」である確率を、前向き（Ｆｏｒｗａｒｄ）アルゴリズムにより算出することを示す。そして、数式５で示すPAPPS評定値算出式は、特徴ベクトル系列の最終時刻「Ｔ（ｎ）」における数式３で示したPDAPS評定値算出式と一致する。
【０１１９】
さらに、評定値算出部６１０は、数式５により、音素区間ごとに算出されるPAPPS評定値をメモリ上に一時記憶し、当該音素区間ごとの評定値をパラメータにして、文章や単語ごとの評定値を算出しても良い。文章や単語ごとの評定値を算出するために、評定値算出部６１０は、評定対象の文章や単語を構成する音素のPAPPS評定値から平均値や中央値などを用いた算出方法で求めることは好適である。かかる場合、評定値算出部６１０は、最適音素部分系列取得部１０８が取得した各音素の最適音素部分系列の長さ（フレーム数）をパラメータとして、各音素の値を重み付けして、文章や単語の評定値を算出しても良いし、単純に各音素の評定値の平均値や中央値などの値を文章や単語全体の評定値としても良い。
【０１２０】
評定値算出部６１０は、通常、ＭＰＵやメモリ等から実現され得る。評定値算出部６１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１２１】
次に、発音評定装置の動作について説明する。本発音評定装置の動作において、実施の形態２の発音評定装置と比較して、評定値算出処理およびその前処理が異なる。したがって、図７のフローチャートを用いて、本発音評定装置の評定値算出処理について説明する。図７のフローチャートにおいて、図３、図５のフローチャートと異なるステップについてのみ説明する。
【０１２２】
（ステップＳ７０１）評定値算出部６１０は、ｎ番目の代表音素、および最適音素部分系列が存在するか否かを判断する。ｎ番目の代表音素等が存在すればステップＳ７０２に行き、ｎ番目の代表音素等が存在しなければステップＳ７０９に行く。
【０１２３】
（ステップＳ７０２）評定値算出部６１０は、最適音素代表系列のｎ番目の代表音素を取得し、メモリ上に配置する。
【０１２４】
（ステップＳ７０３）評定値算出部６１０は、ｎ番目の特徴ベクトル部分系列を取得し、メモリ上に配置する。
【０１２５】
（ステップＳ７０４）評定値算出部６１０は、特徴ベクトル部分系列の最終時刻「Ｔ（ｎ）」での、全ての音響モデルの状態ごとの確率を、状態の属する音響モデルパラメータを用いて、前向きアルゴリズムにより算出し、バッファに格納する。なお、評定値算出部６１０は、上記の確率の算出前に、ステップＳ３０３で取得した音響モデルの中から、状態の属する音響モデルパラメータを取得する。
【０１２６】
（ステップＳ７０５）評定値算出部６１０は、ｍ番目の音素の音響モデルに含まれる全状態の時刻「Ｔ（ｎ）」における確率の総和から、ｍ番目の音素の確率を算出する。
【０１２７】
（ステップＳ７０６）評定値算出部６１０は、代表音素「Ｐｎ」の事後確率を算出する。
【０１２８】
（ステップＳ７０７）評定値算出部６１０は、算出した事後確率をｎ番目の評定値のバッファに格納する。
【０１２９】
（ステップＳ７０８）評定値算出部６１０は、カウンタｎを１、インクリメントし、ステップＳ７０１に戻る。
【０１３０】
（ステップＳ７０９）評定値算出部６１０は、音素毎の評定値から、単語区間、文章区間の評定値を算出し、算出値をメモリ上に配置する。かかる、単語区間、文章区間の評定値の算出方法は、音素毎の評定値の各区間における平均値や中央値を算出する方法等がある。上位処理にリターンする。
【０１３１】
以上、本実施の形態によれば、精度の高い発音評定ができる。具体的には、本実施の形態によれば、音素単位の評定を高い精度で行うことができる。また、本実施の形態によれば、高速に音素単位の評定を高い精度で行うことができる。
【０１３２】
なお、本実施の形態によれば、評定値算出部６１０は、数式５、６により、評定値を算出した。しかし、評定値算出部６１０が評定値を算出するアルゴリズムは、数式５、６によるものとは限らない。例えば、数式６は前向き（Forward）アルゴリズムにより算出された。評定値算出部６１０は、数式６に代えて、後向き（Backward）アルゴリズムにより算出しても良い。また、例えば、数式５の事後確率の算出において、音素としての、起こりうる全ての事象が母音の音素を表すもののみになっても良い。かかる場合、評定対象の音素は、いずれかの母音を表すもののみが許されることは明らかである。評定値算出部６１０は、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出すれば良い。
【０１３３】
また、本実施の形態において、発音評定装置が、音素毎の評定値を基にして、文章や単語の評定値を算出することは好適である。具体的には、発音評定装置は、文章や単語に含まれる音素毎の複数の評定値の平均値や中央値から評定値を算出することは好適である。
【０１３４】
なお、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得部と、前記1以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、格納されている各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する特徴ベクトル部分系列取得部と、格納されている教師データを読み出し、当該教師データを用いて、前記特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列が評定対象の音素である事後確率を算出し、当該事後確率から音声の評定値を算出する評定値算出部と、前記評定値算出部が算出した評定値を出力する出力部として機能させるためのプログラム、である。
【０１３５】
また、上記プログラムにおいて、コンピュータを格納されている評定対象音素系列に沿った音響モデルを読み出し、当該音響モデルと、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列であり、前記音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得する最適状態系列取得部と、前記最適状態系列取得部が取得した最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の組である最適音素部分系列を１組以上取得する最適音素部分系列取得部として、さらに機能させ、前記特徴ベクトル部分系列取得部は、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列取得部が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得するように機能させるためのプログラム、であることは好適である。
【０１３６】
また、上記プログラムにおいて、前記評定値算出部が、音素区間音声データが評定対象の正解となる音素である事後確率を算出し、当該事後確率から音素の評定値を算出するように機能させるためのプログラム、であることは好適である。
【０１３７】
また、上記プログラムにおいて、評定値算出部は、前記事後確率を、バックワードアルゴリズムを用いずにフォワードアルゴリズムにより取得するように機能させるためのプログラム、であることは好適である。
（実施の形態４）
【０１３８】
本実施の形態において、音素ごとに求めたPAPPS評定値をその評定対象音素の時間長（フレーム数）で正規化するアルゴリズムにより、文章や単語の発音評定を行う発音評定装置について説明する。本アルゴリズムを、実施の形態３におけるPAPPSに修飾子をつけてPAPPS-FN（Frame Normalized Phonemic A Posteriori Probability based pronunciation Scoring／フレーム正規化した音韻の事後確率に基づく発音評定）と呼ぶこととする。
【０１３９】
PAPPS-FNアルゴリズムにおいて音素の評定値を得ることは、実施の形態３のPAPPSアルゴリズムと全く同様である。
【０１４０】
図８は、本実施の形態における発音評定装置のブロック図である。本発音評定装置は、入力受付部１０１、教師データ格納部１０２、評定対象音素系列格納部１０３、音声受付部１０４、フレーム音声データ取得部１０５、特徴ベクトル系列取得部１０６、最適状態系列取得部１０７、最適音素部分系列取得部１０８、特徴ベクトル部分系列取得部１０９、評定値算出部８１０、出力部１１１、最適音素代表系列取得部６０１、音素時間情報取得部８０１を具備する。
【０１４１】
音素時間情報取得部８０１は、各最適音素部分系列の時間に関する情報である音素時間情報を取得する。音素時間情報は、例えば、単語や文章などを構成する音素のフレーム数や、時間（通常、フレーム数から算出される）である。音素時間情報は、具体的には、最適音素部分系列または特徴ベクトル部分系列の各部分系列を構成する要素数である。音素時間情報取得部８０１は、通常、ＭＰＵやメモリ等から実現され得る。音素時間情報取得部８０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１４２】
評定値算出部８１０は、例えば、先に示した数式5、数式6により、最適音素代表系列取得部が取得した代表音素「Ｐｎ」ごとに、その音素に対応する特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列「Ｏ（ｎ）」と、教師データ格納部から全ての音響モデルを読み出し、全ての音響モデルの全状態において、その状態「ｊ」が属する音響モデルパラメータ「λＰ（ｊ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測され、かつそのベクトル系列の最終時刻（フレーム）「Ｔ（ｎ）」における状態が「ｊ」である確率を取得し、その取得した状態ごとの確率値から、全ての音素について音響モデルパラメータ「λＰ（ｊ）」が与えられたという条件のもと、特徴ベクトル系列「Ｏ（ｎ）」が観測される確率を取得し、その取得した音素ごとの確率値から、特徴ベクトル系列「Ｏ（ｎ）」が与えられたときに、そのベクトル系列が代表音素「Ｐｎ」である事後確率を取得し、当該１以上取得した事後確率と、各音素に対応する音素時間情報をパラメータとして、例えば、以下の数式７により、音声の評定値（ＰＡＰＰＳ−ＦＮ（Ｐ））を算出する。
【０１４３】
評定値算出部８１０は、上述した数式５、６により、音素の評定値を得る。次に、評定値算出部８１０は、文章や単語ごとの評定値を、以下の数式７により算出する。数式７は、「音素時間長を重みとした音素評定値の加重平均」を意味する。なお、数式７において、「ｐ」は文章や単語を構成する音素系列である。また、「Ｐｎ」は音素である。数式７では、評定対象となる全音声データを１つの文章や、１つの単語であると仮定して、評定対象音素系列の全音素を用いて、評定値を算出する。音声データから複数の文章や複数の単語の評定値を算出する場合は、その文章や単語を構成する音素系列ごとに算出式を適用することにより、複数の文章や複数の単語の評定値を得ることができる。
【数７】
2008191551.tif 000009
【０１４４】
数式７において、「ｓ」は、最適音素部分系列の個数（音素の個数）である。また、「Ｔ（ｎ）」は、「ｎ」番目部分系列の系列長である。
【０１４５】
評定値算出部８１０は、通常、ＭＰＵやメモリ等から実現され得る。評定値算出部８１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１４６】
次に、発音評定装置の動作について図９のフローチャートを用いて説明する。図９のフローチャートの先頭のステップ（ステップＳ９０１）は、図７のフローチャートのステップＳ７０９に後続する。つまり、図９のフローチャートは、図７の全ステップを含む。
【０１４７】
（ステップＳ９０１）評定値算出部８１０は、カウンタｎに１を代入する。
【０１４８】
（ステップＳ９０２）評定値算出部８１０は、ｎ番目の代表音素、および最適音素部分系列が存在するか否かを判断する。ｎ番目の代表音素等が存在すればステップＳ９０３に行き、ｎ番目の代表音素等が存在しなければステップＳ９０８に行く。
【０１４９】
（ステップＳ９０３）評定値算出部８１０は、ｎ番目の最適音素部分系列長を取得し、メモリ上に配置する。なお、最適音素部分系列長に代えて、特徴ベクトルの部分系列長でも良い。
【０１５０】
（ステップＳ９０４）評定値算出部８１０は、ｎ番目の音素評定値を取得する。
【０１５１】
（ステップＳ９０５）評定値算出部８１０は、ステップＳ９０４で取得したｎ番目の音素評定値に、ステップＳ９０３で取得したｎ番目の最適音素部分系列長を乗算し、その値を分子値に加算する。
【０１５２】
（ステップＳ９０６）評定値算出部８１０は、ｎ番目の最適音素部分系列長を分母値に加算する。
【０１５３】
（ステップＳ９０７）評定値算出部８１０は、カウンタｎを１、インクリメントし、ステップＳ９０２に戻る。
【０１５４】
（ステップＳ９０８）評定値算出部８１０は、「分子値／分母値」により、評定値を算出する。上位処理にリターンする。
【０１５５】
以上、本実施の形態によれば、単語や文章などの、ユーザが評定して欲しい評定対象の単位に好適な評価結果を精度高く得ることができる。
【０１５６】
なお、本実施の形態によれば、評定値算出部８１０は、数式７により、評定値を算出した。しかし、評定値算出部８１０が評定値を算出するアルゴリズムは、数式７によるものとは限らない。評定値算出部８１０は、取得した１以上の各音素の評定値と、各音素に対応する音素時間情報をパラメータとして音声の評定値を算出すればよい。
【０１５７】
さらに、本実施の形態における発音評定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、音声の入力を受け付ける音声受付部と、前記音声受付部が受け付けた音声を、フレームに区分し、区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得部と、前記1以上のフレーム音声データから、フレーム毎の特徴ベクトルの集合である特徴ベクトル系列を取得する特徴ベクトル系列取得部と、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、格納されている各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得する特徴ベクトル部分系列取得部と、格納されている教師データを読み出し、当該教師データを用いて、前記特徴ベクトル部分系列取得部が取得した特徴ベクトル部分系列が評定対象の音素である事後確率を算出し、当該事後確率から音声の評定値を算出する評定値算出部と、前記評定値算出部が算出した評定値を出力する出力部として機能させるためのプログラム、である。
【０１５８】
また、上記プログラムにおいて、コンピュータを、格納されている評定対象音素系列に沿った音響モデルを読み出し、当該音響モデルと、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列であり、前記音響モデルに対応する特徴ベクトル系列とを比較し、フレーム毎の最適状態の集合である最適状態系列を取得する最適状態系列取得部と、前記最適状態系列取得部が取得した最適状態系列の中で、同一の音素が連続する１以上の最適音素系列を識別し、当該１以上の最適音素系列の組である最適音素部分系列を１組以上取得する最適音素部分系列取得部として、さらに機能させ、前記特徴ベクトル部分系列取得部は、前記特徴ベクトル系列取得部が取得した特徴ベクトル系列から、前記最適音素部分系列取得部が取得した各最適音素部分系列に対応する１以上の特徴ベクトルの組である特徴ベクトル部分系列を１組以上取得するように機能させるためのプログラム、であることは好適である。
【０１５９】
また、上記プログラムにおいて、コンピュータを、前記評定値算出部を、フレーム毎または音素毎の前記評定値を基にして、文章や単語の評定値を算出するように機能させるためのプログラム、であることは好適である。
【０１６０】
また、上記プログラムにおいて、コンピュータを、各音素の時間に関する情報である音素時間情報を取得する音素時間情報取得部としてさらに機能させ、前記評定値算出部が、音素時間長を重みとした音素の評定値の加重平均を算出し、当該加重平均から文章または単語の評定値を算出するように機能させるためのプログラム、であることは好適である。
【０１６１】
以下に、上記の実施の形態にかかる発音評定装置について、実験を行った結果について述べる。なお、下記の実験を行ったのは、PDAPS-PE、PDAPS、PAPPSの３つのアルゴリズムを実装する発音評定装置である。
【０１６２】
（実験１）
まず、日本人女性６人、日本人男性５人、英語ネイティブ男性２人に英語の文章および単語を発音してもらい、その音声を音声受付部１０４が受け付け、各アルゴリズムを実装する発音評定装置が発音評定を行った。そのアルゴリズムは、t-p-DAP（全時間区間の平均値を用いたもの）、t-p-DAP-PM（音素時間区間での中央値を音素数で平均したもの）、PDAPS-PE（全時間区間の平均値を用いたもの）、PDAPS（全時間区間の平均値を用いたもの）、PAPPS（音素評定値の平均値）のアルゴリズムである。そして、発音評定装置は、各アルゴリズムで求めた文章の評定値および単語の評定値の平均値を算出し、出力する。図１０は、各アルゴリズムの比較結果を示す表の集合である。なお、t-p-DAPは、特許文献１で説明されている公知のアルゴリズムである。t-p-DAP-PMは、t-p-DAPのアルゴリズムでフレームごとに出力される評定値の音素時間区間での中央値を音素数で平均したものである。なお、「PM」は「Phoneme Median」を意味する。なお、PAPPS-FNアルゴリズムに関しては出力する評定値がPDAPSアルゴリズムを用いた文章・単語の評定値と全く一致するので図１０等の比較対照に含めなかった。
【０１６３】
図１０（ａ）は、全話者での平均値を示す。図１０（ｂ）は、Native話者での平均値を示す。図１０（ｃ）は、日本人話者での平均値を示す。図１１（ａ）は、タスク１での平均値を示す。図１１（ｂ）は、タスク２での平均値を示す。図１０から図１３において、「％」で示される値は、比較されるアルゴリズムで算出した評定値の値の割合を示す。
【０１６４】
図１０、図１１から、全てにおいて、t-p-DAP-PM  ＜  t-p-DAP  ＜  PDAPS-PE  ＜  PAPPS  ＜  PDAPSとなる結果を得た。なお、タスクとは話者が発音している文章や単語の種類を表す。つまり、タスク１とタスク２は、異なる文章や単語である。
【０１６５】
そして、図１０、図１１の結果の中では特にNative話者での平均値に関する大小関係が重要となる。本来それを教師としているので、Native話者の発音に対して、発音評定装置は満点を出力することが望ましい。しかし現実的には発音評定装置が教師としているモデル話者と、評定対象の話者が異なる場合は、話者性の違いなどで常に満点を出力することは難しい。さらにそのモデル話者の発音を録音した環境（場所やマイク）と評定対象の発音の録音環境との違いによっても常に満点を出力することは難しくなる。ただし同じモデル話者を用いて同じ評定対象音声を評定する場合、その違いはアルゴリズムによるもののみとなり、この場合Native話者の発音に対してはより高得点を出力できるアルゴリズムの方が、より望ましいといえる。このような理由から、特許文献１で説明しているDAP、p-DAPアルゴリズムよりも、今回発明したPDAPS-PE、PDAPS、PAPPS、PAPPS-FNアルゴリズムの方がより良い発音評定アルゴリズムであるといえる。
【０１６６】
（実験２）
実験１においては、Native話者に対する評定値の比較結果から、PDAPS-PE、PDAPS、PAPPS、PAPPS-FNアルゴリズムが良好な値を出力することが明らかとなった。しかしその実験では、Native話者の数が２人であることから、十分なデータ量であったとはいえない。そこで続く実験として、英語の文章および単語を発音した英語ネイティブ多数話者の音声データベースを用いて、t-p-DAP、PDAPS-PE、PDAPS、PAPPSアルゴリズムで求めた文章および単語評定値の平均値の比較を行った。なお、この音声データベースは、男女合わせて221人が総発音データ数193427の音声を入力し、音声受付部１０４がかかる音声データを受け付け、音声データベース（記憶媒体）に蓄積したものである。そして、発音評定装置は、音声データベースの音声データを読み出し、発音評定を行う。かかる実験結果を、図１２に示す。
【０１６７】
図１２によれば、全ての発音の平均評定値で、t-p-DAP  ＜  PDAPS-PE  ＜  PAPPS  ＜  PDAPSとなる結果を得ることができ、PDAPS-PE、PDAPS、PAPPS、PAPPS-FNアルゴリズムが、従来のp-DAPアルゴリズムよりもNative話者に対する評定値では、良好な結果を出力することが確認できた。
【０１６８】
また、実験２では、全ての発音データを評定するのに要する処理時間を計測し、t-p-DAP  ＞  PDAPS-PE  ＞  PDAPS  ＞  PAPPSとなる結果を得ることができた。
【０１６９】
（実験３）
実験１ならびに実験２で確認してきたことは、正しい発音に対して、より高得点を出力できるかということであった。しかし、それだけでは良好な発音評定アルゴリズムとしての性質を完全に満たすことはできていない。間違った発音に対しても、例えば、全く言語として理解不能な内容の発音であろうとも、高得点を出力してしまう可能性があるからである。
【０１７０】
そこで、実験３において、日本人多数話者が、完全に正しいとはいいきれない英語の文章および単語を発音し、発音評定装置が当該音声を受け付け、発音評定を行った。そして、t-p-DAP、PDAPS-PE、PDAPS、PAPPSアルゴリズムで求めた文章および単語評定値の平均値の比較を行ったものが図１３（ａ）である。
【０１７１】
また、図１３（ｂ）に、ヒューマンレーティングスコアと発音評定アルゴリズムにより算出するスコアとの相関係数を示す。相関係数を調べることで、人間の感覚との近さを計測し、相関が高いものほどより良好な評定値を出力するアルゴリズムであるということを確認できる。なお、ヒューマンレーティングスコアとは、人手により採点した発音評定値である。
【０１７２】
実験３の結果、平均値の関係からは、実験１、２と同じく新たなアルゴリズム（PDAPS-PE、PDAPS、PAPPS）の方が高得点となった。ヒューマンレーティングスコアとの相関係数（図１３（ｂ））を見ると、いままで利用してきたp-DAPアルゴリズムよりも新たなアルゴリズムの方が高い相関を示す結果となり、より良い発音評定アルゴリズムであることが確認できた。さらに、相関係数の新たなアルゴリズム間での関係において、平均値の関係とは違う関係を見ることができた。平均値ではPDAPSアルゴリズムが最も高い値を出力していたが、相関係数ではPAPPSアルゴリズムが最も高い値を得ている。このことは、PAPPSアルゴリズムが、間違った（完全に正しくない）発音に対しても、より正確に評定値を算出していることを示し、人間の感覚にも近い評定値を算出できるアルゴリズムであるといえる。
【０１７３】
以上の実験結果から、本明細書で説明した発音評定アルゴリズムPDAPS-PE、PDAPS、PAPPS、PAPPS-FNが、公知のp-DAPアルゴリズムよりも優れていることを示した。
【０１７４】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１７５】
また、図１４は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の発音評定装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１４は、このコンピュータシステム３４０の概観図であり、図１５は、コンピュータシステム３４０のブロック図である。
【０１７６】
図１４において、コンピュータシステム３４０は、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４と、マイク３４５とを含む。
【０１７７】
図１５において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１７８】
コンピュータシステム３４０に、上述した実施の形態の発音評定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１７９】
プログラムは、コンピュータ３４１に、上述した実施の形態の発音評定装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１８０】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１８１】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段（情報送信部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１８２】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１８３】
以上のように、本発明にかかる発音評定装置は、精度の高い発音評定ができるという効果を有し、語学学習支援装置等として有用である。
【図面の簡単な説明】
【０１８４】
【図１】実施の形態１における発音評定装置のブロック図
【図２】同発音評定装置の動作について説明するフローチャート
【図３】同評定値算出処理について説明するフローチャート
【図４】実施の形態２における発音評定装置のブロック図
【図５】同評定値算出処理の動作について説明するフローチャート
【図６】実施の形態３における発音評定装置のブロック図
【図７】同評定値算出処理の動作について説明するフローチャート
【図８】実施の形態４における発音評定装置のブロック図
【図９】同発音評定装置の動作について説明するフローチャート
【図１０】同実験結果の表を示す図
【図１１】同実験結果の表を示す図
【図１２】同実験結果の表を示す図
【図１３】同実験結果の表を示す図
【図１４】同発音評定装置を実現するコンピュータの外観図
【図１５】同発音評定装置を実現するコンピュータシステムのブロック図
【符号の説明】
【０１８５】
１０１  入力受付部
１０２  教師データ格納部
１０３  評定対象音素系列格納部
１０４  音声受付部
１０５  フレーム音声データ取得部
１０６  特徴ベクトル系列取得部
１０７  最適状態系列取得部
１０８  最適音素部分系列取得部
１０９  特徴ベクトル部分系列取得部
１１０、４１０、６１０、８１０  評定値算出部
１１１  出力部
６０１  音素代表系列取得部
８０１  音素時間情報取得部
【図１】
2008191551.tif 000010
【図２】
2008191551.tif 000011
【図３】
2008191551.tif 000012
【図４】
2008191551.tif 000013
【図５】
2008191551.tif 000014
【図６】
2008191551.tif 000015
【図７】
2008191551.tif 000016
【図８】
2008191551.tif 000017
【図９】
2008191551.tif 000018
【図１０】
2008191551.tif 000019
【図１１】
2008191551.tif 000020
【図１２】
2008191551.tif 000021
【図１３】
2008191551.tif 000022
【図１４】
2008191551.tif 000023
【図１５】
2008191551.tif 000024