(57)【要約】【課題】ユーザの発話した音声と模範音声との相違を提示することにより語学学習を支援する技術に関し、ユーザが発話した比較対象音声と模範音声との韻律情報の比較において、各音節内における変化の度合いと、連続する複数の音節にまたがる変化の度合いをそれぞれ比較可能とする。【解決手段】韻律特徴解析モジュール１０５は、ユーザが発話した評価対象音声について、韻律特徴量を解析し、評価対象音声に含まれる音節毎に韻律特徴量の変化度合いを算出する。韻律特徴評価モジュール１０６は、評価対象音声について算出された音節毎の韻律特徴量の変化度合いを、評価対象音声に対応するネイティブ話者音声（標準音声）について予め蓄積されている音節毎の韻律特徴量の変化度合いと比較し、その比較の評価比較結果を表示装置１０８に表示しユーザに提示する。【選択図】図１
2017126004.tif 000002
【特許請求の範囲】
【請求項１】
入力された評価対象音声に含まれる音節毎の前記韻律特徴の変化度合いを取得する韻律特徴取得処理と、
前記取得された前記音節毎の前記韻律特徴の変化度合いと、前記評価対象音声に対応する模範音声に含まれる前記音節毎の前記韻律特徴の変化度合いとを比較し、前記比較の結果を提示する韻律特徴比較処理と、
を実行する韻律評価部を備える音声評価装置。
【請求項２】
前記変化度合いは、前記音節内で前記韻律特徴が、増加傾向、変化しない傾向、及び減少傾向の何れかを示す、請求項１記載の音声評価装置。
【請求項３】
前記韻律評価部は、前記韻律特徴取得処理において、前記音節毎に含まれる前記韻律特徴量に対して回帰分析を行うことにより、前記変化度合いを取得する処理を実行する、請求項２記載の音声評価装置。
【請求項４】
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節毎の前記韻律特徴の変化度合いと、前記模範音声に含まれる前記音節毎の前記韻律特徴の変化度合いとを対比させて表示装置に表示させる、請求項１乃至３の何れかに記載の音声評価装置。
【請求項５】
前記韻律評価部は、前記韻律特徴評価処理において、前記変化度合いが増加傾向、変化しない傾向、及び減少傾向の何れかであるかに応じて、右肩上がりの矢印形状、水平の矢印形状、及び右肩下がりの矢印形状の何れかで前記表示装置に表示させる処理を実行する、請求項４記載の音声評価装置。
【請求項６】
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節の夫々と、前記模範音声に含まれる前記音節の夫々とを対応付け、それぞれ対応関係にある全ての前記評価対象音声の音節と前記模範音声の音節とにおける前記韻律特徴同士の一致割合を取得して前記表示装置に数値表示させる処理を実行する、請求項１乃至３の何れかに記載の音声評価装置。
【請求項７】
前記韻律評価部は、
前記韻律特徴取得処理において更に、前記評価対象音声の音節毎に前記韻律特徴の代表値を取得する処理を実行し、
前記韻律特徴比較処理において更に、前記取得された前記音節毎の前記韻律特徴の代表値の複数の前記音節間での変化度合いと、前記模範音声に含まれる前記音節毎の前記韻律特徴の代表値の前記複数の音節間での変化度合いとを比較し、前記比較の比較結果を前記ユーザに提示する処理を実行する、請求項１乃至６の何れかに記載の音声評価装置。
【請求項８】
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節毎に取得された前記韻律特徴の代表値を、前記複数の音節間でプロットした折れ線グラフと、前記模範音声に含まれる前記音節毎の前記韻律特徴の代表値を前記複数の音節間でプロットした折れ線グラフとを対比させて表示装置に表示させる処理を実行する、請求項７記載の音声評価装置。
【請求項９】
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節の夫々と前記模範音声に含まれる前記音節の夫々とを対応付け、それぞれ対応関係にある全ての前記評価対象音声の音節と前記模範音声の音節とにおける前記韻律特徴の代表地同士の一致割合いを取得して前記表示装置に数値表示させる処理を実行する、請求項７記載の音声評価装置。
【請求項１０】
前記韻律評価部は、前記韻律特徴取得処理において、前記評価対象音声を、予め定められた時間長を有するフレーム夫々に分割し、前記分割されたフレーム毎に前記評価対象音声の基本周波数を取得し、前記音節毎に前記音節に含まれるフレーム毎に取得された基本周波数夫々を前記音節の韻律特徴とする処理を実行する、請求項１乃至９の何れかに記載の語学学習装置。
【請求項１１】
前記韻律評価部は、前記韻律特徴取得処理において、前記評価対象音声について、予め定められた時間長を有するフレーム夫々に分割し、前記分割されたフレーム毎に前記評価対象音声のパワーを取得し、前記音節毎に前記音節に含まれるフレーム毎に取得されたパワー夫々を前記音節の韻律特徴とする処理を実行する、請求項１乃至９の何れかに記載の音声評価装置。
【請求項１２】
前記韻律評価部は、
前記韻律特徴取得処理において更に、前記評価対象音声に含まれる音素毎に継続時間長を取得し、前記評価対象音声に含まれる前記音節毎に、前記音節に含まれる前記各音素の継続時間長の総和を当該音節の継続時間長として取得する処理を実行し、
前記韻律特徴比較処理において更に、前記取得された前記音節毎の前記継続時間長と、前記模範音声に含まれる前記音節毎の継続時間長とを比較し、前記比較の結果を提示する処理を実行する、
請求項１乃至１１の何れかに記載の音声評価装置。
【請求項１３】
前記韻律評価部は、前記韻律特徴比較処理において、前記音節毎に、前記評価対象音声の韻律特徴と、前記韻律特徴と対応する前記模範音声の韻律特徴との間で異なる部分が存在する場合は、前記異なる部分を前記表示装置に強調表示する処理を実行する、請求項４、５、８、又は１２の何れかに記載の音声評価装置。
【請求項１４】
音声評価装置が、
入力された評価対象音声に含まれる音節毎に前記韻律特徴量の変化度合いを取得し、
前記取得された前記音節毎の前記韻律特徴量の変化度合いと、模範音声に含まれる前記音節毎の前記韻律特徴量の変化度合いとを比較し、前記比較の比較結果を前記ユーザに提示する、語学学習方法。
【請求項１５】
音声評価装置として用いられるコンピュータに、
入力された評価対象音声に含まれる音節毎に前記韻律特徴の変化度合いを取得するステップと、
前記評価対象音声について取得された前記音節毎の前記韻律特徴の変化度合いと、模範音声に含まれる前記音節毎の前記韻律特徴量の変化度合いとを比較し、前記比較の結果を提示するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの発話した音声と、例えばネイティブ話者の音声からなる模範音声との相違を提示することにより語学学習を支援する技術に関する。
【背景技術】
【０００２】
音声データを用いて語学学習を支援する技術が一般に普及している。一般的に外国語発音の評価手法としては、音声認識技術や信号処理技術を用いた音韻の評価（英語における「Ｌ」と「Ｒ」のチェックなど）が主である。外国語発音の韻律（アクセントやイントネーション、リズムなどと呼ばれるもの）の評価に関しては、基本周波数（ピッチ）やパワー、時間長のグラフの表示のみであったりすることが多く、評価を行ったとしても、アクセント位置を推定してアクセント位置が正しい位置かを評価したり、基本周波数、パワー、時間長などの物理量の単純比較であったりする場合が多い。
【０００３】
このような単純な評価から一歩進んで、学習者の入力発声音声に対し音声認識を使ってセグメンテーションを行い、さらに模範音声と学習者の入力発声音声の同一音節区間を比較することにより、学習者に、両者で異なる箇所を提示し、また発音とアクセントのそれぞれについて数字レベルで模範音声との違いを提示するようにした従来技術が開示されている（例えば特許文献１に記載の技術）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１６２２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、音節単位で模範音声と学習者の入力発声音声とを比較する従来技術では、各音節内の平均的な基本周波数やパワーを数値的に比較しているだけであり、各音節内における基本周波数やパワーの変化の度合いを比較することはできなかった。その一方で、この従来技術では、連続する複数の音節にまたがる変化の度合いを比較することもできなかった。
【０００６】
そこで、本発明は、ユーザが発話した評価対象音声と模範音声との韻律情報の比較において、各音節内における変化の度合いと、連続する複数の音節にまたがる変化の度合いをそれぞれ比較可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
態様の一例では、入力された評価対象音声に含まれる音節毎の韻律特徴の変化度合いを取得する韻律特徴取得処理と、取得された音節毎の韻律特徴の変化度合いと、評価対象音声に対応する模範音声に含まれる音節毎の韻律特徴の変化度合いとを比較し、比較の結果を提示する韻律特徴比較処理と、を実行する韻律評価部を備える。
【発明の効果】
【０００８】
本発明によれば、韻律情報について、各音節内における変化の度合いと、連続する複数の音節にまたがる変化の度合いをそれぞれ比較することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】音声評価装置の実施形態のブロック図である。
【図２】音声評価装置における韻律評価部のアプリケーションの処理概要を示す図である。
【図３】韻律評価アプリケーション実行部による処理シーケンスの例を示す図である。
【図４】評価対象音声と音素記号ラベルと音節の説明図である。
【図５】韻律特徴比較モジュールがアプリケーションフロントエンドを介して表示装置に表示する評価結果の表示例を示す図である。
【図６】語学学習装置の実施形態のハードウェア構成例を示す図である。
【図７】韻律比較処理の全体処理の例を示すフローチャートである。
【図８】基本周波数の取得処理の詳細例を示すフローチャートである。
【図９】ＲＭＳパワーの取得処理の詳細例を示すフローチャートである。
【図１０】継続時間長の取得処理の詳細例を示すフローチャートである。
【図１１】韻律特徴比較処理の詳細例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、本願発明に係る音声評価装置を適用した語学学習装置１００の実施形態のブロック図である。語学学習装置１００は、韻律評価部１０１と、韻律評価部１０１から参照される音響モデル１１０、発音データベース１１１、模範音声データ１１２と、韻律評価部１０１に接続される入力装置１０２および出力装置１０３を備える。韻律評価部１０１は、それぞれソフトウェアモジュールである音素ラベリングモジュール１０４、韻律特徴取得処理を実行する韻律特徴取得モジュール１０５、及び韻律特徴比較処理を実行する韻律特徴比較モジュール１０６を備える。また、特には図示しないが、韻律評価部１０１は、上記各モジュールの実行を制御するソフトウェア部分であるアプリケーションフロントエンドを備える。入力装置１０２は、ユーザが発話した音声を入力する音声入力装置１０７を備える。音声入力装置１０７は例えば、マイク、マイクの出力を増幅するアンプ、アンプが出力するアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ（アナログ／デジタル）変換器などからなる。出力装置１０３は、表示装置１０８および音声出力装置１０９を備える。表示装置１０８は、例えば液晶ディスプレイ装置である。音声出力装置１０９は例えば、出力されるデジタル音声信号をアナログ音声信号に変換するＤ／Ａ（デジタル／アナログ）変換器、Ｄ／Ａ変換器の出力を増幅するアンプ、そしてこのアンプが出力するアナログ音声信号を放音するスピーカなどからなる。
【００１１】
図１において、音響モデル１１０は、音素ラベリングを行うための外国語音声の統計モデルである。発音データベース１１１は、単語や文章の発音データ（音素記号列）及び音節に関する情報（音節の区切り位置）を格納したデータベースである。模範音声データ１１２は、比較評価を行うための、例えばネイティブ話者の音声からなる模範の音声及びそれから取得した韻律特徴（基本周波数、パワー、継続時間長）を格納したデータベースである。
【００１２】
図２は、図１の語学学習装置１００における韻律評価部１０１の処理概要を示す図である。韻律評価部１０１はまず、図１の表示装置１０８に、模範音声の単語又は文章の文字列、例えば“Ｉｎｆｏｒｍａｔｉｏｎ”を表示させ（Ｓ２０１）、図１の音声出力装置１０９から当該模範音声を放音させる（Ｓ２０２）。これに対して、ユーザは、図１の音声入力装置１０７に向かって、上記模範音声に対応する評価対象音声を発話する。韻律評価部１０１は、評価対象音声を模範音声と比較し、その比較結果の文字列やグラフを図１の表示装置１０８に表示させ、また、比較結果を図１の音声出力装置１０９から放音させることにより、評価対象音声の正確さの評価や誤っている箇所等をユーザにフィードバックする。
【００１３】
図３は、図１の韻律評価部１０１の処理シーケンスの例を示す図である。
【００１４】
まず、ユーザが、図１の音声入力装置１０７から、評価対象音声を入力する（Ｓ３０１）。この結果、アプリケーションフロントエンド３００は、デジタル時間信号のサンプリングデータとして、評価対象音声を得る。以下、「評価対象音声」と記載したときは、このデジタル時間信号のサンプリングデータを意味するものとする。
【００１５】
次に、韻律評価部１０１のアプリケーションフロントエンド３００は、発音データベース１１１から、発音情報として、課題として提示されている単語または文章の音素記号列を取得する（Ｓ３０２）。
【００１６】
続いて、アプリケーションフロントエンド３００は、音素ラベリングモジュール１０４を起動して、Ｓ３０２で取得した発話情報を引き渡す（Ｓ３０３）。音素ラベリングモジュール１０４は、発話情報に基づいて、音響モデル１１０を参照しながら、Ｓ３０１で入力された評価対象音声に対して音素セグメンテーションを実行し、その結果得られる各音素セグメントに音素記号ラベルを付与する音素ラベリングを実行する（Ｓ３０４）。音素ラベリングモジュール１０４は、その結果得られる音素ラベリング情報を、アプリケーションフロントエンド３００に返す（Ｓ３０５）。
【００１７】
次に、アプリケーションフロントエンド３００は、韻律特徴取得モジュール１０５を起動して、Ｓ３０５で取得した音素ラベリング情報を引き渡す（Ｓ３０６）。韻律特徴取得モジュール１０５は、Ｓ３０で入力した評価対象音声について、韻律特徴を取得する。韻律特徴取得モジュール１０５は、発音データベース１１１中の模範音声に付与されている音素ラベリング情報と音節区切り情報を参照し、その音素ラベリング情報をアプリケーションフロントエンド３００から引き渡された評価対象音声の音素ラベリング情報と照合することにより、評価対象音声に対して音節セグメンテーションを実行する。韻律特徴取得モジュール１０５は、この結果得られる音節（セグメント）毎に、韻律特徴の変化度合いを算出する。また、韻律特徴取得モジュール１０５は、音節毎に、韻律特徴の代表値を算出する（以上、Ｓ３０７）。韻律特徴取得モジュール１０５は、この結果得られる音節毎の韻律特徴の変化度合いと代表値を、アプリケーションフロントエンド３００に返す（Ｓ３０８）。
【００１８】
次に、アプリケーションフロントエンド３００は、韻律特徴比較モジュール１０６を起動し、Ｓ３０８で取得した音節毎の韻律特徴の変化度合いと代表値を引き渡す（Ｓ３０９）。韻律特徴比較モジュール１０６は、模範音声データ１１２を参照することにより、評価対象音声について算出された音節毎の韻律特徴の変化度合いを、評価対象音声に対応する模範音声について予め蓄積されている音節毎の韻律特徴の変化度合いと比較する。また、韻律特徴比較モジュール１０６は、模範音声データ１１２を参照することにより、評価対象音声について算出された音節毎の韻律特徴の代表値の複数の音節間での変化度合いを、模範音声について予め蓄積されている音節毎の韻律特徴の代表値の複数の音節間での変化度合いと比較する（以上、Ｓ３１０）。韻律特徴比較モジュール１０６は、上述の２種類の比較の評価結果を、アプリケーションフロントエンド３００に返す（Ｓ３１１）。
【００１９】
アプリケーションフロントエンド３００は、Ｓ３１１で取得した、評価対象音声と模範音声の音節毎の韻律特徴の変化度合いの比較の評価結果に基づいて、音節毎に、評価対象音声の韻律特徴の変化形状と模範音声の韻律特徴の変化形状とを対比させて、図１の表示装置１０８にグラフ表示する。また、アプリケーションフロントエンド３００は、Ｓ３１１で取得した、評価対象音声に対応する韻律特徴の代表値を複数の音節間でプロットした折れ線グラフと、模範音声に対応する韻律特徴の代表値を複数の音節間でプロットした折れ線グラフとを、対比させて表示装置１０８にグラフ表示する（以上、Ｓ３１２）。
【００２０】
図４および図５は、図１の韻律評価部１０１による図３の処理シーケンスの説明図である。
【００２１】
まず、図４は、評価対象音声と音素記号ラベルと音節の説明図である。図３のＳ３０３で、ユーザが例えば“Ｉｎｆｏｒｍａｔｉｏｎ”という英語を発話すると、アプリケーションフロントエンド３００は、図４（ａ）に例示されるような評価対象音声のデジタル時間波形データを入力する。これに対し、図３のＳ３０３で、音素ラベリングモジュール１０４が音素ラベリングを実行すると、図４（ｂ）に示されるように、評価対象音声のデジタル時間波形データに対し時間軸上で音素セグメンテーションが実行され、各音素セグメントに音素記号ラベル“ＩＨ”“Ｎ”“Ｆ”“ＥＲ”“Ｍ”“ＥＹ”“ＳＨ”“ＡＨ”“Ｎ”が付与される。これらの音素記号列は、“Ｉｎｆｏｒｍａｔｉｏｎ”という英語の発音に対応している。次に、図３のＳ３０７で、韻律特徴取得モジュール１０５が、発音データベース１１１中の模範音声に付与されている音素ラベリング情報と音節区切り情報を参照し、その音素ラベリング情報を図４（ｂ）の評価対象音声の音素記号ラベル列（音素ラベリング情報）と照合することによって、評価対象音声のデジタル時間波形データに対して時間軸上で音節セグメンテーションが実行され、それぞれの音節セグメンに音節“ｉｎ”“ｆｏｒ”“ｍａ”“ｔｉｏｎ”が付与される。
【００２２】
韻律特徴取得モジュール１０５は、図３のＳ３０７において、図４（ｃ）に例示される音節毎に、韻律特徴の変化度合いを算出する。
【００２３】
具体的には、韻律特徴取得モジュール１０５は、図４（ａ）に例示される評価対象音声について、所定の時間長（例えば２５６ミリ秒）を有するフレーム毎に基本周波数の対数値を算出する。基本周波数の算出方法としては例えば、フレーム内の評価対象音声のサンプル値に対する自己相関演算又はケプストラム演算による方法などが適用できる。次に、韻律特徴取得モジュール１０５は、図４（ｃ）に例示される音節“ｉｎ”“ｆｏｒ”“ｍａ”“ｔｉｏｎ”のそれぞれにつき、その音節に含まれる各フレームに対応する基本周波数の対数値を、その音節の第１の韻律特徴量とする。次に韻律特徴取得モジュール１０５は、音節毎に、その音節に含まれる各フレームの基本周波数の対数値に対して例えば回帰分析（線形回帰分析又は多項式回帰分析等）を実行することにより、その音節での基本周波数の対数値（第１の韻律特徴）の変化度合いを、「増加傾向」「変化しない傾向」「減少傾向」の何れかに判別する。
【００２４】
また、韻律特徴取得モジュール１０５は、図４（ａ）に例示される評価対象音声について、フレーム毎に、下記数１式に従って、そのフレーム内の評価対象音声のＲＭＳ［ｘ］（二乗平均平方根）を計算し、さらにその対数値を算出する。ここで、１フレームのサンプル長をＮサンプルとしたときに、ｘ1 、ｘ2 、・・・、ｘN はそれぞれ、フレーム内の評価対象音声の各サンプル値である。
【数１】
2017126004.tif 000003
次に、韻律特徴取得モジュール１０５は、図４（ｃ）に例示される音節“ｉｎ”“ｆｏｒ”“ｍａ”“ｔｉｏｎ”のそれぞれにつき、その音節に含まれる各フレームに対応するＲＭＳパワーの対数値を、その音節の第２の韻律特徴とする。続いて、韻律特徴取得モジュール１０５は、音節毎に、その音節に含まれる各フレームのＲＭＳパワーの対数値に対して基本周波数の場合と同様に例えば回帰分析を実行することにより、その音節でのＲＭＳパワー対数値（第２の韻律特徴）の変化度合いを、「増加傾向」「変化しない傾向」「減少傾向」の何れかに判別する。
【００２５】
また韻律特徴取得モジュール１０５は、音節“ｉｎ”“ｆｏｒ”“ｍａ”“ｔｉｏｎ”のそれぞれにつき、その音節に含まれる各フレームに対応する基本周波数の対数値から代表値を算出する。同様に、韻律特徴取得モジュール１０５は、音節毎に、その音節に含まれる各フレームに対応するＲＭＳパワーの対数値から代表値を算出する。
【００２６】
更に、韻律特徴取得モジュール１０５は、図４（ａ）に例示される評価対象音声について、アプリケーションフロントエンド３００から引き渡された音素ラベリング情報に付与されている音素毎の継続時間長を取得し、図４（ｃ）に例示される音節毎に、その音節に含まれる各音素の継続時間長の総和を、その音節の継続時間長として算出する。
【００２７】
次に、韻律特徴評価モジュール１０６は、図３のＳ３１０において、評価対象音声について算出された音節毎の第１又は第２の韻律特徴の各変化度合いを、評価対象音声に対応する模範音声について予め蓄積されている音節毎の第１又は第２の韻律特徴の各変化度合いと比較し、その比較の評価結果を、アプリケーションフロントエンド３００を介して図１の表示装置１０８に表示させ、ユーザに提示する。この場合に、韻律特徴比較モジュール１０６は、評価対象音声に対応する音節毎の第１又は第２の韻律特徴の変化度合いに対応した変化形状と、模範音声に対応する音節毎の第１又は第２の韻律特徴の変化度合いに対応した変化形状とを、対比させて表示装置１０８にグラフ表示させる。この変化形状は、その変化形状に対応する変化度合いが「増加傾向」、「変化しない傾向」「減少傾向」の何れであるかに応じて、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかとすることができる。
【００２８】
図５は、韻律特徴比較モジュール１０６がアプリケーションフロントエンド３００を介して表示装置１０８に表示する評価結果の表示例を示す図である。図５で具体的に説明すると、韻律特徴比較モジュール１０６は、評価対象音声に対応する音節毎の基本周波数の対数値（第１の韻律特徴）に関して、図５の（ａ−１）の音節毎に、「増加傾向」、「変化しない傾向」「減少傾向」の何れかの変化度合いに対応した、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかを、図５（ｃ−１）に示されるように表示装置１０８に表示させる。韻律特徴比較モジュール１０６は、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎の基本周波数の対数値（第１の韻律特徴）に関し、図５の（ａ−２）の音節毎に、「増加傾向」、「変化しない傾向」「減少傾向」の何れかの変化度合いに対応した、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかを、図５（ｃ−２）に示されるように表示装置１０８に表示させる。この場合、韻律特徴比較モジュール１０６は、図５（ａ−１）の音節“ｆｏｒ”に対応する図５（ｃ−１）の右肩下がりの矢印形状のように、図５（ｃ−１）の評価対象音声と図５（ｃ−２）の模範音声とで基本周波数の対数値の変化形状が異なる部分については、表示装置１０８に強調表示をさせる。このような対比表示により、ユーザは、どの音節部分で基本周波数すなわち声の高さがずれているかを容易に把握することが可能となる。
【００２９】
また、韻律特徴比較モジュール１０６は、評価対象音声に対応する音節毎のＲＭＳパワーの対数値（第２の韻律特徴）に関して、図５（ａ−１）の音節毎に、「増加傾向」、「変化しない傾向」「減少傾向」の何れかの変化度合いに対応した、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかを、図５（ｂ−１）に示されるように表示装置１０８に表示させる。韻律特徴比較モジュール１０６は、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎のＲＭＳパワーの対数値（第２の韻律特徴）に関して、図５（ａ−２）の音節毎に、「増加傾向」、「変化しない傾向」「減少傾向」の何れかの変化度合いに対応した、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかを、図５（ｂ−２）に示されるように表示装置１０８に表示させる。この場合、韻律特徴比較モジュール１０６は、図５（ａ−１）の音節“ｆｏｒ”に対応する図５（ｂ−１）の水平の矢印形状又は図５（ａ−１）の音節“ｍａ”に対応する図５（ｂ−１）の右肩上がりの矢印形状のように、図５（ｂ−１）の評価対象音声と図５（ｂ−２）の模範音声とでＲＭＳパワーの対数値が異なる部分については、表示装置１０８に強調表示をさせる。このような対比表示により、ユーザは、どの音節部分でＲＭＳパワーすなわち声の強さがずれているかを容易に把握することが可能となる。
【００３０】
これと共に、韻律特徴比較モジュール１０６は、図３のＳ３１０において、評価対象音声について算出された音節毎の第１又は第２の韻律特徴の代表値の複数の音節間での変化度合いを、模範音声について予め蓄積されている音節毎の第１又は第２の韻律特徴の代表値の複数の音節間での変化度合いと比較し、その比較の評価結果をアプリケーションフロントエンド３００を介して図１の表示装置１０８に表示させ、ユーザに提示する。この場合に、韻律特徴比較モジュール１０６は、評価対象音声に対応する第１又は第２の韻律特徴の代表値を複数の音節間でプロットした折れ線グラフと、模範音声に対応する第１又は第２の韻律特徴の代表値を複数の音節間でプロットした折れ線グラフとを、対比させて表示装置１０８にグラフ表示させる。
【００３１】
図５で具体的に説明すると、韻律特徴比較モジュール１０６は、評価対象音声に対応する音節毎の基本周波数の対数値（第１の韻律特徴）の代表値に関して、図５（ａ−１）の音節毎に、図５（ｆ−１）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。韻律特徴比較モジュール１０６は、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎の基本周波数の対数値（第１の韻律特徴）に関して、図５（ａ−２）の音節毎に、図５（ｆ−２）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。この場合に、韻律特徴比較モジュール１０６は、図５（ａ−１）の音節“ｉｎ”と“ｆｏｒ”にまたがる部分に対応する図５（ｆ−１）の折れ線グラフの傾き又は図５（ａ−１）の音節“ｍａ”と“ｔｉｏｎ”にまたがる部分に対応する図５（ｆ−１）の折れ線グラフの傾きのように、図５（ｆ−１）の評価対象音声と図５（ｆ−２）の模範音声とで基本周波数の対数値の代表値に関して、音節間の変化が異なる部分については、表示装置１０８に強調表示をさせる。このような対比表示により、ユーザは、どの音節間で基本周波数すなわち声の高さの変化がずれているかを容易に把握することが可能となる。
【００３２】
また、韻律特徴比較モジュール１０６は、評価対象音声に対応する音節毎のＲＭＳパワーの対数値（第２の韻律特徴）の代表値に関して、図５（ａ−１）の音節毎に、図５（ｅ−１）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。韻律特徴比較モジュール１０６は、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎のＲＭＳパワーの対数値（第２の韻律特徴）に関して、図５（ａ−２）の音節毎に、図５（ｅ−２）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。この場合に、韻律特徴比較モジュール１０６は、図５（ａ−１ｎ）の音節“ｆｏｒ”と“ｍａ”にまたがる部分に対応する図５（ｅ−１）の折れ線グラフの傾きのように、図５（ｅ−１）の評価対象音声と図５（ｅ−２）の模範音声とでＲＭＳパワーの対数値の代表値に関して、音節間の変化が異なる部分については、表示装置１０８に強調表示をさせる。このような対比表示により、ユーザは、どの音節間でＲＭＳパワーすなわち声の強さの変化がずれているかを容易に把握することが可能となる。
【００３３】
更に、韻律特徴比較モジュール１０６は、図３のＳ３１０において、評価対象音声について算出された音節毎の継続時間長を、模範音声について予め蓄積されている音節毎の継続時間長と比較し、その比較の評価結果を、アプリケーションフロントエンド３００を介して図１の表示装置１０８に表示させ、ユーザに提示する。
【００３４】
図５で具体的に説明すると、韻律特徴比較モジュール１０６は、評価対象音声に関し、図５（ａ−１）の音節毎に、図５（ｄ−１）に示されるように継続時間長を、表示装置１０８に表示させる。韻律特徴比較モジュール１０６は、評価対象音声に関するこの表示に対比させて、模範音声に関し、図５（ａ−２）の音節毎に、図５（ｄ−２）に示されるように継続時間長を、表示装置１０８に表示させる。この場合、韻律特徴比較モジュール１０６は、図５（ａ−１）の音節“ｆｏｒ”に対応する図５（ｄ−１）の継続時間長の数値のように、図５（ｄ−１）の評価対象音声と図５（ｄ−２）の模範音声とで継続時間長が大きく異なる部分については、表示装置１０８に強調表示をさせる。このような対比表示により、ユーザは、どの音節部分で継続時間長すなわち声を伸ばす長さがずれているかを容易に把握することが可能となる。
【００３５】
以上のようにして、本実施形態によれば、基本周波数、パワーなどの韻律情報や継続時間長などについて、各音節内における変化の度合いと、連続する複数の音節にまたがる変化の度合いをそれぞれ比較することが可能となる。
【００３６】
韻律特徴比較モジュール１０６は、上述のような表示による対比比較のほか、評価対象音声の言語の性質やユーザなどに合わせて、下記の手法の中から適当なものを用いて評価処理を実行することができる。
【００３７】
＜韻律特徴の変化形状の比較評価１＞
韻律特徴比較モジュール１０６は、評価対象音声と模範音声とで、音節毎に、その音節に含まれる各フレームの基本周波数の対数値やＲＭＳパワーの対数値の変化形状がそれぞれどれだけ一致しているかを算出する。
【００３８】
＜韻律特徴の変化形状の比較評価２＞
また、音節が複数ある場合には、韻律特徴比較モジュール１０６は、各音節間の変化形状を前後の音節の韻律特徴の代表値から計算・識別し、それらも併せてどれだけ一致しているかを算出する。
【００３９】
＜音声全体を通しての音節毎の韻律特徴の比較評価＞
韻律特徴比較モジュール１０６は、評価対象音声と模範音声とで、音節毎の基本周波数の代表値、ＲＭＳパワーの代表値、又は継続時間長につき、下記数２式に従い、全音節にわたる相関係数γを算出する。ここで、ｘi とｙi （ｉ＝１，２，・・・，ｎ）（ｎは音節数）はそれぞれ、評価対象音声と模範音声に対応する音節毎の韻律特徴（基本周波数の対数値の各代表値、ＲＭＳパワーの対数値の各代表値、又は各継続時間長）である。
【００４０】
【数２】
2017126004.tif 000004
【００４１】
＜一致率や相関係数の表示＞
韻律特徴評価モジュール１０６は、上述の＜韻律特徴の変化形状の比較評価１＞又は＜韻律特徴の変化形状の比較評価２＞の手法により算出された韻律特徴の一致率や、上述の＜音声全体を通しての音節毎の韻律特徴の比較評価＞により算出された相関係数γに対して、例えば、ユーザの習熟度や習熟目標などを考慮して、点数や閾値などを設定してＮ段階評価（１・２・３・４・５やＢＡＤ／ＧＯＯＤ／Ｅｘｃｅｌｌｅｎｔなど）にして、図１の表示装置１０８に表示してユーザに提示する。
【００４２】
図６は、図１の語学学習装置１００をソフトウェア処理として実現できるコンピュータのハードウェア構成例を示す図である。図６に示されるコンピュータは、ＣＰＵ６０１、ＲＯＭ（リードオンリーメモリ）６０２、ＲＡＭ（ランダムアクセスメモリ）６０３、入力装置６０４、出力装置６０５、外部記憶装置６０６、可搬記録媒体６１０が挿入される可搬記録媒体駆動装置６０７、及び通信インターフェース６０８を有し、これらがバス６０９によって相互に接続された構成を有する。同図に示される構成は上記システムを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
【００４３】
ＲＯＭ６０２は、コンピュータを制御する韻律評価プログラムを含む各プログラムを記憶するメモリである。ＲＡＭ６０３は、各プログラムの実行時に、ＲＯＭ６０２に記憶されているプログラム又はデータを一時的に格納するメモリである。
【００４４】
外部記憶装置６０６は、例えばＳＳＤ（ソリッドステートドライブ）記憶装置またはハードディスク記憶装置であり、入力テキストデータ、入力音声データ、接続音声素片データ、または合成音声データ等の保存に用いられる。また、外部記憶装置６０６は、図１の音響モデル１１０、発音データベース１１１、模範音声データ１１２を記憶する。
【００４５】
ＣＰＵ６０１は、各プログラムを、ＲＯＭ６０２からＲＡＭ６０３に読み出して実行することにより、当該コンピュータ全体の制御を行う。
【００４６】
入力装置６０４は、図１の入力装置１０２に対応する。出力装置６０５は、図１の出力装置１０３に対応する。
【００４７】
可搬記録媒体駆動装置６０７は、光ディスクやＳＤＲＡＭ、コンパクトフラッシュ等の可搬記録媒体６１０を収容するもので、外部記憶装置６０６の補助の役割を有する。
【００４８】
通信インターフェース６０８は、例えばＬＡＮ（ローカルエリアネットワーク）又はＷＡＮ（ワイドエリアネットワーク）の通信回線を接続するための装置である。
【００４９】
本実施形態による語学学習装置１００では、ＣＰＵ６０１が、ＲＯＭ６０２に記憶された韻律評価プログラムを、ＲＡＭ６０３をワークメモリとして使用しながら実行することにより、図１の韻律評価部１０１内の音素ラベリングモジュール１０４、韻律特徴取得モジュール１０５、及び韻律特徴比較モジュール１０６の各ブロックの機能を実現する。そのプログラムは、例えば外部記憶装置６０６や可搬記録媒体６１０に記録して配布してもよく、或いはネットワーク接続装置６０８によりネットワークから取得できるようにしてもよい。
【００５０】
図７は、図１の構成に対応する語学学習装置１００の機能を、図６のハードウェア構成例を有するコンピュータのＣＰＵ６０１が、ソフトウェアプログラムの処理により実現する場合の、韻律評価処理の全体処理の例を示すフローチャートである。ＣＰＵ６０１は、ＲＯＭ６０２に記憶された韻律評価処理プログラムを実行することにより、評価対象音声の入力処理（Ｓ７０１）、音素ラベリング処理（Ｓ７０２）、韻律特徴取得処理（Ｓ７０３からＳ７０５）、及び韻律特徴比較処理（Ｓ７０６）を順次実行する。
【００５１】
Ｓ７０１の評価対象音声の入力処理は、図３のＳ３０１の処理シーケンスに対応し、これにより評価対象音声が入力される。
【００５２】
Ｓ７０２の音素ラベリング処理は、図３のＳ３０２からＳ３０５の処理シーケンスに対応し、これにより評価対象音声に対して音素ラベルが付与された音素ラベリング情報が得られる。
【００５３】
Ｓ７０３からＳ７０５の韻律特徴取得処理は、図３のＳ３０６からＳ３０８の処理シーケンスに対応する。韻律特徴取得処理は、基本周波数の取得処理（Ｓ７０３）、ＲＭＳパワーの取得処理（Ｓ７０４）、及び継続時間長の取得処理（Ｓ７０５）を含む。
【００５４】
図８は、図７のＳ７０３の基本周波数の取得処理の詳細例を示すフローチャートである。
【００５５】
図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１はまず、フレーム毎に基本周波数を算出し（Ｓ８０１）、更に基本周波数の対数値を算出する（Ｓ８０２）。
【００５６】
次に、図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１は、図６の外部記憶装置６０６に記憶されている発音データベース１１１（図１参照）中の模範音声に付与されている音素ラベリング情報と音節区切り情報を参照し、その音素ラベリング情報を図７のＳ７０２で得られた音素ラベリング情報中の音素記号ラベル列と照合することによって、評価対象音声の音節情報を決定する（Ｓ８０３）。
【００５７】
次に、図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１は、Ｓ８０３で決定した音節毎に、Ｓ８０１及びＳ８０２で算出した、その音節に含まれる各フレームの基本周波数の対数値に対して回帰分析を実行する（Ｓ８０４）。
【００５８】
続いて、図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１は、Ｓ８０３で決定した音節毎に、Ｓ８０４での回帰分析結果に基づいて、その音節での基本周波数の対数値の変化度合いを、「増加傾向」「変化しない傾向」「減少傾向」の何れかに判別する（Ｓ８０５）。
【００５９】
更に、図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１は、Ｓ８０３で決定した音節毎に、Ｓ８０１及びＳ８０２で算出した、その音節に含まれる各フレームに対応する基本周波数の対数値から代表値を算出する（Ｓ８０６）。代表値の算出方法としては、中央値の選択に方法もしくは刈込み平均の計算による方法などを採用できる。
【００６０】
図９は、図７のＳ７０４のＲＭＳパワーの取得処理の詳細例を示すフローチャートである。
【００６１】
図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１はまず、前述した数１式に基づいて、フレーム毎にＲＭＳパワーを算出し（Ｓ９０１）、更にＲＭＳパワーの対数値を算出する（Ｓ９０２）。
【００６２】
次に、ＣＰＵ６０１は、図８のＳ８０３と同様にして、評価対象音声の音節情報を決定する（Ｓ９０３）。
【００６３】
次に、図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１は、Ｓ９０３で決定した音節毎に、Ｓ９０１及びＳ９０２で算出した、その音節に含まれる各フレームのＲＭＳパワーの対数値に対して回帰分析を実行する（Ｓ９０４）。
【００６４】
続いて、図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１は、Ｓ９０３で決定した音節毎に、Ｓ９０４での回帰分析結果に基づいて、その音節でのＲＭＳパワーの対数値の変化度合いを、「増加傾向」「変化しない傾向」「減少傾向」の何れかに判別する（Ｓ９０５）。
【００６５】
更に、図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１は、Ｓ９０３で決定した音節毎に、Ｓ９０１及びＳ９０２で算出した、その音節に含まれる各フレームに対応するＲＭＳパワーの対数値から代表値を算出する（Ｓ９０６）。代表値の算出方法は、図８のＳ８０６の場合と同様である。
【００６６】
図１０は、図７のＳ７０５の継続時間長の取得処理の詳細例を示すフローチャートである。
【００６７】
図３のＳ３０７に関する図４及び図５による詳細説明で前述したように、ＣＰＵ６０１はまず、評価対象音声について、図７のＳ７０２で得られた音素ラベリング情報に付与されている音素毎の継続時間長を取得する（Ｓ１００１）。
【００６８】
次に、ＣＰＵ６０１は、図８のＳ８０３と同様にして、評価対象音声の音節情報を決定する（Ｓ１００２）。
【００６９】
続いて、ＣＰＵ６０１は、Ｓ１００２で決定した音節毎に、その音節に含まれる各音素の継続時間長の総和を、その音節の継続時間長として算出する（Ｓ１００３）。
【００７０】
更に、ＣＰＵ６０１は、Ｓ１００３で算出した音節毎の継続時間長を、図７のＳ７０１で入力した評価対象音声の全体の時間長で除算することにより、音節毎の継続時間長を正規化する（Ｓ１００４）。
【００７１】
図１１は、図６のＳ７０６の韻律特徴評価処理の詳細例を示すフローチャートである。
【００７２】
図３のＳ３１０に関する図５による詳細説明で前述したように、ＣＰＵ６０１はまず、図７のＳ７０３で得られた評価対象音声に対応する図５の（ａ−１）の音節毎の基本周波数の対数値の変化度合いに対応して、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかの変化形状を、図５（ｃ−１）に示されるように表示装置１０８に表示させる。また、ＣＰＵ６０１は、外部記憶装置６０６に記憶されている模範音声データ１１２を参照することにより、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎の基本周波数の対数値に関し、図５の（ａ−２）の音節毎に、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかを、図５（ｃ−２）に示されるように表示装置１０８に表示させる。この場合に、ＣＰＵ６０１は、図５（ｃ−１）の評価対象音声と図５（ｃ−２）の模範音声とで基本周波数の対数値の変化形状が異なる部分については、表示装置１０８に強調表示をさせる（以上、Ｓ１１０１）。
【００７３】
次に図３のＳ３１０に関する図５による詳細説明で前述したように、ＣＰＵ６０１は、図７のＳ７０４で得られた評価対象音声に対応する図５の（ａ−１）の音節毎のＲＭＳパワーの対数値の変化度合いに対応して、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかの変化形状を、図５（ｂ−１）に示されるように表示装置１０８に表示させる。また、ＣＰＵ６０１は、外部記憶装置６０６に記憶されている模範音声データ１１２を参照することにより、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎のＲＭＳパワーの対数値に関し、図５の（ａ−２）の音節毎に、右肩上がりの矢印形状、水平の矢印形状、又は右肩下がりの矢印形状の何れかを、図５（ｂ−２）に示されるように表示装置１０８に表示させる。この場合に、ＣＰＵ６０１は、図５（ｂ−１）の評価対象音声と図５（ｂ−２）の模範音声とでＲＭＳパワーの対数値の変化形状が異なる部分については、表示装置１０８に強調表示をさせる（以上、Ｓ１１０２）。
【００７４】
次に図３のＳ３１０に関する図５による詳細説明で前述したように、ＣＰＵ６０１は、図７のＳ７０３で得られた評価対象音声に対応する音節毎の基本周波数の対数値の代表値を、図５の（ａ−１）の音節毎に、図５（ｆ−１）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。また、ＣＰＵ６０１は、外部記憶装置６０６に記憶されている模範音声データ１１２を参照することにより、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎の基本周波数の対数値の代表値を、図５（ａ−２）の音節毎に、図５（ｆ−２）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。この場合に、ＣＰＵ６０１は、図５（ｆ−１）の評価対象音声と図５（ｆ−２）の模範音声とで基本周波数の対数値の代表値に関して、音節間の変化が異なる部分については、表示装置１０８に強調表示をさせる（以上、Ｓ１１０３）。
【００７５】
次に図３のＳ３１０に関する図５による詳細説明で前述したように、ＣＰＵ６０１は、図７のＳ７０４で得られた評価対象音声に対応する音節毎のＲＭＳパワーの対数値の代表値を、図５の（ａ−１）の音節毎に、図５（ｅ−１）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。また、ＣＰＵ６０１は、外部記憶装置６０６に記憶されている模範音声データ１１２を参照することにより、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎のＲＭＳパワーの対数値の代表値を、図５（ａ−２）の音節毎に、図５（ｅ−２）に示されるように、四角のマークでプロットをし、かつ複数の音節にわたってプロット間を結ぶ折れ線グラフを、表示装置１０８に表示させる。この場合に、ＣＰＵ６０１は、図５（ｅ−１）の評価対象音声と図５（ｅ−２）の模範音声とでＲＭＳパワーの対数値の代表値に関して、音節間の変化が異なる部分については、表示装置１０８に強調表示をさせる（以上、Ｓ１１０４）。
【００７６】
続いて図３のＳ３１０に関する図５による詳細説明で前述したように、ＣＰＵ６０１は、図７のＳ７０５で得られた評価対象音声に対応する音節毎の正規化された継続時間長を、図５（ａ−１）の音節毎に、図５（ｄ−１）に示されるように、表示装置１０８に数値表示させる。また、ＣＰＵ６０１は、外部記憶装置６０６に記憶されている模範音声データ１１２を参照することにより、評価対象音声に関するこの表示に対比させて、模範音声に対応する音節毎の正規化された継続時間長を、図５（ａ−２）の音節毎に、図５（ｄ−２）に示されるように、表示装置１０８に数値表示させる。この場合、図５（ｄ−１）の評価対象音声と図５（ｄ−２）の模範音声とで継続時間長が大きく異なる部分については、表示装置１０８に強調表示をさせる。
【００７７】
その後、ＣＰＵ６０１は、評価対象音声に音節が複数存在するか否かを判定する（Ｓ１１０６）。
【００７８】
Ｓ１１０６の判定がＮＯならば、ＣＰＵ６０１は、Ｓ１１０９の処理に移行し、前述した＜韻律特徴の変化形状の比較評価１＞の手法により、評価対象音声と模範音声とで、音節毎に、その音節に含まれる各フレームの基本周波数の対数値やＲＭＳパワーの対数値や継続時間長の変化形状の一致率を算出し、その算出結果を、前述した＜一致率や相関係数の表示＞の手法により、図１の表示装置１０８に表示する。
【００７９】
Ｓ１１０６の判定がＹＥＳならば、ＣＰＵ６０１は、図７のＳ７０３で得られた評価対象音声に対応する音節毎のピッチ周波数の対数値の代表値に基づいて、各音節間のピッチ周波数の代表値の変化量を計算する。同様に、ＣＰＵ６０１は、図７のＳ７０４で得られた評価対象音声に対応する音節毎のＲＭＳパワーの対数値の代表値に基づいて、各音節間のＲＭＳパワーの代表値の変化量を計算する。さらに同様に、ＣＰＵ６０１は、図７のＳ７０５で得られた評価対象音声に対応する音節毎の継続時間長に基づいて、各音節間の継続時間長の変化量を計算する（以上、Ｓ１１０７）。
【００８０】
続いて、ＣＰＵ６０１は、Ｓ１１０７で算出された各音節間のピッチ周波数の代表値の変化量に基づいて、各音節間のピッチ周波数の代表値を結ぶ変化形状を識別する。これは、図５（ｆ−１）の折れ線グラフの変化形状に対応する。同様に、ＣＰＵ６０１は、Ｓ１１０７で算出された各音節間のＲＭＳパワーの代表値の変化量に基づいて、各音節間のＲＭＳパワーの代表値を結ぶ変化形状を識別する。これは、図５（ｅ−１）の折れ線グラフの変化形状に対応する。さらに同様に、ＣＰＵ６０１は、Ｓ１１０７で算出された各音節間の継続時間長の変化量に基づいて、各音節間の継続時間長を結ぶ変化形状を識別する（以上、Ｓ１１０８）。
【００８１】
その後、ＣＰＵ６０１は、Ｓ１１０９の処理に移行し、前述した＜韻律特徴の変化形状の比較評価２＞の手法により、評価対象音声と模範音声とで、音節毎に、その音節に含まれる各フレームの基本周波数の対数値やＲＭＳパワーの対数値や継続時間長の変化形状の一致率を算出し、その算出結果を、前述した＜一致率や相関係数の表示＞の手法により、図１の表示装置１０８に表示する。
【００８２】
以上のようにして、本実施形態によれば、韻律情報について、各音節内における変化の度合いと、連続する複数の音節にまたがる変化の度合いをそれぞれ比較することが可能となる。
【００８３】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
入力された評価対象音声に含まれる音節毎の前記韻律特徴の変化度合いを取得する韻律特徴取得処理と、
前記取得された前記音節毎の前記韻律特徴の変化度合いと、前記評価対象音声に対応する模範音声に含まれる前記音節毎の前記韻律特徴の変化度合いとを比較し、前記比較の結果を提示する韻律特徴比較処理と、
を実行する韻律評価部を備える音声評価装置。
（付記２）
前記変化度合いは、前記音節内で前記韻律特徴が、増加傾向、変化しない傾向、及び減少傾向の何れかを示す、付記１記載の音声評価装置。
（付記３）
前記韻律評価部は、前記韻律特徴取得処理において、前記音節毎に含まれる前記韻律特徴量に対して回帰分析を行うことにより、前記変化度合いを取得する処理を実行する、付記２記載の音声評価装置。
（付記４）
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節毎の前記韻律特徴の変化度合いと、前記模範音声に含まれる前記音節毎の前記韻律特徴の変化度合いとを対比させて表示装置に表示させる、付記１乃至３の何れかに記載の音声評価装置。
（付記５）
前記韻律評価部は、前記韻律特徴評価処理において、前記変化度合いが増加傾向、変化しない傾向、及び減少傾向の何れかであるかに応じて、右肩上がりの矢印形状、水平の矢印形状、及び右肩下がりの矢印形状の何れかで前記表示装置に表示させる処理を実行する、付記４記載の音声評価装置。
（付記６）
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節の夫々と、前記模範音声に含まれる前記音節の夫々とを対応付け、それぞれ対応関係にある全ての前記評価対象音声の音節と前記模範音声の音節とにおける前記韻律特徴同士の一致割合を取得して前記表示装置に数値表示させる処理を実行する、付記１乃至３の何れかに記載の音声評価装置。
（付記７）
前記韻律評価部は、
前記韻律特徴取得処理において更に、前記評価対象音声の音節毎に前記韻律特徴の代表値を取得する処理を実行し、
前記韻律特徴比較処理において更に、前記取得された前記音節毎の前記韻律特徴の代表値の複数の前記音節間での変化度合いと、前記模範音声に含まれる前記音節毎の前記韻律特徴の代表値の前記複数の音節間での変化度合いとを比較し、前記比較の比較結果を前記ユーザに提示する処理を実行する、付記１乃至６の何れかに記載の音声評価装置。
（付記８）
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節毎に取得された前記韻律特徴の代表値を、前記複数の音節間でプロットした折れ線グラフと、前記模範音声に含まれる前記音節毎の前記韻律特徴の代表値を前記複数の音節間でプロットした折れ線グラフとを対比させて表示装置に表示させる処理を実行する、付記７記載の音声評価装置。
（付記９）
前記韻律評価部は、前記韻律特徴比較処理において、前記評価対象音声に含まれる前記音節の夫々と前記模範音声に含まれる前記音節の夫々とを対応付け、それぞれ対応関係にある全ての前記評価対象音声の音節と前記模範音声の音節とにおける前記韻律特徴の代表地同士の一致割合いを取得して前記表示装置に数値表示させる処理を実行する、付記７記載の音声評価装置。
（付記１０）
前記韻律評価部は、前記韻律特徴取得処理において、前記評価対象音声を、予め定められた時間長を有するフレーム夫々に分割し、前記分割されたフレーム毎に前記評価対象音声の基本周波数を取得し、前記音節毎に前記音節に含まれるフレーム毎に取得された基本周波数夫々を前記音節の韻律特徴とする処理を実行する、付記１乃至９の何れかに記載の語学学習装置。
（付記１１）
前記韻律評価部は、前記韻律特徴取得処理において、前記評価対象音声について、予め定められた時間長を有するフレーム夫々に分割し、前記分割されたフレーム毎に前記評価対象音声のパワーを取得し、前記音節毎に前記音節に含まれるフレーム毎に取得されたパワー夫々を前記音節の韻律特徴とする処理を実行する、付記１乃至９の何れかに記載の音声評価装置。
（付記１２）
前記韻律評価部は、
前記韻律特徴取得処理において更に、前記評価対象音声に含まれる音素毎に継続時間長を取得し、前記評価対象音声に含まれる前記音節毎に、前記音節に含まれる前記各音素の継続時間長の総和を当該音節の継続時間長として取得する処理を実行し、
前記韻律特徴比較処理において更に、前記取得された前記音節毎の前記継続時間長と、前記模範音声に含まれる前記音節毎の継続時間長とを比較し、前記比較の結果を提示する処理を実行する、
付記１乃至１１の何れかに記載の音声評価装置。
（付記１３）
前記韻律評価部は、前記韻律特徴比較処理において、前記音節毎に、前記評価対象音声の韻律特徴と、前記韻律特徴と対応する前記模範音声の韻律特徴との間で異なる部分が存在する場合は、前記異なる部分を前記表示装置に強調表示する処理を実行する、付記４、５、８、又は１２の何れかに記載の音声評価装置。
（付記１４）
音声評価装置が、
入力された評価対象音声に含まれる音節毎に前記韻律特徴量の変化度合いを取得し、
前記取得された前記音節毎の前記韻律特徴量の変化度合いと、模範音声に含まれる前記音節毎の前記韻律特徴量の変化度合いとを比較し、前記比較の比較結果を前記ユーザに提示する、語学学習方法。
（付記１５）
音声評価装置として用いられるコンピュータに、
入力された評価対象音声に含まれる音節毎に前記韻律特徴の変化度合いを取得するステップと、
前記評価対象音声について取得された前記音節毎の前記韻律特徴の変化度合いと、模範音声に含まれる前記音節毎の前記韻律特徴量の変化度合いとを比較し、前記比較の結果を提示するステップと、
を実行させるプログラム。
【符号の説明】
【００８４】
１００  語学学習装置
１０１  韻律評価部
１０２  入力装置
１０３  出力装置
１０４  音素ラベリングモジュール
１０５  韻律特徴取得モジュール
１０６  韻律特徴評価モジュール
１０７  音声入力装置
１０８  表示装置
１０９  音声出力装置
１１０  音響モデル
１１１  発音データベース
１１２  模範音声データ
３００  アプリケーションフロントエンド
６０１  ＣＰＵ
６０２  ＲＯＭ
６０３  ＲＡＭ
６０４  入力装置
６０５  出力装置
６０６  外部記憶装置
６０７  可搬記録媒体駆動装置
６０８  通信インターフェース
６０９  バス
６１０  可搬記録媒体
【図１】
2017126004.tif 000005
【図２】
2017126004.tif 000006
【図３】
2017126004.tif 000007
【図４】
2017126004.tif 000008
【図５】
2017126004.tif 000009
【図６】
2017126004.tif 000010
【図７】
2017126004.tif 000011
【図８】
2017126004.tif 000012
【図９】
2017126004.tif 000013
【図１０】
2017126004.tif 000014
【図１１】
2017126004.tif 000015