(57)【要約】【課題】音読スピード及び間合いを含めた総合評価を話者に提示することが可能な音読評価装置、音読評価方法、及びプログラムを提供する。【解決手段】音読評価装置は、手本音声波形データに基づいて特定した手本フレーズ区間の時間長と話者音声波形データに基づいて特定した話者フレーズ区間の時間長とを比較して音読スピードの評価をフレーズ毎に行い、且つ、手本音声波形データに基づいて特定した手本インターバル区間の時間長と話者音声波形データに基づいて特定した話者インターバル区間の時間長とを比較して間合い評価を行う。そして、音読評価装置は、少なくとも音読スピードの評価及び間合いの評価に基づいて、文の音読に対する総合評価を行って、音読スピードの評価、間合いの評価、及び総合評価のうち少なくとも何れか１つの評価を画面に表示させる。【選択図】図５
2016157097.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーズを含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記フレーズ毎に特定された第１フレーズ区間であって前記フレーズの開始タイミングから終了タイミングまでの第１フレーズ区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数のフレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第１インターバル区間を記憶する記憶手段と、
話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力手段と、
前記第２音声波形データに基づいて、前記フレーズの開始タイミングから終了タイミングまでの第２フレーズ区間をフレーズ毎に特定し、且つ前記複数の前記フレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第２インターバル区間を特定する特定手段と、
前記記憶手段に記憶された前記第１フレーズ区間の時間長と、前記特定手段により特定された前記第２フレーズ区間の時間長とを比較して前記文を音読するスピードの評価をフレーズ毎に行うスピード評価手段と、
前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定手段により特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価手段と、
少なくとも前記スピード評価手段による前記スピードの評価及び前記間合い評価手段による前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価手段と、
前記スピード評価手段による前記スピードの評価、前記間合い評価手段による前記間合いの評価、及び前記総合評価手段による前記総合評価のうち少なくとも何れか１つの評価を表示させる表示制御手段と、
を備えることを特徴とする音読評価装置。
【請求項２】
前記第１音声波形データに基づいて音高と音量の少なくとも何れか一方の音情報を所定時間間隔で算出する第１算出手段と、
前記第２音声波形データに基づいて音高と音量の少なくとも何れか一方の音情報を所定時間間隔で算出する第２算出手段と、
を更に備え、
前記表示制御手段は、前記第１算出手段により算出された音情報の時系列的な変化を表す第１グラフの全部または一部と、前記第２算出手段により算出された音情報の時系列的な変化を表す第２グラフの全部または一部とを比較可能に一画面に表示させることを特徴とする請求項１に記載の音読評価装置。
【請求項３】
前記表示制御手段は、前記第１グラフの中で少なくとも１つの前記第１フレーズ区間に対応する第１グラフ部分と、前記第２グラフの中で少なくとも１つの前記第２フレーズ区間に対応する第２グラフ部分とを比較可能に一画面に表示させ、表示切り替え指示に応じて、前記一画面に表示されている第１グラフ部分を、前記一画面に表示されていないグラフ部分であって前記第１グラフの中で他の前記第１フレーズ区間に対応するグラフ部分に切り替え表示させ、且つ、前記一画面に表示されている第２グラフ部分を、前記一画面に表示されていないグラフ部分であって前記第２グラフの中で他の前記第２フレーズ区間に対応するグラフ部分に切り替え表示させることを特徴とする請求項２に記載の音読評価装置。
【請求項４】
前記表示制御手段は、前記記憶手段に記憶された前記第１インターバル区間と、前記特定手段により特定された前記第２インターバル区間とを比較可能に前記第１グラフ部分及び前記第２グラフ部分を一画面に表示させることを特徴とする請求項３に記載の音読評価装置。
【請求項５】
前記表示制御手段は、前記第１グラフの中で少なくとも１つの前記第１フレーズ区間に対応する第１グラフ部分と前記第１フレーズ区間に続く前記第１インターバル区間と、前記第２グラフの中で少なくとも１つの前記第２フレーズ区間に対応する第２グラフ部分と前記第２フレーズ区間に続く前記第２インターバル区間とを比較可能に前記第１グラフ部分及び前記第２グラフ部分を一画面に表示させることを特徴とする請求項２に記載の音読評価装置。
【請求項６】
前記表示制御手段は、前記第１フレーズ区間の開始位置と前記第２フレーズ区間の開始位置とを所定方向で一致させて前記第１グラフ部分及び前記第２グラフ部分を一画面に表示させることを特徴とする請求項３乃至５の何れか一項に記載の音読評価装置。
【請求項７】
前記表示制御手段は、１つの前記区間における前記総合評価と、複数の前記区間における前記総合評価とを同一階層の画面に表示させることを特徴とする請求項１乃至６の何れか一項に記載の音読評価装置。
【請求項８】
前記表示制御手段は、１つの前記区間における前記総合評価と、複数の前記区間における前記総合評価とを異なる階層の画面に表示させることを特徴とする請求項１乃至６の何れか一項に記載の音読評価装置。
【請求項９】
前記記憶手段は、前記第１音声波形データを記憶し、
前記特定手段は、前記記憶手段に記憶された前記第１音声波形データに基づいて、前記第１フレーズ区間をフレーズ毎に特定し、且つ、前記第１インターバル区間を特定することを特徴とする請求項１乃至８の何れか一項に記載の音読評価装置。
【請求項１０】
１つ以上のコンピュータにより実行される音読評価方法であって、
複数のフレーズを含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記フレーズ毎に特定された第１フレーズ区間であって前記フレーズの開始タイミングから終了タイミングまでの第１フレーズ区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数のフレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、
話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、
前記第２音声波形データに基づいて、前記フレーズの開始タイミングから終了タイミングまでの第２フレーズ区間をフレーズ毎に特定し、且つ前記複数の前記フレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第２インターバル区間を特定する特定ステップと、
前記記憶手段に記憶された前記第１フレーズ区間の時間長と、前記特定ステップにより特定された前記第２フレーズ区間の時間長とを比較して前記文を音読するスピードの評価をフレーズ毎に行うスピード評価ステップと、
前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、
少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、
前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、
を含むことを特徴とする音読評価方法。
【請求項１１】
複数のフレーズを含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記フレーズ毎に特定された第１フレーズ区間であって前記フレーズの開始タイミングから終了タイミングまでの第１フレーズ区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数のフレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、
話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、
前記第２音声波形データに基づいて、前記フレーズの開始タイミングから終了タイミングまでの第２フレーズ区間をフレーズ毎に特定し、且つ前記複数の前記フレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第２インターバル区間を特定する特定ステップと、
前記記憶手段に記憶された前記第１フレーズ区間の時間長と、前記特定ステップにより特定された前記第２フレーズ区間の時間長とを比較して前記文を音読するスピードの評価をフレーズ毎に行うスピード評価ステップと、
前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、
少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、
前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
複数の文要素を含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記文要素毎に特定された第１文要素区間であって前記文要素の開始タイミングから終了タイミングまでの第１文要素区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数の文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第１インターバル区間を記憶する記憶手段と、
話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力手段と、
前記第２音声波形データに基づいて、前記文要素の開始タイミングから終了タイミングまでの第２文要素区間を文要素毎に特定し、且つ前記複数の前記文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第２インターバル区間を特定する特定手段と、
前記記憶手段に記憶された前記第１文要素区間の時間長と、前記特定手段により特定された前記第２文要素区間の時間長とを比較して前記文を音読するスピードの評価を文要素毎に行うスピード評価手段と、
前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定手段により特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価手段と、
少なくとも前記スピード評価手段による前記スピードの評価及び前記間合い評価手段による前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価手段と、
前記スピード評価手段による前記スピードの評価、前記間合い評価手段による前記間合いの評価、及び前記総合評価手段による前記総合評価のうち少なくとも何れか１つの評価を表示させる表示制御手段と、
を備えることを特徴とする音読評価装置。
【請求項１３】
１つ以上のコンピュータにより実行される音読評価方法であって、
複数の文要素を含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記文要素毎に特定された第１文要素区間であって前記文要素の開始タイミングから終了タイミングまでの第１文要素区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数の文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、
話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、
前記第２音声波形データに基づいて、前記文要素の開始タイミングから終了タイミングまでの第２文要素区間を文要素毎に特定し、且つ前記複数の前記文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第２インターバル区間を特定する特定ステップと、
前記記憶手段に記憶された前記第１文要素区間の時間長と、前記特定ステップにより特定された前記第２文要素区間の時間長とを比較して前記文を音読するスピードの評価を文要素毎に行うスピード評価ステップと、
前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、
少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、
前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、
を含むことを特徴とする音読評価方法。
【請求項１４】
複数の文要素を含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記文要素毎に特定された第１文要素区間であって前記文要素の開始タイミングから終了タイミングまでの第１文要素区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数の文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、
話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、
前記第２音声波形データに基づいて、前記文要素の開始タイミングから終了タイミングまでの第２文要素区間を文要素毎に特定し、且つ前記複数の前記文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第２インターバル区間を特定する特定ステップと、
前記記憶手段に記憶された前記第１文要素区間の時間長と、前記特定ステップにより特定された前記第２文要素区間の時間長とを比較して前記文を音読するスピードの評価を文要素毎に行うスピード評価ステップと、
前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、
少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、
前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者が文を音読したときに発した音声に基づいて、文の音読に対する評価を行うシステム等の技術分野に関する。
【背景技術】
【０００２】
近年、語学学習等の支援を目的とした様々なシステムが提案されている。これらのシステムでは、主として単語や文章単位でのピッチ（抑揚）や滑舌に主眼を置いて学習の支援が行われる。例えば、特許文献１に開示された技術では、単語毎に模範音声のピッチと、学習者の音声のピッチとを一緒に表示することで、学習者の音声と模範音声と異なる点を容易に知ることができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１３９８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、アナウンスや朗読等の学習に対しては、抑揚や滑舌だけでなく話す（音読）“スピード”や“間（間合い）”の取り方が重要であるが、従来技術では、それらの要素は評価されるようになっていない。
【０００５】
本発明は、以上の点に鑑みてなされたものであり、音読スピード及び間合いを含めた総合評価を話者に提示することが可能な音読評価装置、音読評価方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、複数のフレーズを含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記フレーズ毎に特定された第１フレーズ区間であって前記フレーズの開始タイミングから終了タイミングまでの第１フレーズ区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数のフレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第１インターバル区間を記憶する記憶手段と、話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力手段と、前記第２音声波形データに基づいて、前記フレーズの開始タイミングから終了タイミングまでの第２フレーズ区間をフレーズ毎に特定し、且つ前記複数の前記フレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第２インターバル区間を特定する特定手段と、前記記憶手段に記憶された前記第１フレーズ区間の時間長と、前記特定手段により特定された前記第２フレーズ区間の時間長とを比較して前記文を音読するスピードの評価をフレーズ毎に行うスピード評価手段と、前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定手段により特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価手段と、少なくとも前記スピード評価手段による前記スピードの評価及び前記間合い評価手段による前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価手段と、前記スピード評価手段による前記スピードの評価、前記間合い評価手段による前記間合いの評価、及び前記総合評価手段による前記総合評価のうち少なくとも何れか１つの評価を表示させる表示制御手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の音読評価装置において、前記第１音声波形データに基づいて音高と音量の少なくとも何れか一方の音情報を所定時間間隔で算出する第１算出手段と、前記第２音声波形データに基づいて音高と音量の少なくとも何れか一方の音情報を所定時間間隔で算出する第２算出手段と、を更に備え、前記表示制御手段は、前記第１算出手段により算出された音情報の時系列的な変化を表す第１グラフの全部または一部と、前記第２算出手段により算出された音情報の時系列的な変化を表す第２グラフの全部または一部とを比較可能に一画面に表示させることを特徴とする。
【０００８】
請求項３に記載の発明は、請求項２に記載の音読評価装置において、前記表示制御手段は、前記第１グラフの中で少なくとも１つの前記第１フレーズ区間に対応する第１グラフ部分と、前記第２グラフの中で少なくとも１つの前記第２フレーズ区間に対応する第２グラフ部分とを比較可能に一画面に表示させ、表示切り替え指示に応じて、前記一画面に表示されている第１グラフ部分を、前記一画面に表示されていないグラフ部分であって前記第１グラフの中で他の前記第１フレーズ区間に対応するグラフ部分に切り替え表示させ、且つ、前記一画面に表示されている第２グラフ部分を、前記一画面に表示されていないグラフ部分であって前記第２グラフの中で他の前記第２フレーズ区間に対応するグラフ部分に切り替え表示させることを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の音読評価装置において、前記表示制御手段は、前記記憶手段に記憶された前記第１インターバル区間と、前記特定手段により特定された前記第２インターバル区間とを比較可能に前記第１グラフ部分及び前記第２グラフ部分を一画面に表示させることを特徴とする。
【００１０】
請求項５に記載の発明は、請求項２に記載の音読評価装置において、前記表示制御手段は、前記第１グラフの中で少なくとも１つの前記第１フレーズ区間に対応する第１グラフ部分と前記第１フレーズ区間に続く前記第１インターバル区間と、前記第２グラフの中で少なくとも１つの前記第２フレーズ区間に対応する第２グラフ部分と前記第２フレーズ区間に続く前記第２インターバル区間とを比較可能に前記第１グラフ部分及び前記第２グラフ部分を一画面に表示させることを特徴とする。
【００１１】
請求項６に記載の発明は、請求項３乃至５の何れか一項に記載の音読評価装置において、前記表示制御手段は、前記第１フレーズ区間の開始位置と前記第２フレーズ区間の開始位置とを所定方向で一致させて前記第１グラフ部分及び前記第２グラフ部分を一画面に表示させることを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の音読評価装置において、前記表示制御手段は、１つの前記区間における前記総合評価と、複数の前記区間における前記総合評価とを同一階層の画面に表示させることを特徴とする。
【００１３】
請求項８に記載の発明は、請求項１乃至６の何れか一項に記載の音読評価装置において、前記表示制御手段は、１つの前記区間における前記総合評価と、複数の前記区間における前記総合評価とを異なる階層の画面に表示させることを特徴とする。
【００１４】
請求項９に記載の発明は、請求項１乃至８の何れか一項に記載の音読評価装置において、前記記憶手段は、前記第１音声波形データを記憶し、前記特定手段は、前記記憶手段に記憶された前記第１音声波形データに基づいて、前記第１フレーズ区間をフレーズ毎に特定し、且つ、前記第１インターバル区間を特定することを特徴とする。
【００１５】
請求項１０に記載の発明は、１つ以上のコンピュータにより実行される音読評価方法であって、複数のフレーズを含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記フレーズ毎に特定された第１フレーズ区間であって前記フレーズの開始タイミングから終了タイミングまでの第１フレーズ区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数のフレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、前記第２音声波形データに基づいて、前記フレーズの開始タイミングから終了タイミングまでの第２フレーズ区間をフレーズ毎に特定し、且つ前記複数の前記フレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第２インターバル区間を特定する特定ステップと、前記記憶手段に記憶された前記第１フレーズ区間の時間長と、前記特定ステップにより特定された前記第２フレーズ区間の時間長とを比較して前記文を音読するスピードの評価をフレーズ毎に行うスピード評価ステップと、前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、を含むことを特徴とする。
【００１６】
請求項１１に記載の発明は、複数のフレーズを含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記フレーズ毎に特定された第１フレーズ区間であって前記フレーズの開始タイミングから終了タイミングまでの第１フレーズ区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数のフレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、前記第２音声波形データに基づいて、前記フレーズの開始タイミングから終了タイミングまでの第２フレーズ区間をフレーズ毎に特定し、且つ前記複数の前記フレーズのうち何れかの前記フレーズの終了タイミングから次の前記フレーズの開始タイミングまでの第２インターバル区間を特定する特定ステップと、前記記憶手段に記憶された前記第１フレーズ区間の時間長と、前記特定ステップにより特定された前記第２フレーズ区間の時間長とを比較して前記文を音読するスピードの評価をフレーズ毎に行うスピード評価ステップと、前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、をコンピュータに実行させることを特徴とする。
【００１７】
請求項１２に記載の発明は、複数の文要素を含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記文要素毎に特定された第１文要素区間であって前記文要素の開始タイミングから終了タイミングまでの第１文要素区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数の文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第１インターバル区間を記憶する記憶手段と、話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力手段と、前記第２音声波形データに基づいて、前記文要素の開始タイミングから終了タイミングまでの第２文要素区間を文要素毎に特定し、且つ前記複数の前記文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第２インターバル区間を特定する特定手段と、前記記憶手段に記憶された前記第１文要素区間の時間長と、前記特定手段により特定された前記第２文要素区間の時間長とを比較して前記文を音読するスピードの評価を文要素毎に行うスピード評価手段と、前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定手段により特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価手段と、少なくとも前記スピード評価手段による前記スピードの評価及び前記間合い評価手段による前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価手段と、前記スピード評価手段による前記スピードの評価、前記間合い評価手段による前記間合いの評価、及び前記総合評価手段による前記総合評価のうち少なくとも何れか１つの評価を表示させる表示制御手段と、を備えることを特徴とする。
【００１８】
請求項１３に記載の発明は、１つ以上のコンピュータにより実行される音読評価方法であって、複数の文要素を含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記文要素毎に特定された第１文要素区間であって前記文要素の開始タイミングから終了タイミングまでの第１文要素区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数の文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、前記第２音声波形データに基づいて、前記文要素の開始タイミングから終了タイミングまでの第２文要素区間を文要素毎に特定し、且つ前記複数の前記文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第２インターバル区間を特定する特定ステップと、前記記憶手段に記憶された前記第１文要素区間の時間長と、前記特定ステップにより特定された前記第２文要素区間の時間長とを比較して前記文を音読するスピードの評価を文要素毎に行うスピード評価ステップと、前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、を含むことを特徴とする。
【００１９】
請求項１４に記載の発明は、複数の文要素を含む文を音読するときの手本となる音声の波形を示す第１音声波形データに基づいて前記文要素毎に特定された第１文要素区間であって前記文要素の開始タイミングから終了タイミングまでの第１文要素区間と、前記第１音声波形データに基づいて特定された第１インターバル区間であって前記複数の文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第１インターバル区間を記憶手段に記憶する記憶ステップと、話者が前記文を音読したときに発した音声の波形を示す第２音声波形データを入力する入力ステップと、前記第２音声波形データに基づいて、前記文要素の開始タイミングから終了タイミングまでの第２文要素区間を文要素毎に特定し、且つ前記複数の前記文要素のうち何れかの前記文要素の終了タイミングから次の前記文要素の開始タイミングまでの第２インターバル区間を特定する特定ステップと、前記記憶手段に記憶された前記第１文要素区間の時間長と、前記特定ステップにより特定された前記第２文要素区間の時間長とを比較して前記文を音読するスピードの評価を文要素毎に行うスピード評価ステップと、前記記憶手段に記憶された前記第１インターバル区間の時間長と、前記特定ステップにより特定された前記第２インターバル区間の時間長とを比較して前記文を音読したときの間合いの評価を行う間合い評価ステップと、少なくとも前記スピード評価ステップによる前記スピードの評価及び前記間合い評価ステップによる前記間合いの評価に基づいて、前記文の音読に対する総合評価を行う総合評価ステップと、前記スピード評価ステップによる前記スピードの評価、前記間合い評価ステップによる前記間合いの評価、及び前記総合評価ステップによる前記総合評価のうち少なくとも何れか１つの評価を表示させる制御ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２０】
請求項１，９，１０，１１，１２，１３，１４に記載の発明によれば、語学学習、アナウンスや朗読などの発声発話訓練等を行う話者に対して、抑揚や滑舌などだけでなく、音読スピードの評価、間合いの評価、及びこれら評価を考慮した総合評価のうち少なくとも何れか１つの評価を提示することができ、その結果、音読スピードや間の取り方が適切かどうかを話者に自覚させ効果的な練習や訓練をさせることが可能となる。
【００２１】
請求項２に記載の発明によれば、音読スピードや間の取り方に加えて音高や音量が適切かどうかを話者に自覚させ効果的な練習や訓練をさせることができる。
【００２２】
請求項３に記載の発明によれば、第１グラフと第２グラフとが時間軸方向に一画面に収まらない場合であっても切り替え表示させることで、音高や音量が適切かどうかを長い期間に亘り話者に把握させることができる。
【００２３】
請求項４、５に記載の発明によれば、第１グラフと第２グラフとによって、間の取り方が適切かどうかを話者に一見して把握させることができる。
【００２４】
請求項６に記載の発明によれば、音読スピードが適切かどうかを話者に一見して把握させることができる。
【００２５】
請求項７に記載の発明によれば、１つの区間における総合評価と、複数の区間における総合評価とを話者に同時に把握させることができる。
【００２６】
請求項８に記載の発明によれば、１つの区間における総合評価と、複数の区間における総合評価とを話者に別々に分かり易く把握させることができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態に係る音読評価装置Ｓの概要構成例を示す図である。
【図２】手本フレーズ区間Ｆ11〜Ｆ18及び手本インターバル区間I11〜I17と、話者フレーズ区間Ｆ21〜Ｆ26と話者インターバル区間I21〜I25との一例を示す図である。
【図３】（Ａ）は、手本フレーズ区間の時間長と、話者フレーズ区間の時間長との比較例を示す図であり、（Ｂ）は、手本インターバル区間の時間長と、話者インターバル区間の時間長との比較例を示す図である。
【図４】音読評価装置Ｓにおける制御部３の評価表示処理を示すフローチャートである。
【図５】区間スクロール画面の一例を示す図である。
【図６】区間選択画面の一例を示す図である。
【図７】選択されたフレーズ区間の詳細を表示する画面の一例を示す図である。
【図８】選択されたインターバル区間の詳細を表示する画面の一例を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の第１の実施形態を図面に基づいて説明する。
【００２９】
［１.音読評価装置Ｓの構成及び機能］
始めに、図１を参照して、本発明の第１の実施形態に係る音読評価装置Ｓの構成及び機能について説明する。図１は、本実施形態に係る音読評価装置Ｓの概要構成例を示す図である。なお、音読評価装置の一例として、パーソナルコンピュータや、携帯型情報端末（スマートフォン等）などが挙げられる。図１に示すように、音読評価装置Ｓは、通信部１、記憶部２、制御部３、操作部４、及びインターフェース（ＩＦ）部５等を備えて構成され、これらの構成要素はバス６に接続されている。操作部４は、ユーザからの操作指示を受け付け、受け付けた操作に応じた信号を制御部３へ出力する。インターフェース部５には、マイクＭ、及びディスプレイＤ等が接続される。マイクＭは、語学学習や、アナウンス、朗読などの発声発話訓練等を行う話者が、複数のフレーズを含む文（文章）を音読したときに発した音声を集音する。ここで、フレーズとは、文章を読むときに一息で読む単位であり、文末を示す句点「。」や「．」までのこともあれば、読点「、」や「，」までのこともある。フレーズは、音節という場合もある。音読対象となる文の例として、例えば、語学学習またはアナウンス訓練や朗読訓練などで用いられる文章、または歌唱に用いられる歌詞文などが挙げられる。ディスプレイＤは、制御部３からの表示指令にしたがって、話者に提供する音声情報を画面に表示する。音声情報とは、文の音読に対する評価や、音高（ピッチまたは抑揚ともいう)と音量の少なくとも何れか一方の音情報の時系列的な変化を表すグラフなどの情報である。また、評価には、音読スピードの評価、間合いの評価、音高の評価、音量の評価、滑舌の評価、総合評価などがある。ここで、音読スピード、間合い、音高、音量、及び滑舌を評価項目という。なお、マイクＭ、及びディスプレイＤは、音読評価装置Ｓと一体型であってもよいし、別体であってもよい。
【００３０】
通信部１は、有線または無線によりネットワーク（図示せず）に接続してサーバ等と通信を行う。記憶部２は、例えばハードディスクドライブ等からなり、ＯＳ（オペレーティングシステム）、及び評価表示処理プログラム（本発明のプログラムの一例）等を記憶する。評価表示処理プログラムは、コンピュータとしての制御部３に、後述する評価表示処理を実行させるプログラムである。評価表示処理プログラムは、アプリケーションとして、所定のサーバからダウンロードされてもよいし、ＣＤ、ＤＶＤ等の記録媒体に記憶されて提供されてもよい。また、記憶部２は、複数のフレーズを含む文のテキストデータと、この文を音読するときの手本となる音声の波形を示す第１音声波形データ（以下、「手本音声波形データ」という）を記憶する。ここで、テキストデータには、例えば、各文字の発音タイミング（例えば、発音開始からの経過時間）が文字毎に対応付けられて含まれる。なお、手本音声波形データは、所定の音声ファイル形式で記憶される。
【００３１】
制御部３は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read
Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部３は、評価表示処理プログラムにより、音声処理部３１、音読評価部３２、及び表示処理部３３として機能する。音声処理部３１は、本発明における入力手段、特定手段、第１算出手段、及び第２算出手段の一例である。音読評価部３２は、スピード評価手段、間合い評価手段、及び総合評価手段の一例である。表示処理部３３は、本発明における表示制御手段の一例である。記憶部２または制御部３におけるＲＡＭは、本発明における記憶手段の一例である。
【００３２】
音声処理部３１は、所定の音声ファイル形式で記憶された手本音声波形データを記憶部２から入力する。また、音声処理部３１は、話者が上記文を音読したときに発した音声であってマイクＭにより集音された音声の波形を示す第２音声波形データ（以下、「話者音声波形データ」という）を入力する。手本音声波形データ及び話者音声波形データを総称して音声波形データという。なお、音声波形データは、離散化された時系列の音圧波形データであり、例えば、サンプリングレート44.1kHz、量子化16bit、及びモノラルの波形データである。なお、音圧とは、音波による空気の圧力の変化分（Pa）をいう。本実施形態では、音圧として、瞬時音圧（Pa）の二乗平均平方根（RMS）である実効音圧（Pa）の大きさを計算上扱い易い数値で表した音圧レベル(dB)を適用する。音圧レベル(dB)は、広義には音量ともいう。
【００３３】
音声処理部３１は、音声波形データから例えば所定時間（例えば、10ms）毎に切り出したデータから音圧レベル(dB)を音圧として所定時間毎に（所定時間間隔で）算出する。また、音声処理部３１は、音声波形データから例えば所定時間毎に切り出したデータから基本周波数（Hz）を算出し、算出した基本周波数（Hz）を音高として所定時間毎に算出する。なお、音高の算出方法には、例えば、ゼロクロス法やベクトル自己相関等の公知の手法を適用できる。また、音声処理部３１は、滑舌の評価に用いる声道特性を示す特徴量（音響特性）をフレーズ毎に算出する。例えば、音声処理部３１は、音声波形データをフレーズ（フレーズ区間）毎に切り出し、切り出したフレーズのデータを窓掛け（フレームともいう）で区切って（例えば、25ms毎にフレーム化）、フーリエ解析（ＦＦＴ）することで振幅スペクトルを求める。そして、音声処理部３１は、求めた振幅スペクトルにメルフィルタバンクをかけ、メルフィルタバンクの出力を対数化した値を離散コサイン変換（ＤＣＴ）することでＭＦＣＣ（メル周波数ケプストラム係数）を、声道特性を示す特徴量としてフレーズ毎に算出する。
【００３４】
また、音声処理部３１は、手本音声波形データに基づいて、各フレーズの開始タイミングから終了タイミングまでの第１フレーズ区間（以下、「手本フレーズ区間」という）をフレーズ毎に特定し、且つ複数のフレーズのうち何れかのフレーズの終了タイミングから次のフレーズの開始タイミングまでの第１インターバル区間（以下、「手本インターバル区間」という）を特定する。こうして特定された手本フレーズ区間及び手本インターバル区間のデータは、例えば、手本音声波形データの音声ファイルに対応付けられて記憶部２に記憶される。なお、フレーズ区間及びインターバル区間は、例えば波形の開始時点からの時間の範囲（例えば、01:00-03:00）で表される。また、音声処理部３１は、話者音声波形データに基づいて、各フレーズの開始タイミングから終了タイミングまでの第２フレーズ区間（以下、「話者フレーズ区間」という）をフレーズ毎に特定し、且つ複数のフレーズのうち何れかのフレーズの終了タイミングから次のフレーズの開始タイミングまでの第２インターバル区間（以下、「話者インターバル区間」という）を特定する。
【００３５】
ここで、開始タイミングと終了タイミングは、それぞれ、音声の波形から認識されてもよいし、上述したように算出された音圧レベル(dB)から認識されてもよい。例えば、音声処理部３１は、音声の波形の振幅幅が所定値以上になった時点を開始タイミングとして認識する。或いは、音声処理部３１は、音圧レベル(dB)が所定値以上になった時点を開始タイミングとして認識する。また、例えば、音声処理部３１は、音声の波形の振幅幅が所定値未満になった時点を終了タイミングとして認識する。或いは、音声処理部３１は、音圧レベル(dB)が所定値未満になった時点を終了タイミングとして認識する。
【００３６】
図２は、手本フレーズ区間Ｆ11〜Ｆ18及び手本インターバル区間I11〜I17と、話者フレーズ区間Ｆ21〜Ｆ26と話者インターバル区間I21〜I25との一例を示す図である。なお、図２は、所定の音圧レベルを閾値として、開始タイミングと終了タイミングを決めている例である。図２の例では、横軸（Ｘ）は時間を、縦軸（Ｙ）は音圧をそれぞれ示しており、音圧の時系列的な変化において、手本フレーズ区間Ｆ11〜Ｆ18及び手本インターバル区間I11〜I17と、話者フレーズ区間Ｆ21〜Ｆ26と話者インターバル区間I21〜I25とが特定される。特定された手本フレーズ区間Ｆ11〜Ｆ18及び手本インターバル区間I11〜I17には、それぞれ、例えば先頭から順番にシリアル番号が付与される。同様に、話者フレーズ区間Ｆ21〜Ｆ26と話者インターバル区間I21〜I25には、それぞれ、例えば先頭から順番にシリアル番号が付与される。これにより、手本フレーズ区間（例えば、Ｆ11）に対応する話者フレーズ区間（例えば、Ｆ21）を特定でき、また、手本インターバル区間（例えば、Ｉ11）に対応する話者インターバル区間（例えば、Ｉ21）を特定できる。
【００３７】
次に、音読評価部３２は、手本フレーズ区間の時間長（時間的長さ）と、話者フレーズ区間の時間長とを比較して文を音読するスピード（音読スピード）の評価をフレーズ（つまり、フレーズ区間）毎に行う。図３（Ａ）は、手本フレーズ区間の時間長と、話者フレーズ区間の時間長との比較例を示す図である。図３（Ａ）の例では、手本フレーズ区間Ｆ11の時間長と、手本フレーズ区間Ｆ11に対応する（例えばシリアル番号が一致する）話者フレーズ区間Ｆ21の時間長が比較され、手本フレーズ区間Ｆ12の時間長と、手本フレーズ区間Ｆ12に対応する話者フレーズ区間Ｆ22の時間長が比較され、手本フレーズ区間Ｆ13の時間長と、手本フレーズ区間Ｆ13に対応する話者フレーズ区間Ｆ23の時間長が比較されるようになっている。なお、手本フレーズ区間Ｆ13の後に続くフレーズ区間、及び話者フレーズ区間Ｆ23の後に続くフレーズ区間についても同様に比較される。音読評価部３２は、例えば、時間長の比較結果として、フレーズ（フレーズ区間）毎に、手本フレーズ区間の時間長と話者フレーズ区間の時間長との時間差を算出し、この時間差の絶対値に基づいて評価点を算出することで音読スピードの評価を行う。例えば、時間差の絶対値が０に近いほど、評価が高く（つまり、評価点が高く）なるように算出される。つまり、話者の音読スピードが、手本の音読スピードよりも速いまたは遅いほど時間差の絶対値が大きくなるので評価は低くなる。一方、話者の音読スピードが手本の音読スピードに近づくほど時間差の絶対値が小さくなるので評価は高くなる。このようにしてフレーズ毎に音読スピードの評価がなされる（つまり、評価点が算出される）。また、音読評価部３２は、フレーズ区間毎の音読スピードの評価に基づいて全てのフレーズ区間における音読スピードの評価を行う。全てのフレーズ区間における音読スピードの評価では、例えば、フレーズ区間毎に算出された音読スピードの評価点の平均値が全てのフレーズ区間における音読スピードのトータル評価点として算出される。
【００３８】
また、音読評価部３２は、手本インターバル区間の時間長と、話者インターバル区間の時間長とを比較して文を音読したときの間合いの評価を行う。図３（Ｂ）は、手本インターバル区間の時間長と、話者インターバル区間の時間長との比較例を示す図である。図３（Ｂ）の例では、手本インターバル区間Ｉ11の時間長と、手本インターバル区間Ｉ11に対応する（例えばシリアル番号が一致する）話者インターバル区間Ｉ21の時間長が比較され、手本インターバル区間Ｉ12の時間長と、手本インターバル区間Ｉ12に対応する話者インターバル区間Ｉ22の時間長が比較され、手本インターバル区間Ｉ13の時間長と、手本インターバル区間Ｉ13に対応する話者インターバル区間Ｉ23の時間長が比較されるようになっている。なお、手本インターバル区間Ｉ13の後に続く手本インターバル区間、及び話者インターバル区間Ｉ23の後に続く話者インターバル区間についても同様に比較される。音読評価部３２は、例えば、時間長の比較結果として、手本インターバル区間の時間長と話者インターバル区間の時間長との時間差を算出し、この時間差の絶対値に基づいて評価点を算出することで間合いの評価を行う。この評価点は、音読スピードの評価と同様、例えば、時間差の絶対値が０に近いほど、評価が高く（つまり、評価点が高く）なるように算出される。つまり、話者の間の取り方が、手本の間の取り方よりも長いまたは短いほど時間差の絶対値が大きくなるので評価は低くなる。一方、話者の間の取り方が手本の間の取り方に近づくほど時間差の絶対値が小さくなるので評価は高くなる。このようにしてインターバル区間毎に間合いの評価がなされる（つまり、評価点が算出される）。また、音読評価部３２は、インターバル区間毎の間合いの評価に基づいて全てのインターバル区間における間合いの評価を行う。全てのインターバル区間における間合いの評価では、例えば、インターバル区間毎に算出された間合いの評価点の平均値が全てのインターバル区間における間合いのトータル評価点として算出される。
【００３９】
また、音読評価部３２は、手本フレーズ区間の音高と、手本フレーズ区間に対応する話者フレーズ区間の音高とを比較して、音高の評価をフレーズ毎に行う。音読評価部３２は、例えば、音高の比較結果として、手本フレーズ区間の音高と話者フレーズ区間の音高との差を算出し、この差に基づいて評価点を算出することで音高の評価を行う。この評価点は、例えば、差が０に近いほど、評価が高く（つまり、評価点が高く）なるように算出される。つまり、話者の音高が手本の音高よりも高いまたは低いほど差が大きくなるので評価は低くなる。一方、話者の音高が手本の音高に近づくほど差が小さくなるので評価は高くなる。このようにしてフレーズ区間毎に音高の評価がなされる（つまり、評価点が算出される）。ところで、各フレーズ区間において、所定時間毎に算出された音高を比較する場合、音高の評価は、手本フレーズ区間と話者フレーズ区間との開始の時間位置を合わせて、フレーズ区間（フレーズ単位）を伸縮させてフレーズ区間の時間長を合わせて行われるとよい。このとき、単純に伸縮させて長さを合わせてもよいし、ＤＰマッチング等の手法を使い、フレーズ区間の中で動的に評価する位置を合わせるようにしても良い。ただし、比較される音高は、各フレーズ区間において所定時間毎に算出された音高の平均値としてもよく、この場合、フレーズ区間の開始の時間位置やフレーズ区間の時間長を合わせなくてもよい。また、音読評価部３２は、フレーズ区間毎の音高の評価に基づいて全てのフレーズ区間における音高の評価を行う。全てのフレーズ区間における音高の評価では、例えば、フレーズ区間毎に算出された音高の評価点の平均値が全てのフレーズ区間における音高のトータル評価点として算出される。
【００４０】
また、音読評価部３２は、手本フレーズ区間の音量と、手本フレーズ区間に対応する話者フレーズ区間の音量とを比較して、音量の評価をフレーズ毎に行う。比較される音量には、例えば上述した音圧レベル(dB)が用いられる。音読評価部３２は、例えば、音量の比較結果として、手本フレーズ区間の音量と話者フレーズ区間の音量との差を算出し、この差に基づいて評価点を算出することで音量の評価を行う。この評価点は、例えば、差が０に近いほど、評価が高く（つまり、評価点が高く）なるように算出される。つまり、話者の音量が手本の音量よりも大きいまたは小さいほど差が大きくなるので評価は低くなる。一方、話者の音量が手本の音量に近づくほど差が小さくなるので評価は高くなる。このようにしてフレーズ区間毎に音量の評価がなされる（つまり、評価点が算出される）。また、音高の場合と同様、音量の評価は、手本フレーズ区間と話者フレーズ区間との開始の時間位置を合わせて、フレーズ区間（フレーズ単位）を伸縮させてフレーズ区間の時間長を合わせて行われるとよい。或いは、比較される音量は、各フレーズ区間において所定時間毎に算出された音量の平均値としてもよい。また、音読評価部３２は、フレーズ区間毎の音量の評価に基づいて全てのフレーズ区間における音量の評価を行う。全てのフレーズ区間における音量の評価では、例えば、フレーズ区間毎に算出された音量の評価点の平均値が全てのフレーズ区間における音量のトータル評価点として算出される。
【００４１】
また、音読評価部３２は、手本フレーズ区間の滑舌と、手本フレーズ区間に対応する話者フレーズ区間の滑舌とを比較して、滑舌の評価をフレーズ毎に行う。音読評価部３２は、滑舌の評価では、例えば、フレーズ毎に算出された声道特性を示す特徴量（ＭＦＣＣ）が用いられる。音読評価部３２は、例えば、滑舌の比較結果として、手本フレーズ区間の特徴量と話者フレーズ区間の特徴量との類似度を算出し、この類似度に基づいて評価点を算出することで滑舌の評価を行う。この評価点は、例えば、類似度が高いほど、評価が高く（つまり、評価点が高く）なるように算出される。このようにしてフレーズ区間毎に滑舌の評価がなされる（つまり、評価点が算出される）。また、音読評価部３２は、フレーズ区間毎の滑舌の評価に基づいて全てのフレーズ区間における滑舌の評価を行う。全てのフレーズ区間における滑舌の評価では、例えば、フレーズ区間毎に算出された滑舌の評価点の平均値が全てのフレーズ区間における滑舌のトータル評価点として算出される。
【００４２】
そして、音読評価部３２は、例えば、少なくとも音読スピードの評価及び間合いの評価に基づいて、文の音読に対する総合評価を行う。この総合評価では、例えば、１つのフレーズ区間における音読スピードの評価点と、このフレーズ区間の前と後の少なくとも何れか一方のインターバル区間における間合いの評価点との平均値（或いは合計値でもよい）が１区間の総合評価点として算出される。或いは、音読評価部３２は、例えば、１つのフレーズ区間における音読スピードの評価と、このフレーズ区間の前と後の少なくとも何れか一方のインターバル区間における間合いの評価と、このフレーズ区間における音高の評価と、このフレーズ区間における音量の評価と、このフレーズ区間における滑舌の評価との少なくとも何れか２つの評価に基づいて、文の音読に対する１区間の総合評価を行ってもよい。この総合評価では、例えば、少なくとも何れか２つの評価で算出された評価点の平均値（或いは合計値でもよい）が１区間の総合評価点として算出される。
【００４３】
また、音読評価部３２は、例えば、少なくとも、全てのフレーズ区間における音読スピードの評価及び全てのインターバル区間における間合いの評価に基づいて、文の音読に対する総合評価を行う。この総合評価では、例えば、全てのフレーズ区間における音読スピードのトータル評価点と全てのインターバル区間における間合いのトータル評価点との平均値（或いは合計値でもよい）が全区間の総合評価点として算出される。或いは、音読評価部３２は、例えば、全てのフレーズ区間における音読スピードの評価と、全てのインターバル区間における間合いの評価と、全てのフレーズ区間における音高の評価と、全てのフレーズ区間における音量の評価と、全てのフレーズ区間における滑舌の評価との少なくとも何れか２つの評価に基づいて、文の音読に対する総合評価を行ってもよい。この総合評価では、例えば、少なくとも何れか２つの評価で算出されたトータル評価点の平均値（或いは合計値でもよい）が全区間の総合評価点として算出される。
【００４４】
表示処理部３３は、音読スピードの評価、間合いの評価、及び総合評価のうち少なくとも何れか１つの評価をディスプレイＤの画面に表示させる。これにより、音読スピードや間の取り方が適切かどうかを話者に自覚させ効果的な練習や訓練をさせることができる。例えば、音読スピードの評価として、フレーズ区間毎の音読スピードの評価点を表示させてもよいし、全てのフレーズ区間における音読スピードのトータル評価点を表示させてもよい。また、間合いの評価として、インターバル区間毎の間合いの評価点を表示させてもよいし、全てのインターバル区間における間合いのトータル評価点を表示させてもよい。また、総合評価として、１区間の総合評価点を表示させてもよいし、全区間の総合評価点を表示させてもよい。なお、上記評価に加えて、表示処理部３３は、音高の評価、音量の評価、及び滑舌の評価のうち少なくとも何れか１つの評価をディスプレイＤの画面に表示させてもよい。この場合も、音高、音量、または滑舌の評価として、フレーズ区間毎の評価点を表示させてもよいし、全てのフレーズ区間におけるトータル評価点を表示させてもよい。
【００４５】
更に、表示処理部３３は、手本音声波形データに基づいて所定時間毎に算出された音高と音量の少なくとも何れか一方の時系列的な変化を表す第１グラフ（以下、「手本グラフ」という）の全部または一部と、話者音声波形データに基づいて所定時間毎に算出された音高と音量の少なくとも何れか一方の時系列的な変化を表す第２グラフ（以下、「話者グラフ」という）の全部または一部とを比較可能に一画面に表示させる。これにより、音読スピードや間の取り方に加えて音高や音量が適切かどうかを話者に自覚させ効果的な練習や訓練をさせることができる。
【００４６】
［２.音読評価装置Ｓの動作例］
次に、図４等を参照して、第１の実施形態に係る音読評価装置Ｓの動作の一例について説明する。図４は、音読評価装置Ｓにおける制御部３の評価表示処理を示すフローチャートである。なお、図４に示す評価表示処理の前提として、手本音声波形データに基づいて特定された手本フレーズ区間及び手本インターバル区間のデータと、手本音声波形データに基づいて所定時間毎に算出された音圧及び音高のデータと、手本音声波形データに基づいて手本フレーズ区間毎に算出された声道の特徴量（ＭＦＣＣ）のデータが、例えば、手本音声波形データの音声ファイルに対応付けられて記憶部２に記憶されているものとする。
【００４７】
図４に示す処理は、例えば、話者が操作部４を介して音読対象のお手本となる所望の音声ファイルを指定して音読開始指示を行うことにより開始される。図４に示す処理が開始されると、制御部３は、マイク入力をオンにし、上記指定された音声ファイルに対応付けられた手本フレーズ区間、手本インターバル区間、音圧、音高、及び声道の特徴量（ＭＦＣＣ）のデータを記憶部２から読み込む（ステップＳ１）。なお、読み込まれたデータは、ＲＡＭに記憶される。なお、話者フレーズ区間、及び話者インターバル区間には、それぞれ、シリアル番号が付与される。そして、話者が文の音読を開始すると、この文の音読中の発せられた音声がマイクＭにより集音され、集音された音声の波形を示す話者音声波形データが、インターフェース部５を介して音読評価装置Ｓに入力される。
【００４８】
音読評価装置Ｓの制御部３は、入力された話者音声波形データを記憶部２に記憶（録音）しつつ、入力された話者音声波形データに基づいて、上述したように、話者フレーズ区間、及び話者インターバル区間を順次特定する（ステップＳ２）。特定された話者フレーズ区間及び話者インターバル区間のデータには、それぞれ、シリアル番号が付与されてＲＡＭに記憶される。こうして記憶された各話者フレーズ区間、及び各話者インターバル区間のデータは、後述する評価に用いられる。
【００４９】
次いで、制御部３は、入力された話者音声波形データに基づいて、上述したように、所定時間毎に音圧及び音高を算出し、且つ、手本フレーズ区間毎に声道の特徴量（ＭＦＣＣ）を算出する（ステップＳ３）。算出された音圧、音高、及び声道の特徴量（ＭＦＣＣ）のデータはＲＡＭに記憶される。こうして記憶された音圧、音高、及び声道の特徴量（ＭＦＣＣ）のデータは、後述する評価に用いられる。
【００５０】
次いで、制御部３は、手本フレーズ区間の時間長と話者フレーズ区間の時間長とをシリアル番号順に比較して音読スピードの評価を行う（ステップＳ４）。音読スピードの評価により、評価結果として、例えば、上述したように、フレーズ区間毎の音読スピードの評価点と、全てのフレーズ区間における音読スピードのトータル評価点とが算出される。
【００５１】
次いで、制御部３は、手本インターバル区間の時間長と話者インターバル区間の時間長とをシリアル番号順に比較して間合いの評価を行う（ステップＳ５）。間合いの評価により、評価結果として、例えば、上述したように、インターバル区間毎の間合いの評価点と、全てのインターバル区間における間合いのトータル評価点とが算出される。
【００５２】
次いで、制御部３は、手本フレーズ区間の音高と話者フレーズ区間の音高とをシリアル番号順に比較して音高の評価を行う（ステップＳ６）。音高の評価により、評価結果として、例えば、上述したように、フレーズ区間毎の音高の評価点と、全てのフレーズ区間における音高のトータル評価点とが算出される。
【００５３】
次いで、制御部３は、手本フレーズ区間の音量と話者フレーズ区間の音量とをシリアル番号順に比較して音量の評価を行う（ステップＳ７）。音量の評価により、評価結果として、例えば、上述したように、フレーズ区間毎の音量の評価点と、全てのフレーズ区間における音量のトータル評価点とが算出される。
【００５４】
次いで、制御部３は、手本フレーズ区間の声道特性を示す特徴量（ＭＦＣＣ）と話者フレーズ区間の声道特性を示す特徴量（ＭＦＣＣ）とをシリアル番号順に比較して滑舌の評価を行う（ステップＳ８）。滑舌の評価により、評価結果として、例えば、上述したように、フレーズ区間毎の滑舌の評価点と、全てのフレーズ区間における滑舌のトータル評価点とが算出される。
【００５５】
次いで、制御部３は、音読スピードの評価結果、間合いの評価結果、音高の評価結果、音量の評価結果、及び滑舌の評価結果に基づいて、文の音読に対する総合評価を行う（ステップＳ９）。総合評価により、総合評価結果として、例えば、上述したように、１区間の総合評価点と、全区間の総合評価点とが算出される。
【００５６】
次いで、制御部３は、区間スクロール画面を表示する（ステップＳ１０）。区間スクロール画面は、手本グラフ及び話者グラフをスクロール可能に表示すると共に、ステップＳ４〜ステップＳ９の評価結果に基づく情報を表示する画面である。
【００５７】
図５は、区間スクロール画面の一例を示す図である。図５に示す区間スクロール画面には、グラフ表示欄５１、評価結果表示欄５２、「切換」キー５３、スクロールバー５４、及び「閉じる」キー５５が設けられている。グラフ表示欄５１の上段には、手本グラフの中で一部の手本フレーズ区間に対応する音高の手本グラフ（線状）と音量の手本グラフ（棒状）が表示され、同表示欄５１の下段には、話者グラフの中で一部の話者フレーズ区間に対応する音高の話者グラフ（線状）と音量の話者グラフ（棒状）が表示されている。なお、グラフ表示欄５１の縦軸（Ｙ軸）には、音量と音高が割り当てられ、グラフ表示欄５１の横軸（Ｘ軸）には、時間が割り当てられている。また、グラフ表示欄５１内の表示領域は、例えばスクロールバー５４の操作による表示切り替え指示に応じて、時間軸方向にスクロール表示される。また、グラフ表示欄５１の上段の表示領域と下段の表示領域とを分離し、それぞれ独立してスクロール表示されるように構成してもよい。
【００５８】
また、グラフ表示欄５１には、フレーズ区間毎の総合評価が、絵柄５１ａ，５１ｂで表示されている。絵柄５１ａは二重丸で表されており、これは、１区間の総合評価点が例えば７０〜１００点の間を意味する。また、絵柄５１ｂは三角で表されており、これは、１区間の総合評価点が例えば３０〜４９点の間を意味する。なお、晴れ、曇り、雨等の天気を表す絵柄で１区間の総合評価点を表してもよいし、総合評価点で総合評価を表してもよい。また、グラフ表示欄５１における手本フレーズ区間及び話者フレーズ区間には、それぞれ、そのフレーズが含む文字列が対応付けられて表示されている。なお、話者フレーズ区間に対応付けられて表示される各文字の位置は、例えば、ラベリング処理により決定される。ラベリング処理は、フレーズを含む文のテキストデータと、話者音声波形データと、話者音声波形データの周波数スペクトログラムとに基づいて、音読（発話）内容に則した音素ラベルの付与と、音素間の境界位置の特定を行う処理である。ラベリング処理には、公知の様々な手法を適用できるので、詳しい説明を省略する。
【００５９】
また、評価結果表示欄５２には、全区間の総合評価点（総合：７８）、音高のトータル評価点（音高：８２）、音量のトータル評価点（音量：８９）、滑舌のトータル評価点（滑舌：６８）、音読スピードのトータル評価点（スピード：８１）、及び間合いのトータル評価点（間合い：９０）が表示されている。すなわち、この場合、図５に示す区間スクロール画面において、全区間（複数の区間の一例）の総合評価（５２）と、１区間の総合評価（５１ａまたは５１ｂ）とが同一階層の画面に表示（つまり、キー操作等無しで表示）される。これにより、全ての区間における総合評価と、１つの区間における総合評価とを話者に同時に把握させることができる。
【００６０】
このような区間スクロール画面の表示状態において、制御部３は、「切換」キー５３が指定されたか否かを判定する（ステップＳ１１）。例えば話者が操作部４を介して「切換」キー５３を指定することにより、制御部３が、「切換」キー５３が指定されたと判定した場合（ステップＳ１１：ＹＥＳ）、ステップＳ１５へ進む。一方、制御部３は、「切換」キー５３が指定されていないと判定した場合（ステップＳ１１：ＮＯ）、ステップＳ１２へ進む。
【００６１】
ステップＳ１２では、制御部３は、スクロールバー５４が操作されたか否かを判定する。例えば話者が操作部４を介してスクロールバー５４を操作する（横方向に移動させる）ことにより、制御部３が、スクロールバー５４が操作されたと判定した場合（ステップＳ１２：ＹＥＳ）、グラフ表示欄５１内の表示領域を更新し（ステップＳ１３）、グラフ表示欄５１内の表示領域が更新された区間スクロール画面を表示（スクロール表示）する（ステップＳ１０）。すなわち、制御部３は、手本グラフの中で少なくとも１つの手本フレーズ区間に対応する手本グラフ部分と、話者グラフの中で少なくとも１つの話者フレーズ区間に対応する話者グラフ部分とを比較可能に一画面に表示させる。このとき、制御部３は、手本インターバル区間と、話者インターバル区間とを比較可能に手本グラフ部分及び話者グラフ部分を一画面に表示させる。そして、制御部３は、スクロールバー５４の操作による表示切り替え指示に応じて、一画面に表示されている手本グラフ部分を、一画面に表示されていない手本グラフ部分（つまり、手本グラフの中で他の手本フレーズ区間に対応する手本グラフ部分）に切り替え表示させ、且つ、一画面に表示されている話者グラフ部分を、一画面に表示されていない話者グラフ部分（つまり、話者グラフの中で他の話者フレーズ区間に対応する話者グラフ部分）に切り替え表示させる。これにより、手本グラフと話者グラフとが時間軸方向に一画面に収まらない場合であっても切り替え表示させることで、音高や音量が適切かどうかを長い期間に亘り話者に把握させることができる。一方、制御部３は、スクロールバーが操作されていないと判定した場合（ステップＳ１２：ＮＯ）、ステップＳ１４へ進む。
【００６２】
ステップＳ１４では、制御部３は、「閉じる」キー５５が指定されたか否かを判定する。制御部３は、「閉じる」キー５５が指定されていないと判定した場合（ステップＳ１４：ＮＯ）、ステップＳ１１に戻る。一方、制御部３は、「閉じる」キー５５が指定されたと判定した場合（ステップＳ１４：ＹＥＳ）、図４に示す処理を終了する。
【００６３】
ステップＳ１５では、制御部３は、区間選択画面を表示する。区間選択画面は、フレーズ区間及びインターバル区間を選択可能に表示すると共に、ステップＳ４〜ステップＳ９の評価結果に基づく情報を表示する画面である。
【００６４】
図６は、区間選択画面の一例を示す図である。図６に示す区間選択画面には、グラフ表示欄６１、評価結果表示欄６２、「切換」キー６３、「詳細」キー６４、及び「閉じる」キー６５が設けられている。グラフ表示欄６１には、手本グラフの中で全部の手本フレーズ区間に対応する音高の手本グラフ（線状）と音量の手本グラフ（棒状）が表示され、同表示欄６１の下段には、話者グラフの中で全部の話者フレーズ区間に対応する音高の話者グラフ（線状）と音量の話者グラフ（棒状）が表示されている。また、グラフ表示欄６１内の表示領域における各フレーズ区間と各インターバル区間は、例えば話者が操作部４を介してカーソルにより、それぞれ選択可能になっている。図６の例では、先頭から２番目の手本フレーズ区間６１ａがカーソルにより選択された状態になっており、当該カーソルを移動させることで、例えば、２番目の手本インターバル区間６１ｂ、または３番目の手本フレーズ区間６１ｃが選択されることになる。なお、グラフ表示欄６１の最下端部６１ｄには、フレーズ区間毎の総合評価が絵柄で表示されているが、これは表示されなくてもよい。また、評価結果表示欄６２の表示内容は、評価結果表示欄５２と同様である。
【００６５】
このような区間選択画面の表示状態において、制御部３は、「切換」キー６３が指定されたか否かを判定する（ステップＳ１６）。制御部３は、「切換」キー６３が指定されたと判定した場合（ステップＳ１６：ＹＥＳ）、ステップＳ１０へ戻り、区間スクロール画面を表示する。一方、制御部３は、「切換」キー６３が指定されていないと判定した場合（ステップＳ１６：ＮＯ）、ステップＳ１７へ進む。ステップＳ１７では、制御部３は、「詳細」キー６４が指定されたか否かを判定する。例えば話者が操作部４を介してカーソルにより何れかの区間を選択してから「詳細」キー６４を指定することにより、制御部３が、「詳細」キー６４が指定されたと判定した場合（ステップＳ１７：ＹＥＳ）、ステップＳ１９へ進む。一方、制御部３は、「詳細」キー６４が指定されていないと判定した場合（ステップＳ１７：ＮＯ）、ステップＳ１８へ進む。
【００６６】
ステップＳ１８では、制御部３は、「閉じる」キー６５が指定されたか否かを判定する。制御部３は、「閉じる」キー６５が指定されていないと判定した場合（ステップＳ１８：ＮＯ）、ステップＳ１６に戻る。一方、制御部３は、「閉じる」キー６５が指定されたと判定した場合（ステップＳ１８：ＹＥＳ）、図４に示す処理を終了する。
【００６７】
ステップＳ１９では、制御部３は、区間詳細画面を表示する。区間詳細画面には、選択されたフレーズ区間の詳細を表示する画面と、選択されたインターバル区間の詳細を表示する画面との２種類がある。図７は、選択されたフレーズ区間の詳細を表示する画面の一例を示す図であり、図８は、選択されたインターバル区間の詳細を表示する画面の一例を示す図である。
【００６８】
図７に示す区間詳細画面には、グラフ表示欄７１、評価結果表示欄７２、「次へ」キー７３、「前へ」キー７４、及び「戻る」キー７５が設けられている。グラフ表示欄７１の上段には、グラフ表示欄６１において選択された手本フレーズ区間Ｆ12に対応する音高の手本グラフ部分（線状）と音量の手本グラフ部分（棒状）が表示され、同表示欄７１の下段には、グラフ表示欄６１において選択された手本フレーズ区間Ｆ12に対応する話者フレーズ区間Ｆ22に対応する音高の話者グラフ部分（線状）と音量の話者グラフ部分（棒状）が表示されている。この表示のとき、制御部３は、図７に示すように、手本フレーズ区間の開始位置７１ｂと話者フレーズ区間の開始位置７１ｂとを時間軸方向で一致させる。これにより、音読スピードが適切かどうかを話者に一見して把握させることができる。
【００６９】
また、評価結果表示欄７２には、選択された手本フレーズ区間Ｆ12に対応する１区間の総合評価点（総合：５２）、この１区間における音高の評価点（音高：７８）、この１区間における音量の評価点（音量：５６）、この１区間における滑舌の評価点（滑舌：６８）、この１区間における音読スピードの評価点（スピード：７８）、及びこの１区間における間合いの評価点（間合い：９０）が表示されている。すなわち、この場合、図６に示す区間選択画面における全区間（複数の区間の一例）の総合評価（６２）と、図７に示す区間詳細画面における１区間の総合評価（７２）とは、異なる階層の画面に表示される。これにより、全て区間における総合評価と、１つの区間における総合評価とを話者に別々に分かり易く把握させることができる。
【００７０】
このような区間選択画面の表示状態において、制御部３は、「次へ」キー７３が指定されたか否かを判定する（ステップＳ２０）。制御部３は、「次へ」キー７３が指定されたと判定した場合（ステップＳ２０：ＹＥＳ）、次の区間（図７の例では、フレーズ区間）を選択し（ステップＳ２１）、選択した区間（図７の例では、手本フレーズ区間Ｆ13及び話者フレーズ区間Ｆ23）に対応する区間詳細画面を表示する（ステップＳ１９）。一方、制御部３は、「次へ」キー７３が指定されていないと判定した場合（ステップＳ２０：ＮＯ）、ステップＳ２２へ進む。
【００７１】
ステップＳ２２では、制御部３は、「前へ」キー７４が指定されたか否かを判定する。制御部３は、「前へ」キー７４が指定されたと判定した場合（ステップＳ２２：ＹＥＳ）、前の区間（図７の例では、フレーズ区間）を選択し（ステップＳ２３）、選択した区間（図７の例では、手本フレーズ区間Ｆ11及び話者フレーズ区間Ｆ21）に対応する区間詳細画面を表示する（ステップＳ１９）。一方、制御部３は、「前へ」キー７４が指定されていないと判定した場合（ステップＳ２２：ＮＯ）、ステップＳ２４へ進む。
【００７２】
ステップＳ２４では、制御部３は、「戻る」キー７５が指定されたか否かを判定する。制御部３は、「戻る」キー７５が指定されていないと判定した場合（ステップＳ２４：ＮＯ）、ステップＳ２０に戻る。一方、制御部３は、「戻る」キー７５が指定されたと判定した場合（ステップＳ２４：ＹＥＳ）、再び、区間選択画面を表示する（ステップＳ１５）。
【００７３】
一方、図８に示す区間詳細画面には、グラフ表示欄８１、評価結果表示欄８２、「次へ」キー８３、「前へ」キー８４、及び「戻る」キー８５が設けられている。グラフ表示欄８１の上段には、グラフ表示欄６１において選択された手本インターバル区間Ｉ11の前後の音高の手本グラフ部分（線状）と音量の手本グラフ部分（棒状）が表示され、同表示欄８１の下段には、グラフ表示欄６１において選択された手本インターバル区間Ｉ11に対応する話者インターバル区間Ｉ21の前後の音高の話者グラフ部分（線状）と音量の話者グラフ部分（棒状）が表示されている。つまり、制御部３は、手本フレーズ区間に対応する手本グラフ部分とこの手本フレーズ区間に続く手本インターバル区間と、話者フレーズ区間に対応する話者グラフ部分とこの話者フレーズ区間に続く話者インターバル区間とを比較可能に話者グラフ部分及び話者グラフ部分を一画面に表示させる。この表示のとき、制御部３は、図８に示すように、手本インターバル区間の開始位置８１ｂと話者インターバル区間の開始位置８１ｂとを時間軸方向で一致させる。これにより、間の取り方が適切かどうかを話者に一見して把握させることができる。
【００７４】
また、評価結果表示欄８２には、選択された手本インターバル区間Ｉ11に対応する１区間の総合評価点（総合：６２）、及びこの１区間における間合いの評価点（間合い：６２）が表示されている。なお、この場合の総合評価点は、間合いの評価のみに基づいて算出されているので、間合いの評価点と一致している。
【００７５】
このような区間選択画面の表示状態において、制御部３は、「次へ」キー８３が指定されたと判定した場合（ステップＳ２０：ＹＥＳ）、次の区間（図８の例では、インターバル区間）を選択し（ステップＳ２１）、選択した区間（図８の例では、手本インターバル区間Ｉ12及び話者インターバル区間Ｉ22）に対応する区間詳細画面を表示する（ステップＳ１９）。この後に、例えば、制御部３は、「前へ」キー８４が指定されたと判定した場合（ステップＳ２２：ＹＥＳ）、前の区間（図８の例では、インターバル区間）を選択し（ステップＳ２３）、選択した区間に対応する区間詳細画面を表示する（ステップＳ１９）。また、制御部３は、「戻る」キー８５が指定されたと判定した場合（ステップＳ２４：ＹＥＳ）、再び、区間選択画面を表示する（ステップＳ１５）。
【００７６】
以上説明したように、上記実施形態によれば、手本音声波形データに基づいて特定した手本フレーズ区間の時間長と話者音声波形データに基づいて特定した話者フレーズ区間の時間長とを比較して音読スピードの評価をフレーズ毎に行い、且つ、手本音声波形データに基づいて特定した手本インターバル区間の時間長と話者音声波形データに基づいて特定した話者インターバル区間の時間長とを比較して間合い評価を行い、少なくとも音読スピードの評価及び間合いの評価に基づいて、文の音読に対する総合評価を行って、音読スピードの評価、間合いの評価、及び総合評価のうち少なくとも何れか１つの評価を画面に表示させるように構成した。そのため、語学学習、アナウンスや朗読などの発声発話訓練等を行う話者に対して、抑揚や滑舌などだけでなく、音読スピードの評価、間合いの評価、及びこれら評価を考慮した総合評価のうち少なくとも何れか１つの評価を提示することができ、その結果、音読スピードや間の取り方が適切かどうかを話者に自覚させ効果的な練習や訓練をさせることが可能となる。
【００７７】
［３.第２の実施形態］
次に、本発明の第２の実施形態に係る音読評価装置Ｓの構成及び機能等について説明する。なお、第１の実施形態に係る音読評価装置Ｓの基本的な構成及び機能等は、第２の実施形態に係る音読評価装置Ｓに対しても適用されるため、以下では、主として、第１の実施形態に係る音読評価装置Ｓと異なる構成及び機能等について説明する。第２の実施形態において、音読評価装置Ｓの音声処理部３１は、手本音声波形データに基づいて文を構成する文要素の開始タイミングから終了タイミングまでの手本文要素区間（第１文要素区間の一例）を文要素毎に特定し、話者音声波形データに基づいて上記文要素の開始タイミングから終了タイミングまでの話者文要素区間（第２文要素区間の一例）を文要素毎に特定するように構成してもよい。ここで、文要素とは、文を構成する単位である。文要素の例として、上述したフレーズ、文節、単語、結合フレーズ等が挙げられる。結合フレーズは、複数のフレーズの結合により構成される。また、他の実施形態におけるフレーズは、１以上の文節から構成される。つまり、１つのフレーズが１つの文節から構成される場合もあるし、１つのフレーズが複数の文節から構成される場合もある。文節は、例えば、１つ以上の単語のまとまりである。単語には、名詞、動詞、形容詞、副詞、及び接続詞等の自立語（単独で文節を構成できる品詞）や、助動詞及び助詞等の付属語（単独で文節を構成できない品詞）などがある。音読対象となる文の例として、語学学習や、アナウンス、朗読などで用いられる文章などが挙げられる。
【００７８】
第２の実施形態においても、開始タイミングと終了タイミングは、それぞれ、音声の波形から認識されてもよいし、上述したように算出された音圧レベル(dB)から認識されてもよい。例えば、音声処理部３１は、音声の波形の振幅が所定値以上になった時点を開始タイミングとして認識する。或いは、音声処理部３１は、音圧レベル(dB)が所定値以上になった時点を開始タイミングとして認識する。また、例えば、音声処理部３１は、音声の波形の振幅幅が所定値未満になった時点を終了タイミングとして認識する。或いは、音声処理部３１は、音圧レベル(dB)が所定値未満になった時点を終了タイミングとして認識する。なお、例えば、音圧レベル(dB)が所定値未満になった時点から、音圧レベル(dB)が所定値以上になった時点までの時間（無音時間）が閾値以上である場合に限り、音圧レベル(dB)が所定値未満になった時点が終了タイミングとして認識され、且つ音圧レベル(dB)が所定値以上になった時点が開始タイミングとして認識されるとよい（音声の波形の振幅についても同様）。これは、無音時間が閾値より短い場合、その区間で文要素を区切らない趣旨である。ところで、例えば、「車内では（間合い）携帯電話は（間合い）マナーモードに設定の上（間合い）通話はご遠慮下さい」と区切り区切りゆっくり音読するお手本の音声波形データがあるとすると、上記の方法で開始タイミングと終了タイミングとを認識することにより、「車内では」、「携帯電話は」、「マナーモードに設定の上」、「通話はご遠慮下さい」というように、４つのフレーズ毎に対応する手本文要素区間に区切られて特定される。また、話者が、同じ文を、手本と同じ間合いで区切り区切り音読した場合に、上記の方法で開始タイミングと終了タイミングとを認識することで、「車内では」、「携帯電話は」、「マナーモードに設定の上」、「通話はご遠慮下さい」というように、４つのフレーズ毎に対応する話者文要素区間に区切られて特定される。これに対し、話者が、例えば、上記文のうち、「マナーモードに設定の上」と「通話はご遠慮下さい」の部分を、一息で「マナーモードに設定の上通話はご遠慮下さい」と素早く音読した場合、この部分が一息で読むフレーズとなり、上記の方法で開始タイミングと終了タイミングとを認識すると、上記部分は特に区切られずに話者文要素区間が特定されることになる。このように、手本により音読される複数のフレーズが、話者により音読される１つのフレーズに対応している場合、手本により音読されるフレーズに対応する手本文要素区間と、話者により音読されるフレーズの話者文要素区間とを比較し難くなる。このため、このような場合、音声処理部３１は、話者により音読されるフレーズ（「マナーモードに設定の上通話はご遠慮下さい」）を、手本により音読されるフレーズに合わせるように複数の文節または単語に区分して話者文要素区間を特定するとよい。
【００７９】
より具体的には、音声処理部３１は、例えば、記憶されている手本音声波形データが示す音声の波形から音圧の累積値（以下、「手本音圧累積値」という）を手本文要素区間毎にあらかじめ算出し、手本文要素区間毎に対応付けてＲＡＭ等に記憶しておく。手本音圧累積値は、例えば「車内では」→「携帯電話は」→「マナーモードに設定の上」→「通話はご遠慮下さい」というように音読されるフレーズ順に算出される。つまり、第１の手本音圧累積値、第２の手本音圧累積値・・・というように算出される。また、音声処理部３１は、例えば、記憶されている手本音声波形データが示す音声の波形から音素（以下、「手本音素」という）の数を手本文要素区間毎にあらかじめ算出し、手本文要素区間毎に対応付けてＲＡＭ等に記憶しておく。音素の例として、母音のみ、子音のみ、子音と母音との組合せの３つが挙げられる。母音には、ａ（あ）、ｉ（い）、ｕ（う）、ｅ（え）、ｏ（お）の５母音がある。子音には、母音以外の音成分（例えば、ｋ、ｓ、ｔ、ｎ、ｈ、ｍ、ｙ、ｒ、ｗ・・・など）がある。手本音素の数は、例えば「車内では」→「携帯電話は」→「マナーモードに設定の上」→「通話はご遠慮下さい」というように音読されるフレーズ順に算出される。つまり、第１の手本音素の数、第２の手本音素の数・・・・というように特定される。なお、音素の特定方法は、ラベリング手法等で公知であるので詳しい説明を省略する。
【００８０】
そして、音声処理部３１は、話者が上記文を音読したときの音声の波形を示す話者音声波形データを入力し、入力された話者音声波形データが示す音声の波形から時系列で音圧を積算し、且つ時系列で音素の数を特定していく。この期間中、音声処理部３１は、音圧の積算値がどれぐらいになったか、何個の音素が特定されたかなど複合的に判断して、区切タイミング（開始タイミングまたは終了タイミングに相当）を特定する。例えば、音声処理部３１は、音圧の積算値と手本音圧累積値とを比較（第１の手本音圧累積値、第２の手本音圧累積値・・・という順に比較）し、その差が閾値以内になった第１のタイミングと、特定した音素の数と手本音素の数とを比較（第１の手本音素の数、第２の手本音素の数・・・という順に比較）しその差が閾値以内になった第２のタイミングから区切タイミングを順次特定する。例えば、第１のタイミング（例えば音声の波形の開始位置からの経過時間）と、第２のタイミングとの間の時間が区切タイミングとして特定される。そして、音声処理部３１は、上述したように音圧レベル等により特定した話者文要素区間を区切タイミングでさらに区切ることで最終的な話者文要素区間を順次特定する。この場合、例えば、「マナーモードに設定の上通話はご遠慮下さい」の部分は、「マナーモードに設定の上」と「通話はご遠慮下さい」とに区切られることで、話者文要素区間が特定されることになる。つまり、上記区分タイミングは、例えば、「マナーモードに設定の上」に対応する話者文要素区間の終了タイミングとなり、且つ「通話はご遠慮下さい」に対応する話者文要素区間の開始タイミングとなる。これに伴い、「マナーモードに設定の上通話はご遠慮下さい」を表すテキストは、「マナーモードに設定の上」を表すテキストと、「通話はご遠慮下さい」を表すテキストとに分割されることになる。これにより、手本により音読されるフレーズに対応する手本文要素区間と、話者により音読される例えば文節（フレーズが複数に区切られた文節）に対応する話者文要素区間とが比較されることになる。
【００８１】
上記とは逆に、例えば、「車内では（間合い）携帯電話はマナーモードに設定の上通話はご遠慮下さい」というように、一部素早く音読するお手本の音声波形データがあるとすると、上記の方法で開始タイミングと終了タイミングとを認識することにより、「車内では」、「携帯電話はマナーモードに設定の上通話はご遠慮下さい」というように、２つのフレーズ毎に対応する手本文要素区間に区切られて特定される。これに対し、話者が、「車内では（間合い）携帯電話は（間合い）マナーモードに設定の上（間合い）通話はご遠慮下さい」と区切り区切りゆっくり音読した場合、上記の方法で開始タイミングと終了タイミングとを認識することで、「車内では」、「携帯電話は」、「マナーモードに設定の上」、「通話はご遠慮下さい」というように、４つのフレーズ毎に対応する話者文要素区間に区切られて特定されることになる。このように、手本により音読される１つのフレーズが、話者により音読される複数のフレーズに対応している場合も、手本により音読されるフレーズに対応する手本文要素区間と、話者により音読されるフレーズの話者文要素区間とを比較し難くなる。このため、このような場合、音声処理部３１は、例えば、手本により音読されるフレーズに合わせるように、例えば「携帯電話は」と「マナーモードに設定の上」と「通話はご遠慮下さい」という３つのフレーズを含む結合フレーズに対応する話者文要素区間を特定するとよい。
【００８２】
この場合も、上記と同様、音声処理部３１は、例えば、手本音圧累積値と手本音素の数とを手本文要素区間毎に記憶しておく。そして、音声処理部３１は、話者が上記文を音読したときの音声の波形を示す話者音声波形データを入力し、入力された話者音声波形データが示す音声の波形から時系列で音圧を積算し、且つ時系列で音素の数を特定していく。音声処理部３１は、例えば、音圧の積算値と手本音圧累積値とを比較し、その差が閾値以内になったタイミング（例えば、音圧の積算値が手本音圧累積値に到達したタイミング）と、特定した音素の数と手本音素の数とを比較しその差が閾値以内になったタイミング（例えば、特定した音素の数が手本音素の数に到達したタイミング）とから結合フレーズの終了タイミングを特定する。なお、結合フレーズの開始タイミングは、結合フレーズが含む先頭のフレーズの開始タイミングに相当する。そして、音声処理部３１は、結合フレーズの開始タイミングから終了タイミングまでの区間を、最終的な手本文要素区間として特定する。この場合、例えば、「携帯電話は」と「マナーモードに設定の上」と「通話はご遠慮下さい」を含む３つのフレーズは、「携帯電話はマナーモードに設定の上通話はご遠慮下さい」という結合フレーズとして、その話者文要素区間が特定されることになる。これに伴い、「携帯電話は」を表すテキストと、「マナーモードに設定の上」を表すテキストと、「通話はご遠慮下さい」を表すテキストとは、「携帯電話はマナーモードに設定の上通話はご遠慮下さい」を表すテキストに結合されることになる。これにより、手本により音読されるフレーズに対応する手本文要素区間と、話者により音読される結合フレーズに対応する話者文要素区間とが比較されることになる。  
【００８３】
また、第２の実施形態において、音声処理部３１は、第１の実施形態と同様、音声波形データから例えば所定時間毎に切り出したデータから音圧レベル(dB)を音圧として所定時間毎に算出する。また、音声処理部３１は、音声波形データから例えば所定時間毎に切り出したデータから基本周波数（Hz）を算出し、算出した基本周波数（Hz）を音高として所定時間毎に算出する。また、音声処理部３１は、滑舌の評価に用いる声道特性を示す特徴量（音響特性）を文要素毎に算出する。例えば、音声処理部３１は、音声波形データを文要素区間毎に切り出し、切り出した文要素のデータを窓掛けで区切って、フーリエ解析することで振幅スペクトルを求める。そして、音声処理部３１は、求めた振幅スペクトルにメルフィルタバンクをかけ、メルフィルタバンクの出力を対数化した値を離散コサイン変換（ＤＣＴ）することでＭＦＣＣ（メル周波数ケプストラム係数）を、声道特性を示す特徴量として文要素毎に算出する。
【００８４】
また、音声処理部３１は、手本音声波形データに基づいて、各文要素の開始タイミングから終了タイミングまでの手本文要素区間を文要素毎に特定し、且つ複数の文要素のうち何れかの文要素の終了タイミングから次の文要素の開始タイミングまでの手本インターバル区間を特定する。また、音声処理部３１は、話者音声波形データに基づいて、各文要素の開始タイミングから終了タイミングまでの話者文要素区間を文要素毎に特定し、且つ複数の文要素のうち何れかの文要素の終了タイミングから次の文要素の開始タイミングまでの話者インターバル区間を特定する。
【００８５】
次に、音読評価部３２は、手本文要素区間の時間長と、話者文要素区間の時間長とを比較して文を音読するスピード（音読スピード）の評価を文要素区間毎に行う。音読評価部３２は、例えば、時間長の比較結果として、文要素区間毎に、手本文要素区間の時間長と話者文要素区間の時間長との時間差を算出し、この時間差の絶対値に基づいて評価点を算出することで音読スピードの評価を行う。また、音読評価部３２は、文要素区間毎の音読スピードの評価に基づいて全ての文要素区間における音読スピードの評価を行う。全ての文要素区間における音読スピードの評価では、例えば、文要素区間毎に算出された音読スピードの評価点の平均値が全ての文要素区間における音読スピードのトータル評価点として算出される。
【００８６】
また、第２の実施形態でも第１の実施形態と同様に、音読評価部３２は、手本インターバル区間の時間長と、話者インターバル区間の時間長とを比較して文を音読したときの間合いの評価を行う。また、音読評価部３２は、手本文要素区間の音高と、手本文要素区間に対応する話者文要素区間の音高とを比較して、音高の評価を文要素毎に行う。音読評価部３２は、例えば、音高の比較結果として、手本文要素区間の音高と話者文要素区間の音高との差を算出し、この差に基づいて評価点を算出することで音高の評価を行う。また、音読評価部３２は、文要素区間毎の音高の評価に基づいて全ての文要素区間における音高の評価を行う。全ての文要素区間における音高の評価では、例えば、文要素区間毎に算出された音高の評価点の平均値が全ての文要素区間における音高のトータル評価点として算出される。また、音読評価部３２は、手本文要素区間の音量と、手本文要素区間に対応する話者文要素区間の音量とを比較して、音量の評価を文要素毎に行う。また、音読評価部３２は、文要素区間毎の音量の評価に基づいて全ての文要素区間における音量の評価を行う。全ての文要素区間における音量の評価では、例えば、文要素区間毎に算出された音量の評価点の平均値が全ての文要素区間における音量のトータル評価点として算出される。
【００８７】
また、音読評価部３２は、手本文要素区間の滑舌と、手本文要素区間に対応する話者文要素区間の滑舌とを比較して、滑舌の評価を文要素毎に行う。音読評価部３２は、滑舌の評価では、例えば、文要素毎に算出された声道特性を示す特徴量（ＭＦＣＣ）が用いられる。音読評価部３２は、例えば、滑舌の比較結果として、手本文要素区間の特徴量と話者文要素区間の特徴量との類似度を算出し、この類似度に基づいて評価点を算出することで滑舌の評価を行う。また、音読評価部３２は、文要素区間毎の滑舌の評価に基づいて全ての文要素区間における滑舌の評価を行う。全ての文要素区間における滑舌の評価では、例えば、文要素区間毎に算出された滑舌の評価点の平均値が全ての文要素区間における滑舌のトータル評価点として算出される。
【００８８】
そして、音読評価部３２は、第１の実施形態と同様、例えば、少なくとも音読スピードの評価及び間合いの評価に基づいて、文の音読に対する総合評価を行う。この総合評価では、例えば、１つの文要素区間における音読スピードの評価点と、この文要素区間の前と後の少なくとも何れか一方のインターバル区間における間合いの評価点との平均値（或いは合計値でもよい）が１区間の総合評価点として算出される。或いは、音読評価部３２は、例えば、１つの文要素区間における音読スピードの評価と、この文要素区間の前と後の少なくとも何れか一方のインターバル区間における間合いの評価と、この文要素区間における音高の評価と、この文要素区間における音量の評価と、この文要素区間における滑舌の評価との少なくとも何れか２つの評価に基づいて、文の音読に対する１区間の総合評価を行ってもよい。この総合評価では、例えば、少なくとも何れか２つの評価で算出された評価点の平均値（或いは合計値でもよい）が１区間の総合評価点として算出される。
【００８９】
また、音読評価部３２は、第１の実施形態と同様、例えば、少なくとも、全ての文要素区間における音読スピードの評価及び全てのインターバル区間における間合いの評価に基づいて、文の音読に対する総合評価を行う。この総合評価では、例えば、全ての文要素区間における音読スピードのトータル評価点と全てのインターバル区間における間合いのトータル評価点との平均値（或いは合計値でもよい）が全区間の総合評価点として算出される。或いは、音読評価部３２は、例えば、全ての文要素区間における音読スピードの評価と、全てのインターバル区間における間合いの評価と、全ての文要素区間における音高の評価と、全ての文要素区間における音量の評価と、全ての文要素区間における滑舌の評価との少なくとも何れか２つの評価に基づいて、文の音読に対する総合評価を行ってもよい。この総合評価では、例えば、少なくとも何れか２つの評価で算出されたトータル評価点の平均値（或いは合計値でもよい）が全区間の総合評価点として算出される。
【００９０】
表示処理部３３は、第１の実施形態と同様、音読スピードの評価、間合いの評価、及び総合評価のうち少なくとも何れか１つの評価をディスプレイＤの画面に表示させる。これにより、音読スピードや間の取り方が適切かどうかを話者に自覚させ効果的な練習や訓練をさせることができる。例えば、音読スピードの評価として、文要素区間毎の音読スピードの評価点を表示させてもよいし、全ての文要素区間における音読スピードのトータル評価点を表示させてもよい。また、間合いの評価として、インターバル区間毎の間合いの評価点を表示させてもよいし、全てのインターバル区間における間合いのトータル評価点を表示させてもよい。また、総合評価として、１区間の総合評価点を表示させてもよいし、全区間の総合評価点を表示させてもよい。なお、上記評価に加えて、表示処理部３３は、音高の評価、音量の評価、及び滑舌の評価のうち少なくとも何れか１つの評価をディスプレイＤの画面に表示させてもよい。この場合も、音高、音量、または滑舌の評価として、文要素区間毎の評価点を表示させてもよいし、全ての文要素区間におけるトータル評価点を表示させてもよい。更に、表示処理部３３は、第１の実施形態と同様、手本音声波形データに基づいて所定時間毎に算出された音高と音量の少なくとも何れか一方の時系列的な変化を表す手本グラフの全部または一部と、話者音声波形データに基づいて所定時間毎に算出された音高と音量の少なくとも何れか一方の時系列的な変化を表す話者グラフの全部または一部とを比較可能に一画面に表示させる。これにより、音読スピードや間の取り方に加えて音高や音量が適切かどうかを話者に自覚させ効果的な練習や訓練をさせることができる。
【００９１】
また、表示処理部３３は、第１の実施形態と同様の表示処理によって、手本グラフの中で少なくとも１つの手本文要素区間に対応する手本グラフ部分と、話者グラフの中で少なくとも１つの話者文要素区間に対応する話者グラフ部分とを比較可能に一画面に表示させる。このとき、表示処理部３３は、手本インターバル区間と、話者インターバル区間とを比較可能に手本グラフ部分及び話者グラフ部分を一画面に表示させる。そして、表示処理部３３は、表示切り替え指示に応じて、一画面に表示されている手本グラフ部分を、一画面に表示されていない手本グラフ部分（つまり、手本グラフの中で他の手本文要素区間に対応する手本グラフ部分）に切り替え表示させ、且つ、一画面に表示されている話者グラフ部分を、一画面に表示されていない話者グラフ部分（つまり、話者グラフの中で他の話者文要素区間に対応する話者グラフ部分）に切り替え表示させる。
【符号の説明】
【００９２】
１  通信部
２  記憶部
３  制御部
４  操作部
５  インターフェース部
６  バス
３１  音声処理部
３２  音読評価部
３３  表示処理部
Ｓ  音読評価装置  
【図１】
2016157097.tif 000003
【図２】
2016157097.tif 000004
【図３】
2016157097.tif 000005
【図４】
2016157097.tif 000006
【図５】
2016157097.tif 000007
【図６】
2016157097.tif 000008
【図７】
2016157097.tif 000009
【図８】
2016157097.tif 000010