(57)【特許請求の範囲】
【請求項１】
文を音読するときの音声の波形を示す音声波形データを再生する再生制御手段と、
前記音声波形データに基づいて複数に区分された文要素区間であって前記文を構成する複数の文要素それぞれの音読開始タイミングから音読終了タイミングまでの文要素区間の時間長に応じた長さのオブジェクトを前記文の先頭から時系列で第１表示領域に表示させる第１表示制御手段と、
前記文のテキストデータに基づいて複数に区分されたテキストであって前記文要素を表すテキストを前記文の先頭から時系列で前記オブジェクトに対応付け、且つ前記文要素を表すテキストの全部または一部を前記対応付けられた前記オブジェクトに対応する限られた領域に表示させる第２表示制御手段と、
前記音声波形データの再生に従って、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき第２表示領域に表示させ、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングに基づき消去する第３表示制御手段と、
を備えることを特徴とする音読練習装置。
【請求項２】
前記第３表示制御手段は、前記音声波形データの再生に従って、前記文要素を表すテキストの全部が表示されるウインドウを前記文要素の音読開始タイミングに基づき前記第２表示領域にポップアップ表示させ、前記ポップアップ表示された前記ウインドウを前記音読終了タイミングに基づき消去することを特徴とする請求項１に記載の音読練習装置。
【請求項３】
前記第１表示制御手段は、前記音声波形データの再生に従って、前記オブジェクトが表示された前記第１表示領域をスクロールさせ、
前記第３表示制御手段は、前記文要素を表すテキストの全部が表示される前記ウインドウを固定表示させることを特徴とする請求項２に記載の音読練習装置。
【請求項４】
前記文要素を表すテキストの全部の文字数が閾値より大きい場合、前記第３表示制御手段は、前記テキストの全部を複数行で前記ウインドウ内に表示させることを特徴とする請求項２または３に記載の音読練習装置。
【請求項５】
前記文要素を表すテキストの全部の文字数が閾値より大きい場合、前記第３表示制御手段は、前記テキストを一部ずつ所定時間間隔で切り替えて前記ウインドウ内に表示させることを特徴とする請求項２乃至４の何れか一項に記載の音読練習装置。
【請求項６】
前記第３表示制御手段は、前記オブジェクトに対応する限られた領域に前記文要素を表すテキストの一部が表示される場合に限り、その文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき前記第２表示領域に表示させることを特徴とする請求項１乃至５の何れか一項に記載の音読練習装置。
【請求項７】
前記第３表示制御手段は、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングの所定時間前から表示させることを特徴とする請求項１乃至６の何れか一項に記載の音読練習装置。
【請求項８】
前記第３表示制御手段は、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングの所定時間後に消去することを特徴とする請求項１乃至７の何れか一項に記載の音読練習装置。
【請求項９】
前記第２表示領域には複数の部分表示領域が設定されており、
隣合う２つの前記文要素を表すテキストが前記第２表示領域に表示される期間の一部が重なる場合に、前記第３表示制御手段は、それぞれの前記テキストを互いに異なる前記部分表示領域に表示させることを特徴とする請求項１乃至８の何れか一項に記載の音読練習装置。
【請求項１０】
前記文を表すテキストの全部を第３表示領域に表示させ、前記第３表示領域に表示された前記テキストにおける前記文要素を表すテキストの表示色を前記文要素の音読開始タイミングに基づき変更する第４表示制御手段を更に備えることを特徴とする請求項１乃至９の何れか一項に記載の音読練習装置。
【請求項１１】
１つ以上のコンピュータにより実行される表示制御方法であって、
文を音読するときの音声の波形を示す音声波形データを再生する再生制御ステップと、
前記音声波形データに基づいて複数に区分された文要素区間であって前記文を構成する複数の文要素それぞれの音読開始タイミングから音読終了タイミングまでの文要素区間の時間長に応じた長さのオブジェクトを前記文の先頭から時系列で第１表示領域に表示させる第１表示制御ステップと、
前記文のテキストデータに基づいて複数に区分されたテキストであって前記文要素を表すテキストを前記文の先頭から時系列で前記オブジェクトに対応付け、且つ前記文要素を表すテキストの全部または一部を前記対応付けられた前記オブジェクトに対応する限られた領域に表示させる第２表示制御ステップと、
前記音声波形データの再生に従って、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき第２表示領域に表示させ、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングに基づき消去する第３表示制御ステップと、
を含むことを特徴とする表示制御方法。
【請求項１２】
文を音読するときの音声の波形を示す音声波形データを再生する再生制御ステップと、
前記音声波形データに基づいて複数に区分された文要素区間であって前記文を構成する複数の文要素それぞれの音読開始タイミングから音読終了タイミングまでの文要素区間の時間長に応じた長さのオブジェクトを前記文の先頭から時系列で第１表示領域に表示させる第１表示制御ステップと、
前記文のテキストデータに基づいて複数に区分されたテキストであって前記文要素を表すテキストを前記文の先頭から時系列で前記オブジェクトに対応付け、且つ前記文要素を表すテキストの全部または一部を前記対応付けられた前記オブジェクトに対応する限られた領域に表示させる第２表示制御ステップと、
前記音声波形データの再生に従って、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき第２表示領域に表示させ、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングに基づき消去する第３表示制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者によるテキストの音読を支援することが可能なシステム等の技術分野に関する。
【背景技術】
【０００２】
近年、語学学習、アナウンス、または朗読等の練習支援を目的として、複数の文要素（例えば、フレーズや単語）を含む文を音読するときの手本（模範）となる音声に関する情報（例えば、音圧、音高、文要素を表すテキスト等）と、練習者が上記文を音読したときに発した音声に関する情報とを、比較可能に画面に表示するシステムが知られている。例えば、特許文献１に開示された技術では、単語毎に模範音声のピッチと、学習者の音声のピッチとを一緒に表示するようになっている。
【０００３】
上述したようなシステムでは、文を音読するときの音声の波形を示す音声波形データに基づいて音声の波形の塊を所定のプログラムが判別し文要素（例えば、フレーズ）単位で分割することで複数の文要素区間（言い換えれば、文要素の波形の区間）を特定する。また、上記システムは、文のテキストデータに基づいて文全体のテキストを文要素（例えば、フレーズ）単位で分割することで複数のテキスト（つまり、文要素を表すテキスト）を特定する。そして、上記システムは、特定した文要素区間とテキストとを時系列で対応付けて記憶するようになっている。例えば、特許文献２には、テキスト情報を構成する各文字に音声波形データを対応付けて格納する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１３９８６８号公報
【特許文献２】特開平４−３０５７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、文要素区間とテキストとを時系列で対応付けたデータを用いて、例えば文要素区間の時間長に応じた長さの表示バーに対応する限られた領域に、その文要素区間に対応する文要素を表すテキストを描画することで、練習者（話者）の音読練習を支援することが考えられる。しかしながら、短い文要素区間に対して長いテキストが対応していると、上記表示バーの末端でテキストが途切れ、テキストの全部を描画できない場合がある。この場合、練習者は文要素を表すテキストを音読する途中で、表示バーの末端にテキスト途切れを発見することになり、テキストのスムーズな音読が妨げられてしまう。このため、練習者の音読に対する評価が、テキスト途切れが無かった場合と比較して下がってしまう可能性がある。
【０００６】
本発明は、以上の点に鑑みてなされたものであり、話者によるテキストのスムーズな音読を効果的に支援することが可能な音読練習装置、表示制御方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明は、文を音読するときの音声の波形を示す音声波形データを再生する再生制御手段と、前記音声波形データに基づいて複数に区分された文要素区間であって前記文を構成する複数の文要素それぞれの音読開始タイミングから音読終了タイミングまでの文要素区間の時間長に応じた長さのオブジェクトを前記文の先頭から時系列で第１表示領域に表示させる第１表示制御手段と、前記文のテキストデータに基づいて複数に区分されたテキストであって前記文要素を表すテキストを前記文の先頭から時系列で前記オブジェクトに対応付け、且つ前記文要素を表すテキストの全部または一部を前記対応付けられた前記オブジェクトに対応する限られた領域に表示させる第２表示制御手段と、前記音声波形データの再生に従って、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき第２表示領域に表示させ、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングに基づき消去する第３表示制御手段と、を備えることを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の音読練習装置において、前記第３表示制御手段は、前記音声波形データの再生に従って、前記文要素を表すテキストの全部が表示されるウインドウを前記文要素の音読開始タイミングに基づき前記第２表示領域にポップアップ表示させ、前記ポップアップ表示された前記ウインドウを前記音読終了タイミングに基づき消去することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項２に記載の音読練習装置において、前記第１表示制御手段は、前記音声波形データの再生に従って、前記オブジェクトが表示された前記第１表示領域をスクロールさせ、前記第３表示制御手段は、前記文要素を表すテキストの全部が表示される前記ウインドウを固定表示させることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項２または３に記載の音読練習装置において、前記文要素を表すテキストの全部の文字数が閾値より大きい場合、前記第３表示制御手段は、前記テキストの全部を複数行で前記ウインドウ内に表示させることを特徴とする。
【００１１】
請求項５に記載の発明は、請求項２乃至４の何れか一項に記載の音読練習装置において、前記文要素を表すテキストの全部の文字数が閾値より大きい場合、前記第３表示制御手段は、前記テキストを一部ずつ所定時間間隔で切り替えて前記ウインドウ内に表示させることを特徴とする。
【００１２】
請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の音読練習装置において、前記第３表示制御手段は、前記オブジェクトに対応する限られた領域に前記文要素を表すテキストの一部が表示される場合に限り、その文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき前記第２表示領域に表示させることを特徴とする。
【００１３】
請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の音読練習装置において、前記第３表示制御手段は、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングの所定時間前から表示させることを特徴とする。
【００１４】
請求項８に記載の発明は、請求項１乃至７の何れか一項に記載の音読練習装置において、前記第３表示制御手段は、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングの所定時間後に消去することを特徴とする。
【００１５】
請求項９に記載の発明は、請求項１乃至８の何れか一項に記載の音読練習装置において、前記第２表示領域には複数の部分表示領域が設定されており、隣合う２つの前記文要素を表すテキストが前記第２表示領域に表示される期間の一部が重なる場合に、前記第３表示制御手段は、それぞれの前記テキストを互いに異なる前記部分表示領域に表示させることを特徴とする。
【００１６】
請求項１０に記載の発明は、請求項１乃至９の何れか一項に記載の音読練習装置において、前記文を表すテキストの全部を第３表示領域に表示させ、前記第３表示領域に表示された前記テキストにおける前記文要素を表すテキストの表示色を前記文要素の音読開始タイミングに基づき変更する第４表示制御手段を更に備えることを特徴とする。
【００１７】
請求項１１に記載の発明は、１つ以上のコンピュータにより実行される表示制御方法であって、文を音読するときの音声の波形を示す音声波形データを再生する再生制御ステップと、前記音声波形データに基づいて複数に区分された文要素区間であって前記文を構成する複数の文要素それぞれの音読開始タイミングから音読終了タイミングまでの文要素区間の時間長に応じた長さのオブジェクトを前記文の先頭から時系列で第１表示領域に表示させる第１表示制御ステップと、前記文のテキストデータに基づいて複数に区分されたテキストであって前記文要素を表すテキストを前記文の先頭から時系列で前記オブジェクトに対応付け、且つ前記文要素を表すテキストの全部または一部を前記対応付けられた前記オブジェクトに対応する限られた領域に表示させる第２表示制御ステップと、前記音声波形データの再生に従って、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき第２表示領域に表示させ、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングに基づき消去する第３表示制御ステップと、を含むことを特徴とする。
【００１８】
請求項１２に記載の発明は、文を音読するときの音声の波形を示す音声波形データを再生する再生制御ステップと、前記音声波形データに基づいて複数に区分された文要素区間であって前記文を構成する複数の文要素それぞれの音読開始タイミングから音読終了タイミングまでの文要素区間の時間長に応じた長さのオブジェクトを前記文の先頭から時系列で第１表示領域に表示させる第１表示制御ステップと、前記文のテキストデータに基づいて複数に区分されたテキストであって前記文要素を表すテキストを前記文の先頭から時系列で前記オブジェクトに対応付け、且つ前記文要素を表すテキストの全部または一部を前記対応付けられた前記オブジェクトに対応する限られた領域に表示させる第２表示制御ステップと、前記音声波形データの再生に従って、前記文要素を表すテキストの全部を前記文要素の音読開始タイミングに基づき第２表示領域に表示させ、前記第２表示領域に表示された前記テキストの全部を前記音読終了タイミングに基づき消去する第３表示制御ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
請求項１，１１及び１２に記載の発明によれば、オブジェクトに対応する限られた領域に文要素を表すテキストが途切れて表示される場合であっても、そのテキストの全部を一定時間、第２表示領域に表示させるので、話者によるテキストのスムーズな音読を効果的に支援することができる。
【００２０】
請求項２に記載の発明によれば、文要素を表すテキストの全部が表示されるウインドウを、一定時間、第２表示領域にポップアップ表示させるので、文要素を表すテキストの視認性を向上することができる。
【００２１】
請求項３に記載の発明によれば、第２表示領域がスクロールしてもウインドウを固定表示させるので、文要素を表すテキストの視認性を向上することができる。
【００２２】
請求項４に記載の発明によれば、文要素を表すテキストの全部の文字数が多い場合であっても、そのテキストの全部をウインドウ内に表示させることができる。
【００２３】
請求項５に記載の発明によれば、文要素を表すテキストの全部の文字数が多い場合であっても、そのテキストの全部をウインドウ内に効果的に切替表示させることができる。
【００２４】
請求項６に記載の発明によれば、文要素を表すテキストの全部を表示させる処理負荷、及びメモリ使用容量を低減することができる。
【００２５】
請求項７に記載の発明によれば、文要素を表すテキストを話者に余裕を持って読ませることができる。
【００２６】
請求項８に記載の発明によれば、文要素を表すテキストを話者に余裕を持って読ませることができる。
【００２７】
請求項９に記載の発明によれば、隣合う２つの文要素を表すテキストの視認性を向上することができる。
【００２８】
請求項１０に記載の発明によれば、文要素を表すテキストの音読時に、そのテキストが文全体においてどの部分に位置するかを、話者に一見して把握させることができる。
【図面の簡単な説明】
【００２９】
【図１】本実施形態に係る音読練習装置Ｓの概要構成例を示す図である。
【図２】文要素区間リストの一例を示す図である。
【図３】ディスプレイＤに表示された表示画面の一例を示す図である。
【図４】表示バーに対応する限られた領域の例を示す図である。
【図５】（Ａ）は、隣合う文要素区間に対応するウインドウの表示継続期間の一部が重複する場合の表示画面の一例を示す図であり、（Ｂ）は、右側表示領域５２２において２つの吹き出し表示エリアが設定された場合の表示画面の一例を示す図である。
【図６】隣合う２つの文要素区間に対応するウインドウが互いに異なる吹き出し表示エリアに表示される場合の表示画面の一例を示す図である。
【図７】（Ａ）は、文要素を表すテキストの全部が複数行でウインドウ内に表示される場合の表示画面の一例を示す図であり、（Ｂ），（Ｃ）は、文要素を表すテキストの一部ずつ所定時間間隔で切り替えられてウインドウ内に表示される場合の表示画面の一例を示す図である。
【図８】表示領域のスクロール中にもウインドウが固定表示される場合の表示画面の一例を示す図である。
【図９】話者が音読練習を行うときの表示画面の遷移例を示す図である。
【図１０】話者が音読練習を行うときの表示画面の遷移例を示す図である。
【図１１】話者が音読練習を行うときの表示画面の遷移例を示す図である。
【図１２】音読練習処理中に行われる表示処理の一例を示すフローチャートである。
【図１３】ウインドウ[i]の表示処理の一例を示すフローチャートである。
【図１４】吹き出し出しリストの一例を示す図である。
【図１５】吹き出し表示されるウインドウの表示状態を示す概念図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態を図面に基づいて説明する。
【００３１】
［１.音読練習装置Ｓの構成及び機能］
初めに、図１を参照して、本発明の一実施形態に係る音読練習装置Ｓの構成及び機能について説明する。図１は、本実施形態に係る音読練習装置Ｓの概要構成例を示す図である。なお、音読練習装置の一例として、パーソナルコンピュータや、携帯型情報端末（スマートフォン等）などが挙げられる。図１に示すように、音読練習装置Ｓは、通信部１、記憶部２、制御部３、操作部４、及びインターフェース（ＩＦ）部５等を備えて構成され、これらの構成要素はバス６に接続されている。音読練習装置Ｓは、発話練習装置ともいう。操作部４は、ユーザからの操作（ユーザ操作）を受け付け、そのユーザ操作に応じた信号を制御部３へ出力する。ユーザ操作の例として、マウス操作、及びキーボード操作が挙げられる。なお、ディスプレイＤがタッチパネルディスプレイである場合、ユーザ操作は、ユーザの指やペン等による接触操作であってもよい。インターフェース部５には、マイクＭ、及びディスプレイＤ等が接続される。マイクＭは、語学学習、アナウンス、朗読などの発話練習等を行う練習者である話者が、複数の文要素を含む文（文章）を音読したときに発した音声を集音する。文要素は、文を構成する単位である。文要素の例として、フレーズ、文節、単語の他、複数のフレーズが結合した結合フレーズ等が挙げられる。ここで、フレーズは、一般に文章を読むときに一息で読む単位である。フレーズは、１以上の文節から構成される。つまり、１つのフレーズが１つの文節から構成される場合もあるし、１つのフレーズが複数の文節から構成される場合もある。文節は、例えば、１つ以上の単語のまとまりである。単語には、名詞、動詞、形容詞、副詞、及び接続詞等の自立語（単独で文節を構成できる品詞）や、助動詞及び助詞等の付属語（単独で文節を構成できない品詞）などがある。音読対象となる文の例として、語学学習や、アナウンス、朗読などで用いられる文章などが挙げられる。ディスプレイＤは、制御部３からの表示指令にしたがって、後述する表示領域等が配置される表示画面を表示する。なお、マイクＭ、及びディスプレイＤは、音読練習装置Ｓと一体型であってもよいし、別体であってもよい。
【００３２】
通信部１は、有線または無線によりネットワーク（図示せず）に接続してサーバ等と通信を行う。記憶部２は、例えばハードディスクドライブ等からなり、ＯＳ（オペレーティングシステム）、及び音読練習処理プログラム（本発明のプログラムを含む）を記憶する。音読練習処理プログラムは、コンピュータとしての制御部３に、音読練習処理を実行させるプログラムである。音読練習処理プログラムは、アプリケーションとして、所定のサーバからダウンロードされてもよいし、ＣＤ、ＤＶＤ等の記録媒体に記憶されて提供されてもよい。また、記憶部２は、複数の文要素を含む文のテキストデータと、この文を音読するときの手本となる音声の波形を示す音声波形データ（以下、「手本音声波形データ」という）を記憶する。ここで、テキストデータには、例えば、音読対象となる文を構成する各文要素を表すテキスト（文字）が文要素毎に区分されて規定されている。例えば、文要素間に挿入される句読点により区切られる。或いは、文要素を表すテキストには、先頭から順番にシリアル番号が付与されていてもよい。なお、手本音声波形データは、所定の音声ファイル形式で記憶される。
【００３３】
制御部３は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部３は、音読練習処理プログラムにより、音声処理部３１、表示処理部３２、及び音読評価部３３として機能する。音声処理部３１は、本発明における再生制御手段の一例である。表示処理部３２は、本発明における第１表示制御手段、第２表示制御手段、及び第３表示制御手段の一例である。
【００３４】
音声処理部３１は、所定の音声ファイル形式で記憶された手本音声波形データを処理対象として記憶部２から入力して再生する。なお、音声波形データは、離散化された時系列の音圧波形データであり、例えば、サンプリングレート44.1kHz、量子化16bit、及びモノラルの波形データである。音圧とは、音波による空気の圧力の変化分（Pa）をいう。本実施形態では、音圧として、瞬時音圧（Pa）の二乗平均平方根（RMS）である実効音圧（Pa）の大きさを計算上扱い易い数値で表した音圧レベル(dB)を適用する。音圧レベル(dB)は、広義には音量ともいう。
【００３５】
音声処理部３１は、再生された手本音声波形データに基づいて、各文要素の音読開始時間（つまり、音読開始タイミング）から、音読終了時間（つまり、音読終了タイミング）までの文要素区間を文要素毎に特定する。ここで、文要素区間とは、音声の波形の塊が例えばフレーズ単位で区分された区間である。音読開始時間は、手本音声波形データの再生開始時点（0:00）からの経過時間である。音読終了時間は、手本音声波形データの再生開始時点（0:00）からの経過時間である。音声処理部３１は、文要素毎に特定した文要素区間の音読開始時間及び音読終了時間と、それぞれの文要素を表すテキストを対応付けて文要素区間リストに登録する。これらの文要素を表すテキストは、例えば、再生された手本音声波形データに対応付けられているテキストデータから抽出され、例えば先頭の文要素区間から順に対応付けられる。図２は、文要素区間リストの一例を示す図である。図２に示す文要素区間リストには、手本音声波形データから特定された複数の文要素区間毎に、文要素を表すテキスト、音読開始時間、及び音読終了時間が対応付けられている。なお、図２に示す文要素区間[i]（i=0,1,2,3,4,5）は、シリアル番号を示す。
【００３６】
ここで、音読開始時間と音読終了時間は、それぞれ、音声の波形から認識されてもよいし、上述したように算出された音圧レベル(dB)から認識されてもよい。例えば、音声処理部３１は、音声の波形の振幅が所定値以上になった時点を音読開始時間として認識する。或いは、音声処理部３１は、音圧レベル(dB)が所定値以上になった時点を音読開始時間として認識する。また、例えば、音声処理部３１は、音声の波形の振幅幅が所定値未満になった時点を音読終了時間として認識する。或いは、音声処理部３１は、音圧レベル(dB)が所定値未満になった時点を音読終了時間として認識する。なお、例えば、音圧レベル(dB)が所定値未満になった時点から、音圧レベル(dB)が所定値以上になった時点までの時間（無音時間）が閾値以上である場合に限り、音圧レベル(dB)が所定値未満になった時点が音読終了時間として認識され、且つ音圧レベル(dB)が所定値以上になった時点が音読開始時間として認識されるとよい（音声の波形の振幅についても同様）。これは、無音時間が閾値より短い場合、その区間で文要素を区切らない趣旨である。なお、音声処理部３１は、再生された手本音声波形データに基づいて、複数の文要素のうち何れかの文要素の音読終了時間から次の文要素の音読開始時間までのインターバル区間を特定してもよい。
【００３７】
また、音声処理部３１は、再生された手本音声波形データから所定時間毎に切り出したデータから音圧レベル(dB)を音圧として所定時間間隔毎に特定する。そして、音声処理部３１は、所定時間間隔毎に特定した音圧を示す音圧データをＲＡＭに記憶する。また、音声処理部３１は、再生された音声波形データから所定時間毎に切り出したデータから基本周波数（Hz）を算出し、算出した基本周波数（Hz）を音高として所定時間間隔毎に特定する。なお、音高（抑揚、ピッチともいう）の特定方法には、例えば、ゼロクロス法やベクトル自己相関等の公知の手法を適用できる。そして、音声処理部３１は、所定時間間隔毎に特定した音高を示す音高データをＲＡＭに記憶する。なお、音圧特定及び音高特定するための上記所定時間は、文要素区間の時間長（時間的長さ）より短い時間であり、例えば１０ｍｓ程度に設定される。また、音声処理部３１は、再生された手本音声波形データから所定時間毎に切り出したデータを窓掛けで区切って（例えば、25ms毎にフレーム化）、フーリエ解析（ＦＦＴ）することで振幅スペクトルを求める。そして、音声処理部３１は、求めた振幅スペクトルにメルフィルタバンクをかけ、メルフィルタバンクの出力を対数化した値を離散コサイン変換（ＤＣＴ）することでＭＦＣＣ（メル周波数ケプストラム係数）を算出することで、手本の声道特性を示す特徴量として文要素区間毎に特定する。そして、音声処理部３１は、文要素区間毎に特定した、手本の声道特性を示す特徴量を示す特徴量データをＲＡＭに記憶する。
【００３８】
なお、音声処理部３１は、話者が音読練習で上記文を音読したときに発した音声であってマイクＭにより集音された音声の波形を示す音声波形データ（以下、「話者音声波形データ」という）を入力する。そして、音声処理部３１は、入力された話者音声波形データに基づいて、手本音声波形データと同様の方法で、各文要素の音読開始時間から音読終了時間までの文要素区間を文要素毎に特定し、特定した各文要素区間に対して各文要素を表すテキストを対応付ける。また、音声処理部３１は、入力された話者音声波形データから所定時間毎に切り出したデータから音圧レベル(dB)を音圧として所定時間間隔毎に特定し、且つ、入力された話者音声波形データから所定時間毎に切り出したデータから基本周波数（Hz）を算出し、算出した基本周波数（Hz）を音高として所定時間間隔毎に特定する。さらに、音声処理部３１は、手本音声波形データと同様の方法で、入力された話者音声波形データから話者の声道特性を示す特徴量として文要素区間毎に特定する。なお、音声処理部３１は、入力された話者音声波形データに基づいて、複数の文要素のうち何れかの文要素の音読終了時間から次の文要素の音読開始時間までのインターバル区間を特定してもよい。
【００３９】
次に、表示処理部３２は、話者が音読練習を行うための表示画面をディスプレイＤに表示させる。図３（Ａ），（Ｂ）は、ディスプレイＤに表示された表示画面の一例を示す図である。図３（Ａ）に示すように、表示画面には、手本表示領域５１、話者表示領域５２、全文表示領域５３、再生ボタン５４、スクロールバー５５、録音ボタン５６、及び総合評価点表示領域５７等が設けられている。手本表示領域５１（第１表示領域の一例）は、手本音声波形データから得られた情報を表示するための領域であり、話者表示領域５２は、話者音声波形データから得られた情報を表示するための領域である。手本表示領域５１と話者表示領域５２とは、時間軸ｔを挟んで上下方向（時間軸ｔと直交する縦方向）に並んで配置されており、矢印方向（左方向）にスクロール可能になっている。
【００４０】
例えば、話者が音読練習を行うためにユーザ操作により再生ボタン５４を指定すると、手本音声波形データが再生され、表示処理部３２は、手本音声波形データの再生に従って、図３（Ａ），（Ｂ）に示すように、手本表示領域５１をスクロールさせながら、手本音声波形データから得られた情報を手本表示領域５１に表示させる。図３（Ａ）の例では、手本音声波形データから得られた情報として、文要素区間の時間長に応じた長さの表示バー（オブジェクトの一例）５１ａ１〜５１ａ５、音高の時系列的な変化を表す折線グラフ５１ｂ１〜５１ｂ５、及び音圧の時系列的な変化を表す棒グラフ５１ｃ１〜５１ｃ５が手本表示領域５１に表示されている。一方、例えば、話者が音読練習を行うためにユーザ操作により録音ボタン５６を指定すると、話者により発せられた音声であってマイクＭにより集音された音声の録音が開始され、表示処理部３２は、その音声の波形を示す話者音声波形データの入力に従って、話者表示領域５２をスクロールさせながら、話者音声波形データから得られた情報（図示せず）を話者表示領域５２に表示（リアルタイムに表示）させる。なお、スクロールバー５５は、手本表示領域５１及び話者表示領域５２のスクロールに追従して右方向へ移動する。
【００４１】
また、図３（Ａ），（Ｂ）において、手本表示領域５１と話者表示領域５２上に描かれた縦線ＲＰは、手本音声波形データにおける現在の再生時間（再生位置）を示し、手本表示領域５１及び話者表示領域５２のスクロールには依存せず、図示する位置に固定表示される。話者表示領域５２は、縦線ＲＰを挟んで左側表示領域５２１と右側表示領域５２２とに分けられる。そして、話者音声波形データから得られた情報であってリアルタイムで表示される情報は、左側表示領域５２１に表示される（つまり、縦線ＲＰの位置から表れる）ようになっている。なお、左側表示領域５２１には、話者音声波形データから得られた情報として、文要素区間の時間長に応じた長さの表示バー、音高の時系列的な変化を表す折線グラフ、及び音圧の時系列的な変化を表す棒グラフが表示されることになる。
【００４２】
また、表示処理部３２は、手本音声波形データから特定された文要素区間の時間長に応じた長さの表示バー（図３（Ａ）の例では、５１ａ１〜５１ａ５）を文の先頭から時系列で手本表示領域５１に表示させるときに、文要素を表すテキストを文の先頭から時系列で表示バーに対応付け、且つ文要素を表すテキストの全部または一部を上記対応付けられた表示バーに対応する限られた領域に表示させる（つまり、描画する）。ここで、表示バーに対応する限られた領域とは、表示バーに対応する文要素区間の時間長に依存した有限の領域を意味し、図３（Ａ）の例では、表示バーを画する領域である。このため、例えば短い文要素区間に対して長いテキスト（つまり、文要素を表すテキスト）が対応付けられていると、そのテキスト全てを有限の領域内に描画できない場合がある。例えば、表示バー５１ａ３に対応する文要素区間には「ありがとうございます。」（文要素を表すテキストの全部）が対応付けられているが、表示バー５１ａ３に対応する限られた領域には「ありがとうございま」というように、文要素を表すテキストが途切れて表示（つまり、文要素を表すテキストの一部が表示）されている。
【００４３】
なお、図３（Ａ）の例において、表示バーに対応する限られた領域は、表示バーを画する領域であるが、これに限定されるものではない。図４は、表示バーに対応する限られた領域の例を示す図である。図４（Ａ）に示す表示バーは、図３（Ａ）に示す表示バー５１ａ３に相当し、文要素を表すテキストの一部である「ありがとうございま」は、表示バー内に収まっている。一方、図４（Ｂ）の例では、文要素を表すテキストの一部である「ありがとうございま」は、表示バー内に収まらず、はみ出しているように見える。図４（Ｂ）に示す表示バーの中はグラデーションが掛かっており、下から上に向かって色が薄く（例えば、背景色（例えば白色））との区別がつかなくなっている。図４（Ｂ）の例では、グラデーションが掛かっている領域だけでなく、背景色との区別がつかなくなっている領域も、表示バーに対応する限られた領域に該当する。一方、図４（Ｃ）の例では、文要素を表すテキストの一部である「ありがとうございま」は、表示バーに隣接した領域に表示されているが、このように表示バーに隣接した領域もまた、表示バーに対応する限られた領域に該当する。一方、図４（Ｄ）の例では、表示バーの左右両端は濃く、中心に向かう程薄くなっているが、中心部分の領域は背景色との区別がつかなくてもよい。図４（Ｄ）の例では、背景色との区別がつかない中心部分の領域を含めて、表示バーに対応する限られた領域に該当する。なお、上記の例では、表示バーの形状は矩形状としたが、これに限定されるものではなく、表示バーを一例とするオブジェクトは、例えば、多角形上、円形、または雲形になっていたり、波線になっていたり、単に縦棒で境界を示されただけであったりしてもよい。
【００４４】
上述したように、表示バーに対応する限られた領域に文要素を表すテキストが途切れて表示される場合、話者によるテキストのスムーズな音読が妨げられてしまう。そこで、本実施形態において、表示処理部３２は、手本音声波形データの再生に従って、表示バーに対応付けられる文要素を表すテキストの全部（図３（Ａ）の例では、「ありがとうございます。」）が表示されるウインドウ５１ｐ３を、この文要素（つまり、文要素区間）の音読開始時間（つまり、音読開始タイミング）に基づき右側表示領域５２２（第２表示領域の一例）に吹き出し表示（ポップアップ表示の一例）させ、吹き出し表示されたウインドウ５１ｐ３を、この文要素の音読終了時間（つまり、音読終了タイミング）に基づき消去する。このように、文要素を表すテキストの全部が表示されるウインドウを、一定時間、右側表示領域５２２にポップアップ表示させることで、文要素を表すテキストの視認性を向上することができる。例えば、文要素を表すテキストが表示されるウインドウ５１ｐ３は、手本音声波形データの再生開始時点（0:00）から、この文要素の音読開始時間が到来したときに吹き出し表示され、この文要素の音読終了時間が到来したときに消去される。この場合、ウインドウ５１ｐ３の表示継続期間は、図３（Ａ）に示す“ＳＴ(Standard visible Time)”となる。
【００４５】
しかし、話者によるテキストの読み易さを考慮すると、ウインドウ５１ｐ３の表示継続期間には、ある程度、時間的な余裕を持たせることが望ましい。このため、表示処理部３２は、ウインドウ５１ｐ３を文要素の音読開始時間の所定時間ＢＴ（Before Time）前から表示させ、ウインドウ５１ｐ３を文要素の音読終了時間の所定時間ＡＴ（After Time）後に消去する。この場合、ウインドウ５１ｐ３の表示継続期間は、図３（Ａ）に示す“ＶＴ(Visible Time)”（＝ＢＴ＋ＳＴ＋ＡＴ）となる。これにより、話者は、ウインドウ５１ｐ３に表示されたテキストを余裕を持って読むことができる。図３（Ａ），（Ｂ）の例では、「ありがとうございます。」が表示されるウインドウ５１ｐ３は、吹き出し表示されてから“ＶＴ”の時間が経過した時点で消去され、その後に、「この電車は、」が表示されるウインドウ５１ｐ４が吹き出し表示されることになる。ウインドウ５１ｐ３は、文要素の音読開始時間の所定時間ＢＴ前から吹き出し表示され、文要素の音読終了時間が到来したときに消去されるように構成してもよい。また、ウインドウ５１ｐ３は、文要素の音読開始時間が到来したときに吹き出し表示され、文要素の音読終了時間の所定時間ＡＴ後に消去されるように構成してもよい。なお、表示処理部３２は、表示バーに対応する限られた領域に文要素を表すテキストの一部が表示される場合（つまり、文要素を表すテキストが途切れて表示される場合）に限り、その文要素を表すテキストの全部が表示されるウインドウを文要素の音読開始時間に基づき右側表示領域５２２に吹き出し表示させてもよい。これにより、ウインドウを表示させる処理負荷、及びメモリ使用容量を低減することができる。
【００４６】
ところで、ウインドウの吹き出し表示とは、ウインドウが右側表示領域５２２上にポップアップ（言い換えると、重畳）する表示（ポップアップ表示）であり、なおかつ、対応する表示バーからウインドウが吹き出されるように表示されることをいう。表示バーからウインドウが吹き出されるように表示させることで、話者に対して表示バーとウインドウとの対応関係を明確に把握させることができる。このような吹き出しの表示形態は、ウインドウと表示バーとの対応関係を明確に把握させることができるのであればどのように構成してもよい。図３（Ｂ）の例では、ウインドウは、長方形の上部に三角形が付加された形状をしており、その三角形の頂点が表示バーに接触している例を示しているが、三角形の頂点は表示バーを指し示せばよいので、この頂点は表示バーから離れていてもよい。また、表示バーを指し示すのは三角形ではなく、複数の楕円が離間した図形であってもよいし、線（例えば、実線または破線）であってもよい。また、ウインドウは、多角形、円形、または雲形の上部に三角形（または、複数の楕円が離間した図形、または線）が付加された形状をしていてもよい。また、ウインドウの時間軸方向（横方向）の長さ（ピクセル数）は、ウインドウ内に表示されるテキストの文字数に応じて変化するように構成するとよい。この場合、テキストの文字数が少ないほどウインドウの時間軸方向の長さは短くなる。また、表示バーとウインドウとの対応関係が明確であれば、ウインドウは、右側表示領域５２２上に、単にポップアップ表示される（つまり、吹き出しは行わない）ように構成してもよい。また、別の例として、ウインドウをポップアップ表示させずに、文要素を表すテキストの全部を右側表示領域５２２上に直接表示させるように構成してもよい。
【００４７】
全文表示領域５３（第３表示領域の一例）は、文を表すテキストの全部（つまり、全文）を表示するための領域である。表示処理部３２は、図３（Ａ）に示すように文を表すテキストの全部を全文表示領域５３に表示させ、右側表示領域５２２上に文要素を表すテキストを表示させるときに（例えば、文要素を表すテキストが表示されるウインドウを吹き出し表示させるときに）、全文表示領域５３に表示されたテキストにおける文要素を表すテキストの表示色を文要素の音読開始時間に基づき変更する（つまり、ハイライト表示させる）。これにより、文要素を表すテキストの音読時に、そのテキストが、文全体においてどの部分に位置するかを話者に一見して把握させることができる。図３（Ａ）の例では、「ありがとうございます。」が表示されるウインドウ５１ｐ３が表示されている間に、全文表示領域５３に表示されたテキストにおける文要素を表すテキスト５３ｈ３「ありがとうございます。」の表示色が黒色から赤色に変更されている。なお、図３（Ａ）の例では、テキスト５３ｈ３は、さらに、太字に変更され、その背景色も変更されている。また、図３（Ｂ）の例では、「この電車は、」が表示されるウインドウ５１ｐ４が表示されている間に、全文表示領域５３に表示されたテキストにおける文要素を表すテキスト５３ｈ４「この電車は、」の表示色が黒色から赤色に変更されている。なお、図３（Ｂ）の例でも、テキスト５３ｈ４は、さらに、太字に変更され、その背景色も変更されている。総合評価点表示領域５７は、全文要素区間における評価項目（例えば、抑揚、音量、滑舌、及び速度）別の総合評価点と、全インターバル区間における間合いに対する総合評価点と、全区間における総合評価点（総合得点）を表示するための領域である。総合評価点表示領域５７に表示される総合評価点は、音読評価部３３により算出される（詳細は後述）。
【００４８】
また、図３（Ａ）の例では、ウインドウ５１ｐ３を文要素の音読開始時間の所定時間ＢＴ前から吹き出し表示させ、文要素の音読終了時間の所定時間ＡＴ後に消去するように構成したが、隣合う文要素区間の間隔が所定時間ＢＴまたは所定時間ＡＴに比べて短い場合、右側表示領域５２２において、隣合う２つの文要素区間に対応するウインドウ（つまり、隣合う２つの文要素を表すテキスト）の表示継続期間が重複し、その結果、隣合う文要素区間に対応するウインドウが重なって表示され、視認性が阻害されてしまうことがある。図５（Ａ）は、隣合う文要素区間に対応するウインドウの表示継続期間の一部が重複する場合の表示画面の一例を示す図である。図５（Ａ）に示す“ＶＴ１”は、表示バー５１ａ４に対応するウインドウ（この例では、まだ表示されていない）の表示継続期間を示し、図５（Ａ）に示す“ＶＴ２”は、表示バー５１ａ５に対応するウインドウの表示継続期間を示し、図５（Ａ）に示す“ＶＴ３”は、表示バー５１ａ６に対応するウインドウの表示継続期間を示している。図５（Ａ）に示すように、表示継続期間ＶＴ１と表示継続期間ＶＴ２には重複する期間が存在し、表示継続期間ＶＴ１と表示継続期間ＶＴ２には重複する期間が存在しているため、この重複する期間において、２つのウインドウ（つまり、隣合う２つの文要素を表すテキスト）が重なって表示され、視認性が阻害されてしまう。
【００４９】
そこで、本実施形態では、右側表示領域５２２に複数の吹き出し表示エリア（部分表示領域の一例）が設定される。そして、表示処理部３２は、隣合う２つの文要素区間に対応するウインドウ（つまり、隣合う２つの文要素を表すテキスト）が右側表示領域５２２に表示される表示継続期間の一部が重なる場合に、それぞれのウインドウを互いに異なる吹き出し表示エリアに表示させる。これにより、隣合う２つの文要素区間に対応するウインドウが重なって表示されることを回避し、隣合う２つの文要素を表すテキストの視認性を向上することができる。図５（Ｂ）は、右側表示領域５２２において２つの吹き出し表示エリアが設定された場合の表示画面の一例を示す図である。なお、図５（Ｂ）の例では、第１吹き出しエリア５２２ａと第２吹き出しエリア５２２ｂとが設定されているが、３つの以上の第１吹き出しエリアが設定されてもよい。また、図５（Ｂ）の例では、第１吹き出しエリア５２２ａと第２吹き出しエリア５２２ｂとが上下に設定されているが、第１吹き出しエリア５２２ａと第２吹き出しエリア５２２ｂとが左右に設定されてもよい。
【００５０】
図６（Ａ）〜（Ｃ）は、隣合う２つの文要素区間に対応するウインドウが互いに異なる吹き出し表示エリアに表示される場合の表示画面の一例を示す図（遷移図）である。先ず、図６（Ａ）に示すように、「この電車は、」が表示されるウインドウ５１ｐ４が文要素の音読開始時間の所定時間ＢＴ前の時点で第１吹き出しエリア５２２ａに吹き出し表示される。続いて、図６（Ｂ）に示すように、「東西線  急行、」が表示されるウインドウ５１ｐ５が文要素の音読開始時間の所定時間ＢＴ前の時点で第２吹き出しエリア５２２ｂに吹き出し表示される。このように、隣合う２つの文要素区間に対応するウインドウ５１ｐ４，５１ｐ５は互いに異なる吹き出しエリアに吹き出し表示される。しかも、図６（Ｂ）の例では、２つのウインドウ５１ｐ４，５１ｐ５の背景色が互いに異なっているので、隣合う２つの文要素を表すテキストの視認性を大幅に向上することができる。続いて、図６（Ｃ）に示すように、「この電車は、」が表示されるウインドウ５１ｐ４が文要素の音読終了時間の所定時間ＡＴ後の時点で第１吹き出しエリア５２２ａから消去される。その後も、隣合う２つの文要素区間に対応するウインドウが互いに異なる吹き出しエリアに交互に表示されることになる。なお、図６（Ｃ）の例において、ウインドウ５１ｐ４が第１吹き出しエリア５２２ａから消去されたときに、ウインドウ５１ｐ５を第２吹き出しエリア５２２ｂから消去し、且つ第１吹き出しエリア５２２ａに吹き出し表示させるように構成してもよい。つまり、隣合う２つの文要素を表すテキストの内、先に音読するテキストを表示するウインドウは常に上側の第１吹き出しエリア５２２ａに表示し、後に音読するテキストを表示するウインドウは常に下側の第２吹き出しエリア５２２ｂに表示するように表示されることになる。
【００５１】
上述したように、図３及び図６では、ウインドウ内に文要素を表すテキストの全部が１行で表示される例を示したが、表示処理部３２は、文要素を表すテキストの全部の文字数が閾値より大きい場合、このテキストの全部を複数行でウインドウ内に表示させてもよい。ここで、閾値は、例えばウインドウ内で１行に表示可能な最大文字数に設定される。図７（Ａ）は、文要素を表すテキストの全部が複数行でウインドウ内に表示される場合の表示画面の一例を示す図である。図７（Ａ）の例では、第１吹き出しエリア５２２ａに吹き出し表示されたウインドウ５１ｐ１１内のテキストは２行で表示されている。これにより、文要素区間に対応付けられたテキストの全部の文字数が多い場合であっても、そのテキストの全部をウインドウ内に表示させることができる。なお、テキストの全部を複数行でウインドウ内に表示させる場合、例えば句読点などの位置で区切り、区切られた位置以降のテキストを次の行に表示されるように構成してもよい。
【００５２】
別の例として、表示処理部３２は、文要素を表すテキストの全部の文字数が閾値より大きい場合、このテキストを一部ずつ所定時間間隔で切り替えてウインドウ内に表示させてもよい。ここで、閾値は、例えばウインドウ内に複数行で表示可能な最大文字数に設定される。図７（Ｂ），（Ｃ）は、文要素を表すテキストの一部ずつ所定時間間隔で切り替えられてウインドウ内に表示される場合の表示画面の一例を示す図である。図７（Ｂ）に示すように、第１吹き出しエリア５２２ａに吹き出し表示されたウインドウ５１ｐ１１内には文要素を表すテキストの一部が２行で表示されており、所定時間が経過すると、図７（Ｃ）に示すように、文要素を表すテキストは１行分上方向にスクロールされることで、表示されていなかった残りのテキストが表示されることになる。これにより、文要素区間に対応付けられたテキストの全部の文字数が多い場合であっても、そのテキストの全部をウインドウ内に効果的に切替表示させることができる。
【００５３】
なお、上述したように、表示処理部３２は、手本音声波形データの再生に従って、表示バーが表示された手本表示領域５１及び話者表示領域５２をスクロールさせるが、このスクロール中にも、文要素を表すテキストの全部が表示されるウインドウを右側表示領域５２２上（例えば、右側表示領域５２２上の上位レイヤ）に固定表示させる。図８（Ａ），（Ｂ）は、表示領域のスクロール中にもウインドウが固定表示される場合の表示画面の一例を示す図（遷移図）である。図８（Ａ）に示すように、ウインドウ５１ｐ２１が表示バー５１ａ２１から吹き出し表示されているが、その後、図８（Ｂ）に示すように、ウインドウ５１ｐ２１に対応する表示バー５１ａ２１がスクロールにより左方向に移動しても、ウインドウ５１ｐ２１は固定表示されている（つまり、第１吹き出しエリア５２２ａまたは第２吹き出しエリア５２２ｂの外に当たる領域、例えばｐｏｐＮＧの位置に移動しない）。これにより、文要素を表すテキストの視認性を向上することができる。
【００５４】
次に、音読評価部３３は、手本音声波形データから特定された文要素区間と、話者音声波形データから特定された文要素区間とを対応付けて文要素区間毎に話者の音読に対する評価を行う。このとき、音読評価部３３は、上記区間毎、且つ複数の評価項目毎に、話者の音読に対する評価を行うとよい。ここで、評価項目の例として、抑揚、音量、滑舌、及び速度が挙げられる。例えば、音読評価部３３は、手本音声波形データから特定された音高と、話者音声波形データから特定された音高との差を文要素区間毎に算出し、算出した差に基づいて、話者の抑揚に対する評価点を文要素区間毎に算出する。この評価点は、例えば３０点を満点とし、差が０に近いほど高くなる（満点に近づく）ように算出される。また、音読評価部３３は、手本音声波形データから特定された音圧と、話者音声波形データから特定された音圧との差を文要素区間毎に算出し、算出した差に基づいて、話者の音量に対する評価点を文要素区間毎に算出する。この評価点は、例えば３０点を満点とし、差が０に近いほど高くなるように算出される。また、音読評価部３３は、手本の声道特性を示す特徴量と話者の声道特性を示す特徴量との類似度を文要素区間毎に算出し、算出した類似度に基づいて、話者の滑舌に対する評価点を文要素区間毎に算出する。この評価点は、例えば３０点を満点とし、類似度が高いほど高くなるように算出される。また、音読評価部３３は、手本音声波形データから特定された文要素区間の時間長と、話者音声波形データから特定された文要素区間の時間長との時間差を文要素区間毎に算出し、算出した時間差の絶対値に基づいて、話者の速度（音読スピード）に対する評価点を文要素区間毎に算出する。この評価点は、例えば３０点を満点とし、時間差の絶対値が０に近いほど高くなるように算出される。
【００５５】
また、音読評価部３３は、手本音声波形データから特定されたインターバル区間と、話者音声波形データから特定されたインターバル区間とを対応付けてインターバル区間毎に、話者の間（間合い）に対する評価を行ってもよい。例えば、音読評価部３３は、手本音声波形データから特定されたインターバル区間の時間長と、話者音声波形データから特定されたインターバル区間の時間長との時間差をインターバル区間毎に算出し、算出した時間差の絶対値に基づいて、話者の間合いに対する評価点をインターバル区間毎に算出する。この評価点は、例えば３０点を満点とし、時間差の絶対値が０に近いほど高くなるように算出される。また、音読評価部３３は、文要素区間毎の評価項目別の評価点の平均値（合計値でもよい）を全文要素区間における評価項目別の総合評価点として算出し、インターバル区間毎の評価点の平均値（合計値でもよい）を全インターバル区間における間合いに対する総合評価点として算出する。さらに、音読評価部３３は、全文要素区間における評価項目別の総合評価点と、全インターバル区間における間合いに対する総合評価点との合計値（平均値でもよい）を、全区間（全文要素区間と全インターバル区間）における総合評価点として算出する。
【００５６】
［２.音読練習装置Ｓの動作］
次に、図９〜図１５を参照して、音読練習装置Ｓの動作について説明する。図９〜図１１は、話者が音読練習を行うときの表示画面の遷移例を示す図である。図１２は、制御部３による音読練習処理中に行われる表示処理の一例を示すフローチャートであり、図１３は、制御部３によるウインドウ[i]の表示処理の一例を示すフローチャートである。図１４は、図１２に示す表示処理において作成される吹き出し出しリストの一例を示す図である。図１５は、図１２に示す表示処理において吹き出し表示されるウインドウの表示状態を示す概念図である。
【００５７】
先ず、ユーザ操作により音読練習処理プログラムが起動して音読練習処理が開始されると、ディスプレイＤには図９（Ａ）に示す表示画面が表示される。図９（Ａ）に示す表示画面において、話者がユーザ操作により練習ボタン６１を指定（例えば、マウスでクリック）すると、ディスプレイＤには図９（Ｂ）に示す表示画面が表示される。
【００５８】
次に、図９（Ｂ）に示す表示画面において、話者がユーザ操作によりユーザＩＤ及びパスワードを入力し、ログインボタン６２を指定すると、ログイン処理が開始される。このログイン処理中、ディスプレイＤには図９（Ｃ）に示す表示画面が表示される。そして、ログイン処理によりログインが成功すると、ディスプレイＤには図１０（Ａ）に示す表示画面が表示される。
【００５９】
次に、図１０（Ａ）に示す表示画面において、話者がユーザ操作により一覧表示６３から音読対象となる文のファイル名を選択し、練習ボタン６４を指定すると、選択されたファイル名に対応する手本音声波形データ及びテキストデータが記憶部２から制御部３に読み込まれ、ディスプレイＤには図１０（Ｂ）に示す表示画面が表示される。
【００６０】
次に、図１０（Ｂ）に示す表示画面において、話者がユーザ操作により再生ボタン５４及び録音ボタン５６を指定（或いは、録音ボタン５６のみを指定）すると、手本音声波形データの再生、話者音声波形データの入力（つまり、話者により発せられた音声の録音）、及び手本表示領域５１と話者表示領域５２のスクロールが開始されると共に、図１２に示す表示処理が開始される。なお、図１０（Ｂ）に示す表示画面に表示された矢印ボタン５８は、手本表示領域５１と話者表示領域５２のスクロールを先頭に戻すボタンである。また、図１０（Ｂ）に示す表示画面に表示された時間Ｔは、現在のスクロール位置（例えば、現在の再生時間ＲＰ）が先頭から何秒経過した再生位置かを示す。こうして、図１２に示す表示処理が開始されると、図１０（Ｃ）に示すように、録音ボタン５６の表示が終了ボタン５９の表示に切り替わる。なお、表示処理の詳細は後述する。そして、話者がユーザ操作により終了ボタン５９を指定するか、或いは手本音声波形データの再生が終了（言い換えると、話者により発せられた音声の録音終了）すると、ディスプレイＤには図１１（Ａ）に示す表示画面が表示される。
【００６１】
次に、図１１（Ａ）に示す表示画面において、話者がユーザ操作により“はい”ボタン６５を指定すると、音読評価部３３による話者の音読に対する評価（採点）処理が開始される。この評価処理中、ディスプレイＤには図１１（Ｂ）に示す表示画面が表示される。一方、図１１（Ａ）に示す表示画面において、話者がユーザ操作により“いいえ”ボタン６６を指定すると、練習前（つまり、録音ボタン５６の指定前）の状態へ戻る。そして、評価処理が完了すると、ディスプレイＤには図１１（Ｃ）に示す表示画面が表示される。
【００６２】
図１１（Ｃ）に示す表示画面の話者表示領域５２には、話者音声波形データから得られた情報が表示されている。そのうち、話者がユーザ操作により、ある文要素区間の時間長に応じた長さの表示バー５２ａ１に、例えばマウスのポインタを重畳させる（つまり、マウスオーバーする）と、その文要素区間における話者の音読に対する評価結果（評価項目毎の評価点）を表示するウインドウ６７がポップアップ表示される。このウインドウ６７には、評価項目毎の評価点の右横に配点（満点）、及び満点に対する得点率に応じた表示形態のアイコンが表示されている。例えば、晴れを表すアイコンは90％以上を示し、曇りを表すアイコンは50〜79％を示し、雨を表すアイコンは50％未満を示している。
【００６３】
また、図１１（Ｃ）に示す表示画面の総合評価点表示領域５７には、全文要素区間における評価項目（例えば、抑揚、音量、滑舌、及び速度）別の総合評価点と、全インターバル区間における間合いに対する総合評価点と、全区間における総合評価点（総合得点）が表示されている。そして、話者がユーザ操作により、総合評価点表示領域５７に、例えばマウスのポインタを重畳させる（つまり、マウスオーバーする）と、総合評価点表示領域５７に変えて総合評価点表示領域６８が表示される。総合評価点表示領域６８には、全文要素区間における評価項目別の総合評価点の右横に配点（満点）が表示されている。
【００６４】
ここで、図１２に示す表示処理の詳細について説明する。図１２に示す表示処理が開始されると、制御部３における表示処理部３２のメインモジュールは、上記読み込まれた手本音声波形データに対応付けられた文要素区間リストに基づいて吹き出しリストを作成する（ステップＳ１）。図１４に示す吹き出しリストは、図２に示す文要素区間リストに基づいて作成されたリストである。図１４に示す各ウインドウ[i]のレコードは、図２に示す各文要素区間[i]のレコードに１対１で対応している。図１４に示すように、各ウインドウ[i]のレコードには、テキスト、表示開始時間、表示終了時間、表示状態、表示エリア、表示行数、及び切替時間が登録されている。図１４に示す各テキスト（文要素を表すテキスト）は、それぞれに対応するウインドウ[i]内に表示される。図１４に示す各ウインドウ[i]の表示開始時間は、それぞれに対応する音読開始時間（図２において[i]が同じである音読開始時間）から所定時間ＢＴ前の時間に設定されている。図１４に示す各ウインドウ[i]の表示終了時間は、音読終了時間（図２において[i]が同じである音読終了時間）から所定時間ＡＴ後の時間に設定されている。なお、図１４の例では、所定時間ＢＴ及び所定時間ＡＴは、それぞれ、500msに設定されているが、この時間は任意に設定可能である。図１４に示すウインドウ[i]の表示状態は、変数statusになっており、このstatusは、表示処理において、図１５に示すように、ready（表示準備中）→visible（表示中）→complete（表示済）と変化する。図１５に示す“Current Time”は、現在の再生時間（再生位置）を示す。
【００６５】
また、図１４に示すウインドウ[i]の表示エリアは、ウインドウ[i]が表示されるエリアを示す。表示エリアが“１”であるウインドウ[i]は、第１吹き出しエリア５２２ａに表示される一方、表示エリアが“２”であるウインドウ[i]は、第２吹き出しエリア５２２ｂに表示される。図１４に示すウインドウ[i]の表示行数は、文要素を表すテキストがウインドウ[i]内で表示される行数を示す。例えば、ウインドウ[i]内で１行に表示可能な最大文字数が予め設定されているとすると、ウインドウ[i]の表示行数は、これに表示されるテキストの文字数を、予め設定された最大文字数で割ることにより決定される。図１４に示すウインドウ[i]の切替時間は、文要素を表すテキストがウインドウ[i]内で予め設定された最大表示行数（例えば、２行）で収まらない場合に、ウインドウ[i]の表示開始時間から１行分上方向にスクロール開始（切替開始）するまでの時間を示す。例えば、ウインドウ[i]内で予め設定された最大表示行数が２行であり、ウインドウ[i]内にテキストを全部表示させるには３行で必要ある場合、ウインドウ[i]の切替時間は、ウインドウ[i]の表示開始時間に１．５×（１行あたりの表示継続時間）を加えた時間として算出される。ここで、１行あたりの表示継続時間は、ウインドウ[i]の表示開始時間から表示終了時間までの表示継続期間を、ウインドウ[i]の表示行数で割ることで算出される。なお、上記の場合、ウインドウ[i]の切替時間は、ウインドウ[i]の表示開始時間に２×（１行あたりの表示継続時間）を加えた時間として算出されてもよい。
【００６６】
次いで、表示処理部３２のメインモジュールは、シリアル番号を示す変数ｉに０を代入する（ステップＳ２）。次いで、表示処理部３２のメインモジュールは、ステップＳ１で作成された吹き出しリストに登録された全ウインドウの表示が完了したか否かを判定する（ステップＳ３）。表示処理部３２のメインモジュールは、吹き出しリストに登録された全ウインドウの表示が完了したと判定した場合（ステップＳ３：ＹＥＳ）、表示処理を終了する。一方、表示処理部３２のメインモジュールは、吹き出しリストに登録された全ウインドウの表示が完了していないと判定した場合（ステップＳ３：ＮＯ）、吹き出しリストを参照して、表示状態がcomplete（表示済）でなく、且つ、表示開始時間がCurrent Time（現在の再生時間）以下である（つまり、表示開始時間が到来した）との条件を満たすウインドウを検索する（ステップＳ４）。そして、表示処理部３２のメインモジュールは、ステップＳ４における条件を満たすウインドウが抽出されたか否かを判定する（ステップＳ５）。表示処理部３２のメインモジュールは、ステップＳ４における条件を満たすウインドウが抽出されないと判定した場合（ステップＳ５：ＮＯ）、ステップＳ３に戻る。一方、表示処理部３２のメインモジュールは、ステップＳ４における条件を満たすウインドウが抽出されたと判定した場合（ステップＳ５：ＹＥＳ）、ステップＳ６へ進む。
【００６７】
ステップＳ６では、表示処理部３２のメインモジュールは、ウインドウ[i]の表示状態がready（表示準備中）であるか否かを判定する。表示処理部３２のメインモジュールは、ウインドウ[i]の表示状態がready（表示準備中）でないと判定した場合（ステップＳ６：ＮＯ）、変数ｉを１インクリメントし（ステップＳ８）、ステップＳ９へ進む。ステップＳ９では、表示処理部３２のメインモジュールは、ステップＳ５で抽出されたウインドウを全て処理したか否かを判定する。表示処理部３２のメインモジュールは、ステップＳ５で抽出されたウインドウを全て処理していないと判定した場合（ステップＳ９：ＮＯ）、ステップＳ６に戻る。一方、表示処理部３２のメインモジュールは、ステップＳ５で抽出されたウインドウを全て処理したと判定した場合（ステップＳ９：ＹＥＳ）、ステップＳ３に戻る。
【００６８】
一方、表示処理部３２のメインモジュールは、ウインドウ[i]の表示状態がready（表示準備中）であると判定した場合（ステップＳ６：ＹＥＳ）、ウインドウ[i]の表示指令により、表示処理部３２のサブモジュールを生成、実行する（ステップＳ７）。つまり、この例では、表示処理部３２のサブモジュールは、メインモジュールが実行されるスレッドとは独立した新しいスレッドで実行されることになる。表示処理部３２のサブモジュールは、図１３に示すように、ウインドウ[i]の表示を開始する。なお、表示処理部３２のサブモジュールは、表示処理部３２のメインモジュールとは非同期で処理を行う。このような処理は、例えば、ＯＳのマルチタスク機能により行われる。また、上述したように、複数のウインドウ[i]の表示継続期間の一部が重複する場合、同じ時間帯で複数のサブモジュールが非同期で動作する場合もある。
【００６９】
図１３に示すウインドウ[i]の表示開始では、表示処理部３２のサブモジュールは、吹き出しリストにしたがって、ウインドウ[i]を、第１吹き出しエリア５２２ａまたは第２吹き出しエリア５２２ｂに吹き出し表示させる。次いで、表示処理部３２のサブモジュールは、ウインドウ[i]の表示状態をvisible（表示中）に設定する（ステップＳ１１）ことで、吹き出しリストにおけるウインドウ[i]の表示状態を更新する。次いで、表示処理部３２のサブモジュールは、変数ｊに０を代入する（ステップＳ１２）。次いで、表示処理部３２のサブモジュールは、吹き出しリストを参照して、ウインドウ[i]の表示切替があるか否かを判定する（ステップＳ１３）。例えば、表示処理部３２のサブモジュールは、ウインドウ[i]の切替時間が吹き出しリストに登録されている場合、ウインドウ[i]の表示切替があると判定し（ステップＳ１３：ＹＥＳ）、ステップＳ１４へ進む。一方、表示処理部３２のサブモジュールは、ウインドウ[i]の表示切替がないと判定した場合（ステップＳ１３：ＮＯ）、ステップＳ１７へ進む。
【００７０】
ステップＳ１４では、表示処理部３２のサブモジュールは、吹き出しリストを参照して、ウインドウ[i]の表示開始時間からｊ番目の切替時間が到来したか否かを判定する。表示処理部３２のサブモジュールは、ｊ番目の切替時間が到来したと判定した場合（ステップＳ１４：ＹＥＳ）、ステップＳ１５へ進む。一方、表示処理部３２のサブモジュールは、ｊ番目の切替時間が到来していないと判定した場合（ステップＳ１４：ＮＯ）、ステップＳ１３に戻る。ステップＳ１５では、表示処理部３２のサブモジュールは、ウインドウ[i]内で１行表示切替（つまり、１行分上方向にスクロール）を行う。次いで、表示処理部３２のサブモジュールは、変数ｊを１インクリメントし（ステップＳ１６）、ステップＳ１７へ進む。
【００７１】
ステップＳ１７では、表示処理部３２のサブモジュールは、吹き出しリストを参照して、ウインドウ[i]の表示終了時間がCurrent Time（現在の再生時間）以下である（つまり、表示終了時間が到来した）か否かを判定する。表示処理部３２のサブモジュールは、ウインドウ[i]の表示終了時間がCurrent Time（現在の再生時間）以下であると判定した場合（ステップＳ１７：ＹＥＳ）、ステップＳ１８へ進む。一方、表示処理部３２のサブモジュールは、ウインドウ[i]の表示終了時間がCurrent Time（現在の再生時間）以下でないと判定した場合（ステップＳ１７：ＮＯ）、ステップＳ１３に戻る。ステップＳ１８では、ウインドウ[i]の表示状態をcomplete（表示済）に設定することで吹き出しリストにおけるウインドウ[i]の表示状態を更新し、ウインドウ[i]を消去（表示消去）して処理を終了する。
【００７２】
以上説明したように、上記実施形態によれば、音読練習装置Ｓは、表示バーに対応付けられる文要素を表すテキストの全部が表示されるウインドウを、この文要素の音読開始時間に基づき吹き出し表示させ、吹き出し表示されたウインドウを、この文要素の音読終了時間に基づき消去するように構成したので、表示バーに対応する限られた領域に文要素を表すテキストが途切れて表示される場合であっても、話者によるテキストのスムーズな音読を効果的に支援することができる。
【符号の説明】
【００７３】
１  通信部
２  記憶部
３  制御部
４  操作部
５  インターフェース部
６  バス
３１  音声処理部
３２  表示処理部
３３  音読評価部
Ｓ  音読練習装置
【図１】
0006418179.tif 000002
【図２】
0006418179.tif 000003
【図３】
0006418179.tif 000004
【図４】
0006418179.tif 000005
【図５】
0006418179.tif 000006
【図６】
0006418179.tif 000007
【図７】
0006418179.tif 000008
【図８】
0006418179.tif 000009
【図９】
0006418179.tif 000010
【図１０】
0006418179.tif 000011
【図１１】
0006418179.tif 000012
【図１２】
0006418179.tif 000013
【図１３】
0006418179.tif 000014
【図１４】
0006418179.tif 000015
【図１５】
0006418179.tif 000016