(57)【要約】【課題】言語の音読学習でユーザによりテキストの読上げ音声が入力された際、そのテキストについて適切に音調が変更された音声になっているか目視で容易に確認可能にする。【解決手段】文を読み上げる模範の音声を、教師等による読み上げにより直接あるいはデータベースから選択し音声出力部から出力しながら入力すると、当該模範の音声データが音声認識によりテキスト化されると共に単語毎に語尾部分の音調が判定され、テキスト化された各単語の語尾の文字をその音調に応じた形態で識別した模範テキストＴｍが生成されて模範表示エリア１７Ｍに表示される。この模範音声およびテキストＴｍに習って、ユーザ（学習者）による読み上げ音声を入力すると、前記同様の音声認識テキスト化処理および音調判定処理により各単語の語尾部分を識別して生成されたユーザテキストＴｕが前記模範表示エリア１７Ｍに並べたユーザ表示エリア１７Ｕに対比表示される。【選択図】      図６
2014059330.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
文の読み上げ音声を入力する音声入力手段と、
この音声入力手段により入力された音声を認識してテキスト化する音声認識手段と、
前記音声入力手段により入力された音声の音調を前記音声認識手段によりテキスト化された単語毎に判定する音調判定手段と、
前記音声認識手段によりテキスト化されたテキストデータと前記音調判定手段により判定された単語毎の音調に基づいて、各単語をその音調に応じた形態に識別してなる音調還元テキストデータを生成する音調還元テキスト生成手段と、
この音調還元テキスト生成手段により生成された音調還元テキストデータを前記表示部に表示させる音調還元テキスト表示制御手段と、
を備えたことを特徴とする音調表示制御装置。
【請求項２】
前記表示部は、模範表示エリアと当該模範表示エリアに対比可能なユーザ表示エリアとを有し、
前記音調還元テキスト表示制御手段は、前記音声入力手段により模範の読み上げ音声が入力された場合は、前記音調還元テキスト生成手段により生成された模範の音調還元テキストデータを前記模範表示エリアに表示させ、前記音声入力手段によりユーザの読み上げ音声が入力された場合は、前記音調還元テキスト生成手段により生成されたユーザの音調還元テキストデータを前記ユーザ表示エリアに表示させる、
ことを特徴とする請求項１に記載の音調表示制御装置。
【請求項３】
前記音声入力手段により模範の読み上げ音声が入力された場合とユーザの読み上げ音声が入力された場合とで、前記音調判定手段により判定された単語毎の音調に相違があるか否かを判断する音調相違判断手段と、
この音調相違判断手段により音調に相違があると判断された場合に、前記模範表示エリアに表示されている模範の音調還元テキストデータと前記ユーザ表示エリアに表示されているユーザの音調還元テキストデータとの前記相違があると判断された単語の部分を識別して表示させる相違部識別表示制御手段と、
を備えたことを特徴とする請求項２に記載の音調表示制御装置。
【請求項４】
音声を出力する音声出力手段と、
前記音調相違判断手段により音調に相違があると判断された場合に、当該相違があると判断された単語に対応する模範の音声データを、前記音声入力手段により入力された模範の読み上げ音声から切り出して前記音声出力手段により出力させる模範音声出力制御手段と、
この模範音声出力制御手段により模範の読み上げ音声が出力された後、前記音声入力手段によりユーザの読み上げ音声が入力された際に、前記音調還元テキスト表示制御手段により、前記音調還元テキスト生成手段により生成されたユーザの音調還元テキストデータを前記ユーザ表示エリアに新たに表示させるユーザテキスト再表示制御手段と、
を備えたことを特徴とする請求項３に記載の音調表示制御装置。
【請求項５】
前記音声認識手段によりテキスト化された単語毎に前記音声入力手段により入力された音声先頭からの認識完了時間を抽出する単語毎認識完了時間抽出手段を備え、
前記模範音声出力制御手段は、前記音調相違判断手段により音調に相違があると判断された場合に、当該相違があると判断された単語に対応する模範の音声データを、前記音声入力手段により入力された模範の読み上げ音声から前記単語毎認識完了時間抽出手段により抽出された該当単語とその前の単語の各認識完了時間に基づいて切り出し、前記音声出力手段により出力させる、
ことを特徴とする請求項４に記載の音調表示制御装置。
【請求項６】
表示部を備えた電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
文の読み上げ音声を入力する音声入力手段、
この音声入力手段により入力された音声を認識してテキスト化する音声認識手段、
前記音声入力手段により入力された音声の音調を前記音声認識手段によりテキスト化された単語毎に判定する音調判定手段、
前記音声認識手段によりテキスト化されたテキストデータと前記音調判定手段により判定された単語毎の音調に基づいて、各単語をその音調に応じた形態に識別してなる音調還元テキストデータを生成する音調還元テキスト生成手段、
この音調還元テキスト生成手段により生成された音調還元テキストデータを前記表示部に表示させる音調還元テキスト表示制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば母語でない言語の音調を学習するための音調表示制御装置およびその制御プログラムに関する。
【背景技術】
【０００２】
外国語等の例文の学習において、先生による又は録音された模範の音声データを聞いて、学習者が当該模範音声を参考に朗読する学習が広く行われている。
【０００３】
また、例文に対応した位置に、模範の音声波形と学習者の読み上げた音声波形とを並べて表示させることで、その相違を確認して学習できる言語学習装置も考えられている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２５０４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記従来の言語学習装置では、模範の音声波形と学習者の音声波形との相違を確認し、当該学習者自身の音声波形が模範の音声波形に近い波形になるよう学習することができる。しかしながら、音声波形からでは、強弱は容易に視認できるものの、学習者自身の読み上げ音声が正しい音調か間違っているのか、音声波形からではよくわからない問題がある。例えば、学習者によっては単語の語尾を上げたつもりでも実際には上がっておらず、強く発音している場合もある。
【０００６】
本発明は、このような課題に鑑みなされたもので、テキストについて音声入力された際に、そのテキストについて適切に音調が変更された音声になっているかどうか目視で容易に確認することが可能になる音調表示制御装置およびその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る音調表示制御装置は、表示部と、文の読み上げ音声を入力する音声入力手段と、この音声入力手段により入力された音声を認識してテキスト化する音声認識手段と、前記音声入力手段により入力された音声の音調を前記音声認識手段によりテキスト化された単語毎に判定する音調判定手段と、前記音声認識手段によりテキスト化されたテキストデータと前記音調判定手段により判定された単語毎の音調に基づいて、各単語をその音調に応じた形態に識別してなる音調還元テキストデータを生成する音調還元テキスト生成手段と、この音調還元テキスト生成手段により生成された音調還元テキストデータを前記表示部に表示させる音調還元テキスト表示制御手段と、を備えたことを特徴としている。
【０００８】
本発明に係るプログラムは、表示部を備えた電子機器のコンピュータを制御するためのプログラムであって、前記コンピュータを、文の読み上げ音声を入力する音声入力手段、この音声入力手段により入力された音声を認識してテキスト化する音声認識手段、前記音声入力手段により入力された音声の音調を前記音声認識手段によりテキスト化された単語毎に判定する音調判定手段、前記音声認識手段によりテキスト化されたテキストデータと前記音調判定手段により判定された単語毎の音調に基づいて、各単語をその音調に応じた形態に識別してなる音調還元テキストデータを生成する音調還元テキスト生成手段、この音調還元テキスト生成手段により生成された音調還元テキストデータを前記表示部に表示させる音調還元テキスト表示制御手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、テキストについて音声入力された際に、そのテキストについて適切に音調が変更された音声になっているかどうか、目視で容易に確認することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の音調表示制御装置の実施形態に係るタッチパネル式ＰＤＡ１０の電子回路の構成を示すブロック図。
【図２】言語学習支援画面Ｇを表示させたタッチパネル式ＰＤＡ１０の外観構成を示す正面図。
【図３】前記タッチパネル式ＰＤＡ１０の言語学習支援機能に伴う基本動作を説明する図。
【図４】前記タッチパネル式ＰＤＡ１０の言語学習支援処理を示すフローチャート。
【図５】前記タッチパネル式ＰＤＡ１０の言語学習支援処理に伴う音声認識＆音調検出処理を示すフローチャート。
【図６】前記タッチパネル式ＰＤＡ１０の言語学習支援処理に伴う学習テキスト表示ウインドウ１７Ｔでの表示動作（その１）を示す図。
【図７】前記タッチパネル式ＰＤＡ１０の言語学習支援処理に伴う学習テキスト表示ウインドウ１７Ｔでの表示動作（その２）を示す図。
【図８】前記タッチパネル式ＰＤＡ１０の言語学習支援処理による中国語の音読学習に伴う学習テキスト表示ウインドウ１７Ｔでの表示動作を示す図。
【発明を実施するための形態】
【００１１】
以下図面により本発明の実施の形態について説明する。
【００１２】
図１は、本発明の音調表示制御装置の実施形態に係るタッチパネル式ＰＤＡ１０の電子回路の構成を示すブロック図である。
【００１３】
この音調表示制御装置は、以下に説明する音読学習支援機能を搭載したタッチパネル式ＰＤＡ(personal digital assistants)１０として構成されるか、ＰＣ(personal computer)、携帯電話、携帯ゲーム機等として構成される。
【００１４】
このＰＤＡ１０は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)１１が備えられる。
【００１５】
ＣＰＵ１１は、メモリ１２内に予め記憶された装置制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれた装置制御プログラム、あるいはインターネットＮ上のＷｅｂサーバ（この場合はプログラムサーバ）から通信制御部１８を介して前記メモリ１２に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御する。
【００１６】
前記メモリ１２に記憶された装置制御プログラムは、タッチパネル式カラー表示部１７からのユーザ操作に応じた入力信号、あるいは音声入力部１５を介して入力される音声信号、あるいは通信制御部１８を介して接続されるインターネットＮ上の各Ｗｅｂサーバとの通信信号、あるいは記録媒体読取部１４を介して外部接続されるＥＥＰＲＯＭ，ＲＡＭ，ＲＯＭなどのメモリ・カード（記録媒体）１３との接続通信信号に応じて起動される。
【００１７】
このように、前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、音声入力部１５、音声出力部１６、タッチパネル式カラー表示部１７、通信制御部１８などが接続される。
【００１８】
前記メモリ１２に記憶される装置制御プログラムとしては、当該ＰＤＡ１０の全体の動作を司るシステムプログラムや、通信制御部１８を介してインターネットＮ上の各Ｗｅｂサーバや図示しないユーザＰＣ(Personal Computer)などとデータ通信するための通信プログラムが記憶される他、メール機能や録音／再生機能、録画／再生機能、文書処理機能、スケジュール管理機能等、予め記憶されるか、外部からダウンロードされた各種のアプリケーションプログラムが記憶される。
【００１９】
さらに、言語学習のための例文テキストを表示させると共に、当該例文テキストに対応した音声データの入力に応じて同テキストそのものをその音調（上昇調／下降調）に応じた形態にして識別表示させるための言語学習支援プログラム１２ａ、この言語学習支援プログラム１２ａの実行に伴い前記音声データの音声認識処理や単語サンプリング処理、音調解析処理、文節検出処理等を実行するための単語音声認識処理モジュール（プログラム）１２ｂが記憶される。
【００２０】
また、メモリ１２には、前記言語学習のための模範の例文をそのテキストと音声データの組として複数組記憶する模範例文データベース１２ｃが用意され、その他、前記言語学習支援プログラム１２ａの実行に伴い要する作業領域として、模範音声メモリ１２ｄ、ユーザ音声メモリ１２ｅ、音声認識テキストメモリ（模範／ユーザ）１２ｆ、単語毎認識完了時間サンプリングメモリ（模範／ユーザ）１２ｇ、単語毎語尾波形登録テーブル（模範／ユーザ）１２ｈ、単語毎語尾音調登録テーブル（模範／ユーザ）１２ｉ、単語毎音調還元テキストメモリ（模範／ユーザ）１２ｊ、練習単語設定メモリ１２ｋなどが確保される。
【００２１】
前記模範音声メモリ１２ｄには、例えば教師による例文の読み上げに伴い音声入力部１５から入力された模範となる音声データ、または前記模範例文データベース１２ｃからユーザ操作に応じて選択的に読み出された例文の音声データ（模範音声データ）が記憶される（図３の（１）参照）。
【００２２】
前記ユーザ音声メモリ１２ｅには、模範となる例文のテキスト及びその音声に基づいて、例えば学習者により音声入力部１５から入力された音声データ（ユーザ音声データ）が記憶される（図３の（１）参照）。
【００２３】
前記音声認識テキストメモリ（模範／ユーザ）１２ｆには、前記模範音声データおよびユーザ音声データの波形を、各々前記単語音声認識処理モジュール１２ｂに従い音声認識することによりテキスト化された模範およびユーザのテキストデータが記憶される（図３の（２）参照）。
【００２４】
前記単語毎認識完了時間サンプリングメモリ（模範／ユーザ）１２ｇには、前記模範音声データおよびユーザ音声データの音声認識に伴い、その音声データの入力開始時点からの単語毎の認識完了時間ｔ１，ｔ２，…，ｔｎがタイマ等によりサンプリングされて記憶される（図３の（３）参照）。
【００２５】
前記単語毎語尾波形登録テーブル（模範／ユーザ）１２ｈには、前記音声認識に伴いサンプリングされた単語毎の認識完了時間ｔ１，ｔ２，…，ｔｎに基づき、当該各認識完了時間ｔ１，ｔ２，…，ｔｎ直前の音声データの波形が、単語毎の語尾部分の波形として登録される（図３の（４）参照）。
【００２６】
前記単語毎語尾音調登録テーブル（模範／ユーザ）１２ｉには、前記単語毎の語尾部分の波形をピッチ解析（例えば特開２０００−２５０４０１参照）することにより判定された同単語毎の語尾部分の音調（上昇調部又は下降調部）が登録される（図３の（５）参照）。また、この単語毎語尾音調登録テーブル（模範／ユーザ）１２ｉには、前記音声認識されたテキストデータの内容に従い検出された文節区切り情報（文節１，２，…）も登録される。
【００２７】
前記単語毎音調還元テキストメモリ（模範／ユーザ）１２ｊには、前記模範およびユーザのテキストデータに対して、前記単語毎の末尾部分の音調に応じた色（上昇調部：赤色／下降調部：青色）を付けると共とに、前記文節区切り情報に応じた位置に区切り記号ａｐを付けて生成された音調区切り還元テキストデータが記憶される（図３の（６）参照）。
【００２８】
前記練習単語設定メモリ１２ｋには、前記単語毎音調還元テキストメモリ（模範／ユーザ）１２ｊに記憶された、模範の音調区切り還元テキストデータとユーザの音調区切り還元テキストデータとを比較し、その音調情報（単語末尾部分の色）に相違があった場合に、当該相違のあった単語が練習対象の単語として記憶される（図６（Ｃ）（Ｄ）参照）。
【００２９】
図２は、言語学習支援画面Ｇを表示させたタッチパネル式ＰＤＡ１０の外観構成を示す正面図である。
【００３０】
前記言語学習支援プログラム１２ａによる学習支援処理に伴いタッチパネル式表示部１７に表示される言語学習支援画面Ｇでは、例文に対応した模範の音声データを入力するための模範音声入力モードに設定する［模範］キー１９ｍ、前記模範音声入力モードにおいて前記模範の音声データを前記模範例文データベース１２ｃから選択して入力する際に操作される［例文］キー１９ｉ、例文に対応したユーザの音声データを入力するためのユーザ音声入力モードに設定する［ユーザ］キー１９ｕ、音声入力部１５から模範またはユーザの音声を入力する際に操作される［音声入力］キー１９ｖ、例文に対応した模範（教師）の音声データの音調とユーザ（学習者）の音声データの音調とが相違した場合に練習モードに設定するための［練習］キー１９ｐが表示される。
【００３１】
そして、前記単語毎音調還元テキストメモリ（模範／ユーザ）１２ｊに記憶される模範の音調区切り還元テキストデータＴｍは、学習テキスト表示ウインドウ１７Ｔの模範表示エリア１７Ｍに表示され、ユーザの音調区切り還元テキストデータＴｕは、同学習テキスト表示ウインドウ１７Ｔのユーザ表示エリア１７Ｕに表示される。
【００３２】
このように構成されたタッチパネル式ＰＤＡ１０は、ＣＰＵ１１が前記言語学習支援プログラム１２ａや単語音声認識処理モジュール１２ｂに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。
【００３３】
次に、前記構成のタッチパネル式ＰＤＡ１０による言語学習支援機能に伴う具体的動作について説明する。
【００３４】
図３は、前記タッチパネル式ＰＤＡ１０の言語学習支援機能に伴う基本動作を説明する図である。
【００３５】
図４は、前記タッチパネル式ＰＤＡ１０の言語学習支援処理を示すフローチャートである。
【００３６】
図５は、前記タッチパネル式ＰＤＡ１０の言語学習支援処理に伴う音声認識＆音調検出処理を示すフローチャートである。
【００３７】
図６は、前記タッチパネル式ＰＤＡ１０の言語学習支援処理に伴う学習テキスト表示ウインドウ１７Ｔでの表示動作（その１）を示す図である。
【００３８】
図７は、前記タッチパネル式ＰＤＡ１０の言語学習支援処理に伴う学習テキスト表示ウインドウ１７Ｔでの表示動作（その２）を示す図である。
【００３９】
ユーザ操作に応じて言語学習支援プログラム１２ａが起動されると、タッチパネル式表示部１７に前記［模範］キー１９ｍ〜［練習］キー１９ｐを配列した言語学習支援画面Ｇ（図２参照）が表示される。
【００４０】
音読学習の対象となる任意の例文について模範となる読み上げ音声を入力するために、［模範］キー１９ｍがタッチされ模範音声入力モードに設定された後（ステップＳ１（Ｙｅｓ））、［音声入力］キー１９ｖがタッチされ（ステップＳ２（Ｙｅｓ））、例えば教師による例文「Get ready to say goodbye to the old, hello to the new.」の読み上げ音声が、音声入力部１５から順次入力されると（ステップＳ３）、図３の（１）に示すように、入力された模範の音声データは模範音声メモリ１２ｄに記憶され、単語音声認識処理モジュール１２ｂに従い順次音声認識処理されると共に音調検出処理される（ステップＳＡ）。
【００４１】
一方、前記［模範］キー１９ｍがタッチされ模範音声入力モードに設定された後（ステップＳ１（Ｙｅｓ））、［例文］キー１９ｉがタッチされると（ステップＳ４（Ｙｅｓ））、図３の（１）に示すように、模範例文データベース１２ｃからユーザ操作に応じて選択された模範の例文（例えば「Get ready to say goodbye to the old, hello to the new.」）の音声データが順次読み出されて音声出力部１６から出力されると共に、模範音声メモリ１２ｄに記憶される（ステップＳ５）。そして、単語音声認識処理モジュール１２ｂに従い順次音声認識処理されると共に音調検出処理される（ステップＳＡ）。
【００４２】
前記模範音声メモリ１２ｄに記憶される模範の音声データは、順次、単語音声認識処理モジュール１２ｂに入力され（ステップＡ１）、図３の（２）に示すように、テキスト化された模範のテキストデータ「Get ready to say goodbye to the old, hello to the new.」として音声認識テキストメモリ（模範）１２ｆに記憶される（ステップＡ２）。
【００４３】
また、前記模範の音声データの音声認識に伴い、その音声データの入力開始時点からの単語毎の認識完了時間ｔ１，ｔ２，…，ｔｎがタイマ等によりサンプリングされ、図３の（３）に示すように、単語毎認識完了時間サンプリングメモリ（模範）１２ｇに記憶される（ステップＡ３）。
【００４４】
すると、前記サンプリングされた模範の音声データの単語毎の認識完了時間ｔ１，ｔ２，…，ｔｎに基づいて、当該各認識完了時間ｔ１，ｔ２，…，ｔｎ直前の模範の音声データの波形が、単語毎の語尾部分の波形として抽出され、図３の（４）に示すように、単語毎語尾波形登録テーブル（模範）１２ｈに登録される（ステップＡ４）。
【００４５】
すると、前記単語毎語尾波形登録テーブル（模範）１２ｈに登録された模範音声の単語毎の語尾部分の波形がピッチ解析されて当該語尾部分の音調（上昇調部又は下降調部）が判定され、図３の（５）に示すように、単語毎語尾音調登録テーブル（模範）１２ｉに登録される（ステップＡ５）。
【００４６】
この際、前記音声認識された模範のテキストデータ「Get ready to say goodbye to the old, hello to the new.」の内容に従い文節区切り情報（文節１，２，…）が検出され、前記単語毎語尾音調登録テーブル（模範）１２ｉに登録される（ステップＡ６）。
【００４７】
すると、前記音声認識テキストメモリ（模範）１２ｆに記憶された模範のテキストデータ「Get ready to say goodbye to the old, hello to the new.」に対して、図３の（６）に示すように、前記単語毎語尾音調登録テーブル（模範）１２ｉに登録された単語毎の末尾部分の音調に応じた色（上昇調部：赤色／下降調部：青色）が付けられると共に、前記文節区切り情報（文節１，２，…）に応じた位置に区切り記号ａｐが付けられた模範の音調区切り還元テキストデータＴｍ「Get(赤) ready(青) to say / goodbye(青) to the old(青), hello(赤) to the(赤) new(青).」が生成され、単語毎音調還元テキストメモリ（模範）１２ｊに記憶される。そして、この単語毎音調還元テキストメモリ（模範）１２ｊに生成記憶された模範の音調区切り還元テキストデータＴｍは、図６（Ａ）に示すように、前記模範の音声データの入力に合わせて、順次、学習テキスト表示ウインドウ１７Ｔの模範表示エリア１７Ｍに表示される（ステップＳ６）。
【００４８】
この後、前記模範の音声データの入力に合わせて、図６（Ｂ）に示すように、学習テキスト表示ウインドウ１７Ｔの模範表示エリア１７Ｍに模範の音調区切り還元テキストデータＴｍ「Get(赤) ready(青) to say / goodbye(青) to the old(青), / hello(赤) to the(赤) new(青).」が表示された際に、これを模範としたユーザ（学習者）の読み上げ音声を入力するために、［ユーザ］キー１９ｕがタッチされユーザ音声入力モードに設定される（ステップＳ７（Ｙｅｓ））。
【００４９】
そして、［音声入力］キー１９ｖがタッチされ（ステップＳ８（Ｙｅｓ））、ユーザによる前記模範の音調区切り還元テキストデータＴｍの読み上げ音声が、音声入力部１５から順次入力されると（ステップＳ９）、入力されたユーザの音声データは、図３の（１）に示すように、ユーザ音声メモリ１２ｅに記憶され、前記模範の音声データに対する処理と同様に（図３の（２）〜（６）参照）、単語音声認識処理モジュール１２ｂに従い順次音声認識処理されると共に音調検出処理される（ステップＳＡ）。
【００５０】
すると、音声認識テキストメモリ（ユーザ）１２ｆに記憶されたユーザのテキストデータ「Get ready to say goodbye to the old, hello to the new.」に対して、単語毎語尾音調登録テーブル（ユーザ）１２ｉに登録された単語毎の末尾部分の音調に応じた色（上昇調部：赤色／下降調部：青色）が付けられると共に、文節区切り情報（文節１，２，…）に応じた位置に区切り記号ａｐが付けられたユーザの音調区切り還元テキストデータＴｕ「Get(赤) ready(赤) to say / goodbye(青) to the old(青), / hello(赤) to the(赤) new(青).」が生成され、単語毎音調還元テキストメモリ（ユーザ）１２ｊに記憶される。そして、この単語毎音調還元テキストメモリ（ユーザ）１２ｊに生成記憶されたユーザの音調区切り還元テキストデータＴｕは、図６（Ｂ）〜（Ｃ）に示すように、前記ユーザの音声データの入力に合わせて、順次、学習テキスト表示ウインドウ１７Ｔのユーザ表示エリア１７Ｕに表示される（ステップＳ１０）。
【００５１】
ここで、前記単語毎音調還元テキストメモリ（模範／ユーザ）１２ｊに記憶された、模範の音調区切り還元テキストデータＴｍとユーザの音調区切り還元テキストデータＴｕとが比較され、その音調情報（各単語末尾部分の色）に相違があるか否か判断される（ステップＳ１１）。
【００５２】
そして、前記模範の音調区切り還元テキストデータＴｍの音調情報とユーザの音調区切り還元テキストデータＴｕの音調情報とに相違がないと判断された場合には（ステップＳ１１（Ｎｏ））、ユーザ音声の音調が模範音声の音調に一致している旨のメッセージ（「GOOD!」等）が表示される（ステップＳ１３）。
【００５３】
一方、前記ステップＳ１１において、前記図６（Ｃ）で示したように、模範の音調区切り還元テキストデータＴｍの先頭から２番目の単語「ready(青)」の音調情報(青)とユーザの音調区切り還元テキストデータＴｕの同２番目の単語「ready(赤)」の音調情報(赤)とに相違があると判断された場合には（ステップＳ１１（Ｙｅｓ））、当該音調情報に相違のある模範およびユーザ各々のテキストの部分“ｙ”に黄色マーカＭｙが付加されて識別表示される（ステップＳ１２）。
【００５４】
ここで、図６（Ｄ）に示すように、［練習］キー１９ｐがタッチされると（ステップＳ１４（Ｙｅｓ））、前記音調情報（単語末尾部分の色）に相違があった単語「ready」が練習対象の単語として練習単語設定メモリ１２ｋに記憶され、前記模範表示エリア１７Ｍに表示されている模範の音調区切り還元テキストデータＴｍの中の前記練習対象の単語「ready」が赤下線ＲＬにより識別表示される（ステップＳ１５）。
【００５５】
すると、前記模範音声メモリ１２ｄに記憶されている模範の音声データのうち、前記赤下線ＲＬにより識別表示された練習対象の単語「ready」に対応する部分の音声データが、前記単語毎認識完了時間サンプリングメモリ（模範）１２ｇに記憶されている該当単語「ready」のサンプリング時間ｔ１〜ｔ２に基づき読み出されて音声出力部１６から出力される（ステップＳ１６）。
【００５６】
そして、前記音声出力部１６から出力された前記練習対象の単語「ready」に対応する部分の模範の音声に従い、ユーザにより発声された同単語「ready」の読み上げ音声が音声入力部１５から入力されると（ステップＡ１７）、当該ユーザの音声データ“ready”は、ユーザ音声メモリ１２ｅに記憶され、前記同様に、単語音声認識処理モジュール１２ｂに従い音声認識処理されると共に音調検出処理される（ステップＳＡ）。
【００５７】
すると、音声認識テキストメモリ（ユーザ）１２ｆに記憶されたユーザのテキストデータ「ready」に対して、単語毎語尾音調登録テーブル（ユーザ）１２ｉに登録された当該単語の末尾部分の音調に応じた色（上昇調部：赤色／下降調部：青色）が付けられると共に、文節区切り情報（文節１，２，…）に応じた位置に区切り記号ａｐが付けられた（ここでは１単語「ready」のため区切り記号ａｐは付かない）ユーザの音調区切り還元テキストデータＴｕ「ready(青)」が生成され、単語毎音調還元テキストメモリ（ユーザ）１２ｊに記憶される。そして、この単語毎音調還元テキストメモリ（ユーザ）１２ｊに生成記憶されたユーザの音調区切り還元テキストデータＴｕ「ready(青)」は、図６（Ｄ）に示すように、前記ユーザの音声データの入力に合わせて、学習テキスト表示ウインドウ１７Ｔのユーザ表示エリア１７Ｕに赤下線ＲＬが付加されて表示される（ステップＳ１８）。
【００５８】
ここで、前記単語毎音調還元テキストメモリ（模範／ユーザ）１２ｊに記憶された、前記練習対象単語「ready」に対応した模範の音調区切り還元テキストデータＴｍとユーザの音調区切り還元テキストデータＴｕとが比較され、その音調情報（単語末尾部分の色）に相違があると判断された場合には（ステップＳ１９（Ｙｅｓ））、前記同様に、当該音調情報に相違のある模範およびユーザ各々のテキストの部分に黄色マーカＭｙが付加されて識別表示され（ステップＳ２０）、前記ステップＳ１６からの同一の練習対象単語でのやり直しの処理となる。
【００５９】
一方、前記図６（Ｄ）で示したように、前記練習対象単語「ready」に対応した模範の音調区切り還元テキストデータＴｍ「ready(青)」とユーザの音調区切り還元テキストデータＴｕ「ready(青)」との音調情報（単語末尾部分の色）に相違がないと判断された場合には（ステップＳ１９（Ｎｏ））、これまで模範およびユーザ各々のテキストの部分“ｙ”に付加されていた黄色マーカＭｙが消去される代わりにマーカ枠Ｍのみが付加され、音読誤り箇所の履歴として識別表示される（ステップＳ２１）。
【００６０】
すると、前記練習単語設定メモリ１２ｋに現在記憶されている練習対象の単語「ready」が、前記音声認識テキストメモリ（模範）１２ｆに記憶されている模範のテキストデータ「Get ready to say goodbye to the old, hello to the new.」の全体となったか否か判断される（ステップＳ２２）。
【００６１】
ここで、前記練習対象の単語「ready」が、前記模範のテキストデータ「Get ready to say goodbye to the old, hello to the new.」の全体とはなっていないと判断されると（ステップＳ２２（Ｎｏ））、当該練習対象の単語の文字列が、元の音調相違部分の単語「ready」を含めて、それより前方および後方の単語まで１単語ずつ延長され、図７（Ａ）に示すように、模範表示エリア１７Ｍに表示されている模範の音調区切り還元テキストデータＴｍの中の前記延長された練習対象の単語「Get ready」が赤下線ＲＬにより識別表示される（ステップＳ２３）。
【００６２】
すると、前記ステップＳ１６〜Ｓ２３による音読練習処理が、図７（Ａ）〜（Ｄ）に示すように、前記練習単語設定メモリ１２ｋに記憶される練習対象単語が１単語ずつ延長されながら繰り返し同様に実行される。
【００６３】
そしてこの後、前記ステップＳ２２において、図７（Ｄ）に示すように、その練習対象の単語が、前記模範のテキストデータ「Get ready to say goodbye to the old, hello to the new.」の全体に達したと判断されると（ステップＳ２２（Ｙｅｓ））、前記一連の言語学習支援処理が終了される。
【００６４】
したがって、前記構成のタッチパネル式ＰＤＡ１０による言語学習支援機能によれば、例文を読み上げる模範の音声データを、教師等による読み上げにより音声入力部１５から直接あるいは模範例文データベース１２ｃから選択し音声出力部１６から出力しながら入力すると、当該模範の音声データが音声認識によりテキスト化されると共に、単語毎に語尾部分の音調が判定され、前記テキスト化された各単語の語尾の文字をその音調に応じた形態（色，字体，模様，マーク付加等）で識別した模範のテキストデータＴｍが生成されて模範表示エリア１７Ｍに表示される。この模範の音声データおよびテキストデータＴｍに習って、ユーザ（学習者）による同例文の読み上げ音声を入力すると、前記同様の音声認識テキスト化処理および音調判定処理により各単語の語尾部分を識別して生成されたユーザのテキストデータＴｕが前記模範表示エリア１７Ｍに並べたユーザ表示エリア１７Ｕに対比表示される。
【００６５】
これにより、ユーザ（学習者）は、テキストについて音声入力した際に、そのテキストについて適切に音調が変更された音声になっているかどうか、目視で容易に確認することができる。また、模範音声とユーザ入力音声とを対比して表示するようにしたので、テキストのどの部分の音声が模範音声と合っていて、どの部分が間違っているのか、目視で容易に確認することが可能になる。
【００６６】
また、前記構成のタッチパネル式ＰＤＡ１０による言語学習支援機能によれば、前記模範表示エリア１７Ｍに表示された模範のテキストデータＴｍに対して、前記ユーザ表示エリア１７Ｕに表示されたユーザのテキストデータＴｕに相違する部分（各単語の語尾部分の音調に応じた識別形態が相違する）がある場合には、該当する部分が黄色マーカＭｙにより識別表示される。
【００６７】
これにより、ユーザ（学習者）は、テキストのどの部分の音声が模範音声と合っていて、どの部分が間違っているのか、目視でより明確に確認することができる。
【００６８】
さらに、前記構成のタッチパネル式ＰＤＡ１０による言語学習支援機能によれば、前記黄色マーカＭｙにより識別表示された単語が練習対象単語に設定され、前記模範のテキストデータＴｍの中の練習対象単語が赤下線ＲＬにより識別表示されると共に、当該単語部分の模範の音声データが切り出されて出力される。この模範のテキストデータＴｍの中の練習対象単語の識別表示および該当単語の模範の音声データに習って、ユーザ（学習者）による同単語の読み上げ音声を入力すると、前記同様の音声認識テキスト化処理および音調判定処理により生成された該当単語のテキストデータＴｕがユーザ表示エリア１７Ｕに対比表示される。
【００６９】
これにより、文の読み上げ音声の音調に対しユーザの読み上げ音声の音調が相違した単語だけを切り出して効果的な音読練習を行うことができる。
【００７０】
なお、前記実施形態では、英語の例文の読み上げ音声の音声認識テキスト化処理および音調判定処理により、各単語の末尾部分をその音調（上昇調／下降調）に応じた形態（色，字体，模様，マーク付加等）にして識別したテキストデータを生成して表示する構成とした。次の図８に示すように、漢字の配列よりなる中国語の場合には、前記音声認識テキスト化処理および音調判定処理により、各漢字をその音調（四声）に応じた形態（１声；赤字や赤上線付加／２声；青字や青上昇線付加／３声；茶字や茶下線付加／４声；緑字や緑下降線付加）にして識別したテキストデータを生成して表示する構成とすればよい。
【００７１】
図８は、前記タッチパネル式ＰＤＡ１０の言語学習支援処理による中国語の音読学習に伴う学習テキスト表示ウインドウ１７Ｔでの表示動作を示す図である。
【００７２】
同図８において、学習テキスト表示ウインドウ１７Ｔの模範表示エリア１７Ｍには、模範の中国語例文の音調区切り還元テキストデータＴｍが、音声認識されたピンイン表記Ｐｉｎと併せて表示され、ユーザ表示エリア１７Ｕには、当該模範の音調区切り還元テキストデータＴｍに習ってユーザ音声入力された音調区切り還元テキストデータＴｕが対比表示される。この場合も前記実施形態と同様に、模範のテキストデータＴｍとユーザのテキストデータＴｕとでその音調が相違した漢字は、黄色マーカＭｙにより識別表示される。
【００７３】
なお、前記音調表示制御装置の実施形態において記載したタッチパネル式ＰＤＡ１０による各処理の手法およびデータベース、すなわち、図４のフローチャートに示す言語学習支援処理、図５のフローチャートに示す前記言語学習支援処理に伴う音声認識＆音調検出処理等の各手法、および模範例文データベース１２ｃは、何れもコンピュータに実行させることができるプログラムとして、メモリ・カード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、音声入出力部（１５，１６）および表示部（１７）を備えた電子機器のコンピュータは、この外部記録媒体１３に記憶されたプログラムを記憶装置（１２）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した言語学習支援機能を実現し、前述した手法による同様の処理を実行することができる。
【００７４】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワークＮ上を伝送させることができ、このプログラムデータを、ネットワークＮに接続されたコンピュータに通信制御部１８によって取り込むことで、前述した言語学習支援機能を実現することもできる。
【００７５】
本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【００７６】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００７７】
［１］
表示部と、
文の読み上げ音声を入力する音声入力手段と、
この音声入力手段により入力された音声を認識してテキスト化する音声認識手段と、
前記音声入力手段により入力された音声の音調を前記音声認識手段によりテキスト化された単語毎に判定する音調判定手段と、
前記音声認識手段によりテキスト化されたテキストデータと前記音調判定手段により判定された単語毎の音調に基づいて、各単語をその音調に応じた形態に識別してなる音調還元テキストデータを生成する音調還元テキスト生成手段と、
この音調還元テキスト生成手段により生成された音調還元テキストデータを前記表示部に表示させる音調還元テキスト表示制御手段と、
を備えたことを特徴とする音調表示制御装置。
【００７８】
［２］
前記表示部は、模範表示エリアと当該模範表示エリアに対比可能なユーザ表示エリアとを有し、
前記音調還元テキスト表示制御手段は、前記音声入力手段により模範の読み上げ音声が入力された場合は、前記音調還元テキスト生成手段により生成された模範の音調還元テキストデータを前記模範表示エリアに表示させ、前記音声入力手段によりユーザの読み上げ音声が入力された場合は、前記音調還元テキスト生成手段により生成されたユーザの音調還元テキストデータを前記ユーザ表示エリアに表示させる、
ことを特徴とする［１］に記載の音調表示制御装置。
【００７９】
［３］
前記音声入力手段により模範の読み上げ音声が入力された場合とユーザの読み上げ音声が入力された場合とで、前記音調判定手段により判定された単語毎の音調に相違があるか否かを判断する音調相違判断手段と、
この音調相違判断手段により音調に相違があると判断された場合に、前記模範表示エリアに表示されている模範の音調還元テキストデータと前記ユーザ表示エリアに表示されているユーザの音調還元テキストデータとの前記相違があると判断された単語の部分を識別して表示させる相違部識別表示制御手段と、
を備えたことを特徴とする［２］に記載の音調表示制御装置。
【００８０】
［４］
音声を出力する音声出力手段と、
前記音調相違判断手段により音調に相違があると判断された場合に、当該相違があると判断された単語に対応する模範の音声データを、前記音声入力手段により入力された模範の読み上げ音声から切り出して前記音声出力手段により出力させる模範音声出力制御手段と、
この模範音声出力制御手段により模範の読み上げ音声が出力された後、前記音声入力手段によりユーザの読み上げ音声が入力された際に、前記音調還元テキスト表示制御手段により、前記音調還元テキスト生成手段により生成されたユーザの音調還元テキストデータを前記ユーザ表示エリアに新たに表示させるユーザテキスト再表示制御手段と、
を備えたことを特徴とする［３］に記載の音調表示制御装置。
【００８１】
［５］
前記音声認識手段によりテキスト化された単語毎に前記音声入力手段により入力された音声先頭からの認識完了時間を抽出する単語毎認識完了時間抽出手段を備え、
前記模範音声出力制御手段は、前記音調相違判断手段により音調に相違があると判断された場合に、当該相違があると判断された単語に対応する模範の音声データを、前記音声入力手段により入力された模範の読み上げ音声から前記単語毎認識完了時間抽出手段により抽出された該当単語とその前の単語の各認識完了時間に基づいて切り出し、前記音声出力手段により出力させる、
ことを特徴とする［４］に記載の音調表示制御装置。
【００８２】
［６］
表示部を備えた電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
文の読み上げ音声を入力する音声入力手段、
この音声入力手段により入力された音声を認識してテキスト化する音声認識手段、
前記音声入力手段により入力された音声の音調を前記音声認識手段によりテキスト化された単語毎に判定する音調判定手段、
前記音声認識手段によりテキスト化されたテキストデータと前記音調判定手段により判定された単語毎の音調に基づいて、各単語をその音調に応じた形態に識別してなる音調還元テキストデータを生成する音調還元テキスト生成手段、
この音調還元テキスト生成手段により生成された音調還元テキストデータを前記表示部に表示させる音調還元テキスト表示制御手段、
として機能させるためのプログラム。
【符号の説明】
【００８３】
１０  …タッチパネル式ＰＤＡ（音調表示制御装置）
１１  …ＣＰＵ
１２  …メモリ
１２ａ…言語学習支援プログラム
１２ｂ…単語音声認識処理モジュール
１２ｃ…模範例文データベース
１２ｄ…模範音声メモリ
１２ｅ…ユーザ音声メモリ
１２ｆ…音声認識テキストメモリ（模範／ユーザ）
１２ｇ…単語毎認識完了時間サンプリングメモリ（模範／ユーザ）
１２ｈ…単語毎語尾波形登録テーブル（模範／ユーザ）
１２ｉ…単語毎語尾音調登録テーブル（模範／ユーザ）
１２ｊ…単語毎音調還元テキストメモリ（模範／ユーザ）
１２ｋ…練習単語設定メモリ
１３  …外部記録媒体
１４  …記録媒体読取部
１５  …音声入力部
１６  …音声出力部
１７  …タッチパネル式表示部
１７Ｔ…学習テキスト表示ウインドウ
１７Ｍ…模範表示エリア
１７Ｕ…ユーザ表示エリア
１８  …通信制御部
１９ｍ…［模範］キー
１９ｉ…［例文］キー
１９ｕ…［ユーザ］キー
１９ｖ…［音声入力］キー
１９ｐ…［練習］キー
Ｇ  …言語学習支援画面
Ｔｍ  …模範の音調区切り還元テキストデータ
Ｔｕ  …ユーザの音調区切り還元テキストデータ
ａｐ  …区切り記号
Ｍｙ  …黄色マーカ
Ｍ    …マーカ枠
【図１】
2014059330.tif 000003
【図２】
2014059330.tif 000004
【図３】
2014059330.tif 000005
【図４】
2014059330.tif 000006
【図５】
2014059330.tif 000007
【図６】
2014059330.tif 000008
【図７】
2014059330.tif 000009
【図８】
2014059330.tif 000010