(57)【要約】【課題】  模範音声とユーザ音声との差異点を提示することができる語学学習装置を提供すること。【解決手段】  本発明は、模範音声を記憶する記憶手段と、ユーザ音声を入力する入力手段と、前記模範音声および前記ユーザ音声をそれぞれ、子音部分と母音部分とに分離する分離手段と、前記模範音声および前記ユーザ音声の長さが同一となるように、前記模範音声あるいは前記ユーザ音声の母音部分の長さを変化させる処理手段と、前記処理手段により長さが揃えられた模範音声とユーザ音声とを比較し、差異点を抽出する比較手段とを有する語学学習装置を提供する。【選択図】      図１
2006178214.tif 000002
【特許請求の範囲】
【請求項１】
模範音声を記憶する記憶手段と、
ユーザ音声を入力する入力手段と、
前記模範音声および前記ユーザ音声をそれぞれ、子音部分と母音部分とに分離する分離手段と、
前記模範音声および前記ユーザ音声の長さが同一となるように、前記模範音声あるいは前記ユーザ音声の母音部分の長さを変化させる処理手段と、
前記処理手段により長さが揃えられた模範音声とユーザ音声とを比較し、差異点を抽出する比較手段と
を有する語学学習装置。
【請求項２】
前記模範音声および前記ユーザ音声のいずれか一方の子音部分を、他方の子音部分と時間軸上の位置が同じとなるように再配置する再配置手段をさらに有し、
前記処理手段が、前記再配置手段により再配置された子音部分と、時間軸上でその子音部分の次に現れる子音部分との間に位置する母音部分の長さをそれぞれ変化させることにより、前記模範音声および前記ユーザ音声の長さを同一とする
ことを特徴とする請求項１に記載の語学学習装置。
【請求項３】
前記ユーザ音声および前記模範音声に対し所定のパラメータを抽出し、該パラメータの変化量に応じた図形を示す画像データを生成する画像生成手段と、
前記画像生成手段により生成された画像データを、前記比較手段により抽出された差異点で異なる表示態様で表示を行う表示手段と
をさらに有する請求項１に記載の語学学習装置。
【請求項４】
前記比較手段により抽出された差異点を強調する差異点強調手段と
前記差異点強調手段により差異点が強調された音声を出力する出力手段と
をさらに有する請求項１に記載の語学学習装置。
【請求項５】
前記差異点強調手段が、前記比較手段により差異点が抽出された部分については模範音声の音量をユーザ音声の音量より大きくし、前記比較手段により差異点が抽出されなかった部分については模範音声の音量をユーザ音声の音量より小さくすることを特徴とする請求項４に記載の語学学習装置。
【請求項６】
前記差異点強調手段が、前記比較手段により差異点が抽出された部分については模範音声のうち特定の周波数領域を増幅することを特徴とする請求項４に記載の語学学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語学学習を支援する語学学習システムに関する。
【背景技術】
【０００２】
外国語あるいは母国語の語学学習、特に、発音あるいは発話の独習においては、ＣＤ（Compact Disk）等の記録媒体に記録された模範音声を再生し、その模範音声の真似をして発音あるいは発話するという学習方法が広く用いられている。これは模範音声の真似をすることで正しい発音を身につけることを目的とするものである。ここで、学習をより効果的に進めるためには、模範音声と自分の音声との差を客観的に評価する必要がある。しかし、ＣＤに記録された模範音声を聞いてその真似をするだけでは、自分の発した音声と模範音声との差を具体的に把握することが困難であるという問題があった。
【０００３】
このような問題を解決する技術として、例えば特許文献１〜３に記載の技術がある。特許文献１には、模範音声とユーザ音声とを同時に再生する技術が開示されている。特許文献２には、模範音声の波形（模範波形）とユーザ音声の波形（自声波形）とを同時に出力する技術が開示されている。特許文献３には、模範音声とユーザ音声との比較を行う際に両者の頭を揃えたり、両者の長さを同一にするために一方の音声を一律に引き伸ばす技術が開示されている。
【特許文献１】特開平７−２１９４１８号公報
【特許文献２】特開２００２−２３６１３号公報
【特許文献３】特開平１１−１４３４９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術においては、模範音声とユーザ音声とが同時に再生されるのみで、両者の差異点が分かりにくいという問題があった。また、特許文献２に記載の技術においても、模範音声の波形とユーザ音声の波形とが同時に出力されるのみで、両者の差異点が分かりにくいという問題があった。さらに、特許文献３に記載の技術においては、模範音声とユーザ音声の長さを揃えるために、一方の音声の長さを一律に引き伸ばすのみであり、時間軸に対して両者の音韻が必ずしも一致しないという問題があった。
【０００５】
本発明は上述の事情に鑑みてなされたものであり、模範音声とユーザ音声との差異点を提示することができる語学学習装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、模範音声を記憶する記憶手段と、ユーザ音声を入力する入力手段と、前記模範音声および前記ユーザ音声をそれぞれ、子音部分と母音部分とに分離する分離手段と、前記模範音声および前記ユーザ音声の長さが同一となるように、前記模範音声あるいは前記ユーザ音声の母音部分の長さを変化させる処理手段と、前記処理手段により長さが揃えられた模範音声とユーザ音声とを比較し、差異点を抽出する比較手段とを有する語学学習装置を提供する。
【０００７】
好ましい態様において、この語学学習装置は、前記模範音声および前記ユーザ音声のいずれか一方の子音部分を、他方の子音部分と時間軸上の位置が同じとなるように再配置する再配置手段をさらに有し、前記処理手段が、前記再配置手段により再配置された子音部分と、時間軸上でその子音部分の次に現れる子音部分との間に位置する母音部分の長さをそれぞれ変化させることにより、前記模範音声および前記ユーザ音声の長さを同一としてもよい。
別の好ましい態様において、この語学学習装置は、前記ユーザ音声および前記模範音声に対し所定のパラメータを抽出し、該パラメータの変化量に応じた図形を示す画像データを生成する画像生成手段と、前記画像生成手段により生成された画像データを、前記比較手段により抽出された差異点で異なる表示態様で表示を行う表示手段とをさらに有してもよい。
【０００８】
さらに別の好ましい態様において、この語学学習装置は、前記比較手段により抽出された差異点を強調する差異点強調手段と、前記差異点強調手段により差異点が強調された音声を出力する出力手段とをさらに有してもよい。
この態様において、前記差異点強調手段が、前記比較手段により差異点が抽出された部分については模範音声の音量をユーザ音声の音量より大きくし、前記比較手段により差異点が抽出されなかった部分については模範音声の音量をユーザ音声の音量より小さくすることとしてもよい。
あるいは、前記差異点強調手段が、前記比較手段により差異点が抽出された部分については模範音声のうち特定の周波数領域を増幅することとしてもよい。
【発明の効果】
【０００９】
本発明によれば、ユーザは自分の音声と模範音声との差異がある部分を具体的に特定することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る語学学習装置１の機能構成を示すブロック図である。記憶部１０は、語学学習においてお手本となる音声を示す模範音声データを記憶する。入力部２０は、ユーザ（学習者あるいは生徒）の音声を取得し、ユーザ音声データを出力する。データ処理部３０は、ユーザ音声と模範音声とが同一の長さとなるようにユーザ音声データの処理を行う。差異点抽出部４０は同一の長さに揃えられたユーザ音声データと模範音声データとを比較して、両者の差異点を抽出する。差異点強調部５０は、模範音声データおよびユーザ音声データに対して差異点抽出部４０で抽出された差異点を強調する処理を行う。音声出力部６０は、差異点が強調された模範音声およびユーザ音声を再生する。各構成要素の機能の詳細については後述する。
【００１１】
図２は、語学学習装置１のハードウェア構成を示すブロック図である。ＣＰＵ（Central Processing Unit）１０１は、ＲＡＭ（Random Access Memory）１０２を作業エリアとして、ＲＯＭ（Read Only Memory）１０３あるいはＨＤＤ（Hard Disk Drive）１０４に記憶されているプログラムを読み出して実行する。ＨＤＤ１０４は、各種アプリケーションプログラムやデータを記憶する記憶装置である。本実施形態に関して、特に、ＨＤＤ１０４は、語学学習プログラム、この語学学習プログラムで使用する模範音声データを記録した模範音声データベースＤＢ１を記憶している。
【００１２】
ディスプレイ１０５は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等、ＣＰＵ１０１の制御下で文字や画像を表示する表示装置である。マイク１０６は、ユーザの音声を取得するための集音装置であり、ユーザの発した音声に対応する音声信号を出力する。音声処理部１０７は、マイク１０６により出力されたアナログ音声信号をデジタル音声データに変換する機能や、ＨＤＤ１０４に記憶された音声データを音声信号に変換してスピーカ１０８に出力する機能を有する。また、ユーザはキーボード１０９を操作することにより、語学学習装置１に対して指示入力を行うことができる。以上で説明した各構成要素は、バス１１０を介して相互に接続されている。
【００１３】
図３は、模範音声データベースＤＢ１の内容を示す図である。模範音声データベースＤＢ１には、語学学習に用いる例文（例えば、英語の学習において「Good to see you again. How are you?」等の例文）のテキストデータと、例文単位の音声波形をデジタル化した音声波形データと、その例文を特定する識別子とが複数記憶されている。例文テキストデータ、音声波形データ、識別子はそれぞれ対応付けられている。
【００１４】
続いて、語学学習装置１の動作について説明する。本実施形態においては、ＣＰＵ１０１がＨＤＤ１０４に記憶された語学学習プログラムを実行することにより、語学学習装置１において図１に示される各機能構成要素に相当する機能が実現される。
【００１５】
図４は、本実施形態に係る語学学習装置１の動作を示すフローチャートである。語学学習プログラムを実行すると、ＣＰＵ１０１は、ディスプレイ１０５上に例文の選択を促すメッセージを表示する。ユーザはディスプレイ１０５上に表示されたメッセージに従い、模範音声データベースＤＢ１に記録された例文から１の例文を選択する。ＣＰＵ１０１は選択された例文の音声を再生する（ステップＳ１０１）。具体的には次のとおりである。ＣＰＵ１０１は、模範音声データベースＤＢ１から、選択された例文に対応する模範音声データを抽出する。ＣＰＵ１０１は、抽出した模範音声データを音声処理部１０７に出力する。音声処理部１０７は入力された模範音声データをデジタル／アナログ変換してアナログ音声信号としてスピーカ１０８に出力する。こうして模範音声が再生される。
【００１６】
ユーザはスピーカ１０８から再生された模範音声を聞き、マイク１０６に向かって模範音声を真似して例文を発声する。すなわち、ユーザ音声の入力が行われる（ステップＳ１０２）。具体的には次のとおりである。模範音声の再生が終了すると、ＣＰＵ１０１は、「次はあなたの番です。例文を発音してください」等、ユーザに例文の発生を促すメッセージをディスプレイ１０５に表示する。さらにＣＰＵ１０１は、「スペースキーを押してから発音し、発音が終わったらもう一度スペースキーを押してください」等、ユーザ音声の入力を行うための操作を指示するメッセージをディスプレイ１０５に表示する。ユーザは、ディスプレイ１０５に表示されたメッセージに従ってキーボード１０９を操作し、ユーザ音声の入力を行う。すなわち、キーボード１０９のスペースキーを押した後に、マイク１０６に向かって例文を発声する。発声が終了したら、ユーザはもう一度スペースキーを押す。
【００１７】
ユーザの音声はマイク１０６により電気信号に変換される。マイク１０６は、ユーザ音声信号を出力する。ユーザ音声信号は、音声処理部１０７によりデジタル音声データに変換され、ユーザ音声データとしてＨＤＤ１０４に記録される。ＣＰＵ１０１は、模範音声の再生が完了した後、スペースキーの押下をトリガとしてユーザ音声データの記録を開始し、再度のスペースキーの押下をトリガとしてユーザ音声データの記録を終了する。すなわち、ユーザが最初にスペースキーを押してから、もう一度スペースキーを押すまでの間のユーザ音声がＨＤＤ１０４に記録される。
【００１８】
続いてＣＰＵ１０１は、ユーザ音声と模範音声の長さが同一となるようにユーザ音声データを処理する（ステップＳ１０３）。具体的には次のとおりである。図５は、模範音声（図５（Ａ））およびユーザ音声（図５（Ｂ））の波形を例示する図である。図５に示される例では、模範音声およびユーザ音声はともに同一の例文を発声したものであるが、発話の速度が異なっているため、長さが異なっている。すなわち、ユーザ音声の方が発話速度が遅いため、音声の長さが長くなっている。ＣＰＵ１０１は、以下のようにしてユーザ音声の長さを模範音声と同一にする。
【００１９】
図６は、ステップＳ１０３における、ユーザ音声と模範音声の長さを同一にする処理をより詳細に示すフローチャートである。ＣＰＵ１０１は、まず、データサイズを計測する等の方法により、模範音声およびユーザ音声の長さを算出する（ステップＳ１０３−１）。ＣＰＵ１０１は、この算出結果から、模範音声とユーザ音声の長さの差（図５のΔｔ）をさらに算出する。
【００２０】
続いてＣＰＵ１０１は、ユーザ音声データのうち、子音に係る部分および母音に係る部分のそれぞれに識別子を付加する（ステップＳ１０３−２）。これは次のような目的による。すなわち、一般に子音の長さは話者によらずほぼ同一であるのに対し、母音の長さは話者によって大きく異なる。したがって、ユーザ音声の長さを変更する際に、子音の長さはそのままで母音の長さのみ変化させれば、聴感上の不自然さを生じさせずに音声の長さを変更することができる。従来技術においては、子音であるか母音であるかにかかわらず一様に音声の長さが変更されるので、不自然な聴感を与えてしまうという問題があった。しかし、本実施形態によればこのような問題は起こらない。
【００２１】
母音部分と子音部分の分離は例えば次のように行う。ＣＰＵ１０１は、選択された例文のテキストデータから、その例文に含まれる母音を抽出する。例えばテキストデータの先頭から順に「ａ」「ｕ」「ｉ」「ｅ」という母音が抽出された場合を考える。ＣＰＵ１０１は、音声データをあらかじめ決められた時間（フレーム）毎に分割する。ＣＰＵ１０１は、フレームに分解された模範音声データが示す波形およびユーザ音声信号が示す波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換してフレームごとのスペクトル包絡を得る。ＣＰＵ１０１は、こうして得られたスペクトル包絡から第１フォルマントおよび第２、第３フォルマントのフォルマント周波数を抽出する。一般に母音は第１および第２、第３フォルマントの分布により特徴付けられる。ＣＰＵ１０１は、音声データの先頭からまず母音「ａ」のフォルマント周波数分布とマッチングを行う。マッチングによりそのフレームが母音「ａ」に相当するものであると判断された場合、ＣＰＵ１０１は、検出された母音の種類および音声データ上の位置を示すデータＣを生成する。既にデータＣが生成されているときは、データＣに新たな情報を追加する。ＣＰＵ１０１は、後続するフレームについても母音「ａ」とのマッチングを行い、マッチしなくなったら続いて母音「ｕ」とのマッチングを行う。このようにして先頭から母音を検索し、データＣを生成する。なお、母音の種類および位置を示すデータを生成する代わりに、子音の位置を示すデータを生成してもよいし、母音と子音両方の位置を示すデータを生成してもよい。また、音と音のリエゾン区間（中間的な音）の区間位置データや、無音区間データを生成してもよい。
【００２２】
続いて、ＣＰＵ１０１は、模範音声データのうち、子音に係る部分について、データの先頭から順に番号を付し、子音に係る部分それぞれの先頭位置を示す情報（例えば、データの先頭からの時間）と共にテーブルＴＢ１としてＲＡＭ１０２に記憶する。ここで、模範音声データにおける母音と子音の分離は、上述のユーザ音声データの場合と同様に行ってもよいし、あらかじめ模範音声データベースＤＢ１に母音の位置または子音の位置を示す情報を記憶しておき、その情報に基づいて子音部分を特定してもよい。続いてＣＰＵ１０１は、ユーザ音声データから子音に係る部分を切り出し、テーブルＴＢ１を参照して、模範音声と子音の位置が一致するように、切り出した子音部分を再配置する（ステップＳ１０３−３）。さらにＣＰＵ１０１は、ユーザ音声データのうち、子音と子音の間に位置する母音に係る部分について、模範音声と同じ長さとなるようにデータの加工を行う（ステップＳ１０３−３）。これは例えば、ユーザ音声の母音部分の方が模範音声の母音部分よりも長い場合には、その長い部分のデータを削除することにより実現できる。あるいは、ユーザ音声の母音部分の方が模範音声の母音部分よりも短い場合には、所望の長さになるまで母音部分の波形を繰り返し足しつなげていけばよい。このようにして、ユーザ音声の長さは模範音声と同一となり、また、時間軸上の子音および母音の位置も一致することとなる。
【００２３】
再び図４を参照して説明する。ＣＰＵ１０１は、模範音声とユーザ音声との差異点を抽出する（ステップＳ１０４）。この処理は例えば次のように行われる。ＣＰＵ１０１は、前述のように模範音声データが示す波形をあらかじめ決められた時間（フレーム）ごとに分割する。また、ＣＰＵ１０１は、ユーザ音声データが示す波形についてもフレームごとに分割する。ＣＰＵ１０１は、フレームに分解された模範音声データが示す波形およびユーザ音声信号が示す波形をフーリエ変換して得られた振幅スペクトルの対数を求め、それをフーリエ逆変換してフレームごとのスペクトル包絡を得る。
【００２４】
図７は、模範音声（上）およびユーザ音声（下）のスペクトル包絡を例示する図である。図７に示されるスペクトル包絡は、フレームＩ〜フレームＩＩＩの３つのフレームから構成されている。ＣＰＵ１０１は、得られたスペクトル包絡をフレームごとに比較する。ＣＰＵ１０１は、模範音声のスペクトル包絡とユーザ音声のスペクトル包絡との差異が、あらかじめ決められたしきい値を超えた場合は、そのフレームにおいて模範音声とユーザ音声とに差異があるものと判断する。模範音声とユーザ音声との差異は、例えば、特徴的なフォルマントの周波数とスペクトル密度とをスペクトル密度−周波数図に表したときの２点間の距離によって求めてもよいし、特定の周波数においてスペクトル密度を比較することによって求めてもよい。あるいは、１以上の特定のフォルマントのフォルマント周波数を比較することにより模範音声とユーザ音声との差異を求めてもよい。図５に示される例では、ＣＰＵ１０１はフレームＩＩについて差異があるものと判断する。ＣＰＵ１０１は、模範音声とユーザ音声に差異があったことを示すフラグを記録したデータＦを生成し、ＲＡＭ１０２に記憶する。模範音声とユーザ音声とに差異が無い場合は、ＣＰＵ１０１は、そのことを示すデータＦを生成し、ＲＡＭ１０２に記憶する。さらに、ＣＰＵ１０１は、そのフレームにおける模範音声とユーザ音声との差異の有無を示すフラグを記録したデータＤを生成し、ＲＡＭ１０２に記憶する。すなわち、データＤは、フレームごとにユーザの発音の良否（模範音声との差異の有無）を示している。ＣＰＵ１０１はこのようにしてすべてのフレームについて模範音声のスペクトルとユーザ音声のスペクトルを比較する。ＲＡＭ１０２には、模範音声と差異があると判断されたフレームを特定するデータＤが記憶されている。
【００２５】
再び図４を参照して説明する。ＣＰＵ１０１は、データＦに基づいてユーザ音声に模範音声と異なっている部分が存在するか否か判断する（ステップＳ１０５）。ユーザ音声に模範音声と異なっている部分がある場合（ステップＳ１０５：ＹＥＳ）、ＣＰＵ１０１は、以下で説明する差異点強調処理を行う（ステップＳ１０６）。ＣＰＵ１０１は、ステップＳ１０５、Ｓ１０６の処理を全フレームに渡って行う（ステップＳ１０８）。これにより、差異点が強調された模範音声が再生される。ユーザの発音に悪い部分が無い場合（ステップＳ１０５：ＮＯ）、ＣＰＵ１０１は「良好です」等のメッセージをディスプレイ１０５に表示し、処理を終了する。
【００２６】
ステップＳ１０６における差異点強調処理は、例えば以下のように行われる。ユーザが自分の発音を確認するという目的から、後述するステップＳ１０７において、基本的にはユーザ音声が再生される。しかし、模範音声との差異があった部分については、強調処理として、ユーザ音声ではなく模範音声を再生する。これにより、ユーザが模範音声との差異があった部分を具体的に特定することができるという効果、および差異があった部分について正しい発音をユーザに示すことができるという効果が奏される。差異点強調処理は具体的には、次のように行われる。ＣＰＵ１０１は、ステップＳ１０３において長さを揃えられた模範音声およびユーザ音声に対し、それぞれ音量係数を乗じて加算する。音量係数は、再生される音声の音量を示すパラメータである。例えばユーザ音声の音量係数が１で模範音声の音量係数が０である場合は、スピーカ１０８からはユーザ音声のみが再生される。逆にユーザ音声の音量係数が０で模範音声の音量係数が１である場合にはスピーカ１０８からは模範音声のみが再生される。
【００２７】
ＣＰＵ１０１は、データＤを参照してフレーム毎に音量係数を決定する。すなわち、ユーザ音声データにおいて、データＤが差異点ありを示している場合には、ＣＰＵ１０１はそのフレームの音量係数を０に設定する。逆に、データＤが模範音声との差異点なしを示している場合には、ＣＰＵ１０１はそのフレームの音量係数を１に設定する。一方、模範音声データにおいて、データＤが差異点ありを示している場合には、ＣＰＵ１０１はそのフレームの音量係数を１に設定する。逆に、データＤが模範音声との差異点なしを示している場合には、ＣＰＵ１０１はそのフレームの音量係数を０に設定する。ＣＰＵ１０１は、このようにして求められた音量係数をユーザ音声データおよび模範音声データに乗じて、ユーザ音声データと模範音声データとを混合する。ＣＰＵ１０１は、こうして得られた混合音声データを音声処理部１０７に出力する。
【００２８】
続いて音声処理部１０７は、入力された混合音声データをデジタル／アナログ変換し、音声信号としてスピーカ１０８に出力する。スピーカ１０８からは、強調処理を施された音声が再生される（ステップＳ１０７）。この音声を聞くことにより、ユーザは自分の音声と模範音声との差異がある部分を具体的に特定することができ、また、その差異がある部分については正しい発音を知ることができる。
【００２９】
＜第２実施形態＞
続いて、本発明の第２実施形態について説明する。なお、以下の説明において第１実施形態と共通の要素には共通の参照符号を付与し、その説明を省略する。
図８は、本発明の第２実施形態に係る語学学習装置２の機能構成を示すブロック図である。第１実施形態に係る語学学習装置１と異なる部分についてのみ説明すると、差異点強調部５１は、模範音声データおよびユーザ音声データに対して差異点抽出部４０で抽出された差異点に基づいて、模範音声およびユーザ音声を視覚化した画像であって、両者の差異点が強調された画像を示す画像データを生成する。差異点表示部６１は、差異点強調部５１により生成された画像データに基づいて画像表示を行う。なお、語学学習装置２のハードウェア構成は図２に示される語学学習装置１のハードウェア構成と同一であるのでその説明を省略する。
【００３０】
図９は、本発明の第２実施形態に係る語学学習装置２の動作を示すフローチャートである。ステップＳ１０１〜Ｓ１０５の処理は第１実施形態と同じであるのでその説明を省略する。ユーザ音声に模範音声と異なっている部分がある場合（ステップＳ１０５：ＹＥＳ）、ＣＰＵ１０１は、差異点強調処理を行う（ステップＳ２０６）。本実施形態において、模範音声とユーザ音声との差異点は画像で視覚的に表される。
【００３１】
図１０は、本実施形態において出力される画像を例示する図である。模範音声画像Ａおよびユーザ音声画像Ｂが、縦に並べられて表示される。各音声画像は、音量および音程を示す図（Ａ−１、Ａ−２）と、周波数特性を示す図（Ｂ−１、Ｂ−２）と、主として２つの図から構成される。これらの図はいずれも、水平方向が時間軸となっている。ステップＳ２０６において、ＣＰＵ１０１は、模範音声データおよびユーザ音声データに基づいて、図１０に示されるような画像を示す画像データを生成する。すなわち、ＣＰＵ１０１は各音声データから、フレーム毎に音程（ピッチ）および音量を算出する。ＣＰＵ１０１は、図１０に示されるように、音量に対応させて図形の幅を、音程に対応させて図形の上下方向の位置（座標）を決定する。ＣＰＵ１０１は、処理対象となっているフレームに相当する時間軸上の位置に、決定された位置（上下方向の座標）に決定された幅を有する図形を表示させる画像データを生成する。また、ＣＰＵ１０１は、音声波形に対しフレーム毎にフーリエ変換を行い、周波数分析を行う。すなわち、フーリエ変換により得られたスペクトルから、振幅が最大となる周波数（最大振幅周波数）を求める。ＣＰＵ１０１は、最大振幅周波数を、ディスプレイ１０５に表示する色を特定する識別子（色コード）に変換する。これは、例えばＨＤＤ１０４に、周波数と色コードとを対応付けて記録したテーブルをあらかじめ記憶させておき、ＣＰＵ１０１はこのテーブルを参照して最大振幅周波数を色コードに変換する。ＣＰＵ１０１は処理対象となっているフレームに相当する位置に、この色コードで特定される色を表示させる画像データを生成する。そして、模範音声とユーザ音声の差異点において表示の色や明るさを変えることにより、ユーザは模範音声と自分の音声の差異を視覚的に認識することができる。
【００３２】
ＣＰＵ１０１は生成した画像データをディスプレイ１０５に出力する。ディスプレイ１０５は、画像データに従って図１０に示されるような画像を表示する（ステップＳ２０７）。
【００３３】
＜変形例＞
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。
上述の各実施形態では、ＣＰＵ１０１がＨＤＤ１０４に記憶された語学学習プログラムを実行することにより語学学習装置１あるいは語学学習装置２としての機能が実現されたが、図１あるいは図８に示される機能構成要素に相当する電子回路等を用いて、語学学習装置としての機能をハードウェア的に実現してもよい。
【００３４】
また、上述の各実施形態では、模範音声およびユーザ音声の長さを揃える処理（ステップＳ１０３）において、ユーザ音声の長さを模範音声に合わせる態様について説明したが、模範音声の長さをユーザ音声の長さに合わせるようにしてもよい。
【００３５】
また、第１実施形態では、模範音声とユーザ音声との差異点を強調する処理は、音量の調整により行う態様について説明したが、さらに付加的な処理を行ってもよい。例えば、模範音声とユーザ音声とで差異があった部分が子音である場合について、模範音声を再生する際に、より模範音声を明確に聞かせるために特定の周波数領域を増幅する構成としてもよい。あるいは、例えば一般に英語におけるｌとｒの発音においては第２フォルマントおよび第３フォルマントの位置が異なることが知られているため、特定のフォルマントを増幅する強調処理を行ってもよい。この強調処理は、語学学習プログラムに従ってＣＰＵ１０１が行ってもよいし、バンドパスフィルタと増幅器とを用いてハードウェア的に実現してもよい。
また、音量の調整によって差異点の強調を行う態様においても、音量は「０」「１」の２段階だけでなく、中間の音量値を用いてもよい。
【００３６】
また、第２実施形態では、模範音声画像およびユーザ音声画像を縦に並べて表示する態様について説明したが、両画像の表示の態様はこれに限定されない。例えば、両画像を横に並べても良いし、重ねて表示してもよい。重ねて表示する場合には、模範音声とユーザ音声とで表示色を変えることが望ましい。
また、模範音声画像およびユーザ音声画像を並べて表示する態様において、図１０の例では、音程および音量を示す画像と、周波数特性を示す画像とをそれぞれ別個に表示する態様について説明したが、これらを１つの画像で表現してもよい。例えば、第２実施形態では、音程および音量を示す画像は単一の色で表示されたが、これに周波数特性を示す色をつけて表示してもよい。
また、音声画像は図１０で例示したものに限定されない。例えば、音声波形を直接表示してもよい。
また、ステップＳ２０６における周波数分析の手法は、第２実施形態で説明したものに限定されない。例えば、フレーム毎に音声波形のスペクトル包絡を求め、フォルマント周波数を求めることとしてもよい。フォルマント周波数としては、例えば、第１〜第３フォルマントのいずれかを用いることができる。
【００３７】
また、第１実施形態で説明した差異点強調処理を行う機能と、第２実施形態で説明した画像生成・表示機能とを同時に具備する語学学習装置を提供することもできる。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１実施形態に係る語学学習装置１の機能構成を示すブロック図である。
【図２】語学学習装置１のハードウェア構成を示すブロック図である。
【図３】模範音声データベースＤＢ１の内容を示す図である。
【図４】同実施形態に係る語学学習装置１の動作を示すフローチャートである。
【図５】模範音声（Ａ）およびユーザ音声（Ｂ）の波形を例示する図である。
【図６】ステップＳ１０３の処理をより詳細に示すフローチャートである。
【図７】模範音声（上）およびユーザ音声（下）のスペクトル包絡を例示する図である。
【図８】本発明の第２実施形態に係る語学学習装置２の機能構成を示すブロック図である。
【図９】同実施形態に係る語学学習装置２の動作を示すフローチャートである。
【図１０】同実施形態において出力される画像を例示する図である。
【符号の説明】
【００３９】
１…語学学習装置、２…語学学習装置、１０…記憶部、２０…入力部、３０…音声処理部、４０…差異点抽出部、５０…差異点強調部、５１…差異点強調部、６０…音声出力部、６１…差異点表示部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…ＨＤＤ、１０５…ディスプレイ、１０６…マイク、１０７…音声処理部、１０８…スピーカ、１０９…キーボード、１１０…バス
【図１】
2006178214.tif 000003
【図２】
2006178214.tif 000004
【図３】
2006178214.tif 000005
【図４】
2006178214.tif 000006
【図５】
2006178214.tif 000007
【図６】
2006178214.tif 000008
【図７】
2006178214.tif 000009
【図８】
2006178214.tif 000010
【図９】
2006178214.tif 000011
【図１０】
2006178214.tif 000012