(57)【要約】  【課題】  発話者の個体差の違いによる影響を低減でき、教材と学習者の音声の波形の比較を容易にできる学習支援システムを提供する。  【解決手段】  波形表示処理部１０３は、教材ピッチ波形情報および学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成する。この際、波形表示処理部１０３は、教材の音声の代表的なピッチと学習者の代表的なピッチの差分を吸収するようにピッチ波形表示位置を調整する。また、波形表示処理部１０３は、教材音圧波形情報および学習者音圧波形情報を比較する画像である音圧波形比較画像を生成する。この際、波形表示処理部１０３は、教材の音声の音圧変化幅と学習者の音声の音圧変化幅の差分を吸収するように音圧波形を調整する。【選択図】  図１
2005308993.tif 000002
【特許請求の範囲】
【請求項１】
教材の音声のピッチ波形である教材ピッチ波形情報を取得する教材ピッチ取得手段と、
学習者の音声のピッチ波形である学習者ピッチ波形情報を取得する学習者ピッチ取得手段と、
前記教材ピッチ波形情報および前記学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成するピッチ波形比較画像生成手段と、
前記ピッチ波形比較画像生成手段に設けられ、前記教材の音声の代表的なピッチと前記学習者の代表的なピッチとの差分を吸収するようにピッチ波形表示位置を調整する表示位置調整手段と、
を備えたことを特徴とする学習支援システム。
【請求項２】
前記表示位置調整手段は、前記代表的なピッチとしてピッチの平均値を用いることを特徴とする請求項１に記載の学習支援システム。
【請求項３】
前記ピッチ波形比較画像生成手段は、前記教材ピッチ波形情報と前記学習者ピッチ波形情報とを重ね合わせることを特徴とする請求項１に記載の学習支援システム。
【請求項４】
前記ピッチ波形比較画像生成手段は、学習者の入力音声からリアルタイムでピッチ波形画像を生成し、
前記表示位置調整手段は、過去に録音された学習者の音声から得られた代表ピッチを用いて表示位置を調整することを特徴とする請求項１に記載の学習支援システム。
【請求項５】
前記ピッチ波形比較画像生成手段は、学習者の入力音声からリアルタイムでピッチ波形画像を生成し、
前記表示位置調整手段は、入力された学習者の音声の初期段階のピッチを用いて表示位置を調整することを特徴とする請求項１に記載の学習支援システム。
【請求項６】
前記ピッチ波形比較画像生成手段に設けられ、前記教材ピッチ波形情報と前記学習者ピッチ波形情報の少なくとも一方に関して、ピッチ変化幅を表す情報をピッチ波形比較画像に付加する変化幅付加手段を備えたことを特徴とする請求項１に記載の学習支援システム。
【請求項７】
教材の音声のピッチ波形である教材ピッチ波形情報を取得する教材ピッチ取得手段と、
学習者の音声のピッチ波形である学習者ピッチ波形情報を取得する学習者ピッチ取得手段と、
前記教材ピッチ波形情報および前記学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成するピッチ比較画像生成手段と、
前記ピッチ比較画像生成手段に設けられ、前記教材ピッチ波形情報と前記学習者ピッチ波形情報の少なくとも一方に関して、ピッチ変化幅を表す情報をピッチ波形比較画像に付加する変化幅付加手段と、
を備えたことを特徴とする学習支援システム。
【請求項８】
前記変化幅付加手段は、最高ピッチと最低ピッチを示す情報をピッチ波形比較画像に付加することを特徴とする請求項７に記載の学習支援システム。
【請求項９】
教材の音声の音圧波形である教材音圧波形情報を取得する教材音圧取得手段と、
学習者の音声の音圧波形である学習者音圧波形情報を取得する学習者音圧取得手段と、
前記教材音圧波形情報および前記学習者音圧波形情報を比較するための音圧波形比較画像を生成する音圧波形比較画像生成手段と、
前記音圧波形比較画像生成手段に設けられ、前記教材の音声の音圧変化幅と前記学習者の音声の音圧変化幅との差分を吸収するように音圧波形を調整する波形調整手段と、
を備えたことを特徴とする学習支援システム。
【請求項１０】
前記波形調整手段は、音圧変化幅として音声の最大音圧と最小音圧の幅を用いることを特徴とする請求項９に記載の学習支援システム。
【請求項１１】
前記音圧波形比較画像生成手段は、前記教材音圧波形情報と前記学習者音圧波形情報を重ね合わせることを特徴とする請求項９に記載の学習支援システム。
【請求項１２】
前記音圧波形比較画像生成手段は、学習者の入力音声からリアルタイムで音圧波形画像を生成し、
前記波形調整手段は、過去に録音された学習者の音声から得られた音圧変化幅を用いて音圧波形を調整することを特徴とする請求項９に記載の学習支援システム。
【請求項１３】
前記音圧波形比較画像生成手段は、学習者の入力音声からリアルタイムで音圧波形画像を生成し、
前記表示位置調整手段は、入力された学習者の音声の初期段階の音圧を用いて表示位置を調整することを特徴とする請求項９に記載の学習支援システム。
【請求項１４】
前記音圧波形比較画像生成手段に設けられ、前記教材音圧波形情報と前記学習者音圧波形情報の少なくとも一方に関して、音圧変化幅を表す情報を音圧波形比較画像に加える変化幅付加手段を備えたことを特徴とする請求項９に記載の学習支援システム。
【請求項１５】
教材の音声の音圧波形である教材音圧波形情報を取得する教材音圧取得手段と、
学習者の音声の音圧波形である学習者音圧波形情報を取得する学習者音圧取得手段と、
前記教材音圧波形情報および前記学習者音圧波形情報を比較するための音圧波形比較画像を生成する音圧波形比較画像生成手段と、
前記音圧波形比較画像生成手段に設けられ、前記教材音圧波形情報と前記学習者音圧波形情報の少なくとも一方に関して、音圧変化幅を表す情報を音圧波形比較画像に加える変化幅付加手段と、
を備えたことを特徴とする学習支援システム。
【請求項１６】
前記変化幅付加手段は、音声の最大音圧と最小音圧を示す情報を音圧波形比較画像に付加することを特徴とする請求項１５に記載の学習支援システム。
【請求項１７】
教材の音声パラメータの波形である教材波形情報を取得する教材波形取得手段と、
学習者の音声パラメータの波形である学習者波形情報を取得する学習者波形取得手段と、
前記教材波形情報および前記学習者波形情報を比較するための波形比較画像を生成する波形比較画像生成手段と、
前記波形比較画像生成手段に設けられ、前記教材および前記学習者の音声パラメータの代表値の差を吸収するように波形画像を調整する調整手段と、
を備えたことを特徴とする学習支援システム。
【請求項１８】
教材の音声のピッチ波形である教材ピッチ波形情報を取得するステップと、
学習者の音声のピッチ波形である学習者ピッチ波形情報を取得するステップと、
前記教材ピッチ波形情報および前記学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成するステップと、
前記ピッチ波形比較画像を生成するときに、前記教材の音声の代表的なピッチと前記学習者の代表的なピッチとの差分を吸収するようにピッチ波形表示位置を調整するステップと、
を備えたことを特徴とする学習支援のための音声情報処理方法。
【請求項１９】
教材の音声の音圧波形である教材音圧波形情報を取得するステップと、
学習者の音声の音圧波形である学習者音圧波形情報を取得するステップと、
前記教材音圧波形情報および前記学習者音圧波形情報を比較するための音圧波形比較画像を生成するステップと、
前記音圧波形比較画像を生成するときに、前記教材の音声の音圧変化幅と前記学習者の音声の音圧変化幅との差分を吸収するように音圧波形を調整するステップと、
を備えたことを特徴とする学習支援のための音声情報処理方法。
【請求項２０】
教材の音声のピッチ波形である教材ピッチ波形情報を取得するステップと、
学習者の音声のピッチ波形である学習者ピッチ波形情報を取得するステップと、
前記教材ピッチ波形情報および前記学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成するステップと、
前記ピッチ波形比較画像を生成するときに、前記教材の音声の代表的なピッチと前記学習者の代表的なピッチとの差分を吸収するようにピッチ波形表示位置を調整するステップと、
をコンピュータに実行させることを特徴とする学習支援のための音声情報処理プログラム。
【請求項２１】
教材の音声の音圧波形である教材音圧波形情報を取得するステップと、
学習者の音声の音圧波形である学習者音圧波形情報を取得するステップと、
前記教材音圧波形情報および前記学習者音圧波形情報を比較するための音圧波形比較画像を生成するステップと、
前記音圧波形比較画像を生成するときに、前記教材の音声の音圧変化幅と前記学習者の音声の音圧変化幅との差分を吸収するように音圧波形を調整するステップと、
をコンピュータに実行させることを特徴とする学習支援のための音声情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声からピッチ波形および音圧波形を抽出して表示する機能を備えた学習支援システムに関する。
【背景技術】
【０００２】
従来より、マルチメディア技術を応用した語学学習用の学習支援システムが提案されている（例えば特許文献１参照）。従来の学習支援システムは、視覚的に教材の音声と学習者の音声を比較するための便利な機能として、音圧波形およびピッチ波形の表示機能を備えている。この場合、教材の音声から音圧波形およびピッチ波形が抽出される。学習者の入力音声からも音圧波形およびピッチ波形が抽出される。これらの波形が、学習者の操作に従って画面に表示される。
【０００３】
従来の学習支援システムの一例を挙げると、音圧波形およびピッチ波形は以下のようにして表示される。まず、教材の音声ファイルが読み込まれ、教材の音圧波形が画像中の上段領域に表示される。次に学習者が発声し、音声が録音され、録音音声の音圧波形が画像中の下段領域に表示される。上段領域および下段領域に対して、比較したい部分の範囲が指定される。次に、ピッチ抽出波形画面を開くためのボタン操作を受け付けると、ピッチ抽出波形画面が開く。そして、教材音声および学習者音声の指定範囲のピッチ波形が、上段および下段に分かれて表示される。
【０００４】
学習者は、スピーチ学習において、上記の機能を利用し、波形比較画像を見て、教材の波形と自分の波形を比較し、自分の波形を教材の波形に近づける。このような学習を通じて、語学の上達を促すことができる。
【特許文献１】特開２００２−２３６１３号公報（第３−４ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の学習支援システムは、下記のように、波形比較画像が教材の話者と学習者の個体差の影響を受けるので、波形の比較が容易でないという問題があった。
【０００６】
例えば、教材の話者の声が学習者より大きかったとする。この場合、学習者が普通に話すと、声の大きさの分だけ音圧波形が異なってしまう。教材の音圧波形に学習者の音圧波形を合わせようとすると、学習者は、通常とは異なる大きな声を出さなくてはならない。声の大きさに気をとられる結果、練習の効果が低下する可能性がある。
【０００７】
上記の例に示されるように、音圧は、発話者個人の声の大きさによって異なり、また、マイクの位置によっても異なる。ピッチは、発話者の性別などに応じた個体差があり、また、発話者の感情の起伏によっても変化する。このような個体差は、音圧およびピッチの波形にそのまま反映される。したがって、学習者が自分の波形を教材の波形に合わせるためには、通常と異なる大きさの声を出したり、通常と違う高さの声を出さなくてはならない。しかし、このような声の調整は、スピーチの上達には関係ないものである。むしろ、そのような練習は、上記の例で説明したように、スピーチの技術とは関係ない発話の特徴をまねするだけの結果に終わる可能性もある。
【０００８】
上記のような話者の個体差を吸収するために、学習者が教材に合わせてマイク入力ボリュームを調節することも考えられる。また、性別に応じたピッチ探索周波数帯域が設定されてもよい。しかし、このような設定作業は、教材が変わる度に行わなければならず、手間と音声に対する知識が必要とされるため、このような作業を学習者に要求することは好ましいとはいえなかった。
【０００９】
また、従来は、教材の波形と学習者の波形が別の領域に表示されており、両波形の距離が離れており、比較が容易でないという問題もあった。
【００１０】
本発明は上記課題を解決するためになされたものであり、発話者の個体差の違いによる影響を低減して、教材と学習者の音声の波形を容易に比較できる学習支援システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の学習支援システムは、教材の音声のピッチ波形である教材ピッチ波形情報を取得する教材ピッチ取得手段と、学習者の音声のピッチ波形である学習者ピッチ波形情報を取得する学習者ピッチ取得手段と、前記教材ピッチ波形情報および前記学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成するピッチ波形比較画像生成手段と、前記ピッチ波形比較画像生成手段に設けられ、前記教材の音声の代表的なピッチと前記学習者の代表的なピッチとの差分を吸収するようにピッチ波形表示位置を調整する表示位置調整手段とを備えている。
【００１２】
この構成により、教材の音声の代表的なピッチと学習者の代表的なピッチの差分を吸収するようにピッチ波形表示位置を調整するので、学習者が声の高さを無理に教材に合わせなくても、教材と学習者のピッチ波形が比較しやすい位置に描かれた比較画像を提供できる。したがって、発話者の個体差の違いに影響を低減でき、教材と学習者の音声の波形を容易に比較できる。
【００１３】
本発明の学習支援システムにおいて、前記表示位置調整手段は、前記代表的なピッチとしてピッチの平均値を用いる。この構成により、教材と学習者のピッチの平均の差分を吸収した比較画像を提供できる。
【００１４】
また、本発明の学習支援システムにおいて、前記ピッチ波形比較画像生成手段は、前記教材ピッチ波形情報と前記学習者ピッチ波形情報とを重ね合わせる。この構成により、教材と学習者の音声のピッチをさらに比較しやすくできる。
【００１５】
また、本発明の学習支援システムにおいて、前記ピッチ波形比較画像生成手段は、学習者の入力音声からリアルタイムでピッチ波形画像を生成し、前記表示位置調整手段は、過去に録音された学習者の音声から得られた代表ピッチを用いて表示位置を調整する。この構成により、リアルタイムでピッチ波形表示位置を調整することができる。
【００１６】
また、本発明の学習支援システムにおいて、前記ピッチ波形比較画像生成手段は、学習者の入力音声からリアルタイムでピッチ波形画像を生成し、前記表示位置調整手段は、入力された学習者の音声の初期段階のピッチを用いて表示位置を調整する。この構成によっても、リアルタイムでピッチ波形表示位置を調整することができる。
【００１７】
また、本発明の学習支援システムは、前記ピッチ波形比較画像生成手段に設けられ、前記教材ピッチ波形情報と前記学習者ピッチ波形情報の少なくとも一方に関して、ピッチ変化幅を表す情報をピッチ波形比較画像に付加する変化幅付加手段を備えている。
【００１８】
この構成により、学習者は、ピッチ変化幅に着目することで、教材と学習者のピッチ波形を容易に比較できる。
【００１９】
また、本発明の学習支援システムにおいて、前記変化幅付加手段は、音声の最高ピッチと最低ピッチを示す情報をピッチ波形比較画像に付加する。この構成により、最高ピッチと最低ピッチが表示されるので、ピッチの把握がさらに容易になる。
【００２０】
また、本発明の別態様の学習支援システムは、教材の音声の音圧波形である教材音圧波形情報を取得する教材音圧取得手段と、学習者の音声の音圧波形である学習者音圧波形情報を取得する学習者音圧取得手段と、前記教材音圧波形情報および前記学習者音圧波形情報を比較するための音圧波形比較画像を生成する音圧波形比較画像生成手段と、前記音圧波形比較画像生成手段に設けられ、前記教材の音声の音圧変化幅と前記学習者の音声の音圧変化幅との差分を吸収するように音圧波形を調整する波形調整手段とを備えている。
【００２１】
この構成により、教材の音声の音圧変化幅と学習者の音声の音圧変化幅の差分が吸収されるので、学習者が声の大きさを無理に教材に合わせなくても、教材と学習者の音圧波形が比較しやすいかたちで描かれた比較画像を提供できる。したがって、発話者の個体差の違いによる影響を低減でき、教材と学習者の音声の波形を容易に比較できる。
【００２２】
また、本発明の学習支援システムにおいて、前記波形調整手段は、音圧変化幅として音声の最大音圧と最小音圧の幅を用いる。この構成により、教材と学習者の音圧のダイナミックレンジの差分を吸収した比較画像を提供できる。
【００２３】
また、本発明の学習支援システムにおいて、前記音圧波形比較画像生成手段は、前記教材音圧波形情報と前記学習者音圧波形情報を重ね合わせる。この構成により、教材と学習者の音声の音圧をさらに比較しやすくできる。
【００２４】
また、本発明の学習支援システムにおいて、前記音圧波形比較画像生成手段は、学習者の入力音声からリアルタイムで音圧波形画像を生成し、前記波形調整手段は、過去に録音された学習者の音声から得られた音圧変化幅を用いて音圧波形を調整する。この構成により、リアルタイムで調整された音圧波形を表示することができる。
【００２５】
また、本発明の学習支援システムにおいて、前記音圧波形比較画像生成手段は、学習者の入力音声からリアルタイムで音圧波形画像を生成し、前記表示位置調整手段は、入力された学習者の音声の初期段階の音圧を用いて表示位置を調整する。この構成により、リアルタイムで調整された音圧波形を表示することができる。
【００２６】
また、本発明の学習支援システムは、前記音圧波形比較画像生成手段に設けられ、前記教材音圧波形情報と前記学習者音圧波形情報の少なくとも一方に関して、音圧変化幅を表す情報を音圧波形比較画像に加える変化幅付加手段を備えている。
【００２７】
この構成により、学習者は、音圧変化幅に着目することで、教材と学習者の音圧波形を容易に比較できる。
【００２８】
また、本発明の学習支援システムにおいて、前記変化幅付加手段は、音声の最大音圧と最小音圧を示す情報を音圧波形比較画像に付加する。この構成により、最大音圧と最小音圧が表示されるので、音圧の把握がさらに容易になる。
【００２９】
本発明の別態様の学習支援システムは、教材の音声パラメータの波形である教材波形情報を取得する教材波形取得手段と、学習者の音声パラメータの波形である学習者波形情報を取得する学習者波形取得手段と、前記教材波形情報および前記学習者波形情報を比較するための波形比較画像を生成する波形比較画像生成手段と、前記波形比較画像生成手段に設けられ、前記教材および前記学習者の音声パラメータの代表値の差を吸収するように波形画像を調整する調整手段とを備えている。音声パラメータは、例えば、上記のピッチまたは音圧である。この構成によっても、上述した本発明の利点が得られ、すなわち、発話者の個体差の違いによる影響を低減でき、教材と学習者の音声の波形を容易に比較できる。
【００３０】
また、本発明の音声情報処理方法は、教材の音声のピッチ波形である教材ピッチ波形情報を取得するステップと、学習者の音声のピッチ波形である学習者ピッチ波形情報を取得するステップと、前記教材ピッチ波形情報および前記学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成するステップと、前記ピッチ波形比較画像を生成するときに、前記教材の音声の代表的なピッチと前記学習者の代表的なピッチとの差分を吸収するようにピッチ波形表示位置を調整するステップとを備えている。この構成によっても、上述した本発明の利点が得られる。
【００３１】
また、本発明の別態様の音声情報処理方法は、教材の音声の音圧波形である教材音圧波形情報を取得するステップと、学習者の音声の音圧波形である学習者音圧波形情報を取得するステップと、前記教材音圧波形情報および前記学習者音圧波形情報を比較するための音圧波形比較画像を生成するステップと、前記音圧波形比較画像を生成するときに、前記教材の音声の音圧変化幅と前記学習者の音声の音圧変化幅との差分を吸収するように音圧波形を調整するステップとを備えている。この構成によっても、上述した本発明の利点が得られる。
【００３２】
また、本発明の音声情報処理プログラムは、教材の音声のピッチ波形である教材ピッチ波形情報を取得するステップと、学習者の音声のピッチ波形である学習者ピッチ波形情報を取得するステップと、前記教材ピッチ波形情報および前記学習者ピッチ波形情報を比較するためのピッチ波形比較画像を生成するステップと、前記ピッチ波形比較画像を生成するときに、前記教材の音声の代表的なピッチと前記学習者の代表的なピッチとの差分を吸収するようにピッチ波形表示位置を調整するステップとをコンピュータに実行させる。この構成によっても、上述した本発明の利点が得られる。
【００３３】
また、本発明の別態様の音声情報処理プログラムは、教材の音声の音圧波形である教材音圧波形情報を取得するステップと、学習者の音声の音圧波形である学習者音圧波形情報を取得するステップと、前記教材音圧波形情報および前記学習者音圧波形情報を比較するための音圧波形比較画像を生成するステップと、前記音圧波形比較画像を生成するときに、前記教材の音声の音圧変化幅と前記学習者の音声の音圧変化幅との差分を吸収するように音圧波形を調整するステップとをコンピュータに実行させる。この構成によっても、上述した本発明の利点が得られる。
【発明の効果】
【００３４】
本発明は、教材音声と学習者音声の代表ピッチ等の差分を吸収する調整手段を設けたことにより、学習者が声の高さ等を無理に教材に合わせなくても、教材と学習者を比較しやすい比較画像を提供できる。したがって、発話者の個体差の違いによる影響を低減でき、教材と学習者の音声の波形を容易に比較できるという効果を有する学習支援システムを提供することができるものである。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態の学習支援システムについて、図面を用いて説明する。
【００３６】
本発明の実施の形態の学習支援システムを図１に示す。以下の説明では、教材の音声の波形を教材波形といい、学習者の音声の波形を学習者波形という。波形としては、ピッチ波形と音圧波形が用いられる。また、教材と学習者の波形を比較する画像を波形比較画像という。
【００３７】
図１において、学習支援システム１は、学習者端末１０とサーバ端末２０を備え、これらはネットワークで接続されている。図示されないが、同様の構成を有する複数の学習者端末１０がネットワークに接続されている。学習者端末１０およびサーバ端末２０はコンピュータで構成され、各端末の処理機能は、コンピュータにインストールされたプログラムをＣＰＵが実行することによって実現される。ネットワークは、学校内等のＬＡＮでもよく、また、インターネットでもよい。本システムをＷｅｂ上で稼働することで、ｅ−ｌｅａｒｎｉｎｇ上で、発音矯正可能なシステムを実現できる。
【００３８】
また、図示されないが、サーバ端末２０を制御する先生用の端末もネットワークに接続されている。先生用の端末が設けられず、サーバ端末２０が直接先生によって操作されてもよい。
【００３９】
図１に示すように、学習者端末１０は、音声入出力部１０１、音声抽出演算処理部１０２、波形表示処理部１０３、表示部１０４、認証処理部１０５、音声関連情報記憶部１０６、音圧計算処理部１０７、音声教材データ記憶部１０８、学習者音声記録部１０９および操作部１１０で構成されている。
【００４０】
音声入出力部１０１は、ヘッドホンおよびマイクで構成されており、教材の音声を出力し、かつ、学習者の音声を入力する機能をもつ。
【００４１】
音声抽出演算処理部１０２は、音声からピッチを抽出する演算機能を有すると共に、音声教材データ記憶部１０８、音声関連情報記憶部１０６および学習者音声記録部１０９に関するデータ入出力の制御機能をもつ。ピッチ抽出演算機能は、ＦＦＴまたは自己相関等の処理を行うように構成されている。ピッチは、教材音声と学習者音声の両方から抽出される。また、音声抽出演算処理部１０２は、教材音声を音声入出力部１０１のヘッドホンに供給し、音声入出力部１０１のマイクに入力された学習者音声を取得する。
【００４２】
音圧計算処理部１０７は、音声抽出演算処理部１０２から供給された音声データから音圧を算出する。音圧も教材音声と学習者音声の両方から算出される。波形表示処理部１０３は、ピッチ波形および音圧波形を表示するための処理を行う。波形表示処理部１０３は、音声抽出演算処理部１０２から供給されるピッチを用いて、ピッチ波形の画像を生成し、また、音圧計算処理部１０７から供給される音圧を用いて、音圧波形の画像を生成する。ピッチ波形および音圧波形は表示部１０４に表示される。表示部１０４は、ディスプレイで構成されている。
【００４３】
また、音声教材データ記憶部１０８には、音声教材データが格納されている。音声教材データは、サーバ端末２０の音声教材データ記憶部２０４から学習者端末１０に供給され、音声抽出演算処理部１０２によって音声教材データ記憶部１０８に格納される。また、学習者音声記録部１０９には、音声入出力部１０１に入力された学習者音声が、音声ファイルのかたちで格納される。
【００４４】
また、音声関連情報記憶部１０６には、学習者の過去の学習で得られた情報（以下、音声関連情報という）が記憶される。音声関連情報には、「音圧（音声の強度）」、「ピッチ帯域（平均値、最高値、最低値）」、「母音および子音の周波数特性」、「マイク入力レベル」、「学習評価結果」などが含まれる。これらは、学習者ごとの情報であり、使用環境に依存した情報である。学習評価結果は、教材波形と学習者波形の差分の計測値の情報である。音声関連情報は、下記の認証処理部１０５を介してサーバ端末２０から入手され、音声抽出演算処理部１０２により音声関連情報記憶部１０６に書き込まれる。そして、学習者端末１０を使った学習を反映するように、音声関連情報が音声抽出演算処理部１０２により更新される。
【００４５】
認証処理部１０５は、認証要求をサーバ端末２０の認証処理部２０１に送り、サーバ端末２０から認証結果を受信する。そして、認証処理部１０５は、認証対象の学習者の音声関連情報をサーバ端末２０から入手し、音声抽出演算処理部１０２に供給する。
【００４６】
また、操作部１１０は、キーボード、マウス等のデバイスで構成されており、学習者の各種の操作を入力する。学習者の指示は、操作部１１０から入力され、関連する処理部へと伝えられる。
【００４７】
前述したように、学習者端末１０は、コンピュータで構成されている。そして、上記の各種処理部を実現するプログラムが用意され、それらプログラムがコンピュータにインストールされている。そして、ＣＰＵがメモリ等の構成を用いてプログラムを実行し、これにより学習者端末１０が実現される。
【００４８】
サーバ端末２０は、図示のように、認証処理部２０１、音声関連情報データベース２０２、学習者情報データベース２０３および音声教材データベース２０４を備えている。音声教材データベース２０４には、各種の音声教材が格納されている。音声教材は、ネットワークを経由して学習者端末１０に配信される。
【００４９】
学習者情報データベース２０３には、各学習者の情報が格納されており、学習者の情報は、氏名、番号、認証のためのＩＤおよびパスワードを含んでいる。さらに、学習者情報データベース２０３は、各学習者の出席情報および学習履歴情報を記憶している。また、音声関連情報データベース２０２には、各学習者の音声関連情報が格納されている。音声関連情報の内容は、学習者端末１０の音声関連情報記憶部１０６に関連して説明した通りである。
【００５０】
認証処理部２０１は、学習者端末１０から認証要求を受信し、認証処理を行い、認証結果を学習者端末１０に送信する。認証が成功したとき、認証処理部２０１は、音声関連情報データベース２０２および学習者情報データベース２０３に格納された情報を学習者端末１０に提供する。
【００５１】
サーバ端末２０も、前述したように、コンピュータで構成されている。そして、認証処理部２０１および他の情報提供機能を実現するプログラムが用意され、それらプログラムがコンピュータにインストールされている。そして、ＣＰＵがメモリ等の構成を用いてプログラムを実行し、これによりサーバ端末２０が実現される。
【００５２】
学習支援システム１の全体的な動作の例について説明すると、図２に示すように、システム起動時は、認証処理が行われる。ＩＤ、パスワード等の情報が操作部１１０に入力されると、認証処理部１０５からサーバ端末２０の認証処理部２０１に認証要求が送られる（Ｓ１０）。認証処理部２０１は、学習者情報データベース２０３を参照して認証処理を行い、認証結果を学習者端末１０の認証処理部１０５へ通知する（Ｓ１２）。
【００５３】
認証が成功すると、サーバ端末２０の認証処理部２０１は、音声関連情報データベース２０２に記憶された音声関連情報を、学習者端末１０の認証処理部１０５へ送信する（Ｓ１４）。ここでは、認証対象になった学習者の情報が送られる。そして、音声抽出演算処理部１０２が認証処理部１０５から音声関連情報のデータを取得して、音声関連情報記憶部１０６に保存する（Ｓ１６）。さらに、音声抽出演算処理部１０２は、音声関連情報記憶部１０６から音声関連情報を読み出す。読み出された情報は、学習者端末１０での処理に必要に応じて利用される。
【００５４】
認証処理後の学習時の動作例としては、サーバ端末２０が、音声教材データベース２０４に記憶された音声教材データを読み出して、学習者端末１０に供給する。音声教材データは、音声抽出演算処理部１０２により音声教材データ記憶部１０８に記憶される。音声抽出演算処理部１０２は、音声教材データ記憶部１０８または音声教材データベース２０４から得た教材の音声を音声入出力部１０１に供給する。
【００５５】
教材音声が音声入出力部１０１から出力され、そして、学習者音声が音声入出力部１０１に入力され、音声抽出演算処理部１０２に供給される。音声抽出演算処理部１０２は、学習者音声を学習者音声記録部１０９に保存する。また、音声抽出演算処理部１０２は、学習者音声からピッチを抽出する。また、音声抽出演算処理部１０２は、教材音声からもピッチを抽出する。抽出されたピッチは、波形表示処理部１０３に送られる。
【００５６】
波形表示処理部１０３では、ピッチ波形の画像が生成される。このとき、教材と学習者のピッチ波形を一画面に表示する波形比較画像が生成される。そして、ピッチ波形比較画像が表示部１０４に表示される。
【００５７】
また、教材および学習者の音声データは、音声抽出演算処理部１０２から音圧計算処理部１０７に供給される。音圧計算処理部１０７では、音声から音圧が計算される。音圧の情報も波形表示処理部１０３に送られ、そして、波形表示処理部１０３では音圧波形の画像が生成される。ピッチ波形と同様に、教材と学習者の音圧波形を一画面に表示する波形比較画像が生成される。音圧波形比較画像も表示部１０４に表示される。
【００５８】
システム終了時の処理としては、図３に示すように、音声抽出演算処理部１０２が、音声関連情報記憶部１０６から音声関連情報を読み出し、認証処理部１０５へ供給する（Ｓ２０）。音声関連情報は、認証処理部１０５からサーバ端末２０の認証処理部２０１へ送られる（Ｓ２２）。そして、認証処理部２０１が、音声関連情報データベース２０２に音声関連情報のデータを保存する。
【００５９】
以上のように、学習支援システム１では、音圧およびピッチについて、教材および学習者の波形を比較する波形比較画像が表示される。これにより、学習者は、教材と自分の発音の違いを視覚的に認識しながら、発音を矯正することができ、そして、ネイティブスピーカに近い発話技術を獲得することができる。
【００６０】
また、学習支援システム１では、複数の学習者の音声関連情報がサーバ端末２０に一括保存される。そして、音声関連情報は、認証機能と連動して、学習者端末１０に提供される。すなわち、ログイン時に、ログインを行った学習者の音声関連情報が、学習者端末１０にダウンロードされる。学習者端末１０では音声関連情報が使用される。音声関連情報は例えば上記の波形表示に使われる。そして、ログアウト時には音声関連情報が更新される。例えば、今回の学習の音声関連情報と、過去の学習の音声関連情報とが比較され、差分が求められる。この差分の情報が、サーバ端末２０にアップロードされ、保存される。
【００６１】
したがって、学習者は、どの学習者端末１０で学習をするときでも、自分の音声関連情報を利用した学習ができる。学習者ごとの特性に応じた機器設定作業を少なくできる。また、音声関連情報を更新していくので、より正確な音声波形表示へと音声関連情報が寄与できる。
【００６２】
この点に関し、従来システムでも、学習者の音声特性に合わせた波形を表示するためのパラメータ設定機能が備えられている。しかし、どのパラメータをどのように設定すると、学習者自身の特性に合った適切な波形を表示できるかは、学習者には分かり難い。また、仮にパラメータを適切に設定できたとしても、その日に使う学習者端末１０が変わるたびにパラメータの再設定するという煩雑な作業が求められる。これに対して、本実施の形態では、学習者関連情報がデータベースに一括保存され、学習者端末１０にダウンロードされる。学習者関連情報を使って学習者に適した端末機能の設定が可能になり、また、どの学習者端末１０を使うときでも学習者関連情報を反映できる。
【００６３】
図４は、波形表示処理部１０３を示している。データ蓄積処理部１０３１は、音声抽出演算処理部１０２から教材および学習者のピッチ波形の情報を取得する。また、データ蓄積処理部１０３１は、音圧計算処理部１０７から教材および学習者の音圧波形の情報を取得する。ピッチ波形および音圧波形の情報は、メモリ１０３５に書き込まれる。また、データ蓄積処理部１０３１は、音圧、ピッチ帯域に加えて、母音の周波数特性、マイク入力レベルといった情報を取得し、メモリ１０３５に書き込む。
【００６４】
波形表示処理部１０３は、メモリ１０３５を使用し、データ蓄積処理部１０３１が取得したピッチ波形および音圧波形の情報を基に、前述したように、表示部１０４に表示されるべき波形画像を生成する。波形表示処理部１０３において、ピッチ抽出波形描画位置処理部１０３２は、ピッチ波形（ピッチ抽出波形）の描画位置を設定および調整する処理を行う。音圧波形描画位置処理部１０３３は、音圧波形の描画位置を設定および調整する処理を行う。時間軸波形描画位置処理部１０３４は、ピッチ波形および音圧波形の時間軸方向の描画位置を設定および調整する処理を行う。これら処理部により、ピッチ波形および音圧波形は、波形高さ方向および時間軸方向に変形される。
【００６５】
また、波形表示処理部１０３は、学習者により操作部１１０に入力された可変速再生設定パラメータを受け付ける。可変速再生設定パラメータは、教材の可変速再生モードでの再生速度を表すパラメータである。これにより、教材の再生速度の変更が受け付けられる。可変速再生設定パラメータは、メモリ１０３５に書き込まれる。
【００６６】
図５は、音声抽出演算処理部１０２の構成を示している。音声抽出演算処理部１０２は、既に説明したように、音声入出力部１０１または学習者音声記録部１０９から学習者音声を取得し、また、音声教材データ記憶部１０８および音声教材データベース２０４から教材音声を取得する。
【００６７】
音声抽出演算処理部１０２において、Ａ／Ｄ変換部１０２１は、入力音声をデジタルデータに変換する。ピッチ抽出処理部１０２２は、音声データにＦＦＴ等の解析処理を施してピッチ波形の情報を抽出する。ピッチはステップ単位で抽出される。１ステップの時間の長さは予め設定されている。平均化処理部１０２３は、ピッチ波形に平均化処理を施し、ピッチ波形をなめらかにする。さらに、継続時間カウント処理部１０２４は、ピッチの継続時間をカウントする。ここでは、ピッチが継続するときのステップの数がカウントされる。
【００６８】
Ａ／Ｄ変換部１０２１で変換された音声データは、音圧計算処理部１０７および音声再生処理部１０２５にも供給される。音圧計算処理部１０７では、前述したように、音圧が計算される。また、音声再生処理部１０２５は、音声を再生する処理を行う。再生された音声は、音声再生処理部１０２５から音声入出力部１０１に供給される。
【００６９】
また、音声再生処理部１０２５には、音声抽出演算処理部１０２から可変速再生設定パラメータが供給される。この可変速再生設定パラメータは、操作部１１０から音声抽出演算処理部１０２を介して波形表示処理部１０３に供給されている。音声再生処理部１０２５は、可変速再生設定パラメータが示す再生速度に従って再生音声の速度を調整する。これによって、可変速再生パラメータが示す再生速度で音声が再生される。
【００７０】
以上に、音声抽出演算処理部１０２および波形表示処理部１０３について説明した。次に、本実施の形態の波形調整処理に関する特徴的構成について説明する。
【００７１】
前述したように、波形表示処理部１０３は、教材と学習者のピッチ波形を比較する画像を生成し、また、両者の音圧波形を比較する画像を生成する。従来の波形比較画像では、単に、教材と学習者の波形が、上下に並べられる。しかしながら、従来の波形比較画像は、教材の話者と学習者の音程および声量の個体差を含んでしまっており、そのため、学習者にとって波形の比較が容易でない。そこで、本実施の形態は、下記のように、個体差を吸収するように波形を調整する。この調整機能は、波形表示処理部１０３のピッチ抽出波形描画位置処理部１０３２および音圧波形描画位置処理部１０３３により実現される。
【００７２】
（１）ピッチ波形の調整
ピッチ波形の調整では、教材の音声の代表的なピッチと学習者の代表的なピッチが用いられる。そして、両波形の代表的ピッチの差分を吸収するように、ピッチ波形の表示位置が調整される。この処理は、波形表示処理部１０３のピッチ抽出波形描画位置処理部１０３２によって行われる。代表的ピッチは、本実施の形態では平均ピッチである。
【００７３】
図６は、ピッチ波形の調整処理の例を示している。図６の左側には、調整前の教材ピッチ波形および学習者ピッチ波形が示されている。学習者ピッチ波形は、録音済みの音声から得られたピッチである。
【００７４】
ピッチ抽出波形描画位置処理部１０３２は、教材ピッチ波形のピッチ平均値を計算し、また、学習者ピッチ波形のピッチ平均値を計算する。ピッチ平均値は、前段の別の処理機能によって算出されてもよい。そして、ピッチ平均値の差分だけ、波形画像をピッチ高さ方向（図の上下方向）にスライドする。図６の例では、教材ピッチ波形がスライドされる。そして、図６の右側に示すように、教材ピッチ波形と学習者ピッチ波形が重ね合わされる。この重合せ後の波形比較画像が、波形表示処理部１０３から表示部１０４に供給され、ディスプレイに表示される。
【００７５】
図の例では、学習者の声が、教材の話者より低い。しかし、波形比較画像では、声の高さの違いが吸収され、教材と学習者の波形が縦軸上（周波数上）のほぼ同じ範囲に表示されることになり、両者を比較しやすくなっている。さらに、教材と学習者の波形を重ね合わせることで、波形の一致度および不一致箇所が明確になっている。
【００７６】
なお、本実施の形態では、教材の波形がスライドされた。しかし、学習者の波形が比較されてもよい。また、両波形がスライドされてもよい。例えば、両波形の各々について、平均ピッチが基準ピッチに一致するように波形位置が調整されてもよい。
【００７７】
図７は、さらに好適な表示処理の例を示している。本実施の形態では、教材波形のピッチ変化幅を示す情報が波形比較画像に付加されている。
【００７８】
図７では、図６と同様に、教材ピッチ波形がスライドされ、かつ、学習者ピッチ波形と重ねられている。さらに、画像上には、教材のピッチ最高値ラインとピッチ最低値ラインが付加されている。ピッチ最高値ラインは、教材のピッチ最高値を通るラインであり、ピッチ最低値ラインは、ピッチ最低値を通るラインである。両ラインは、時間軸に平行である。
【００７９】
上記のように、本実施の形態では、ピッチ最高値およびピッチ最低値が表示されるので、学習者は、教材のピッチ高低差を実現することを練習の目標にできる。この練習では、波形の外形を同じにするといったように、波形の細かな違いに着目しなくてもよい。例えば、波形を同じにするためには、話すスピードを教材と揃えなければならない。しかし、高低差に着目するのであれば、スピードをそれほど強く意識しなくてもよい。このようにして、高低差という適当な目標を画像上に追加できるので、学習のモチベーションの向上および学習効果の向上が期待できる。
【００８０】
なお、上記のピッチ最高値およびピッチ最低値は、ピッチ抽出波形描画位置処理部１０３２または別の処理機能により自動的に算出される。そして、最高値ラインおよび最低値ラインが自動的に表示される。
【００８１】
また、最高値および最低値が、学習者によって操作部１１０を使って指定されてもよい。そして、入力された最高値および最低値が受け付けられ、受け付けた値に対応する位置にラインが付加されてもよい。最高値および最低値は、別の端末を使って先生によって設定されてもよい。さらに、最高値と次に高い値とをライン表示させるようにしてもよい。こうすると、例えば英語の第１アクセントと第２アクセントとに特化した練習を行うことが可能となる。
【００８２】
また、本実施の形態では、波形上の水平線は、意識的に削除することもできるように構成されていてもよい。
【００８３】
また、本実施の形態では、教材のピッチ変化幅が表示される。これに対して、学習者のピッチ変化幅が表示されてもよい。また、両者のピッチ変化幅が表示されてもよい。さらに、最大値と次に大きい値とを表示させるようにしてもよい。
【００８４】
次に、リアルタイム表示を行うときの波形調整について説明する。上記の処理例は、主として録音済みの音声の波形を調整している。リアルタイム表示の場合は、下記のような処理を行うことが好適である。
【００８５】
まず、リアルタイム表示について説明する。リアルタイム表示では、学習者が発声を開始し、音声入力が開始すると、音声抽出演算処理部１０２もピッチの抽出を開始する。ピッチはステップ単位で抽出される。１ステップの長さは１０ｍｓｅｃである。各ステップのピッチが順次波形表示処理部１０３に供給される。波形表示処理部１０３では、入力されるピッチが、次々と、ピッチ波形画像に継ぎ足される。このようにして、学習者の音声の進行と同時に、画面上ではピッチ波形がのびていく。リアルタイム表示により、視覚的フィードバック効果を高められる。そして、視覚的フィードバックが聴覚フィードバックを補強し、これによる学習のモチベーションの向上と学習効果の向上が期待できる。
【００８６】
リアルタイム表示では、波形表示処理部１０３は、表示対象の音声データのピッチ平均値は利用できない。そこで、波形表示処理部１０３は、前回までの学習で蓄積されたデータから学習者のピッチ平均値を読み込む。図１を参照すると、学習者の平均ピッチは、音声関連情報の一部として、サーバ端末２０から学習者端末１０にダウンロードされ、音声関連情報記憶部１０６に記憶されている。また、図４に示すように、音声関連情報はメモリ１０３５に記憶されている。
【００８７】
そこで、このような過去の学習のピッチ平均を使って、表示位置が調整される。すなわち、過去の学習の平均ピッチが読み込まれ、一方で、教材の平均ピッチが算出され、そして、これら平均ピッチの差を吸収するようにピッチ波形位置が調整される。
【００８８】
波形比較画像上では、例えば、教材波形の全体が先に表示される。そして、教材波形に重なるように学習者波形が描かれる。このとき、表示位置が調整された波形が描かれる。リアルタイム表示なので、学習者の発話の進行に伴って、波形も時間軸方向に延びていく。そして、表示位置が調整されているので、学習者の波形は、縦軸方向（ピッチ高さ方向）に教材波形とほぼ同じ場所に描かれる。
【００８９】
次に、リアルタイム表示におけるもう一つの好適な波形調整処理を説明する。この調整処理では、入力された学習者の音声の初期段階のピッチを用いて表示位置を調整する。初期段階のピッチが、代表ピッチになり、波形スライドの基準になる。
【００９０】
初期段階のピッチは、最初のピッチでもよい。初期段階のピッチは、例えば、所定の期間のピッチの平均値でもよい。この場合、初期段階の平均値を得るまで学習者波形の描画が遅延してもよい。このような遅延があったとしても、その時間が短ければ、十分に満足できるリアルタイム表示が行われる。
【００９１】
なお、上記のリアルタイム表示の波形調整は、リアルタイム表示だけでなく、録音済みの音声ファイルを使った波形表示にも適用されてよい。
【００９２】
（２）音圧波形の調整
次に、音圧波形の調整処理を説明する。音圧波形の調整では、教材の音声の音圧変化幅と学習者の音声の音圧変化幅が用いられる。そして、両波形の音圧変化幅の差分を吸収するように音圧波形が調整される。この処理は、波形表示処理部１０３の音圧波形描画位置処理部１０３３によって行われる。
【００９３】
音圧変化幅は、本実施の形態では、音声の最大音圧と最小音圧の幅（ダイナミックレンジ）である。音圧波形描画位置処理部１０３３は、教材の音圧波形の変化幅を計算する。そして、教材の音圧変化幅を、基準の変化幅と一致させる正規化処理を行う。このとき、音圧波形が、音圧レベル方向に伸縮される。音圧波形描画位置処理部１０３３は、学習者の音圧波形に対しても同様の正規化処理を行う。これにより、両波形の音圧変化幅が吸収される。
【００９４】
図８は、音圧波形の調整処理の例を示している。この例では、教材波形の音圧変化幅が、正規化の基準幅として使われている。したがって、教材波形は変形されていない。これに対して、学習者の波形は、正規化によって変形されている。そして、図８の右側に示すように、教材と学習者の音圧波形が重ね合わされている。この重合せ後の波形比較画像が、波形表示処理部１０３から表示部１０４に供給され、ディスプレイに表示される。
【００９５】
図８の例では、学習者の声が全体的に教材より小さいので、学習者の音圧波形が音圧レベル方向（縦軸方向）に伸ばされている。その結果、音圧変化幅が吸収されて、教材と学習者の波形が縦軸上（音圧レベル方向）のほぼ同じ範囲に表示されることになり、両者を比較しやすくなっている。さらに、教材と学習者の波形を重ね合わせることで、波形の一致度および不一致箇所が明確になっている。
【００９６】
なお、図８の例では、学習者波形が変形された。これに対して、上述したように、学習者波形と教材波形の両方が変形されてもよく、また、教材波形のみが変形されてもよい。
【００９７】
ところで、前述のピッチ波形に関しては、図７に示したように、ピッチ変化幅、より詳細にはピッチ最高値と最低値が波形比較画像に付加された。音圧波形に関しても同様の処理が好適に行われ、すなわち、音圧最大値と音圧最小値が図８の画像に付加される。図７と同様に最大値および最小値にラインが引かれてもよい。学習者は、教材の音圧大小差（音圧レベル幅）を実現することを学習の目標にできる。
【００９８】
この点に関し、音圧波形は主にストレスの位置を表すと考えられる。したがって、音圧大小差をまねる練習は、平易な発話箇所（音圧最小値に対応）とストレスの存在する発話箇所（音圧最大値に対応）の大小差（音圧レベル幅）を実現する練習に相当する。この練習では、波形の外形を同じにするといったように、波形の細かな違いに着目しなくてもよい。例えば、波形を同じにするためには、話すスピードを教材と揃えなければならない。しかし、大小差に着目するのであれば、スピードをそれほど強く意識しなくてもよい。このようにして、大小差という適当な目標を画像上に追加できるので、学習のモチベーションの向上および学習効果の向上が期待できる。
【００９９】
なお、上記の音圧最大値および音圧最小値は、音圧波形描画位置処理部１０３３または別の処理機能により自動的に算出される。そして、最大値ラインおよび最小値ラインが自動的に表示される。
【０１００】
また、最大値および最小値が、学習者によって操作部１１０を使って指定されてもよい。そして、入力された最大値および最小値が受け付けられ、受け付けた値に対応する位置にラインが付加されてもよい。最大値および最小値は、別の端末を使って先生によって設定されてもよい。
【０１０１】
また、本実施の形態では、波形上の水平線は、意識的に削除することもできるように構成されていてもよい。
【０１０２】
また、本実施の形態では、教材の音圧変化幅が表示される。これに対して、学習者の音圧変化幅が表示されてもよい。また、両者の音圧変化幅が表示されてもよい。
【０１０３】
次に、リアルタイム表示について説明する。ピッチ波形で説明したのと同様に、音圧波形に関しても、リアルタイム表示での波形調整が好適に行われる。
【０１０４】
リアルタイム表示では、波形表示処理部１０３は、前回までの学習で蓄積されたデータから学習者の音圧データを読み込む。図１を参照すると、学習者の音圧データは、音声関連情報の一部として、サーバ端末２０から学習者端末１０にダウンロードされ、音声関連情報記憶部１０６に記憶されている。また、図４に示すように、音声関連情報はメモリ１０３５に記憶されている。そこで、音圧波形描画位置処理部１０３３は、過去のデータから、学習者の音圧変化幅を取得する。この音圧変化幅を使って、図８に示されるような正規化処理が行われる。
【０１０５】
したがって、波形比較画像上では、例えば、教材波形の全体が先に表示される。そして、教材波形に重なるように学習者波形が描かれる。このとき、正規化が施された波形が描かれる。リアルタイム表示なので、学習者の発話の進行に伴って、波形も時間軸方向に延びていく。そして、音圧変化幅の差が吸収されているので、学習者の波形は、縦軸方向（音圧高さ方向）に教材波形とほぼ同じ場所に描かれる。
【０１０６】
次に、過去の音圧データを使わないときのリアルタイム表示について説明する。この場合は、入力された学習者の音声の初期段階の音圧データを用いて表示位置を調整する。初期段階の音圧は、発声開始から所定の期間の音圧でよい。このような初期段階の音圧のダイナミックレンジが、正規化に使われる。この場合、初期段階の平均値を得るまで学習者波形の描画が遅延してもよい。このような遅延があったとしても、その時間が短ければ、十分に満足できるリアルタイム表示が行われる。
【０１０７】
なお、上記のリアルタイム表示の波形調整は、リアルタイム表示だけでなく、録音済みの音声ファイルを使った波形表示にも適用されてよい。
【０１０８】
以上、本発明の実施の形態の学習支援システム１について説明した。本実施の形態の学習支援システム１によれば、教材の音声の代表的なピッチと学習者の代表的なピッチの差分を吸収するようにピッチ波形表示位置を調整するので、学習者が声の高さを無理に教材に合わせなくても、教材と学習者のピッチ波形が比較しやすい位置に描かれた比較画像を提供できる。したがって、発話者の個体差の違いに影響を低減でき、教材と学習者の音声の波形を容易に比較できる。
【０１０９】
また、本実施の形態によれば、代表的なピッチとして平均値を使うことで、教材と学習者の個体差を効果的に吸収できる。
【０１１０】
また、本実施の形態によれば、教材と学習者の波形を重ね合わせることで、両波形の比較が容易になる。
【０１１１】
また、本実施の形態によれば、過去に録音された学習者の音声から得られた代表ピッチを用いて表示位置を調整するので、リアルタイムでピッチ波形表示位置を調整することができる。
【０１１２】
また、本実施の形態によれば、入力された学習者の音声の初期段階のピッチを用いて表示位置を調整するので、リアルタイムでピッチ波形表示位置を調整することができる。
【０１１３】
また、本実施の形態によれば、ピッチ変化幅を表す情報をピッチ波形画像に付加するので、学習者は、ピッチ変化幅に着目することで、教材と学習者のピッチを容易に比較できる。
【０１１４】
また、本実施の形態によれば、最高ピッチと最低ピッチを示す情報をピッチ波形画像に付加するので、ピッチの把握がさらに容易になる。
【０１１５】
また、本実施の形態によれば、音圧波形に関しても、教材の音声の音圧変化幅と学習者の音声の音圧変化幅の差分が吸収されるので、学習者が声の大きさを無理に教材に合わせなくても、教材と学習者の音圧波形が比較しやすいかたちで描かれた比較画像を提供できる。したがって、発話者の個体差の違いによる影響を低減でき、教材と学習者の音声の波形を容易に比較できる。
【０１１６】
また、本実施の形態によれば、音圧変化幅として最大音圧と最小音圧の幅を用いるので、ダイナミックレンジの差分を吸収した好適な比較画像を提供できる。
【０１１７】
また、本実施の形態によれば、教材と学習者の音圧波形を重ね合わせることで、両波形の比較が容易になる。
【０１１８】
また、本実施の形態によれば、過去に録音された学習者の音声から得られた音圧変化幅を用いて音圧波形を調整するので、リアルタイムで音圧波形を調整することができる。
【０１１９】
また、本実施の形態によれば、入力された学習者の音声の初期段階の音圧を用いて音圧波形を調整するので、リアルタイムで音圧波形を調整することができる。
【０１２０】
また、本実施の形態によれば、音圧変化幅を表す情報を音圧波形画像に付加するので、学習者は、音圧変化幅に着目することで、教材と学習者の音圧を容易に比較できる。
【０１２１】
また、本実施の形態によれば、最大音圧と最小音圧を示す情報を音圧波形画像に付加するので、音圧の把握がさらに容易になる。
【０１２２】
また、別の観点では、本実施の形態の学習支援システム１は、教材の音声パラメータの波形である教材波形情報を取得する教材波形取得手段と、学習者の音声パラメータの波形である学習者波形情報を取得する学習者波形取得手段と、前記教材波形情報および前記学習者波形情報を比較するための波形比較画像を生成する波形比較画像生成手段と、前記波形比較画像生成手段に設けられ、前記教材および前記学習者の音声パラメータの代表値の差を吸収するように波形画像を調整する調整手段とを備えている。音声パラメータは、例えば、上記のピッチまたは音圧である。この構成によっても、上述した実施の形態の利点が得られ、すなわち、発話者の個体差の違いによる影響を低減でき、教材と学習者の音声の波形を容易に比較できる。
【０１２３】
なお、上記の実施の形態では、学習支援システム１が、ピッチ波形の調整と音圧波形の調整の両方を行った。しかし、本発明の範囲内で、これらの処理の一部が行われてもよい。
【０１２４】
また、上記の実施の形態では、学習支援システム１が、ネットワークで接続された学習者端末１０とサーバ端末２０で構成された。しかし、本発明はこれに限定されず、例えば、単独のコンピュータで学習支援システムが構成されてもよい。
【０１２５】
また、本実施の形態では、音声教材データ記憶部１０８と音声教材データベース２０４とが音声教材である場合について説明したが、音声を含む動画教材であってもよい。この動画教材も音声を含むので音声教材であり、また、動画教材（ＭＰＥＧなど）から抽出された音声も音声教材であり、音声の抽出は音声抽出演算処理部１０２で行われてよい。
【０１２６】
その他、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【０１２７】
以上のように、本発明にかかる学習支援システムは、発話者の個体差の違いによる影響を低減でき、教材と学習者の音声の波形の比較を容易にできるという効果を有し、マルチメディアを利用した学習支援システム等として有用である。
【図面の簡単な説明】
【０１２８】
【図１】本発明の実施の形態における学習支援システムのブロック図
【図２】学習支援システムの起動時のフロー図
【図３】学習支援システムの終了時のフロー図
【図４】波形表示処理部のブロック図
【図５】音声抽出演算処理部のブロック図
【図６】ピッチ波形比較画像の調整処理を示す図
【図７】ピッチ波形比較画像の調整処理を示す図
【図８】音圧波形比較画像の調整処理を示す図
【符号の説明】
【０１２９】
１０  学習者端末
２０  サーバ端末
１０１  音声入出力部
１０２  音声抽出演算処理部
１０３  波形表示処理部
１０４  表示部
１０５  認証処理部
１０６  音声関連情報記憶部
１０７  音圧計算処理部
１０８  音声教材データベース
１０９  学習者音声記録部
１１０  操作部
【図１】
2005308993.tif 000003
【図２】
2005308993.tif 000004
【図３】
2005308993.tif 000005
【図４】
2005308993.tif 000006
【図５】
2005308993.tif 000007
【図６】
2005308993.tif 000008
【図７】
2005308993.tif 000009
【図８】
2005308993.tif 000010