(57)【要約】【課題】連音の学習やアクセントの学習を考慮した、比較的簡単な構成の発音学習支援システムを提供する。【解決手段】学習者による単語、語句または文の音声を取得する音声取得部１０５と、取得された音声の特徴量時系列データを求める特徴抽出部と、該単語、語句または文の音声について予め準備された複数の類型特徴量時系列データを記憶するデータベース１１１と、該取得された音声の特徴量時系列データと該複数の類型特徴量時系列データとを照合し、該取得された音声の特徴量時系列データに最も類似する類型特徴量時系列データを選択する選択部１０９と、選択された類型特徴量時系列データに対応するデータを表示する学習者用出力部１１７と、を含む発音学習支援システム。【選択図】図１
2017161632.tif 000002
【特許請求の範囲】
【請求項１】
発音学習支援システムを使用する発音学習支援方法であって、
該発音学習支援システムが、学習者による単語、語句または文の音声を取得するステップと、
該発音学習支援システムが、取得された音声の特徴量時系列データを求めるステップと、
該発音学習支援システムが、該取得された音声の特徴量時系列データと、該発音学習支援システムのデータベースに記憶された、該単語、語句または文の音声の複数の類型特徴量時系列データとを照合し、該取得された音声の特徴量時系列データに最も類似する類型特徴量時系列データを選択するステップと、
該発音学習支援システムが、選択された類型特徴量時系列データに対応するデータを出力するステップと、を含む発音学習支援方法。
【請求項２】
該選択された類型特徴量時系列データに対応するデータが、音声に対応する声道の画像を含む請求項１に記載の発音学習支援方法。
【請求項３】
該選択された類型特徴量時系列データに対応するデータが、動画データを含む請求項１または２に記載の発音学習支援方法。
【請求項４】
該選択された類型特徴量時系列データに対応するデータが、立体視用画像データを含む請求項１から３のいずれかに記載の発音学習支援方法。
【請求項５】
該取得された音声のアクセントを求めるステップをさらに含み、該選択された類型特徴量時系列データに対応するデータが、該取得された音声のアクセントのデータを含む請求項１から４のいずれかに記載の発音学習支援方法。
【請求項６】
該表示するステップにおいて、該選択された類型特徴量時系列データに対応するデータの他に、標準音声の特徴量時系列データに対応するデータを出力する請求項１から５のいずれかに記載の発音学習支援方法。
【請求項７】
該選択された類型特徴量時系列データに対応するデータの少なくとも一部、または該標準音声の特徴量時系列データに対応するデータの少なくとも一部が音素に対応付けられている請求項１から６のいずれかに記載の発音学習支援方法。
【請求項８】
学習者による単語、語句または文の音声を取得する音声取得部と、
取得された音声の特徴量時系列データを求める特徴抽出部と、
該単語、語句または文の音声について予め準備された複数の類型特徴量時系列データを記憶するデータベースと、
該取得された音声の特徴量時系列データと該複数の類型特徴量時系列データとを照合し、該取得された音声の特徴量時系列データに最も類似する類型特徴量時系列データを選択する選択部と、
選択された類型特徴量時系列データに対応する画像データを表示する学習者用出力部と、を含む発音学習支援システム。
【請求項９】
該取得された音声のアクセントを求めるアクセント分析部をさらに含み、該学習者用出力部が、分析されたアクセントを、選択された類型特徴量時系列データに関連付けて出力するように構成された請求項８に記載の発音学習支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習者が外国語などの言語を習得する際に使用される発音学習支援システム及び発音学習支援方法に関する。
【背景技術】
【０００２】
言語を習得する際に使用される発音学習支援システムであって、学習者である発話者の音声データと口元の画像（ビデオデータ）から発話者の発音を認識し、正しい発音と発話者の間違った発音のそれぞれの口腔内の画像を比較表示して、学習者にフィードバックするシステムが開発されている（たとえば、非特許文献１）。しかし、上記のシステムは、画像解析システムを含む大規模のシステムである。また、上記のシステムは、特に、外国語の学習者にとって学習が困難である、フランス語のリエゾンのような連音の学習やアクセントの学習を考慮したものではない。
【０００３】
したがって、連音の学習やアクセントの学習を考慮した、比較的簡単な構成の発音学習支援システム及びそれを使用した発音学習支援方法に対するニーズがある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Olov Engwall et al., Designing the user interface of the computer-based speech training system ARTUR based on early user tests, Behaviour & Information Technology, Vol. 25, No. 4, July - August 2006, 353 - 365
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、連音の学習やアクセントの学習を考慮した、比較的簡単な構成の発音学習支援システム及びそれを使用した発音学習支援方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様の発音学習支援方法は、発音学習支援システムを使用するものであって、該発音学習支援システムが、学習者による単語、語句または文の音声を取得するステップと、該発音学習支援システムが、取得された音声の特徴量時系列データを求めるステップと、該発音学習支援システムが、該取得された音声の特徴量時系列データと、該発音学習支援システムのデータベースに記憶された、該単語、語句または文の音声の複数の類型特徴量時系列データとを照合し、該取得された音声の特徴量時系列データに最も類似する類型特徴量時系列データを選択するステップと、該発音学習支援システムが、選択された類型特徴量時系列データに対応する画像データを表示するステップと、を含む。
【０００７】
本態様の発音学習支援方法は、発音学習支援システムが、単語、語句または文の取得された音声の特徴量時系列データと、該発音学習支援システムのデータベースに記憶された、該単語、語句または文の音声の複数の類型特徴量時系列データと、を照合し、該取得された音声の特徴量時系列データに最も類似する類型特徴量時系列データを選択するように構成されるので、複数の類型特徴量時系列データを使用しない場合と比較して、システムの構成を簡単にすることができる。
【０００８】
また、学習者の音声の特徴量時系列データを、いずれかの類型特徴量時系列データに関連付けるので、予め作成した、類型特徴量時系列データに対応するデータを学習者に対して出力することができる。
【０００９】
本発明の第１の態様の第１の実施形態による発音学習支援方法においては、該選択された類型特徴量時系列データに対応するデータが、音声に対応する声道の画像を含む。
【００１０】
本実施形態によれば、学習者の音声に対応する声道の画像を学習者に表示することができるので、学習者の発音の学習効果が向上する。
【００１１】
本発明の第１の態様の第２の実施形態による発音学習支援方法においては、該選択された類型特徴量時系列データに対応するデータが、動画データを含む。
【００１２】
本実施形態によれば、動画データを使用するので、学習者の発音の学習効果がさらに向上する。
【００１３】
本発明の第１の態様の第３の実施形態による発音学習支援方法においては、該選択された類型特徴量時系列データに対応するデータが、立体視用画像データを含む。
【００１４】
本実施形態によれば、立体視用画像データを使用するので、学習者の発音の学習効果がさらに向上する。
【００１５】
本発明の第１の態様の第４の実施形態による発音学習支援方法は、該取得された音声のアクセントを求めるステップをさらに含み、該選択された類型特徴量時系列データに対応するデータが、該取得された音声のアクセントのデータを含む。
【００１６】
本実施形態によれば、学習者の音声のアクセントのデータを使用するので、学習者のアクセントの学習効果が向上する。
【００１７】
本発明の第１の態様の第５の実施形態による発音学習支援方法においては、該表示するステップにおいて、選択された類型特徴量時系列データに対応するデータの他に、標準音声の特徴量時系列データに対応するデータを出力する。
【００１８】
本実施形態によれば、選択された類型特徴量時系列データに対応するデータの他に、標準音声の特徴量時系列データに対応するデータが出力されるので、学習者は両者のデータを比較して学習することができ学習効果が向上する。
【００１９】
本発明の第１の態様の第６の実施形態による発音学習支援方法においては、該選択された類型特徴量時系列データに対応するデータの少なくとも一部、または該標準音声の特徴量時系列データに対応するデータの少なくとも一部が音素に対応付けられている。
【００２０】
本実施形態によれば、音素に対応付けられたデータが出力されるので、学習者の理解が深まり学習効果が向上する。
【００２１】
本発明の第２の態様の発音学習支援装置は、学習者による単語、語句または文の音声を取得する音声取得部と、取得された音声の特徴量時系列データを求める特徴抽出部と、該単語、語句または文の音声について予め準備された複数の類型特徴量時系列データを記憶するデータベースと、該取得された音声の特徴量時系列データと該複数の類型特徴量時系列データとを照合し、該取得された音声の特徴量時系列データに最も類似する類型特徴量時系列データを選択する選択部と、選択された類型特徴量時系列データに対応するデータを表示する学習者用出力部と、を含む。
【００２２】
本態様の発音学習支援システムは、単語、語句または文の取得された音声の特徴量時系列データと、該発音学習支援システムのデータベースに記憶された、該単語、語句または文の音声の複数の類型特徴量時系列データと、を照合し、該取得された音声の特徴量時系列データに最も類似する類型特徴量時系列データを選択するように構成されるので、複数の類型特徴量時系列データを使用しない場合と比較して、システムの構成を簡単にすることができる。
【００２３】
また、学習者の音声の特徴量時系列データを、いずれかの類型特徴量時系列データに関連付けるので、予め作成した、類型特徴量時系列データに対応するデータを学習者に対して出力することができる。
【００２４】
本発明の第２の態様の第１の実施形態による発音学習支援システムは、該取得された音声のアクセントを求めるアクセント分析部をさらに含み、該学習者用出力部が、分析されたアクセントを、選択された類型特徴量時系列データに関連付けて出力するように構成されている。
【００２５】
本実施形態によれば、学習者のアクセントが、選択された類型特徴量時系列データに関連付けて出力されるので、学習者の理解が深まり学習効果が向上する。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態の発音学習支援システムの構成を示す図である。
【図２】発音学習支援システムの動作を説明するための流れ図である。
【図３】データベースに記憶されるデータの構成の一例を示す図である。
【図４】単語”April”の標準データの文字、音声記号、アクセント表示、及び声道の画像を例示的に示す図である。
【図５】本発明の発音学習支援システムの使用方法を説明するための流れ図である。
【発明を実施するための形態】
【００２７】
本発明の発音学習支援システムは、学習者が外国語などの言語を習得する際に、学習者の単語、語句または文の発音の学習を支援するためのものである。発音学習支援システムは、学習者が発音した単語、語句または文の音声を取得し、解析し、発音を修正するための適切な情報を学習者に提供する。
【００２８】
図１は、本発明の一実施形態の発音学習支援システム１００の構成を示す図である。発音学習支援システム１００は、学習者からの指令などの入力を受け取る学習者用入力部１０１と、各部の動作を制御する制御部１０３と、学習者の単語、語句または文の音声を取得する音声取得部１０５と、取得した音声の特徴量を抽出する特徴抽出部１０７と、単語、語句または文の音声について予め準備された複数の類型特徴量を含むデータを記憶するデータベース１１１と、取得された音声の特徴量とデータベース１１１に記憶された複数の類型特徴量とを照合し、取得された音声の特徴量に最も類似する類型特徴量を選択する選択部１０９と、取得した音声のアクセントを分析するアクセント分析部１１３と、学習者への表示内容を作成する表示内容作成部１１５と、学習者への表示及び音声などの出力を行う学習者用出力部１１７と、を備える。
【００２９】
図２は、発音学習支援システム１００の動作を説明するための流れ図である。
【００３０】
図２のステップＳ１０１０において、発音学習支援システム１００の制御部１０３は、学習対象の単語、語句または文を決定する。学習対象の単語、語句または文は、学習者があらかじめ定められたリストから選択して、学習者用入力部１０１から指定するように、発音学習支援システム１００を構成してもよい。
【００３１】
図２のステップＳ１０２０において、発音学習支援システム１００の音声取得部１０５は、学習者の単語、語句または文の音声データを取得する。発音学習支援システム１００は、制御部１０３の指示にしたがって、学習者用出力部１１７が音声または画像を出力して学習者に指定された単語、語句または文の発声を促すように構成してもよい。続いて制御部１０３は、音声取得部１０５に学習者の単語、語句または文の音声データを取得するように指示する。音声取得部１０５は、一例として、パワーの閾値を用いて、学習者の単語、語句または文の音声の区間を定め、単語、語句または文の音声データを取得する。
【００３２】
図２のステップＳ１０３０において、発音学習支援システム１００の特徴抽出部１０７は、制御部１０３の指示にしたがって、音声取得部１０５から取得された音声データを受け取り、一例として１０〜３０ミリ秒の時間フレームごとの発音のスペクトル特徴量の時系列データを作成する。特徴量としては、ケプストラムを使用することができる。ケプストラムは、音声データをＦＦＴ処理することによって得られるパワースペクトラムの対数を、ＦＦＴ逆変換処理したものとして定義される。ケプストラムについては、たとえば、特開平８−８７２９２、特開平９−３０５１９５などに記載されている。一般に、人の声のスペクトルは、声帯振動スペクトルと声道スペクトルを掛け合わせたものである。単語、語句または文の発音は、声道スペクトルに関係し、声の大きさや高さは声帯振動スペクトルに関係する。ケプストラムを使用することにより、単語、語句または文の発音に関係する声道スペクトルの特徴を把握することができる。声道については後で説明する。特徴抽出部１０７は、単語、語句または文の音声データの特徴量時系列データとして、時間フレームごとのケプストラムの時系列を作成する。
【００３３】
図２のステップＳ１０４０において、発音学習支援システム１００の選択部１０９は、制御部１０３の指示にしたがって、特徴抽出部１０７から学習者による発音の特徴量時系列データを受け取り、学習者による発音の特徴量時系列データと、データベース１１１に記憶された特徴量時系列データと、を照合し、記憶された特徴量時系列データの中から学習者による発音の特徴量時系列データに最も類似する特徴量時系列データを選択する。照合する方法については、後で詳細に説明する。
【００３４】
図３は、データベース１１１に記憶されるデータの構成の一例を示す図である。データベース１０９には、学習対象の単語、語句または文のそれぞれについて、標準データと複数の類型データが記憶される。図３は、単語Ａ及び単語Ｂのみを示している。また、単語Ａ及び単語Ｂの類型データの個数は、それぞれｎ個である。標準データは、たとえば、単語の標準の音声についてのデータである。類型データは、同じ単語の誤った音声についてのデータである。標準データおよび類型データは、言語の音声の単位である音素ごとのデータを含む。音素ごとのデータは、音素の音声記号、音素の特徴量の時系列、及び音素の発声の際の声道の画像を含む。
【００３５】
ここで、声道について説明する。一般的に、声道は、喉頭、咽頭、口腔、鼻腔から成る。単語などの発音に特に影響が大きいのは、口腔の舌及び唇の形状及び位置である。本明細書において、声道とは、限定はしないものの、特に、口腔の舌及び唇の形状及び位置を指すものとする。一般的に、音素と舌及び唇の形状及び位置との関係は、解明されているので、音素ごとに舌及び唇の形状及び位置に関する声道の画像を作成することができる。必要に応じて、ＭＲＩデータの統計分析をもとに音素ごと舌及び唇の形状及び位置に関する声道の画像を作成してもよい。あるいは、Electromagnetic Articulography (EMA)測定を利用して、声道の画像を作成してもよい。
【００３６】
音素の特徴量の時系列を、音素の順に配列させたものが、学習者による特徴量時系列データと照合される特徴量時系列データである。標準データおよび類型データは、音素ごとのデータの他に、音声データ、アクセント表示用データなどを含んでもよい。
【００３７】
図４は、単語”April”の標準データの文字、音声記号、アクセント表示、及び声道の画像を例示的に示す図である。声道の画像は、単に概念的なものである。単語”April”の音声記号の一例は、以下の通りである。
eipril
音声記号は音素に対応するので、この場合の音素は６個である。声道の画像データは、音素に対応するので、６個の音素に対応する６個の画像データが存在する。
【００３８】
単語”April”の複数の類型データは、たとえば、以下の音声記号で表される発音に対応するものである。
april, aplil, aprir, eiplil, eiprir
多数の学習者の発音を採取して、誤りやすい発音を類型データとして記憶させる。本例においては、各類型データについて、それぞれの音素に対応する５個または６個の声道の画像データを記憶させる。
【００３９】
ここで、学習者の特徴量時系列データと記憶された特徴量時系列データとを照合する方法について説明する。学習者による特徴量時系列データと記憶された特徴量時系列データとを比較する場合に以下の問題点が存在する。学習者の音声データの長さと類型音声データの長さとは同じではない。また、音声データの中で速く発声される部分と遅く発声される部分とが存在する。したがって、このような２個の時系列データを照合するには、時刻によって時間間隔を伸縮しながら時系列データを照合させる必要がある。具体的には、２個の時系列のフレーム長をＩ，Ｊとして、それぞれのフレームをｘ、ｙで表し、（１，１）から（Ｉ，Ｊ）までの２個の時系列のフレームを結ぶ経路の組合せのうち、照合の距離の合計が最小となる組合せを求める。このような照合を、動的計画法（Dynamic Programming）を利用したＤＰマッチングによって実施する。ＤＰマッチングについては、たとえば、特開平９−３０５１９５などに記載されている。
【００４０】
図２のステップＳ１０５０において、発音学習支援システム１００のアクセント分析部１１３は、制御部１０３の指示にしたがって、音声取得部１０５から、学習者の単語、語句または文の音声データを受け取り、アクセントを求める。上述のように、学習者による特徴量時系列データのフレームと記憶された特徴量時系列データのフレームとは、対応付けられているので、学習者の発音のアクセントの位置を記憶されたいずれかの音素のデータに対応付けることができる。
【００４１】
図２のステップＳ１０６０において、発音学習支援システム１００の出力内容作成部１１５は、制御部１０３の指示にしたがって、単語、語句または文の学習者のアクセント、ならびに、学習者による発音の特徴量時系列データに最も類似する記憶された特徴量時系列データに対応する音声記号、声道の画像データなどの表示出力内容を作成する。さらに、発音学習支援システム１００の学習者用出力部１１７は、作成された表示出力内容を学習者に表示する。声道の画像データは、音声記号と対応させて表示させてもよい。たとえば、表示する声道の画像データに対応する音素の音声記号の色を変えるようにしてもよい。また、声道の画像データを動画として表示させてもよい。一連の音素から構成される単語について、音素ごとの画像データを適切な方法で補間することによって動画データを作成してもよい。
【００４２】
また、学習者による特徴量時系列データに最も類似する記憶された特徴量時系列データに対応する内容と対比させて、標準データのアクセント及び記憶された標準データの特徴量時系列データに対応する内容を表示させるようにしてもよい。あるいは、学習者の発音の音素のうち標準の発音の音素と異なる音素をマークして表示してもよい。
【００４３】
声道の画像データなどの画像データは立体視用のデータとしてもよい。立体視用のデータを使用することにより、学習効果が向上することが知られている。
【００４４】
また、類型データごとに発音の修正に関するコメントをデータベース１１１に記憶させておき、出力内容作成部１１５が、類型データごとのコメントを選択し、文字の表示または音声として、学習者用出力部１１７から出力するようにしてもよい。たとえば、類型データが
eiprir
の発音に対応する場合に、最終音素について、「「Ｌ」の発音は、舌の先を歯茎の下に触れてください」などのコメントを表示または音声として、学習者用出力部１１７から出力するようにしてもよい。
【００４５】
本発明のさらなる利点について説明する。たとえば、英語において、語末のｒは発音されないが、母音で始まる語が続く場合には、ｒが発音される現象が存在する。この現象は、フランス語のリエゾンに対応する。以下の１）において、thereのrは発音されないが、２）においては、母音で始まるisが続くのでthereのrが発音される。
【数１】
2017161632.tif 000003
【数２】
2017161632.tif 000004
ここで、１）及び２）において、英語の発音記号を使用して音素を表している。このような現象による発音は、単語のみの発音の学習では、学習することができない。本発明によれば、単語だけではなく語句または文を学習の対象とすることができるので、このような現象による発音を学習することもできる。一般に、本発明は、フランス語のリエゾンを含む、種々の言語の連音の学習に有効である。
【００４６】
また、上述のように学習者のアクセントの位置を音素と対応付けることができるので、学習者の発音についてアクセント付きの音声記号を表示することもできる。
【００４７】
図５は、本発明の発音学習支援システム１００の学習者の使用方法を説明するための流れ図である。
【００４８】
図５のステップＳ２０１０において、学習者は、発音学習支援システム１００を起動し、学習者用入力部１０１によって、学習の対象とする単語、語句、または文を指定する。発音学習支援システム１００は、指定された単語、語句、または文の学習の準備をし、準備が完了したら学習者用出力部１１７によって学習者に発音を指示する。
【００４９】
図５のステップＳ２０２０において、学習者は、発音学習支援システム１００の指示にしたがって、単語、語句、または文を発音する。発音学習支援システム１００は、図２の流れ図に示した処理を行い、その結果を、学習者の発音に対応した画像データの表示などとして学習者用出力部１１７から出力する。
【００５０】
図５のステップＳ２０３０において、学習者は、学習者用出力部１１７に表示された発音に対応した画像データを観察する。
【００５１】
図５のステップＳ２０４０において、学習者は、画像データを使用して学習する。学習者の学習者用入力部１０１を経由した指示により、学習者用出力部１１７に、学習者の発音に対応する画像データを繰り返し表示し、また、標準音声に対応するがデータを対比させて表示してもよい。
【００５２】
図５のステップＳ２０５０において、学習者は、学習を継続するかどうか判断する。継続する場合には、ステップＳ２０１０に戻る。継続しない場合には処理を終了する。
【００５３】
本発明の発音学習支援方法によれば、学習者は、自己の発音の特徴を、音素に対応する音声記号及び声道の画像によって視覚的に明確に認識することができる。学習者の誤りやすい発音を類型データとしてデータベース１１１に記憶させておくことにより、学習者の種々の発音に対応することができる。また、学習者の発音のアクセントの位置を記憶されたいずれかの音素のデータに対応付けて表示することができるので、学習者は自己のアクセントを明確に認識することができる。さらに、標準の発音の音素及びアクセントのデータを、学習者の発音に関するデータと対比させて表示することもできるので、学習者の理解が深まり学習効果が向上する。特に、声道の画像を含む画像データは、立体視用の画像データとして表示されるので学習者の理解がさらに深まり学習効果がさらに向上する。
【図１】
2017161632.tif 000005
【図２】
2017161632.tif 000006
【図３】
2017161632.tif 000007
【図４】
2017161632.tif 000008
【図５】
2017161632.tif 000009