(57)【特許請求の範囲】
【請求項１】
模範音声と該模範音声に関連した提示用情報とを記録している記録保持手段と、
前記記録保持手段に記録されている提示用情報を提示する提示手段と、
前記記録保持手段に記録されている模範音声を再生する音声再生手段と、
発声された音声を受け付ける音声入力手段と、
前記音声入力手段で入力された音声と前記音声記録手段に記録されている模範音声とを比較し、前記音声入力手段で入力された音声が模範音声と類似しているか否かを認識する音声認識手段と、
前記音声入力手段で入力された音声と模範音声とが類似していると前記音声認識手段が認識した場合に、前記音声入力手段で入力された音声または該音声の特徴パターンを判定情報として前記模範音声に対応づけて前記記録保持手段に記録する登録手段とを備え、
前記音声入力手段は、さらに、前記提示手段で提示された前記提示用情報に基づいて発声された音声を受け付け、
前記音声認識手段は、さらに、発声された音声または該音声の特徴パターンと事前に記憶されている判定情報とが類似するか否かを判定して、発声された音声の正誤を判断する
ことを特徴とする教育機器。
【請求項２】
請求項１記載の教育機器において、前記音声入力手段で入力された音声と模範音声とが類似していないと前記音声認識手段が認識した場合には、前記音声再生手段で再び模範音声を再生させることを特徴とする教育機器。
【請求項３】
請求項１または請求項２記載の教育機器において、発声された音声の正誤を判断する前記音声認識手段が誤りと判断した場合に、前記提示用情報に対応する音声を前記記録保持手段から読出し、前記音声再生手段で再生させることを特徴とする教育機器。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識を利用した教育機器に関する。
【０００２】
【従来の技術】
近年、音声を使った語学教育機器として、いくつかの技術が提案されている。例えば、特開昭６３−３０３４００号には、カード状の記録装置に模範の音声(習得したい言語(例えば英語)の模範の音声)を入れておいて、それを聞きながら復唱してスピーキングの練習を行なう技術が示されている。この技術によれば、効果的に模範音声を聞くことはできるが、発音の間違があっても本人が気がつかない限り、直すことができないという欠点がある。
【０００３】
一方、特開昭５９−２２０７７５号には、模範となる音声を磁気テープに録音しており、それと利用者の音声を比較して、類似しているかどうかを機械的に判断しその結果を話者に知らせる技術が示されている。また、特開昭６０−１６２２８１号には、模範発声者の音声と練習者の入力音声とを記憶して、これらを音響分析し、練習者の入力音声の特徴を模範音声の特徴と比べて評価し、その分析および評価結果を表示装置に表示し、練習者は自分の発音を聞き、且つ、表示装置４に表示された模範音声および自分の音声の分析結果および、自分の音声の評価結果を見て、模範音声と自分の音声の音声特徴の相違を確認し、自分の発音を矯正する技術が示されている。
【０００４】
【発明が解決しようとする課題】
特開昭５９−２２０７７５号，特開昭６０−１６２２８１号の技術によれば、模範音声と学習者の音声とを、振幅，ピッチ，ホルマントで比較するので、音の比較はできるが、一般の人にとっては、何を正せば模範の音声に近付くのか理解しにくいなどの欠点がある。
【０００５】
また、特開昭５９−２２０７７５号，特開昭６０−１６２２８１号の技術では、模範音声(習得したい言語(例えば英語)の模範の音声)が出力されるだけであって、これにより、利用者は、仮に、この言語の正しい発音を身につけることができたとしても、その言語の意味が何であるかを知りたいとき、これをすぐには知得することができないという欠点があった。すなわち、語学の学習の基礎は単語の習得にあり、単語を正しい発音で身につけるためには、教材として正しい発音を示すことのみならず、意味を理解することが非常に重要であり、現在、日本では単語カードの表面に日本語、裏に外国語を記入して、表の日本語を見て裏の外国語(例えば英語)の単語を思い出させるというような手法が広く用いられているが、特開昭５９−２２０７７５号，特開昭６０−１６２２８１号の技術では、上記の単語カードのような使い方ができないという欠点があった。
【０００６】
本発明は、模範音声を練習者(利用者)に提示して練習者に自己の発音の正しさを判断させることができるとともに、練習者に言葉の意味と発音との両方を身に付けさせることの可能な教育機器を提供することを目的としている。
【０００７】
また、本発明は模範となる文字や絵を示し、練習者に言葉で答えさせることで、練習者に言葉の意味と発音との両方を身に付けさせることの可能な教育機器を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、模範音声と該模範音声に関連した提示用情報とを記録している記録保持手段と、
前記記録保持手段に記録されている提示用情報を提示する提示手段と、
前記記録保持手段に記録されている模範音声を再生する音声再生手段と、
発声された音声を受け付ける音声入力手段と、
前記音声入力手段で入力された音声と前記音声記録手段に記録されている模範音声とを比較し、前記音声入力手段で入力された音声が模範音声と類似しているか否かを認識する音声認識手段と、
前記音声入力手段で入力された音声と模範音声とが類似していると前記音声認識手段が認識した場合に、前記音声入力手段で入力された音声または該音声の特徴パターンを判定情報として前記模範音声に対応づけて前記記録保持手段に記録する登録手段とを備え、
前記音声入力手段は、さらに、前記提示手段で提示された前記提示用情報に基づいて発声された音声を受け付け、
前記音声認識手段は、さらに、発声された音声または該音声の特徴パターンと事前に記憶されている判定情報とが類似するか否かを判定して、発声された音声の正誤を判断する
ことを特徴としている。
【０００９】
また、請求項２記載の発明は、請求項１記載の教育機器において、前記音声入力手段で入力された音声と模範音声とが類似していないと前記音声認識手段が認識した場合には、前記音声再生手段で再び模範音声を再生させることを特徴としている。
【００１０】
また、請求項３記載の発明は、請求項１または請求項２記載の教育機器において、発声された音声の正誤を判断する前記音声認識手段が誤りと判断した場合に、前記提示用情報に対応する音声を前記記録保持手段から読出し、前記音声再生手段で再生させることを特徴としている。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明に係る教育機器の構成例を示す図である。図１を参照すると、この教育機器は、全体を制御する制御部１と、音声を入力する音声入力部(例えばマイクロフォン)２と、音声を記録保持する音声記録保持部(例えばメモリ)３と、該音声記録保持部３に記録保持されている音声を再生する音声再生部(例えばスピーカ)４と、音声記録保持部３に記録されている音声のいずれかを指示する指示部(例えばキーボード)５とを有し、前記制御部１には、認識用の音声パターン(標準パターン)を登録可能であって音声を認識可能な音声認識手段１０と、比較手段２０とが設けられ、認識用の標準パターンの登録時には、制御部１は、音声記録保持部２に記録保持されている音声を音声再生部４によって再生させ、利用者が再生された音声に近い音声を発声するとき、利用者が発声した音声に基づいて(この音声の特徴パターンを抽出することで)、認識用の標準パターンを生成して、これを音声認識手段１０に登録し、また、音声認識時には、制御部１は、発声すべき音声を指示部５によって利用者に指示させた後、利用者に該音声を発声させ、利用者の発声音声を音声認識手段１０で認識させ、その認識結果が指示部５で指示された音声と関連付けられているか否かを比較手段２０で判断して、その結果を利用者に提示するようになっている。
【００１８】
ここで、音声記録保持部３には、より詳しくは、例えば教育機器を動作させるための制御プログラム，外国語の単語の発音音声のデータ(例えば模範となる英語音声データ)，外国語の単語の日本語の意味などが記憶されている。
【００１９】
また、音声認識手段１０の音声認識方式に関しては、従来公知の任意の方式を用いることができる。例えば文献「古井著  デジタル音声処理(東海大出版１９８５年))」に記載されているような方式のものを用いることができる。
【００２０】
図２は音声認識手段１０の構成例を示す図である。図２の例では、音声認識手段１０は、特徴抽出部１１と、特定話者用標準パターン登録部１２と、比較部１３と、結果出力部１４とを有している。
【００２１】
音声認識手段１０が図２のように構成されている場合において、標準パターンの登録時には、利用者(特定話者)の予め決められた単語の入力音声を特徴抽出部１１で特徴量(特徴パターン)に変換した後、特徴抽出部１１で抽出された特徴パターンを特定話者用標準パターン登録部１２に標準パターンとして記憶するようになっている。一方、音声認識時には、利用者(特定話者)の未知の単語の入力音声を特徴抽出部１１で特徴量(特徴パターン)に変換した後、比較部１３において、未知の単語の入力音声の特徴パターンと特定話者用標準パターン登録部１２に予め登録してある種々の単語の標準パターンとの間でそれぞれ類似度を計算し、結果出力部１４では、最も高い類似度を与えた標準パターンをもつ単語を認識結果として出力するようになっている。
【００２２】
次に、このような構成の教育機器の処理動作例について説明する。先ず、音声認識手段１０に特定話者音声認識用の標準パターンを登録する場合について説明する。いま、指示部５から利用者が単語(単語名)を例えば日本語で指定(入力)すると、制御部１は、その日本語を前述したような仕方で利用者に提示する。日本語の提示の仕方として、例えば、図１に示すように、さらに表示部６を設け、表示部６に日本語の文字(キャラクタ)を表示しても良いし、あらかじめ日本語の単語の音声を波形データとして音声記録保持部(メモリ)３に記憶しておいて音声再生部(スピーカ)４から再生するようにしても良い。なお、日本語を音声再生で提示するときには、表示部６は必ずしも設けられていなくても良い。
【００２３】
このように、日本語を利用者に提示した後、制御部１は、この日本語単語に対応した外国語の単語の発音音声データを音声記録保持部３から読み出し、再生する。これにより、利用者は、この日本語単語に対応した外国語の単語の発音をスピーカ４を通して聞くことができる。例えば、音声記録保持部３に、日本語単語とこれに対応した外国語(英語)の単語が単語数“５”で登録されているとする。ここで、５つの単語を「赤」「青」「緑」「白」「黒」とする。まず、利用者は、キーボード５から「赤」と入力すると、スピーカ４から「ｒｅｄ」と言う発音が出る。利用者はこれを真似してマイクロフォン２に向かって「レッド」と発音する。なお、利用者は、必要に応じて、この発声を複数回繰り返しても良い。
【００２４】
マイクロフォン２から入力された音声(例えば「レッド」)はＡ／Ｄ変換されて、制御部１に与えられる。制御部１では、与えられた音声の一部を音声認識手段１０に与え、他の一部を再生用の音声として音声波形のまま音声記録保持部(メモリ)３に記憶することができる。なお、この例では、音声信号を分岐して、音声認識手段１０，メモリ３の両方に入力させているが、必ずしも音声信号を分岐して両方へ入力させる必要はない。例えば、マイクロフォン２から入力された音声信号を音声波形のままメモリ３へ記憶させ、必要に応じて音声認識手段１０へ入力させても良い。また、音声信号を音声波形のままメモリ３へ記憶させても良いが、利用者の音声を再生する必要がない場合は、これを音声認識手段１０だけに与え、音声認識用の特徴パターンに変換させて記憶させても良い。この場合には、使用するメモリ量を少なくさせることができる。
【００２５】
このように、利用者の発声した音声が音声認識手段１０に入力されると、音声認識手段１０では、入力された音声(例えば「レッド」)を特定話者音声認識用の標準パターンとしての登録に利用できる。すなわち、入力された音声(例えば「レッド」)の特徴パターンをこの利用者(特定話者)の認識用標準パターンとして、特定話者用標準パターン登録部１２に登録することができる。
【００２６】
このような動作を順次に繰り返して、５つの単語全ての発音練習を行ない、５つの単語の英語発声音声に基づいてこの話者用の標準パターンを作成し、これを音声認識手段１０に登録する。そして、５つの単語全ての発音練習を終了すると、利用者は、指示部(キーボード)５からテストのモードを選択し、そのとき、単語名を指定することができる。テストのモードが選択され単語名が指定されると、制御部１は、音声記録保持部(メモリ)３に記憶されている日本語(指定された日本語)を例えば音声で再生して利用者に提示し、この再生が終了すると、音声認識手段１０は、未知の入力音声に対する認識待ちの状態に入る。
【００２７】
次に、未知の入力音声に対する認識処理時，すなわち、実際の音声認識時について説明する。先ず、指示部５から利用者が単語(単語名)を例えば日本語で指定(入力)すると、制御部１は、その日本語を前述したような仕方で利用者に提示する。日本語の提示の仕方として、例えば、図１に示すように、さらに表示部６を設け、表示部６に日本語の文字(キャラクタ)を表示しても良いし、あらかじめ日本語の単語の音声を波形データとして音声記録保持部(メモリ)３に記憶しておいて音声再生部(スピーカ)４から再生するようにしても良い。なお、日本語を音声再生で提示するときには、表示部６は必ずしも設けられていなくても良い。
【００２８】
このように、日本語を利用者に提示した後、利用者は、音声再生部４から日本語で提示された単語の英語発声を試みることができる。利用者がこの単語を英語発声すると、英語発声された音声は、制御部１に取り込まれ、制御部１では、この音声を音声認識手段１０に与えて、音声認識させる。音声認識手段１０では、入力された英語音声の特徴パターンを求め、この特徴パターンを予め登録されている５つの単語(英語)の標準パターンと照合して、最も類似している標準パターンをもつ単語を認識結果とし、この認識結果を結果出力部１４から出力させる。この段階で、制御部１は、先に指定されている単語名と認識結果とを比較手段２０で比較し、この比較の結果、同じであれば正解であると判断し、違っていれば誤りと判断する。そして、この判断結果を例えば表示部６に表示して利用者に知らせる。この時、単語の表示の順番は、登録順でも、登録の逆順でも良いし、あるいは、ランダムにしてもよい。
【００２９】
図３，図４は図１の教育機器の処理動作の具体例を説明するためのフローチャートである。図３，図４の例では、利用者は、先ず、個人情報を記録するファイル名を入力する(ステップＳ１)。なお、このファイル名は、利用者がキーボード５から入力しても良いし、あるいは、機器のメモリに予め記憶されている単語名を機器自体が自動で読み出し、機器自体が自動的に発生することも可能である。このようにして、ファイル名の入力がなされると、このファイル名が新しいファイルであるか否かを判断する(ステップＳ２)。この結果、新しいファイルの場合は初めての利用であるので、利用者に発音練習を行なわせ、音声認識用の標準パターンを作成する必要がある。そのために、先ず、単語カウンタＷＣＮＴを“１”に初期設定し(ステップＳ３)，日本語の単語名を入力する(ステップＳ４)。日本語の単語名の入力も、ファイル名の入力と同様に、利用者によりキーボード５から入力させても良いし、あるいは、機器のメモリに予め記憶されている単語名を機器自体が自動で読み出し、機器自体が自動的に発生することも可能である。
【００３０】
次に、その日本語の単語名に対応する英語の単語名を入力する(ステップＳ５)。例えば、ステップＳ４で、日本語の単語名として「赤」と入力した時には、ステップＳ５では「ｒｅｄ」と入力する。この際、英語の入力も、手入力でなされても良いし、機器が自動で入力しても良い。
【００３１】
このように、日本語とそれに対応した英語が入力されると、これらを例えば表示部６に表示する(ステップＳ６)。すなわち、例えば、「赤」，「ｒｅｄ」のように表示する。そして、この教育機器は、模範の発音を出力し、それに従って、利用者に発声(復唱)させる(ステップＳ７)。すなわち、機器は模範の音声として「レッド」を出力し、利用者はこれに従い、模範音声にできる限り似せて「レッド」を発声する。
【００３２】
利用者が発声したこの音声は音声認識手段１０へ取り込まれ、音声認識手段１０では、利用者が発声した単語の音声の特徴パターンをこの単語の標準パターンとして例えばファイルに登録する(ステップＳ８)。次いで、単語カウンタＷＣＮＴを“１”だけ増加させ(ステップＳ９)、カウンタ値ＷＣＮＴが全ての単語数ｎを超えたかを判断する(ステップＳ１０)。ｎを超えないときには、ｎを超えるまで、ステップＳ４乃至ステップＳ９の処理を繰り返し、終了したら、上記ファイルを保存する。
【００３３】
次いで、発音練習だけか、発音練習の他にさらに単語の記憶トレーニングをするかを利用者に選択させる(ステップＳ１１)。利用者が模範音声を聞いて発音練習するだけの時はこれで処理を終了するが、発音練習と単語の記憶トレーニングをする時はここからテストルーチンへ入る(すなわち、ステップＳ１５に進む)。
【００３４】
また、ステップＳ２において、入力されたファイル名がすでに存在し、利用者がすでに発声練習をしたと判断されるときには、互いに対応づけられた英語語彙と日本語語彙とをロードし(ステップＳ１２，Ｓ１３)、ステップＳ８で作成された音声認識用の標準パターン(テンプレート)をロードする(ステップＳ１４)。なお、ここで、語彙とは単語の集合である。
【００３５】
次いで、ステップＳ１５からのテストルーチンに入る。テストルーチンでは、先ず、単語ポインタを最初の単語位置にセットする(ステップＳ１５)。そして、単語カウンタＷＣＮＴを“１”に初期設定する(ステップＳ１６)。次いで、その単語位置の日本語の単語を例えば表示部６に提示(例えば表示)する(ステップＳ１７)。ここで、日本語の単語を必ずしも文字表示する必要はなく、録音された音声で出力しても良い。
【００３６】
このように、日本語の単語を利用者に提示するとき、利用者は、それに対応する英語単語を発声することができる(ステップＳ１８)。利用者が英語単語を発声し、その音声が入力されると、音声認識手段１０では、この英語単語の音声を音声認識する(ステップＳ１９)。すなわち、この英語単語の音声の特徴パターンを抽出し、この特徴パターンをステップＳ８で登録された各単語の標準パターンと照合することで、音声認識を行なう。そして、この音声認識の結果、利用者の発声した音声の特徴パターンが正しい英語単語の音声特徴量(標準パターン)を備えたものであるか否かを判断し(ステップＳ２０)、利用者の発声した音声が正しい英語単語の音声特徴量(標準パターン)を備えたものでないときには(リジェクトされたか、あるいは、誤認識結果だったら)、ステップＳ１７に戻り、再度日本語の単語を表示して利用者に再度それに対応する英語単語を発声させ、ステップＳ１７乃至Ｓ２０の音声認識処理を繰り返す。
【００３７】
一方、ステップＳ２０において、認識結果が正しければ、単語カウンタＷＣＮＴを“１”だけ増加して(ステップＳ２１)、単語カウンタＷＣＮＴが所定値ｎを越えたか否かを判断する(ステップＳ２２)。この結果、所定値ｎに達していないときには、再びステップＳ１７に戻り、次の日本語の単語を表示し、上記テストルーチンを繰り返す。このようにして、ステップＳ２２で単語カウンタＷＣＮＴが所定値ｎを越えたときに、全ての処理を終了する。
【００３８】
なお、上述のテストルーチン(ステップＳ１５乃至Ｓ２２)では、単語ポインタを最初の単語位置にセットし、最初の単語位置の単語から順次にテストを行なうようになっているが、これのかわりに、例えば、乱数を発生させてテストする単語をランダムに決めても良い。
【００３９】
このようなテストを行なうことで、利用者は、日本語の単語名に対応した英単語の正しい発音を習得でき、また、これと同時に、この英単語の意味(すなわち、日本語の単語)が何であるかを把握できる。また、上述の例では、利用者に単語を提示したが、日本語の文章を提示し、これに対応した英語の文章を利用者に発声させても良い。また、上述の例では、指示部５にキーボードを用いたが、キーボードのかわりに、例えばフロッピー・ディスクやＣＤ−ＲＯＭなどの記録媒体を用いることもできる。また、上述の例では、指示部５が設けられているが、指示部５のかわりに、２種類以上の言語でそれぞれ発声された内容の音声が互いに対応付けて記録されている音声記録部(フロッピー・ディスクやＣＤ−ＲＯＭなどの記録媒体など)を設けることもできる。
【００４０】
図５は本発明に係る教育機器の他の構成例を示す図であり、図５の教育機器は、図１の教育機器において、指示部５のかわりに、２種類以上の言語でそれぞれ発声された内容の音声が互いに対応付けて記録されている音声記録部７(フロッピー・ディスクやＣＤ−ＲＯＭなどの記録媒体など)が設けられたものとなっている。
【００４１】
また、図５の教育機器では、音声記録保持部３は、音声記録部７に記録された内容を一時的に記憶する一時記憶部としての機能も有し、認識用の標準パターンの登録時には、ある単語について、制御部１は、音声記録部７から音声記録保持部(一時記憶部)３に記録された２種類以上の言語の音声のうち一種類以上の言語の音声(例えば、英語の音声)を第１の音声として音声再生部４から再生し、利用者に該第１の音声(英語の音声)に従って英語の音声を発声させ、利用者が発声した音声に基づいて認識用の標準パターンを生成して、これを音声認識手段１０に登録するようになっており、また、音声認識時には、ある単語について、制御部１は、音声記録部７から音声記録保持部(一時記憶部)３に記録された２種類以上の言語の音声の中から、前記利用者が発声した種類の言語とは別の種類の言語の音声(例えば、日本語の音声)を第２の音声として再生し、利用者に、この第２の音声(日本語の音声)に対応した第１の音声(英語の音声)を発声させ、利用者のこの発声音声を音声認識手段１０で認識させ、その認識結果が音声記録保持部(一時記憶部)３に記録され第１の音声として再生された音声と関連付けられているか否かを判断して利用者に提示するようになっている。
【００４２】
図５の教育機器では、音声記録部(記録媒体)７の内容として、種々のものを設定することができ、この内容は、一時的に音声記録保持部３へ記憶されることで、発声を促す単語の種類を換えたり、言語の種類を換えたり、更にはプログラムの変更によって、外国語だけでなく、質問に対する答えを教えることや、目の不自由な人に対する訓練機にすることもできる。従って、この音声記憶部７，すなわち記録媒体だけを取り替えることで教育機器の機能を容易に変更できる。
【００４３】
このように、図５の教育機器では、記録媒体を取り替えることで、１つのシステムを多くの人が使ったり、様々なレベルの学習に使うことができる。
【００４４】
ところで、上述した各教育機器(より具体的には、制御部１の音声認識手段１０が図２の構成となっている機器)では、利用者の誤りをシステム側から指摘することができない。具体的には、本人が気がつかない誤りがある場合、例え「ｒｅｄ」を常に「レット」と発音する人がいた場合、「赤」−「ｒｅｄ」というガイダンスに沿って「レット」と発音すると、これがこの特定話者の標準パターンとして登録されてしまい、テストで「赤は何と言うでしょう」との問に対し、「レット」と発音すれば、音声認識の結果は正解となってしまう。そのため、模範の発音と自分の発音の違っていることを誰かに指摘されるまで、上述した教育機器ではその発音の誤りを正すことはできない。
【００４５】
図６は本人の思い込みで発音しているような誤りに対する修正を可能にすることを意図した音声認識手段１０’の構成例を示す図である。すなわち、図６の構成例では、できるだけ正しい発音で標準パターンを作成することと、正しい発音を学習することとを意図したものとなっており、音声認識手段１０’は、特徴抽出部１１と、特定話者用標準パターン登録部１２と、比較部１３と、結果出力部１４との他に、さらに、不特定話者用標準パターン登録部１５を有している。
【００４６】
図６の構成例は、現在、不特定話者用の音声認識装置が利用できるようになってきたことと、特定話者方式の方が認識精度が高いこととの２つの特徴を利用したものであり、図６の構成例では、まず、不特定話者用の標準パターンを使って、利用者が正しい発音をしているかどうかをチェックし、正しいと判断されたものに対して特定話者用の標準パターンを登録するようにしている。
【００４７】
図７は制御部１の音声認識手段が図６のような音声認識手段１０’の構成となっている場合の教育機器の他の構成例を示す図であり、図７の教育機器は、前述のように、本人の思い込みで発音しているような誤りに対する修正を可能にすることを意図している。すなわち、図７の教育機器は、できるだけ正しい発音で標準パターンを作成することと、正しい発音を学習することとを目的になされたものである。
【００４８】
図７の例の教育機器は、図１の構成例の教育機器において、制御部１の音声認識手段が図６のような音声認識手段１０’の構成となっていることの他に、指示部(例えばキーボード)５とともに、図５の構成例に示したような音声記録部(記録媒体)７がさらに設けられたものとなっている。ここで、音声記録部(記録媒体)７には、２種類以上の言語でそれぞれ発声された内容の音声が互いに対応付けて記録されているが、この際、記録されるべき発声された内容の音声は、不特定話者のものとなっている(例えば、複数の話者の音声の平均をとった標準的な音声のものとなっている)。
【００４９】
図６，図７の構成の教育機器では、利用者の音声の標準パターンを特定話者用標準パターン登録部１２に登録するに先立って、利用者が発声した音声の特徴パターンと不特定話者用標準パターン登録部１５に登録されている不特定話者用の標準パターンとの類似度を求めて、正しい認識結果が得られるかどうかを調べ、正しい認識結果が得られれば、その音声の特徴パターンを特定話者用標準パターン登録部１２にそのまま登録し、正しい認識結果が得られない場合は、「もう一度発声練習をしましょう」とか「発音は正しいですか？」などのメッセージを利用者に与え、上述したのと同じ動作を繰り返し行なわせる。このような動作を行なって、不特定話者用標準パターン登録部１５に登録されている不特定話者用の標準パターンと最も高い類似度を得た利用者音声の特徴パターンを特定話者用の標準パターンとして特定話者用標準パターン登録部１２に登録することができる。
【００５０】
具体的に、利用者が自分が正しい発音をしているのか否かを調べるため、ある単語の音声を発声すると、音声認識手段１０’では入力された単語の音声の特徴パターンを抽出し、入力音声の特徴パターンを先ず最初の不特定話者用の標準パターンと比較する。そして、その時の両者の類似度と、この類似度を与えた標準パターンの単語名とを例えばメモリ(図示せず)に一時記憶し、次いで、入力音声の特徴パターンを次の不特定話者用の標準パターンと比較する。この標準パターンとの類似度が先の標準パターンとの類似度よりも大きい時には、先に記憶した標準パターンを消去し、現在の類似度とその類似度を与えた標準パターンの単語名とを上記メモリに記憶する。一方、現在の類似度の方が小さいときは、先に記憶した標準パターンをそのままメモリに記憶保持する。このようにして、入力音声の特徴パターンを不特定話者用の各標準パターンと順次に比較し、これらの類似度を求めた後、最も高い類似度を与えた標準パターン，すなわち、メモリに残っている単語が最大の類似度を得たもの(単語名)が認識結果となる。
【００５１】
このように音声認識手段から認識結果が得られたとき、制御部１は、この認識結果と、利用者に対し発声を促した単語名とが一致するか否かを比較し、単語名が一致するならば正しい発音と判断し、違っていれば、誤まった発音と判断する。これによって本人が気がつかないような発音の誤りを指摘できる。そして、上記認識結果と利用者に対し発声を促した単語名とが一致するときに、上記認識結果を与えた不特定話者用の標準パターンを特定話者用の標準パターンとして登録することができる。
【００５２】
このように、図６，図７の構成の教育機器では、利用者の音声の標準パターンを特定話者用標準パターン登録部１２に登録するに先立って、利用者が発声した音声の特徴パターンと不特定話者用標準パターン登録部１５に登録されている不特定話者用の標準パターンとの類似度を求めて、正しい認識結果が得られるかどうかを調べ利用者は自分が正しい発音をしているかどうかが判断でき、正しい音声で教育機器を使うことができる。また、これと同時に、自分自身が正しい発音を身につけることができる。すなわち、本人の思い込みで発音しているような誤りに対する修正が可能となり、できるだけ正しい発音で標準パターンを作成することと、正しい発音を学習することが可能となる。
【００５３】
また、上記のような各教育機器において、単語発声などの学習中に音声認識結果が誤りとなる場合として、機器から発音提示された時の発音を忘れてしまって、まったく別の言葉を発声してしまったり、あるいは、提示された発音と似ている発音をしているが登録したときの正しい発音とは違っている場合がある。いずれの場合にしても、利用者は正しい発音をもう一度聞いてみる必要がある。
【００５４】
図８は本発明に係る教育機器の他の構成例を示す図であり、図８の教育機器は、上記の問題を解決することを意図している。
【００５５】
すなわち、図８を参照すると、この教育機器において、制御部１の音声認識手段は例えば図９のような音声認識手段１０''の構成のものとなっている。また、図８の教育機器の例では、指示部５の他に、音声記録部(記録媒体)７が設けられている。
【００５６】
また、図８，図９の教育機器では、音声認識手段１０''の認識結果が比較手段２０において違っていたと判断した場合に、制御部１は、指示された音声と対になる一方または両方の音声を音声記録保持部(一時記憶部)３から読み出して音声再生部４に与え、これを再生させるようになっている。
【００５７】
具体的に、図８の教育機器においても、音声記録保持部３には、例えば音声記録部(記録媒体)７から、例えば教育機器を動作させるための制御プログラム，外国語の単語の発音音声のデータ(例えば模範となる英語音声データ)，外国語の単語の日本語の意味などがロードされ記憶されている。
【００５８】
そして、この教育機器においても、標準パターンの登録時には、音声記録保持部３に保持されている単語の音声を音声再生部４から再生して、再生された音声に近い音声を利用者に繰り返し発声させ、その特徴パターンを特定話者用の標準パターンとして特定話者用標準パターン登録部１２に登録するようにしている。その後、発声すべき英語を意味する日本語を表示し、それに対して発声された英語発音を前述したと同様の仕方で認識して認識結果を得る。このとき、発声された英語の音声を、例えば音声記録保持部３に一時的に保存しておくのも効果的である。
【００５９】
ところで、この教育機器では、このような認識の結果、誤認識している時は、制御部１は、音声記録保持部３から該当単語の英語の音声を取り出し、この音声信号を音声再生部４から再生して利用者に聞かせる。それに続いて、制御部１は、一時的に音声記録保持部３に取り込んでおいた利用者の発音音声を音声再生部４から再生して利用者に聞かせる。これによって、利用者は、正しい英語の発音と自己の発声した発音との違いを明瞭に把握することができる。すなわち、この種の教育機器においては、単語発声などの学習中に音声認識結果が誤りとなる場合として、機器から発音提示された時の発音を忘れてしまって、まったく別の言葉を発声してしまったり、あるいは、提示された発音と似ている発音をしているが登録したときの正しい発音とは違っている場合があるが、図８の教育機器では、いずれの場合についても、利用者は正しい発音をもう一度聞くことができる。
【００６０】
図１０は図８の教育機器の変形例を示す図であり、図１０の教育機器は、図８の教育機器において、制御部１の音声認識手段に図２の音声認識手段１０が用いられている。すなわち、図１０の教育機器は、音声認識手段１０の認識結果が違っていた場合に、制御部１は、再度、指示された音声を再生して、利用者に発声を求めるようにし、利用者が再度発声すると、その音声の特徴パターンで先に登録した音声認識用の標準パターンを書き換えるようになっている。
【００６１】
すなわち、教育機器を使用する場合、利用者は自分の知らない言葉を発声しなければならないことがある。そのために発声が安定しなかったり、間違えたりする。このうち、発声の不安定さを低減するには、この教育機器を繰り返し使用することが有効であり、これによって発声を安定させることができるが、言い誤りは、元の標準パターンを書き換えておく必要がある。
【００６２】
また、音声認識の誤りには、上記の原因以外に経時変化がある。すなわち、音声を登録してから時間が経つと、正しい発音をしているにもかかわらず、正しい認識ができない場合が生ずることがある。
【００６３】
図１０の教育機器では、誤認識した音声の標準パターンを新しいものと入れ替えるようにしているので、上記のような場合に対処することができる。
【００６４】
具体的に、図１０の教育機器においても、音声記録保持部３には、例えば音声記録部(記録媒体)７から、例えば教育機器を動作させるための制御プログラム，外国語の単語の発音音声のデータ(例えば模範となる英語音声データ)，外国語の単語の日本語の意味などがロードされ記憶されている。
【００６５】
そして、この教育機器においても、標準パターンの登録時には、音声記録保持部３に保持されている単語の音声を音声再生部４から再生して、再生された音声に近い音声を利用者に繰り返し発声させ、それを特定話者用の標準パターンとして特定話者用標準パターン登録部１２に登録するようにしている。その後、発声すべき英語を意味する日本語を表示し、それに対して発声された英語発音を前述したと同様の仕方で認識して認識結果を得る。このとき、発声された英語の音声を、例えば音声記録保持部３に一時的に保存しておくのも効果的である。
【００６６】
ところで、この教育機器では、このような認識の結果、誤認識している時は、制御部１は、音声記録保持部３から該当単語の英語の音声を取り出し、この音声信号を音声再生部４から再生して利用者に聞かせる。
【００６７】
また、これと同時に、音声認識手段１０を登録モードにする。そこで、利用者が音声を発声すると、発声した音声は特徴抽出されその特徴パターンが特定話者用標準パターン登録部１２に標準パターンとして登録される。なお、このようにして特徴パターンが標準パターンとして登録されることによって、先に登録されている既存の標準パターン、すなわち現在、誤認識となった標準パターンは消去される。しかしながら、既存の標準パターンを必ずしも消去して書き換えなければならないわけではなく、新たな標準パターンを既存の標準パターンと平均を取ったものを標準パターンとして登録してもかまわない。こうすることによって標準パターンの老朽化を防ぐことができる。
【００６８】
また、上述した各構成例の教育機器では、音声認識手段が誤認識した場合に、これが利用者が間違えた単語を発声したものなのか、正しい単語を間違えて発声したものなのかを区別できない。
【００６９】
図１１は本発明に係る教育機器の他の構成例を示す図であり、図１１の教育機器は、音声認識手段が誤認識した場合に、これが利用者が間違えた単語を発声したものなのか、正しい単語を間違えて発声したものなのかを区別することを意図している。
【００７０】
すなわち、図１１の教育機器は、例えば図８や図１０の構成例において、制御部１が図１２に示すような構成のものとなっている。図１２を参照すると、図１１の教育機器の制御部１は、音声認識手段１０'''が、特徴抽出部１１と、特定話者用標準パターン登録部１２と、比較部１３と、結果出力部１４との他に、さらに、比較部１３で得られる類似度(認識結果が得られるとき、この認識結果を与えた単語の音声の特徴パターンの標準パターンに対する類似度)を保持する指定単語類似度保持部１７を有している。また、制御部１の比較手段２０'は、音声認識手段１０'''の指定単語類似度保持部１７に保持された類似度を閾値ＴＨと比較し、類似度が閾値ＴＨよりも大きいか小さいかをも判断するようになっている。
【００７１】
このような構成の教育機器では、音声認識時には、制御部１は、例えば指示部５によって発声する音声を利用者に指示させた後、利用者に該音声を発声させ、利用者の発声音声を音声認識手段１０'''で認識させ、その認識結果が指示部５で指示された音声と関連付けられているか否かを判断し、その後、音声認識手段１０'''によって発声する音声を指定し、利用者が発した音声の特徴パターンと標準パターンとの間で類似度を計算して前述したと同様にして認識結果を得る。この結果、正しい認識結果が得られた時は、前述したものと同様の動作をする一方、正しく認識されなかった場合は、計算された類似度が予め決められた閾値ＴＨよりも小さいか、大きいかを判断し、閾値ＴＨよりも小さい時は、誤認識された音声を再生するようにしている。
【００７２】
具体的に、音声認識手段が誤認識する場合として、前述のように、利用者が教育機器から提示された時の発音を忘れてしまって、まったく別の言葉を発声してしまうか、または、似ている発音をしているが登録した時の正しい発音とは違った発音となっている場合が考えられる。前者の場合は後者に比べて類似度が低いので類似度の違いによって、両者を区別することができる。すなわち、正しく認識されなかった場合は、計算された類似度が予め決められた閾値ＴＨよりも小さいか、大きいかを判断することで、両者を区別することができる。このように区別がなされると、前者の場合であれば、例えば「単語を間違えていませんか？」のメッセージを利用者に示し、また、後者の場合であれば、「この単語と区別しましょう」のメッセージを利用者に示し、誤認識先の単語の音声を再生し、「正解はこれです」と言って、正しい音声を再生する。
【００７３】
図１１の教育機器の動作について、より具体的に説明する。図１１の教育機器においても、音声記録保持部３には、例えば音声記録部(記録媒体)７から、例えば教育機器を動作させるための制御プログラム，外国語の単語の発音音声のデータ(例えば模範となる英語音声データ)，外国語の単語の日本語の意味などがロードされ記憶されている。
【００７４】
そして、この教育機器においても、標準パターンの登録時には、音声記録保持部３に保持されている単語の音声を音声再生部４から再生して、再生された音声に近い音声を利用者に繰り返し発声させ、それを特定話者用の標準パターンとして特定話者用標準パターン登録部１２に登録するようにしている。その後、発声すべき英語を意味する日本語を表示し、それに対して発声された英語発音を前述したと同様の仕方で認識して認識結果を得る。このとき、発声された英語の音声を、例えば音声記録保持部３に一時的に保存しておくのも効果的である。
【００７５】
ところで、この教育機器では、利用者が自分が正しい発音をしているのか否かを調べるため、ある単語の音声を発声すると、音声認識手段１０'''では、入力された単語の音声の特徴パターンを抽出し、入力音声の特徴パターンを先ず最初の不特定話者用の標準パターンと比較する。そして、その時の両者の類似度と、この類似度を与えた標準パターンの単語名とを指定単語類似度保持部１７に一時記憶し、次いで、入力音声の特徴パターンを次の特定話者用標準パターンと比較する。この標準パターンとの類似度が先の標準パターンとの類似度よりも大きい時には、先に記憶した標準パターンを消去し、現在の類似度とその類似度を与えた標準パターンの単語名とを記憶する。一方、現在の類似度の方が小さい時は、そのまま現在の物を消去して、次の標準パターンを取り出す。但し、照合する標準パターンの単語名が、記憶部から音声再生部４を通じて発声されたものと同じ場合は、類似度にかかわらず、同じ記憶部に記憶しておく。
【００７６】
このようにして、入力音声の特徴パターンを特定話者用の各標準パターンと順次に比較し、これらの類似度を求めた後、最も高い類似度を与えた標準パターン，すなわち、記憶部に残っている単語が最大の類似度を得たもの(単語名)が認識結果となる。この認識結果が誤っていた場合には、正しい単語名と共に保存されている類似度を、閾値ＴＨと比較する。類似度が閾値ＴＨよりも低ければ、「単語を間違えていませんか？」と言うメッセージと共に表示し、一方、閾値ＴＨよりも高ければ、この単語と「間違えていませんか」と言うメッセージと共に、誤認識した単語の音声を音声記録保持部３から取り出し、音声再生部４から出力する。
【００７７】
これにより、利用者(話者)は自分が間違っていたことに気付く。あるいは、自分の発音が間違われやすい単語を知ることによって、間違われないような発音をすることになる。
【００７８】
ここでの閾値ＴＨの決め方は、特定話者方式の標準パターンと正しい入力音声特徴パターンとの間で生じる類似度の１／２から２／３程度のものが適当である。
【００７９】
このようにして、音声認識結果が誤認識である時、利用者が間違えた単語を発声しているのか、正しい単語を間違えて発声しているのかを区別し、利用者へ知らせることが可能になる。
【００８０】
また、図１３は本発明に係る教育機器の他の構成例を示す図であり、図１３の教育機器は、模範となる文字や絵を示し、練習者に言葉で答えさせることで、練習者に言葉の意味と発音との両方を身に付けさせることの可能な教育機器を提供することを目的としている。
【００８１】
すなわち、図１３の教育機器では、例えば、図１，図５の教育機器において、音声記録保持部３のかわりに、音声・画像記録保持部(メモリ)２３が設けられており、音声・画像記録保持部２３には、本機器を動作させるためのプログラムと、単語の外国語発音音声のデータとともに、それに対応した画像(文字や絵)が記憶されている。なお、図１３の例は図１に対応したものとなっている(指示部５が設けられたものとなっている)。
【００８２】
図１３の構成例では、指示部(例えばキーボード)５から例えば絵を指定すると、その絵を表示部(ディスプレイ)６に表示して、この絵に対応した音声データ(外国語の発音)を音声・画像記録保持部２３から読み出し、外国語の発音を音声再生部(スピーカ)４から出力する。これにより、利用者は、表示部６で絵を見ながら、この絵に対応した外国語の発音をスピーカ４を通して聞くことができる。例として、外国語が英語であるとし、また、単語数が５の場合を示す。いま仮に、５単語を「犬」「猫」「鳥」「馬」「牛」とする。プログラムをスタートすると、最初の犬の絵が表示部６に表示され、音声再生部(スピーカ)４から「ｄｏｇ」と言う発音が出力される。利用者はこれを真似して音声入力部(マイクロフォン)２に向かって「ドッグ」と発音する。必要に応じて、これを複数回繰り返しても良い。
【００８３】
音声入力部(マイクロフォン)２から入力された音声はＡ／Ｄ変換されて、一部は音声認識手段１０へ入力し、他の一部は再生用に音声波形のまま音声・画像記録保持部(メモリ)２３に記憶しておいても良い。この部分は、音声信号を分岐して必ずしも両方へ入れる必要はない。音声波形のまま音声・画像記録保持部(メモリ)２３へ記憶し、必要に応じて音声認識手段１０へ入力しても良いし、利用者の音声を再生する必要がない場合は、音声認識用の特徴量に直して記憶する方が使用するメモリ量が少なくて済む。音声認識手段１０では入力された音声を特定話者音声認識の音声登録に利用して話者の認識用標準パターンを作る。
【００８４】
このような動作を繰り返して５単語全ての発音練習を終わる。指示部(キーボード)５からテストのモードを選ぶと、表示部(ディスプレイ)６に動物の絵が表示され、認識待ちの状態に入る。
【００８５】
利用者は、表示部６に表示された絵の英語発声を試みる。英語発声された音声は、音声認識手段１０へ入力されて登録されている５単語の中で認識され、認識結果を比較手段２０へ出力する。ここでは先に送られている単語名と認識結果が比較され、同じであれば正解、違っていれば誤りとする。その結果を表示部６で利用者に知らせる。このように、表示部６に絵を順次に表示させて、利用者にそれに対応した外国語を順次に発声させてその発音が正しいか否かの結果を利用者に報告できる。この時、絵の表示の順番は登録順でも、登録の逆順でもあるいは、ランダムにしてもよい。
【００８６】
このように、図１３の教育機器では、模範となる文字や絵を示し、練習者に言葉で答えさせることで、練習者に言葉の意味と発音との両方を身に付けさせることが可能となる。
【００８７】
なお、図１３の構成例において、音声認識手段１０は、例えば、図２に示したと同様の構成となっており、入力された音声は特徴抽出部１１で特徴量に変換され、音声登録に際しては、変換された特徴量が、直接、特定話者用標準パターン記録部１２に記憶される。一方、認識に際しては、未知の入力音声を特徴抽出部１１で特徴量に変換した後、比較部１３において、予め登録されている標準パターンのそれぞれとの間で類似度を計算し、最も類似度が高いものを結果出力部１４から認識結果として出力する。
【００８８】
また、上述の例では、外国語が英語であり、単語数が５であるとしたが、外国語は英語以外のものでも良く、また、単語数も任意の個数のものにすることができる。また、上述の例では、絵と外国語の単語との対応付けを述べたが、それに限るものではなく、例えば国旗と国名、社章と社名、顔と人名、漢字と読み方、地図上の位置と場所名との対応付けなどを行なうこともできる。また、絵を動画にすれば、手話の学習など、視覚情報と聴覚情報の対応づけの教育に有効である。
【００８９】
また、上述の例では、単語で示したが、文章でも良いことはいうまでもない。また、図１３において、上述の例では、指示部５がキーボードであるとし、キーボードからコマンド入力や選択をするようにしたが、指示部５は、必ずしもキーボードである必要なく、例えばフロッピィディスクなどを用い、プロッピィディスクに記憶されているプログラムでコントロールしてもよい。
【００９０】
【発明の効果】
以上に説明したように、請求項１乃至請求項３記載の発明によれば、模範となる音声を示し、練習者の発音の正しさを判断することと、言葉の意味と、発音の両方が一度に身につけられるような教育機器を提供できる。
【図面の簡単な説明】
【図１】本発明に係る教育機器の構成例を示す図である。
【図２】音声認識手段の構成例を示す図である。
【図３】図１の教育機器の処理動作を説明するためのフローチャートである。
【図４】図１の教育機器の処理動作を説明するためのフローチャートである。
【図５】本発明に係る教育機器の他の構成例を示す図である。
【図６】音声認識手段の他の構成例を示す図である。
【図７】本発明に係る教育機器の他の構成例を示す図である。
【図８】本発明に係る教育機器の他の構成例を示す図である。
【図９】音声認識手段の他の構成例を示す図である。
【図１０】図８の教育機器の変形例を示す図である。
【図１１】本発明に係る教育機器の他の構成例を示す図である。
【図１２】図１１の教育機器の制御部の構成例を示す図である。
【図１３】本発明に係る教育機器の他の構成例を示す図である。
【符号の説明】
１            制御部
２            音声入力部
３            音声記録保持部
４            音声再生部
５            指示部
６            表示部
７            音声記録部
１０，１０',１０''，１０'''        音声認識手段
１１          特徴抽出部
１２          特定話者用標準パターン登録部
１３          比較部
１４          結果出力部
１５          不特定話者用標準パターン登録部
２０,２０'    比較手段
２３          音声・画像記録保持部
【図１】
0003741536.tif 000002
【図２】
0003741536.tif 000003
【図３】
0003741536.tif 000004
【図４】
0003741536.tif 000005
【図５】
0003741536.tif 000006
【図６】
0003741536.tif 000007
【図７】
0003741536.tif 000008
【図８】
0003741536.tif 000009
【図９】
0003741536.tif 000010
【図１０】
0003741536.tif 000011
【図１１】
0003741536.tif 000012
【図１２】
0003741536.tif 000013
【図１３】
0003741536.tif 000014