(57)【要約】【課題】習得しようとする言語の発音の判定を行うシステムの利用者が、その発音の善し悪しを音素毎に容易に且つ正確に理解することが可能で、更に判定に要する計算量が格段に少なくて済む発音判定システム、当該システムにおける、管理用サーバ、誤謬ルールデータベース及び制御プログラムを提供する。【解決手段】第１の発音判定システム１を、発音課題出題部１ａと、発音情報取得部１ｂと、発音判定用データ生成部１ｃと、発音判定部１ｄと、誤謬ルールデータベース１ｅと、判定結果告知部１ｆと、を含んだ構成とし、発音判定用データ生成部１ｃにおいて発音課題と誤謬ルールデータベース１ｅとに基づき音素ネットワークを生成し、発音情報取得部１ｂによって取得されたシステム利用者の発音情報に基づき発音判定部１ｄにおいてその音素ネットワークのパスの中で最も確からしいパスを選択し、発音結果告知部１ｆによって発音の善し悪しを告知する。【選択図】　図１
2004053652.tif 000002
【特許請求の範囲】
【請求項１】
システム利用者の習得しようとする言語についての発音の善し悪しを判定し、その判定結果を前記システム利用者に告知する発音判定システムであって、
前記システム利用者の習得しようとする言語の種類に基づき発音課題を出題する発音課題出題手段と、
前記システム利用者の発音した前記発音課題についての発音情報を取得する発音情報取得手段と、
前記発音課題に基づき発音判定用データを生成する発音判定用データ生成手段と、
前記発音情報取得手段によって取得された前記発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定手段と、
その判定結果を前記システム利用者に告知する判定結果告知手段と、を備えることを特徴とする発音判定システム。
【請求項２】
システム利用者の習得しようとする言語についての発音の善し悪しを判定し、その判定結果を前記システム利用者に告知する発音判定システムであって、
発音判定システム管理用サーバと、前記システム利用者の管理下にある利用者用端末と、を互いにデータ通信可能に接続し、
前記利用者用端末は、前記発音判定システム管理用サーバから伝送された前記システム利用者の習得しようとする言語の発音課題を表示する発音課題表示手段と、前記システム利用者によって発音された前記発音課題についての発音情報を取得する発音情報取得手段と、当該発音情報取得手段によって取得された発音情報を前記発音判定システム管理用サーバに伝送する発音情報伝送手段と、前記判定システム管理用サーバから伝送された前記発音の判定結果告知情報を前記システム利用者に告知する判定結果告知手段と、を備え、
前記発音判定管理用サーバは、前記システム利用者の習得しようとする言語の種類に基づいた発音課題を前記利用者用端末に伝送する発音課題出題手段と、前記発音課題に基づき発音判定用データを生成する発音判定用データ生成手段と、前記利用者用端末から伝送された前記システム利用者の前記発音課題についての発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定手段と、その判定結果に基づき発音結果告知情報を生成し前記利用者用端末に当該判定結果告知情報を伝送する判定結果告知情報伝送手段と、を備えることを特徴とする発音判定システム。
【請求項３】
前記発音判定用データ生成手段は、前記システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録した誤謬ルールデータベースを備え、前記発音課題と当該誤謬ルールデータベースとに基づき前記発音判定用データを生成するようになっていることを特徴とする請求項１又は請求項２記載の発音判定システム。
【請求項４】
前記判定結果に基づき前記システム利用者の発音が前記誤謬ルールデータベースにおけるどの誤謬ルール情報に該当したかの誤謬履歴を登録するようになっていることを特徴とする請求項３記載の発音判定システム。
【請求項５】
前記誤謬履歴に基づき前記システム利用者が陥り易い誤謬ルール情報を検出する誤謬傾向検出手段を備え、前記発音課題出題手段は、当該陥り易い誤謬ルール情報に基づき前記発音課題を出題するようになっていることを特徴とする請求項４記載の発音判定システム。
【請求項６】
前記判定結果告知手段は、前記発音課題に対する前記システム利用者の発音情報の音声波形と当該発音情報の発音判定結果を構成する各音素情報との時間的対応を前記システム利用者に視覚的に表示するようになっていることを特徴とする請求項１乃至請求項５のいずれか１項に記載の発音判定システム。
【請求項７】
前記判定結果告知手段は、前記発音課題に対する前記システム利用者の発音情報のアクセントと前記発音課題の正確なアクセントとを前記発音情報の発音判定結果を構成する各音素情報に対応づけて当該システム利用者に視覚的に表示するようになっていることを特徴とする請求項１乃至請求項６のいずれか１項に記載の発音判定システム。
【請求項８】
請求項２記載の発音判定システムにおける前記発音判定システム管理用サーバであって、
前記システム利用者の習得しようとする言語の種類に基づいた発音課題を前記利用者用端末に伝送する発音課題出題手段と、前記発音課題に基づき発音判定用データを生成する発音判定用データ生成手段と、前記利用者用端末から伝送された前記システム利用者の前記発音課題についての発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定手段と、その判定結果に基づき判定結果告知情報を生成し前記利用者用端末に当該判定結果告知情報を伝送する判定結果告知情報伝送手段と、を備えることを特徴とする発音判定システム管理用サーバ。
【請求項９】
前記発音判定用データ生成手段は、前記システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録した誤謬ルールデータベースを備え、前記発音課題と当該誤謬ルールデータベースとに基づき前記発音判定用データを生成するようになっていることを特徴とする請求項８記載の発音判定システム管理用サーバ。
【請求項１０】
前記判定結果に基づき前記システム利用者の発音が前記誤謬ルールデータベースにおけるどの誤謬ルール情報に該当したかの誤謬履歴を登録するようになっていることを特徴とする請求項９記載の発音判定システム管理用サーバ。
【請求項１１】
前記誤謬履歴に基づき前記システム利用者が陥り易い誤謬ルール情報を検出する誤謬傾向検出手段を備え、前記発音課題出題手段は、当該陥り易い誤謬ルール情報に基づき前記発音課題を出題するようになっていることを特徴とする請求項１０記載の発音判定システム管理用サーバ。
【請求項１２】
請求項３記載の発音判定システムにおける前記発音判定用データを生成するためのデータベースであって、
前記システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録していることを特徴とする誤謬ルールデータベース。
【請求項１３】
前記システム利用者の発音が前記誤謬ルールデータベースにおけるどの誤謬ルール情報に該当したかの誤謬履歴を登録可能となっていることを特徴とする請求項１２記載の誤謬ルールデータベース。
【請求項１４】
請求項１記載の発音判定システムを制御するためのコンピュータ実行可能なプログラムであって、
前記システム利用者の習得しようとする言語の種類に基づき発音課題を出題する発音課題出題ステップと、
前記システム利用者の発音した前記発音課題についての発音情報を取得する発音情報取得ステップと、
前記発音課題に基づき発音判定用データを生成する発音判定用データ生成ステップと、
当該発音情報取得ステップにおいて取得された前記発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定ステップと、
その判定結果を前記システム利用者に告知する判定結果告知ステップと、を備えることを特徴とする発音判定システム制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、言語の発音を習得するときに、その習得しようとする言語の発音の音素毎の善し悪しを判定するのに好適な発音判定システム、発音判定システム管理用サーバ、誤謬ルールデータベース、及び、発音判定システム制御プログラムに関する。
【０００２】
【従来の技術】
一般に、言語の発音を習得しようとする場合、その言語毎の正確な発音情報に基づいて発音することが重要である。この習得のために発音の善し悪しを判定するシステムの実現が望まれている。
従来、システム利用者の発話に対して、その発音の善し悪しを判定するシステムとして、目的の単語と発音が似ている単語を用意して、その発音がどの単語に近かったかを表示するものがあった。
【０００３】
このような発音の判定においては、一般的に、人手によって正解・不正解の音素列を単語単位で与え、その音素列全体と実際の発音情報との比較演算を行い発音結果の判定を行う方法が用いられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来のシステムでは、単語毎にしか発音の善し悪しの判定結果が示されない。それにもかかわらず、音素毎の発音の善し悪しを判定しようとすると、間違えうる音素の組み合わせを人が数え上げねばならず、ミスも発生し易く、更に、組み合わせ数も膨大な数になる場合が多々あった。
【０００５】
更に、実際の発音情報と用意された音素列全体との比較演算は、演算量が多大となる上、比較部分が重複したりしてメモリや時間を浪費する原因となっていた。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、習得しようとする言語の発音の判定を行うシステム利用者が、その発音の善し悪しを音素毎に容易に且つ正確に理解することが可能で、且つ、判定に要する計算量が格段に少なくて済む発音判定システム、発音判定システム管理用サーバ、誤謬ルールデータベース及び発音判定システム制御プログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る請求項１記載の発音判定システムは、システム利用者の習得しようとする言語についての発音の善し悪しを判定し、その判定結果を前記システム利用者に告知する発音判定システムであって、
前記システム利用者の習得しようとする言語の種類に基づき発音課題を出題する発音課題出題手段と、
前記システム利用者の発音した前記発音課題についての発音情報を取得する発音情報取得手段と、
前記発音課題に基づき発音判定用データを生成する発音判定用データ生成手段と、
前記発音情報取得手段によって取得された前記発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定手段と、
その判定結果を前記システム利用者に告知する判定結果告知手段と、を備えることを特徴としている。
【０００７】
このような構成であれば、発音課題出題手段によって、システム利用者が習得しようとする言語の発音課題を出題することが可能であり、発音情報取得手段によって、システム利用者が発音した発音課題についての発音情報を取得することが可能であり、発音判定用データ生成手段によって、発音課題に基づき発音判定用データを生成することが可能であり、発音判定手段によって、前記取得した発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定することが可能であり、判定結果告知手段によって、この判定結果をシステム利用者に告知することが可能である。
【０００８】
従って、判定内容は、システム利用者の音素毎の発音が、習得言語の正確な発音と比べて善いか悪いかといった内容になるので、システム利用者は、告知された判定内容から、自分の発音がどの音素部分で悪い発音になっているかといったように、音素毎に悪い部分を知ることが可能となるので、判定結果の理解や発音の修正がし易くなる。
【０００９】
また、本発明に係る請求項２記載の発音判定システムは、システム利用者の習得しようとする言語についての発音の善し悪しを判定し、その判定結果を前記システム利用者に告知する発音判定システムであって、
発音判定システム管理用サーバと、前記システム利用者の管理下にある利用者用端末と、を互いにデータ通信可能に接続し、
前記利用者用端末は、前記発音判定システム管理用サーバから伝送された前記システム利用者の習得しようとする言語の発音課題を表示する発音課題表示手段と、前記システム利用者によって発音された前記発音課題についての発音情報を取得する発音情報取得手段と、当該発音情報取得手段によって取得された発音情報を前記発音判定システム管理用サーバに伝送する発音情報伝送手段と、前記判定システム管理用サーバから伝送された前記発音の判定結果告知情報を前記システム利用者に告知する判定結果告知手段と、を備え、
前記発音判定管理用サーバは、前記システム利用者の習得しようとする言語の種類に基づいた発音課題を前記利用者用端末に伝送する発音課題出題手段と、前記発音課題に基づき発音判定用データを生成する発音判定用データ生成手段と、前記利用者用端末から伝送された前記システム利用者の前記発音課題についての発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定手段と、その判定結果に基づき発音結果告知情報を生成し前記利用者用端末に当該判定結果告知情報を伝送する判定結果告知情報伝送手段と、を備えることを特徴としている。
【００１０】
このような構成であれば、利用者用端末は、発音課題表示手段によって、発音判定システム管理用サーバから伝送された発音課題を表示することが可能であり、発音情報取得手段によって、システム利用者によって発音された発音課題についての発音情報を取得することが可能であり、発音情報伝送手段によって、前記取得した発音情報を発音判定システム管理用サーバに伝送することが可能であり、判定結果告知手段によって、発音判定システム管理用サーバから伝送された判定結果告知情報をシステム利用者に告知することが可能である。
【００１１】
一方、発音判定システム管理用サーバは、発音課題出題手段によって、システム利用者の習得しようとする言語の発音課題を出題し、且つ、利用者用端末に伝送することが可能であり、発音判定用データ生成手段によって、発音課題に基づき発音判定用データを生成することが可能であり、発音判定手段によって、前記利用者用端末から伝送された前記システム利用者の前記発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定することが可能であり、判定結果告知情報伝送手段によって、判定結果告知情報を生成し、利用者用端末に当該判定結果告知情報を伝送することが可能である。
【００１２】
従って、システム利用者は、例えば、インターネットなどのネットワークを通じて、発音判定を行うことが可能となり、また、このシステムにおいて、判定内容は、システム利用者の音素毎の発音が、発音課題に対する習得言語の正確な発音と比べて善いか悪いかといった内容になるので、システム利用者は、告知された判定内容から、自分の発音がどの音素部分で悪い発音になっているかといったように、音素毎に悪い部分を知ることが可能となるので、判定結果の理解や発音の修正がし易くなる。更に、サーバ側に発音判定用データを全て管理させることで、利用者用端末のデータ記憶装置として大容量のものを用意する必要がなくなる。
【００１３】
また、請求項３に係る発明は、請求項１又は請求項２記載の発音判定システムにおいて、前記発音判定用データ生成手段は、前記システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録した誤謬ルールデータベースを備え、前記発音課題と当該誤謬ルールデータベースとに基づき前記発音判定用データを生成するようになっていることを特徴としている。
【００１４】
つまり、発音判定用データ生成手段は、システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録した誤謬ルールデータベースを備え、前記発音課題と当該誤謬ルールデータベースとに基づき前記発音判定用データを生成することが可能となっているので、例えば、音素情報「ｒ」（英語）に対して取り違え易い情報「ｌ」（英語）を組み合わせたり、２つの音素情報「ｒａ」（英語）に対して取り違え易い情報「ら」（日本語）を組み合わせることによって、これらの情報から誤謬ルール情報を生成し、発音情報とこれらの情報との比較処理によって、システム利用者の「ｒ」の発音は英語の「ｌ」の発音に近く悪い発音であるとか、「ｒａ」の発音は日本語の「ら」の発音に近くて悪い発音であるといった判定が可能となり、この判定結果を告知することで、システム利用者はどのようにして間違えたのかをより理解し易くなる。また、誤謬ルールデータベースの誤謬ルール情報毎に正しく発音する要領として、文章あるいは発音時の口の形や舌の位置をビデオや模式図で表した情報を組み込めば、システム利用者は間違え方を把握することに加えて改善方法までも把握することが可能となる。
【００１５】
また、請求項４に係る発明は、請求項３記載の発音判定システムにおいて、前記判定結果に基づき前記システム利用者の発音が前記誤謬ルールデータベースにおけるどの誤謬ルール情報に該当したかの誤謬履歴を登録するようになっていることを特徴としている。
つまり、発音の判定結果が誤謬ルールデータベースに含まれる情報に該当していた内容のときに、その履歴（誤謬履歴）を登録するようにしたので、例えば、誤謬ルール情報に該当する発音を行った回数を登録していくことで、発音結果が悪いときの誤謬履歴が蓄積されることになり、この情報によりシステム利用者の間違え方の傾向を知ることが可能となり、この傾向を発音課題の出題内容に反映させることで利用者に適した発音課題の出題が可能となる。
【００１６】
また、請求項５に係る発明は、請求項４記載の発音判定システムにおいて、前記誤謬履歴に基づき前記システム利用者が陥り易い誤謬ルール情報を検出する誤謬傾向検出手段を備え、前記発音課題出題手段は、当該陥り易い誤謬ルール情報に基づき前記発音課題を出題するようになっていることを特徴としている。
つまり、誤謬傾向検出手段によって、誤謬履歴に基づきシステム利用者が陥り易い誤謬ルール情報を検出し、発音課題出題手段によって、この陥り易い誤謬ルール情報に基づき発音課題を出題するようにしたので、例えば、システム利用者の陥り易い音素情報を含む課題を多く出題するなどシステム利用者が正しい発音を習得し易いように出題内容を工夫することが可能となる。
【００１７】
また、請求項６に係る発明は、請求項１乃至請求項５のいずれか１項に記載の発音判定システムにおいて、前記判定結果告知手段は、前記発音課題に対する前記システム利用者の発音情報の音声波形と当該発音情報の発音判定結果を構成する各音素情報との時間的対応を前記システム利用者に視覚的に表示するようになっていることを特徴としている。
【００１８】
つまり、システム利用者の発音情報の音声波形と、この発音情報の発音判定結果を構成する各音素情報との時間的対応をシステム利用者に視覚的に表示するようにしたので、音素毎の音量の大小までも視覚的に把握し易くなる。
また、請求項７に係る発明は、請求項１乃至請求項６のいずれか１項に記載の発音判定システムにおいて、前記判定結果告知手段は、前記発音課題に対する前記システム利用者の発音情報のアクセントと前記発音課題の正確なアクセントとを前記発音情報の発音判定結果を構成する各音素情報に対応づけて当該システム利用者に視覚的に表示するようになっていることを特徴としている。
【００１９】
つまり、前記判定結果告知手段は、発音課題に対するシステム利用者の発音情報のアクセントと発音課題の正確なアクセントとを当該発音情報の発音判定結果を構成する各音素情報に対応づけて当該システム利用者に視覚的に表示するようになっているので、システム利用者はアクセントの位置までも視覚的に把握し易くなる。
【００２０】
また、本発明に係る請求項８に記載の発音判定システム管理用サーバは、請求項２記載の発音判定システムにおける前記発音判定システム管理用サーバであって、
前記システム利用者の習得しようとする言語の種類に基づいた発音課題を前記利用者用端末に伝送する発音課題出題手段と、前記発音課題に基づき発音判定用データを生成する発音判定用データ生成手段と、前記利用者用端末から伝送された前記システム利用者の前記発音課題についての発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定手段と、その判定結果に基づき判定結果告知情報を生成し前記利用者用端末に当該判定結果告知情報を伝送する判定結果告知情報伝送手段と、を備えることを特徴としている。
【００２１】
ここで、本発明は、請求項２記載の発音判定システムにおける発音判定システム管理用サーバであり、その作用効果は重複するので記載を省略する。
また、請求項９に係る発明は、請求項８記載の発音判定システム管理用サーバにおいて、前記発音判定用データ生成手段は、前記システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録した誤謬ルールデータベースを備え、前記発音課題と当該誤謬ルールデータベースとに基づき前記発音判定用データを生成するようになっていることを特徴としている。
【００２２】
ここで、本発明は、請求項３記載の発音判定システムにおける発音判定システム管理用サーバであり、その作用効果は重複するので記載を省略する。
また、請求項１０に係る発明は、請求項９記載の発音判定システム管理用サーバにおいて、前記判定結果に基づき前記システム利用者の発音が前記誤謬ルールデータベースにおけるどの誤謬ルール情報に該当したかの誤謬履歴を登録するようになっていることを特徴としている。
【００２３】
ここで、本発明は、請求項４記載の発音判定システムにおける発音判定システム管理用サーバであり、その作用効果は重複するので記載を省略する。
また、請求項１１に係る発明は、請求項１０記載の発音判定システム管理用サーバにおいて、前記誤謬履歴に基づき前記システム利用者が陥り易い誤謬ルール情報を検出する誤謬傾向検出手段を備え、前記発音課題出題手段は、当該陥り易い誤謬ルール情報に基づき前記発音課題を出題するようになっていることを特徴としている。
【００２４】
ここで、本発明は、請求項５記載の発音判定システムにおける発音判定システム管理用サーバであり、その作用効果は重複するので記載を省略する。
また、本発明に係る請求項１２記載の誤謬ルールデータベースは、請求項３記載の発音判定システムにおける前記発音判定用データを生成するためのデータベースであって、
前記システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録していることを特徴としている。
【００２５】
ここで、本発明は、請求項３記載の発音判定システムにおける誤謬ルールデータベースであり、その作用効果は重複するので記載を省略する。
また、請求項１３に係る発明は、請求項１２記載の誤謬ルールデータベースにおいて、前記システム利用者の発音が前記誤謬ルールデータベースにおけるどの誤謬ルール情報に該当したかの誤謬履歴を登録可能となっていることを特徴としている。
【００２６】
つまり、例えば、発音の判定結果が誤謬ルールデータベースに含まれる誤謬ルール情報に該当していた内容のときに、その履歴（誤謬履歴）をデータベースに登録可能にしたので、例えば、誤謬ルール情報に該当する発音を行った回数を登録していくことで、データベースには発音結果が悪いときの誤謬履歴が蓄積されることになり、この情報によりシステム利用者の間違え方の傾向を知ることが可能となる。
【００２７】
また、本発明に係る請求項１４記載の発音判定システム制御プログラムは、請求項１記載の発音判定システムを制御するためのコンピュータ実行可能なプログラムであって、
前記システム利用者の習得しようとする言語の種類に基づき発音課題を出題する発音課題出題ステップと、
前記システム利用者の発音した前記発音課題についての発音情報を取得する発音情報取得ステップと、
前記発音課題に基づき発音判定用データを生成する発音判定用データ生成ステップと、
当該発音情報取得ステップにおいて取得された前記発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定する発音判定ステップと、
その判定結果を前記システム利用者に告知する判定結果告知ステップと、を備えることを特徴としている。
【００２８】
ここで、本発明は、請求項１記載の発音判定システムを制御するためのプログラムであり、その効果は重複するので記載を省略する。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１乃至図１０は、本発明に係る発音判定システムの実施の形態を示す図である。
まず、本発明に係る発音判定システムの構成を図１に基づいて説明する。図１は、本発明に係る第１の発音判定システムの構成を示すブロック図である。
【００３０】
第１の発音判定システム１は、発音課題出題部１ａと、発音情報取得部１ｂと、発音判定用データ生成部１ｃと、発音判定部１ｄと、誤謬ルールデータベース１ｅと、判定結果告知部１ｆと、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１ｇと、記憶装置１ｈと、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１ｉと、バス１ｊと、を含んだ構成となっている。
【００３１】
発音課題出題部１ａは、システム利用者が設定した母国語と習得言語の内容に応じて、習得言語の発音課題を出題するものである。
発音情報取得部１ｂは、システム利用者の発音した発音課題の発音情報を取得するためのもので、発音データを入力するためのマイクと、発音データを記録するための録音機能と、録音した発音データを解析し発音判定が可能な発音情報に変換する音声解析機能と、を有したものである。
【００３２】
発音判定用データ生成部１ｃは、発音課題と後述する誤謬ルールデータベース１ｅの記憶内容とに基づき発音判定用データと称する音素ネットワークを生成するものである。
この音素ネットワークと発音情報取得部１ｂにおいて取得したシステム利用者の発音情報とに基づき、隠れマルコフモデル（以下、単にＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）という。）に基づいた音声認識方法を用いて発音判定を行うのである。
【００３３】
なお、ＨＭＭに関しては、「音声・音情報のディジタル信号処理」（鹿野清宏、中村哲、伊勢史郎共著、（株）昭晃堂）に詳しく述べられている。
ＨＭＭに基づいた音声認識方法では、例えば、日本語を例にとると音素は図９のように分類され、単語は、図１０（Ａ）のように直列な音素ネットワークによる単語音声モデルとして表される。
【００３４】
１つの発音情報に対して、複数の単語音声モデルが用意されたとき、どの単語音声モデルが最も確からしいかはビタビアルゴリズムという計算方法を用いて計算される。複数の単語音声モデルの共通部分に着目し、図１０（Ｂ）のように異なる部分だけを並列に配置した音素ネットワークにおいても同様にビタビアルゴリズムによって最も確からしいパスを計算で求めることができる。発音判定用データ生成部１ｃは、まず発音課題から図１０（Ａ）のような音素ネットワークを生成し、誤謬ルールデータベース１ｅを参照してその音素ネットワークに並列な部分を付加して図１０（Ｂ）のような音素ネットワークを生成するのである。ここで、発音判定とは、この音素ネットワークに対して上記したＨＭＭに基づいた音声認識方法を用いて確率計算を行い、最適なパスを見出してそのパスに誤謬ルールから生成されたものが含まれるか否かを判定することである。
【００３５】
従って、発音判定部１ｄは、発音判定用データ生成部１ｃにおいて生成された発音判定用データに基づきビタビアルゴリズムを用いて求めた最も確からしいパスからシステム利用者の音素毎の発音結果の善し悪しを判定するものである。
誤謬ルールデータベース１ｅは、様々な国の言語に対応してそれらを構成する音素について、システム利用者の母国語の特徴から取り違え易い音素情報の組み合わせ、発音し忘れ易い音素情報の組み合わせ、システム利用者の母国語の音素に取り違え易い組み合わせなどの誤謬ルール情報をデータベース化したものである。本実施の形態においては、各誤謬ルール情報に対して、その改善方法のデータが登録されているものとする。
【００３６】
判定結果告知部１ｆは、発音判定部１ｄにおいて、判定された結果に基づき、システム利用者の発音情報に対する判定結果を文字やイメージなどによって図示しない表示部に表示する処理を行うものである。
ＣＰＵ１ｇは、上記各部の処理を行うアプリケーションプログラムを実行するための中央処理演算装置である。
【００３７】
記憶装置１ｈは、前記アプリケーションプログラムの記憶されたものであり、ＣＰＵ１ｇは、この記憶されたプログラムを読み出して実行することになる。
ＲＡＭ１ｉは、プログラムの実行に必要なデータを記憶するもので、ＣＰＵ１ｇがプログラムを実行するときに使用するものである。
バス１ｊは、上記各部間のデータの送受信を行うためのデータ通信路である。
【００３８】
より具体的な動作を説明すると、本システム１は、デスクトップ型のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）や、ノート型のＰＣ、あるいは、専用の機器において動作するものであり、発音判定用アプリケーションプログラム、システム利用者の音声データをＰＣや専用の機器などに入力するためのマイクデバイス及びサウンド機器などを含んで構成されるものである。従って、ＣＰＵ１ｇによってアプリケーションプログラムを実行することによって発音判定処理が開始される。
【００３９】
処理が開始されると、本実施の形態において、まずは、システム利用者の母国語及び習得しようとする言語を選択する画面が表示部に表示される。ここで、システム利用者は、画面の指示に従って、ＰＣに付属の入力デバイス（マウス、キーボードなど）によって母国語及び習得言語を選択することになり、選択が行われると、次に、習得言語の発音課題が表示される。ここでは、母国語を日本語とし、習得言語を英語とした例を説明する。従って、発音課題出題部１ａによって、発音課題が英語で、例えば「ｒｉｇｈｔ」と表示部に表示され、更に、マイクを用いて発音を行うように指示も表示される。システム利用者は、指示に従い、マイクに向かって発音課題を発音し、そのデータがＰＣに入力される。つまり、発音情報取得部１ｂによってシステム利用者の発音データが取得される。
【００４０】
取得された発音データは、解析処理が施され、発音判定可能な発音情報に変換されてから発音判定用データ生成部１ｃに伝送され、そこで、まず、発音課題データと誤謬ルールデータベース１ｅの記憶内容とに基づき音素ネットワークを生成する。更に、発音判定部１ｄでこの音素ネットワークと前記発音情報とに基づきビタビアルゴリズムを用いて音声認識処理が行われる。
【００４１】
発音判定用データ生成部１ｃでは、発音課題データは図３（ｂ）に示すように「／ｒ／／ａ／／ｉ／／ｔ／」となり、この音素列に対して、誤謬ルールデータベース１ｅの検索処理が行われる。この検索処理は、各音素毎、更に、２つの音素のつながりに対して行われ、例えば、１番目の「／ｒ／」に対して誤謬ルールデータベース１ｅに間違え易い音素の組み合わせ「／ｌ／」が登録されている場合は、このデータを読み出して、１番目の「／ｒ／」に対して並列に「／ｌ／」を配置し、次に、２番目の音素が母音であるのでこの場合は、１番目の音素と２番目の音素を組み合わせた「／ｒ／／ａ／」に対して、誤謬ルールデータベース１ｅに間違え易い音素の組み合わせ「ら」が登録されている場合は、これを読み出して１番目の「／ｒ／」及び２番目の「／ａ／」に対して並列に「ら」を配置する。以降、３番目の「／ｉ／」、４番目の「／ｔ／」に対しても同様の検索処理を行い、それぞれに対応した間違え易い音素の組み合わせが誤謬ルールデータベース１ｅに登録されているときに、それらを読み出して対応する１つ又は２つの音素に並列に配置していく。このようにして、ＨＭＭの音素ネットワークを生成する。
【００４２】
発音判定部１ｄでは、実際の発音と音素ネットワークとに対して、ビタビアルゴリズムを適用した確率演算を行い、最も確率が高くなるパスを求める。つまり、ＨＭＭによって「ｌａｉと」、「らｉと」、「ｒａｉと」などの音素ネットワークから形成されるパスのうち隣り合う音素同士のつながる確率が最も高い組み合わせのパス（発音判定結果）が求められることになる。
【００４３】
発音判定結果が求まると、このデータは判定結果告知部１ｆに伝送され、そこで判定結果の告知処理が行われる。この告知処理は、例えば、まず図示しない表示部における判定結果の表示部分の１行目に正しい発音記号列「／ｒ／／ａ／／ｉ／／ｔ／」を表示し、これに対して確率演算によって求められたパスに従って、正しい箇所に対してはその発音記号を黒字で表示し、誤った箇所に対しては２行目に赤字で間違いの発音記号を表示し、更に、誤った箇所を誤謬ルールデータベース１ｅから検索してその改善方法が登録されている場合は、３行目以降にその改善方法を表示する。
【００４４】
従って、システム利用者は、発音課題の音素毎に表示された判定結果及び改善方法を見て、発音課題におけるどの音素の発音が悪いのか、どのように改善すれば善いのかを知ることが可能であり、正しい発音を習得し易くなる。
更に、本実施の形態においては、誤謬ルールデータベース１ｅに誤った回数が誤謬履歴として記録されるようになっている。発音判定の度に誤った箇所が誤謬ルールデータベース１ｅのどの誤謬ルールによるものかを遡り、その誤謬履歴の回数に１を加算する。この回数が多い誤謬ルールがシステム利用者の苦手な発音として認識されるようになる。誤謬ルールデータベース１ｅには、誤謬ルールに応じた練習課題が登録されており、発音課題出題部１ａは誤謬履歴情報に基づき、システム利用者が苦手な発音を克服できるような課題内容を出題するようになる。
【００４５】
更に、図２及び図３に基づき、ＨＭＭの音素ネットワークの作成処理の流れを説明する。図２は、ＨＭＭの音素ネットワークの作成処理を示すフローチャートであり、図３は、それぞれ音素ネットワークの一例を示す図であり、（ａ）は一般形を示す図であり、（ｂ）は具体例を示す図である。
図２に示すように、まずステップＳ２００に移行し、発音課題（例えば「ｒｉｇｈｔ」）の音素列（「／ｒ／／ａ／／ｉ／／ｔ／」）を生成してステップＳ２０２に移行する。
【００４６】
ステップＳ２０２では、アプリケーションプログラムにおける音素ネットワーク作成処理プログラムの変数Ｉに１を、変数Ｊに作成された音素列の音素数をセットしてステップＳ２０４に移行する。
ステップＳ２０４では、発音課題の音素列からＩ番目の音素を取り出しステップＳ２０６に移行する。
【００４７】
ステップＳ２０６では、誤謬ルールデータベース１ｅに図３（ａ）に示す音素Ｖ（Ｉ，１）に対する誤謬ルール情報（英語）があるか否かを判定し、あると判定された場合（Ｙｅｓ）はステップＳ２０８に移行し、そうでない場合（Ｎｏ）はステップＳ２１０に移行する。
ステップＳ２０８に移行した場合は、図３（ａ）に示すように、誤謬ルール情報Ｖ（Ｉ，２）を音素Ｖ（Ｉ，１）と並列に配置してステップＳ２１０に移行する。
【００４８】
ステップＳ２１０では、誤謬ルールデータベース１ｅに音素Ｖ（Ｉ，１）、音素Ｖ（Ｉ＋１，１）に対する誤謬ルール情報（日本語）があるか否かを判定し、あると判定された場合（Ｙｅｓ）はステップＳ２１２に移行し、そうでない場合（Ｎｏ）はステップＳ２１６に移行する。
ステップＳ２１２に移行した場合は、音素Ｖ（Ｉ＋１，１）は母音か否かを判定し、母音であると判定された場合（Ｙｅｓ）はステップＳ２１４に移行し、そうでない場合（Ｎｏ）はステップＳ２２０に移行する。
【００４９】
ステップＳ２１４に移行した場合は、類似音素を、図３（ａ）に示すように、音素Ｖ（Ｉ，１）及び音素Ｖ（Ｉ＋１，１）と並列に音素ネットワークに配置してステップＳ２１６に移行する。
ステップＳ２１６では、Ｉに１を加算してステップＳ２１８に移行する。
ステップＳ２１８では、ＩはＪより大きいか否かを判定し、大きいと判定された場合（Ｙｅｓ）は処理を終了し、そうでない場合（Ｎｏ）はステップＳ２０４に移行する。
【００５０】
一方、ステップＳ２１２において、音素Ｖ（Ｉ＋１，１）が母音ではなくステップＳ２２０に移行した場合は、対応する誤謬ルール情報を、図３（ａ）に示すように、音素Ｖ（Ｉ，１）と並列に音素ネットワークに配置してステップＳ２１６に移行する。
つまり、上記ステップＳ２００〜ステップＳ２２０の処理を行うことで、発音課題の音素列に対して、誤謬ルールデータベース１ｅに、母国語及び習得言語のそれぞれにおける誤謬ルール情報があるか否かを判定し、ある場合は、それを発音結果の対応する音素に並列に配置していくことで、図３（ｂ）に示すような上記具体例におけるＨＭＭの音素ネットワークを生成する。
【００５１】
更に、図４に基づき、ＨＭＭ及びビタビアルゴリズムによる発音結果の音素列の選択処理の流れを説明する。図４は、ＨＭＭ及びビタビアルゴリズムによる発音結果の音素列の選択処理を示すフローチャートである。
図４に示すように、まずステップＳ４００に移行し、上記アプリケーションプログラムにおける発音結果の音素列の選択処理用プログラムを実行して、上記音素ネットワークの作成処理によって求められた音素ネットワークを読み込み、更に、このプログラムにおける変数Ｉに１を、変数Ｊに発音課題の音素列の音素数をセットしてステップＳ４０２に移行する。
【００５２】
ステップＳ４０２では、ビタビアルゴリズムにより、図３（ａ）に示す音素ネットワークにおけるＩ番目の音素Ｖ（Ｉ，１）に接続する音素のうち出力確率が最大のものを記録してステップＳ４０４に移行する。
ステップＳ４０４では、ＨＭＭにより音素Ｖ（Ｉ，１）とそれに並列な音素Ｖ（Ｉ，２）、Ｖ（Ｉ，３）・・・の出力確率を計算してステップＳ４０６に移行する。
【００５３】
ステップＳ４０６では、Ｉに１を加算してステップＳ４０８に移行する。
ステップＳ４０８では、ＩはＪより大きいか否かを判定し、大きいと判定された場合（Ｙｅｓ）はステップＳ４１０に移行し、そうでない場合（Ｎｏ）はステップＳ４０２に移行する。
ステップＳ４１０に移行した場合は、図３（ａ）に示す、音素ネットワークの終点につながる音素のうち出力確率が最大のものを記録して処理を終了する。
【００５４】
つまり、上記ステップＳ４００〜ステップＳ４１０の処理を行うことで、音素ネットワークにおいて、出力確率が最大となるパスを判定することになる。
更に、図５に基づき、判定結果告知部１ｆにおける告知処理の流れを説明する。図５は、判定結果告知部１ｆにおける告知処理を示すフローチャートである。
図５に示すように、まずステップＳ５００に移行し、発音課題の正しい発音記号列を図示しない発音結果表示部の１行目に表示してステップＳ５０２に移行する。
【００５５】
ステップＳ５０２では、上記アプリケーションプログラムの告知用プログラムにおいて、上記出力確率が最大のパスの各音素情報を取得するための変数Ｉに１をセットしてステップＳ５０４に移行する。
ステップＳ５０４では、取得したＩ番目の音素は誤謬ルールデータベース１ｅの情報から生成されたものであるか否かを判定し、生成されたものであると判定された場合（Ｙｅｓ）はステップＳ５０６に移行し、そうでない場合（Ｎｏ）はステップＳ５１４に移行する。ここで、誤謬ルールデータベース１ｅの具体例を図６に示す。
【００５６】
ステップＳ５０６に移行した場合は、図６に示すように、誤謬ルールデータベース１ｅにおける誤謬回数に１を加え、更に、対応する改善方法を読み出してステップＳ５０８に移行する。
ステップＳ５０８では、音素（Ｉ）は間違った発音であるので、間違った発音記号を、１行目の正しい記号列に対応させて２行目に赤字で表示し、且つ、３行目以降に改善方法を表示してステップＳ５１０に移行する。
【００５７】
ステップＳ５１０では、Ｉに１を加算してステップＳ５１２に移行する。
ステップＳ５１２では、Ｉ番目は音素列の終点を超えたか否かを判定し、終点を超えたと判定された場合（Ｙｅｓ）は判定処理を終了し、そうでない場合（Ｎｏ）はステップＳ５０４に移行する。
一方、ステップＳ５０４において、Ｉ番目の音素が誤謬ルールデータベース１ｅに登録されたものでなくステップＳ５１４に移行した場合は、２行目の対応する位置にその音素の正しい発音記号を黒字で表示してステップＳ５１０に移行する。
【００５８】
つまり、上記ステップＳ５００〜ステップＳ５１４の処理を行うことで、発音結果の判定を行い、その結果に対する間違え方や、その間違え方に対する改善方法などを判定結果として表示する。
更に、図７に基づき、誤謬回数に基づく苦手な発音課題の反復練習処理の流れを説明する。図７は、誤謬回数に基づく苦手な発音課題の反復練習処理を示すフローチャートである。
【００５９】
図７に示すように、まずステップＳ７００に移行し、誤謬ルールデータベース１ｅから誤謬回数データを読み込みステップＳ７０２に移行する。
ステップＳ７０２では、読み込んだデータに対する誤謬回数が一定回数を超えているか否かを判定し、超えていると判定された場合（Ｙｅｓ）はステップＳ７０４に移行し、そうでない場合（Ｎｏ）はステップＳ７１２に移行する。
【００６０】
ステップＳ７０４に移行した場合は、誤謬ルールデータベース１ｅにおける誤謬回数データに対応する練習課題からランダムに課題データを１つ読み出しステップＳ７０６に移行する。ここで、本実施の形態においては、発音課題に対して複数用意された練習課題が重複して出題されないように利用済みか否かのフラグによって管理する。
【００６１】
ステップＳ７０６では、選択された誤謬回数データに対応した音素についてのみ音素ネットワークを生成してステップＳ７０８に移行する。
ステップＳ７０８では、ビタビアルゴリズムによるパスの選択処理を行い、その選択結果に基づき判定処理を行い、判定結果及びその改善方法などを表示してステップＳ７１０に移行する。
【００６２】
ステップＳ７１０では、苦手な部分が正しく発音されていたか否かを判定し、正しく発音されていたと判定された場合（Ｙｅｓ）はステップＳ７１２に移行し、そうでない場合（Ｎｏ）はステップＳ７０４に移行する。
ステップＳ７１２に移行した場合は、誤謬ルールデータベース１ｅの対応する習得言語に対する誤謬回数データ全てに対して処理を行ったか否かを判定し、全て行ったと判定された場合（Ｙｅｓ）は処理を終了し、そうでない場合（Ｎｏ）はステップＳ７００に移行する。
【００６３】
つまり、ステップＳ７００〜ステップＳ７１２の処理を繰り返し行うことによって、システム利用者の間違え易い発音部分に特化した反復練習を行う。
更に、本発明の第２の実施の形態を図８に基づき説明する。図８は、本発明の第２の実施の形態である第２の発音判定システムの構成を示すブロック図である。
【００６４】
図８に示すように、第２の発音判定システム２は、利用者用端末３と、発音判定システム管理用サーバ４と、通信回線５と、を含んだ構成となっている。
利用者用端末３は、発音情報取得部３ａと、表示処理部３ｂと、第１のデータ送受信部３ｃと、判定結果告知処理部３ｄと、を含んだ構成となっている。
発音情報取得部３ａは、システム利用者の発音した発音課題の発音情報を取得するためのもので、発音データを入力するためのマイクと、発音データを記録するための録音機能と、録音した発音データを解析し発音判定が可能な情報に変換する音声解析機能と、を有したものである。
【００６５】
表示処理部３ｂは、後述する発音課題出題部４ａによって出題された発音課題を表示部に表示したり、後述する判定結果告知処理部による処理結果を表示部に表示したりするなど、第２の発音判定システムにおける情報の表示処理を行うものである。
第１のデータ送受信部３ｃは、取得した発音情報の送信や、出題された発音課題や、発音の判定結果の受信などの発音判定システム管理用サーバ４との間のデータの送受信を行うためのものである。
【００６６】
判定結果告知処理部３ｄは、受信した判定結果を、システム利用者にとって視覚的に明確に表示する処理を行うものである。
発音判定システム管理用サーバ４は、発音課題出題部４ａと、誤謬ルールデータベース４ｂと、第２のデータ送受信部４ｃと、発音判定用データ生成部４ｄと、発音判定部４ｅと、を含んだ構成となっている。
【００６７】
発音課題出題部４ａは、システム利用者が設定した母国語と習得言語の内容に応じて、習得言語の発音課題を出題するものである。
誤謬ルールデータベース４ｂは、上記第１の実施の形態と同様の誤謬ルール情報が記憶されているものである。
第２のデータ送受信部４ｃは、利用者用端末３との間で、発音課題や判定結果告知情報の送信、発音情報の受信などのデータ送受信を行うためのものである。
【００６８】
発音判定用データ生成部４ｄは、発音課題と誤謬ルールデータベース４ｂの記憶内容とに基づき発音判定用データと称する音素ネットワークを生成するものである。
発音判定部４ｅは、発音判定用データ生成部４ｄにおいて生成された発音判定用データに基づきビタビアルゴリズムを用いて求めた最も確からしいパスからシステム利用者の音素毎の発音結果の善し悪しを判定するものである。
【００６９】
通信回線５は、ＬＡＮやインターネットなどの通信回線であり、利用者用端末３と発音判定システム管理用サーバ４とが離れた位置にあっても、データの送受信を可能とするデータ通信路である。
本システム２のより具体的な動作を説明すると、利用者用端末３において、専用のアプリケーションソフトを起動し、通信回線５を介して、発音判定システム管理用サーバ４に接続し、そこで判定処理の開始操作をすることで処理が開始される。
【００７０】
処理が開始されると、まずは、利用者用端末３側で、システム利用者の母国語及び習得しようとする言語を選択する画面が表示部に表示される。ここで、システム利用者は、画面の指示に従って、ＰＣに付属の入力デバイス（マウス、キーボードなど）によって母国語及び習得言語を選択することになり、それらを選択すると、第１のデータ送受信部３ｃによって、その情報が通信回線５を介して発音判定システム管理用サーバ４に伝送される。
【００７１】
次に、発音判定システム管理用サーバ４では、発音課題出題部４ａにおいて、受信した言語情報に基づき習得言語の発音課題を出題し、第２のデータ送受信部４ｃによって、利用者用端末３に伝送する。
利用者用端末３では、発音課題を受信すると、表示処理部３ｂによって、それを表示部に表示する。ここでは、母国語を日本語とし、習得言語を英語とした例を説明する。従って、発音課題が英語で、例えば、「ｒｉｇｈｔ」と表示され、更に、マイクを用いて発音を行うように指示も表示される。この指示に従いシステム利用者は、マイクに向かって発音課題を発音し、そのデータが取得される。
【００７２】
取得された発音データは、発音情報取得部３ａにおいて解析処理が施され、発音判定可能な発音情報に変換され、第１のデータ送受信部３ｃによって発音判定システム管理用サーバ４に伝送される。一方、発音判定システム管理用サーバ４では、出題された発音課題は、発音判定用データ生成部４ｄに伝送されており、そこで、上記第１の発音判定システム１と同様に発音課題と誤謬ルールデータベース４ｂとに基づき音素ネットワークを生成し、更に、発音判定部４ｅでは、このネットワークとシステム利用者の発音情報とに基づきビタビアルゴリズムを用いてパスの選択処理が行われ、そして、このパスに基づく判定結果告知情報を生成し、第２のデータ送受信部４ｃによって利用者用端末３に伝送する。
【００７３】
利用者用端末３では、判定結果告知情報を受信すると、判定結果告知処理部３ｄによって、上記図５に示すフローチャートの表示処理と同様に、判定結果、改善方法等をシステム利用者が視覚的に理解し易いように表示部に表示する。システム利用者は、この判定結果を見て、どの音素部分の発音が悪かったのかを理解し、習得言語の発音に近づくように苦手な発音部分の反復練習をすることで正しい発音を習得することになる。
【００７４】
以上、発音判定用データ生成部１ｃにおいて、発音課題と誤謬ルールデータベース１ｅの記憶内容とに基づき音素ネットワークを生成し、更に、このネットワークとシステム利用者の発音した発音課題の発音データとに基づきビタビアルゴリズムを用いて出力確率の最も高くなるパスを選択し、このパスに基づき判定結果の告知処理を行うようにしたので、まず、異なる音素のみが並列な１本の音素ネットワークに結合したので必要な演算量が少なくなり、且つ、音素毎に発音結果の判定を行うことができるので、システム利用者は、発音課題におけるどの音素部分の発音が善いのか悪いのかを判断でき、正しい発音を習得し易くなる。
【００７５】
また、誤謬ルールデータベース１ｅに、誤謬ルール毎の発音改善方法が記憶されているので、間違えた発音に対してどのようにすれば改善できるのかが提示され、システム利用者はその改善方法によってより的確な発音を習得することができる。
また、誤謬回数を記録し、この回数が一定回数以上となった発音課題に対しては、苦手な発音として認識し、この苦手部分に特化した発音課題を出題するようになっているので、苦手部分を反復練習でき、正しい発音を習得し易くなる。
【００７６】
また、第２の発音判定システム２における、発音判定用データは、各言語及び課題毎に発音判定システム管理用サーバ４側の誤謬ルールデータベース４ｂに記憶されているので、本システムを利用するに当たって、利用者用端末３側の記憶装置の容量も多くを必要としない。
ここで、図１に示す、発音課題出題部１ａは、請求項１、５、８、１１記載の発音課題出題手段に対応し、発音情報取得部１ｂは、請求項１記載の発音情報取得手段に対応し、発音判定用データ生成部１ｃは、請求項１、３、８、９記載の発音判定用データ生成手段に対応し、発音判定部１ｄは、請求項１及び請求項８記載の発音判定手段に対応し、判定結果告知部１ｆは、請求項１、６、７記載の判定結果告知手段に対応する。
【００７７】
また、図８に示す、発音情報取得部３ａは、請求項２記載の発音情報取得手段に対応し、表示処理部３ｂにおける発音課題の表示処理は、請求項２、６、７記載の発音課題表示手段に対応し、第１のデータ送受信部３ｃによる発音情報の伝送処理は、請求項２記載の発音情報伝送手段に対応し、判定結果告知処理部３ｄ及び表示処理部３ｂによる判定結果の告知処理は、請求項２、６、７記載の判定結果告知手段に対応し、発音課題出題部４ａは、請求項２、５、８、１１記載の発音課題出題手段に対応し、発音判定用データ生成手段４ｄは、請求項８及び請求項９記載の発音判定用データ生成手段に対応し、発音判定部４ｅは、請求項２及び請求項８記載の発音判定手段に対応し、第２のデータ伝送手段４ｃによる判定結果告知情報の伝送処理は、請求項２記載の判定結果告知情報伝送手段に対応する。
【００７８】
また、本文中に述べた、誤謬回数データを読み取り、その回数が一定回数以上か否かを判定する処理は、請求項５及び請求項１１記載の誤謬傾向検出手段に対応する。
なお、上記実施の形態においては、ＨＭＭを利用した音素ネットワークを生成し、且つ、ビタビアルゴリズムを用いて発音結果のパスを選定するようにしているが、これに限らず、別の方法を利用してパスの選定を行うようにしても良い。
【００７９】
また、上記実施の形態においては、発音の善し悪しを発音記号の表示色を変えることで視覚的に解り易くなるように表示しているが、これに限らず、発音情報の波形データと音素情報との時間的な対応付けを表示したりするなど、別の情報を表示したり、これらを組み合わせて表示するようにしても良い。
また、上記実施の形態においては、改善方法を文章として表示するようにしているが、これに限らず、改善方法を示すイメージなど、別の情報を表示したり、これらを組み合わせて表示するようにしても良い。
【００８０】
【発明の効果】
以上説明したように、本発明に係る請求項１記載の発音判定システムによれば、発音課題出題手段によって、システム利用者が習得しようとする言語の発音課題を出題し、発音情報取得手段によって、システム利用者が発音した発音課題についての発音情報を取得し、発音判定用データ生成手段によって、発音課題に基づき発音判定用データを生成することが可能であり、発音判定手段によって、取得した発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定し、判定結果告知手段によってこの判定結果をシステム利用者に告知するようにしたので、システム利用者は、自分の発音がどの音素部分で悪い発音になっているかを知ることが可能となり、判定結果の理解や発音の修正がし易くなる。
【００８１】
また、請求項２記載の発音判定システムによれば、利用者用端末は、発音課題表示手段によって、発音判定システム管理用サーバから伝送された発音課題を表示し、発音情報取得手段によって、システム利用者によって発音された発音課題についての発音情報を取得し、発音情報伝送手段によって、取得した発音情報を発音判定システム管理用サーバに伝送し、判定結果告知手段によって、発音判定システム管理用サーバから伝送された発音判定の判定結果告知情報をシステム利用者に告知し、一方、発音判定システム管理用サーバは、発音課題出題手段によって、システム利用者の習得しようとする言語の発音課題を出題し、且つ、利用者用端末に伝送し、発音判定用データ生成手段によって、発音課題に基づき発音判定用データを生成し、発音判定手段によって、取得した発音情報と前記発音判定用データとを当該発音判定用データを構成する各音素毎に比較を行い、前記システム利用者の発音した前記発音情報を構成する各音素毎に発音の善し悪しを判定し、発音結果告知情報伝送手段によって利用者用端末に発音の判定結告知情報を伝送するようにしたので、システム利用者は、例えば、インターネットなどのネットワークを通じて、発音判定を行うことが可能となり、また、このシステムにおいて、システム利用者は、告知された判定内容から、自分の発音がどの音素部分で悪い発音になっているかを知ることが可能となり、判定結果の理解や発音の修正がし易くなる。更に、サーバ側に誤謬ルールデータを全て管理させることで、利用者用端末のデータ記憶装置として大容量のものを用意する必要がなくなり、同時に複数の利用者に最新の情報を提供し易くなる。
【００８２】
また、請求項３記載の発音判定システムによれば、発音判定用データ生成手段は、システム利用者の習得しようとする言語の音素について、前記システム利用者の母国語の特徴から取り違え易い音素の組み合わせの情報、前記システム利用者の母国語の特徴から発音し忘れ易い音素の組み合わせの情報及び前記システム利用者の母国語の音素と取り違え易い音素の組み合わせの情報のうち少なくとも一の情報に基づいて生成された誤謬ルール情報を記録した誤謬ルールデータベースを備え、前記発音課題と当該誤謬ルールデータベースとに基づき前記発音判定用データを生成することが可能となっているので、システム利用者はどのようにして間違えたのかを、もれなくチェックできる。上記実施の形態の説明では発音の改善方法を文字で表示する例を示したが発音時の口の形や舌の位置などをビデオや模式図で表せばより効果的なものとなる。
【００８３】
また、請求項４記載の発音判定システムによれば、発音の判定結果が誤謬ルールデータベースに含まれる情報に該当していた内容のときに、その履歴（誤謬履歴）を登録するようにしたので、例えば、誤謬ルール情報に該当する発音を行った回数を登録していくことで、発音結果が悪いときの誤謬履歴が生成されることになり、この情報によりシステム利用者の間違え方の傾向を知ることが可能となり、この傾向を発音課題の出題内容に反映させることで利用者に適した発音課題の出題が可能となる。
【００８４】
また、請求項５記載の発音判定システムによれば、誤謬傾向検出手段によって、誤謬ルール情報に対する登録内容からシステム利用者が間違え易い音素情報を検出し、発音課題出題手段によって、この間違え易い音素情報に基づき発音課題を出題するようにしたので、例えば、間違え易い音素情報を含む課題を多く出題するなどシステム利用者が正しい発音を習得し易いように出題内容を工夫することが可能となる。
【００８５】
また、請求項６記載の発音判定システムによれば、システム利用者の発音情報の音声波形と、この発音情報の発音判定結果を構成する各音素情報との時間的対応をシステム利用者に視覚的に表示するようにしたので、音素毎の音量の大小までも視覚的に把握し易くなる。
また、請求項７記載の発音判定システムによれば、前記判定結果告知手段は、発音課題に対するシステム利用者の発音情報のアクセントと発音課題の正確なアクセントとを当該発音情報の発音判定結果を構成する各音素情報に対応づけて当該システム利用者に視覚的に表示するようになっているので、アクセントの間違いまでも把握し易くなる。
【００８６】
ここで、本発明に係る請求項８乃至請求項１１記載の発音判定システム管理用サーバ、請求項１２及び請求項１３記載の発音判定用情報データベース、請求項１４記載の発音判定システム制御プログラムは、上記発音判定システムを実現するためのものであり、その効果は重複するので記載を省略する。
【図面の簡単な説明】
【図１】本発明に係る第１の発音判定システムの構成を示すブロック図である。
【図２】ＨＭＭの音素ネットワークの作成処理を示すフローチャートである。
【図３】図３は、それぞれ音素ネットワークの一例を示す図であり、（ａ）は一般形を示す図であり、（ｂ）は具体例を示す図である。
【図４】ビタビアルゴリズムによる最も確からしいパスの選択処理を示すフローチャートである。
【図５】発音判定部１ｄにおける告知処理を示すフローチャートである。
【図６】誤謬ルールデータベース１ｅの具体例を示す図である。
【図７】誤謬回数に基づく苦手な発音課題の反復練習処理を示すフローチャートである。
【図８】本発明の第２の実施の形態である第２の発音判定システムの構成を示すブロック図である。
【図９】日本語の音素を示す図である。
【図１０】（Ａ）は、直列な音素ネットワークによる単語音声モデルの概念を示す図であり、（Ｂ）は、並列な部分を含んだ音素ネットワークの一例を示す図である。
【符号の説明】
１　　　　　　　　第１の発音判定システム
１ａ　　　　　　　発音課題出題部
１ｂ　　　　　　　発音情報取得部
１ｃ　　　　　　　発音判定用データ生成部
１ｄ　　　　　　　発音判定部
１ｅ　　　　　　　誤謬ルールデータベース
１ｆ　　　　　　　判定結果告知部
２　　　　　　　　第２の発音判定システム
３　　　　　　　　利用者用端末
３ａ　　　　　　　発音情報取得部
３ｂ　　　　　　　表示処理部
３ｃ　　　　　　　第１のデータ送受信部
３ｄ　　　　　　　判定結果告知処理部
４　　　　　　　　発音判定システム管理用サーバ
４ａ　　　　　　　発音課題出題部
４ｂ　　　　　　　誤謬ルールデータベース
４ｃ　　　　　　　第２のデータ送受信部
４ｄ　　　　　　　発音判定用データ生成部
４ｅ　　　　　　　発音判定部
５　　　　　　　　通信回線
【図１】
2004053652.tif 000003
【図２】
2004053652.tif 000004
【図３】
2004053652.tif 000005
【図４】
2004053652.tif 000006
【図５】
2004053652.tif 000007
【図６】
2004053652.tif 000008
【図７】
2004053652.tif 000009
【図８】
2004053652.tif 000010
【図９】
2004053652.tif 000011
【図１０】
2004053652.tif 000012