(57)【特許請求の範囲】
【請求項１】
一組のサンプル音声信号を分析することにより確立する複数の音素群から成る音素特徴データベースを確立するステップと、
一つの音声信号を複数のフレームに分割し、それぞれのフレームに対し特徴セットを計算し、フレームの特徴セットにより各フレームに対応する発音記号を決定し、フレームにラベリングすることから成っている発音記号ラベリングステップと、
サンプル音声信号と音声信号が相対する同一の発音記号の各フレームの発音の類似度、ピッチ、強弱及びリズムを比較して評価を行うことから成る発音比較ステップから成ることを特徴とする発音矯正用の自動発音記号ラベリング方法。
【請求項２】
一組のサンプリングした音声信号を入力し、
サンプリングした音声信号を複数のサンプリングフレームに分割し、
それぞれのサンプリングが対応する音素群を決定して、オーディオカッターを通じて対応する発音記号をラベリングし、
それぞれのサンプリングフレームに対する特徴セットを計算し、
後に前記サンプル音声信号と前記音声信号を比較する際の標準とするために、音素群に対応する総てのサンプリングフレームの特徴セットから、それぞれの音素群について平均値と標準偏差を計算し、
それぞれの音素群の平均値と標準偏差を音素特徴データベースに蓄積することにより音素特徴確立ステップを構成することを特徴とする請求項１に記載の方法。
【請求項３】
発音記号のラベリングの手順は、
文字列とその文字列に対応する音声信号を入力し、
電子音声辞書を探して、入力文字列に対応する複数の発音記号を見つけ、そのうち当該電子音声辞書中には複数の文字列に対応する前記発音記号が記録され、
入力音声信号を複数のフレームに分割し、
各フレームが入力文字列に対応する発音記号のそれぞれに対応する可能性を音素データベースから計算し、
各フレームが属する各発音記号の確率に基づき、それぞれのフレームに最適な発音記号のラベリングを決め、当該最適な発音記号のラベリングは、総ての可能性のある発音記号のラベリングのうち、最も確率が高い最適の発音記号をラベリングし、
発音記号を最適にラベリングすることにより決まる発音記号を各フレームに表示するステップを有することを特徴とする請求項２に記載の方法。
【請求項４】
入力文字列に対応する発音記号の幾つかが入力音声信号に現れない、あるいは、入力音声信号の幾つかの間隔が入力文字列のどの部分にも対応しない、あるいは二つの状況が起きる時に、別に存在する発音記号が適切にラベリングされることを特徴とする請求項３に記載の方法。
【請求項５】
最適な発音記号ラベリングの得られるステップが動的プログラミング技術を含んでおり、当該動的プログラミング技術は、
縦座標（または横座標）が入力文字列に対応する発音記号のそれぞれを示し、他方の横座標（または縦座標）が入力音声信号を分割して得られる各フレームか、あるいは各フレームに対応する特徴セットを示す比較表を使用し、
比較表の左上の角から右下の角（または右下の角から左上の角）へ伸び、事前に決められたユーティリティ機能を最大（または事前に決められたペナルティ機能を最小）にするような経路を探すことを含んでいることを特徴とする請求項３に記載の方法。
【請求項６】
文字列とその文字列に対応する音声信号を入力するための装置、
入力文字列に対応する発音記号文字列を調べることができる電子音声辞書であって、そのうち複数の文字列に対応する前記発音記号が記録される前記電子音声辞書、
音声信号を複数フレームに分割するオーディオカッター、
オーディオカッターと接続しており、各フレームの対応する特徴セットを抽出するための特徴エクストラクター、
各音素群が一つの発音記号に対応する複数の音素群を含む音素特徴データベース、
特徴エクストラクター、電子音声辞書および音素特徴データベースと接続しており、入力音声信号のフレームに最適発音記号ラベリングを計算し、フレームにラベリングする発音記号ラベリング装置と、
サンプル音声信号と音声信号が相対する同一の発音記号の各フレームの発音の類似度、ピッチ、強弱及びリズム等を比較して評価を行う比較器、および
波形グラフ、ピッチ変化グラフ、強弱変化グラフ、入力音声信号の発音間隔にラベリングした発音記号を表示する出力装置、
から成ることを特徴とする発音矯正用の自動発音記号ラベリングシステム。
【発明の詳細な説明】
（関連出願の相互参照）
この出願は、2002年5月29日に出願の台湾出願番号91111432の優先権を求める。
【発明の属する技術分野】
本発明は、おおまかに言えば、会話を分析する対話式言語学習システムに関するものである。さらに本発明は、コンピュータ化した手段を用いて、発音を教え矯正するためのユーザーインターフェイス、システム、方法に関するものである。さらに言えば、本発明はコンピュータ化した手段により、発音記号を音声信号の各要素に迅速・効果的に振り当てることにより、発音を教え矯正するためのユーザーインターフェイス、システム、方法に関するものである。
【０００１】
【従来の技術とその課題】
一般的に、外国語を学ぶにあたり、発音は最も難しい部分である。とくに、アジア人がインド・ヨーロッパ言語を習うとき、そしてその逆の場合に当てはまる。読み、書き、聞くような能力は、自分で勉強してマスターできる。しかしながら、外国語を上手に喋ることができるようになるためには、自分が正しく話しているかどうかを習う必要がある。現在、そのための最も効果的な方法は、発音の間違いを識別し適切に矯正できるネイティブスピーカーと練習をすることである。本発明は、語学教師のやることをそのまま真似するために、対話形式で革新的発音矯正メカニズムを備えた技術に基づくシステムにより、外国語の学習者が自分の発音を識別し改善することを目的としている。
【０００２】
台湾ヘブロン社のCNN対話式CDやフランス・オーラログ社のＴｅｌｌＭｅＭｏｒｅのように、多くの会社が発音を矯正するための関連コンピュータ製品を開発している。しかしながら、これらの現在の製品は、学習者に本人の発音の改善方法を教えないで、初歩的に音声を比較するだけである。両製品とも、学習者の音声を記録し、波形を表示してネイティブスピーカーの波形と比較はできる。
【０００３】
しかしながら、波形の比較は、学習者にとって非常に意味があるというものではない。言語に秀でた者であっても、単純に波形を比較することにより二つの発音の類似性を判断することはできない。加えて、そのようなシステムは音の信号に正確な音節を示すことができない。ということは、習うものに音節をベースにした改善のための指示を与えることができない。さらに、そのようなシステムは、言語学習者と語学教師が同じ調子で話すことを前提にしている。実際には、会話のタイミングは非常に変化し、個人によって異なる。語学教師は５番目の単語を読んでいるのに、言語学習者はまだ２番目を読んでいることもあり得る。この例の波形では、言語学習者の第２ワードは語学教師が話した第５ワードに間違って対応することになろう。そのような比較は欠点があることが明白である。
【０００４】
図１は上記の状況の例を示している。図１に示しているのは、オーラログ社がつくった “ＴｅｌｌＭｅＭｏｒｅ”のユーザーインターフェイスである。100で示している部分は、言語学習者が習っている文章を示している。参照番号110と120は、それぞれ語学教師と言語学習者が発音した音声波形を示している。この適用例では、語学教師と言語学習者が話した単語“for”（強調している部分t0−t1）の発音の違いを比較しようとしている。しかしながら、タイミングの違いのために、この適用例では、語学教師と言語学習者の音声波形で、単語“for”の位置を間違って配置している。実際には、時間の区切りt0−t1の間では、言語学習者は何も言っていない。
【０００５】
総括していえば、改善のための指示や時間の補正がない波形の直接比較は、効果がないだけでなく無意味である。
【０００６】
本発明は、間違いを識別し発音を矯正するために、言語学習者の音声波形に発音記号を自動的にラベリングするコンピュータ環境のシステムを提供する。加えて、本発明では、さらに学習に必要な内容を識別するために、言語学習者と語学教師の音声波形間で単語の配列を自動的に行うことができる。本発明はユーザーインターフェイスとシステムのための構成方法を含んでいる。
【０００７】
【発明の効果】
本ユーザーインターフェイス発明には、現存する他の製品と比べて、少なくとも三つの主要な改良点がある。第一に、言語学習者と語学教師のいずれの波形も自動的に対応する発音記号でラベリングされる。従って、言語学習者は容易に自分の音声と語学教師の音声の違いを突き止めることができる。第二に、それぞれの区切りの発音記号により、言語学習者は比較のために抽出する特別な単語や音節の相対位置を明確にすることができる。第三に、比較は、発音に関する４つのスキル領域、即ち、言葉の歯切れの正確さ、ピッチ、強弱、リズムをカバーしている。さらに、それぞれのスキル領域を改善しようとすることにより、言語学習者は自分の全体としての発音を矯正するために、この４つの領域の音声信号から抽出した情報を使用することができる。
【０００８】
【課題を解決するための手段】
具体化する方法は、三つのステージ、即ち、データベース確立ステージ、発音記号ラベリングステージ、発音比較ステージに分けられる。１番目のステージでは、音素特徴データベースを確立し、それは発音記号に対応する発音学上の最小ユニットである各音素の特徴データを含んでおり、この特徴データが発音記号ラベリング用の基礎として使用される。２番目のステージでは、波形のそれぞれの区切りに発音記号をラベリングすることが対象となる。このプロセスは言語学習者と語学教師の両方の音声波形に使われる。そして語学教師の音声波形は後の分析用の基準として用いられる。最後のステージでは、語学教師と言語学習者の二つの波形を比較して、対応する区切りの違いを分析する。そして、言語学習者の発音が評価され、必要ならば、改善のための指示が与えられる。それぞれのステージについての詳細な説明を以下に記述する。
【０００９】
データベース確立ステージでは、静的に大量の音声サンプルを集める必要がある。色々な外国語講師から記録した音声サンプルは、様々な文章の発音から成り立っている。そして、サンプルの音声信号は一定の長さをもった複数のフレームに区分される。特徴エクストラクターを使って分析しフレームの特徴を得る。分類はマニュアル判断で行い、同じ音素であるサンプリングフレームを、同じ音素の群（集束）に蓄積する。各音素群の特徴それぞれについての平均値と標準偏差を計算し、データベースに保存する。
【００１０】
発音記号ラベリングステージでは、システムに必要な入力データは、文字列と、語学教師と言語学習者が発音し記録した当該文字列の音声信号を含んでいる。このステージの出力は、音声信号の各間隔に一つの発音記号をラベリングした音声信号を含んでいる。実際の応用にあたっては、電子音声辞書を用いて、入力文字列に対応する発音記号を調べる。そして、入力音声信号を一定長さの複数のフレームに分割する。各フレームの特徴を計算する。音素特徴データベースを用いて、ある発音記号に帰する各フレームの可能性を計算する。そして、最適の発音記号を得るために、動的なプログラミング方法と技術を適用する。
【００１１】
発音比較ステージでは、前のステージで発音記号をラベリングした二つの音声信号を比較する。音声信号は通常、語学教師と言語学習者から来る。まず、両方の音声信号の対応する部分（一つまたは複数のフレーム）を見つけて比較する。例えば、言語学習者が“This is a book”という文章を習っているとき、システムは比較するために、まず言語学習者と語学教師の音声信号の中で“th”部を見つけて比較する。そして“i”に対応する部分を見つけて比較し、続いて“s”に対応する部分を見つけて比較する。比較する内容は、歯切れの正確さ、ピッチ、強弱、リズムを含むが、これらに限定されるものではない。歯切れの正確さを比較している時には、言語学習者の歯切れを直接語学教師の歯切れと比較する。しかし代わりに、言語学習者の歯切れを音素データベースにある歯切れと比較することもある。ピッチの比較では、言語学習者の発音を語学教師の絶対的ピッチと比較することができる。代替として、まず言語学習者の相対ピッチ（文章全体の平均ピッチに対するその文章部分のピッチの割合）を計算し、語学教師の相対ピッチと比較することもある。同様に、発音の強弱を比較するために、言語学習者の発音の強弱を語学教師の発音の絶対的強弱と比較する。あるいは、文章の一部の相対的な発音の強弱（この部分の強弱の文章全体に対する割合）を計算し、その文章の一部について語学教師の相対的発音と比較することもある。持続長さの比較では、文章の一部で語学教師と言語学習者の発音の長さを直接比較する、あるいは、まず言語学習者の相対的な発音の長さ（この部分の長さに対する文章全体の長さの持続割合）を計算し語学教師と比較することもある。
【００１２】
そのような比較結果は、分数または可能性のパーセントで表すことができる。計算にウェイト付けすることにより、言語学習者が話した文章全体の歯切れの正確さ、ピッチ、強弱、リズムの割合を得ることができる。文章全体に対する割合も加重平均より得られる。加重計算している間に、研究論文によるロジックや経験値から、それぞれの部分に対するウェイトを求めることができる。
【００１３】
割合を比較し計算するプロセスにおいて、システムは言語学習者と語学教師の間における発音の違う位置やレベルを得ることができ、改善のための適切な指示を提供することができる。
【００１４】
上記のシステムと方法のユーザーインターフェイスは、オーディオ入力装置で得られた音声信号グラフおよび音声信号を分析して得られる強弱およびピッチ変化グラフを含んでいる。加えて、音声信号のグラフを更に複数の発音の間隔に分割し、それぞれが対応する発音記号でラベリングする。ユーザーは、マウスのような入力装置を使い、一つまたは複数の発音の間隔を選び、個々に発音の間隔の音声を再生することができる。
【００１５】
このシステムでは、言語学習者と語学教師の音声信号がグラフで示される。ユーザーが語学教師の音声信号から発音の間隔を選ぶと、システムは自動的に言語学習者の音声信号の対応する発音の間隔を選択し、そして逆も行う。
【００１６】
【発明の実施の形態】
図２において、ユーザーインターフェイスの一実施例を示している。ユーザーインターフェイスには三つの部分、即ち、教える内容を表示するエリア200、語学教師用インターフェイス210、言語学習者用インターフェイス220がある。
【００１７】
ユーザーがマウスのような入力装置を使って、教育内容表示エリア200で文字列を選ぶと、システムが、選んだ文字列に対応し語学教師が事前に記録した音声信号を再生し、語学教師用インターフェイスに関連情報を表示する。
【００１８】
語学教師用インターフェイスには、音声信号グラフ211、ピッチ変化グラフ212、強弱変化グラフ213、複数の分割セグメント214、語学教師用コマンドエリア215、発音記号ラベリングエリア216が含まれている。音声信号グラフ211は、語学教師の音声信号の波形を表示する。強弱変化グラフ213は、音声信号のエネルギー変化を分析して得られる。ピッチ変化グラフ212は、音声信号のピッチ変化を分析することにより得られる。分析方法は、1973年にJ.S.ゴールドスタインの提出した“複雑な音ピッチのセンタ形成のための最適プロセッサー理論”、1982年にH.ドゥイフィス、L.F.ウィリアムス、R.J.スルイターが提出した“会話でのピッチの測定：ゴールドスタインのピッチ理論認識の実際”、2000年にB.ゴールド、N.モルガンが提出した“会話と音声信号プロセッシング”に見ることができる。
【００１９】
語学教師用インターフェイスで、システムは分割セグメント214を使って音声波形グラフを幾つかの発音の間隔に分割し、各発音の間隔に対応する発音記号を発音記号ラベリングエリア216にラベリングする。例えば、分割セグメント214aと214bの間の発音エリアは、“I”の発音に対応し、その発音記号が発音記号ラベリングエリア216の発音エリアのところに表示される。ユーザーは、マウスのような入力装置を使って、一つまたは幾つかの連続した発音エリアを選ぶことができる。ユーザーのコマンドエリア215にある再生選択アイコンをクリックすることにより、発音エリアの音声信号が再生される。
【００２０】
語学教師用インターフェイスと同様に、言語学習者用インターフェイス220にも、音声信号グラフ221、ピッチ変化グラフ222、強弱変化グラフ223、複数の分割セグメント224、発音記号ラベリングエリア226が含まれている。図３で示す語学教師用インターフェイスと類似の機能は、ここでは再記述しない。しかしながら、分析する音声信号は事前に記録されていない。その代わり、ユーザーコマンドエリア225に表示されている“record”をユーザーがクリックすることにより音声信号が得られる。
【００２１】
図３に示すように、ユーザーが言語学習者用インターフェイス220で発音の間隔を選ぶと、システムは選んだ間隔を強調して明確にする。ラベリングした発音記号により、語学教師用インターフェイス210にある対応する発音エリアが自動的に選択され強調される。この実施例では、言語学習者と語学教師が話す単語“great”のタイミングが異なっている。しかしながら、本発明では、言語学習者と語学教師の両方の音声信号グラフにある単語の位置を、自動的に正確にラベリングすることができる。
【００２２】
実施例の詳細な説明を以下に述べる。図４は、システムのデータベース確立ステージにおける主要なモジュールを示している。このステージでは、オーディオカッター404が、サンプル音声信号402を一定長さの複数のサンプリングフレーム406に分割する（通常は256個または512個のサンプルでオーバーラップもある）。そして専門家がそのフレームを聞き、発音記号ラベラー408を用いて、発音記号を各サンプリングフレーム406に与える。そしてラベリングしたフレーム410は特徴エクストラクター（抽出回路）412に送られ、その特徴セット414を計算する。特徴セットは通常、ケプストラム（Ｃｅｐｓｔｒｕｍ）係数あるいはリニアな予想コーディング係数を含む5〜40の実数を含んでいる。オーディオフレームから特徴を抽出する技術は、1980年にS.デービスとP.マーメルスタインが提出した“途切れのない会話文章における単音節単語認識のパラメータ表現比較”あるいは、2000年にB.ゴールドとN.モルガンが提出した“会話とオーディオ信号プロセッシング”に見ることができる。
【００２３】
群ナライザー416は、サンプリングフレーム406の特徴セット414を分析し、類似のフレームを群に入れる。各音素群に対して特徴セットの平均値と標準偏差を計算する。そして、群情報418は音素特徴データベース420に蓄積される。群分析の技術は、1973年にR.ドゥーダとP.ハートが書き、ウィリーインターサイエンスが発行した書籍“パターン分類とシーン分析”に見ることができる。
【００２４】
図５は、本発明の実施例での発音記号ラベリングステージの基本的なモジュールである。このステージでの目的の一つは、正しい発音記号を音声信号の各間隔に与え、語学教師用インターフェイス210と言語学習者用インターフェイス220上に発音記号を表示することである。一方、結果は評価のため発音比較ステージの発音コンパレータ（比較器−図示していない）に送られる。発音記号ラベリングステージで、システムは二つの入力情報を必要とする。一つは、ユーザーがコンテントブラウザ504から選んだ文字列であり、もう一つは対応する音声信号501aである。
【００２５】
音声信号501aはオーディオカッター510により同じ長さの多数のフレーム511に分割される。特徴エクストラクター512を使って、各フレーム511の特徴セット513を計算する。オーディオカッター510と特徴エクストラクター512の機能は、前述のステージにおけるものと同じであり、以下には記述しない。
【００２６】
教育内容ブラウザ504から選ばれた文字列505は、電子音声辞書506を通じて、発音記号文字列507に変換される。例えば、文字列“This is good”がユーザーにより選ばれると、この文字列は対応する発音記号の文字列“δIS IZ gUd”に変換される（ここで「δ」は該当の発音記号文字を表示できないために代用した近似文字である。以下同様。）。
【００２７】
発音記号ラベラー508は、発音記号をオーディオ信号にラベリングする入力として、波形グラフ501b、フレームの特徴セット513、発音記号文字列507、音素特徴データベース514から音素データ515を取り出す。結果は、発音記号をラベリングされた波形グラフとして、出力インターフェイスに送られる。
【００２８】
図６は、サンプルを用いて発音記号ラベリングプロセスを説明する。最初に、音声信号601a（訳注：図６では501）が、ステップ602にあるオーディオカッターにより、複数のフレーム611（訳注：図６では511）に分割される。続いて、ステップ604にある特徴エクストラクターにより、特徴セットが各フレームから抽出される。三番目に、ステップ606で電子音声辞書を調べて、入力文字列605に対応する発音記号の文字列607（訳注：図６では507）が得られる。最終的に、サンプリングフレームの特徴セットと発音記号の文字列をステップ608で比較し、それぞれのフレームに発音記号を与える。
【００２９】
ラベリングプロセスは次の要求事項を満たさねばならない。第一に、発音記号は入力発音記号内で現れるのと同じ順序で使われる必要がある。第二に、それぞれの発音記号は、ゼロ、一つ、或いは多数の連続したフレームに対応するものとする。（もし、発音記号がいずれのフレームにも対応しないなら、その発音記号は発音されないことを示している。）第三に、それぞれのフレームは、ゼロまたは一つの発音記号に対応することができる。（もし、フレームがいずれの発音記号にも対応しないなら、音声信号内でのブランクまたはノイズに対応する。）第四に、ラベルは事前に決められたユーティリティ機能を最大化（或いは事前に決められたペナルティ機能を最小化）しなければならない。ユーティリティ機能は正しいラベリングを示している（一方、ペナルティ機能はラベリングのエラーを示している）。ユーティリティ機能とペナルティ機能は、理論的あるいは実践的研究により導くことができる。
【００３０】
図７の表は、動的プログラミング技術によりラベリングプロセスを実行する方法を示している。この表において、それぞれの行は入力音声信号のフレームに対応し、それぞれの列は入力発音文字列の発音記号に対応する。行iと列jのセルがもつ値は次の値を含んでいる。
【００３１】
Max（Prob（フレームiが発音記号jにより表される音素に属する），Prob（フレームiが無音かノイズである））
【００３２】
この式における可能性値（Prob）は、フレームiの特徴セットを音素特徴データベースにあるデータと比較して計算することができる。この可能性値を計算する方法は、1973年にウィリーサイエンスが発行したR.ドゥーダとP.ハルトの“パターン分類とシーン分析”に見ることができる。
【００３３】
加えて、ノイズあるいはブランクである可能性のあるセルの総てにマークを行うつもりである。図７では、これら総てのセルはグレーの背景にして示している。
【００３４】
この表を用いる場合、音声信号をラベリングすることは、左上の角から右下の角に経路を見つけることに対応する。例えば、図７での経路は、第一の発音記号“δ”はフレーム１と2に対応し、第二の発音記号は“i”はフレーム3と4に、第三の発音記号“s”はフレーム5と6に対応するというラベリングを表している。
【００３５】
最適のラベリングを表す経路は、二つの要求事項に合致せねばならない。第一に、経路は、右方、右下あるいは下方にのみ伸びることができる。第二に、この経路によって表されるラベリングは、ユーティリティ機能を最大化する必要がある。
【００３６】
経路がグレーのセルを通過するなら、そのフレームはノイズかブランクである。そうでなく、経路が右方に伸びるなら、次の発音記号は音声信号に現れないことを示している。経路が右下に伸びるなら、次のフレームが次の発音記号に対応していることを示している。経路が下方に伸びるなら、次のフレームが現在のフレームと同じ発音記号に対応することを示している。
【００３７】
この実施例において、ユーティリティ機能は、経路が右方に伸びるときに通過するセルを除いて、経路が通過するセルの値すべてのかけ算として定義することができる。（もし、経路が右方に伸びると発音記号はスキップし、セルの値は計算で使用されない。）掛け算の結果は、理論的にラベリングが正確である可能性を表す。
【００３８】
そのような経路は、動的プログラミングにより得られる。関連技術は、1977年のコンピュータジャーナル10号 Ｐ141〜147のJ.ウルマンによる“言葉における代用、削除、挿入、反転エラーの自動修正用の二進法ｎ-グラム技術”、あるいは1974年のACMジャーナル21号 Ｐ168〜178でR.ワグナーとM.フィッシャーが公開した“文字列対文字列修正問題”に見られる。
【００３９】
図８は、システムの発音比較ステージにおける主要なモジュールを示している。このステージで、システムは、歯切れの正確さ、ピッチ、強弱、リズムの評価を行い、改善のための指示を挙げる。そして、これら４つの評価を使って、全体評価としての加重平均を計算する。各評価のウェイトは理論的および経験値から求めることができる。
【００４０】
発音比較ステージの間に、システムは、一つまたは複数のフレームから成り二つの入力音声信号にある対応するセクションを探して比較する。例えば、言語学習者が“This is a book”という文章を習っているなら、このシステムは、言語学習者と語学教師の音声信号の中で“Th”に対応するセクションを探して比較する。続いてシステムは、“i”に対応するセクションを探して比較する。そしてシステムは“s”に対応するセクションを探して比較する、と続く。各セクションの比較では、歯切れの正確さ、ピッチ、強弱、リズムなどが含まれる。
【００４１】
一つの音声記号にある発音記号（または音節）が多数のフレームに対応するなら、（歯切れの正確さ、ピッチ、強弱、長さを比較するために）これらフレームの特徴セットの平均値が求められる。そして、別の音声信号の対応する平均値が比較のために求められる。歯切れ、ピッチ、強弱の変化を常に分析するために、対応するセクション内の個々のフレームを比較することもある。
【００４２】
ここで公開された本発明の仕様と実際を考慮することにより、技術のある者には本発明の別の実施例を思いつくであろう。意図するところは、仕様や事例は例示としてのみ考えられるべきものであり、本発明の真意と真の適用範囲は、請求の範囲に示されている。
【００４３】
【図面の簡単な説明】
【図１】ヨーロッパの会社であるオーラログ社がつくった言葉の歯切れを演習するユーザーインターフェイスを示す。
【図２】本発明により発音を矯正するために発音記号を自動的にラベリングするユーザーインターフェイスの実施例の一つを示している。
【図３】本発明により発音を矯正するために発音記号を自動的にラベリングするユーザーインターフェイスの実施例の一つを示す。
【図４】本発明の一つの実施例におけるデータベース確立ステージのシステムブロックダイアラムを示す。
【図５】本発明の一つの実施例における発音記号ラベリングステージのブロックダイアラムを示す。
【図６】発音記号ラベリングステージのプロセスフローを示す。
【図７】本発明に従う発音記号ラベリングステージでの動的な比較を行う概要表を示す。
【図８】本発明に従う一つの実施例における発音比較ステージのシステムブロックダイアグラムを示す。
【符号の説明】
200     教育内容表示エリア
210     語学教師用インターフェイス
211     音声信号グラフ
212     ピッチ変化グラフ
213     強弱変化グラフ
214     分割セグメント
214a    分割セグメント
215     語学教師用コマンドエリア
216     発音記号ラベリングエリア
220     言語学習者用インターフェイス
221     音声信号グラフ
222     ピッチ変化グラフ
223     強弱変化グラフ
224     分割セグメント
225     ユーザーコマンドエリア
226     発音記号ラベリングエリア
402     サンプル音声信号
404     オーディオカッター
406     サンプリングフレーム
406     各サンプリングフレーム
408     発音記号ラベラー
410     フレーム
414     特徴セット
416     群ナライザー
418     群情報
420     音素特徴データベース
501b    波形グラフ
501a    音声信号
504     教育内容ブラウザ
505     文字列
506     電子音声辞書
507     発音記号文字列
508     発音記号ラベラー
510     オーディオカッター
511     フレーム
512     特徴エクストラクター
513     特徴セット
514     音素特徴データベース
515     音素データ
601a    音声信号
602     ステップ
604     ステップ
605     入力文字列
606     ステップ
607     文字列
608     ステップ
611     フレーム
【図１】
0004391109.tif 000002
【図２】
0004391109.tif 000003
【図３】
0004391109.tif 000004
【図４】
0004391109.tif 000005
【図５】
0004391109.tif 000006
【図６】
0004391109.tif 000007
【図７】
0004391109.tif 000008
【図８】
0004391109.tif 000009