(57)【要約】  脳性麻痺、運動ニューロン疾患、または卒中後の構音障害などの障害または病状を有する者の発話を支援する発話生成のためのシステムおよび方法。本システムは、音にそれぞれが対応する多様な状態を有し、かつ状態もしくは状態の組合せの選択を行うためのセレクタを有するユーザ・インターフェースを有する。システムはまた、選択された状態、または状態の組合せを処理するためのプロセッサと、音または音の組合せを出力するためのオーディオ出力を有する。状態と関連付けられた音は、音素または音声とすることができ、またユーザ・インターフェースは、通常、ユーザがインターフェースをいくつかの位置に操作することにより状態間を区別することを可能にする、マウス、トラックボール、ジョイスティック、または他の装置など、手動で操作可能な装置である。
2009538437.tif 000002
【特許請求の範囲】
【請求項１】
発話生成のためのシステムであって、
各々が音に対応する多様な状態を有し、かつ状態または状態の組合せの選択を行うためのセレクタを有するユーザ・インターフェースと、
前記選択された状態、または状態の組合せを処理するための処理手段と、
前記音または音の組合せを出力するためのオーディオ出力とを備えるシステム。
【請求項２】
前記音が、音素または音声である、請求項１に記載のシステム。
【請求項３】
前記状態が、階層構造にグループ化される、請求項１または２に記載のシステム。
【請求項４】
前記状態が、直列にグループ化される、請求項１または２に記載のシステム。
【請求項５】
前記状態が、並列にグループ化される、請求項１または２に記載のシステム。
【請求項６】
前記システムが、事前定義された音のグループを表す１組の１次状態を備える、請求項１から５のいずれかに記載のシステム。
【請求項７】
各１次状態により、前記事前定義された音のグループを含む１つまたは複数の２次状態にアクセスできるようになる、請求項６に記載のシステム。
【請求項８】
前記ユーザ・インターフェースが、ユーザが前記インターフェースを複数の位置に操作することにより状態間を区別することを可能にする、手動で操作可能な装置を備える、請求項１から７のいずれかに記載のシステム。
【請求項９】
前記手動で操作可能な装置が、マウスまたはトラックボールを含む、請求項８に記載のシステム。
【請求項１０】
前記ユーザ・インターフェースがジョイスティックを含む、請求項８に記載のシステム。
【請求項１１】
各状態が、前記ジョイスティックの位置に対応する、請求項１０に記載のシステム。
【請求項１２】
前記１次状態が、それぞれ、前記ジョイスティックの最初の位置からのｎ個の動作のうちの１つにより表される、請求項６に記載のシステム。
【請求項１３】
前記２次状態が、それぞれ、前記関連する１次状態の前記位置からのｍ個の動作のうちの１つにより表される、請求項７に記載のシステム。
【請求項１４】
前記セレクタが、選択された前記音を前記ユーザが聞くことを可能にする音フィードバックを備える、請求項１から１３のいずれかに記載のシステム。
【請求項１５】
前記音フィードバックが、前記音から単語が形成されているとき前記ユーザが単語をモニタすることができるようにするための個人的な聴取装置を含む、請求項１４に記載のシステム。
【請求項１６】
前記音フィードバックのレベルが調整可能である、請求項１４または１５に記載のシステム。
【請求項１７】
前記処理手段が、音の組合せを共にマージして単語を形成するための音マージ手段を備える、請求項１から１６のいずれかに記載のシステム。
【請求項１８】
前記処理手段が、前記ユーザにより作成された単語を記憶するためのメモリを備える、請求項１から１７のいずれかに記載のシステム。
【請求項１９】
前記プロセッサが、単語の一部を形成する１つまたは複数の組み合わされた音に基づいて完全な単語を予測するモジュールを備える、請求項１から１８のいずれかに記載のシステム。
【請求項２０】
前記モジュールが、前記音フィードバック・システムに単語を出力する、請求項１９に記載のシステム。
【請求項２１】
前記ユーザ・インターフェースが、視覚的なディスプレイを備える、請求項１から２０のいずれかに記載のシステム。
【請求項２２】
前記視覚的なディスプレイが、前記入力装置と一体化される、請求項２１に記載のシステム。
【請求項２３】
前記視覚的なディスプレイが、前記状態のグラフィカルな表現を含む、請求項２１または２２に記載のシステム。
【請求項２４】
前記視覚的なディスプレイが、選択された音により定義される前記単語の最初の部分に基づいて、前記予測モジュールが予測した、完全な単語であり得る一連の既知の単語を表示することにより、前記予測モジュールと共に動作するように適合される、請求項１９および請求項２１から２３のいずれかに記載のシステム。
【請求項２５】
前記処理手段が、最初の音の前記１次または２次状態が選択された後、その後に続く音に対して、より可能性の高い１次および２次状態の選択を促進するように動作する、請求項１から２４のいずれかに記載のシステム。
【請求項２６】
前記手動で操作可能な装置が、最初の音が選択された後、いくつかのその後に続く音の選択をより容易にするために、力フィードバック・システムにより案内される、請求項２５に記載のシステム。
【請求項２７】
前記力フィードバック・システムが偏倚手段を含む、請求項２６に記載のシステム。
【請求項２８】
合成発話を生成する方法であって、
ユーザ・インターフェースの１次および２次状態と関連付けられた複数の音を提供するステップと、
出力発話を形成するために、１つまたは複数の音を選択するステップと、
前記１つまたは複数の音を出力するステップとを含む方法。
【請求項２９】
前記音が、音素または音声である、請求項２８に記載の方法。
【請求項３０】
前記状態が、階層構造にグループ化される、請求項２８または２９に記載の方法。
【請求項３１】
前記状態が、直列にグループ化される、請求項２８から３０のいずれかに記載の方法。
【請求項３２】
前記状態が、並列にグループ化される、請求項２８から３０のいずれかに記載の方法。
【請求項３３】
各１次状態により、事前定義された音のグループを含む１つまたは複数の２次状態にアクセスできるようになる、請求項２８から３２のいずれかに記載の方法。
【請求項３４】
前記１次状態が、それぞれ、ユーザ・インターフェースの最初の位置からのｎ個の動作のうちの１つにより表される、請求項２８から３３のいずれかに記載の方法。
【請求項３５】
前記２次状態が、それぞれ、前記関連する１次状態の前記位置からのｍ個の動作のうちの１つにより表される、請求項２８から３３のいずれかに記載の方法。
【請求項３６】
選択された前記音を前記ユーザが聞くことを可能にする音フィードバックを提供するステップをさらに含む、請求項２８から３５のいずれかに記載の方法。
【請求項３７】
音の組合せを共にマージして単語を形成するステップをさらに含む、請求項２８から３６のいずれかに記載の方法。
【請求項３８】
前記ユーザにより作成された単語を記憶するステップをさらに含む、請求項２８から３７のいずれかに記載の方法。
【請求項３９】
選択された音により定義される前記単語の最初の部分に基づいて、前記予測モジュールが予測した、完全な単語であり得る一連の既知の単語を表示するステップをさらに含む、請求項２８から３８のいずれかに記載の方法。
【請求項４０】
最初の音の前記１次または２次の状態が選択された後、その後に続く音に対して、より可能性の高い１次および２次の状態の選択を促進するステップをさらに含む、請求項２８から３９のいずれかに記載の方法。
【請求項４１】
本発明の第２の態様の前記方法を実行するためのプログラム命令を実行するためのコンピュータ・プログラム。
【請求項４２】
本発明の第３の態様による前記コンピュータ・プログラムを動作させるように適合されたコンピューティング手段を備える装置。
【請求項４３】
移動通信装置を含む、請求項４２に記載の装置。
【請求項４４】
携帯電話または携帯情報端末を含む、請求項４３に記載の装置。
【請求項４５】
言葉および識字能力の発達を支援するために使用可能な教育玩具を含む、請求項４３に記載の装置。
【請求項４６】
音がユーザの母国語におけるものとは異なってグループ化される外国語の学習を支援するように構成される、請求項４５に記載の装置。
【請求項４７】
発話生成の装置および／または方法で使用するためのユーザ・インターフェースであって、
ユーザによる操作に応答して、前記インターフェースに前記インターフェースの第１状態を選択することを許す選択機構と、
前記第１状態の前記選択に基づいて、より可能性の高いその後の状態の選択を促進するように動作する偏倚手段とを備えるユーザ・インターフェース。
【請求項４８】
前記選択機構がジョイスティックを含む、請求項４７に記載のユーザ・インターフェース。
【請求項４９】
前記選択機構が、最初の音が選択された後、いくつかのその後に続く音の選択をより容易にするために、力フィードバック・システムにより案内される、請求項４７または４８に記載のユーザ・インターフェース。
【発明の詳細な説明】
【発明の開示】
【０００１】
本発明は、発話の生成または合成に関する。本発明は、脳性麻痺、運動ニューロン疾患、または卒中後の構音障害などの障害または病状を有する者の発話を支援するために使用することができる。
本発明は、上記の用途に限定されず、さらに、例えば、移動通信またはセルラ通信技術を向上させるために使用することができる。
【０００２】
発話の生成または合成は、脳、口、声帯の正常な相互作用以外によって発話を生成することを意味する。話す能力に影響を与える肉体的な障害を有する者に対して、発話合成の目的は、その人が他人に「話しかける」ことにより意思を伝えられるようにすることである。
これは、ユーザが単語または文を綴ることができ、次いで、それが音合成装置により「話される」ように、キーボードまたは他のインターフェースにリンクされたコンピュータ化された音合成を用いることにより達成することができる。
【０００３】
このようなシステムは、ユーザが識字能力を既に獲得しており、識字能力の獲得後に何らかの疾病または病気により、話す能力を失っている場合に機能するに過ぎない。ユーザが識字能力を有していない場合、またはこの能力を失っている場合、実際には、話すことを学び、かつ読み書きに関係する識字能力の基本的なツールを獲得する必要がある。
【０００４】
一般に、読み書きを学ぶ場合、２つの手法を採用することができる。第１に、学習者がすべての単語について、それらの聞こえ方、およびそれらの意味を学ぶように導くことができる。第２に、合成フォニックスとして知られる技法を使用して、学習者が、諸単語をそれらの音素（単語の基本点な音を構成するブロック）に分解し、単語の音を出せるようにする。
【０００５】
読み書きのできないユーザが、単語にアクセスすることができる１つの方法は、ラップボードまたはブック（book）として知られるコミュニケーション・ボードの使用を介するものである。これらのボードまたはブックは、ユーザが、第２の人に対して絵を指し示し、その絵に関連する音または単語を発声することによりユーザの声として働かせることができる絵入り装置である。このシステムには、ユーザが他人の存在および協力に完全に依存するため、非常に明らかな限界がある。このような状況は、ユーザが音で遊ぶ、または音で実験することを妨げることになるが、このタイプの遊びまたは片言（babble）は、言語発達における重要な段階であることが知られている。
【０００６】
さらに、ラップボード上の異なる音間に論理的なつながりがないこともしばしばあり、またいくつかの音素の組合せが、特定の言語では他の言語より容易に生ずることが知られている。
【０００７】
文字／単語／句を話すために、デジタル化された、または合成の発話を使用するコンピュータ化された話声出力コミュニケーション装置が利用可能である。読み書きのできるユーザは、任意の数の単語を綴ることができる。しかし、読み書きのできないユーザは、ユーザに高い認識負荷がかかる複雑な取出しコードおよびシーケンスを用いて、他の人により記憶された語彙を用いなければならない。ユーザはまた、その語彙に限定され、これらの装置が識字能力ベースのシステムであるので、新規の言葉を生成することができない。
【０００８】
本発明の一目的は、発話生成のためのシステムを提供することである。
本発明の他の目的は、従来の正字法（orthography）（アルファベット文字）を用いて綴るのではなく、音に基づいて発話を生成するためのシステムを提供することである。
本発明の他の目的は、特定のユーザ要件に適合されたシステムに対するユーザ・インターフェースを作成することである。
【０００９】
本発明の第１の態様によれば、発話生成のためのシステムが提供され、そのシステムは、各々が音(sound)に対応する多様な状態を有し、かつ状態もしくは状態の組合せの選択を行うためのセレクタを有するユーザ・インターフェースと、
選択された状態、または状態の組合せを処理するための処理手段と、
音または音の組合せを出力するためのオーディオ出力と
を備える。
【００１０】
好ましくは、音は音素(phoneme)または音声(phonic)である。
好ましくは、状態は階層構造にグループ化される。
場合によっては、状態は直列にグループ化される。
場合によっては、状態は並列にグループ化される。
【００１１】
好ましくは、システムは、音の事前定義されたグループを表す１組の１次状態を備える。
好ましくは、各１次状態により、音の事前定義されたグループを含む１つまたは複数の２次状態にアクセスできるようになる。
ユーザ・インターフェースは、ユーザがインターフェースを複数の位置に操作することにより状態間を区別することを可能にする、マウス、トラックボール、または他の装置など、任意の手動で操作可能な装置を備えることができる。
【００１２】
好ましくは、ユーザ・インターフェースはジョイスティックを含む。好ましくは、各状態は、そのジョイスティックの位置に対応する。
好ましくは、１次状態は、それぞれ、ジョイスティックの最初の位置からのｎ個の動作のうちの１つにより表される。
好ましくは、２次状態は、それぞれ、関連する１次状態の位置からのｍ個の動作のうちの１つにより表される。
【００１３】
好ましくは、セレクタは、選択された音をユーザが聞くことを可能にする音フィードバックを備える。
好ましくは、音フィードバックは、ヘッドフォンまたは同様の個人的な聴取装置を含み、単語が音から形成されているときユーザがそれをモニタすることができるようにする。
好ましくは、音フィードバックのレベルは調整可能である。初心者のユーザは単語全体の音を出すことができるが、一方、熟練したユーザは、音フィードバックをより少なくして使用することを望むこともできる。
【００１４】
好ましくは、処理手段は、単語を形成するために、音の組合せを共にマージするための音マージ手段を備える。音のマージは、単語がより自然に発声されるように、組み合わされた音を滑らかにするために使用される。
好ましくは、処理手段は、ユーザにより作成された単語を記憶するためのメモリを備える。
【００１５】
好ましくは、処理手段は、単語の一部を形成する１つまたは複数の組み合わされた音に基づいて完全な単語を予測するモジュールを備える。
好ましくは、そのモジュールは、音フィードバック・システムに単語を出力する。
【００１６】
好ましくは、ユーザ・インターフェースは、視覚的なディスプレイを備える。
好ましくは、視覚的なディスプレイは、入力装置と一体化される。
好ましくは、視覚的なディスプレイは、状態のグラフィカルな表現を含む。
【００１７】
場合によっては、視覚的ディスプレイは、選択された音により定義される単語の最初の部分に基づいて、予測モジュールが予測した、完全な単語であり得る一連の既知の単語を表示することにより、予測モジュールと共に動作するように適合される。
好ましくは、装置はまた、従来の視覚的なディスプレイ・ユニットを用いて動作される教示用ソフトウェア／学習用ソフトウェアに対する入力装置とすることもできる。
【００１８】
好ましくは、処理手段はさらに、適切な出力音を作成する発話チップを備える。
場合によっては、発話チップは合成発話プロセッサである。
場合によっては、発話チップは、事前に記録された音素を用いてその出力を組み立てる。
【００１９】
好ましくは、プロセッサは、最初の音の１次または２次の状態が選択された後、その後に続く音に対して、より可能性の高い１次および２次の状態の選択を促進するように動作する。
さらに好ましくは、手動で操作可能な装置は、最初の音が選択された後、いくつかのその後に続く音の選択をより容易にするために、力フィードバック（force-feedback）・システムにより案内される。
好ましくは、力フィードバック・システムは偏倚手段を含む。
【００２０】
本発明の第２の態様によれば、合成発話を生成するための方法が提供され、その方法は、
ユーザ・インターフェースの１次および２次状態と関連付けられた複数の音を提供するステップと、
出力発話を形成するために、１つまたは複数の音を選択するステップと、
前記１つまたは複数の音を出力するステップと
を含む。
【００２１】
好ましくは、音は音素または音声である。
好ましくは、状態は階層構造にグループ化される。
場合によっては、状態は直列にグループ化される。
場合によっては、状態は並列にグループ化される。
【００２２】
好ましくは、各１次状態により、音の事前定義されたグループを含む１つまたは複数の２次の状態にアクセスできるようになる。
好ましくは、１次状態は、それぞれ、ユーザ・インターフェースの最初の位置からのｎ個の動作のうちの１つにより表される。
【００２３】
好ましくは、２次状態は、それぞれ、関連する１次の状態の位置からのｍ個の動作のうちの１つにより表される。
好ましくは、本方法はさらに、選択された音をユーザが聞くことを可能にする音フィードバックを提供するステップを含む。
好ましくは、本方法はさらに、音の組合せを共にマージして単語を形成するステップを含む。
【００２４】
音をマージするステップは、単語がより自然に発音されるように、組み合わされた音を滑らかにするために使用される。
好ましくは、本方法はさらに、ユーザにより作成された単語を記憶するステップを含む。
好ましくは、単語の一部を形成する１つまたは複数の組み合わされた音に基づいて、完全な単語を予測する。
好ましくは、本方法はさらに、音フィードバック・システムに単語を出力するステップを含む。
【００２５】
任意選択で、本方法はさらに、選択された音により定義される単語の最初の部分に基づいて、予測モジュールが予測した、完全な単語であり得る一連の既知の単語を表示するステップを含む。
好ましくは、出力される音は、発話プロセッサにより作成される。
【００２６】
任意選択で、出力される音は、合成発話プロセッサにより作成される。
任意選択で、発話チップは、事前に記録された音素を用いてその出力を組み立てる。
好ましくは、本方法はさらに、最初の音の１次または２次状態が選択された後、その後に続く音に対して、より可能性の高い１次および２次状態の選択を促進するステップを含む。
【００２７】
本発明の第３の態様によれば、本発明の第２の態様の方法を実行するためのプログラム命令を実行するためのコンピュータ・プログラムが提供される。
【００２８】
本発明の第４の態様によれば、本発明の第３の態様によるコンピュータ・プログラムを動作させるように適合されたコンピューティング手段を備える装置が提供される。
【００２９】
好ましくは、その装置は移動通信装置である。
移動通信装置は、携帯電話または携帯情報端末とすることができる。
代替として、装置は、言葉および識字能力の発達を支援するために使用可能な教育玩具である。
【００３０】
装置はまた、音がユーザの母国語におけるものとは異なってグループ化される外国語の学習を支援するように構成され得る。
【００３１】
本発明の第５の態様によれば、発話生成の装置および／または方法で使用されるユーザ・インターフェースが提供され、そのユーザ・インターフェースは、
ユーザによる操作に応答して、インターフェースにインターフェースの第１状態を選択することを許す選択機構と、
第１状態の選択に基づいて、より可能性の高いその後に続く状態の選択を促進するように動作する偏倚手段と
を備える。
【００３２】
好ましくは、インターフェースはジョイスティックである。
より好ましくは、ジョイスティックは、最初の音が選択された後、いくつかのその後に続く音の選択をより容易にするために、力フィードバック・システムにより案内される。
選択システムは、いくつかの音が、特定の言語、またはある言語の方言で共にグループ化される可能性に基づいている。
【００３３】
次に、単に例として、本発明について添付の図面を参照して述べる。
図１のシステムは、インターフェース３、プロセッサ５、およびオーディオ出力７を備える。本発明のこの例では、インターフェース３はジョイスティックを含む。
【００３４】
他のインターフェースを使用することもできる。特に、ユーザによる必要な操作が最低限であり、したがって、身体障害者がそのシステムを操作するのを支援するインターフェースが想定される。さらに、システムは、例えば、携帯電話、ブラックベリー（Blackberry）、携帯情報端末などのキーパッドおよび他のインターフェース機能を用いて発話を生成するために使用され得る。オーディオ出力７は、プロセッサ５から取得されたオーディオ信号を出力するように適合された増幅器およびスピーカを含むことができる。
【００３５】
図２ａは、本発明によるユーザ・インターフェースであるように適合されたジョイスティックを示す。ジョイスティック９は、基台１３および制御機構１１を備える。図２ｂは、８つの操作位置を示しており、全体的に、参照番号１７で示され、かつ１から８まで番号が付されている。図２ｂはまた、中心位置１５を示す。位置１７のそれぞれは、１次の状態と関連付けられており、そのそれぞれが、この場合音声である関連する音のグループを定義する。
【００３６】
図３は、プロセッサ５のさらなる動作の詳細を提供する。プロセッサ５は、ユーザ・インターフェース（ジョイスティック）から電気信号を受け取る入力２１を備える。入力信号は、次いで、プロセッサ２３に送られ、プロセッサ２３は信号を処理し、信号は処理のために発話チップ３１に送られて、オーディオ出力７にオーディオ信号を提供する。
【００３７】
プロセッサ２３はまた、入力信号を、したがって、ジョイスティックの位置を識別する識別手段２５に信号を提供する。ジョイスティックの位置は、関係する音声のグループを識別する１次の状態に関係しているので、プロセッサ５は、フィードバック信号２７を生成することができ、そのフィードバック信号２７は、いくつかの方向へのジョイスティックの動作に対して抵抗を生成する。これらの方向は、システムの特定の言語において、通常は、互いに適合しないはずの音に関係する。この機能は、ユーザに、音声の最も可能性の高いペアリングおよびグループを使用させることにより、ユーザが単語を形成するのを支援するように設計される。
【００３８】
さらに、さらなる音声の識別は、ジョイスティックにフィードバックされる活動化および非活動化機能２９を提供する。この機能は、後に分かるように、１次の状態により定義された音声のグループに含まれる音声の１つを表していないいくつかのジョイスティック位置を無効化するように設計される。この機能は、ジョイスティックを無効化された位置に移動することがより困難になるように、フィードバック機能と組み合わせることができる。
【００３９】
図４は、音声選択の一実施形態を示す。図４（ｉ）、４（ｉｉ）、および４（ｉｉｉ）のそれぞれで、ジョイスティックが中心にあり実質的に休止位置にある場合に対応する中立的な位置５を含めて、ジョイスティックの位置が、１から９までの数字で示されている。図４（ｉ）は、ジョイスティックが位置５から位置９に動かされたことを示す。位置９に移動することにより、３つの音声の選択が提供される。それは、Ｂ、Ｄ、およびＧである。ジョイスティックが位置９に留まる場合、文字Ｄが選択される。しかし、図４（ｉｉ）に示すように、ジョイスティックが次いで位置６に移動した場合、文字Ｇが選択される。文字Ｇの選択の確認は、位置６から中立位置である、位置５にジョイスティックを戻すことにより提供される。
【００４０】
図５は、ある人が、何らかの音声を不適切に、または誤って選択した場合に、エラー訂正を行うことができる本発明のさらなる機能を示す。図５（ｉ）は、位置６から位置９へのジョイスティックの移動を示しており、実質的に、図４に示すものからステップを後戻りさせて位置５に戻す。この前の動作を後戻りすることにより、選択されていた音声は取り消される。
【００４１】
図６は、本発明で使用される発話プロセスを示す流れ図である。開始位置４１から、システムへの入力が行われる。この入力は、音声でであっても、ユーザ・インターフェースからの他の入力であってもよい。入力が音声である場合、ユーザは、さらに音声を入力することを選択し、ユーザがさらなる音声をこれ以上生成することを望まなくなるまで、ボックス４３、４５、および４７からのループを回り続けることができる。ユーザが、音声の生成を終了した後、ユーザは、一連の音声を発声すべきかどうか４９尋ねられる。回答がｙｅｓの場合、一連の音声は、メモリから出力される５３。そうではない場合、メモリはクリアされ、ユーザは再度開始することができる。
【００４２】
本発明は、ユーザにより生成された一連の音声を混合またはマージして、一連の音声から、如何なる一貫性のなさも除き、かつ単語がさらにリアルに発音されるようにするための手段を提供する。
【００４３】
図７は、本発明による発話生成プロセスの第２の例を示す。この例では、ジョイスティックまたは他のインターフェースの使用は時間が限定される。音声である入力が提供された場合６５、音声選択７１が行われ、このプロセスは、ユーザが、単語を形成するために使用される一連の音声を選択するまで繰り返される。入力オペレーションが完了した後、ユーザがさらなる入力を行わず、かつ一定の事前定義された時間が経過した場合、選択された音声が出力される６７。このプロセスは、繰り返すことができるが６９、繰り返さない場合には、システム・メモリはクリアされ、全体のプロセスを再度開始することができる。
【００４４】
図８および９は、音声選択のプロセスに関するさらなる詳細を提供する。図８は、ユーザ・インターフェースの状態８１および現在の位置８３、ならびにこれらに関係する様々な音声を識別する参照用テーブルである。プロセスが開始されたとき、現在の位置、最後の位置、および状態が識別される。プロセスが開始すると、状態は、前に述べたように、ジョイスティックの中立位置である５に等しくなる。ジョイスティックを移動した場合、新しい現在の位置が作成される９５ことになり、その現在の位置が、同一であるかどうか調べるために、最後の位置と比較される。現在の位置と最後の位置が同一ではない場合で、現在の位置が５に等しい場合は、その音声に対応する音が作られ１０７、またその音声はメモリに記憶される。その後、状態は５となる（参照番号１１１）。現在の位置が５に等しくない場合、システムは、最後の位置が５に等しいかどうかを尋ねて、ｙｅｓである場合、現在の位置は状態に等しく１０３、その状態または現在の位置に対応する音が作られる１０５。最後の位置が５ではない場合、その状態に対応する音が出力される１０５。
【００４５】
図１０ａ、１０ｂ、および１０ｃは、一連の音声を生成するために、ジョイスティックが取り得る異なる位置の適切なレイアウトのマップを示す。図１０ａは、ジョイスティックが中心位置から延びることができる８つの方向を示している。図１０ｂは、トップ・レベルの音声・タイプを示す図１０ａの位置に対するキーである。８つの方向のそれぞれは、色付きで作成され、アーム１  １２３、１２５、１２７、１２９、１３１、１３３、１３５、および１３７を、それぞれ、黄色、ピンク、淡緑色、ライトブルー、茶色、ダークブルー、赤、および緑に色付けできるように色分けされ得る。
【００４６】
各アームに沿って、各方向により定義されたグループに分割された様々な音が示されている。例えば、黄色に対する方向１２３などの方向に沿った位置は、音を生成するために、ジョイスティックをその方向に動かす必要のある回数を示す。例えば、「ｏｉ」音は、ジョイスティックを１２３の方向に７回動かしたときに生成される。図１０ｃは、本発明のこの実施形態で提供される音声の範囲を示す。
【００４７】
図１１ａ、１１ｂ、および１１ｃは、本発明のさらなる有用な機能を示す。この場合、図１１ａは、ユーザを訓練するための初期段階で使用される簡単化した１組の音声である。ユーザは、この基本的な１組の音声、およびジョイスティックの様々な動きもマスターした後、図１１ｂおよび１１ｃで示されるより高度な方式に移ることができる。
【００４８】
ジョイスティックは、プロセッサを用いて、より限定された音の組を生成するようにプログラムされ得る。したがって、システムは、ユーザの熟練度レベルに応じて、初心者、中級者、熟練者モードで使用することができる。
【００４９】
図１２ａ、１２ｂ、および１２ｃは、本発明の他の実施形態、およびジョイスティックから生成される様々な音のさらなる構成を示す。図１１ａ、１６１に示す方向のそれぞれは、ここでは音の簡単な階層を定義することに留意されたい。例えば、ジョイスティックが、文字ｎに向けて右に直接移動された場合、この動きにより、そのときに限って「ｎｇ」、「ｍ」、「ｒ」、「ｌ」、「ｗ」、および「ｙ」など、いくつかの他の音を作ることが可能になる。
【００５０】
これらの音は、上記の図４および５を参照して述べたように、ジョイスティックのその後に続く動きにより作成される。さらに、図４および５で、５と番号が付された中心点の使用は、音の選択において重要な役割を果たすことができる。図１２ｂは、単語を話すために必要なジョイスティック操作と、新しい単語を開始するために必要なジョイスティック操作とを示す。単語を話すには、ジョイスティックを時計回り方向に回転させることが必要であり、また新しい単語を開始するには、ジョイスティックを反時計回り方向に回転させることが必要である。
【００５１】
図１３ａ、１３ｂ、および１３ｃは、本発明で使用するためのジョイスティック位置の他の実施形態を示す。この構成は、様々な音の異なる相対的位置を提供する。様々な音または音声の異なる構成が、ユーザによっては好ましいことがあり、またいくつかの方言または言語に対してより適切となり得る。
【００５２】
図１４ａおよび１４ｂは、前の諸実施形態で示された８つの１次の状態ではなく、７つの１次の状態が使用される本発明の他の実施形態を示す。この場合、音声は、より数の少ない初期方向に適合するように、簡単に再配置されており、８番目の方向１２３は、ユーザが単語を話す、または新しい単語を開始することを可能にする機能を提供するために使用される。
【００５３】
本発明は、ユーザが、ユーザ・インターフェースの物理的な動きを用いて音の生成を可能にするシステムを提供する。ユーザ・インターフェースは、ジョイスティック、スイッチ、トラックボール、頭部追跡装置、または他の同様なインターフェースとすることができる。さらに、ユーザの筋肉の動きに反応し得る、または脳の機能に反応し得る他のタイプのセンサも使用できることが想定される。
【００５４】
本発明の１つの特有な利点は、識字能力を備えていることがユーザには必要ではないことである。上記で述べたように、発話合成マシンにより発音されるようにユーザが単語を綴ることに基づいて、または書かれた文章を作成することに基づいている音合成または発話生成システムは、ユーザに、元々、読み書きのできることを要求する。本発明は、実質的に、子供が言葉を学ぶときに片言を言う方法と類似の方法で、ユーザが「片言を言う（babble）」ことを可能にするので、本発明により、ユーザは、言葉を探求しかつ自分自身の識字能力を発達させることができる。さらに、本発明は、視覚的なフィードバックなしに使用することができ、また話をしている間、ユーザはアイ・コンタクトを維持することができるようになる。この機能は、本発明が、精神的または身体的な障害を有する者により使用される場合、特に有用である。
【００５５】
視覚的なインターフェースが有用であり得る場合、本発明の他の実施形態が想定される。例えば、移動電話または他の個人的な通信装置上で発話生成装置として使用することは、視覚的なインジケータの存在により支援され得る。このタイプの視覚的なインジケータを図１５に示す。この例では、ジョイスティックは、選択された音声状態のタイプに関係する特有の色で照明されるように適合される。
【００５６】
図１５で理解できるように、最初の選択が、ヒス音的（hissy）、バズ音的（buzzy）、ポップ音的（poppy）、バン音的（bangy）、ハミングおよび歌唱的（hummy and singy）、丸めた口、開いた口、または広い口である場合、ライトブルー、茶色、ダークブルー、赤、緑、黄色、ピンク、または明るい緑の色が、それぞれ照明セクションに示される。
【００５７】
さらなる利点は、重篤な運動および発語障害を有する多くの個人が、車椅子を操作するためにジョイスティックを使用できることである。したがって、このタイプのインターフェースは、その人たちにとって使用するのが比較的容易なものとなるはずである。
【００５８】
ジョイスティックの動作に関する比較的わずかな量の情報を覚える必要があるに過ぎないので、ユーザにかかる認識負荷を低減することができる。さらに、本発明の言語出力は他の人からの出力とは独立している。したがって、ユーザが話すのを可能にするために、言語学的なアイテムを事前に記憶させる必要がない。最後に、音声へのアクセスを提供することは、本システムを使用する人々に対して識字能力を獲得する機会を増すことになる。
【００５９】
本発明は、移動電話に話をする、または入力できるテキストを用いるのではなく、携帯電話のユーザ・インターフェースを操作することによって発話出力へのアクセスを導く無音の携帯電話として使用できることもまた想定される。さらに、本発明は、重篤な障害のある子供たちのために、早期の「片言を言う（babbling）」装置を提供することができる。
本発明の範囲から逸脱することなく、諸改良および諸変更を本明細書に組み込むことができる。
【図面の簡単な説明】
【００６０】
【図１】本発明によるシステムの部分を示すブロック図である。
【図２】ａは、本発明で使用するための、この場合ジョイスティックであるユーザ・インターフェースの図である。ｂは、音素を生成させるジョイスティックの位置を示す図である。
【図３】本発明によるシステムのプロセッサおよびオーディオ出力を示すブロック図である。
【図４】音の選択におけるユーザ・インターフェースの操作を示す図である。
【図５】音声の選択を、本発明によるシステムで訂正することができる方法を示す図である。
【図６】本発明によるシステムを用いて発話を生成するプロセスを示す流れ図である。
【図７】本発明のシステムによる、発話を生成するプロセスの第２の実施形態を示す図である。
【図８】本発明によるシステムの例で使用されるすべての音声に対する参照用テーブルの図である。
【図９】本発明によるシステムの例における参照用テーブルのオペレーションを示す流れ図である。
【図１０】ジョイスティック・インターフェースが使用される場合の様々な音声のレイアウトの例を示す図である。
【図１１】ユーザに提示される音声の数が次第に増加する本発明のさらなる態様を示す図である。
【図１２】ジョイスティック・インターフェースにより実施される音声のさらなる構成を示す図である。
【図１３】システムがジョイスティック・インターフェースを用いて実施される場合の音声のさらに他の構成を示す図である。
【図１４】音声が、ジョイスティック・インターフェースに関して構成される本発明のシステムの他の実施形態を示す図である。
【図１５】照明手段を含む本発明によるユーザ・インターフェースを示す図である。
【図１】
2009538437.tif 000003
【図２】
2009538437.tif 000004
【図３】
2009538437.tif 000005
【図４】
2009538437.tif 000006
【図５】
2009538437.tif 000007
【図６】
2009538437.tif 000008
【図７】
2009538437.tif 000009
【図８】
2009538437.tif 000010
【図９】
2009538437.tif 000011
【図１０】
2009538437.tif 000012
【図１１】
2009538437.tif 000013
【図１２】
2009538437.tif 000014
【図１３】
2009538437.tif 000015
【図１４】
2009538437.tif 000016
【図１５】
2009538437.tif 000017
【国際調査報告】
2009538437.tif 000018
2009538437.tif 000019
2009538437.tif 000020