(57)【要約】【課題】  発声障害者の口の動きを形状的に検出して、その形状に基づいて音声合成を行なうことにより、発声障害者と健常者との間で容易に会話を楽しめると共に、生まれながらの完全失聴者の発声教育を容易にする音声発生システムを提供する。【解決手段】  発声しようとする使用者の口の形状に対応する口形データを検出する口形認識センサー部１１０を備え、使用者の口部に装着されるマスク部１００と、上記マスク部の口形認識センサー部からの口形データの検出信号に基づいて口形を認識する口形データ認識部２１０と、口形データ認識部で認識された口形に対応して音声信号を生成する制御部２３０と、を備えた音声発生装置２００と、を備えるように、音声発生システム１０を構成する。【選択図】  図１
2005241744.tif 000002
【特許請求の範囲】
【請求項１】
発声しようとする使用者の口の形状に対応する口形データを検出する口形認識センサー部を備え、使用者の口部に装着されるマスク部と、
上記マスク部の口形認識センサー部からの口形データの検出信号に基づいて口形を認識する口形データ認識部と、口形データ認識部で認識された口形に対応して音声信号を生成する制御部と、を備えた音声発生装置と、
を設けたことを特徴とする音声発生システム。
【請求項２】
上記マスク部が、発声しようとする際の使用者の口からの風圧を検出する風力測定部を備えており、
上記音声発生装置が、上記マスク部の風力測定部からの検出信号に基づいて、風圧データを識別する音声信号処理部を備えていて、
上記音声発生装置の制御部が、口形データ認識部で認識された口形と音声信号処理部により識別された風圧データの組合せに基づいて、音声信号を生成する
ことを特徴する請求項１に記載の音声発生システム。
【請求項３】
上記音声発生装置が、上記使用者の口形データ認識部で認識された口形および／または音声信号処理部により識別された風圧データに対応する文字が前もって登録されたデータ記憶部を備えており、
上記制御部が、口形データ認識部で認識された口形と音声信号処理部により識別された風圧データの組合せに基づいて、上記データ記憶部に登録された文字を検索して、この文字に対応する音声信号を生成することを特徴とする請求項１または２に記載の音声発生システム。
【請求項４】
上記音声発生装置が、上記制御部からの音声信号により音声を外部に出力する音声出力部を備えていることを特徴とする請求項１〜３のいずれかに記載の音声発生システム。
【請求項５】
上記音声発生装置が、上記制御部からの音声信号の文字に対応して出力される画像信号により当該音声に対応する文字を表示する画像出力部を備えていることを特徴とする請求項１〜４のいずれかに記載の音声発生システム。
【請求項６】
上記音声発生装置が、データ記憶部に使用者の口形データおよび風圧データを登録する際に、使用者に対して発声すべき文字を表示する表示部を備えていることを特徴とする請求項１〜５のいずれかに記載の音声発生システム。
【請求項７】
上記表示部が、画像出力部により構成されていることを特徴とする請求項６に記載の音声発声システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の発声時の口の形状に基づいて、対応する音声を発生させるための技術に関する。
【背景技術】
【０００２】
従来、発声障害者が健常者と意思の疎通を図る場合、手話を利用したり、あるいは発声障害者が発声技術を習得するようにしている。
しかしながら、手話を利用する場合、相手方の健常者も手話を利用する必要があるが、一般的に手話を利用できる健常者は少ないことから、なかなか意思の疎通を図ることは困難である。
【０００３】
これに対して、発声障害者が発声技術を習得する場合、特に生まれながらの完全失聴者は、なかなか発声を習得することが困難であると共に、発声を確認するためには、一人では練習することができないので、発声技術の習得には長い期間が必要になってしまう。
【０００４】
これに対して、例えば特許文献１においては、声を出さずに映像入力装置ちより通話を可能にする通信通話装置としての無声入力通信装置が開示されている。
この構成によれば、話者の口の動きをＣＣＤカメラ等の入力手段により撮像して、この撮像信号を電子回路により解析して、解析結果に基づいて音声合成により、上記口の動きに対応した音声信号を生成して、相手先に送信あるいはスピーカにより外部音を発生するようになっている。
【０００５】
また、特許文献２においては、話者による言語情報と非言語情報を、同時にユーザに対して視覚的に表示するようにした、音声表示システムが開示されている。
この構成によれば、話者の音声を、音声認識により文字列等の言語情報に変換し、また話者の唇，目等の顔の各部の動きや主話，ジェスチャー等の動作等の非言語情報を、上記言語情報と共に透過型表示装置に表示する。
【特許文献１】特開２００２−１３５３７６号公報
【特許文献２】特開２００２−２４４８４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１による無声入力通信装置は、ＣＣＤカメラ等の入力手段により、話者の口の動きを撮像し、電子回路により解析することにより、音声合成するようになっている。このため、話者は、ＣＣＤカメラ等の入力手段の撮像範囲に口を位置決めして話す必要があり、あまり動き回ることができない。また、話者の基地の動きを撮像するためには、撮像可能な明るさが必要であり、暗い場所では撮像することができず、あるいは照明手段が必要になってしまう。
【０００７】
また、上述した特許文献２による音声表示システムは、話者である健常者と相手方である聴覚障害者との意思の疎通を図るものであり、本発明とは目的が異なるものである。
【０００８】
本発明は、上記の問題を解決すべくなされたものであり、発声障害者の口の動きを形状的に検出して、その形状に基づいて音声合成を行なうことにより、発声障害者と健常者との間で容易に会話を楽しめると共に、生まれながらの完全失聴者の発声教育を容易にするようにした、音声発生システムの提供を目的とする。
【課題を解決するための手段】
【０００９】
この目的を達成するため、本発明の請求項１記載の音声発生システムは、発声しようとする使用者の口の形状に対応する口形データを検出する口形認識センサー部を備え、使用者の口部に装着されるマスク部と、上記マスク部の口形認識センサー部からの口形データの検出信号に基づいて口形を認識する口形データ認識部と、口形データ認識部で認識された口形に対応して音声信号を生成する制御部と、を備えた音声発生装置と、を設けた構成としてある。
【００１０】
音声発生システムをこのような構成とすると、使用者が所定の文字を発声しようとして、口を動かすと、口部に装着したマスク部に設けられた口形認識センサー部が、使用者の口の形状に対応する口形データを検出して、音声発生装置の口形データ認識部に出力する。
これにより、音声発生装置の口形データ認識部は、この口形データに基づいて、使用者のそのときの口形を認識する。そして、音声発生装置の制御部が、口形データ認識部で認識された口形に対応する音声信号を生成する。
【００１１】
したがって、使用者が所定の文字を発声しようとして、実際には発声していなくても、その発声しようとする口形が、マスク部の口形認識センサー部により検出され、音声発生装置の口形データ認識部で口形が認識され、この口形に対応する音声信号が制御部により生成される。これにより、例えば使用者が発生障害者であっても、発生するための口形を真似ることにより、発声しようとする文字を音声発生システムにより実際の音声信号に変換して、この音声信号により会話の相手方に伝達することができる。
【００１２】
請求項２記載の音声発生システムは、上記マスク部が、発声しようとする際の使用者の口からの風圧を検出する風力測定部を備えており、上記音声発生装置が、上記マスク部の風力測定部からの検出信号に基づいて、風圧データを識別する音声信号処理部を備えていて、上記音声発生装置の制御部が、口形データ認識部で認識された口形と音声信号処理部により識別された風圧データの組合せに基づいて、音声信号を生成する構成としてある。
【００１３】
音声発生システムをこのような構成とすると、発声しようとする際の使用者の口形に加えて、口からの風圧を風力測定部で検出して、音声発生装置の音声信号処理部により風圧データを識別することにより、音声発生装置の制御部が、口形データ認識部で認識された口形から音声信号を生成する際に、この識別された風圧データも参照して、口形と風圧データの組合せに基づいて、音声信号を生成することにより、上記口形により正確に対応した音声信号を生成することができる。
【００１４】
請求項３記載の音声発生システムは、上記音声発生装置が、上記使用者の口形データ認識部で認識された口形および／または音声信号処理部により識別された風圧データに対応する文字が前もって登録されたデータ記憶部を備えており、上記制御部が、口形データ認識部で認識された口形と音声信号処理部により識別された風圧データの組合せに基づいて、上記データ記憶部に登録された文字を検索して、この文字に対応する音声信号を生成する構成としてある。
【００１５】
音声発生システムをこのような構成とすると、制御部が、当該使用者の口形および／または風圧データが前もって対応する文字と関連付けてデータ記憶部に登録されていることにより、上記制御部が、音声信号を生成する際に、当該使用者の口形および／または風圧データに対してより一層正確に対応した音声信号を生成することができる。
【００１６】
請求項４記載の音声発生システムは、上記音声発生装置が、上記制御部からの音声信号により音声を外部に出力する音声出力部を備えている構成としてある。
【００１７】
音声発生システムをこのような構成とすると、制御部により生成された音声信号が、音声出力部により音声として外部に出力されることにより、使用者の会話の相手方に対して、直接に音声として伝達されることになる。
【００１８】
請求項５記載の音声発生システムは、上記音声発生装置が、上記制御部からの音声信号の文字に対応して出力される画像信号により当該音声に対応する文字を表示する画像出力部を備えている構成としてある。
【００１９】
音声発生システムをこのような構成とすると、制御部により生成された音声信号が表わす音が、画像出力部により文字として出力されることにより、使用者の会話の相手方に対して、使用者が発声しようとした文字が視覚的に伝達されると共に、使用者が例えば生まれつきの完全失聴者であるときに、自分で発声しようとした文字が画像出力部により文字として出力されることによって、一人で発声練習を行なうことができるので、発声技術の習得または教育に利用することができる。
【００２０】
請求項６記載の音声発生システムは、上記音声発生装置が、データ記憶部に使用者の口形データおよび風圧データを登録する際に、使用者に対して発声すべき文字を表示する表示部を備えている構成としてある。
【００２１】
音声発生システムをこのような構成とすると、使用者は、表示部に表示された文字を見て、その文字を発声しようとすることにより、この文字に対応した当該使用者の口形および／または風圧データをマスク部の口形認識センサー部および風力測定部により検出して、容易にデータ記憶部に登録することができる。
【００２２】
請求項７記載の音声発生システムは、上記表示部が、画像出力部により構成してある。
【００２３】
音声発生システムをこのような構成とすると、画像出力部の画面を表示部として機能させることにより、簡単な構成により、画像出力部および表示部の双方の機能を実現することができる。
【発明の効果】
【００２４】
このようにして、本発明によれば、例えば発声障害者が健常者に対して文字を伝達して、意思の疎通を図ることが可能になる。その際、使用者はマスク部を着用することにより、動き回ったとしても、その口形により文字を会話の相手方に確実に伝達することができると共に、会話の相手方も従来のような手話を習得する必要がなく、容易に発声障害者からの文字を受け取ることができる。
【００２５】
また、使用者の口形がマスク部の口形認識センサー部によって形状的に検出されることにより、例えば暗い場所であっても、照明手段等を使用することなく、容易にしかも確実に使用者の口形を検出することができる。
【００２６】
さらに、マスク部の風力測定部により使用者の風圧を検出して、音声信号処理部により識別することにより、音声発生装置の制御部が、口形から音声信号を生成する際に、この識別された風圧データを参照して、口形データと風圧データの組合せにより音声信号を生成することによって、より正確な音声信号を生成することができると共に、使用者が生まれつきの完全失聴者の場合でも、この風圧データを参照することによって、発声技術の練習を行なうことができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について、図面を参照して説明する。
【実施例１】
【００２８】
本発明の音声発生システムの第一の実施形態について、図１を参照して説明する。
図１は、音声発生システムの構成を示すブロック図である。
【００２９】
図１に示すように、音声発生システム１０は、マスク部１００と、音声発生部２００と、を含んでおり、マスク部１００と音声発生部２００とは、ケーブル３００により互いに接続されている。
【００３０】
上記マスク部１００は、使用者の口部に装着されるようになっており、図２に示すように、例えばその内面に設けられた口形認識センサー部１１０および風力測定部１２０と、を設けてある。
【００３１】
上記口形認識センサー部１１０は、例えば図３に示すように、上記マスク部１００の内面に沿って使用者の口部に対向するように並んで配置された複数個の圧力センサまたは接触センサ等のセンサ１１１から構成されており、各センサ１１１が、使用者が発声しようとして口を動かしたとき、使用者の口およびその周辺の各部の動きをそれぞれ検出して、全体として口形データの検出信号を、音声発生部２００の口形データ認識部２１０（後述）に対して出力するようになっている。
【００３２】
上記風力測定部１２０は、上記マスク部１００の内面にて使用者の口部のほぼ中心に対向するように配置された高感度マイク１２１から構成されており、この高感度マイク１２１が、使用者が発声しようとしたときの口から吐き出される空気の風圧を検出して、風圧データの検出信号を、音声発生部２００の音声信号処理部２２０（後述）に対して出力するようになっている。
【００３３】
これに対して、音声発生部２００は、図４に示すように、口形データ認識部２１０，音声信号処理部２２０，制御部２３０，音声出力部２４０，画像出力部２５０およびデータ記憶部２６０を設けてある。
【００３４】
上記口形データ認識部２１０は、上記マスク部１００の口形認識センサー部１１０の各センサー１１１からの口形データの検出信号が入力され、この口形データの検出信号に基づいて、使用者の口形を認識する。
具体的には、上記口形データ認識部２１０は、口形認識センサー部１１０からの口形データの検出信号を符号化して、各種口形、例えば５０音の各口形を識別する。
【００３５】
上記音声信号処理部２２０は、上記マスク部１００の風力測定部１２０の高感度マイク１２１からの風圧データの検出信号が入力され、この風圧データの検出信号を増幅して、識別する。
具体的には、上記音声信号処理部２２０は、上記マスク部１００の風力測定部１２０の高感度マイク１２１からの風圧データの検出信号を増幅した後、符号化し、各口形に対応する風圧データをそれぞれ識別するようになっている。
【００３６】
上記制御部２３０は、上記口形データ認識部２１０で認識された口形と、上記音声信号処理部２２０で識別された風圧データとに基づいて、データ記憶部２６０に前もって登録された当該使用者の口形データ，風圧データに対応する文字を参照して、上記口形に対応する音声信号を生成して、音声出力部２４０に出力すると共に、この音声信号に対応する文字の画像信号を画像出力部２５０に出力する。ここで、上記音声信号は、各口形に対応して、前もってプログラムされている。
【００３７】
上記音声出力部２４０は、上記制御部２３０からの音声信号に基づいて、使用者の口形に対応する音声を外部に出力するようになっている。
【００３８】
上記画像出力部２５０は、上記制御部２３０からの画像信号に基づいて、使用者の口形に対応する文字を表示部に表示するようになっている。
【００３９】
上記データ記憶部２６０は、当該使用者の口形データおよび風圧データに関連付けて文字が前もって登録されており、口形データ認識部２１０で認識された口形および音声信号処理部２４０からの風圧データから、対応する文字を検索して出力できるようになっている。
【００４０】
ここで、データ記憶部２６０へのデータの登録の際には、上記制御部２３０は、登録しようとする文字、例えばひらがなの一文字の画像信号を画像出力部２５０に出力して、画像出力部２５０の表示部に当該文字を表示させて、使用者の当該文字を発声させる。そして、上記制御部２３０は、マスク部１００の口形認識センサー部１１０の各センサー１１１からの口形データの検出信号による口形データと、風力測定部１２０の高感度マイク１２１からの風圧データとを、上述したように画像出力部２５０に出力した文字と関連づけて、データ記憶部２６０に登録するようになっている。
【００４１】
次に、本実施形態の音声発生システムの動作について、図５〜図６を参照して説明する。
音声発生システムは、図５に示すデータ登録作業および図６に示す音声発生作業の各ステップで利用される。
【００４２】
まず、データ登録作業について、図５のフローチャートを参照して説明する。
データ登録作業を行なう場合、使用者は、口部にマスク部１００を装着すると共に、マスク部１００と音声発生部２００とをケーブル３００で接続しておく。
そして、図５において、ステップＡ１にて、音声発生部２００の制御部２３０が、登録すべき文字に対応する画像信号を画像出力部２５０に出力する。これにより、ステップＡ２にて、画像出力部２５０には、登録すべき文字、例えばひらがな一文字が表示される。
【００４３】
そして、使用者は、ステップＡ３にて、画像出力部２５０の文字を見て、この文字を発声しようとする。これにより、ステップＡ４にて、マスク部１００の口形認識センサー部１１０の各センサー１１１が、図７に示すような使用者の口の動きを検出して、口形データの検出信号を音声発生部２００の口形データ認識部２１０に出力する。
同時に、ステップＡ５にて、マスク部１００の風力測定部１２０の高感度マイク１２１が、使用者の口からの空気の風圧による音声を検出して、風圧データの検出信号を音声発生部２００の音声信号処理部２２０に出力する。
【００４４】
これを受けて、音声発生部２００では、ステップＡ６にて、口形データ認識部２１０が、マスク部１００の口形認識センサー部１１０の各センサー１１１からの口形データの検出信号を符号化して、使用者の口形を認識し、例えば５０音の各口形を識別し、制御部２３０に出力する。
同時に、ステップＡ７にて、音声信号処理部２２０が、上記マスク部１００の風力測定部１２０の高感度マイク１２１からの風圧データの検出信号を符号化して、各口形に対応する風圧データを識別し、制御部２３０に出力する。
【００４５】
次に、ステップＡ８にて、音声発生部２００の制御部２３０が、口形データ認識部２１０で認識された口形および音声信号処理部２２０で認識された風圧データを、前述したステップＡ１で画像出力部２５０に出力した画像信号が表わす文字に関連付けて、データ記憶部２６０に登録する。
そして、ステップＡ９にて、次の登録すべき文字があるか否か判定し、次の文字がある場合には、ステップＡ１に戻って、上述したステップＡ１〜Ａ８の作業を、例えば５０音の各口形について繰返し行なうことにより、当該使用者の各種口形，風圧に対応する文字が登録されることになる。
また、ステップＡ９にて、すべての文字の登録が終了して、次の文字がない場合には、作業を終了する。
以上で、データ登録作業が完了する。
【００４６】
次に、音声発生作業について、図６のフローチャートを参照して説明する。
音声発生作業を行なう場合、使用者は、例えば図８に示すように、口部にマスク部１００を装着すると共に、マスク部１００と音声発生部２００とをケーブル３００で接続し、音声発生部２００を手で持つ。この場合、音声発生部２００の音声出力部２４０を会話の相手方に向けておくことが望ましい。
【００４７】
図６において、ステップＢ１にて、使用者が所定の文字を発声しようとして、口を動かすと、ステップＢ２にて、マスク部１００の口形認識センサー部１１０の各センサー１１１が、使用者の口の動きを検出して、口形データの検出信号を音声発生部２００の口形データ認識部２１０に出力する。
同時にステップＢ３にて、マスク部１００の風力測定部１２０の高感度マイク１２１が、使用者の口からの空気の風圧による音声を検出して、風圧データの検出信号を音声発生部２００の音声信号処理部２２０に出力する。
【００４８】
これを受けて、音声発生部２００では、ステップＢ４にて、口形データ認識部２１０が、マスク部１００の口形認識センサー部１１０の各センサー１１１からの口形データの検出信号を符号化して、使用者の口形を認識し、例えば５０音の各口形を識別し、制御部２３０に出力する。
同時に、ステップＢ５にて、音声信号処理部２２０が、上記マスク部１００の風力測定部１２０の高感度マイク１２１からの風圧データの検出信号を符号化して、各口形に対応する風圧データを識別し、制御部２３０に出力する。
【００４９】
次に、ステップＢ６にて、音声発生部２００の制御部２３０が、口形データ認識部２１０で認識された口形および音声信号処理部２２０で認識された風圧データに基づいて、データ記憶部２６０を検索して、ステップＢ７にて、対応する文字を読み出す。
続いて、音声発生部２００の制御部２３０が、ステップＢ８にて、この文字に対応する音声信号を生成し、ステップＢ９にて、音声出力部２４０に出力すると共に、同時にステップＢ１０にて、この文字に対応する画像信号を生成して、ステップＢ１１にて、画像出力部２５０に出力する。
【００５０】
これにより、ステップＢ１２にて、音声出力部２４０から上記口形データに対応する文字が音声として出力されると共に、ステップＢ１３にて、画像出力部２５０の表示部にて当該文字が表示される。
したがって、使用者の会話の相手方は、使用者が発声しようとした文字を、音声出力部２４０からの音声と画像出力部２５０における文字表示によって、容易に認識することができる。
【００５１】
このようにして、例えば発声障害者が実際には発声しなくても、その口の動きが口形データとしてマスク部１００の口形認識センサー部１１０により検出され、またそのときの口からの空気の風圧がマスク部１００の風力測定部１２０により風圧データとして検出されることによって、音声発生部２００の制御部２３０が、これらの口形データおよび風圧データに基づいて、使用者の口形を認識し、この口形に対応する文字の音声信号を生成して、音声出力部２４０から音声として出力する。
したがって、会話の相手方は、使用者の発声しようとする文字を、実際に使用者が発声しているかのように、音声発生部２００の音声出力部２４０からの音声として聞き取ることができるので、発声障害者が健常者に対して話し掛けることが可能となり、発声障害者と健常者とが互いに会話を行なうことができる。
以上で、音声発声作業が完了する。
【産業上の利用可能性】
【００５２】
上述した実施形態においては、画像出力部２５０は、音声発生部２００内に内蔵されているが、これに限らず、外部に着脱可能に接続されるように構成されていてもよい。これにより、画像出力部２５０は、必要な時には接続され、不要なときには取り外され、容易に携帯することができる。
【００５３】
また、上述した実施形態においては、使用者が発声しようとするとき、その口形データおよび風圧データを検出するようになっているが、これに限らず、風力測定部１２０および音声信号処理部２２０が省略されてもよい。この場合、制御部２３０は、口形データのみに基づいて、音声信号を生成することになる。
【００５４】
さらに、上述した実施形態においては、使用者の発声しようとするときの口形データおよび風圧データが前もって対応する文字と関連付けてデータ記憶部２６０に登録されているが、データ記憶部２６０が省略されてもよい。この場合、制御部２３０は、口形データおよび風圧データに基づいて、音声信号を生成することになる。
【００５５】
このようにして、本発明によれば、発声障害者の口の動きを形状的に検出して、その形状に基づいて音声合成を行なうことにより、発声障害者と健常者との間で容易に会話を楽しめると共に、生まれながらの完全失聴者の発声教育を容易にする音声発生システムを提供することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明による音声発生システムの一実施形態の構成を示すブロック図である。
【図２】図１の音声発生システムにおけるマスク部の構成を示すブロック図である。
【図３】図２のマスク部における口形認識センサー部の具体的構成を示す概略図である。
【図４】図１の音声発生システムにおける音声発生部の構成を示すブロック図である。
【図５】図１の音声発生システムにおけるデータ登録作業を示すフローチャートである。
【図６】図１の音声発生システムにおける音声発生作業を示すフローチャートである。
【図７】図３の口形認識センサー部の各種口形の検出状態を示す図である。
【図８】図１の音声発生システムの使用状態を示す概略図である。
【符号の説明】
【００５７】
１０    音声発生システム
１００  マスク部
１１０  口形認識センサー部
１１１  センサー
１２０  風力測定部
１２１  高感度マイク
２００  音声発生部
２１０  口形データ認識部
２２０  音声信号処理部
２３０  制御部
２４０  音声出力部
２５０  画像出力部
２６０  データ記憶部
【図１】
2005241744.tif 000003
【図２】
2005241744.tif 000004
【図３】
2005241744.tif 000005
【図４】
2005241744.tif 000006
【図５】
2005241744.tif 000007
【図６】
2005241744.tif 000008
【図７】
2005241744.tif 000009
【図８】
2005241744.tif 000010