(57)【要約】【課題】ユーザの口部の形状を認識し該形状に応じ意図した正しい音声を出力する無音声通信システムを提供する。【解決手段】画像撮影部１はユーザの口部を所定の時間間隔毎に撮影し、画像解析部４は基本口形画像データベース５を参照して撮影画像から口部の形状に応じた文字を認識し、文字列変換部６は認識した文字を複数ならべた文字列とし、語彙データベース７を参照して当該文字列に近い語彙を複数検索し、選択頻度データベース８上で使用頻度の高い語彙順の複数の文字列を候補として出力する。音声合成出力部１０は文字列を使用頻度の高い順に音声信号に変換してイヤホン１２に出力し、ユーザはイヤホン１２からの可聴音が意図したものか否かを判定し、認識結果判定スイッチ１３を操作することにより、意図した音声信号を外部出力部１１に出力し、当該文字列を選択頻度データベース８に登録する。【選択図】図１
2005033568.tif 000002
【特許請求の範囲】
【請求項１】
口部を撮影する画像撮影部と、撮影した画像データから文字データを生成する画像解析部と、前記文字データから文字列データを生成する文字列変換部と、前記文字列データから音声データを合成する音声合成出力部と、前記音声データを音声に変換する音声出力部と、前記文字列データを外部出力部に出力するか否かを選択する認識結果判定スイッチと、を備えることを特徴とする無音声通信システム。
【請求項２】
画像データの口部の形状と文字データとの関係をデータベースとする基本口形画像データベースを備え、前記画像解析部は、前記基本口形画像データベースを参照して前記撮影画像の口部の形状から文字データを生成することを特徴とする請求項１記載の無音声通信システム。
【請求項３】
文字列データの作成タイミングを制御する認識開始通知スイッチを備え、前記認識開始通知スイッチの操作時点を文字列の区切りとして、前記文字列変換部は前記画像解析部から入力した当該時点までの文字データを文字列データに変換して出力することを特徴とする請求項１又は２記載の無音声通信システム。
【請求項４】
同じ文字データが一定数連続した時点を文字列の区切りとして、前記文字列変換部は前記画像解析部から入力した当該時点までの文字データを文字列データに変換して出力することを特徴とする請求項１又は２記載の無音声通信システム。
【請求項５】
前記画像解析部は同じ文字データが一定数連続した時点で、当該連続する文字データの後続の文字データを間引いて前記文字列変換部に出力するとともに、当該時点までの文字データを文字列データとして出力するように前記文字列変換部を制御することを特徴とする請求項４記載の無音声通信システム。
【請求項６】
語彙群を収録した語彙データベースと使用頻度を記録した選択頻度データベースを備え、前記文字列変換部は、前記語彙データベース及び選択頻度データベースを参照して１ないし複数の文字例データを使用頻度順に認識結果判定スイッチにより音声合成出力部に順次出力することを特徴とする請求項１ないし５の何れか１つの請求項記載の無音声通信システム。
【請求項７】
口部を覆い該口部を撮影するためのマスクを備え、少なくとも口部を照明する照明部と口部を撮影する前記画像撮影部を前記マスクの内側に配置したことを特徴とする請求項１〜６の何れか１つの請求項記載の無音声通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無音声通信システムに関し、特に、音声を発することなく通話を可能とする無音声通信システムに関する。
【背景技術】
【０００２】
従来の無音声通話手段としては、口唇形状から音声を認識して信号を送信する送信器と、前記信号を受信して音声に復号する受信器とからなる音声処理装置及び電話装置が知られている（特許文献１、図６、１１、段落0039参照）。
【０００３】
図９は、特許文献１記載の装置の構成を示す図である。この装置の送信器は図９（ａ）に示すように、口唇形状の画像データを入力し当該口唇形状の画像データに応じた音声合成用元データを出力する口唇形状認識部１ａと、前記音声合成用元データから音声合成、符号化及び送信をそれぞれ行う音声合成部２ａ、音声符号化部３ａ及び送信部４ａとを備え、受信部５ａ及び音声復号化部６ａを備える受信器側と声を出さずに通話を可能としようとするものである。口唇形状認識部９１は図９（ｂ）に示すように、口唇付近の形状を撮影してデータを出力する入力部１ｂと、画像データに対応する音声合成用元データがデータベース５ｂとして格納されたメモリ部４ｂと、入力部１ｂからの画像データに応じた音声合成用元データをデータ出力部３ｂに出力する制御部２ｂから構成されている。
【０００４】
【特許文献１】特開平１０−２４０２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の音声処理装置及び電話装置は、口唇等により発語しようとする音声データを生成することが可能であるとしているが、単に、画像データに対応する音声合成用元データをデータベースに基づいて生成することが開示されているにすぎず、ユーザが意図する音声を正しく生成するための具体的、論理的な認識処理の開示はなされていない。
【０００６】
（目的）
本発明の目的は、ユーザの口部の形状を認識し該形状に応じ意図した正しい音声を出力する新規な無音声通信システムを提供することにある。  
本発明の目的は、口部の形状の認識に対するユーザの確認操作を含む音声の無音声通信システムを提供することにある。  
本発明の他の目的は、口部の形状を撮影するためのマスクを用いた無音声通信システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は音声発話が困難な状況等においての通話を可能とするために、ユーザが発話する際の口の形を識別し音声合成することで正しい音声発話を行う新規な手段を提供する。本発明の無音声通話システムは、口部を撮影する画像撮影部と、撮影した画像データから文字データを生成する画像解析部と、前記文字データから文字列データを生成する文字列変換部と、前記文字列データから音声データを合成する音声合成出力部と、前記音声データを音声に変換する音声出力部（例えば図１の１２）と、前記文字列データを外部出力部に出力するか否かを選択する認識結果判定スイッチ（例えば図１の９）と、を備え、更に、画像データの口部の形状と文字データとの関係をデータベースとする基本口形画像データベースを備え、前記画像解析部は、前記基本口形画像データベースを参照して前記撮影画像の口部の形状から文字データを生成することを特徴とする。
【０００８】
また、文字列データの作成タイミングを制御する認識開始通知スイッチを備え、前記認識開始通知スイッチの操作時点を文字列の区切りとして、前記文字列変換部は前記画像解析部から入力した当該時点までの文字データを文字列データに変換して出力することを特徴とし、又は、前記画像解析部は同じ文字データが一定数連続した時点で、当該連続する文字データの後続の文字データを間引いて前記文字列変換部に出力するとともに、当該時点までの文字データを文字列データとして出力するように前記文字列変換部を制御することを特徴とする。
【０００９】
更に、語彙群を収録した語彙データベースと使用頻度を記録した選択頻度データベースを備え、前記文字列変換部は、前記語彙データベース及び選択頻度データベースを参照して１ないし複数の文字例データを使用頻度順に認識結果判定スイッチにより音声合成出力部に順次出力することを特徴とし、口部を覆い該口部を撮影するためのマスクを備え、少なくとも口部を照明する照明部と口部を撮影する前記画像撮影部を前記マスクの内側に配置したことを特徴とする。
【００１０】
より具体的には、照明部３で照らされたユーザの口の部分を、タイマー部２で設定された時間間隔毎に画像撮影部１で撮影し、その結果を画像解析部４に通知する。画像解析部４は基本口形画像データベース５を参照し、その口の形が何の文字を発する際の形に類似するかを判断し、その結果を文字データで文字列変換部６に出力する。文字列変換部６は文字データを複数ならべた文字列データを語彙データベース７の内容と比較し、当該文字列データに近い語彙を複数検索し、その語彙の中から選択頻度データベース８上で使用頻度の高い語彙順の１ないし複数の文字列データを候補として音声合成出力部１０に出力する。音声合成出力部１０は文字列データを音声データに変換してイヤホン１２に出力する。ユーザはイヤホン１２からの可聴音によりユーザの意図したものか否かを判定し、それぞれ認識ＯＫ又は認識ＮＧとして出力可能な認識結果判定スイッチ１３を操作することにより、それぞれ音声データを外部出力部１１に出力するか、又は次候補の音声データを外部出力部１１に出力する。認識ＯＫの場合、音声合成出力部１０は音声データを外部出力部１１に出力するとともに、当該文字列データを選択頻度データベース８に登録し、そうでない場合は次の候補をイヤホン１２から出力する処理を繰り返すことで音声発語を実現する。（図３）
【発明の効果】
【００１１】
本発明によれば、口部の形状から文字データに、前記文字データを文字列データに、前記文字列データを音声データに順次変換することで音声の合成を実現し、ユーザは一切発声する必要がなく、口の動きと手の操作で発話内容を決定することができるから、ユーザが発話したい正しい内容をスピーカや電話機のマイク端子等に出力することで相手と通信することが可能である。電車内など発話できない環境内や身体的な問題で声を発声することができない等において極めて有効である。
【００１２】
また、口の動きに関連して認識開始のタイミングを制御するスイッチと認識結果の判定用のスイッチを用いる構成とすることにより、ユーザの意図した正しい音声データを確実に合成することが可能である。また、一定時間発話を停止する等、同じ文字データが一定数連続するような口の動かし方により、文字列区切りとして文字列変換を開始する構成とすることにより、スイッチ操作をすることなく当該時点までの文字列データを生成し音声データに変換して自動的に発声することが可能である。
【００１３】
また、内側に照明部及び画像撮影部を備えユーザの口部を覆い隠すマスクを使用することにより、ユーザが使用する場所の明るさに影響を受けることなく、また、ユーザが発話したい内容を周囲にいるユーザ以外から悟られること無く発声することが可能である。
【発明を実施するための最良の形態】
【００１４】
（構成の説明）
図１は本発明の無音声通信システムの一実施の形態を示す図である。本実施の形態の無音声通信システムは、ユーザの口の付近（口部）を撮影し画像データ（画像）を出力する画像撮影部１と、一定時間間隔毎に画像撮影部１の撮影動作を行わせる信号を出力するタイマー部２と、ユーザの口部を明るく照らすための照明部３と、画像撮影部１で撮影された画像を解析する画像解析部４と、ユーザが特定の文字を発声する際にどのような口の形になっているかの画像、つまり特定の文字と該特定の文字に対応するユーザの口の形の画像との関係を記録した基本口形画像データベース５と、画像解析部４の結果から推測される文字列を出力する文字列変換部６と、文字列変換部６で文字列を生成する際の語彙データである語彙データベース７と、過去にユーザが選択した文字列と該文字列毎の利用頻度を保存した選択頻度データベース８と、文字を文字列に変換するタイミングをユーザから文字列変換部６に通知するための認識開始通知スイッチ９と、文字列を音声として出力する音声合成出力部１０と、音声を外部に出力するための外部出力部１１と、ユーザが音声合成部１０の出力を聞くためのイヤホン１２と、音声合成部１０の出力から認識結果がユーザの意図する文字列か否かを判断し、ユーザが文字列変換部６に通知するための認識結果判定スイッチ１３と、から構成されている。
【００１５】
各部の構成及び機能について説明する。  
画像撮影部１は、ユーザの口の形を静止画として撮影するための撮影装置である。タイマー部２は一定時間間隔毎にユーザの口の形を撮影するためのタイミング信号を出力する前記時間間隔を設定可能なタイマーである。タイマー部２から一定時間毎に画像撮影部１に撮影の指示信号を送り、画像撮影部１は該指示信号によりユーザの口を撮影する。照明部３は、画像撮影部１による撮影対象のユーザの口の部分を明るく照らし、鮮明な画像の撮影を可能とする。
【００１６】
画像解析部４は、画像撮影部１で撮影された画像を解析し、当該画像のユーザの口の形から、通常ユーザが発声する際にもっとも近い音を特定し、当該音に対応する文字データ（文字）を出力する。基本口形画像データベース５は、通常ユーザが発声する音とその際の口の形の画像データとの関係をデータベースとしたものであり、画像解析部４が画像のユーザの口の形から音を特定する際に参照される。
【００１７】
文字列変換部６は、画像解析部４から出力される複数の文字を集めて、ユーザが発声している文字を結合するとともに、語彙データベース７及び選択頻度データベース８を参照して出力する文字列の候補を特定する機能を備えている。ここで語彙データベース７は、文字列変換部６がユーザの発声しようとする文字列を特定する際に参照される語彙群であり、文字列変換部６は語彙データベース７からユーザの発声しようとする文字列を探し出して文字列を特定する。また、選択頻度データベース８は、ユーザが過去に選択した文字列の頻度データをデータベースとしたものであり、文字列変換部６での文字列の特定において参照される。
【００１８】
認識開始通知スイッチ９は、ユーザが手動で操作するスイッチであり、ユーザが認識開始通知スイッチ９を押下することで、それまでに画像解析部４から文字列変換部６に出力された文字を文字列に変換するよう通知するための機能を備えている。
【００１９】
音声合成出力部１０は、文字列変換部６で特定した文字列を外部出力部１１、もしくはイヤホン１２から音声出力する機能を有する。イヤホン１２は、音声合成出力部１０の出力をユーザに対して音声として出力し、当該音声の出力を外部出力部１１へ出力するか否かをユーザにより判断可能とするものであり、外部出力部１１は音声出力を携帯電話機等の音声入力部に出力する機能を備える。
【００２０】
認識結果判定スイッチ１３は、文字列変換部６での文字列の特定結果についてイヤホン１２から出力される音声に基づいて、ユーザがその良否を判断し、その音声出力を外部出力部１１へ出力するか又は当該文字列を廃棄して文字列変換部６での次の候補である新たな文字列の特定を指示するか等を選択する機能を備える。認識結果判定スイッチ１３からの指示が認識ＯＫの場合、その音声出力を外部出力部１１に切り替え出力する機能を備えている。また、当該文字列は選択頻度データベース８に登録される。また、認識結果判定スイッチ１３からの指示が認識ＮＧの場合、当該音声出力は廃棄される。
【００２１】
図２は本実施の形態の画像撮影手段を示す図である。ユーザの口の部分に装着可能なマスク部Ａ１と、ユーザの耳に装着可能なイヤホン部Ａ２と、手に持ち操作可能なスイッチ部Ａ４と、外部機器等と接続可能な外部出力部Ａ３とから構成される。本例ではマスク部Ａ１には、図１に示す画像撮影部１のみ、又は画像撮影部１ないし選択頻度データベース８及び音声合成出力部１０を設けることができ、また、スイッチ部Ａ４には図１に示す認識開始通知スイッチ９と認識結果判定スイッチ１３が設けられる。ユーザはマスク部Ａ１を口の部分に装着し、イヤホン部Ａ２を耳に装着し、音声を発することなく口を動かし、認識された文字列の音声をイヤホン部Ａ２により確認してスイッチ部Ａ４を操作して口部による正しい音声の認識結果のみを音声合成出力から外部出力部１１に出力する。
【００２２】
（動作の説明）
次に、図１、２、３、４、５及び６を参照して本実施の形態の動作について詳細に説明する。  
図３は本実施の形態の動作フローチャートを示す図である。ユーザは声を出さずに任意の文字を発話するように口だけを動かす（ステップＢ１）。この間にタイマー部２は固定時間間隔（１秒）が経過する毎に画像撮影部１に撮影指示の信号を通知する。画像撮影部１はこの通知を受ける毎にユーザの口を撮影し（ステップＢ３）、撮影した画像を画像解析部４に送信する（ステップＢ４）。なお、画像の撮影間隔が通常の会話等の語間より長い１秒間隔に設定したことにより、当該間隔に応じてユーザは文字を区切って発話するように口を動かす必要がある。
【００２３】
図４は画像解析部４の動作フローチャートを示す図である。画像解析部４では画像撮影部１で撮影した画像を受信し（ステップＣ１）、基本口形画像データベース５から１つの画像データ（画像）を取り出し（ステップＣ２）、両者のマッチングの比較をして一致の度合いを数値化する（ステップＣ３）。基本口形画像データベース５内の画像の全点についてこれを繰り返し（ステップＣ４）、類似度合いの大きい口の形に対応する声を判定し、その文字データ（文字）を文字列変換部６に送信する（ステップＣ５）。
【００２４】
図５は文字列変換部６の動作フローチャートを示す図であり、図６は語彙データベースのデータの構成を示す図である。文字列変換部６では、受信した１字１字の文字データをまとめて文字列データ（文字列）に変換する処理を行う。文字列変換部６では、ユーザが認識開始通知スイッチ９を押すまで、画像解析部４から受信した文字情報を受信した順に結合し文字列化する（ステップＤ１およびステップＤ２）。認識開始通知スイッチ９が押されたら、文字列変換部６は、語彙データベース７から１つのデータを読み出す（ステップＤ３）。このとき読み出されるデータは図６に示すように、口の形から発せられる母音や”ん”等により構成される音データと、音データと対になる出力単語データから構成される。文字列変換部６は、音データと画像解析部４から受信した文字により作られた文字列を比較し一致度合いを数値化し（ステップＤ４）、出力単語データと対にして保持する。これを語彙データベース７内の全てのデータに対して実施し（ステップＤ５）、完了時に一致度が高い順に出力単語データの値を並べ、一番一致度の高い出力単語データを音声合成出力部１０に出力する。
【００２５】
音声合成出力部１０は受信した出力単語データをイヤホン１２に出力する。ユーザはその内容を聞き、ユーザの意図する結果であれば、ユーザにより認識結果判定スイッチ１３の認識ＯＫボタンが押下される。認識ＯＫボタンによる通知は音声合成出力部１０に通知され、音声合成出力部１０から当該出力単語データが外部出力部１１に出力される。また、ユーザが意図しない結果であれば、ユーザにより認識結果判定スイッチ１３の認識ＮＧボタンが押下される。認識ＮＧボタンによる通知は文字列変換部６に通知され、文字列変換部６はこの通知により次に一致度の高い出力単語データを音声合成出力部１０に出力し、音声合成出力部１０は再び当該出力単語データをイヤホン１２に出力し、ユーザによる判定が行われ、以上と同様な処理が行われる。以上の処理によりユーザが発声することなく、発話したい内容を正しく出力することが可能となる。
【００２６】
（他の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。  
図７は、本発明の第２の実施の形態を示す図である。第２の実施の形態は、通常の会話における発語に近い口の動きによって画像認識及び音声合成を可能とし、文字変換のタイミングもユーザから通知する操作を不要としたものである。
【００２７】
本実施の形態では、図１に示すような認識開始通知スイッチ９を不要とし、また、連続的に画像を解析する画像解析部（以下、「連続画像解析部」という。）１４を備える。タイマー部１５は１秒よりも短い時間間隔のｎ秒毎に画像撮影部１に信号を送り、画像撮影部１はｎ秒毎にユーザの口の形を撮影し、連続画像解析部１４に画像を連続的に送信する。連続画像解析部１４は文字列変換部６に変換開始をも通知するように構成し、図１に示すような認識開始通知スイッチ９を不要としている。
【００２８】
このため連続画像解析部１４は、画像撮影部１で撮影された画像を基本口形画像データベース５の画像と連続して比較する機能に加え、１秒より短い時間間隔で画像を撮影することにより同じ口の形を重複して撮影した場合、この重複する後続の画像を排除するため不要な画像情報を間引く、例えば３個以上、同じ文字が連続して認識される場合にユーザの発話の区切りと認識し、当該連続する同一文字から後続の文字、例えば最初の１文字以外の全てを間引いて、文字列変換部６に先頭の文字データを出力するとともに、文字列変換部６に対して認識開始を通知する機能を有する。
【００２９】
図８は第２の実施の形態の動作フローチャートを示す図である。以下、図７および図８を参照して第２の実施の形態の動作について説明する。  
第２の実施の形態は、第１の実施の形態と比較して、タイマー部２から通知される撮影間隔がｎ（＜１）秒であること、画像撮影部１で撮影された画像は連続画像解析部１４が入力して文字データを認識し文字列変換部６に通知するとともに、連続画像解析部１４が文字列変換部６に文字列データの特定等の認識開始を通知すること等以外は第１の実施の形態と同様である。
【００３０】
図８を参照すると、第２の実施の形態では、連続画像解析部１４の内部処理用に記憶された文字列を初期化し（ステップＥ１）、その後、画像撮影部１で撮影された画像は、連続画像解析部１４に送られる（ステップＥ２）。連続画像解析部１４では、第１の実施の形態の画像解析部４と同様に、基本口形画像データベース５の画像と受信した画像を１データ読み込み（ステップＥ３）、マッチングの比較を行い、一致の度合いを数値化する（ステップＥ４）。これを基本口形画像データベース５の全件に対して行い（ステップＥ５）、全件チェック完了時に、一致の度合いが最大となるものに対応する文字を既に格納されている内部処理用の文字列の後ろに結合する（ステップＥ６）とともに文字列変換部６に文字データを出力する。ここで、３個以上、同じ文字が連続して結合しないかぎりステップＥ２の処理から繰り返して内部処理用の文字列の結合を継続する（ステップＥ７、ＮＯ）。  
また、ステップＥ７において、３個以上、同じ文字が連続して結合した場合（ステップＥ７、ＹＥＳ）、ユーザの発話の区切りと認識し、連続する同一文字から最初の１文字以外全て間引いて（ステップＥ８）、文字列変換部６に先頭の文字データを出力するとともに、文字列変換部６に対して認識開始を通知する（ステップＥ９）。  
以上の連続画像解析部１４の動作による文字データ及び認識開始の通知に基づいて行われる文字変換部６の以降の動作は第１の実施の形態の動作と同様である。
【００３１】
以上のように、第１の実施の形態では、ユーザが口を動かす動作を１秒間隔ごとに行わなくてはならないため発話に当たる口の動きを円滑に行うことができないが、本実施の形態では、タイマー部２の通知間隔のｎ秒の値をそれより小さくすることで、ユーザが口を動かす際に１字１字間隔をあけずに行うことができ、また認識開始の制御も口の動きを止めたり口を閉じる等の通常の会話の仕草等により特定文字データを連続出力させることで可能であり、所定の文字列毎にユーザがスイッチ操作で通知する必要がないためより円滑な無音声通話を行うことが可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明の無音声通信システムの第１の実施の形態を示す図である。
【図２】第１の実施の形態の画像撮影手段を示す図である。
【図３】第１の実施の形態の動作フローチャートを示す図である。
【図４】画像解析部４の動作フローチャートを示す図である。
【図５】文字列変換部６の動作フローチャートを示す図である。
【図６】語彙データベースのデータの構成を示す図である。
【図７】本発明の第２の実施の形態を示す図である。
【図８】第２の実施の形態の動作フローチャートを示す図である。
【図９】従来の技術を示す図である。
【符号の説明】
【００３３】
１    画像撮影部
２    タイマー部
３    照明部
４    画像解析部
５    基本口形画像データベース
６    文字列変換部
７    語彙データベース
８    選択頻度データベース
９    認識開始通知スイッチ
１０    音声合成出力部
１１    外部出力部
１２    イヤホン
１３    認識結果判定スイッチ
１４    連続画像解析部
Ａ１    マスク部
Ａ２    スイッチ部
Ａ３    外部出力部
Ａ４    スイッチ部
【図１】
2005033568.tif 000003
【図２】
2005033568.tif 000004
【図３】
2005033568.tif 000005
【図４】
2005033568.tif 000006
【図５】
2005033568.tif 000007
【図６】
2005033568.tif 000008
【図７】
2005033568.tif 000009
【図８】
2005033568.tif 000010
【図９】
2005033568.tif 000011