(57)【要約】【課題】相手が健聴者、聴覚障害者に限らず、簡便に意思疎通を図る。【解決手段】ユーザは、カメラ１に向かって手話を行なう。手話認識部３は、画像認識結果に基づいて、ユーザ（聴覚障害者）の手話を認識する。手話⇔日本語変換部５は、手話認識結果に基づいて、ユーザの手話を日本語文章に変換し、日本語⇔音声変換部７は音声に変換する。該日本語文章、音声が相手端末へ送信され、相手端末で表示され、音声で出力される。また、相手端末からの音声を受信すると、日本語⇔音声変換部７は、受信した音声を日本語文章に変換し、さらに手話アニメーションに変換する。表示部９には、相手の音声に対応する日本語文章、手話アニメーションが表示される。【選択図】  図１
2004254218.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも音声と文字とを相手端末との間で無線通信により双方向伝送する携帯電話において、
ユーザを撮影する撮影手段と、
前記撮影手段により撮影されたユーザの手話を認識する手話認識手段と、
前記手話認識手段により認識されたユーザの手話を自然言語情報に変換する手話言語変換手段と、
前記手話言語変換手段により変換された自然言語情報を相手端末へ送信する送信手段と
を具備することを特徴とする携帯電話。
【請求項２】
前記手話言語変換手段により変換された自然言語情報を音声に変換する自然言語音声変換手段を具備し、
前記送信手段は、前記自然言語音声変換手段により変換された、ユーザの手話に対応する音声を相手端末へ送信することを特徴とする請求項１記載の携帯電話。
【請求項３】
相手端末から音声を受信する受信手段と、
前記受信手段により受信された音声を自然言語情報に変換する音声自然言語情報変換手段と、
前記音声自然言語情報変換手段により変換された、相手端末の音声に対応する自然言語情報を表示する表示手段と
を具備することを特徴とする請求項１または２記載の携帯電話。
【請求項４】
前記音声自然言語情報変換手段により変換された、相手端末の音声に対応する自然言語情報を、手話をアニメーション化した手話アニメーションに変換する手話アニメーション変換手段を具備し、
前記表示手段は、前記手話アニメーション変換手段により変換された、相手端末の音声に対応する手話アニメーションを表示することを特徴とする請求項３記載の携帯電話。
【請求項５】
前記表示手段は、前記手話言語変換手段により変換された、ユーザの手話に対応する自然言語情報を表示することを特徴とする請求項１ないし４のいずれかに記載の携帯電話。
【請求項６】
少なくとも音声と文字とを用いて相手端末との間で無線通信を行なう通信方法において、
撮影されたユーザの手話を認識し、該認識されたユーザの手話を自然言語情報に変換し、該自然言語情報を相手端末へ送信し、
前記相手端末から受信した音声を自然言語情報に変換し、該自然言語情報を表示することを特徴とする通信方法。
【請求項７】
前記相手端末から受信した音声を変換した前記自然言語情報を手話アニメーションに変換し、該手話アニメーションを表示することを特徴とする請求項６記載の通信方法。
【請求項８】
少なくとも音声と文字とを用いて相手端末との間で無線通信を行なう通信プログラムにおいて、
ユーザの手話を撮影するステップと、
撮影されたユーザの手話を認識するステップと、
認識されたユーザの手話を自然言語情報に変換するステップと、
前記ユーザの手話に対応する自然言語情報を相手端末へ送信するステップと、
前記相手端末から音声を受信するステップと、
受信した音声を自然言語情報に変換するステップと、
前記相手の音声に対応する自然言語情報を表示するステップと
をコンピュータに実行させることを特徴とする通信プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、聴覚障害者同士、または聴覚障害者と健聴者との間で、相手との距離に関係なく、コミュニケーションを行なう携帯電話、通信方法および通信プログラムに関する。
【０００２】
【従来の技術】
従来、聴覚障害者と健聴者とは、双方が同じ場所に居る場合、健聴者が手話をできれば、手話により会話を行なうことが可能である。また、健聴者が手話を理解できない場合には、筆談を用いれば、会話を行なうことが可能である。
【０００３】
また、相手が遠く離れた場所にいる場合、昨今の携帯電話の普及率の増加により、健聴者であれば、いつでも何処でも誰とでも電話でコミュニケーションをとることが可能となってきた。また、この携帯電話には、メール機能が付いているものが多く、聴覚障害者でもこのメール機能を用いれば、相手が健聴者であれ聴覚障害者であれ、コミュニケーションをとることが可能である。尚、携帯電話に係わる従来技術としては特許文献１や特許文献２などが公開されている。
【０００４】
【特許文献１】
特開２０００―２２４３１９号公報
【特許文献２】
特開２００１―１９７４５７号公報
【０００５】
【発明が解決しようとする課題】
ところで、一般には健聴者のほとんどは手話を理解できず、また、聴覚障害者でも国内３５万人中１割程度の人しか手話を使いこなすことができない。したがって、聴覚障害者は、手話のできない相手と会話する場合、主に筆談となるわけであるが、筆談では時間がかかり面倒であり、必ずしも十分な意思疎通ができるとは言えない。
【０００６】
また、相手が遠く離れた場所にいる場合、前述したように、携帯電話のメール機能を用いることが考えられるが、リアルタイム性、緊急性などの点から十分なコミュニケーション機能とは言えない。健聴者ならば直接話をしたい場合や、緊急を要する場合などは、メールではなく、音声通話でコミュニケーションを図ることがしばしばある。しかしながら、聴覚障害者は、このような場合、音声通話などのような同時性の高いコミュニケーションを行なうことができないという問題を抱えている。
【０００７】
このように、従来の携帯電話では、相手との距離に関係なく、聴覚障害者は、健聴者や手話のできない相手と十分なコミュニケーションをとることができないというのが現状である。
【０００８】
この発明は上述した事情に鑑みてなされたもので、相手との距離に関係なく、かつ相手が健聴者、聴覚障害者に限らず、簡便に意思疎通を図ることができる携帯電話、通信方法および通信プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した問題点を解決するために、この発明では、少なくとも音声と文字とを相手端末との間で無線通信により双方向伝送する携帯電話において、ユーザを撮影する撮影手段と、前記撮影手段により撮影されたユーザの手話を認識する手話認識手段と、前記手話認識手段により認識されたユーザの手話を自然言語情報に変換する手話言語変換手段と、前記手話言語変換手段により変換された自然言語情報を相手端末へ送信する送信手段とを具備することを特徴とする。
【００１０】
この発明の携帯電話によれば、撮影手段により撮影されたユーザの手話を手話認識手段により認識し、手話言語変換手段により、認識されたユーザの手話を自然言語情報に変換し、前記手話言語変換手段により変換された自然言語情報を送信手段により相手端末へ送信する。したがって、相手との距離に関係なく、かつ相手が健聴者、聴覚障害者に限らず、聴覚障害者の意思を簡便に伝達することができる。
【００１１】
また、この発明の携帯電話によれば、前記手話言語変換手段により変換された自然言語情報を自然言語音声変換手段により音声に変換し、前記送信手段により、前記自然言語音声変換手段により変換された、ユーザの手話に対応する音声を相手端末へ送信するようにしたので、相手との距離に関係なく、かつ相手が健聴者、聴覚障害者に限らず、聴覚障害者の意思を簡便に伝達することができる。
【００１２】
また、この発明の携帯電話によれば、相手端末から音声を受信手段により受信し、受信された音声を音声自然言語情報変換手段により自然言語情報に変換し、変換された相手端末の音声に対応する自然言語情報を表示手段に表示するようにしたので、相手との距離に関係なく、かつ相手が健聴者であっても、相手の意思を簡便に認知することができる。
【００１３】
また、この発明の携帯電話によれば、前記音声自然言語情報変換手段により変換された、相手端末の音声に対応する自然言語情報を、手話アニメーション変換手段によって、手話アニメーションに変換し、該変換された、相手端末の音声に対応する手話アニメーションを表示手段に表示するようにしたので、相手との距離に関係なく、かつ相手が健聴者であっても、相手の意思を簡便に認知することができる。
【００１４】
また、この発明の携帯電話によれば、前記手話言語変換手段により変換された、ユーザの手話に対応する自然言語情報を前記表示手段に表示するようにしたので、ユーザは、自身の手話が正確に自然言語に変換されたかを確認できる。
【００１５】
また、上述した問題点を解決するために、この発明では、少なくとも音声と文字とを用いて相手端末との間で無線通信を行なう通信方法において、撮影されたユーザの手話を認識し、該認識されたユーザの手話を自然言語情報に変換し、該自然言語情報を相手端末へ送信し、前記相手端末から受信した音声を自然言語情報に変換し、該自然言語情報を表示することを特徴とする。
【００１６】
また、この発明の通信方法によれば、前記相手端末から受信した音声を変換した前記自然言語情報を手話アニメーションに変換し、該手話アニメーションを表示する。したがって、相手との距離に関係なく、かつ相手が健聴者であっても、相手の意思を簡便に認知することができる。
【００１７】
また、上述した問題点を解決するために、この発明では、少なくとも音声と文字とを用いて相手端末との間で無線通信を行なう通信プログラムにおいて、ユーザの手話を撮影するステップと、撮影されたユーザの手話を認識するステップと、認識されたユーザの手話を自然言語情報に変換するステップと、前記ユーザの手話に対応する自然言語情報を相手端末へ送信するステップと、前記相手端末から音声を受信するステップと、受信した音声を自然言語情報に変換するステップと、前記相手の音声に対応する自然言語情報を表示するステップとをコンピュータに実行させることを特徴とする。
【００１８】
また、この発明の通信プログラムによれば、ユーザの手話を撮影するステップと、撮影されたユーザの手話を認識するステップと、認識されたユーザの手話を自然言語情報に変換するステップと、前記ユーザの手話に対応する自然言語情報を相手端末へ送信するステップと、前記相手端末から音声を受信するステップと、受信した音声を自然言語情報に変換するステップと、前記相手の音声に対応する自然言語情報を表示するステップとをコンピュータに実行させる。したがって、したがって、相手との距離に関係なく、かつ相手が健聴者、聴覚障害者に限らず、聴覚障害者の意思を簡便に伝達することができる。
【００１９】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。なお、以下では、聴覚障害者が持つ携帯電話の構成について説明する。健聴者は、以下に説明する聴覚障害者用の携帯電話を用いて通話しても構わないが必須ではなく、通常（既存）の携帯電話を用いてもよい。ここで言う通常の携帯電話とは、少なくとも、音声入力、音声出力の機能を備えるものであり、好ましくは、テキスト文字を表示可能な表示部を備えていればなおよい。
【００２０】
Ａ．実施形態の構成
図１は、本発明の実施形態による携帯電話の構成を示すブロック図である。図１において、カメラ１は、ＣＣＤやＣＭＯＳ型などの撮像素子からなり、室内者（この場合、聴覚障害者）を撮影し、撮影した映像を画像認識部２に供給する。画像認識部２は、カメラ１により撮影されたユーザの顔の表情、腕の動き、手（五指を含む）の形および動きなどを認識し、認識結果を手話認識部３に供給する。手話認識部３は、画像認識部２からの画像認識結果に基づいて、標準手話パターン辞書４を参照し、ユーザの手話を認識する。標準手話パターン辞書４は、単語単位の手話パターンおよび手話パターンをアニメーション化した手話アニメーションを記憶している。
【００２１】
因みに、国内で使用されている手話は、「日本語対応手話」と「日本手話」とに大別される。日本語対応手話では、音声として話される日本語の語順で手話単語を表現する。これに対して、手話を母語とする聴覚障害者同士の会話で使われる日本手話は、通常の日本語とは異なる文法を持つ。主に、手指動作で単語を表現し、文法情報の多くを手指動作以外の頭部動作・表情・身振りなどで表現する。本実施形態では、上記「日本語対応手話」と「日本手話」のいずれの手話でも、上記手話認識部３により手話を認識した際に判別し、自動的に切り替えることが可能となっている。また、ユーザが手動で切り替えるようにしてよい。
【００２２】
手話⇔日本語変換部５は、手話認識部３による手話認識結果に基づいて、単語辞書６を参照し、助詞や形容詞を付加するなどして、手話を日本語の文章に変換する。単語辞書６は、手話パターンと日本語とを対応付けて記憶している。
【００２３】
なお、上述した本実施形態による手話認識アルゴリズム、手話―日本語変換アルゴリズムは、周知のものとし、例えば、特開平６−６７６０１号公報などに記載された技術を用いればよい。
【００２４】
次に、日本語⇔音声変換部７は、自端末のマイク１１からの音声を周知の音声認識技術により認識し、単語辞書８を参照して日本語（テキスト）に変換する。また、日本語⇔音声変換部７は、手話⇔日本語変換部５による日本語文章（テキスト）を、単語辞書８を参照して音声に変換する。単語辞書８は、日本語（テキスト）と音声とを対応付けて記憶している。
【００２５】
表示部９は、液晶表示体、ＥＬ表示体、ＣＲＴなどからなり、自端末のユーザの手話に対応する日本語文章、相手端末の手話に対応する日本語文章（テキスト：相手が聴覚障害者）、相手端末の音声に対応する日本語文章（テキスト：相手が健聴者）、相手端末の音声に対応する手話アニメーション（相手が健聴者）、相手端末のユーザの手話映像（相手が聴覚障害者）を選択可能に表示する。スピーカ１０は、相手端末のユーザの音声（相手が健聴者の場合）、または日本語⇔音声変換部７からの音声を出力する。マイク１１は、自端末のユーザの音声を集音する。
【００２６】
音声制御部１２は、制御部１５からの音声データをアナログ化し、スピーカ１０に供給する一方、マイク１１からの音声をデジタル化して制御部１５へ供給する。送受信制御部１３は、制御部１５の制御の下、通常のダイヤル発呼や、着信、自端末で認識した手話に対応する日本語文章（テキスト）の送信、日本語⇔音声変換部７により該日本語文章に対応する音声の送信、相手端末からの音声（相手が健聴者）の受信などを行なう。キー入力部１４は、各種ファンクションボタンや、ダイヤル・文字入力のためのテンキーなどからなる。制御部１５は、上述した各部の動作全体を制御する。
【００２７】
次に、図２は、本実施形態による携帯電話の外観を示す正面図である。携帯電話には、図示するように、上部から順に、スピーカ１０、カメラ１、表示部９、キー入力部１４およびマイク１１が配置されている。なお、図示の配置は、一例であり、カメラ１を背部に配置したり、筐体を折畳式にしたりするなど、さまざまな形態が可能である。
【００２８】
Ｂ．実施形態の動作
次に、本実施形態による携帯電話の動作について詳細に説明する。携帯電話では、相手の携帯電話に発呼し、回線が確立されると、自端末からの音声または手話に対応する日本語音声（または文章）による送信（送話）と相手端末からの音声または手話に対応する日本語音声（または文章）の受信とを全二重で行なう。
【００２９】
Ｂ−１．送信（送話）動作
まず、送信（送話）動作について説明する。ここで、図３は、本実施形態による携帯電話の送信動作を説明するためのフローチャートである。まず、ユーザによりダイヤルされたか否かを判断する（Ｓａ１）。そして、ダイヤルされた場合には、送受信制御部１３により発呼し、相手端末との回線を確立する（Ｓａ２）。次に、通常通話であるか否かを判断する（Ｓａ３）。本携帯電話では、音声による通話を行なう通常通話モード、手話により通話を行なう手話通話モードがあり、どちらで通話するかは予めユーザにより選択されているものとする。
【００３０】
ここで、通常通話が選択されている場合には、ユーザがマイク１１から音声を入力すると（Ｓａ４）、日本語⇔音声変換部７により音声が日本語文章（テキスト）に変換される（Ｓａ５）。次に、上記音声に対応する日本語文章が表示部９に表示される（Ｓａ６）。そして、該音声が送受信制御部１３により相手端末に送信される（Ｓａ７）。次に、通話が終了したか否かを判断し（Ｓａ１５）、終了していなければ、ステップＳａ３に戻り、上記処理を繰り返す。一方、通話が終了した場合には、回線を切断して当該処理を終了する（Ｓｂ１６）。
【００３１】
一方、手話通話が選択されている場合には、カメラ１でユーザの手話（顔の表情、腕の動き、手指の形および動きを含む）を撮影する（Ｓａ８）。画像認識部３では、カメラ１により撮影された相手の顔の表情、腕の動き、手（五指を含む）の形および動きなどを画像認識する（Ｓａ９）。次に、手話認識部２０では、画像認識部２による画像認識結果に基づいて、標準手話パターン辞書４を参照し、ユーザの手話を認識する（Ｓａ１０）。手話⇔日本語変換部５では、手話認識部３による手話認識結果に基づいて、単語辞書６を参照し、ユーザの手話を日本語の文章に変換する（Ｓａ１１）。該ユーザの手話に対応する日本語の文章は、自端末の表示部９に表示される（Ｓａ１２）。
【００３２】
次に、日本語⇔音声変換部７では、ユーザの手話に対応する日本語文章が音声に変換される（Ｓａ１３）。そして、ユーザの手話に対応する日本語文章（テキスト）および／または音声が送受信制御部１３により相手端末に送信される（Ｓａ７）。次に、通話が終了したか否かを判断し（Ｓａ１５）、終了していなければ、ステップＳａ３に戻り、上記処理を繰り返す。一方、通話が終了した場合には、回線を切断して当該処理を終了する（Ｓｂ１６）。
【００３３】
Ｂ−２．受信（受話）動作
次に、受信（受話）動作について説明する。ここで、図４は、本実施形態による携帯電話の受信動作を説明するためのフローチャートである。まず、相手端末から文字（テキスト）を受信したか否かを判断する（Ｓｂ１）。そして、相手端末から音声を受信した場合、すなわち、相手端末が通常の携帯電話（相手が健聴者）である場合には、日本語⇔音声変換部７により日本語文章に変換する（Ｓｂ２）。次に、相手の音声に対応する日本語文章を手話アニメーションに変換する（Ｓｂ３）。上記相手の音声に対応する日本語文章および／または手話アニメーションは表示部９に表示される（Ｓｂ４）。次に、通話が終了したか否かを判断し（Ｓｂ５）、終了していなければ、ステップＳｂ１に戻り、上記処理を繰り返す。一方、通話が終了した場合には、回線を切断して当該処理を終了する（Ｓｂ６）。
【００３４】
一方、相手端末から日本語文章（テキスト）を受信した場合、すなわち、相手が聴覚障害者で当該端末と同様の携帯電話を用いて手話で通話している場合には、相手端末からの日本語文章を直接、手話アニメーションに変換する（Ｓｂ３）。上記日本語文章および／または手話アニメーションは表示部９に表示される（Ｓｂ４）。次に、通話が終了したか否かを判断し（Ｓｂ５）、終了していなければ、ステップＳｂ１に戻り、上記処理を繰り返す。一方、通話が終了した場合には、回線を切断して当該処理を終了する（Ｓｂ６）。
【００３５】
次に、本実施形態による携帯電話を用いた通話動作について説明する。ここで、図５（ａ）は、相手端末が通常端末（健聴者）であった場合の通話動作を示す概念図であり、図５（ｂ）は、相手端末も本実施形態による携帯端末（聴覚障害者）であった場合の通話動作を示す概念図である。
【００３６】
まず、相手端末が通常端末であった場合には、相手端末では、音声が入力され（Ｓｃ１）、該音声が当該端末に送信されてくる。当該携帯電話では、相手端末からの音声が受信され（Ｓｃ２）、該音声が日本語文章（テキスト）に変換され（Ｓｃ３）、さらに、上記日本語文章が手話アニメーションに変換される（Ｓｃ４）。携帯電話の表示部には、上記相手端末からの音声に対応する日本語文章（テキスト）または／および手話アニメーションが表示される。したがって、当該携帯電話のユーザである聴覚障害者は、表示部に表示される日本語文章（テキスト）または／および手話アニメーションを見て相手が話していることを認知することができる。
【００３７】
また、当該携帯電話では、聴覚障害者であるユーザは、カメラ１に向かって手話を行なうことになる（Ｓｃ５）。該手話は、日本語文章（テキスト）に変換され（Ｓｃ６）、さらに、該日本語文章が音声に変換される（Ｓｃ７）。相手端末には、手話に対応する日本語文章（テキスト）または／および音声が送信される。相手端末では、日本語文章（テキスト）を受信した場合には、該日本語文章を表示部に表示し、音声を受信した場合には、該音声をスピーカから出力する（Ｓｃ８）。
【００３８】
次に、相手端末も本実施形態による携帯端末（聴覚障害者）であった場合には、聴覚障害者である相手は、カメラ１に向かって手話を行なう（Ｓｄ１）。該手話は、日本語文章（テキスト）に変換される（Ｓｄ２）。当該携帯電話には、手話に対応する日本語文章（テキスト）が送信される。当該携帯端末では、上記相手の手話に対応する日本語文章（テキスト）が受信され（Ｓｄ３）、手話アニメーションに変換される（Ｓｄ４）。携帯電話の表示部には、上記相手端末からの手話に対応する日本語文章（テキスト）または／および手話アニメーションが表示される。したがって、当該携帯電話のユーザである聴覚障害者は、表示部に表示される日本語文章（テキスト）または／および手話アニメーションを見て相手の手話を認知することができる。
【００３９】
また、当該携帯電話においても、聴覚障害者であるユーザは、カメラ１に向かって手話を行なうことになる（Ｓｄ５）。該手話は、日本語文章（テキスト）に変換される（Ｓｄ６）。相手端末には、手話に対応する日本語文章（テキスト）が送信される。相手端末では、ユーザの手話に対応する日本語文章（テキスト）が受信され（Ｓｄ７）、手話アニメーションに変換される（Ｓｄ８）。相手端末の表示部には、当該携帯電話からの手話に対応する日本語文章（テキスト）または／および手話アニメーションが表示される。したがって、当該相手端末の聴覚障害者は、表示部に表示される日本語文章（テキスト）または／および手話アニメーションを見てユーザの手話を認知することができる。
【００４０】
なお、上述した実施形態において、聴覚障害者同士の通話においても、互いの手話に対応する日本語文章（テキスト）または／および手話アニメーションを表示するようにしたが、これは、一般的な回線では、帯域幅が狭い（データ転送速度が遅い）ため、カメラで撮影された手話映像を動画で送受信することが難しいためである。
【００４１】
これに対して、まだ一般的ではないが、近年、高速回線を用いた高速データ通信を行なう携帯電話がある。この場合には、いわゆるテレビ電話のように動画を送受信することが可能である。したがって、このような高速データ通信が可能であれば、カメラで撮影された聴覚障害者の手話の映像を直接送受信することにより、わざわざ日本語文章（テキスト）や手話アニメに変換して送信する必要はなくなる。聴覚障害者は、互に携帯電話の表示部に表示される相手の手話を直接見ることができる。
【００４２】
なお、上述した実施形態では、遠隔通話装置としての電話機能について説明したが、これに限定されることなく、相手と対面しているような状況においても適用することが可能である。この場合、カメラで自分の手話を撮影、手話認識、日本語文章への変換を行なって相手端末へ伝送する。相手の音声は、音声認識により日本語文章に変換して表示部に表示する。このような対面している状況においても、自身の手話の変換、相手の音声の変換を携帯電話によって行なうことで、相手が健聴者、聴覚障害者に限らず、簡便に意思疎通を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態による携帯電話の構成を示すブロック図である。
【図２】本携帯電話の外観を示す正面図である。
【図３】本携帯電話の送信動作を説明するためのフローチャートである。
【図４】本携帯電話の受信動作を説明するためのフローチャートである。
【図５】本携帯電話を用いた通話動作について説明するための概念図である。
【符号の説明】
１  カメラ（撮影手段）、２  画像認識部、３  手話認識部（手話認識手段）、４  標準手話パターン辞書、５  手話⇔日本語変換部（手話言語変換手段、手話アニメーション変換手段）、６  単語辞書、７  日本語⇔音声変換部（自然言語音声変換手段、音声自然言語情報変換手段）、８  単語辞書、９  表示部（表示手段）、１０  スピーカ、１１  マイク、１２  音声制御部、１３  送受信制御部（送信手段、受信手段）、１４  キー入力部、１５  制御部
【図１】
2004254218.tif 000003
【図２】
2004254218.tif 000004
【図３】
2004254218.tif 000005
【図４】
2004254218.tif 000006
【図５】
2004254218.tif 000007