(57)【要約】    【課題】      話者が発する言葉をより正確な文字情報や音声情報に変換し、聴覚障害者同士や聴覚障害者と健聴者との間の正確なコミュニケーションを実現すること。    【解決手段】  携帯電話機２００のカメラ２０１とセンサ２０２とマイク２０３が話者の各種データを収集する。データ解析部２０４において、画像照合部２０５が、カメラ２０１の撮像した話者の口の形の画像とメモリに登録されているパターンとを比較・照合し、吐息解析部２０６が、センサ２０２の検知した吐息感知データに基づいて吐息の量やスピードを計測し、動作解析部２０７がカメラ２０１の撮像した動作データに基づいて口とその周辺の筋肉、舌、顎、喉などの動きを計測する。文字データ生成部２０８が計測データを使用して文字データに変換する。誤変換修正部２１０が、辞書データ部２０９のデータを参照して誤変換の修正を行い、修正された文字データを表示部２１４に表示する。  【選択図】      図２
2006140621.tif 000002
【特許請求の範囲】
【請求項１】
カメラを備え、そのカメラに映し出された映像に基づいて話者の言語を推定する言語推定機能付きの携帯電話機であって、
あらかじめ登録されている文字を発音したときの口元のパターンと、前記カメラが撮像した話者の会話による口元の形状とを比較照合する画像照合手段と、
前記画像照合手段の比較照合結果を参照し、センサが検知した前記話者の吐息の量及びスピードを解析してその話者の発音した文字を特定する吐息解析手段と、
前記画像照合手段の比較照合結果を参照し、前記カメラが撮像した話者の挙動を解析してその話者の発音した文字を特定する動作解析手段と、
辞書データとして格納されている標準言語に基づいて、前記吐息解析手段及び前記動作解析手段が特定した文字の誤修正を行う誤変換修正手段と、
を備えることを特徴とする携帯電話機。
【請求項２】
前記画像照合手段は、日本語における５０音の各文字を発音したときの口元のパターンと、前記カメラが撮像した話者の会話による口元の形状とを比較照合することを特徴とする請求項１に記載の携帯電話機。
【請求項３】
前記動作解析手段が文字を特定するための前記話者の挙動は、その話者の口元及びその周辺の筋肉、舌、顎、喉の動きであることを特徴とする請求項１又は請求項２に記載の携帯電話機。
【請求項４】
前記誤変換修正手段が誤修正を行った文字は、文字情報及び音声情報の少なくとも一方で表現されることを特徴とする請求項１乃至請求項３のいずれかに記載の携帯電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語推定機能付きの携帯電話機に関し、特に、ビデオカメラなどのカメラを備えていて、そのカメラに映し出された映像に基づいて話者の言語を推定する言語推定機能付きの携帯電話機に関する。
【背景技術】
【０００２】
従来より、聴覚障害者同士の通話や聴覚障害者と健聴者との通話が可能な携帯電話機が知られている（例えば、特許文献１参照）。この携帯電話機は、内蔵されたビデオカメラからの画像を画像解析部で解析し、解析結果に対応した文字情報や音声情報に変換して表示部で文字表示したりスピーカで音声報知したりするように構成されている。例えば、話者の唇の動きや唇の形状によってそのときに発せられた言葉を特定し、文字情報によって画面に表示したり、音声情報によってスピーカから報知したりすることができるようになっている。これによって、聴覚障害者同士が携帯電話機で通話を行うことができることはもちろんのこと、聴覚障害者と健聴者との間で通話を行うこともできる。また、この携帯電話機は、煩雑なキー操作を行わなくても電子メールの送信電文を作成することができるようになっているので、障害者などが使い勝手のよいように構成されている。
【特許文献１】特開２００４−１５２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の携帯電話機は、ビデオカメラから得られた映像である話者の唇の動きや形状から、そのときに会話された言葉を解析して文字情報や音声情報に変換して出力する機能を備えたものである。したがって、唇の動きや形状を示す画像情報だけを解析してそのときに発せられた言葉を推定しているので、必ずしも正しい言葉に変換できない場合もある。例えば、「ば」と「ぱ」とか、「び」と「ぴ」のような濁音と半濁音の場合は、発音するときの唇の形が極めて似ているために、それらの言葉を文字情報や音声情報に変換するときに変換ミスが起こりやすい。また、同じ言葉でも個人によって唇の形が微妙に異なるので、別な人が同じ言葉を発した場合には別な言葉として変換してしまうなどの変換ミスを起こしやすい。
【０００４】
本発明は、かかる点に鑑みてなされたものであり、話者が発する言葉をより正確な文字情報や音声情報に変換し、聴覚障害者同士や聴覚障害者と健聴者との間のコミュニケーションを正確に実現できるような言語推定機能を備えた携帯電話機を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明の携帯電話機は、カメラを備え、そのカメラに映し出された映像に基づいて話者の言語を推定する言語推定機能付きの携帯電話機であって、あらかじめ登録されている文字を発音したときの口元のパターンとカメラが撮像した話者の会話による口元の形状とを比較照合する画像照合手段と、画像照合手段の比較照合結果を参照し、センサが検知した話者の吐息の量及びスピードを解析してその話者の発音した文字を特定する吐息解析手段と、画像照合手段の比較照合結果を参照し、カメラが撮像した話者の挙動を解析してその話者の発音した文字を特定する動作解析手段と、辞書データとして格納されている標準言語に基づいて、吐息解析手段及び動作解析手段が特定した文字の誤修正を行う誤変換修正手段とを備える構成を採る。
【０００６】
また、本発明の携帯電話機は、前記の構成において、前記画像照合手段が、日本語における５０音の各文字を発音したときの口元のパターンとカメラが撮像した話者の会話による口元の形状とを比較照合する構成を採る。
【０００７】
また、本発明の携帯電話機は、前記の構成において、前記動作解析手段が文字を特定するための話者の挙動は、その話者の口元及びその周辺の筋肉、舌、顎、喉の動きである構成を採る。
【０００８】
また、本発明の携帯電話機は、前記の構成において、前記誤変換修正手段が誤修正を行った文字は文字情報及び音声情報の少なくとも一方で表現される構成を採る。
【０００９】
以上のような本発明の携帯電話機の構成によれば、話者の口の形の画像とメモリに登録済みのパターンとを照合し、口周辺や舌や喉の動き及び言葉を発するときの吐息の量やスピードを解析して話者の発した言葉の推定を行い、さらに、推定された言葉を辞書データの標準言語と比較して誤変換の修正を行っている。このような言語推定機能を用いることによって話者が発した言葉を正しい日本語に変換することができるので、聴覚障害者同士や聴覚障害者と健聴者との間のコミュニケーションを正確に実現することができる。
【発明の効果】
【００１０】
本発明による言語推定機能付きの携帯電話機によれば、あらかじめメモリに登録済みのパターンと話者の口の形の画像とを比較照合し、口周辺や舌や喉の動き及び言葉を発するときの吐息の量やスピードを解析して、その解析データに基づいて話者の発音した言葉を推定している。さらに、推定された言葉と標準言語である辞書データとを比較し、誤変換の修正を行った後に文字情報や音声情報に変換している。これによって、話者が発する言葉をより正確な日本語に変換して、文字で表示したり音声で報知したりすることができるので、聴覚障害者同士のコミュニケーションや聴覚障害者と健聴者との間のコミュニケーションをより正確に行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
＜本発明の概要＞
本発明の携帯電話機は、あらかじめ、５０音の各文字を発音したときの口の形のパターンをメモリに登録しておく。そして、言葉を発したときの画像とメモリに登録済みのパターンとを照合し、口周辺や舌や喉の動き、及び言葉を発するときの吐息の量や吐息のスピードを解析して、これらの解析データに基づいて発せられた言葉を推定する。さらに、推定された言葉を辞書データの標準言語と比較して誤変換の修正を行う。このような言語推定機能を備えた携帯電話機によれば、話者が発した言葉を正確な文字情報や音声情報に変換することができるので、聴覚障害者同士や聴覚障害者と健聴者との間のコミュニケーションをより正確に実現することができる。
【００１２】
＜実施の形態＞
以下、図面を用いて、本発明における携帯電話機の一実施の形態について詳細に説明する。図１は、本発明の一実施の形態に適用される言語推定機能付きの携帯電話機を用いた通信システムの概念図である。携帯電話機１００は、マイク１０１、カメラ１０２、センサ１０３、表示部１０４、及びスピーカ（図示せず）などを含む言語推定機能を備えていて、基地局１０５のサービスエリア内に存在している。同様にして、携帯電話機１１０は、マイク１１１、カメラ１１２、センサ１１３、表示部１１４、及びスピーカ（図示せず）などを含む言語推定機能を備えて基地局１１５のサービスエリア内に存在している。
【００１３】
このような通信システムの構成において、例えば、携帯電話機１００の話者の会話による挙動は、マイク１０１やカメラ１０２やセンサ１０３などによって検知され、言語推定機能による画像解析の結果などに基づいて文字情報や音声情報のデータに変換される。さらに、辞書データを参照して誤変換の修正が行われる。そして、修正変換された文字情報や音声情報のデータは、基地局１０５及び基地局１１５を介して携帯電話機１１０へ送信される。これによって、携帯電話機１１０の話者は、正確に変換された文字情報を表示部１１４へ表示させたり、音声情報をスピーカ（図示せず）から報知させたりすることができる。このようにして、携帯電話機１００（又は、携帯電話機１１０）の言語推定機能は、話者の会話をより正確な文章へ変換することができるので、例えば、聴覚障害者同士の通話においても誤ったコミュニケーションが行われるおそれはなくなる。
【００１４】
次に、言語推定機能付きの携帯電話機の構成及び動作についてさらに詳細に説明する。図２は、本発明の一実施の形態に係る言語推定機能付きの携帯電話機の構成を示すブロック図である。まず、言語推定機能付きの携帯電話機２００の構成について説明する。携帯電話機２００は、話者の口元周辺を撮像するカメラ２０１、話者の吐息を検知するセンサ２０２、話者の会話を収音するマイク２０３、画像照合部２０５と吐息解析部２０６と動作解析部２０７とからなるデータ解析部２０４、データ解析部２０４が解析したデータに基づいて話者の会話を文字データに変換する文字データ生成部２０８、標準的な言語情報を格納する辞書データ部２０９、辞書データ部２０９に格納されたデータに基づいて会話から文字データへの誤変換を修正する誤変換修正部２１０、話者の会話から音声を生成する音声生成部２１１、携帯電話機２００の各部の制御を行う制御回路２１２、ボタンキーなどの操作部２１３、話者の会話を文字情報によって表示する表示部２１４、携帯電話機２００で生成された文字情報や音声情報を無線信号に変換する無線回路２１５、及び無線信号の送受信を行うアンテナ２１６を備えた構成となっている。
【００１５】
また、データ解析部２０４において、画像照合部２０５は、あらかじめメモリに登録されている５０音の各文字を発音したときの口元のパターンと、カメラ２０１が撮像した話者の会話による口元の形状とを、比較照合する機能を備えている。さらに、吐息解析部２０６は、センサ２０２が検知した話者の吐息の量やスピードを解析してその話者の発音した文字を特定する機能を備えている。また、動作解析部２０７は、カメラ２０１で撮像された話者の口周辺や舌や喉などの動きを解析して話者の発音した文字を特定する機能を備えている。
【００１６】
次に、フローチャートを用いて図２に示す言語推定機能付きの携帯電話機２００の動作を説明する。図３は、図２に示す携帯電話機において話者の会話を文字データや音声データに変換する処理の流れを示すフローチャートである。まず、話者が携帯電話機２００を用いて会話を開始すると（ステップＳ１）、カメラ２０１が撮像した話者の画像データがデータ解析部２０４へ映像入力される（ステップＳ２）。同時に、センサ２０２が検知した話者の会話中における吐息感知データがデータ解析部２０４へ入力される（ステップＳ３）。さらに同時に、話者の会話中における口元周辺の動作データがカメラ２０１よりデータ解析部２０４へ入力される（ステップＳ４）。このとき、通常の携帯電話機と同様に、話者の会話はマイク２０３で収音されてデータ解析部２０４へ入力される。
【００１７】
これによって、データ解析部２０４は、カメラ２０１が撮像した話者の画像データや、センサ２０２が検知した話者の吐息感知データや、マイク２０３が収音した話者の音声データなどに基づいて各種データの解析を実施する。さらに詳しく説明すると、画像照合部２０５が、話者の口元の形の映像入力データとあらかじめメモリに登録されている画像パターンとの比較・照合を行う（ステップＳ５）。次に、吐息解析部２０６が、話者の会話中における吐息感知データに基づいて吐息の量やスピードなどを計測する。例えば、「は」行の音は、発音する際に息が出るために計測される息の量は比較的多くなると予想される。このために、会話中の発音ごとの吐息の量やスピードを計測する（ステップＳ６）。さらに、動作解析部２０７が、カメラ２０１に映し出された話者の会話中における動作データから口、舌、喉などの動きを計測する（ステップＳ７）。
【００１８】
すなわち、データ解析部２０４は、画像照合部２０５、吐息解析部２０６、及び動作解析部２０７を含んでいるので、入力された各種のデータを解析してそれぞれの解析データを文字データ生成部２０８へ送信する。すると、文字データ生成部２０８は、取得した各種の解析データを用いて話者が発した言葉に対応する文字を推定し（ステップＳ８）、対応する文字データを生成する（ステップＳ９）。
【００１９】
しかし、話者が発音した言葉による環境だけで、その話者の口の形や吐息や口周辺の動きだけを解析するのでは、正確な言葉に変換できるとは限らない。つまり、日本語の発音においては同じような口の形であっても違う言葉がある。例えば、「ば」と「ぱ」、「た」と「だ」と「な」と「ら」、「さ」と「ざ」、「か」と「が」などは、発音する際の口の形が似ている。そのため、これらの言葉をそれぞれ個別に判別して推定することは難しい。そこで、文字データ生成部２０８をサポートして正しい文字データに修正するための辞書データ部２０９が必要となる。
【００２０】
したがって、誤変換修正部２１０が辞書データ部２０９を使用して文字の修正を行う機能ブロックを追加することにより、より正確な文字データの生成を実現する。すなわち、誤変換修正部２１０が、文字データ生成部２０８の生成した文字データと辞書データ部２０９に格納されている標準的な言語データとを比較して、話者の発した言葉が正しい日本語になっているか否かの判定を行う（ステップＳ１０）。
【００２１】
ここで、話者の発した言葉が正しい日本語になっていれば（ステップＳ１０でＹＥＳの場合）、音声生成部２１１が得られた文字データを音声に変換し（ステップＳ１１）、制御回路２１２や無線回路２１５を経由して、アンテナ２１６から送信する（ステップＳ１２）。一方、話者の発した言葉が正しい日本語になっていなければ（ステップＳ１０でＮＯの場合）、誤変換修正部２１０は、文字データ生成部２０８が生成した文字データに対して誤変換修正を行う（ステップＳ１３）。その後、音声生成部２１１が、誤変換修正部２１０から取得した文字データを音声に変換し（ステップＳ１１）、制御回路２１２や無線回路２１５を経由して、アンテナ２１６から送信する（ステップＳ１２）。
【００２２】
このとき、操作部２１３や表示部２１４は、通常の携帯電話機と同様に、制御回路２１２に接続して所望の操作や話者が話した内容の表示などができるようになっている。また、受信側の携帯電話機については、健聴者の場合は音声のまま出力し、聴覚障害者の場合は文字や音声あるいは手話への変換を行うことで通話が可能となるように構成されている。
【００２３】
すなわち、従来の携帯電話機では、話者の口元の画像解析のみによって文字情報や音声情報に変換していたので、正しくデータ変換を行えない場合も生じていたが、本発明の実施の形態による言語推定機能付きの携帯電話機２００によれば、より正確に日本語の文章へ変換し、聴覚障害者同士の通話において誤ったコミュニケーションが行われないように防止することが可能な言語推定機能付きの携帯電話を提供することができる。なお、上記の実施の形態では、携帯電話機を用いて日本語で会話を行う場合について述べたが、日本語に限らず、世界中のあらゆる言語で会話を行った場合についても本発明の携帯電話機が適用できることは云うまでもない。
【産業上の利用可能性】
【００２４】
本発明による言語推定機能付きの携帯電話機によれば、話者の話す会話を正確な文字情報や音声情報に変換することができるので、聴覚障害者同士や聴覚障害者と健聴者とのコミュニケーションをよりスムーズに支援することができる。したがって、聴覚障害者などにとって有用な携帯電話機として利用することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態に適用される言語推定機能付きの携帯電話機を用いた通信システムの概念図
【図２】本発明の一実施の形態に係る言語推定機能付きの携帯電話機の構成を示すブロック図
【図３】図２に示す携帯電話機において話者の会話を文字データや音声データに変換する処理の流れを示すフローチャート
【符号の説明】
【００２６】
１００，１１０，２００  携帯電話機
１０１，１１１，２０３  マイク
１０２，１１２，２０１  カメラ
１０３，１１３，２０２  センサ
１０４，１１４，２１４  表示部
１０５，１１５  基地局
２０４  データ解析部
２０５  画像照合部
２０６  吐息解析部
２０７  動作解析部
２０８  文字データ生成部
２０９  辞書データ部
２１０  誤変換修正部
２１１  音声生成部
２１２  制御回路
２１３  操作部
２１５  無線回路
２１６  アンテナ
【図１】
2006140621.tif 000003
【図２】
2006140621.tif 000004
【図３】
2006140621.tif 000005