(57)【要約】【課題】通話の翻訳機能を具備する電話装置において翻訳対象となるデータの精度を高める。【解決手段】話者の口表情を撮影する撮影部（101）と、話者の音声データを文字データに変換する音声認識部（201）と、画像データから口表情に関する特徴情報を検出する画像解析部（205）と、複数の口表情に関する特徴パターンと各特徴パターンに対応する文字データとの関連を記憶するＤＢ（207）と、画像解析部が検出した特徴情報に対応する文字データ候補をＤＢから検索する検索部（206）と、検索結果に応じて音声認識データを補正する補正部（202）と、補正部からの文字データを対向話者の言語の文字データに翻訳する翻訳部（203）と、翻訳データを用いて回線へ送出すべき送信データを生成する送信部（204）とを備える。【選択図】図２
2009152650.tif 000002
【特許請求の範囲】
【請求項１】
話者の口表情を撮影する撮影部と、
前記話者の発声の音声データを文字データに変換する音声認識部と、
前記口表情の画像データから該口表情に関する特徴情報を検出する画像解析部と、
複数の口表情に関する特徴パターンと各特徴パターンに対応する文字データとの関連を記憶するデータベースと、
前記画像解析部が検出した特徴情報に対応する文字データの候補を前記データベースから検索する検索部と、
前記検索部の検索結果に応じて前記音声認識部からの文字データを補正する補正部と、
前記データ補正部からの文字データを対向話者の言語の文字データに翻訳する翻訳部と、
前記翻訳部からの文字データを用いて回線へ送出すべき送信データを生成する送信部とを備えることを特徴とする電話装置。
【請求項２】
前記補正部は、前記検索部からの候補と前記音声認識部からの文字データとが一致しない場合、当該文字データを当該候補に置換することを特徴とする請求項１記載の電話装置。
【請求項３】
前記検索部は、前記データベースから複数の候補が検出された場合、当該各候補の確度を記録し、
前記補正部は、前記複数の候補のいずれも前記音声認識部からの文字データと一致しない場合、当該文字データを前記複数の候補における最も高い確度の候補に置換し、前記複数の候補のいずれかが前記音声認識部からの文字データと一致する場合、当該文字データを前記翻訳部へ供給することを特徴とする請求項１又は２記載の電話装置。
【請求項４】
前記送信部は、前記翻訳部からの文字データから前記送信データとしての音声データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の電話装置。
【請求項５】
前記送信部は、前記翻訳部からの文字データを前記送信データとして出力する請求項１乃至３のいずれか１項に記載の電話装置。
【請求項６】
さらに、前記送信データを無線通信により回線へ送出する無線部を備えることを特徴とする請求項１乃至５のいずれか１項に記載の電話装置。
【請求項７】
電話装置を使用する話者の口表情を撮影し、
前記話者の発声の音声データを文字データに変換し、
前記口表情の画像データから該口表情に関する特徴情報を検出し、
複数の口表情に関する特徴パターンと各特徴パターンに対応する文字データとの関連を記憶するデータベースから、前記検出した特徴情報に対応する文字データの候補を検索し、
前記音声データから変換された文字データを前記検索の結果に応じて補正し、
前記補正した文字データを対向話者の言語の文字データに翻訳し、
前記翻訳した文字データを用いて回線へ送出すべき送信データを生成することを特徴とする通話翻訳方法。
【請求項８】
前記音声データから変換された文字データの補正において、
前記検索の結果としての候補と前記音声データから変換された文字データとが一致しない場合、当該文字データを当該候補に置換することを特徴とする請求項７記載の通話翻訳方法。
【請求項９】
前記検索の結果として前記データベースから複数の候補が検出された場合、当該各候補の確度を記録し、
前記音声データから変換された文字データの補正において、前記複数の候補のいずれも前記音声データから変換された文字データに一致しない場合、当該文字データを前記複数の候補における最も高い確度の候補に置換し、前記複数の候補のいずれかが前記音声データから変換された文字データに一致する場合、当該文字データを前記補正した文字データとして翻訳することを特徴とする請求項７又は８記載の通話翻訳方法。
【請求項１０】
前記送信データとして前記翻訳後の文字データから音声データを生成することを特徴とする請求項７乃至９のいずれか１項に記載の通話翻訳方法。
【請求項１１】
前記送信データとして前記翻訳後の文字データを出力することを特徴とする請求項７乃至９のいずれか１項に記載の通話翻訳方法。
【請求項１２】
前記送信データを無線通信により回線へ送出することを特徴とする請求項７乃至１１のいずれか１項に記載の通話翻訳方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電話装置に関し、特に、通話を異なる言語間で翻訳する機能を具備する電話装置に関する。
【背景技術】
【０００２】
電話を利用するうえでの便宜を図るため、電話装置には様々な機能が設けられている。その一つに、話者の音声を自動翻訳して送信するという機能がある。かかる機能により、日本語や英語といった言語種が異なる利用者間の通話が簡便となる。
【０００３】
通話の自動翻訳にあたり、電話装置は、送話部のマイクから入力された音声データをいったん文字データに変換する。そして、この文字データに対し、対向話者の言語に対応した翻訳処理を施し、翻訳処理後のデータを回線へ送出する。
【０００４】
上記のような翻訳機能を具備する携帯電話機が、例えば、後述の特許文献１及び２に記載されている。特許文献１に記載の携帯電話機は、マイクから入力された音声と通話相手からの音声とを互いに異なる言語に翻訳して出力するというものである。また、特許文献２には、通話を翻訳するうえで、会話のリズムを乱さないように単語を区切って逐次翻訳する技術が記載されている。
【特許文献１】特開２００４−０９４７２１号公報
【特許文献２】特開２００４−３５０２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記各特許文献に記載の技術において、携帯電話機から送信されるデータは、話者の発声についての音声認識結果が翻訳されたものである。しかしながら、発声の内容や話者の声質によっては、音声認識に誤りが生じる可能性がある。音声認識の結果に誤りが含まれる場合、そのデータが翻訳されても、本来の発言内容とは異なる内容のデータが送られるという問題が生じる。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、その目的は、通話の翻訳機能を具備する電話装置において翻訳対象となるデータの精度を高める技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る電話装置は、話者の口表情を撮影する撮影部と、前記話者の発声の音声データを文字データに変換する音声認識部と、前記口表情の画像データから該口表情に関する特徴情報を検出する画像解析部と、複数の口表情に関する特徴パターンと各特徴パターンに対応する文字データとの関連を記憶するデータベースと、前記画像解析部が検出した特徴情報に対応する文字データの候補を前記データベースから検索する検索部と、前記検索部の検索結果に応じて前記音声認識部からの文字データを補正する補正部と、前記データ補正部からの文字データを対向話者の言語の文字データに翻訳する翻訳部と、前記翻訳部からの文字データを用いて回線へ送出すべき送信データを生成する送信部とを備える。
【０００８】
本発明に係る通話翻訳方法は、電話装置を使用する話者の口表情を撮影し、前記話者の発声の音声データを文字データに変換し、前記口表情の画像データから該口表情に関する特徴情報を検出し、複数の口表情に関する特徴パターンと各特徴パターンに対応する文字データとの関連を記憶するデータベースから、前記検出した特徴情報に対応する文字データの候補を検索し、前記音声データから変換された文字データを前記検索の結果に応じて補正し、前記補正した文字データを対向話者の言語の文字データに翻訳し、前記翻訳した文字データを用いて回線へ送出すべき送信データを生成するという方法である。
【発明の効果】
【０００９】
本発明によれば、翻訳対象となる通話のデータをより正確なものとすることができる。これにより、話者の発声内容と異なる内容が対向話者に伝えられることが防止されることから、話者間の円滑な通話が可能となる。
【発明を実施するための最良の形態】
【００１０】
図１に、本発明の実施形態の構成を示す。本実施形態は、本発明に係る電話装置を携帯電話機100に適用したものである。携帯電話機100は、カメラ101、マイク102、スピーカ103、操作部104、制御部105、無線部106、及び、アンテナ107を備える。操作部104には、画面を表示するＬＣＤ104ａと、操作のためのテンキー104b及びスイッチ104cとが設けられている。
【００１１】
カメラ101は、話者の口表情を撮影し、その口表情の画像データを出力する。マイク102は、話者の発声を捕捉し、その発声の音声データを入力する。スピーカ103は、対向話者の音声を出力する。無線部106は、アンテナ107を用いて通話の無線信号を送受信する。制御部105は、携帯電話機100の全体的な動作を制御する。
【００１２】
図２に、制御部105の機能的な構成を示す。音声認識部201は、マイク102から入力された音声データを音声認識処理により文字データに変換する。画像解析部205は、話者の口表情に関しカメラ101から入力された画像データを解析し、その口表情の特徴情報を検出する。この画像解析部205に対しカメラ101が入力する画像は、連続撮影により話者の口の動きを捉えたものである。撮影範囲は、話者の口周辺に限らず、顔全体であってもよい。顔全体の場合、画像解析部205は、顔画像から口周辺の画像部分を判別し、その画像部分から口表情の特徴を検出する。口表情の特徴情報としては、連続撮影された口表情の相対位置および変化量を表す情報を用いる。
【００１３】
データベース（以下、「ＤＢ」と称する。）207には、任意の口表情に関する特徴パターンと、各特徴パターンが表す口表情に対応した文字データとの関連が登録されている。登録の際は、例えば、口表情の１種類の特徴に対し、文字データとしての一つの単語あるいは慣用句を関連付けて登録する。登録の方法としては、外部の端末から携帯電話機100へ転送する、あるいは、インターネットのサイトからダウンロードする等、任意の方法であってよい。
【００１４】
ＤＢ検索部206は、画像解析部205から供給された口表情の特徴情報をキーとしてＤＢ207の文字データを検索する。すなわち、画像解析部205からの特徴情報に最も近似する特徴パターンをＤＢ207から検索し、該当の特徴パターンとペアで登録されている文字データを検出する。
【００１５】
データ補正部202は、音声認識部201にて音声から変換された文字データを、ＤＢ検索部206の検索結果に応じて補正する。補正において、データ補正部202は、音声認識部201からの文字データと、ＤＢ検索部206からの文字データ候補、すなわち口表情の画像に基づく文字データとを比較する。そして、両者に差異がある場合、音声認識部201からの文字データを画像に基づく文字データに置き換える。
【００１６】
翻訳部203は、データ補正部202から供給される文字データを対向話者の言語の文字データに変換する。例えば、携帯電話機100の話者の言語が英語であり、対向話者の言語が日本語である場合、データ補正部202からの英語の文字データが日本語に翻訳される。携帯電話機100のユーザは、翻訳前後の言語を通話開始時などに予め設定しておく。また、翻訳処理および翻訳辞書の取得については、本発明の技術分野において知られている任意の技術を適用することができる。
【００１７】
送信部204は、翻訳部203で翻訳された文字データから、無線部106へ供給すべき送信データを準備する。送信データとしては、翻訳された文字データを音声データに変換したもの、あるいは、翻訳された文字データそのものとすることができる。いずれのデータ形式を採るかは、ユーザの事前設定による。
【００１８】
図３に示すフローチャートと、図１及び図２とを参照して、本実施形態の動作を説明する。携帯電話機100においてユーザが通話を開始すると、マイク102が話者の音声データを入力すると共に、カメラ101が口表情の画像データを入力する（ステップS1）。このとき、後段のデータ補正部202での処理のために、例えば、対応し合う音声データ及び画像データのそれぞれに、両者の同期をとるための情報を付加することが望ましい。同期情報は、例えば、共通の時刻情報とすることができる。
【００１９】
音声認識部201は、マイク102からの音声データを文字データに変換する（ステップS2）。画像解析部205は、カメラ101により連続撮影された画像データを認識すると、それらから口表情の特徴情報を検出する（ステップS3）。ＤＢ検索部206は、画像解析部205からの特徴情報を検索キーとし、これに最も近似する特徴パターンをＤＢ207にて検索する。そして、該当の特徴パターンとペアの文字データ候補を検出する（ステップS4）。
【００２０】
ＤＢ207から文字データ候補が得られた場合（ステップS5：Yes）、データ補正部202は、その候補と、同期情報が対応する音声認識部201からの文字データとを比較する（ステップS6）。そして、比較の結果、両者が一致しない場合（ステップS7：No）、データ補正部202は、音声認識部201からの文字データをＤＢ検索部206からの文字データ候補により補正する（ステップS8）。すなわち、音声に基づく文字データを、画像に基づく文字データにより置換する。
【００２１】
また、ＤＢ207から候補が検出されなかった場合（ステップS5：No）、あるいは、音声認識部201からの文字データがＤＢ207の検索候補と一致する場合（ステップS7：Yes）、データ補正部202は、音声認識部201からの文字データを、補正することなく翻訳部203へ供給する（ステップS9）。
【００２２】
翻訳部203は、データ補正部202を経た文字データを対向話者の言語の文字データに翻訳する（ステップS10）。送信部204は、対向話者への送信データに関する事前設定を確認し、音声を送信する場合は（ステップS11：音声）、翻訳部203からの文字データを音声データに変換し、それを無線部106へ供給する。また、対向話者へ文字を送信する場合は（ステップS11：文字）、翻訳部203からの文字データをそのまま無線部106へ供給する。
【００２３】
無線部106は、送信データとしての音声データ又は文字データをアンテナ107により送出する（ステップS13）。これにより、携帯電話機100における話者の発声内容が、必要に応じて補正され且つ翻訳された状態で対向話者へ伝えられる。
【００２４】
図４を参照して、上記実施形態の具体例を説明する。本例では、携帯電話機100の話者の言語が英語であり、対向話者の言語が日本語であるケースを想定する。いま、話者の発声内容（英語）について、音声に基づく文字データ列D1として“It’s ten fifty.”が得られた一方で、画像に基づく文字データ列D2として“It’s ten fifteen.”が得られたとする。
【００２５】
上記ケースにおいて、データ補正部202は、D1中の文字データ“fifty”（d1）と、D2中の文字データ“fifteen”（d2）とが一致しないことを認識し、音声に基づく文字データd1を、画像に基づく文字データd2により置換する。かかる補正により、文字データ列D3“It’s ten fifteen.”が得られる。翻訳部203は、この文字データ列D3を英語から日本語に翻訳することにより、文字データD4「１０時１５分です。」を送信部204へ供給する。
【００２６】
本実施形態によれば、翻訳部203へ供給する文字データがデータ補正部202により補正されることから、翻訳対象となる文字データをより正確なものとすることができる。これにより、話者の発声内容と異なる内容が対向話者に伝えられることが防止され、話者間の円滑な通話が可能となる。
【００２７】
（他の実施形態）
上記実施形態では、ＤＢ207を検索する際、検出する候補を１つとしたが、検索キーに対し所定の範囲内で近似する複数の候補を検出するようにしてもよい。この場合の動作を図５のフローチャートにより説明する。ここでは、主に、前述の実施形態における動作（図３）との差異を述べる。
【００２８】
前述の実施形態と同様に、ＤＢ検索部206が口表情の特徴情報についてＤＢ207を検索する（ステップS4）。その結果、検索候補が無かった場合は（ステップS21：No）、音声認識部201からの文字データは補正されない（図３：ステップS9）。また、ＤＢ207の検索候補が１つ検出された場合は（ステップS21：Yes、ステップS22：No）、前述の実施形態と同様に、その候補と音声認識部201からの文字データとを比較するステップに移行する（図３：ステップS6）。
【００２９】
一方、ＤＢ207の検索候補が複数検出された場合、ＤＢ検索部206は、各候補について、検索キーに対する確度を記録する（ステップS23）。この確度は、検索キーに対する、すなわち画像解析部205からの特徴情報に対する、近似の度合いを示すものである。確度の数値は、口表情に関する相対位置や変化量といった特徴量を、検索キーと特徴パターンとの間で対比することにより求めることができる。
【００３０】
データ補正部202は、複数の検索候補のそれぞれを音声認識部201からの文字データと比較する。その結果、音声認識データと一致する候補がある場合（ステップS24：Yes）、データ補正部202は、音声認識データをそのまま翻訳すべく翻訳部203へ供給する（図３：ステップS9）。
【００３１】
また、複数の検索候補のいずれも音声認識データと一致しない場合（ステップS24：No）、データ補正部202は、先に記録された各候補の確度を参照し、最も高い確度に対応する候補を選択する。そして、選択した候補により、音声認識データを補正し（ステップS25）、補正後の文字データを翻訳部203へ供給する（図３：ステップS10）。
【００３２】
図６に、上記動作に関する具体例を示す。本例では、ＤＢ207から“fifteen”、“fifty”、“fifteenth”の３つの候補が検出され、それぞれの確度が「９０％」、「７０％」、「４０％」であったとする。データ補正部202は、これらの候補のうちの何れも音声認識データと一致しない場合、最も高い確度「９０％」に対応する“fifteen”を補正用として選択する。
【００３３】
一方、上記候補のうちの“fifty”が音声認識データと一致した場合、音声認識結果（“fifty”）は補正されることなく翻訳される。候補としての“fifty”は、画像的には上記“fifteen”よりも確度が低い候補ではあるが、音声認識結果と一致することが優先される。
【００３４】
このように、図５の実施形態によれば、画像に基づく複数の文字データ候補が得られ、且つ、何れかの候補が音声認識データに一致する場合は、その音声認識データの内容が優先される。また、音声認識データに一致する候補がない場合は、最も高い確度の候補により音声認識データが補正される。かかる動作により、翻訳対象となる文字データに、音声認識および画像解析を適応的に反映させることができる。その結果、翻訳対象となる文字データの精度が一層高められる。
【００３５】
なお、複数の候補のうち、ある候補が音声認識データと一致しても、その候補の確度が規定値を下回る場合は、最も高い確度の候補により音声認識結果を補正するようにしてもよい。これにより、より正確な内容を翻訳対象とすることができる。
【００３６】
本発明は、上記実施形態のような無線機能を具備する携帯電話機（100）に限らず、有線通信の固定電話機にも適用可能である。また、一般の通話機能に加え、話者間で互いの顔画像を閲覧しながら通話を行うテレビ電話機能を備える電話装置であってもよい。テレビ電話の場合、撮影した顔画像を利用して、話者の口表情を検出することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】本発明の実施形態における制御部の機能構成を示すブロック図である。
【図３】本発明の実施形態の動作を示すフローチャートである。
【図４】本発明の実施形態の具体例に関する説明図である。
【図５】本発明の他の実施形態の動作を示すフローチャートである。
【図６】本発明の他の実施形態の具体例に関する説明図である。
【符号の説明】
【００３８】
100：携帯電話機、101：カメラ、102：マイク、103：スピーカ、104：操作部、105：制御部、106：無線部、107：アンテナ
201：音声認識部、202：データ補正部、203：翻訳部、204：送信部、205：画像解析部、206：ＤＢ検索部、207：ＤＢ
【図１】
2009152650.tif 000003
【図２】
2009152650.tif 000004
【図３】
2009152650.tif 000005
【図４】
2009152650.tif 000006
【図５】
2009152650.tif 000007
【図６】
2009152650.tif 000008