(57)【要約】【課題】本発明は、例えば、互いに異なる言語を使用する者の間で行われる会話において利用される会話システムおよびその会話処理方法に関するもので、使い勝手を向上することを目的とするものである。【解決手段】本発明の会話システムおよびその会話処理方法は、入力言語表示部において、補聴器１（音声伝達装置）または携帯端末４に入力された話者の音声が正しく認識されているかを、翻訳を実行する前に確認を行い、正しく認識できている場合に翻訳処理部２０によって翻訳が行われるようにしている。したがって、誤って認識された話者の入力音声を基に翻訳が実行されてしまうことがなく、さらに、誤って認識された入力音声に対する翻訳に無駄な時間を費やしてしまうこともなくすることができ、その結果として極めて使い勝手の良いものとなるのである。【選択図】図１
2014186713.tif 000002
【特許請求の範囲】
【請求項１】
音声伝達装置と、この音声伝達装置と交信する携帯端末を備えた会話システムであって、
前記音声伝達装置は、第一マイクロフォンと、この第一マイクロフォンに第一制御部を介して接続された第一スピーカとを有し、
前記携帯端末は、第二マイクロフォンと、この第二マイクロフォンに会話処理部を介して接続された第二スピーカを有し、
前記会話処理部は、前記第一のマイクロフォンおよび前記第二のマイクロフォンから入力される話者が使用する言語を選択する言語選択部と、
前記音声伝達装置の前記第一マイクロフォンまたは前記携帯端末の前記第二マイクロフォンから入力された前記話者の音声を前記言語選択部において選択された言語で表示する入力言語表示部と、
この入力言語表示部の表示内容の正誤を前記話者が入力するための入力部と、
この入力部の入力結果に従って、前記言語選択部において選択された言語に翻訳する翻訳処理部と、を備え、
この翻訳処理部によって翻訳された言語の音声を前記音声伝達装置の前記第一スピーカまたは前記携帯端末の前記第二スピーカから出力させる会話システム。
【請求項２】
前記会話処理部は、前記入力部の入力結果に従って、前記翻訳処理部によって翻訳する第一翻訳モードと前記入力部の入力結果にかかわらず、前記翻訳処理部によって翻訳する第二翻訳モードを選択する翻訳モード選択部をさらに備える請求項１に記載の会話システム。
【請求項３】
前記会話処理部は、前記話者がそれぞれ前記音声伝達装置を介して会話する第一対話モードと前記話者の一方は前記携帯端末を介して会話する第二対話モードを選択する対話モード選択部をさらに備える請求項１または請求項２に記載の会話システム。
【請求項４】
前記制御部は、前記音声伝達装置の前記第一マイクロフォンまたは前記携帯端末の前記第二マイクロフォンから入力された前記話者の音声のＳ／Ｎ比が所定の値よりも大きいか否かを判定するＳ／Ｎ比判定部をさらに備える請求項１から請求項３のいずれか一項に記載の会話システム。
【請求項５】
前記会話処理部は、前記話者が対面した状態で会話する対面モードまたは前記話者が対面しない状態で会話する非対面モードを選択する対面モード選択部をさらに備える請求項１から請求項４のいずれか一項に記載の会話システム。
【請求項６】
前記対面モード選択部において、前記対面モードが選択された場合に、前記話者の方向に対して前記携帯端末が備える表示部における表示方向を切替える切替えキーをさらに備える請求項５に記載の会話システム。
【請求項７】
前記切替えキーは、前記携帯端末が備える表示部に表出させたものである請求項６に記載の会話システム。
【請求項８】
前記会話処理部は、前記話者に話し方の条件を提示するメッセージを表示するメッセージ表示部をさらに備える請求項１から請求項７のいずれか一項に記載の会話システム。
【請求項９】
前記音声伝達装置は補聴器である請求項１から請求項８のいずれか一項に記載の会話システム。
【請求項１０】
音声伝達装置と、この音声伝達装置と交信する携帯端末を備えた会話システムの会話処理方法であって、
前記音声伝達装置または前記携帯端末のマイクロフォンから入力された話者の音声を、この話者が使用する言語として選択された言語で表示する入力言語表示工程と、
この入力言語表示工程の表示内容の正誤
の入力結果に従って、前記話者が使用する言語として選択された言語に翻訳する翻訳処理工程と、を備え、
この翻訳処理工程によって翻訳された言語の音声を前記音声伝達装置または前記携帯端末のスピーカから出力させる会話処理方法。
【請求項１１】
前記入力言語表示工程の表示内容の正誤の入力結果に従って、前記翻訳処理工程によって翻訳する第一翻訳モードと前記入力言語表示工程の表示内容の正誤の入力結果にかかわらず、前記翻訳処理工程によって翻訳する第二翻訳モードを選択する画面を表示させる翻訳モード表示工程をさらに備える請求項１０に記載の会話処理方法。
【請求項１２】
前記話者がそれぞれ前記音声伝達装置を介して会話する第一対話モードと前記話者の一方は前記携帯端末を介して会話する第二対話モードを選択する画面を表示させる対話モード表示工程をさらに備える請求項１０または請求項１１に記載の会話処理方法。
【請求項１３】
前記話者が対面した状態で会話する対面モードまたは前記話者が対面しない状態で会話する非対面モードを選択するための画面を表示させる対面モード表示工程をさらに備える請求項１０から請求項１２のいずれか一項に記載の会話処理方法。
【請求項１４】
前記対面モード表示工程において、前記対面モードが選択された場合に、前記話者の方向に対して前記携帯端末が備える表示部における表示方向を切替える表示方向切替え工程をさらに備える請求項１３に記載の会話処理方法。
【請求項１５】
前記表示方向切替え工程において、前記携帯端末が備える表示部における表示方向を切替える切替えキーを前記携帯端末が備える表示部に表出させる切替えキー表示工程をさらに備える請求項１４に記載の会話処理方法。
【請求項１６】
前記話者に話し方の条件を提示するメッセージを表示するメッセージ表示工程をさらに備える請求項１０から請求項１５のいずれか一項に記載の会話処理方法。
【請求項１７】
前記音声伝達装置または前記携帯端末のマイクロフォンから入力された前記話者の音声のＳ／Ｎ比が所定の値よりも大きいか否かを判定するＳ／Ｎ比判定工程をさらに備え、
前記メッセージ表示工程は、前記音声のＳ／Ｎ比が所定の値よりも小さい場合に、声をより大きくして音声の再入力を促すメッセージを表示する請求項１６に記載の会話処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、互いに異なる言語を使用する者の間で行われる会話において利用される会話システムおよびその会話処理方法に関するものである。
【背景技術】
【０００２】
従来のこの種、会話システムは、例えば補聴器などの音声伝達装置を、通信手段を介して翻訳システムと接続し、この翻訳システムによって、音声伝達装置に入力した音声を所望の言語に翻訳した後、その翻訳された音声を音声伝達装置から出力するようになっている（これに類似する先行文献としては下記特許文献１が存在する）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６１５７７２７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来例においては、音声伝達装置に音声が入力され、翻訳システムを介して言語の翻訳を開始したにもかかわらず、翻訳が適正に行われず、正しい翻訳結果を得られない場合がある。例えば、会話のスピードが極端に速かったり、話者の発音が不明瞭であったりする場合、音声伝達装置において正しく入力音声を認識できないことがあるために、正しい翻訳結果を得られないのである。
【０００５】
つまり、従来の会話システムでは、音声伝達装置に入力された音声を翻訳システムにおいて正しく認識できていない状態においても、その誤った入力音声を基に翻訳が実行されてしまい、その結果として正しい翻訳結果を得られないことがあるのであって、使用環境によっては極めて使い勝手の悪いものとなるものであった。
【０００６】
そこで本発明は、使い勝手を向上することを目的とするものである。
【課題を解決するための手段】
【０００７】
そして、この目的を達成するために本発明は、音声伝達装置と、この音声伝達装置と交信する携帯端末を備えた会話システムであって、前記音声伝達装置は、第一マイクロフォンと、この第一マイクロフォンに第一制御部を介して接続された第一スピーカとを有し、前記携帯端末は、第二マイクロフォンと、この第二マイクロフォンに会話処理部を介して接続された第二スピーカを有し、前記会話処理部は、前記第一のマイクロフォンおよび前記第二のマイクロフォンから入力される話者が使用する言語を選択する言語選択部と、前記音声伝達装置の前記第一マイクロフォンまたは前記携帯端末の前記第二マイクロフォンから入力された前記話者の音声を前記言語選択部において選択された言語で表示する入力言語表示部と、この入力言語表示部の表示内容の正誤を入力する入力部と、この入力部の入力結果に従って、前記言語選択部において選択された言語に翻訳する翻訳処理部と、を備え、この翻訳処理部によって翻訳された言語の音声を前記音声伝達装置の前記第一スピーカまたは前記携帯端末の前記第二スピーカから出力させる構成とし、これにより所期の目的を達成するものである。
【発明の効果】
【０００８】
以上のように本発明は、音声伝達装置と、この音声伝達装置と交信する携帯端末を備えた会話システムであって、前記音声伝達装置は、第一マイクロフォンと、この第一マイクロフォンに第一制御部を介して接続された第一スピーカとを有し、前記携帯端末は、第二マイクロフォンと、この第二マイクロフォンに会話処理部を介して接続された第二スピーカを有し、前記会話処理部は、前記第一のマイクロフォンおよび前記第二のマイクロフォンから入力される話者が使用する言語を選択する言語選択部と、前記音声伝達装置の前記第一マイクロフォンまたは前記携帯端末の前記第二マイクロフォンから入力された前記話者の音声を前記言語選択部において選択された言語で表示する入力言語表示部と、この入力言語表示部の表示内容の正誤を入力する入力部と、この入力部の入力結果に従って、前記言語選択部において選択された言語に翻訳する翻訳処理部と、を備え、この翻訳処理部によって翻訳された言語の音声を前記音声伝達装置の前記第一スピーカまたは前記携帯端末の前記第二スピーカから出力させる構成としたものであるので極めて使い勝手の良いものとなる。
【０００９】
すなわち、本発明においては、入力言語表示部において、音声伝達装置または携帯端末に入力された話者の音声が正しく認識されているかを、翻訳を実行する前に確認を行い、正しく認識できている場合に翻訳処理部によって翻訳が行われるようにしている。したがって、誤って認識された話者の入力音声を基に翻訳が実行されてしまうことがなく、さらに、誤って認識された入力音声に対する翻訳に無駄な時間を費やしてしまうこともなくすることができ、その結果として極めて使い勝手の良いものとなるのである。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る会話システムを示す図
【図２】同会話システムにおける補聴器のブロック図
【図３】同会話システムにおける携帯端末のブロック図
【図４】同会話システムにおける翻訳処理を説明する図
【図５】同会話システムにおける翻訳処理を説明する図
【図６】同会話システムの使用状態を説明する図
【図７】同会話システムの使用状態を説明する図
【図８】同会話システムにおける翻訳処理を説明する図
【図９】同会話システムにおける動作フローチャート
【図１０】同会話システムにおける動作フローチャート
【図１１】同会話システムの使用状態を説明する図
【図１２】本発明の実施の形態２に係る会話システムにおける動作フローチャート
【図１３】同会話システムにおける翻訳処理を説明する図
【図１４】同会話システムにおける翻訳処理を説明する図
【図１５】同会話システムにおける翻訳処理を説明する図
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を、添付図面を用いて詳細に説明する。
【００１２】
（実施の形態１）
図１において、１は補聴器装着者２の耳３に装着される補聴器（音声伝達装置）で、この補聴器１と補聴器装着者２が所有する携帯端末４により会話システムが構築されている。
【００１３】
前記補聴器１は図１に示すごとく、補聴器装着者２の耳３の上部に掛かって装着される本体ケース５と、この本体ケース５が耳３に装着された状態で耳穴（図示せず）に挿入されるイヤフォン６（第一スピーカ）と、本体ケース５が耳３に装着された状態で補聴器装着者２とは反対側に向けて配置されたマイクロフォン７とを備えている。
【００１４】
また、マイクロフォン７は図２に示すごとくＡＤコンバータ８を介して制御部９に接続され、さらにこの制御部９にはＤＡコンバータ１０を介して上記イヤフォン６が接続されている。
【００１５】
さらにまた、制御部９には通信部１１が接続され、この通信部１１にはアンテナ１２が接続されている。なお、図２において１３は各部に電力を供給する電池で、この電池１３を本体ケース５に装着すれば各部に電力供給が行え、また、この電池１３を本体ケース５から取り外せば、各部への電力供給は断たれることとなる。
【００１６】
つまり、本実施形態の補聴器１における制御部９は前記マイクロフォン７から入力された音声データを、通信部１１を介して携帯端末４に送信するとともに、前記携帯端末４により補聴処理された音声データを、通信部１１を介して受信し、前記イヤフォン６に出力させる構成としているのである。
【００１７】
一方、携帯端末４は図１、図３に示すごとく、本体ケース１４の表面に表示部１５を有し、さらに、この本体ケース１４の表示部１５を挟んで離れた位置にマイクロフォン１６とスピーカ１７（第二スピーカ）が配置されている。
【００１８】
つまり、前記携帯端末４は、前記補聴器１の通信部１１と交信する通信部１８と、この通信部１８に接続された制御部１９と、この制御部１９に接続された翻訳処理部２０、表示部１５、表示部１５内に表示設定される入力部２１とを有する。
【００１９】
さらに、通信部１８にはアンテナ１８ａが接続され、また、制御部１９にはメモリー２２が接続されている。さらにまた、マイクロフォン１６と翻訳処理部２０間にはＡＤコンバータ２３が介在され、また、翻訳処理部２０とスピーカ１７間にはＤＡコンバータ２４が介在されている。なお、２５は図３に示す各部への電力供給を行う電池である。
【００２０】
つまり、本実施形態における携帯端末４は、前記補聴器１のマイクロフォン７から入力された音声データを、通信部１１を介して携帯端末４の通信部１８で受信し、制御部１９によって通信部１８で受信した音声データを翻訳処理部２０で翻訳処理した後、通信部１８を介して前記補聴器１の通信部１１に送信する構成としたものであって、これにより、補聴器１の制御部９は通信部１１で受信した音声データをイヤフォン６に出力させることができ、これにより、適切な翻訳対応が行えるものである。
【００２１】
以上の構成において本実施形態では、図１に示す会話システムを用いて翻訳を行う場合、次のような手順を実行することになる。
【００２２】
まずは、携帯端末４の入力部２１により翻訳処理アプリケーションを起動する（図９のＳ１）。
【００２３】
なお、この翻訳処理アプリケーションは、携帯端末４が例えば携帯電話であるときに、広く実行されているようにインターネットで翻訳センター（図示せず）を検索し、次に、この翻訳センターが保有する複数のアプリケーションから該当するアプリケーションを抽出し、ダウンロードすることによって図３のメモリー２２内に容易に格納することができる。
【００２４】
そして、この翻訳処理アプリケーションを起動すると、図４（ａ）から図４（ｂ）に示すごとく表示部１５には会話を行う話者の言語を選択する言語選択画面２６が表示される。
【００２５】
この言語選択画面２６には、会話を行う相手側と自分側のそれぞれの話者が使用する言語の候補２７がメニュー形式などによってそれぞれ表示されるようになっており、携帯端末４の入力部２１を操作することによって所望の言語が選択される（図９のＳ２）。
【００２６】
すなわち、言語選択部として機能しているのである。本実施形態では、図４（ｃ）に示すごとく、この言語選択部において例えば、自分側の言語として英語、相手側の言語として日本語が選択されたものとしている。
【００２７】
それぞれの話者が使用する言語が選択されると、続いて、図４（ｄ）に示すごとく、翻訳モードを選択するモード選択画面２８が表示される。
【００２８】
このモード選択画面２８への切替えは、例えば、図４（ｃ）のごとく、携帯端末４の表示部１５に表出させたモード選択切替えキー２８ａを操作することによって行う。
【００２９】
図４（ｄ）に示すごとく、モード選択画面２８には、携帯端末４の入力部２１の入力結果に従って、翻訳処理部２０によって翻訳を行う第一翻訳モード２９と、入力部２１の入力結果にかかわらず、翻訳処理部２０によって翻訳を行う第二翻訳モード３０が、メニュー形式などによって表示されるようになっている。そして、携帯端末４の入力部２１を操作することによって所望の翻訳モードが選択される（図９のＳ３）。
【００３０】
すなわち、翻訳モード選択部して機能しているのである。
【００３１】
このようにして、会話においてそれぞれの話者が使用する言語および翻訳が行われるモードがそれぞれ選択され、会話において翻訳が行われる条件が決定されるのである。ここで、本実施形態においては言語、翻訳モードの順序で選択したが、この順番は適宜変更しても良い。
【００３２】
まず、翻訳モード選択部において第一翻訳モード２９が選択された場合について説明する。
【００３３】
翻訳が行われる条件が決定され、図４（ｄ）に示すごとく、携帯端末４の表示部１５に表出させられたスタートキー３１が操作されると、図５（ａ）に示すように携帯端末４の表示部１５に翻訳開始画面３２が表示され、翻訳作業が開始される。
【００３４】
この翻訳開始画面３２には、それぞれの話者に対して“Ｐｌｅａｓｅ  ｔａｌｋ  ｓｌｏｗｌｙ”や、“ゆっくり話して下さい。”などの会話の条件を意味するメッセージ３３ａが、上述した図９のステップＳ３において選択されたそれぞれの話者に対する所望の言語で携帯端末４の表示部１５に表示される（図９のＳ４）。
【００３５】
このメッセージ３３ａは、会話において翻訳を行うときに翻訳をより適切に行うことができるように、会話のスピードや発音の明瞭さ、さらに方言やスラングなどを避けた標準的な用語を会話に使用することなどを促す内容を表示するようにしている。これにより、これから会話を開始するそれぞれの話者に対して普段の会話よりも翻訳に適した話し方をさせるように意識付けをしているのである。
【００３６】
そして、それぞれの話者がメッセージ３３ａを確認した後、一方の話者から会話を開始する。
【００３７】
さてここで、本実施形態の会話システムを用いる会話体系としては大きく二つの場合がある。つまり、図６に示すように、会話を行う話者の一方は、補聴器１を装着し、もう一方は補聴器１を装着していない場合と、図７に示すように会話を行う話者の双方がともに補聴器１を装着している場合である。
【００３８】
まず、図６に示すように会話を行う話者の一方が補聴器１を装着していない場合について説明する。本実施形態では、図９のステップＳ２において自分側の言語として英語、相手側の言語として日本語が選択されたものとしている。
【００３９】
まず、図６（Ａ）に示すように補聴器１を装着していない第一話者３４（自分側）が例えば“Ｈｅｌｌｏ”と音声を発する。この音声は第二話者３５（相手側）が装着している補聴器１のマイクロフォン７から入力され、制御部９を介して通信部１１へ送られ、アンテナ１２から携帯端末４に音声データとして送信される（図９のＳ５）。
【００４０】
送信された音声データは、携帯端末４のアンテナ１８ａを介して通信部１８で受信され、制御部１９を介して音声データが文字情報として表示部１５に表示される（図９のＳ６）。
【００４１】
第一話者３４は、この表示部１５に表示された文字情報を確認し、自らが発した音声を正しく表示しているかを確認する（図９のＳ７）。
【００４２】
本実施形態では表示部１５に“Ｈｅｌｌｏ”と表示されていれば正しく表示されていることになる。
【００４３】
そして、第一話者３４は表示部１５に表示された文字情報が正しいことを確認すると、図５（ｂ）に示すように携帯端末４の表示部１５に表出させられている確定キー３６を操作して、翻訳を開始させる（図９のＳ８）。
【００４４】
一方、第一話者３４が表示部１５に表示された文字情報が誤っていることを確認すると、携帯端末４の表示部１５に表出させられている修正キー３７を操作する（図９のＳ９）。
【００４５】
修正キー３７が操作されると、携帯端末４の表示部１５には第一話者３４に再度音声を入力することを要求するメッセージ３３ｂが表示される（図９のＳ１０）。
【００４６】
本実施形態では、このメッセージ３３ｂは例えば“Ｐｌｅａｓｅ  ｓｐｅａｋ  ａｇａｉｎ”や、“もう一度、話してください”などと表示されている。
【００４７】
このメッセージ３３ｂには、再度音声を入力することに加えて、会話のスピードや発音の明瞭さ、さらに方言やスラングなどを避けた標準的な用語を会話に使用することなどにさらに気をつけながら再度音声を発することを意味する内容を表示するとさらに好適である。これにより、音声を再度入力する際に、話者に対して翻訳に適した話し方をさせるようにさらに意識付けをさせ、音声入力をより確実に実行できるのである。
【００４８】
メッセージ３３ｂを確認した第一話者３４は、上述した翻訳に適した話し方にさらに気をつけながら図９のステップＳ５から図９のステップＳ７のステップを、表示部１５に表示された文字情報が正しいことを確認し、確定キー３６を操作して、翻訳を開始させることができるまで繰り返すこととなる。
【００４９】
以上のような手順を経て確定キー３６が操作されると、携帯端末４の制御部１９は上述の音声データを翻訳処理部２０に送り、翻訳が行われる。そして、その翻訳結果が、文字情報として表示部１５に表示される（図９のＳ１１）。
【００５０】
つまり、第一話者３４の言語が第二話者３５の言語に変換されるのである。本実施形態では、図５（ｃ）のごとく英語から日本語へ言語が変換され、“こんにちは”という文字情報が表示されることになる。
【００５１】
さらに、翻訳された音声データは制御部１９を介して通信部１８に送られ、アンテナ１８ａから送信される。
【００５２】
この送信された音声データが、第二話者３５が装着している補聴器１のアンテナ１２を介して通信部１１で受信され、制御部９を介して音声としてイヤフォン６から出力される（図９のＳ１２）。
【００５３】
本実施形態ではイヤフォン６から“こんにちは”という音声が出力されることになる。そして、その音声を第二話者３５が聞くことになる。
【００５４】
このようにして、第一話者３４から第二話者３５に向けて会話が行われることになるのである。
【００５５】
次に、これに対して第二話者３５から第一話者３４に向けて会話が行われる場合について図６（Ｂ）を用いて続けて説明する。
【００５６】
まず、補聴器１を装着している第二話者３５が、例えば“元気ですか”と音声を発する。この音声は補聴器１のマイクロフォン７から入力され、制御部９を介して通信部１１へ送られ、アンテナ１２から携帯端末４に音声データとして送信される（図９のＳ５）。
【００５７】
送信された音声データは、携帯端末４のアンテナ１８ａを介して通信部１８で受信され、制御部１９を介して音声データが文字情報として表示部１５に表示される（図９のＳ６）。
【００５８】
第二話者３５は、この表示部１５に表示された文字情報を確認し、自らが発した音声を正しく表示しているかを確認する（図９のＳ７）。
【００５９】
本実施形態では表示部１５に“元気ですか”と表示されていれば正しく表示されていることになる。
【００６０】
そして、第二話者３５は表示部１５に表示された文字情報が正しいことを確認すると、図５（ｂ）に示すように携帯端末４の表示部１５に表出させられている確定キー３６を操作して、翻訳を開始させる（図９のＳ８）。
【００６１】
ここで、確定キー３６の操作は、補聴器１に確定キー用スイッチ（図示せず）を設け、そのスイッチを操作することによって実現させても良い。
【００６２】
一方、第二話者３５が表示部１５に表示された文字情報が誤っていることを確認した場合は、上述した第一話者３４から第二話者３５に向けて会話が行われる場合と同様の手順が行われる。つまり、図９のステップＳ５から図９のステップＳ７のステップを、表示部１５に表示された文字情報が正しいことを確認し、確定キー３６を操作して、翻訳を開始させることができるまで繰り返すこととなるのである。
【００６３】
以上のような手順を経て確定キー３６が操作されると、携帯端末４の制御部１９は上述の音声データを翻訳処理部２０に送り、翻訳が行われる。そして、その翻訳結果が、文字情報として表示部１５に表示される（図９のＳ１１）。
【００６４】
つまり、第二話者３５の言語が第一話者３４の言語に変換されるのである。本実施形態では、日本語から英語へ言語が変換され、“Ｈｏｗ  ａｒｅ  ｙｏｕ”という文字情報が表示されることになる。
【００６５】
さらに、翻訳された音声データはＤＡコンバータ２４によってＤＡ変換され、変換された音声が携帯端末４のスピーカ１７から出力される（図９のＳ１２）。
【００６６】
本実施形態ではスピーカ１７から“Ｈｏｗ  ａｒｅ  ｙｏｕ”という音声が出力されることになる。そして、その音声を第一話者３４が聞くことになる。
【００６７】
以上のようにして、補聴器１を装着していない第一話者３４と補聴器を装着している第二話者３５の間で双方向の会話が行われることになるのである。
【００６８】
そして、第一話者３４と第二話者３５の間で会話が終了すると、携帯端末４の入力部２１により翻訳処理アプリケーションを終了させ、翻訳処理を完了する（図９のＳ１３）。
【００６９】
さて次に、図７に示すように会話を行う話者の双方がともに補聴器１を装着している場合について、上述した図６に示すように会話を行う話者の一方が補聴器１を装着していない場合と同様の説明は省略し、異なる部分について以下に説明する。
【００７０】
図９のステップＳ１から図９のステップＳ４は上述した図６に示す場合と同様にて説明を省略する。
【００７１】
図９のステップＳ５において、まず、図７（Ａ）に示すように補聴器１を装着している第一話者３４が例えば“Ｈｅｌｌｏ”と音声を発する。この音声は第一話者３４が装着している補聴器１のマイクロフォン７から入力され、制御部９を介して通信部１１へ送られ、アンテナ１２から携帯端末４に音声データとして送信される（図９のＳ５）。
【００７２】
その後、図９のステップＳ６から図９のステップＳ１２は上述した図６に示す場合と同様であるので説明を省略する。
【００７３】
このようにして、第一話者３４から第二話者３５に向けて会話が行われることになるのである。
【００７４】
次に、これに対して第二話者３５から第一話者３４に向けて会話が行われる場合について図７（Ｂ）を用いて続けて説明する。
【００７５】
図９のステップＳ５から図９のステップＳ１１は上述した図６に示す場合と同様であるので説明を省略する。
【００７６】
その後、翻訳された音声データは携帯端末４の制御部１９を介して通信部１８に送られ、アンテナ１８ａから送信される。
【００７７】
この送信された音声データが、第一話者３４が装着している補聴器１のアンテナ１２を介して通信部１１で受信され、制御部９を介して音声としてイヤフォン６から出力される（図９のＳ１２）。
【００７８】
本実施形態ではイヤフォン６から“Ｈｏｗ  ａｒｅ  ｙｏｕ”という音声が出力されることになる。そして、その音声を第一話者３４が聞くことになる。
【００７９】
以上のようにして、双方ともに補聴器１を装着している第一話者３４と第二話者３５の間で双方向の会話が行われることになるのである。
【００８０】
さて、ここまでは、上述したように図９示すステップＳ３で、翻訳モードを選択する場合において第一翻訳モード２９が選択された場合について説明したが、これに対して、翻訳モードを選択する場合において第二翻訳モード３０が選択された場合について以下に説明する。
【００８１】
第二翻訳モード３０は上述したように入力部２１の入力結果にかかわらず、翻訳処理部２０によって翻訳を行うものである。
【００８２】
この第二翻訳モード３０が選択され、図４（ｄ）に示す携帯端末４の表示部１５に表出させられたスタートキー３１が操作されると、図８に示すように携帯端末４の表示部１５に翻訳画面３８が表示され、翻訳作業が開始される。
【００８３】
そして、上述した図９のステップＳ４の手順を実行することなく、図９のステップＳ５および図９のステップＳ６の手順が実行される。
【００８４】
その後、上述した図９のステップＳ７から図９のステップＳ１０の手順を実行することなく、図９のステップＳ１１の手順が実行され、さらにその後、図９のステップＳ１１および図９のステップＳ１２の手順が実行される。
【００８５】
つまり、携帯端末４の表示部１５に表示された話者の発した音声の文字情報を、音声を発した話者が確認し、自らが発した音声として正しく表示されている場合に、確定キー３６を操作して言語の変換（翻訳）を行うという確認作業を省略しているのである。
【００８６】
このような第二翻訳モード３０は、例えば、空港などのアナウンスを本実施形態の会話システムを介して翻訳して聞きたい場合などに有用である。つまり、一方的に発信される音声情報を翻訳して聞きたいときには、発信される音声情報の確認作業を行うことは困難であり、確認作業を行わずに言語の変換を行えるようにしているのである。
【００８７】
また、第二翻訳モード３０が選択されたときは、翻訳された音声を聞く聞き手側は上述したような確認作業が行われないことを承知した上で、翻訳された音声を聞くことになる。したがって、翻訳の精度については、確認作業を行う第一翻訳モード２９を選択した場合に比べて高くはないことを理解した上で、翻訳された音声を聞き、翻訳結果にあまり厳密に依存せず、翻訳内容の意味を柔軟に理解しようとする。したがって、翻訳結果として大まかな内容が理解できれば良いときなどに極めて有用なものとなるのである。
【００８８】
以上のように、本実施形態においては、入力言語表示部において、補聴器１（音声伝達装置）または携帯端末４に入力された話者の音声が正しく認識されているかを、翻訳を実行する前に確認を行い、正しく認識できている場合に翻訳処理部２０によって翻訳が行われるようにしている。したがって、誤って認識された話者の入力音声を基に翻訳が実行されてしまうことがなく、さらに、誤って認識された入力音声に対する翻訳に無駄な時間を費やしてしまうこともなくすることができ、その結果として極めて使い勝手の良いものとなるのである。
【００８９】
また、上述したように本実施形態の会話システムを用いる会話体系としては図６および図７に示すように大きく二つの場合があるが、図９のステップＳ３において翻訳が開始される前に、どの形式で会話するのか、その対話モードを上述した翻訳モードを選択する場合と同様の手順によって選択するようにしても良い。
【００９０】
つまり、携帯端末４の表示部１５に対話モードを選択する選択画面を表示させ、この選択画面には、図６に示すように話者の一方は補聴器１を装着しておらず携帯端末４を介して会話する第一対話モードと、図７に示すようにそれぞれの話者が双方とも補聴器１を装着しており、それぞれの補聴器１を介して会話する第二対話モードとがメニュー形式などによって表示されるようにする。
【００９１】
そして、携帯端末４の入力部２１を操作することによって所望の対話モードを選択するようにすればよいのである。
【００９２】
このように対話モードを予め選択することによって、会話の音声を入出力するデバイスを補聴器１のマイクロフォン７やイヤフォン６および携帯端末４のマイクロフォン１６やスピーカ１７のいずれを使用するかを、それぞれの対話モードに好ましいように予め設定することができる。
【００９３】
したがって、例えば、話者の双方が補聴器１を装着している場合には、携帯端末４のマイクロフォン１６から入力される音声を無視して処理することができるようにするなど、処理手順が簡素化できたり、また、携帯端末４のマイクロフォン１６は入力された音声を誤って処理してしまうことをなくしたりできるなど、さらに使い勝手を良くすることができるのである。
【００９４】
さらに、図１０に示すように、上述したステップＳ５によって携帯端末４に送信された音声データのＳ／Ｎ比が所定の値よりも大きいか否かを判定する（図１０のＳ１４）。
【００９５】
このとき、判定の基準となる所定の値は、予め設定された値を用いればよく、Ｓ／Ｎ比が所定の値よりも大きいか否かの判定は携帯端末４の制御部１９に設けられたＳ／Ｎ比判定部（図示せず）によって行われる。
【００９６】
そして、音声データのＳ／Ｎ比が所定の値よりも大きい場合には、上述した図９のステップＳ６と同様に、図１１（ｂ）に示すごとく、送信された音声データが文字情報として表示部１５に表示される。
【００９７】
これに対して、音声データのＳ／Ｎ比が所定の値よりも小さい場合には、音声の再入力を促すメッセージを表示部１５に表示させる（図１０のＳ１５）。
【００９８】
つまり、図１１（ｃ）に示すごとく、会話を再入力するときに注意するべき内容を意味するメッセージ３３ｃが、携帯端末４の表示部１５に表示される。
【００９９】
本実施形態では、このメッセージ３３ｃは例えば、“Ｐｌｅａｓｅ  ｔａｌｋ  ｌｏｕｄｅｒ”や、“大きな声で話して下さい。”などと表示されている。
【０１００】
メッセージ３３ｃを確認した話者は、上述したように声の大きさにさらに気をつけながら音声の再入力を行う。そして、図１０のステップＳ１４において、音声データのＳ／Ｎ比が所定の値よりも大きいと判定され、上述したステップＳ６と同様に、図１１（ｂ）に示すごとく、送信された音声データが文字情報として表示部１５に表示されるまで繰り返すこととなる。
【０１０１】
このようにメッセージ３３ｃによって、音声を再度入力する際に、話者に対して入力する声の大きさにさらに意識付けをさせることによって翻訳に適した音声の大きさで入力させ、音声入力をより確実に実行できるようにしているのである。
【０１０２】
（実施の形態２）
次に、本発明の実施の形態２について説明する。ここでは、煩雑化を避けるため実施の形態１と同じ内容は省略し、異なる部分について主に説明する。なお、実施の形態１と同じ構成要素および工程については、同じ符号を付して記載し、説明を省略する。
【０１０３】
本実施形態では、上述した実施の形態１において説明した図１に示す会話システムを用いて翻訳を行う場合、次のような手順を実行することになる。
【０１０４】
図１２のステップＳ１からステップＳ３は上述した実施の形態１に示す場合と同様にて説明を省略する。
【０１０５】
図１２のステップＳ３において実施の形態１と同様に携帯端末４の入力部２１を操作することによって翻訳モード選択部において第一翻訳モード２９が選択されると、つづいて図１３（ｅ）に示すごとく携帯端末４の表示部１５に対面モードを選択するための画面が表示される（図１２のステップＳ１６）。
【０１０６】
この対面モードを選択するための画面には、図１３（ｅ）に示すごとく話者が対面した状態で会話する対面モードまたは話者が対面しない状態で会話する非対面モードを選択するメニュー３９が表出させられる。つまり、対面モード選択部４０として機能しているのである。
【０１０７】
ここで、メニュー３９は、例えば、話者が対面した状態で会話する場合に使用する対面モード３９ａ、話者が対面しない状態で会話する場合に使用する横並びモード３９ｂ（非対面モードの一例）などとして表示されている。
【０１０８】
そして、話者が対面した状態で会話する場合に対面モード選択部４０において対面モード３９ａが選択される（図１２のＳ１７）。
【０１０９】
すると、図１４（ａ）に示すごとく、携帯端末４の表示部１５に切替えキー４１が表出させられる。この切替えキー４１は、携帯端末４の表示部１５の表示方向を切替えるスイッチとして機能するものであって、本実施形態では、例えば、切替えキー４１を操作するごとに携帯端末４の表示部の表示方向を１８０度ずつ切替えるようにしている。
【０１１０】
また、本実施形態では、切替えキー４１を表出させる位置は、携帯端末４の表示部１５においてマイクロフォン１６に近い方の端部近傍に表出させている。そして、例えば、図６や図７に示す第一話者３４と第二話者３５の対面している方向が携帯端末４の表示部１５の長手方向と一致するように携帯端末４を向けるとともに、携帯端末４のマイクロフォン１６が第一話者３４に近い方になるように携帯端末４の方向を定めた状態で使用されるのである。
【０１１１】
このようにすることで、第一話者３４が切替えキー４１を操作しやすく、また切替えキー４１を操作する場合に第一話者３４の手などによって表示部１５を覆ってしまうことがないようにしている。
【０１１２】
つまり、第一話者３４および第二話者３５が携帯端末４の表示部１５を見る場合に視認性を妨げることがなく、使い勝手の良いものとなるのである。
【０１１３】
このようにして翻訳が行われる条件が決定され、図１３（ｅ）に示すごとく、携帯端末４の表示部１５に表出させられたスタートキー３１が操作されると、図１４（ａ）に示すように携帯端末４の表示部１５に翻訳開始画面３２が表示され、翻訳作業が開始される。
【０１１４】
この翻訳開始画面３２には、それぞれの話者に対して実施の形態１と同様に会話の条件を意味するメッセージ３３ａが、上述した図１２のステップＳ２において選択されたそれぞれの話者に対する所望の言語で携帯端末４の表示部１５に表示される。
【０１１５】
そして、表示部１５には切替えキー４１が上述したように表出されており、第一話者３４は、この切替えキー４１を操作して所望の方向にメッセージ３３ａが表示されるように表示方向を切替える（図１２のＳ１８）。
【０１１６】
ここで、所望の方向とは、例えば、翻訳する音声を入力する話者に向けてメッセージ３３ａが表示される方向である。
【０１１７】
本実施形態において図１４（ａ）では、翻訳する音声を入力する話者は相手側である場合を示しており、メッセージ３３ａは１８０度反転した状態で表示されている。
【０１１８】
その後、図１２のステップＳ５において、話者の発した音声が携帯端末４に音声データとして送信される。このステップＳ５は、実施の形態１と同様であるので詳細な説明は省略する。
【０１１９】
図１２のステップＳ５において送信された音声データは、携帯端末４の制御部１９を介して音声データが文字情報として表示部１５に表示される（図１２のＳ６）。
【０１２０】
このとき、表示部１５に表示される文字情報の方向はステップＳ１８にて切替えた表示方向と同じ方向となっている。
【０１２１】
続いて、図１２のステップＳ７からステップＳ９において、図１４（ｂ）に示すごとく、ステップＳ７では、表示部１５に表示された文字情報を確認し、自らが発した音声を正しく表示しているかを確認する。ステップＳ８では、表示部１５に表示された文字情報が正しいことを確認すると、携帯端末４の表示部１５に表出させられている確定キー３６を操作して、翻訳を開始させる。そして、ステップＳ９では、表示部１５に表示された文字情報が誤っていることを確認すると、携帯端末４の表示部１５に表出させられている修正キー３７を操作する。これらのステップＳ７からステップＳ９は、実施の形態１と同様であるので詳細な説明は省略する。
【０１２２】
図１２のステップＳ９において修正キー３７が操作されると、図１４（ｄ）に示すごとく、携帯端末４の表示部１５には第一話者３４に再度音声を入力することを要求するメッセージ３３ｂが表示される（図１２のＳ１０）。
【０１２３】
このとき、表示部１５に表示されるメッセージ３３ｂの方向はステップＳ１８にて切替えた表示方向と同じ方向となっている。
【０１２４】
そして、実施の形態１と同様に図１２のステップＳ５から図１２のステップＳ７のステップを、表示部１５に表示された文字情報が正しいことを確認し、確定キー３６を操作して、翻訳を開始させることができるまで繰り返すこととなる。
【０１２５】
以上のような手順を経て、図１２のステップＳ８において確定キー３６が操作されると、実施の形態１と同様に翻訳が行われ、その翻訳結果が、図１４（ｃ）に示すごとく文字情報として表示部１５に表示される（図１２のＳ１１）。
【０１２６】
このとき、表示部１５に表示される文字情報の方向はステップＳ１８にて切替えた表示方向と１８０度反転した方向となっている。つまり、文字情報は手前方向を向いた状態で表示されるのである。
【０１２７】
そしてこの後、図１２のステップＳ１２からステップＳ１３において、ステップＳ１２では、翻訳された音声データが、携帯端末４のスピーカ１７または補聴器１のイヤフォン６から音声として出力される。ステップ１３では、翻訳処理アプリケーションを終了させ、翻訳処理を完了する。これらのステップＳ１２からステップＳ１３は、実施の形態１と同様であるので詳細な説明は省略する。
【０１２８】
なお、図１２のステップＳ１８において、翻訳する音声を入力する話者が自分側である場合は、切替えキー４１を操作してメッセージ３３ａは手前方向を向いた状態で表示させる。
【０１２９】
そして、上述したように、図１２のステップＳ６において、図１４（ｆ）に示すごとく、音声データが文字情報として表示部１５に表示される（図１２のＳ６）。
【０１３０】
このとき、表示部１５に表示される文字情報の方向はステップＳ１８にて切替えた表示方向と同じ方向となっている。
【０１３１】
また、図１２のステップＳ１０において、図１４（ｈ）に示すごとく、携帯端末４の表示部１５には第一話者３４に再度音声を入力することを要求するメッセージ３３ｂが表示される。
【０１３２】
このとき、表示部１５に表示されるメッセージ３３ｂの方向はステップＳ１８にて切替えた表示方向と同じ方向となっている。
【０１３３】
また、以上のような手順を経て、図１２のステップＳ１１において、図１４（ｇ）に示すごとく翻訳結果が、文字情報として表示部１５に表示される。
【０１３４】
このとき、表示部１５に表示される文字情報の方向はステップＳ１８にて切替えた表示方向と１８０度反転した方向となっている。つまり、文字情報は相手方向を向いた状態で表示されるのである。
【０１３５】
なお、本実施形態では、図１２のステップＳ１８において、表示部１５に切替えキー４１が表出させ、この切替えキー４１を操作して所望の方向にメッセージ３３ａが表示されるように表示方向を切替えていた。そして、その後のステップＳ６、ステップＳ１０およびステップＳ１１においては、表示方向はステップＳ１８において切替えた方向をもとに上述したごとく決定されていたがこれに限定されるものではない。
【０１３６】
つまり、図１２のステップＳ６、ステップＳ１０およびステップＳ１１においても携帯端末４の表示部１５に切替えキー４１を表出させ、各ステップで、話者によって都度表示方向を所望の方向に切替えるようにしてもよい。
【０１３７】
このようにすることで、さらに様々な使用状況に対応して、表示部１５の表示方向を選択することができるのでさらに使い勝手が良いものとなるのである。
【０１３８】
一方、図１２のステップＳ１４において、話者が対面しない状態で会話する場合に使用する横並びモード３９ｂが選択されると、図１５（ａ）に示すごとく、携帯端末４の表示部１５の長手方向と表示方向が直交するように携帯端末４の表示部１５に翻訳開始画面３２が表示され、翻訳作業が開始される。この横並びモード３９ｂを使用する場合は、例えば、話者が互いに横並びで隣り合った状態において、同じ方向から携帯端末４の表示部１５を見る場合に使用することとなる。
【０１３９】
つまり、翻訳開始画面３２には、それぞれの話者に対して実施の形態１と同様に会話の条件を意味するメッセージ３３ａが、上述した図１２のステップＳ３において選択されたそれぞれの話者に対する所望の言語で携帯端末４の表示部１５に表示される。そして、このメッセージ３３ａの方向が携帯端末４の表示部１５の長手方向と直交するようにしているのである。
【０１４０】
このようにすることで、話者同士が横並びになって携帯端末４の表示部１５を見るときに、表示部１５を話者の方向に対して有効に使うことができるので画面を見易くすることができ、使い勝手の良いものとなる。
【０１４１】
このように、携帯端末４の表示部１５に表示内容が表示される状態において、図１２のステップＳ４からステップＳ１３が、実施の形態１と同様に行われることとなるのである。
【０１４２】
なお、本実施形態では、横並びモード３９ｂが選択された場合、携帯端末４の表示部１５の長手方向と表示方向が直交するように携帯端末４の表示部１５に翻訳開始画面３２が表示されるものとしたがこれに限定されるものではない。携帯端末４の表示部１５の長手方向と表示方向が同じ方向となるようにしてもよい。
【０１４３】
以上のように、本実施形態においては、実施の形態１の効果に加えて、さらに次の効果を有するものとなっている。
【０１４４】
すなわち、話者が対面した状態で会話する対面モードまたは前記話者が対面しない状態で会話する非対面モードを選択する対面モード選択部４０をさらに備えている。そして、この対面モード選択部４０において、対面モードが選択された場合に、話者の方向に対して携帯端末４が備える表示部１５における表示方向を切替える切替えキー４１を携帯端末４が備える表示部１５に表出させるようにしている。そして、話者はこの切替えキー４１を操作することによって携帯端末４の表示部１５に表示された表示内容を所望の方向に切替えることができる。
【０１４５】
したがって、携帯端末４の表示部１５に表示される表示内容を、その内容を見る話者の方向に確実に向けることができる。さらに、話者の方向に携帯端末４の向きをいちいち変える煩わしさを解消できる。その結果として、さらに使い勝手を良くすることができるのである。
【産業上の利用可能性】
【０１４６】
以上のように本発明の会話システムおよびその会話処理方法においては、誤って認識された話者の入力音声を基に翻訳が実行されてしまうことがなく、さらに、誤って認識された入力音声に対する翻訳に無駄な時間を費やしてしまうこともなくすることができ、その結果として極めて使い勝手の良いものとなる。
【０１４７】
したがって、例えば、互いに異なる言語を使用する者の間で行われる会話において利用される会話システムおよびその会話処理方法としての活用が大いに期待されるものとなるのである。
【符号の説明】
【０１４８】
１  補聴器
２  補聴器装着者
３  耳
４  携帯端末
５  本体ケース
６  イヤフォン
７  マイクロフォン
８  ＡＤコンバータ
９  制御部
１０  ＤＡコンバータ
１１  通信部
１２  アンテナ
１３  電池
１４  本体ケース
１５  表示部
１６  マイクロフォン
１７  スピーカ
１８  通信部
１８ａ  アンテナ
１９  制御部
２０  翻訳処理部
２１  入力部
２２  メモリー
２３  ＡＤコンバータ
２４  ＤＡコンバータ
２５  電池
２６  言語選択画面
２７  候補
２８  モード選択画面
２８ａ  モード選択切替えキー
２９  第一翻訳モード
３０  第二翻訳モード
３１  スタートキー
３２  翻訳開始画面
３３ａ  メッセージ
３３ｂ  メッセージ
３３ｃ  メッセージ
３４  第一話者
３５  第二話者
３６  確定キー
３７  修正キー
３８  翻訳画面
３９  メニュー
３９ａ  対面モード
３９ｂ  横並びモード
４０  対面モード選択部
４１  切替えキー
【図１】
2014186713.tif 000003
【図２】
2014186713.tif 000004
【図３】
2014186713.tif 000005
【図４】
2014186713.tif 000006
【図５】
2014186713.tif 000007
【図６】
2014186713.tif 000008
【図７】
2014186713.tif 000009
【図８】
2014186713.tif 000010
【図９】
2014186713.tif 000011
【図１０】
2014186713.tif 000012
【図１１】
2014186713.tif 000013
【図１２】
2014186713.tif 000014
【図１３】
2014186713.tif 000015
【図１４】
2014186713.tif 000016
【図１５】
2014186713.tif 000017