(57)【要約】  翻訳装置（１０）は、第１の受信部（１１）と、第２の受信部（２１）と、第１の出力部（１２）と、第２の出力部（２２）とを備える。第１の受信部（１１）は、第１のユーザの音声を受信し、第１のユーザの音声に応じた第１の音声データを生成する。第２の受信部（２１）は、第２のユーザの音声を受信し、第２のユーザの音声に応じた第２の音声データを生成する。第１の出力部（１２）は、第２の音声データから第１の音声データに基づいたデータを減算することにより生成された第３の音声データを翻訳することにより生成された第３の翻訳データに応じた音声を出力する。第２の出力部（２２）は、第１の音声データを翻訳することにより生成された第１の翻訳データに応じた音声を出力する。
2018008227.tif 000002
【特許請求の範囲】
【請求項１】
第１のユーザの音声を受信し、前記第１のユーザの音声に応じた第１の音声データを生成する第１の受信部と、
第２のユーザの音声を受信し、前記第２のユーザの音声に応じた第２の音声データを生成する第２の受信部と、
前記第２の音声データから前記第１の音声データに基づいたデータを減算することにより生成された第３の音声データを翻訳することにより生成された第３の翻訳データに応じた音声を出力する第１の出力部と、
前記第１の音声データを翻訳することにより生成された第１の翻訳データに応じた音声を出力する第２の出力部と、
を備える翻訳装置。
【請求項２】
前記第３の音声データは、前記第２の音声データの振幅から前記第１の音声データの振幅を定数倍した振幅を減算することにより生成される、請求項１に記載の翻訳装置。
【請求項３】
前記定数は、前記第１のユーザの音声の振幅と前記第２のユーザの音声の振幅との比に基づき定められる、請求項２に記載の翻訳装置。
【請求項４】
前記第１の受信部が前記第１のユーザの音声を受信している間に、前記第２の受信部が前記第２のユーザの音声を受信したとき、
前記第１の出力部は、前記第３の翻訳データに応じた音声を出力する、
請求項１〜３のいずれか１項に記載の翻訳装置。
【請求項５】
前記第１の受信部が前記第１のユーザの音声を受信している間に、前記第２の受信部が前記第２のユーザの音声を受信したとき、
前記第１の出力部は、
前記第１の受信部によって受信された音声の音量が所定の音量以上のときは、前記第３の翻訳データに応じた音声を出力し、
前記第１の受信部によって受信された音声の音量が所定の音量未満のときは、前記第２の音声データを翻訳することにより生成された第２の翻訳データに応じた音声を出力する、
請求項１〜３のいずれか１項に記載の翻訳装置。
【請求項６】
前記第１の受信部が前記第１のユーザの音声を受信している間に、前記第２の受信部が前記第２のユーザの音声を受信したとき、
前記第１の出力部は、
前記第２の音声データに前記第１の音声データが含まれるときは、前記第３の翻訳データに応じた音声を出力し、
前記第２の音声データに前記第１の音声データが含まれないときは、前記第２の音声データを翻訳することにより生成された第２の翻訳データに応じた音声を出力する、
請求項１〜３のいずれか１項に記載の翻訳装置。
【請求項７】
前記第１の受信部が前記第１のユーザの音声を受信している間に、前記第２の受信部が前記第２のユーザの音声を受信したとき、
前記第１の出力部は、
前記第１の受信部によって受信された音声の音量が所定の音量以上であり、かつ、前記第２の音声データに前記第１の音声データが含まれるときは、前記第３の翻訳データに応じた音声を出力し、
前記第１の受信部によって受信された音声の音量が所定の音量未満、または、前記第２の音声データに前記第１の音声データが含まれないときは、前記第２の音声データを翻訳することにより生成された第２の翻訳データに応じた音声を出力する、
請求項１〜３のいずれか１項に記載の翻訳装置。
【請求項８】
前記第２の出力部が音声を出力している間に、前記第２の受信部が前記第２のユーザの音声を受信したとき、
前記第２の出力部は、音声を出力することを停止する、
請求項１〜３のいずれか１項に記載の翻訳装置。
【請求項９】
前記第１のユーザに装着されて使用される、
請求項１〜８のいずれか１項に記載の翻訳装置。
【請求項１０】
前記第１の出力部は、前記第１のユーザの耳に接するような位置に配置される、
請求項９に記載の翻訳装置。
【請求項１１】
前記第１の出力部は、ヘッドフォン型のスピーカである、
請求項９に記載の翻訳装置。
【請求項１２】
前記第１の出力部と前記第１の受信部とは、ヘッドフォン型のスピーカとマイクとを含むヘッドセットを構成する、
請求項９に記載の翻訳装置。
【請求項１３】
前記第１の翻訳データを逆翻訳することにより生成された第１の逆翻訳データが示す文字画像を表示する第１の表示部と、
前記第３の翻訳データを逆翻訳することにより生成された第３の逆翻訳データが示す文字画像を表示する第２の表示部と、
をさらに備える、
請求項１〜１２のいずれか１項に記載の翻訳装置。
【請求項１４】
前記第１の表示部は、前記第１のユーザの眼の近傍に配置され、
前記第２の受信部、前記第２の出力部、および、前記第２の表示部は、前記第１のユーザの頭部の前面に配置される、
請求項１３に記載の翻訳装置。
【請求項１５】
前記第１の音声データから前記第１の翻訳データへの翻訳の評価値、または、前記第３の音声データから前記第３の翻訳データへの翻訳の評価値を、前記第１のユーザに提示する評価提示部をさらに備える、
請求項１〜１４のいずれか１項に記載の翻訳装置。
【請求項１６】
前記第１の受信部が前記第１のユーザの音声を受信している間に、前記第２の受信部が前記第２のユーザの音声を受信したとき、
前記第１の受信部が前記第１のユーザの音声を受信している間に前記第２の受信部が前記第２のユーザの音声を受信したことを、前記第１のユーザに提示する同時提示部をさらに備える、
請求項１〜１５のいずれか１項に記載の翻訳装置。
【請求項１７】
前記第１の翻訳データ、前記第３の音声データ、および、前記第３の翻訳データを生成する制御部をさらに備える、
請求項１〜１６のいずれか１項に記載の翻訳装置。
【請求項１８】
翻訳サーバと通信を行う通信部をさらに備え、
前記通信部は、
前記第１の音声データおよび前記第２の音声データを前記翻訳サーバに送信し、
前記翻訳サーバにより生成された前記第１の翻訳データおよび前記第３の翻訳データを受信する、
請求項１〜１６のいずれか１項に記載の翻訳装置。
【請求項１９】
前記第３の音声データを生成する制御部と、
翻訳サーバと通信を行う通信部とをさらに備え、
前記通信部は、
前記第１の音声データおよび前記第３の音声データを前記翻訳サーバに送信し、
前記翻訳サーバにより生成された前記第１の翻訳データおよび前記第３の翻訳データを受信する、
請求項１〜１６のいずれか１項に記載の翻訳装置。
【請求項２０】
第１の受信部で受信された第１のユーザの音声に応じた第１の音声データを生成するステップと、
第２の受信部で受信された第２のユーザの音声に応じた第２の音声データを生成するステップと、
前記第２の音声データから前記第１の音声データに基づいたデータを減算することにより生成された第３の音声データを翻訳することにより生成された第３の翻訳データに応じた音声を第１の出力部から出力するステップと、
前記第１の音声データを翻訳することにより生成された第１の翻訳データに応じた音声を第２の出力部から出力するステップとを含む、翻訳方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、第１のユーザと第２のユーザとの会話を翻訳する翻訳装置および翻訳方法に関する。
【背景技術】
【０００２】
特許文献１及び２は、人体に装着されて使用されるウェアラブル翻訳装置として眼鏡型表示装置を開示する。この表示装置は、話者の音声信号をテキストデータに変換し、そのテキストデータをそのテキストデータの言語とは異なる他の言語のテキストデータに翻訳する。表示装置は、他の言語に翻訳されたテキストデータを眼鏡の視界内に表示する。これにより、例えば翻訳装置を装着するホスト（案内者）は、翻訳された表示を見ることで、ゲスト（旅行者）が話している内容を理解できるようになる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８０１６４号公報
【特許文献２】特開２０１２−５９１２１号公報
【発明の概要】
【０００４】
上記の眼鏡型表示装置では、ホストとゲストとの双方向の会話を翻訳しようとすると、ホスト、ゲストともに眼鏡型表示装置を装着する必要がある。その際、ホストとゲストとの間で２つの言語が飛び交うこととなり、ゲストが混乱する可能性がある。
【０００５】
本開示は、ホストとゲストとの双方向の会話を翻訳する際に、ホストとゲストとの間で２つの言語の音声が飛び交うことによるゲストの混乱を低減することができる翻訳装置を提供する。
【０００６】
本開示における翻訳装置は、第１の受信部と、第２の受信部と、第１の出力部と、第２の出力部とを備える。第１の受信部は、第１のユーザの音声を受信し、第１のユーザの音声に応じた第１の音声データを生成する。第２の受信部は、第２のユーザの音声を受信し、第２のユーザの音声に応じた第２の音声データを生成する。第１の出力部は、第２の音声データから第１の音声データに基づいたデータを減算することにより生成された第３の音声データを翻訳することにより生成された第３の翻訳データに応じた音声を出力する。第２の出力部は、第１の音声データを翻訳することにより生成された第１の翻訳データに応じた音声を出力する。
【０００７】
本開示における翻訳装置は、ホストとゲストとの双方向の会話を翻訳する際に、ホストとゲストとの間で２つの言語の音声が飛び交うことによるゲストの混乱を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態１にかかる翻訳装置の外観を示す図である。
【図２】図２は、実施の形態１にかかる翻訳装置の電気的な構成を示すブロック図である。
【図３】図３は、実施の形態１にかかる翻訳装置の制御部による翻訳動作を示すフローチャートである。
【図４】図４は、従来の一方向の会話の翻訳を行う眼鏡型翻訳装置を着用して使用するときの一例を説明するための図である。
【図５】図５は、本実施の形態の双方向の会話の翻訳が可能な帽子型翻訳装置を着用して使用するときの一例を説明するための図である。
【図６】図６は、実施の形態２にかかる翻訳装置の外観を示す図である。
【図７】図７は、実施の形態２にかかる翻訳装置の電気的な構成を示すブロック図である。
【図８】図８は、実施の形態２にかかる翻訳装置の制御部による翻訳動作を示すフローチャートである。
【図９】図９は、実施の形態３にかかる操作モジュールを示す図である。
【図１０】図１０は、実施の形態３にかかる翻訳装置の制御部によるモード判断を示すフローチャートである。
【図１１】図１１は、実施の形態３にかかる翻訳装置の制御部によるホストモードでの基本動作を表すフローチャートである。
【図１２】図１２は、実施の形態３にかかる翻訳装置の制御部によるホストモードでの第１動作を表すフローチャートである。
【図１３】図１３は、実施の形態３にかかる翻訳装置の制御部によるホストモードでの第２動作を表すフローチャートである。
【図１４】図１４は、実施の形態３にかかる翻訳装置の制御部によるホストモードでの第３動作を表すフローチャートである。
【図１５】図１５は、実施の形態４にかかる翻訳装置の制御部によるホストモードでの基本動作を表すフローチャートである。
【図１６】図１６は、実施の形態４にかかる翻訳装置の制御部によるホストモードでの第１動作を表すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態１）
以下、図１〜図５を用いて、実施の形態１を説明する。本実施の形態では、説明の便宜上、翻訳装置が、外国からのゲスト（旅行者）（第２のユーザ）を案内するホスト（案内者）（第１のユーザ）に装着されて使用されることを想定して説明する。
【００１２】
［１−１．構成］
［１−１−１．翻訳装置の物理的な構成］
図１は、実施の形態１にかかる翻訳装置の外観を示す図である。図１に示すように、翻訳装置１０は、ホストに装着されて使用されるウェアラブル装置であり、より具体的にはホストの頭部に装着されて使用される帽子型の装置である。この翻訳装置１０は、帽子２０と、帽子２０に取り付けられたマイク１１、２１と、スピーカ１２、２２と、ディスプレイ１３、２３とを備える。マイク１１、スピーカ１２及びディスプレイ１３はホスト用であり、マイク２１、スピーカ２２及びディスプレイ２３はゲスト用である。
【００１３】
ホスト用のマイク１１、スピーカ１２、ディスプレイ１３、及び、支持部材１４は、ヘッドセット１５を構成しており、帽子２０の側部に設けられている。スピーカ１２はヘッドフォン型のスピーカである。翻訳装置１０がホストの頭部に装着されたときに、スピーカ１２はホストの耳に接するように帽子２０の側部に配置される。本開示において、ヘッドフォン型のスピーカとは、オーバーヘッド型（ヘッドバンド型）、ネックバンド型、耳掛け型（クリップ型）、インナーイヤー型、カナル型などのスピーカを含む。支持部材１４は、スピーカ１２から延びている。支持部材１４におけるスピーカ１２と反対側の端部には、マイク１１とディスプレイ１３とが設けられている。換言すれば、翻訳装置１０がホストの頭部に装着されたときに、マイク１１はホストの口の近傍に配置され、ディスプレイ１３はホストの眼の近傍に配置される。
【００１４】
このように、スピーカ１２はヘッドフォン型のスピーカであり、帽子２０がホストの頭部に装着されたときにホストの耳に接して配置されるため、ホストの言語の音声はホストのみに出力される。そのため、ゲストの言語でないこの音声はゲストには聞こえにくい。また、マイク１１は、帽子２０がホストの頭部に装着されたときにホストの口の近傍に配置されるため、ホストはマイク１１に対して比較的に小さい音量で話すことができる。そのため、ゲストの言語でないホストの音声はゲストには聞こえにくい。これにより、ホストとゲストとの間でゲストの言語による音声とホストの言語による音声とが飛び交うことによるゲストの混乱を低減することができる。
【００１５】
一方、ゲスト用のマイク２１、スピーカ２２、及び、ディスプレイ２３は、帽子２０の上部前面に設けられている。
【００１６】
また、帽子２０の内部には制御モジュール３０と振動部４０とが設けられている。制御モジュール３０は、後述するように通信機能を有し、インターネット２００を介して翻訳サーバ１００に接続される。また、翻訳装置１０は、操作モジュール５０を備える。操作モジュール５０は、ホスト用の発話ボタン５１、ゲスト用の発話ボタン５２、及び言語選択ボタン５３を有する。
【００１７】
翻訳装置１０は、インターネット２００を介して翻訳サーバ１００に接続される。翻訳サーバ１００は、翻訳装置１０から受信する文字列の音声データを翻訳して文字列の翻訳データを生成する。さらに、翻訳サーバ１００はその翻訳の評価値を生成する。また、翻訳サーバ１００は、文字列の翻訳データを逆翻訳して文字列の逆翻訳データを生成する。翻訳サーバ１００は、翻訳データとその翻訳の評価値、及び、逆翻訳データをインターネット２００を介して翻訳装置１０に送信する。以下、翻訳装置１０の電気的な構成について詳細に説明する。
【００１８】
［１−１−２．翻訳装置の電気的な構成］
図２は、実施の形態１にかかる翻訳装置の電気的な構成を示すブロック図である。
【００１９】
翻訳装置１０は、制御モジュール３０と、振動部４０と、操作モジュール５０とを備える。制御モジュール３０は、通信部３１と、記憶部３２と、制御部３３とを備える。制御モジュール３０には、ホスト用のマイク１１と、スピーカ１２と、ディスプレイ１３と、ゲスト用のマイク２１と、スピーカ２２と、ディスプレイ２３とが接続されている。
【００２０】
マイク１１は、音声を電気信号に変換する装置である。マイク１１は、ホストの音声を受信し、この音声を電気信号（音声信号）に変換する。
【００２１】
マイク２１は、音声を電気信号に変換する装置である。マイク２１は、ゲストの音声を受信し、この音声を電気信号（音声信号）に変換する。
【００２２】
通信部３１は、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下同様）、Ｗｉ−Ｆｉ、３Ｇ、ＬＴＥ、ＩＥＥＥ８０２．１１等の通信方式に従って、インターネット２００を介して翻訳サーバ１００とデータ通信を行う通信モジュールである。通信部３１は、インターネット２００を介して翻訳サーバ１００に音声データと、音声データの言語の種類と、翻訳したい言語の種類を送信する。
【００２３】
記憶部３２は、フラッシュメモリ、強誘電体メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などで構成される記憶素子である。記憶部３２は、音声認識及び音声合成のための参照テーブルを複数の言語ごとに格納する。音声認識のための参照テーブルは、文字データとその音声信号とが対応付けされたテーブルである。音声合成のための参照テーブルは、文字データとその音声信号の特徴とが対応付けされたテーブルである。また、記憶部３２は、制御部３３のための各種プログラムを格納している。
【００２４】
制御部３３は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等で構成され、記憶部３２に格納された各種プログラムを実行することにより、翻訳装置１０の全体を制御する。制御部３３は、ＡＤ変換器およびＤＡ変換器を備える。制御部３３は、ホスト用のマイク１１から入力された音声信号をデジタル音声データに変換し、さらに音声認識して文字列の第１の音声データを生成する。また、制御部３３は、ゲスト用のマイク２１から入力された音声信号をデジタル音声データに変換し、さらに音声認識して文字列の第２の音声データを生成する。制御部３３は、これらの第１及び第２の音声データおよび、音声データの言語の種類と翻訳したい言語の種類を、通信部３１を介して翻訳サーバ１００に送信する。
【００２５】
また、制御部３３は、第１の音声データが翻訳された第１の翻訳データとその翻訳の評価値、及び、第２の音声データが翻訳された第２の翻訳データとその翻訳の評価値を翻訳サーバ１００から通信部３１を介して受信する。制御部３３は、第１の翻訳データを音声合成して音声信号を生成し、スピーカ２２から音声を出力させる。また、制御部３３は、第２の翻訳データを音声合成して音声信号を生成し、スピーカ１２から音声を出力させる。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下であるときに）、振動部４０を制御して、翻訳の評価値をホストに提示する。
【００２６】
また、制御部３３は、第１の翻訳データが逆翻訳されて生成された第１の逆翻訳データ、及び、第２の翻訳データが逆翻訳されて生成された第２の逆翻訳データを翻訳サーバ１００から通信部３１を介して受信する。制御部３３は、第１の逆翻訳データを表示するための文字画像を生成し、ホスト用のディスプレイ１３を制御して文字画像を表示する。また、制御部３３は、第２の逆翻訳データを表示するための文字画像を生成し、ゲスト用のディスプレイ２３を制御して文字画像を表示する。
【００２７】
なお、制御部３３の機能は、ハードウェアとソフトウェアの協同により実現したが、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。例えば、制御部３３は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等で構成することができる。
【００２８】
ホスト用のスピーカ１２は、電気信号を音声に変換する装置である。スピーカ１２は、制御部３３からの電気信号（音声信号）に基づいた音声を出力する。
【００２９】
ゲスト用のスピーカ２２は、電気信号を音声に変換する装置である。スピーカ２２は、制御部３３からの電気信号（音声信号）に基づいた音声を出力する。
【００３０】
ホスト用のディスプレイ１３は、画像を表示する装置である。ディスプレイ１３は、制御部３３からの第１の逆翻訳データが示す文字画像を表示する。これにより、ホストは、話した音声と逆翻訳結果との一致性に基づき、翻訳結果が正しいか否かを確認することができる。また、ディスプレイ１３は、制御部３３からの第１及び第２の翻訳データの評価値を表示する。ホストはディスプレイ１３により第１及び第２の翻訳データの確からしさを確認することができる。ディスプレイ１３は第１の逆翻訳データをホストに対して表示する第１の表示部の一例である。
【００３１】
ゲスト用のディスプレイ２３は、画像を表示する装置である。ディスプレイ２３は、制御部３３からの第２の逆翻訳データが示す文字画像を表示する。これにより、ゲストは、話した音声と逆翻訳結果との一致性に基づき、翻訳結果が正しいか否かを確認することができる。ディスプレイ２３は第２の逆翻訳データをゲストに対して表示する第２の表示部の一例である。また、ゲスト用のディスプレイ２３は、第１及び第２の翻訳データの評価値を表示しない。
【００３２】
振動部４０は、制御部３３の制御により、振動する。これにより、振動部４０は、翻訳の評価値をホストに提示する。振動部４０は翻訳の評価値をホストに提示する評価提示部の一例である。
【００３３】
操作モジュール５０は、ホスト用の発話ボタン５１、ゲスト用の発話ボタン５２、言語選択ボタン５３等の各種操作ボタンを含む。発話ボタン５１は、ホスト用のマイク１１を有効にするための操作ボタンである。発話ボタン５２は、ゲスト用のマイク２１を有効にするための操作ボタンである。言語選択ボタン５３は、日本語から英語への翻訳や英語から日本語への翻訳等を選択するための操作ボタンである。操作モジュール５０は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ等の近距離通信規格に準拠して、有線又は無線にて制御部３３と通信を行う。
【００３４】
［１−２．動作］
以上のように構成された翻訳装置１０について、その動作を以下に説明する。図３は、翻訳装置１０の制御部３３による翻訳動作を示すフローチャートである。
【００３５】
本実施の形態では、ホストが話したいときには、ホストは、言語選択ボタン５３を操作して翻訳言語（例えば、日本語から英語への翻訳）を選択し、その後、発話ボタン５１を操作する。一方、ホストが話し終えたときやホストがゲストの話を聞きたいときには、ホストは、言語選択ボタン５３を操作して翻訳言語（例えば、英語から日本語への翻訳）を選択し、その後、発話ボタン５２を操作する。
【００３６】
図３において、制御部３３は、ホストにより発話ボタン５１の操作が行われたか否かの判断を行う（Ｓ１）。発話ボタン５１の操作が行われていない場合（Ｓ１のＮＯ）、次に、制御部３３は、ホストにより発話ボタン５２の操作が行われたか否かの判断を行う（Ｓ２）。発話ボタン５２の操作も行われていない場合（Ｓ２のＮＯ）、制御部３３はステップＳ１に戻る。
【００３７】
ホストによりホスト用の発話ボタン５１の操作が行われた場合（Ｓ１のＹＥＳ）、制御部３３はマイク１１を有効にする。このとき、ホストの音声がマイク１１に入力されると、マイク１１はホストの音声に応じた音声信号を生成する。制御部３３は、マイク１１から音声信号を受信し、音声認識を行って第１の音声データを生成する（Ｓ１１）。具体的には、制御部３３は、音声認識のための参照テーブルを参照して、音声信号から文字列の第１の音声データを生成する。本実施の形態では、制御部３３の音声認識機能とマイク１１とが第１の受信部の一例である。
【００３８】
次に、制御部３３は、第１の音声データを通信部３１及びインターネット２００を介して翻訳サーバ１００に送信する（Ｓ１２）。翻訳サーバ１００は、受信した第１の音声データを翻訳して文字列の第１の翻訳データを生成し、この翻訳の評価値を生成する。具体的には、翻訳サーバ１００は、日本語−英語の翻訳辞書を参照して、第１の音声データに対応した第１の翻訳データを生成する。また、翻訳サーバ１００は、この翻訳の評価値を生成する。評価値は、翻訳結果の精度を示す情報である。翻訳の手法、及び、翻訳の評価値を求める手法としては、ＢＬＥＵ（BiLingual Evaluation Understudy）やＲＩＢＥＳ（Rank-based Intuitive Bilingual Evaluation Score）などの公知の技術が用いられる。
【００３９】
また、翻訳サーバ１００は、第１の翻訳データを翻訳前の言語（日本語）に逆翻訳して文字列の第１の逆翻訳データを生成する。具体的には、翻訳サーバ１００は、メモリ等に格納されている英語−日本語の翻訳辞書を参照して、第１の翻訳データに対応した第１の逆翻訳データを生成する。
【００４０】
次に、制御部３３は、翻訳サーバ１００からインターネット２００及び通信部３１を介して、第１の翻訳データ、その翻訳の評価値、及び、第１の逆翻訳データを受信する（Ｓ１３）。
【００４１】
次に、制御部３３は、第１の翻訳データの音声合成を行って音声信号を生成し、この音声信号に応じた音声をゲスト用のスピーカ２２から出力させる（Ｓ１４）。具体的には、制御部３３は、英語の音声合成の参照テーブルを参照して、文字列の第１の翻訳データを音声信号に変換する。この音声信号がスピーカ２２によって音声に変換されて出力される。本実施の形態では、制御部３３の音声合成機能とスピーカ２２とが第２の出力部の一例である。
【００４２】
次に、制御部３３は、第１の逆翻訳データを表示するための文字画像を生成し、この文字画像をホスト用のディスプレイ１３に表示させる（Ｓ１５）。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下である場合に）、振動部４０を動作させ、翻訳の評価値をホストに提示する（Ｓ１６）。これらにより、ホストは翻訳が正しく行われたか否かを確認することができる。その後、ステップＳ１に戻る。
【００４３】
一方、ホストによりゲスト用の発話ボタン５２の操作が行われた場合（Ｓ２のＹＥＳ）、制御部３３はマイク２１を有効にする。このとき、ゲストの音声がマイク２１に入力されると、マイク２１はゲストの音声に応じた音声信号を生成する。制御部３３は、マイク２１から音声信号を受信し、音声認識を行って第２の音声データを生成する（Ｓ２１）。具体的には、制御部３３は、音声認識のための参照テーブルを参照して、音声信号から文字列の第２の音声データを生成する。本実施の形態では、制御部３３の音声認識機能とマイク２１とが第２の受信部の一例である。
【００４４】
次に、制御部３３は、第２の音声データを通信部３１及びインターネット２００を介して翻訳サーバ１００に送信する（Ｓ２２）。翻訳サーバ１００は、受信した第２の音声データを翻訳して文字列の第２の翻訳データを生成し、この翻訳の評価値を生成する。具体的には、翻訳サーバ１００は、英語−日本語の翻訳辞書を参照して、第２の音声データに対応した第２の翻訳データを生成する。また、翻訳サーバ１００は、この翻訳の評価値を生成する。
【００４５】
また、翻訳サーバ１００は、第２の翻訳データを翻訳前の言語（英語）に逆翻訳して文字列の第２の逆翻訳データを生成する。具体的には、翻訳サーバ１００は、メモリ等に格納されている日本語−英語の翻訳辞書を参照して、第２の翻訳データに対応した第２の逆翻訳データを生成する。
【００４６】
次に、制御部３３は、翻訳サーバ１００からインターネット２００及び通信部３１を介して、第２の翻訳データ、その翻訳の評価値、及び、第２の逆翻訳データを受信する（Ｓ２３）。
【００４７】
次に、制御部３３は、第２の翻訳データの音声合成を行って音声信号を生成し、この音声信号に応じた音声をホスト用のスピーカ１２から出力させる（Ｓ２４）。具体的には、制御部３３は、日本語の音声合成の参照テーブルを参照して、文字列の第２の翻訳データを音声信号に変換する。この音声信号がスピーカ１２によって音声に変換されて出力される。本実施の形態では、制御部３３の音声合成機能とスピーカ１２とが第１の出力部の一例である。
【００４８】
次に、制御部３３は、第２の逆翻訳データを表示するための文字画像を生成し、この文字画像をゲスト用のディスプレイ２３に表示させる（Ｓ２５）。これにより、ゲストは翻訳が正しく行われたか否かを確認することができる。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下である場合に）、振動部４０を動作させ、翻訳の評価値をホストに提示する（Ｓ２６）。これにより、ホストは翻訳が正しく行われたか否かを確認することができる。その後、ステップＳ１に戻る。
【００４９】
以上の動作において、ホスト用のスピーカ１２はヘッドフォン型のスピーカであり、帽子２０がホストの頭部に装着されたときにホストの耳に接して配置されるため、ホストの言語の音声はホストのみに出力される。そのため、ゲストの言語でないこの音声はゲストには聞こえにくい。また、ホスト用のマイク１１はヘッドセットを構成し、帽子２０がホストの頭部に装着されたときにホストの口の近傍に配置されるため、ホストはマイク１１に対して比較的に小さい音量で話すことができる。そのため、ゲストの言語でないホストの音声はゲストには聞こえにくい。これにより、ホストとゲストとの間でゲストの言語による音声とホストの言語による音声とが飛び交うことによるゲストの混乱を低減することができる。
【００５０】
また、本実施の形態の翻訳装置１０によれば、１台の翻訳装置で、ホストとゲストとの双方向の会話を翻訳することができる。また、本実施の形態の翻訳装置１０は、ホストに装着されて使用される。また、操作モジュール５０におけるホスト用の発話ボタン５１及びゲスト用の発話ボタン５２はホストにより操作される。これにより、翻訳装置の操作が不慣れなゲストが翻訳装置の操作を行うことなく、ホストとゲストとの双方向の会話を翻訳することができるという利点を得ることができる。この利点について以下に詳細に説明する。
【００５１】
図４及び図５を参照して、本実施の形態の双方向の会話の翻訳が可能な帽子型翻訳装置１０と、特許文献１に開示のように一方向の会話の翻訳を行う眼鏡型翻訳装置１０Ｘとの対比を行う。図４は、従来の一方向の会話の翻訳を行う眼鏡型翻訳装置を着用して使用するときの一例を説明するための図であり、図５は、本実施の形態の双方向の会話の翻訳が可能な帽子型翻訳装置を着用して使用するときの一例を説明するための図である。
【００５２】
図４に示すように、一方向の会話の翻訳を行う眼鏡型翻訳装置１０Ｘでは、ホストとゲストとの双方向の会話を翻訳しようとすると、ホスト、ゲストともに眼鏡型翻訳装置１０Ｘを装着し、ホスト、ゲストともに操作モジュール５０Ｘを操作する必要がある。
【００５３】
例えば、ホストが、操作モジュール５０Ｘの発話ボタンを操作してマイクを有効にし、音声「いらっしゃいませ（日本語）」と発する。ホストに装着されて使用される翻訳装置１０Ｘは、この発音を翻訳して音声「Ｗｅｌｃｏｍｅ（英語）」を出力する。次に、ゲストが、操作モジュール５０Ｘの発話ボタンを操作してマイクを有効にし、音声「Ｗｈｅｒｅ  ｉｓ  ｔｈｅ  〜？（英語）」と発する。ゲストに装着されて使用される翻訳装置１０Ｘは、この発音を翻訳して音声「〜はどこですか？（日本語）」を出力する。次に、ホストが、操作モジュール５０Ｘの発話ボタンを操作してマイクを有効にし、音声「〜です（日本語）」と発する。ホストに装着されて使用される翻訳装置１０Ｘは、この発音を翻訳して音声「Ｔｈｅｒｅ  ｉｓ  〜（英語）」を出力する。この場合、ホストは翻訳装置１０Ｘの操作に慣れているが、ゲストは翻訳装置１０Ｘの操作が初めてで、操作し難いという問題がある。
【００５４】
これに対して、本実施の形態の双方向の会話の翻訳が可能な帽子型翻訳装置１０では、例えば、図５に示すように、ホストが、操作モジュール５０のホスト用の発話ボタン５１を操作してマイク１１を有効にし、音声「いらっしゃいませ（日本語）」と発する。ホストに装着されて使用される翻訳装置１０は、この発音を翻訳して音声「Ｗｅｌｃｏｍｅ（英語）」をゲストに出力する。次に、ホストが、操作モジュール５０の発話ボタン５２を操作してマイク２１を有効にする。このとき、ゲストが、音声「Ｗｈｅｒｅ  ｉｓ  ｔｈｅ  〜？（英語）」と発する。そうすると、ホストに装着されて使用される翻訳装置１０は、この発音を翻訳して音声「〜はどこですか？（日本語）」をホストに出力する。次に、ホストが、操作モジュール５０の発話ボタン５１を操作してマイク１１を有効にし、音声「〜です（日本語）」と発する。ホストに装着されて使用される翻訳装置１０は、この発音を翻訳して音声「Ｔｈｅｒｅ  ｉｓ  〜（英語）」をゲストに出力する。
【００５５】
このように、本実施の形態の双方向の会話の翻訳が可能な帽子型翻訳装置１０では、ホストに装着されて使用され、操作モジュール５０の発話ボタン５１、発話ボタン５２ともにホストが操作する。そのため、翻訳装置の操作が不慣れなゲストが翻訳装置の操作を行うことなく、ホストとゲストとの双方向の会話を翻訳することができる。
【００５６】
また、図４および図５において、ホストとゲストとの間で飛び交う言語を太線の吹出しで、比較的小さな音量の言語を点線の吹出しで示している。図４のように、従来の翻訳装置１０Ｘではホストとゲストとの間でゲストの言語による音声とホストの言語による音声とが飛び交うことになる。しかし、図５のように、本実施の形態の翻訳装置１０ではホストとゲストとの間でゲストの言語による音声のみが飛び交うことになる。
【００５７】
［１−３．効果等］
以上のように、本実施の形態において、翻訳装置１０は、ホストに装着されて使用され、ホストとゲストとの会話を翻訳する翻訳装置であって、ホスト用のマイク１１と、スピーカ１２と、ゲスト用のマイク２１と、スピーカ２２とを備える。マイク１１は、ホストの音声を受信し、ホストの音声に応じた第１の音声データを生成する。スピーカ１２は、第２の音声データが翻訳されて生成された第２の翻訳データに応じた音声をホストに出力する。マイク２１は、ゲストの音声を受信し、ゲストの音声に応じた第２の音声データを生成する。スピーカ２２は、第１の音声データが翻訳されて生成された第１の翻訳データに応じた音声をゲストに出力する。
【００５８】
これにより、翻訳装置１０は、１台の翻訳装置で、ホストとゲストとの双方向の会話を翻訳することができる。
【００５９】
また、ホスト用のスピーカ１２は、ゲストの言語（例えば英語）による音声がホストの言語（例えば日本語）に翻訳された音声をホストの耳元に出力する。そのため、スピーカ１２からのホストの言語による音声はゲストには聞こえにくい。また、翻訳装置１０はホストに装着されて使用されるので、ホストはホスト用のマイク１１に対して比較的に小さな音量で話すことができる。そのため、ホストが話すホストの言語による音声はゲストには聞こえにくい。これにより、ホストとゲストとの間でゲストの言語による音声とホストの言語による音声とが飛び交うことによるゲストの混乱を低減することができる。
【００６０】
（実施の形態２）
実施の形態１では、翻訳装置１０にインターネット２００を介して接続された翻訳サーバ１００が翻訳を行った。実施の形態２では、翻訳装置１０自体が翻訳処理を行う。
【００６１】
図６は、実施の形態２にかかる翻訳装置の外観を示す図であり、図７は、実施の形態２にかかる翻訳装置の電気的な構成を示すブロック図である。図６及び図７に示すように、実施の形態２の翻訳装置１０は、図１及び図２に示す実施の形態１の翻訳装置１０と比較して、通信部３１を備えず、翻訳サーバ１００と通信を行わない点で異なる。また、実施の形態２の翻訳装置１０では、記憶部３２は、翻訳のための複数の翻訳辞書を、言語翻訳（例えば、日本語から英語への言語翻訳、および、英語から日本語への言語翻訳）の種類ごとに格納する点で実施の形態１の翻訳装置１０と異なる。翻訳辞書は、文字列（テキスト）の音声データと文字列の翻訳データとが対応付けされた辞書である。
【００６２】
以下、図８を用いて、実施の形態２にかかる翻訳装置１０の動作を説明する。図８は、実施の形態２にかかる翻訳装置１０による翻訳動作を示すフローチャートである。
【００６３】
実施の形態１と同様に、ステップＳ１において、制御部３３は、ホストによりホスト用の発話ボタン５１の操作が行われたか否かの判断を行う。また、ステップＳ２において、制御部３３は、ホストによりゲスト用の発話ボタン５２の操作が行われたか否かの判断を行う。
【００６４】
ホストによりホスト用の発話ボタン５１の操作が行われた場合（Ｓ１のＹＥＳ）、制御部３３はマイク１１を有効にする。このとき、ホストの音声がマイク１１に入力されると、マイク１１はホストの音声に応じた音声信号を生成する。制御部３３は、マイク１１から音声信号を受信し、音声認識を行って第１の音声データを生成する（Ｓ１１）。
【００６５】
次に、制御部３３は、第１の音声データを翻訳して文字列の第１の翻訳データを生成し、その翻訳の評価値を生成する（Ｓ１２ｂ）。具体的には、制御部３３は、記憶部３２に格納されている日本語−英語の翻訳辞書を参照して、第１の音声データに対応した第１の翻訳データを生成する。また、制御部３３は、翻訳の評価値を生成する。
【００６６】
次に、制御部３３は、第１の翻訳データを翻訳前の言語（日本語）に逆翻訳して文字列の第１の逆翻訳データを生成する（Ｓ１３ｂ）。具体的には、制御部３３は、記憶部３２に格納されている英語−日本語の翻訳辞書を参照して、第１の翻訳データに対応した第１の逆翻訳データを生成する。
【００６７】
次に、制御部３３は、第１の翻訳データの音声合成を行って音声信号を生成し、この音声信号に応じた音声をゲスト用のスピーカ２２から出力させる（Ｓ１４）。次に、制御部３３は、第１の逆翻訳データを表示するための文字画像を生成し、この文字画像をホスト用のディスプレイ１３に表示させる（Ｓ１５）。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下である場合に）、振動部４０を動作させ、翻訳の評価値をホストに提示する（Ｓ１６）。
【００６８】
一方、ホストによりゲスト用の発話ボタン５２の操作が行われた場合（Ｓ２のＹＥＳ）、制御部３３はマイク２１を有効にする。このとき、ゲストの音声がマイク２１に入力されると、マイク２１はゲストの音声に応じた音声信号を生成する。制御部３３は、マイク２１から音声信号を受信し、音声認識を行って第２の音声データを生成する（Ｓ２１）。
【００６９】
次に、制御部３３は、第２の音声データを翻訳して文字列の第２の翻訳データを生成し、その翻訳の評価値を生成する（Ｓ２２ｂ）。具体的には、制御部３３は、記憶部３２に格納されている英語−日本語の翻訳辞書を参照して、第２の音声データに対応した第２の翻訳データを生成する。また、制御部３３は、翻訳の評価値を生成する。
【００７０】
次に、制御部３３は、第２の翻訳データを翻訳前の言語（英語）に逆翻訳して文字列の第２の逆翻訳データを生成する（Ｓ２３ｂ）。具体的には、制御部３３は、記憶部３２に格納されている日本語−英語の翻訳辞書を参照して、第２の翻訳データに対応した第２の逆翻訳データを生成する。
【００７１】
次に、制御部３３は、第２の翻訳データの音声合成を行って音声信号を生成し、この音声信号に応じた音声をホスト用のスピーカ１２から出力させる（Ｓ２４）。次に、制御部３３は、第２の逆翻訳データを表示するための文字画像を生成し、この文字画像をゲスト用のディスプレイ２３に表示させる（Ｓ２５）。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下である場合に）、振動部４０を動作させ、翻訳の評価値をホストに提示する（Ｓ２６）。
【００７２】
この実施の形態２の翻訳装置１０でも、実施の形態１の翻訳装置１０と同様の利点を得ることができる。
【００７３】
（実施の形態３）
以下、図９〜図１４を用いて、実施の形態３を説明する。本実施の形態では、実施の形態１または２と同様に、説明の便宜上、翻訳装置が、外国からのゲスト（旅行者）（第２のユーザ）を案内するホスト（案内者）（第１のユーザ）に装着されて使用されることを想定して説明する。
【００７４】
実施の形態１または２に係る翻訳装置では、ホスト用の発話ボタンが操作されているときに、ゲストが発話しても、その音声が翻訳されることはなかった。
【００７５】
本実施の形態に係る翻訳装置は、実施の形態１または２の機能に加えて、ゲストおよびホストが同時に発話した時に対応する同時発話対策機能を備えている。具体的に一例を挙げると、ホストの発話中にゲストが発話した場合に、ゲストの発話を優先して翻訳する機能である。本実施の形態に係る翻訳装置には、ホストモードおよびゲストモードがある。ホストモードは、主にホストが発話する時のモードである。ゲストモードは、主にゲストが発話する時のモードである。
【００７６】
［２−１．構成］
［２−１−１．翻訳装置の物理的な構成］
本実施の形態に係る翻訳装置の物理的な構成は以下の点を除いて実施の形態１または２に同じである。以下、実施の形態３の特徴点を説明してゆく。
【００７７】
図９に示すように、操作モジュール５０は、ホスト用の発話ボタン５１に代えて、ホストモード切替用ボタン５１２を有する。さらに、操作モジュール５０は、ゲスト用の発話ボタン５２に代えて、ゲストモード切替用ボタン５２２を有する。
【００７８】
操作モジュール５０は、この他にも、後述する同時発話対策機能のＯＮ／ＯＦＦ切り替えを行う、同時発話対策ボタン（図示せず）を有していてもよい。なお、同時発話対策機能がＯＦＦとなっているとき、本実施の形態に係る翻訳装置１０は、実施の形態１または２に係る翻訳装置と同様の動作を行う。操作モジュール５０が同時発話対策ボタンを有していない場合は、他のボタンの長押しや、他の複数ボタンの同時押しで代用できる。本実施の形態では、ホストモード切替用ボタン５１２と言語選択ボタン５３の同時押しで同時発話対策機能のＯＮ／ＯＦＦ切り替えを行う。
【００７９】
［２−１−２．翻訳装置の電気的な構成］
本実施の形態に係る翻訳装置の電気的な構成は以下の点を除いて実施の形態１または２に同じである。以下、実施の形態３の特徴点を説明してゆく。
【００８０】
制御部３３は、実施の形態１または２の制御に加えて同時発話対策機能の制御を行う。同時発話対策機能は、ホストとゲストが同時に発話した時に、ゲストの発話を優先して翻訳する機能である。詳しくは後述する。
【００８１】
操作モジュール５０は、ホストモード切替用ボタン５１２、ゲストモード切替用ボタン５２２、言語選択ボタン５３等の各種操作ボタンを含む。ホストモード切替用ボタン５１２は、ホストが発話するときのための操作ボタンである。ゲストモード切替用ボタン５２２は、ゲストが発話するときのための操作ボタンである。言語選択ボタン５３は、日本語から英語への翻訳や英語から日本語への翻訳等を選択するための操作ボタンである。操作モジュール５０は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ等の近距離通信規格に準拠して、有線又は無線にて制御部３３と通信を行う。
【００８２】
［２−２．動作］
以上のように構成された翻訳装置１０について、その動作を以下に説明する。
【００８３】
先述のように、本実施の形態に係る翻訳装置１０には、ホストモードおよびゲストモードがある。ホストは状況に応じてホストモードとゲストモードを切り替える。本実施の形態では、ホストが話したいときには、ホストは、ホストモード切替用ボタン５１２を操作して、ホストモードにする。一方、ホストが話し終えたときやホストがゲストの話を聞きたいときには、ホストは、ゲストモード切替用ボタン５２２を操作してゲストモードにする。
【００８４】
本実施の形態に係る翻訳装置１０のゲストモードでの動作は、実施の形態１または２における、ゲスト用の発話ボタン５２が操作されたときの動作と同様である。
【００８５】
また、先述の方法により、ホストは同時発話対策機能のＯＮ／ＯＦＦを随時切り替えることができる。同時発話対策機能とは、ホストモード中においてホストの発話中にゲストが発話した場合に、ゲストの発話を優先して翻訳する機能である。
【００８６】
制御部３３は、ホストモードであるか、ゲストモードであるかを図１０のフローチャートに従って判断する。まず、制御部３３は、ホストモード切替用ボタン５１２が操作されているか否かを判断する（Ｓ４０１）。ホストモード切替用ボタン５１２が操作されている場合（Ｓ４０１のＹＥＳ）、制御部３３はホストモードを開始する。ホストモード切替用ボタン５１２が操作されていない場合（Ｓ４０１のＮＯ）、制御部３３はゲストモード切替用ボタン５２２が操作されているか否かを判断する（Ｓ４０２）。ゲストモード切替用ボタン５２２が操作されている場合（Ｓ４０２のＹＥＳ）、制御部３３はゲストモードを開始する。ゲストモード切替用ボタン５２２が操作されていない場合（Ｓ４０２のＮＯ）、制御部３３はステップＳ４０１の動作を再び行う。
【００８７】
制御部３３は、例えば、電源投入時やホストモード一連動作終了時、ゲストモードの一連動作終了時、ホストモード切替用ボタン５１２が操作された時、ホストモード切替用ボタン５１２が操作された時などに、ホストモードであるか、ゲストモードであるかを判断する。制御部３３は、これ以外のタイミングでも、ホストモードであるか、ゲストモードであるかの判断を行ってもよい。ホストモードであれば、制御部３３はホストモードでの基本動作を開始する。ゲストモードであれば、制御部３３はゲストモードでの基本動作（実施の形態１におけるＳ２１〜Ｓ２６）を開始する。
【００８８】
ホストモードでの動作を、図１１〜図１４を用いて説明する。図１１〜図１４はホストモードでの動作を表すフローチャートである。ホストモードでの動作は、基本動作、第１動作、第２動作、および、第３動作からなる。図１１に表す基本動作は、ホスト用のマイク１１への入力に対し第１〜３動作のどの動作を行うのかを判断する動作である。図１２に表す第１動作は、ホスト用のマイク１１への入力を翻訳する動作である。図１３に表す第２動作は、ゲスト用のマイク２１への入力を翻訳する動作である。図１４に表す第３動作は、ゲスト用のマイク２１への入力からホスト用のマイク１１への入力を差し引いて翻訳する動作である。
【００８９】
（ホストモード基本動作）
ホストモードでの基本動作が開始されると、制御部３３はホスト用のマイク１１に入力があるかどうかを判断する（Ｓ２００）。制御部３３は、ホスト用のマイク１１に入力がなければ（Ｓ２００のＮＯ）、入力が生じるまで待機する。ホスト用のマイク１１に入力があれば（Ｓ２００のＹＥＳ）、ホスト用のマイク１１はホストの音声に応じた音声信号を取得する。制御部３３は、ホスト用のマイク１１で音声取得を開始する（Ｓ２０１）。
【００９０】
次に、制御部３３は、ゲスト用のマイク２１に入力があるかどうかを判断する（Ｓ２０２）。
【００９１】
ゲスト用のマイク２１への入力がなければ（Ｓ２０２のＮＯ）、制御部３３は、ホスト用のマイク１１での音声取得が終了しているかどうかを判断する（Ｓ２１０）。制御部３３は、例えば、一定時間ホスト用のマイク１１に音声入力がなければ、音声取得が終了したと判断すればよい。本実施の形態では、ホスト用のマイク１１に２．０秒間音声入力がなければ、制御部３３は音声取得が終了したと判断する。音声取得が終了したかを判断する方法は、これに限定されない。翻訳装置１０が発話終了ボタンをさらに備え、発話終了ボタンが操作されれば、制御部３３は音声取得が終了したと判断してもよい。他にも、翻訳装置１０がホストの口元を撮像する撮像装置をさらに備え、ホストの口の動きが止まれば、制御部３３は音声取得が終了したと判断してもよい。
【００９２】
ホスト用のマイク１１での音声取得が終了していなければ（Ｓ２１０のＮＯ）、再度、制御部３３は、ゲスト用のマイク２１への入力があるかどうかを判断する（Ｓ２０２）。ホスト用のマイク１１での音声取得が終了していれば（Ｓ２１０のＹＥＳ）、制御部３３は、ホスト用マイクから取得した音声に応じた第１の音声データを生成する（Ｓ２１１）。その後、制御部３３は、ホストモード第１動作へと移行する。ホストモード第１動作とは、図１２に示すように、ホスト用のマイク１１の発話音声を翻訳し、ゲストに伝える動作である。つまり、ホストモード第１動作におけるステップＳ２１２〜Ｓ２１６は、実施の形態１におけるステップＳ２１〜Ｓ２６と同様である。そのため、ホストモード第１動作の説明を省略する。
【００９３】
ゲスト用のマイク２１への入力があれば（Ｓ２０２のＹＥＳ）、制御部３３は、同時発話対策機能がＯＮになっているかどうかを判断する（Ｓ２０３）。同時発話対策機能がＯＦＦであれば（Ｓ２０３のＮＯ）、制御部３３は、ホスト用のマイク１１での音声取得が終了しているかどうかを判断する（Ｓ２１０）。
【００９４】
同時発話対策機能がＯＮであれば（Ｓ２０３のＹＥＳ）、制御部３３は同時発話されたことをホストに通知する（Ｓ２０４）。具体的には、制御部３３は、振動部４０を動作させる、ディスプレイ１３に画像を表示させる、などの方法により、同時発話されたことをホストに通知する。すなわち、ステップＳ２０４において、例えば、振動部４０（同時提示部の一例）またはディスプレイ１３（同時提示部の別の一例）は、同時発話されたことをホストに提示する。なお、ホストへの通知方法は、これらに限るものではない。制御部３３が振動部４０を動作させる場合は、制御部３３は後述する翻訳の評価による振動と異なる振動パターンで振動部４０を動作させるのがよい。具体的には振動間隔の時間を変更すればよい。また、制御部３３はホストだけでなくゲストにも同時発話されたことを通知してもよい。具体的には、制御部３３は、ディスプレイ２３に画像を表示させるなどの方法により、同時発話されたことをゲストに通知してもよい。
【００９５】
続いて、ゲスト用のマイク２１は、ゲストの音声に応じた音声信号の取得を開始する（Ｓ２０５）。次に、制御部３３は、ゲスト用のマイク２１での音声取得が終了しているかどうかを判断する（Ｓ２０６）。ゲスト用のマイク２１での音声取得が終了していなければ（Ｓ２０６のＮＯ）、再度、制御部３３は、ゲスト用のマイク２１での音声取得が終了しているかどうかを判断する。ゲスト用のマイク２１での音声取得が終了していれば（Ｓ２０６のＹＥＳ）、制御部３３は、ホストの音声に応じた第１の音声データ、および、ゲストの音声に応じた第２の音声データを生成する（Ｓ２０７）。
【００９６】
次に、制御部３３は、ホスト用のマイク１１での入力音量が閾値（所定の音量）以上であったかどうかを判断する（Ｓ２０８）。ホスト用のマイク１１での入力音量が閾値より小さければ（Ｓ２０８のＮＯ）、ホストの発した音声は、ゲスト用のマイク２１にはほとんど届いていないと推定される。すなわち、ゲスト用のマイク２１への入力はゲストの発した音声がほとんどであると推定される。この場合はゲスト用のマイク２１へ入力された音声を翻訳するのがよいので、制御部３３はホストモード第２動作へと移行する。ホストモード第２動作とは、ゲスト用のマイク２１の発話音声を翻訳し、ゲストに伝える動作である。ホストモード第２動作については後述する。ホスト用のマイク１１での入力音量が閾値以上であれば（Ｓ２０８のＹＥＳ）、ホストの発した音声が、ゲスト用のマイク２１に届いた可能性があると推定される。
【００９７】
ステップＳ２０８でＹＥＳと判断されたら、制御部３３は第２の音声データに第１の音声データが含まれているかどうかを判断する（Ｓ２０９）。制御部３３は、例えば波形解析などの方法により、第２の音声データに第１の音声データが含まれているかどうかを判断する。第２の音声データに第１の音声データが含まれているかどうかの判断では、事前の発話音声から得たゲストの波形情報を用いて声の音域などを比較するのもよい。また、使用言語により判断する方法もある。さらに、ゲスト用のマイク２１に、指向性マイクを複数搭載することにより、音声の入力方向から判断する方法もある。
【００９８】
第２の音声データに第１の音声データが含まれていなければ（Ｓ２０９のＮＯ）、マイク２１へ入力された音声を翻訳するのがよいので、制御部３３はホストモード第２動作へと移行する。ホストモード第２動作については後述する。第２の音声データに第１の音声データが含まれていれば（Ｓ２０９のＹＥＳ）、ホストの発した音声が、マイク２１に届いた可能性があると推定される。そのため、第２の音声データから第１の音声データを差し引いた音声を翻訳するのがよいので、制御部３３はホストモード第３動作へと移行する。ホストモード第３動作とは、ゲスト用のマイク２１の発話音声からホスト用のマイク１１の発話音声を差し引いた音声を翻訳し、ゲストに伝える動作である。ホストモード第３動作については後述する。
【００９９】
ステップＳ２０８を、とばしてもよい。ステップＳ２０８をとばす場合は、制御部３３は、ステップＳ２０７後にステップＳ２０９に進む。ステップＳ２０９を、とばしてもよい。ステップＳ２０９をとばす場合は、制御部３３は、ステップＳ２０８後に第３動作に進む。ステップＳ２０８とステップＳ２０９の両方をとばしてもよい。ステップＳ２０８とステップＳ２０９の両方をとばす場合は、制御部３３は、ステップＳ２０７後に第３動作に進む。
【０１００】
（ホストモード第２動作）
ここからはホストモード第２動作について、図１３を用いて説明する。ホストモード第２動作とは、ゲストがホストモードに割り込み、ゲストの音声のみを取得したゲスト用のマイク２１の発話音声を翻訳し、ゲストに伝える動作である。
【０１０１】
ホストモード第２動作が開始されると、制御部３３は、第２の音声データを通信部３１及びインターネット２００を介して翻訳サーバ１００に送信する（Ｓ２２２）。翻訳サーバ１００は、受信した第２の音声データを翻訳して文字列の第２の翻訳データを生成し、この翻訳の評価値を生成する。具体的な翻訳の方法は、実施の形態１または２と同様である。
【０１０２】
次に、制御部３３は、翻訳サーバ１００からインターネット２００及び通信部３１を介して、第２の翻訳データ、その翻訳の評価値、及び、第２の逆翻訳データを受信する（Ｓ２２３）。
【０１０３】
次に、制御部３３は、第２の翻訳データの音声合成を行って音声信号を生成し、この音声信号に応じた音声をホスト用のスピーカ１２から出力する（Ｓ２２４）。具体的には、制御部３３は、英語の音声合成の参照テーブルを参照して、文字列の第２の翻訳データを音声信号に変換する。この音声信号がホスト用のスピーカ１２によって音声に変換されて出力される。
【０１０４】
次に、制御部３３は、第２の逆翻訳データを表示するための文字画像を生成し、この文字画像をホスト用のディスプレイ１３に表示させる（Ｓ２２５）。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下である場合に）、振動部４０を動作させ、翻訳の評価値をホストに提示する（Ｓ２２６）。これらにより、ホストは翻訳が正しく行われたか否かを確認することができる。このときの振動は、先述の同時発話されたことを通知する振動と区別された振動とするのがよい。具体的には振動間隔の時間を変更すればよい。
【０１０５】
以上で、制御部３３はホストモード第２動作を終了する。次に、制御部３３は、ホストモードであるか、ゲストモードであるかを図１０のフローチャートに従って判断する。ホストモードであれば、制御部３３はホストモードでの基本動作を開始する。ゲストモードであれば、制御部３３はゲストモードでの基本動作を開始する。
【０１０６】
（ホストモード第３動作）
ここからはホストモード第３動作について、図１４を用いて説明する。ホストモード第３動作とは、ゲストがホストモードに割り込んで、ゲストの音声とホストの音声の両方を取得したゲスト用のマイク２１の発話音声からホスト用のマイク１１の発話音声を差し引いたものを翻訳し、ゲストに伝える動作である。
【０１０７】
ホストモード第３動作が開始されると、制御部３３は、第２の音声データから第１の音声データを差し引く音声処理を行う。すなわち、制御部３３は、第２の発話データから第１の音声データを差し引いた第３の音声データを生成する（Ｓ２３１）。音声処理を行う期間は、「ホスト用のマイク１１での入力音量が閾値以上である」かつ「第２の音声データに第１の音声データが含まれている」という条件を満たす期間にしてもよい。
【０１０８】
なお、制御部３３は、第２の音声データから第１の音声データを差し引く際、それぞれの音声データの時刻を合わせる。制御部３３は、第１の音声データ及び第２の音声データ生成の際には、マスタークロックによる共通の時刻情報を付与し、付与された時刻情報を用いて時刻合わせを行う。また、制御部３３は、第１の音声データ上の、ゲスト用のマイク２１で音声取得を開始した時刻に「第２開始」とタグ付を行うことで時刻を合わせてもよい。なお、制御部３３は、第１の音声の取得開始と同時に、第２の音声も取得しておけば、第１の音声データと第２の音声データの開始を合わせて差し引きをしてもよい。
【０１０９】
ゲスト用のマイク２１が受信するホストの発話による音声は、ホスト用のマイク１１が受信するホストの発話による音声よりも小さいことが想定される。したがって、制御部３３は、差し引きの際、第１の音声データの振幅に定数Ａを乗じて、第２の音声データから差し引くとよい。すなわち、制御部３３は、第２の音声データの振幅から、第１の音声データの振幅を定数Ａ倍した振幅を減算することにより、第３の音声データを生成するとよい。定数Ａは、例えば０より大きく１より小さい実数であるが、これに限定されない。定数Ａの値は、ゲスト用のマイク２１およびホスト用のマイク１１の配置場所や向き、マイク性能その他様々な要因に依存される。最適な差し引きができるよう、定数Ａの値を実験により求めるのがよい。最適な差し引きとは、第３の音声データから再現される音声が、実際にゲストの話した音声に最も近い差し引きである。また、定数Ａは、ホストとゲストとの距離に基づいて定められてもよい。具体的には、定数Ａは、ホストとゲストとの距離の最頻値に基づいて定められてもよい。また、定数Ａは、ホストの音声の振幅とゲストの音声の振幅との比に基づいて定められてもよい。具体的には、定数Ａは、ホストの音声の振幅の平均値とゲストの音声の振幅の平均値との比に基づいて定められてもよい。これらにより、定数Ａを適切に定めることができる。
【０１１０】
制御部３３は、第３の音声データを通信部３１及びインターネット２００を介して翻訳サーバ１００に送信する（Ｓ２３２）。翻訳サーバ１００は、受信した第３の音声データを翻訳して文字列の第３の翻訳データを生成し、この翻訳の評価値を生成する。具体的な翻訳の方法は、実施の形態１または２と同様である。
【０１１１】
次に、制御部３３は、翻訳サーバ１００からインターネット２００及び通信部３１を介して、第３の翻訳データ、その翻訳の評価値、及び、第３の逆翻訳データを受信する（Ｓ２３３）。
【０１１２】
次に、制御部３３は、第３の翻訳データの音声合成を行って音声信号を生成し、この音声信号に応じた音声をホスト用のスピーカ１２から出力する（Ｓ２３４）。具体的には、制御部３３は、英語の音声合成の参照テーブルを参照して、文字列の第３の翻訳データを音声信号に変換する。この音声信号がホスト用のスピーカ１２によって音声に変換されて出力される。
【０１１３】
次に、制御部３３は、第３の逆翻訳データを表示するための文字画像を生成し、この文字画像をホスト用のディスプレイ１３に表示させる（Ｓ２３５）。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下である場合に）、振動部４０を動作させ、翻訳の評価値をホストに提示する（Ｓ２３６）。これらにより、ホストは翻訳が正しく行われたか否かを確認することができる。このときの振動は、先述の同時発話されたことを通知する振動と区別された振動とするのがよい。具体的には振動間隔の時間を変更すればよい。
【０１１４】
以上で、制御部３３はホストモード第３動作を終了する。制御部３３は、ホストモードであるか、ゲストモードであるかを図１０のフローチャートに従って判断する。ホストモードであれば、制御部３３はホストモードでの基本動作を開始する。ゲストモードであれば、制御部３３はゲストモードでの基本動作を開始する。
【０１１５】
（実施の形態４）
以下、図１５および図１６を用いて、実施の形態４を説明する。本実施の形態では、実施の形態１〜３と同様に、説明の便宜上、翻訳装置が、外国からのゲスト（旅行者）（第２のユーザ）を案内するホスト（案内者）（第１のユーザ）に装着されて使用されることを想定して説明する。
【０１１６】
実施の形態１〜３に係る翻訳装置では、ゲスト用のスピーカ２２から音声が出力されているときに、ゲストが発話しても、その音声が翻訳されることはなかった。
【０１１７】
本実施の形態に係る翻訳装置は、実施の形態１〜３の機能に加えて、ゲスト用のスピーカ２２から音声の出力中にゲストが発話した時に対応する出力中発話対策機能を備えている。具体的に一例を挙げると、ゲスト用のスピーカ２２から音声の出力中にゲストが発話した場合に、ゲスト用のスピーカ２２から音声の出力を中止し、ゲストの発話を優先して翻訳する機能である。本実施の形態に係る翻訳装置には、実施の形態３と同様に、ホストモードおよびゲストモードがある。ホストモードは、主にホストが発話する時のモードである。ゲストモードは、主にゲストが発話する時のモードである。
【０１１８】
［３−１．構成］
［３−１−１．翻訳装置の物理的な構成］
本実施の形態に係る翻訳装置の物理的な構成は以下の点を除いて実施の形態３に同じである。
【０１１９】
操作モジュール５０は、出力中発話対策機能のＯＮ／ＯＦＦ切り替えを行う、出力中発話対策ボタン（図示せず）を有していてもよい。なお、出力中発話対策機能がＯＦＦとなっているとき、本実施の形態に係る翻訳装置１０は、実施の形態１または２に係る翻訳装置と同様の動作を行う。操作モジュール５０が出力中発話対策ボタンを有していない場合は、他のボタンの長押しや、他の複数ボタンの同時押しで代用できる。本実施の形態では、ホストモード切替用ボタン５１２と言語選択ボタン５３の同時押しで出力中発話対策機能のＯＮ／ＯＦＦ切り替えを行う。
【０１２０】
［３−１−２．翻訳装置の電気的な構成］
本実施の形態に係る翻訳装置の電気的な構成は以下の点を除いて実施の形態３に同じである。以下、実施の形態４の特徴点を説明してゆく。
【０１２１】
制御部３３は、実施の形態１または２の制御に加えて出力中発話対策機能の制御を行う。出力中発話対策機能は、ゲスト用のスピーカ２２から音声の出力中にゲストが発話したときに、ゲスト用のスピーカ２２から音声の出力を中止し、ゲストの発話を翻訳する機能である。詳しくは後述する。
【０１２２】
また、先述の方法により、ホストは出力中発話対策機能のＯＮ／ＯＦＦを随時切り替えることができる。出力中発話対策機能は、ゲスト用のスピーカ２２から音声の出力中にゲストが発話したときに、ゲスト用のスピーカ２２からの音声の出力を中止し、ゲストの発話を翻訳する機能である。
【０１２３】
［３−２．動作］
まず、制御部３３は、ホストモードであるか、ゲストモードであるかを判断する。ホストモードであれば、制御部３３はホストモードでの基本動作を開始する。ゲストモードであれば、制御部３３はゲストモードでの基本動作を開始する。
【０１２４】
ホストモードでの基本動作を、図１５を用いて説明する。図１５はホストモードでの基本動作を表すフローチャートである。図１６はホストモードでの第１動作を表すフローチャートである。本実施の形態に係る第１動作について詳しくは後述する。
【０１２５】
ホストモードでの基本動作が開始されると、制御部３３はホストの音声がホスト用のマイク１１に入力されているか否かを判断する（Ｓ３０１）。ホストの音声がホスト用のマイク１１に入力されていない場合（Ｓ３０１のＮＯ）、制御部３３は上記の判断を繰り返す。ホストの音声がホスト用のマイク１１に入力されている場合（Ｓ３０１のＹＥＳ）、ホスト用のマイク１１はホストの音声に応じた音声信号を取得する（Ｓ３０２）。制御部３３は、ホスト用のマイク１１から音声信号を受信し、音声認識を行って第１の音声データを生成する（Ｓ３０３）。具体的には、制御部３３は、音声認識のための参照テーブルを参照して、音声信号から文字列の第１の音声データを生成する。
【０１２６】
次に、制御部３３はホストモード第１動作へと移行する。ホストモード第１動作とは、ホスト用のマイク１１の発話音声を翻訳し、ゲストに伝える動作である。
【０１２７】
ここからは本実施の形態に係るホストモード第１動作について、図１６のフローチャートを用いて説明する。ホストモード第１動作とは、ホスト用のマイク１１の発話音声を翻訳し、ゲストに伝える動作である。ホストモード第１動作が開始されると、制御部３３は、第１の音声データを通信部３１及びインターネット２００を介して翻訳サーバ１００に送信する（Ｓ３１２）。翻訳サーバ１００は、受信した第１の音声データを翻訳して文字列の第１の翻訳データを生成し、この翻訳の評価値を生成する。具体的には、翻訳サーバ１００は、日本語−英語の翻訳辞書を参照して、第１の音声データに対応した第１の翻訳データを生成する。また、翻訳サーバ１００は、この翻訳の評価値を生成する。評価値は、翻訳結果の精度を示す情報である。翻訳の手法、及び、翻訳の評価値を求める手法としては、ＢＬＥＵやＲＩＢＥＳなどの公知の技術が用いられる。
【０１２８】
また、翻訳サーバ１００は、第１の翻訳データを翻訳前の言語（日本語）に逆翻訳して文字列の第１の逆翻訳データを生成する。具体的には、翻訳サーバ１００は、メモリ等に格納されている英語−日本語の翻訳辞書を参照して、第１の翻訳データに対応した第１の逆翻訳データを生成する。
【０１２９】
次に、制御部３３は、翻訳サーバ１００からインターネット２００及び通信部３１を介して、第１の翻訳データ、その翻訳の評価値、及び、第１の逆翻訳データを受信する（Ｓ３１３）。
【０１３０】
次に、制御部３３は、第１の翻訳データの音声合成を行って音声信号を生成し、この音声信号に応じた音声の出力をゲスト用のスピーカ２２から開始する（Ｓ３１４）。具体的には、制御部３３は、英語の音声合成の参照テーブルを参照して、文字列の第１の翻訳データを音声信号に変換する。この音声信号がゲスト用のスピーカ２２によって音声に変換されて出力される。
【０１３１】
次に、制御部３３は、第１の逆翻訳データを表示するための文字画像を生成し、この文字画像をホスト用のディスプレイ１３に表示させる（Ｓ３１５）。また、制御部３３は、翻訳の評価値に応じて（例えば、評価値が所定のしきい値以下である場合に）、振動部４０を動作させ、翻訳の評価値をホストに提示する（Ｓ３１６）。これらにより、ホストは翻訳が正しく行われたか否かを確認することができる。このときの振動は、先述の同時発話されたことを通知する振動と区別された振動とするのがよい。具体的には振動間隔の時間を変更すればよい。
【０１３２】
続いて、制御部３３は、ステップＳ３１４で開始されたゲスト用のスピーカ２２からの出力が継続中かどうかを判断する（Ｓ３１７）。ステップＳ３１４で開始されたゲスト用のスピーカ２２からの出力が終わっていれば（Ｓ３１７のＮＯ）、制御部３３はホストモード第１動作を終了する。制御部３３は、ホストモードであるか、ゲストモードであるかを図１０のフローチャートに従って判断する。ホストモードであれば、制御部３３はホストモードでの基本動作を開始する。ゲストモードであれば、制御部３３はゲストモードでの基本動作を開始する。
【０１３３】
ステップＳ３１４で開始されたゲスト用のスピーカ２２からの出力が継続していれば（Ｓ３１７のＹＥＳ）、制御部３３はゲスト用のマイク２１への入力があるかどうかを判断する（Ｓ３１８）。ゲスト用のマイク２１への入力が無ければ（Ｓ３１８のＮＯ）、制御部３３は、再度Ｓ３１７に戻り、出力中かどうかを判断する。
【０１３４】
ゲスト用のマイク２１への入力があれば（Ｓ３１８のＹＥＳ）、制御部３３は、出力中発話対策機能がＯＮになっているかどうかを判断する（Ｓ３１９）。出力中発話対策機能がＯＦＦであれば（Ｓ３１９のＮＯ）、制御部３３は、ホストモード第１動作を終了する。制御部３３は、ホストモードであるか、ゲストモードであるかを図１０のフローチャートに従って判断する。ホストモードであれば、制御部３３はホストモードでの基本動作を開始する。ゲストモードであれば、制御部３３はゲストモードでの基本動作を開始する。
【０１３５】
出力中発話対策機能がＯＮであれば（Ｓ３１９のＹＥＳ）、制御部３３はステップＳ３１４で開始されたゲスト用のスピーカ２２からの出力を強制的に停止する（Ｓ３２０）。強制停止後、制御部３３はゲストモードに切り替えを行う（Ｓ３２１）。以上で、制御部３３は、出力中発話対策機能がＯＮである場合のホストモード第１動作を終了する。この後は、ゲストモードとして動作するので、ゲストの発話が優先して翻訳されることになる。
【０１３６】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１３７】
（１）実施の形態１〜４では、帽子２０にホスト用のマイク１１、スピーカ１２及びディスプレイ１３と、ゲスト用のマイク２１、スピーカ２２及びディスプレイ２３とが取り付けられた翻訳装置１０を例示した。しかし、本開示はこれに限定されず、ホスト用のマイク１１、スピーカ１２及びディスプレイ１３と、ゲスト用のマイク２１、スピーカ２２及びディスプレイ２３とが、帽子以外の人体に装着される種々の装着部材（例えば、ヘッドバンド）に取り付けられてもよい。さらにこのとき、翻訳装置１０が複数の装着部材を備えてもよい。このとき、ホスト用のマイク１１、スピーカ１２及びディスプレイ１３と、ゲスト用のマイク２１、スピーカ２２及びディスプレイ２３とが、互いに異なる装着部材に分けて取り付けられてもよい。このとき、複数の装着部材は同一の人に装着されて使用されればよい。ホスト用のマイク１１やスピーカ１２等が帽子以外の装着部材に取り付けられる場合、装着部材がホストの頭部等に装着されたときにスピーカ１２がホストの耳に接するように、スピーカ１２が装着部材に取り付けられていればよい。
【０１３８】
（２）実施の形態１及び２では、操作モジュール５０は、ホスト用の発話ボタン５１及びゲスト用の発話ボタン５２を有するが、ホスト用及びゲスト用の発話ボタンとして共通の発話ボタンを１つのみ有していてもよい。この形態では、ホストが共通の発話ボタンを押下したあと、制御部３３が、ホスト用のマイク１１およびゲスト用のマイク２１からの信号（例えば、音量に応じた信号の大きさ）を監視して、どちらが話しているのかを判断してもよい。具体的には、ホストが発話ボタンを押下することにより、翻訳装置１０は、マイク１１およびマイク２１の両方からの音声信号を録音する。翻訳装置１０は、マイク１１が音声を受信してマイク１１から所定値以上の音声信号が出力された場合には、マイク１１が受信した音声信号をホストの言語からゲストの言語に翻訳する。また、翻訳装置１０は、マイク２１が音声を受信してマイク２１から所定値以上の音声信号が出力された場合には、マイク２１が受信した音声信号をゲストの言語からホストの言語に翻訳するように制御する。
【０１３９】
（３）実施の形態１〜４では、制御部３３は、ホストにより操作モジュール５０の各種操作ボタンが操作されたときに音声入力開始や翻訳言語の選択を認識した。しかし、本開示はこれに限定されず、制御部３３は、ホストやゲストが発話したことをトリガとして音声入力開始を認識したり、ホストやゲストの音声の言語を解析して翻訳言語の選択を行ったりしてもよい。
【０１４０】
（４）ゲストの話す言語が分からない場合、ホストは、言語選択ボタンを押すことで、対応言語を変化させても良い。たとえば対応言語が「英語」、「中国語」、および「韓国語」の場合、ホストが言語選択ボタンを押すごとに、翻訳装置１０は、英語で「ハロー」、中国語で「ニーハオ」、韓国語で「アンニョンハセヨ」と順に一般的な挨拶をゲスト用のスピーカ２２及びディスプレイ２３の少なくとも一方から出力する。翻訳装置１０は、この挨拶に応答してゲストが発話するときに、ゲストの発話タイミングの直前に出力した挨拶の言語、及び、ゲストの発話言語の少なくとも一方に基づいて、ゲストの話す言語を特定しても良い。このときの言葉は、一般的な挨拶に限らず、「これは翻訳装置です」、「〜語で話してください」などの説明でもよい。
【０１４１】
（５）ゲストは話し出すタイミングが分かりづらいので、ホストがゲスト用の発話ボタン５２を押したときに、ゲスト用のディスプレイ２３が「〜で話してください」と表示しても良い。
【０１４２】
（６）また、ゲストは話し出すタイミングがわかりづらいので、ホストが話しているときに、同時にゲストが話してしまうことがある。このときには、ホストではなくゲストの会話を翻訳するのが望ましい。この問題点を解決するために、具体的には、ホスト用のマイク１１の録音を開始するときに、同時にゲスト用のマイク２１の録音も開始する。そして、ゲスト用のマイク２１の信号が入った場合は、ゲスト用の録音終了後、ホスト用のマイク１１の録音データではなく、ゲスト用のマイク２１の録音データを翻訳するようにしてもよい。ホスト用のマイク1１とゲスト用のマイク２１は比較的近いので、ホストが話しているときのゲスト用のマイク２１の録音データにはホストの声が重畳している。そのため、ゲスト用のマイク２１の録音データから、ホスト用のマイク１１の録音データを差し引くなどして、ノイズを減らすことが望ましい。
【０１４３】
（７）実施の形態１では、翻訳装置１０にインターネット２００を介して接続された翻訳サーバ１００が翻訳を行い、翻訳装置１０が音声認識処理及び音声合成処理を行った。しかし、本開示はこれに限定されず、音声認識処理及び音声合成処理も翻訳サーバ１００が行ってもよい。或いは、音声認識を行う音声認識サーバおよび音声合成を行う音声合成サーバを新たに設け、翻訳装置１０にインターネット２００を介して接続された音声認識サーバおよび音声合成サーバのそれぞれが、音声認識処理または音声合成処理を行ってもよい。
【０１４４】
（８）実施の形態１〜４では、マイク１１およびマイク２１が音声信号を受信し、制御部３３が音声データを生成したが、本開示はこれに限定されない。マイク１１およびマイク２１が、それぞれＡＤ変換器を備え、音声データを生成してもよい。すなわち、マイク１１（第１の受信部）がホストの音声を受信し、ホストの音声に応じた音声データ（第１の音声データ）を生成してもよい。また、マイク２１（第２の受信部）がゲストの音声を受信し、ゲストの音声に応じた音声データ（第２の音声データ）を生成してもよい。
【０１４５】
（９）実施の形態３および４では、制御部３３が第３の音声データを生成したが、本開示はこれに限定されない。通信部３１が第１の音声データおよび第２の音声データを翻訳サーバ１００に送信し、翻訳サーバ１００が第１の音声データおよび第２の音声データに基づいて第３の音声データを生成してもよい。すなわち、翻訳サーバ１００が、第２の音声データから第１の音声データに基づいたデータを減算することにより、第３の音声データを生成してもよい。
【０１４６】
（１０）実施の形態３では、翻訳サーバ１００が第３の翻訳データを生成したが、本開示はこれに限定されない。実施の形態２と同様に、制御部３３が第３の翻訳データを生成してもよい。
【０１４７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１４８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１４９】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１５０】
本開示は、第１のユーザと第２のユーザとの会話を翻訳する翻訳装置に適用可能である。
【符号の説明】
【０１５１】
１０  翻訳装置
１１  マイク（第１の受信部）
１２  スピーカ（第１の出力部）
１３  ディスプレイ（第１の表示部）
１４  支持部材
１５  ヘッドセット
２０  帽子
２１  マイク（第２の受信部）
２２  スピーカ（第２の出力部）
２３  ディスプレイ（第２の表示部）
３０  制御モジュール
３１  通信部
３２  記憶部
３３  制御部
４０  振動部（評価提示部）
５０  操作モジュール
５１，５２  発話ボタン
５３  言語選択ボタン
１００  翻訳サーバ
２００  インターネット
【図１】
2018008227.tif 000003
【図２】
2018008227.tif 000004
【図３】
2018008227.tif 000005
【図４】
2018008227.tif 000006
【図５】
2018008227.tif 000007
【図６】
2018008227.tif 000008
【図７】
2018008227.tif 000009
【図８】
2018008227.tif 000010
【図９】
2018008227.tif 000011
【図１０】
2018008227.tif 000012
【図１１】
2018008227.tif 000013
【図１２】
2018008227.tif 000014
【図１３】
2018008227.tif 000015
【図１４】
2018008227.tif 000016
【図１５】
2018008227.tif 000017
【図１６】
2018008227.tif 000018
【手続補正書】
【提出日】平成30年2月16日(2018.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
翻訳装置を装着する第１のユーザの音声を受信し、前記第１のユーザの音声を第１の音声信号に変換する第１の受信部と、
前記第１のユーザと異なる第２のユーザの音声を受信し、前記第２のユーザの音声を第２の音声信号に変換する第２の受信部と、
前記第２の音声信号に基づいた第２の音声データを翻訳することにより生成された第２の翻訳データに応じた音声を出力する第１の出力部と、
前記第１の音声信号に基づいた第１の音声データを翻訳することにより生成された第１の翻訳データに応じた音声を出力する第２の出力部と、
を備え、
前記第１の受信部は、前記第１のユーザの口の近傍に配置され、
前記第１の出力部は、前記第１のユーザの耳に接するような位置に配置され、
前記第２の受信部と前記第２の出力部は、前記第１のユーザの頭部に配置される、
翻訳装置。
【請求項２】
前記第２の受信部と前記第２の出力部は、前記第１のユーザの頭部の前面に配置される、
請求項１に記載の翻訳装置。
【請求項３】
前記第２の受信部と前記第２の出力部は、前記第１のユーザの顔の向きと同じ方向に配置される、
請求項１又は２に記載の翻訳装置。
【請求項４】
前記第１の受信部と、前記第１の出力部がヘッドセットを構成し、
前記ヘッドセットと、前記第２の受信部と、前記第２の出力部を配置する帽子を、備える、
請求項１〜３のいずれか１項に記載の翻訳装置。
【請求項５】
前記第１の翻訳データを逆翻訳することにより生成された第１の逆翻訳データが示す文字画像を表示する第１の表示部と、
前記第２の翻訳データを逆翻訳することにより生成された第２の逆翻訳データが示す文字画像を表示する第２の表示部と、
をさらに備える、
請求項１〜４のいずれか１項に記載の翻訳装置。
【請求項６】
前記第１の表示部は、前記第１のユーザの眼の近傍に配置され、
前記第２の表示部は、前記第１のユーザの頭部に配置される、
請求項５に記載の翻訳装置。
【請求項７】
前記第１の音声データから前記第１の翻訳データへの翻訳の評価値と、前記第２の音声データから前記第２の翻訳データへの翻訳の評価値を、前記第１のユーザに振動で提示する評価提示部をさらに備える、
請求項１〜６のいずれか１項に記載の翻訳装置。
【請求項８】
前記第１の翻訳データ、および、前記第２の翻訳データを生成する制御部をさらに備える、
請求項１〜７のいずれか１項に記載の翻訳装置。
【請求項９】
翻訳サーバと通信を行う通信部をさらに備え、
前記通信部は、
前記第１の音声データおよび前記第２の音声データを前記翻訳サーバに送信し、
前記翻訳サーバにより生成された前記第１の翻訳データおよび前記第２の翻訳データを受信する、
請求項１〜７のいずれか１項に記載の翻訳装置。
【請求項１０】
翻訳装置を装着する第１のユーザの音声を受信し、前記第１のユーザの音声を第１の音声信号に変換する第１の受信部と、
前記第１のユーザと異なる第２のユーザの音声を受信し、前記第２のユーザの音声を第２の音声信号に変換する第２の受信部と、
前記第２の音声信号に基づいた第２の音声データを翻訳することにより生成された第２の翻訳データに応じた音声を出力する第１の出力部と、
前記第１の音声信号に基づいた第１の音声データを翻訳することにより生成された第１の翻訳データに応じた音声を出力する第２の出力部と、
を備え、
前記第１の受信部と、前記第１の出力部がヘッドセットを構成し、
前記ヘッドセットと、前記第２の受信部と、前記第２の出力部を配置する帽子を、備える、
翻訳装置。
【請求項１１】
装置を装着する前記第１のユーザの音声を受信し、前記第１のユーザの音声を第１の音声信号に変換する第１の受信部と、
前記第１ユーザと異なる第２のユーザの音声を受信し、前記第２のユーザの音声を第２の音声信号に変換する第２の受信部と、
前記第２の音声信号に基づいて生成された第２の生成データに応じた音声を出力する第１の出力部と、
前記第１の音声信号に基づいて生成された第１の生成データに応じた音声を出力する第２の出力部と、
を備え、
前記第１の受信部と、前記第１の出力部がヘッドセットを構成し、
前記ヘッドセットと、前記第２の受信部と、前記第２の出力部を配置する帽子を、備える、
装置。
【国際調査報告】
2018008227.tif 000019
2018008227.tif 000020
2018008227.tif 000021
2018008227.tif 000022