(57)【特許請求の範囲】
【請求項１】
ユーザの音声を入力する情報端末と、
前記情報端末に入力された音声の内容を翻訳するサーバ装置と、
前記情報端末との間の通話処理をする通訳者端末と、を備える音声翻訳システムであって、
前記サーバ装置は、
前記情報端末に入力された音声の内容を認識する音声認識部と、
前記音声認識部で認識された内容を異なる言語の内容に翻訳する翻訳部と、
翻訳精度に関するスコアを算出するスコア算出部と、を備え、
前記情報端末は、
前記サーバ装置の前記翻訳部で翻訳された内容を音声で出力する音声出力部と、
前記入力された音声の内容の第１テキストを画面における第１領域に表示し、且つ、前記翻訳された内容の第２テキストを前記画面における前記第１領域とは異なる第２領域に表示する処理を制御する第１表示処理制御部であって、前記スコア算出部により算出された前記スコアが所定の閾値以下である場合に、前記第１テキスト及び前記第２テキストに加え、前記通訳者端末との間の通話処理を開始するための通話処理開始リクエストを前記通訳者端末に送信するための第１画像を、前記画面において選択的に表示する処理を制御する第１表示処理制御部と、
前記第１画像が選択されたとき、前記通話処理開始リクエストを前記通訳者端末に送信する通話処理制御部と、を備える、
音声翻訳システム。
【請求項２】
前記サーバ装置は、前記入力された音声の内容に対応付けられた前記翻訳された内容を前記ユーザごとに関連付けて翻訳履歴として記憶する記憶部を更に備え、
前記通訳者端末は、前記翻訳履歴を前記ユーザごとに関連付けて表示する処理を制御する第２表示処理制御部を更に備える、
請求項１に記載の音声翻訳システム。
【請求項３】
前記第１表示処理制御部は、二以上の言語をそれぞれ示す二以上の第２画像を更に表示する処理を制御し、
前記通話処理制御部は、前記第２画像のうち一の画像が選択された後に、前記第１画像が選択された場合に、選択された前記第２画像のうち一の画像が示す言語を使用できる通訳者に対応付けられた前記通訳者端末との間の前記通話処理を制御する、
請求項１又は請求項２に記載の音声翻訳システム。
【請求項４】
前記第２領域は、前記画面において前記第１領域よりも下方に設定されている、
請求項１〜３のいずれか一項に記載の音声翻訳システム。
【請求項５】
前記第１表示処理制御部は、前記第１テキストと前記第２テキストとを前記画面において互いに逆向きに表示する、
請求項１〜４のいずれか一項に記載の音声翻訳システム。
【請求項６】
ユーザの音声の内容であって、異なる言語の内容に翻訳された内容を音声で出力するステップと、
前記入力された音声の内容の第１テキストを画面における第１領域に表示し、且つ、前記翻訳された内容の第２テキストを前記画面における前記第１領域とは異なる第２領域に表示する処理を制御するステップであって、翻訳精度に関するスコアが所定の閾値以下である場合に、前記第１テキスト及び前記第２テキストに加え、通訳者端末との間の通話処理を開始するための通話処理開始リクエストを前記通訳者端末に送信するための第１画像を、前記画面において選択的に表示する処理を制御するステップと、
前記第１画像が選択されたとき、前記通話処理開始リクエストを前記通訳者端末に送信するステップと、を含む、
音声翻訳方法。
【請求項７】
コンピュータを、
ユーザの音声の内容であって、異なる言語の内容に翻訳された内容を音声で出力する音声出力部と、
前記入力された音声の内容の第１テキストを画面における第１領域に表示し、且つ、前記翻訳された内容の第２テキストを前記画面における前記第１領域とは異なる第２領域に表示する処理を制御する第１表示処理制御部であって、翻訳精度に関するスコアが所定の閾値以下である場合に、前記第１テキスト及び前記第２テキストに加え、通訳者端末との間の通話処理を開始するための通話処理開始リクエストを前記通訳者端末に送信するための第１画像を、前記画面において選択的に表示する処理を制御する第１表示処理制御部と、
前記第１画像が選択されたとき、前記通話処理開始リクエストを前記通訳者端末に送信する通話処理制御部と、
して機能させる、
音声翻訳プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声翻訳システム、音声翻訳方法、及び音声翻訳プログラムに関する。
【背景技術】
【０００２】
互いの言語を理解できない人同士の会話、例えば店員（飲食店等の店舗の販売員）と顧客（海外からの観光客等）との会話を可能ならしめるべく、話者の発話音声をテキスト化し、そのテキストの内容を相手の言語に機械翻訳した上で画面に表示したり、或いは、音声合成技術を用いてそのテキストの内容を音声再生したりする音声翻訳技術が提案されている（例えば特許文献１参照）。また、かかる音声翻訳技術を具現化したスマートフォン等の情報端末で動作する音声翻訳アプリケーションも実用化されている（例えば非特許文献１参照）。
【０００３】
一方、電話による複数の利用者間の通話を可能にする通訳システムが知られている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３４８９５号公報
【特許文献２】特開２０１０−２１６９２号公報
【非特許文献】
【０００５】
【非特許文献１】Ｕ−ＳＴＡＲコンソーシアムホームページ［平成２８年１月２２日検索］、インターネット＜ＵＲＬ：http://www.ustar-consortium.com/app_ja/app.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来の音声翻訳装置においては、飲食店において、店員が顧客の注文の内容を尋ねたり、料理の素材を説明したりする際に、音声が入力されると翻訳エンジンによる機械翻訳を実行する。よって、入力される音声の内容がその言語の基本的な文型になっていないような場合や、発話した語順等が異なる場合には、誤訳が生じてしまう可能性が高くなる傾向にある。上記機械翻訳の精度が悪く、両者のコミュニケーションが円滑に行えないような場合には、例えば店員は、当該店員が携帯する音声翻訳装置から通訳者に電話をし、通訳者に翻訳をしてもらうことで、両者のコミュニケーションを円滑に行うことが可能となる。
【０００７】
しかしながら、従来の音声翻訳装置において音声翻訳処理を実行している際に、通訳者に電話をする場合、通訳者（通訳者が使用する通訳者端末）を識別するための識別情報、例えば電話番号を、当該音声翻訳装置が記憶する電話帳や通信履歴等から探さなければならない。そして、電話番号を特定した後、さらに発信操作を行わなければならず、ユーザ（利用者、発話者）の負担の増加や利便性の低下を招いてしまうおそれがある。
【０００８】
そこで、本発明は、かかる事情に鑑みてなされたものであり、ユーザの負担を軽減し且つ利便性を向上させることができるとともに、誤訳の発生を防止し且つ円滑なコミュニケーションを実現することができる音声翻訳システム、音声翻訳方法、及び音声翻訳プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一側面に係る音声翻訳システムは、ユーザの音声を入力する情報端末と、情報端末に入力された音声の内容を翻訳するサーバ装置と、情報端末との間の通話処理をする通訳者端末と、を備える音声翻訳システムであって、サーバ装置は、情報端末に入力された音声の内容を認識する音声認識部と、音声認識部で認識された内容を異なる言語の内容に翻訳する翻訳部と、を備え、情報端末は、サーバ装置の翻訳部で翻訳された内容を音声で出力する音声出力部と、翻訳された内容のテキストを表示する処理を制御する第１表示処理制御部であって、テキストに加え、第１画像を選択的に表示する処理を制御する第１表示処理制御部と、通訳者端末との間の通話処理を制御する通話処理制御部であって、第１画像が選択されたとき、通話処理を開始するための通話処理開始リクエストを通訳者端末に送信する通話処理制御部と、を備える、音声翻訳システム。
【００１０】
上記音声翻訳システムにおいて、サーバ装置は、翻訳精度に関するスコアを算出するスコア算出部を更に備え、第１表示処理制御部は、スコアが所定の閾値以下である場合に第１画像を表示する処理を制御してもよい。
【００１１】
上記音声翻訳システムにおいて、サーバ装置は、入力された音声の内容に対応付けられた翻訳された内容をユーザごとに関連付けて翻訳履歴として記憶する記憶部を更に備え、通訳者端末は、翻訳履歴をユーザごとに関連付けて表示する処理を制御する第２表示処理制御部を更に備えてもよい。
【００１２】
上記音声翻訳システムにおいて、第１表示処理制御部は、二以上の言語をそれぞれ示す二以上の第２画像を更に表示する処理を制御し、通話処理制御部は、第２画像のうち一の画像が選択された後に、第１画像が選択された場合に、選択された第２画像のうち一の画像が示す言語を使用できる通訳者に対応付けられた通訳者端末との間の通話処理を制御してもよい。
【００１３】
上記課題を解決するため、本発明の一側面に係る音声翻訳方法は、ユーザの音声の内容であって、異なる言語の内容に翻訳された内容を音声で出力するステップと、翻訳された内容のテキストを表示する処理を制御するステップであって、テキストに加え、第１画像を選択的に表示する処理を制御するステップと、通訳者端末との間の通話処理を制御するステップであって、第１画像が選択されたとき、通話処理を開始するための通話処理開始リクエストを通訳者端末に送信するステップと、を含む。
【００１４】
上記課題を解決するため、本発明の一側面に係る音声翻訳プログラムは、コンピュータを、ユーザの音声の内容であって、異なる言語の内容に翻訳された内容を音声で出力する音声出力部と、翻訳された内容のテキストを表示する処理を制御する第１表示処理制御部であって、テキストに加え、第１画像を選択的に表示する処理を制御する第１表示処理制御部と、通訳者端末との間の通話処理を制御する通話処理制御部であって、第１画像が選択されたとき、通話処理を開始するための通話処理開始リクエストを通訳者端末に送信する通話処理制御部と、して機能させる。
【００１５】
なお、本発明において、「部」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
【発明の効果】
【００１６】
本発明によれば、ユーザの負担を軽減し且つ利便性を向上させることができるとともに、誤訳の発生を防止し且つ円滑なコミュニケーションを実現することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による音声翻訳システムに係るネットワーク構成の好適な一実施形態を概略的に示すシステムブロック図である。
【図２】本発明による音声翻訳システムにおけるユーザ者装置（情報端末）の構成の一例を概略的に示すシステムブロック図である。
【図３】本発明による音声翻訳システムにおけるユーザ者装置（情報端末）の機能構成の一例を概略的に示す機能ブロック図である。
【図４】本発明による音声翻訳システムにおけるサーバ装置の構成の一例を概略的に示すシステムブロック図である。
【図５】本発明による音声翻訳システムにおけるサーバ装置の機能構成の一例を概略的に示す機能ブロック図である。
【図６】本発明による音声翻訳システムにおけるオペレータ端末（通訳者装置）の構成の一例を概略的に示すシステムブロック図である。
【図７】本発明による音声翻訳システムにおけるオペレータ端末の機能構成の一例を概略的に示す機能ブロック図である。
【図８】本発明による音声翻訳システムにおける処理の流れ（一部）の一例を示すフローチャートである。
【図９】（Ａ）乃至（Ｃ）は、本発明による情報端末における表示画面の遷移の一例を示す平面図である。
【図１０】（Ａ）乃至（Ｃ）は、本発明による情報端末における表示画面の遷移の一例を示す平面図である。
【図１１】（Ａ）乃至（Ｄ）は、本発明による情報端末における表示画面の遷移の一例を示す平面図である。
【図１２】本発明による通訳者端末における表示画面の一例を示す図である。
【図１３】本発明による音声翻訳システムにおける処理の流れ（一部）の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。
【００１９】
（システム構成）
図１は、本発明による音声翻訳システムに係るネットワーク構成の好適な一実施形態を概略的に示すシステムブロック図である。この例において、音声翻訳システム１００は、例示的に、ユーザ（発話者、他の発話者）が使用する、ユーザの音声を入力する情報端末１０と、情報端末１０にネットワークＮを介して電子的に接続される、情報端末１０に入力された音声の内容を翻訳するサーバ装置２０と、情報端末１０及びサーバ装置２０にネットワークＮを介して電子的に接続されオペレータ端末３０（通訳者端末）であって、通訳者が使用する、情報端末１０との間の通話処理をするオペレータ端末３０（通訳者端末）と、を備える。
【００２０】
図２は、本発明による音声翻訳システムにおけるユーザ者装置（情報端末）の構成の一例を概略的に示すシステムブロック図である。図２に示すように、情報端末１０は、例示的に、プロセッサ１１と、記憶資源１２と、音声入出力デバイス１３（例えばマイクとスピーカーが別体のものも一体のものも含む）と、通信インターフェイス１４と、入力デバイス１５と、表示デバイス１６と、カメラ１７とを備えている。また、情報端末１０は、インストールされた音声翻訳アプリケーションソフト（本発明の一実施形態による音声翻訳プログラムの少なくとも一部）が動作することにより、本発明の一実施形態による音声翻訳システムの一部又は全部として機能するものである。なお、ここでの情報端末１０は、例えば、ネットワークＮとの通信機能を有するスマートフォンに代表される携帯電話を含む可搬型のタブレット型端末装置である。
【００２１】
プロセッサ１１は、算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成される。また、プロセッサ１１は、記憶資源１２に格納されているプログラムＰ１０である音声翻訳アプリケーションソフトを解釈及び実行し、各種処理を行う。このプログラムＰ１０としての音声翻訳アプリケーションソフトは、例えばサーバ装置２０からネットワークＮを通じて配信可能なものであり、手動的に又は自動的にインストール及びアップデートされてもよい。
【００２２】
なお、ネットワークＮは、例えば、有線ネットワーク（近距離通信網（ＬＡＮ）、広域通信網（ＷＡＮ）、又は付加価値通信網（ＶＡＮ）等）と無線ネットワーク（移動通信網、衛星通信網、ブルートゥース（Bluetooth：登録商標）、ＷｉＦｉ(Wireless Fidelity)、ＨＳＤＰＡ(High Speed Downlink Packet Access)等）が混在して構成される通信網である。
【００２３】
記憶資源１２は、物理デバイス（例えば、半導体メモリ等のコンピュータ読み取り可能な記憶媒体）の記憶領域が提供する論理デバイスであり、情報端末１０の処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、各種情報等を格納する。ドライバプログラムとしては、例えば、音声入出力デバイス１３を制御するための入出力デバイスドライバプログラム、入力デバイス１５を制御するための入力デバイスドライバプログラム、表示デバイス１６を制御するための出力デバイスドライバプログラム等が挙げられる。さらに、音声入出力デバイス１３は、例えば、一般的なマイクロフォン、及びサウンドデータを再生可能なサウンドプレイヤである。
【００２４】
通信インターフェイス１４は、例えばサーバ装置２０やオペレータ端末３０との接続インターフェイスを提供するものであり、無線通信インターフェイス及び／又は有線通信インターフェイスから構成される。また、入力デバイス１５は、例えば、表示デバイス１６に表示されるアイコン、ボタン、仮想キーボード等のタップ動作による入力操作を受け付けるインターフェイスを提供するものであり、タッチパネルの他、情報端末１０に外付けされる各種入力装置を例示することができる。
【００２５】
表示デバイス１６は、画像表示インターフェイスとして各種の情報をユーザや、必要に応じて会話の相手方に提供するものであり、例えば、有機ＥＬディスプレイ、液晶ディスプレイ、ＣＲＴディスプレイ等が挙げられ、好ましくは各種方式のタッチパネルが採用されたものを含む。また、カメラ１７は、種々の被写体の静止画や動画を撮像するためのものである。
【００２６】
図３は、本発明による音声翻訳システムにおけるユーザ者装置（情報端末）の機能構成の一例を概略的に示す機能ブロック図である。図３に示すように、情報端末１０は、機能的に、音声入出力部１０１と、送受信部１０３と、入力操作受付部１０５と、表示部１０７と、情報処理部１０９と、記憶部１１７と、を備える。また、情報処理部１０９は、機能的に、スコア比較部１１１と、第１表示処理制御部１１３と、通話処理制御部１１５と、オペレータ端末特定部１１６と、を備える。
【００２７】
音声入出力部１０１は、例えば、ユーザの音声を入力する。また、音声入出力部１０１は、例えば、後述するとおり、図１に示すサーバ装置２０で翻訳された内容を音声で出力する。ここで、図２に示す音声入出力デバイス１３は、音声入出力部１０１として機能する。
【００２８】
送受信部１０３は、例えば図１に示すサーバ装置２０やオペレータ端末３０と各種情報を送受信する。送受信部１０３は、例えば、入力された音声の内容をサーバ装置２０に送信する。送受信部１０３は、例えば、サーバ装置２０で翻訳された内容のテキスト情報や音声情報等を受信する。また、送受信部１０３は、例えば、サーバ装置２０から翻訳精度に関するスコアを受信する。図２に示す通信インターフェイス１４は、送受信部１０３として機能する。
【００２９】
入力操作受付部１０５は、例えば、ユーザの入力操作を受け付けるブロックである。ここで、図２に示す入力デバイス１５は、入力操作受付部１０５として機能する。
【００３０】
表示部１０７は、各種情報を表示する。表示部１０７は、例えば、翻訳された内容のテキストを表示する。また、表示部１０７は、例えば、図９（Ａ）に示す言語ボタン６１（第２画像）や図１０（Ｃ）に示す通話開始ボタン７３（第１画像）を表示する。ここで、図２に示す表示デバイス１６は、表示部１０７として機能する。
【００３１】
情報処理部１０９は、図２に示すプロセッサ１１の機能を示し、スコア比較部１１１は、例えば、サーバ装置２０が行う翻訳処理の翻訳精度に関するスコアと、所定の閾値（スコア）と、を比較する。第１表示処理制御部１１３は、表示部１０７において各種情報を表示する処理を制御するブロックである。第１表示処理制御部１１３は、例えば、サーバ装置２０において翻訳された内容のテキストを表示する処理を制御し、サーバ装置２０において翻訳された内容のテキストに加え、図１０（Ｃ）に示す通話開始ボタン７３（第１画像）を選択的に表示する処理を制御する。通話処理制御部１１５は、例えば、情報端末１０とオペレータ端末３０との間の通話処理を制御するブロックであり、表示部１０７に表示される通話開始ボタン７３が選択されたとき、通話処理を開始するための通話処理開始リクエストをオペレータ端末３０に送信する。オペレータ端末特定部１１６は、例えば、図９（Ａ）に示す言語ボタン６１において選択された英語ボタンが示す言語を使用できる通訳者の使用するオペレータ端末３０を特定する。
【００３２】
記憶部１１７は、情報端末１０の処理に用いられる各種プログラム及び情報等を記憶するブロックである。記憶部１１７は、例えば、送受信部１０３が受信した、サーバ装置２０で翻訳された内容のテキスト情報や音声情報等を記憶する。また、記憶部１１７は、送受信部１０３が受信した、サーバ装置２０の翻訳精度に関するスコアを記憶する。ここで、図２に示す記憶資源１２は、記憶部１１７として機能する。なお、図２に示すカメラ１７は、図３において不図示であるが例えば撮像部として機能する。
【００３３】
図４は、本発明による音声翻訳システムにおけるサーバ装置の構成の一例を概略的に示すシステムブロック図である。図４に示すように、サーバ装置２０は、例示的に、プロセッサ２１と、通信インターフェイス２２と、記憶資源２３と、を備える。サーバ装置２０は、例えば、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現するものであり、例えば、音声認識サーバ、翻訳サーバ、及び音声合成サーバとして機能する単数又は複数のホストコンピュータから構成される（図示においては単数で示すが、これに限定されない）。
【００３４】
プロセッサ２１は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成され、記憶資源２３に格納されているプログラムＰ２０を解釈及び実行し、所定の演算処理結果を出力する。また、通信インターフェイス２２は、ネットワークＮを介して情報端末１０に接続するためのハードウェアモジュールであり、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。
【００３５】
記憶資源２３は、例えば、物理デバイス（ディスクドライブ又は半導体メモリ等のコンピュータ読み取り可能な記憶媒体等）の記憶領域が提供する論理デバイスであり、それぞれ単数又は複数の、プログラムＰ２０、各種モジュールＬ２０、各種データベースＤ２０、及び各種モデルＭ２０が格納されている。
【００３６】
プログラムＰ２０は、サーバ装置２０のメインプログラムである上述したサーバ用プログラム等である。また、各種モジュールＬ２０は、情報端末１０から送信されてくる要求及び情報に係る一連の情報処理を行うため、プログラムＰ２０の動作中に適宜呼び出されて実行されるソフトウェアモジュール（モジュール化されたサブプログラム）である。かかるモジュールＬ２０としては、音声認識モジュール、翻訳モジュール、音声合成モジュール等が挙げられる。
【００３７】
また、各種データベースＤ２０としては、音声翻訳処理のために必要な各種コーパス（例えば、日本語と英語の音声翻訳の場合、日本語音声コーパス、英語音声コーパス、日本語文字（語彙）コーパス、英語文字（語彙）コーパス、日本語辞書、英語辞書、日英対訳辞書、日英対訳コーパス等）、後述する音声データベース、ユーザに関する情報を管理するための管理用データベース等が挙げられる。また、各種モデルＭ２０としては、後述する音声認識に使用する音響モデルや言語モデル等が挙げられる。
【００３８】
図５は、本発明による音声翻訳システムにおけるサーバ装置の機能構成の一例を概略的に示す機能ブロック図である。図５に示すように、サーバ装置２０は、機能的に、送受信部２０１と、情報処理部２０３と、記憶部２１３と、を備える。また、情報処理部２０３は、例えば、音声認識部２０５と、多言語翻訳部２０７と、スコア算出部２０９と、音声合成部２１１と、を備える。
【００３９】
送受信部２０１は、例えば、図１に示す情報端末１０やオペレータ端末３０と各種情報を送受信する。送受信部２０１は、例えば、情報端末１０に入力された音声の内容を情報端末１０から受信する。送受信部２０１は、例えば、後述する多言語翻訳部２０７により翻訳された内容のテキスト情報や音声情報等を情報端末１０に送信する。また、送受信部２０１は、例えば、後述するスコア算出部２０９により算出される翻訳精度に関するスコアを情報端末１０に送信する。ここで、図４に示す通信インターフェイス２２は、送受信部２０１として機能する。
【００４０】
情報処理部２０３は、図４に示すプロセッサ２１の機能を示し、音声認識部２０５は、例えば、情報端末１０に入力された音声の内容を認識する。多言語翻訳部２０７は、例えば、音声認識部２０５で認識された内容を異なる言語の内容に翻訳する。スコア算出部２０９は、例えば、多言語翻訳部２０７の翻訳精度に関するスコアを算出する。音声合成部２１１は、例えば、多言語翻訳部２０７による翻訳結果に基づいて音声合成を行う。
【００４１】
記憶部２１３は、例えば、サーバ装置２０の処理に用いられる各種プログラム及び情報等を記憶するブロックである。記憶部２１３は、例えば、送受信部２０１が受信した、情報端末１０に入力された音声の内容を記憶する。また、記憶部２１３は、例えば、翻訳された内容を記憶する。記憶部２１３は、例えば、入力された音声の内容に対応付けられた翻訳された内容をユーザごとに関連付けて翻訳履歴として記憶する。ここで、図４に示す記憶資源２３は、記憶部２１３として機能する。
【００４２】
図６は、本発明による音声翻訳システムにおけるオペレータ端末（通訳者装置）の構成の一例を概略的に示すシステムブロック図である。図６に示すように、オペレータ端末３０は、プロセッサ３１、記憶資源３２、音声入出力デバイス３３（例えばマイクとスピーカーが別体のものも一体のものも含む）、通信インターフェイス３４、入力デバイス３５、表示デバイス３６、及びカメラ３７を備えている。上記したとおりオペレータ端末３０は、図２に示す情報端末１０と同様なブロック構成を備えている。以下においては、特に、情報端末１０が備える構成と異なる構成について説明する。また、オペレータ端末３０は、例えば、本発明の一実施形態による音声翻訳プログラムの少なくとも一部として実行されるインストールされたＣＴＩ（Computer Telephony Integration）アプリケーションソフトが動作することにより、本発明の一実施形態による音声翻訳システムの一部又は全部として機能するものである。
【００４３】
オペレータ端末３０は、図１に示す情報端末１０からの電話を受け付ける。通訳者は、オペレータ端末３０を介して、通訳を実行する。オペレータ端末３０は、電話の相手方、例えば、情報端末１０及び当該情報端末１０の操作者の少なくとも一方に関する情報や後で詳述する翻訳履歴等を表示デバイス３６に表示する。なお、オペレータ端末３０は、例示的に、ネットワークＮとの通信機能を有する、デスクトップ型パソコンを含む据え置き型の端末装置である。
【００４４】
プロセッサ３１は、記憶資源３２に格納されているプログラムＰ３０であるＣＴＩアプリケーションソフトを解釈及び実行し、各種処理を行う。入力デバイス３５は、例えば、表示デバイス３６に表示されるアイコン、ボタン、仮想キーボード等のタップ動作による入力操作を受け付けるインターフェイスを提供するものであり、オペレータ端末３０に外付けされる各種入力装置、例えばキーボードやマウスを例示することができる。なお、入力デバイス３５は、表示デバイス３６の機能を含んだ各種方式のタッチパネル等のデバイスであってもよい。
【００４５】
図７は、本発明による音声翻訳システムにおけるオペレータ端末（通訳者装置）の機能構成の一例を概略的に示す機能ブロック図である。図７に示すように、オペレータ端末３０は、機能的に、音声入出力部３０１と、送受信部３０３と、入力操作受付部３０５と、表示部３０７と、情報処理部３０９と、記憶部３１５と、を備える。また、情報処理部３０９は、機能的に、通話処理部３１１と、第２表示処理制御部３１３と、を備える。
【００４６】
音声入出力部３０１は、例えば、通訳者を含むオペレータの音声を入力する。また、音声入出力部３０１は、例えば、後述するとおり、送受信部３０３が受信する翻訳履歴を示す内容を音声で出力するように構成されてもよい。ここで、図６に示す音声入出力デバイス３３は、音声入出力部３０１として機能する。
【００４７】
送受信部３０３は、例えば図１に示す情報端末１０やサーバ装置２０と各種情報を送受信する。送受信部３０３は、例えば、サーバ装置２０から情報端末１０を介して送信される翻訳履歴を受信する。また、送受信部３０３は、例えば、情報端末１０から送信される通話処理開始リクエストを受信する。送受信部３０３は、例えば、通話処理開始リクエストに対する応答信号を送信する。図６に示す通信インターフェイス３４は、送受信部３０３として機能する。
【００４８】
入力操作受付部３０５は、例えば、オペレータの入力操作を受け付けるブロックである。ここで、図６に示す入力デバイス３５は、入力操作受付部３０５として機能する。
【００４９】
表示部３０７は、各種情報を表示する。表示部３０７は、例えば、翻訳履歴をユーザごとに関連付けて表示する。ここで、図６に示す表示デバイス３６は、表示部３０７として機能する。
【００５０】
情報処理部３０９は、図６に示すプロセッサ３１の機能を示し、通話処理部３１１は、例えば、情報端末１０から送信される通話処理開始リクエストに基づいて、オペレータ端末３０と情報端末１０との間で通話可能か否かを判断し、通話処理開始リクエストに対する応答信号を生成する。応答信号は、オペレータ端末３０と情報端末１０との間で通話可能であることを示す信号や、オペレータ端末３０と情報端末１０との間で通話可能であることを示す信号を含む。第２表示処理制御部３１３は、例えば、表示部３０７において各種情報を表示する処理を制御するブロックである。第２表示処理制御部３１３は、例えば、表示部３０７において、翻訳履歴をユーザごとに関連付けて表示する処理を制御する。
【００５１】
記憶部３１５は、オペレータ端末３０の処理に用いられる各種プログラム及び情報等を記憶するブロックである。記憶部３１５は、例えば、送受信部３０３が受信した、サーバ装置２０から情報端末１０を介して送信される翻訳履歴を記憶する。ここで、図６に示す記憶資源３２は、記憶部３１５として機能する。なお、図６に示すカメラ３７は、図７において不図示であるが例えば撮像部として機能する。
【００５２】
以上のとおり構成された音声翻訳システム１００における、音声翻訳処理及び通話処理の操作及び動作の一例について、以下に更に説明する。
【００５３】
（音声翻訳処理及び通話処理）
（第１実施形態）
図８は、本発明による音声翻訳システムにおける処理の流れ（一部）の一例を示すフローチャートである。図９（Ａ）乃至（Ｃ）、図１０（Ａ）乃至（Ｃ）、及び図１１（Ａ）乃至（Ｄ）は、本発明による情報端末における表示画面の遷移の一例を示す平面図である。図１２は、本発明による通訳者端末における表示画面の一例を示す図である。ここでは、情報端末１０のユーザが日本語を話す飲食店の店員であり、会話の相手が英語を話す顧客である場合の会話、すなわち、入力言語が日本語であり、翻訳言語が英語である会話を想定する。但し、これに限定されない。
【００５４】
まず、ユーザ（店員）が、情報端末１０の表示部１０７に表示されている音声翻訳アプリケーションソフトのアイコン（図示せず）をタップする場合、情報端末１０において当該アプリケーションを起動する（図８；ステップＳＪ１）。
【００５５】
当該アプリケーションが起動すると、表示部１０７に、顧客の言語選択画面が表示される（図８；ステップＳＪ２）。図９（Ａ）に示すように、この言語選択画面には、例えば顧客に言語を尋ねる旨の日本語のテキストＴ２１、その旨の英語のテキストＴ２２、及び、想定される複数の代表的な言語（ここでも、英語、中国語（例えば書体により２種類）、ハングル語）を示す言語ボタン６１（第２画像）が表示される。
【００５６】
このとき、日本語のテキストＴ２１及び英語のテキストＴ２２は、第１表示処理制御部１１３及び表示部１０７により、情報端末１０の表示部１０７の画面において、例えば異なる色の領域によって区分けされ、且つ、互いに逆向き（互いに異なる向き；図示において上下逆向き）に表示される。これにより、ユーザと顧客が対面している状態で会話を行う場合、ユーザは日本語のテキストＴ２１を確認し易い一方、顧客は、英語のテキストＴ２２を確認し易くなる。また、テキストＴ２１とテキストＴ２２が区分けして表示されるので、両者を明別して更に視認し易くなる利点がある。
【００５７】
それから、ユーザは、図９（Ａ）の言語選択画面に表示されたテキストＴ２１を顧客に提示し、顧客に英語（Ｅｎｇｌｉｓｈ）のボタンをタップしてもらうことで、顧客の言語が選択される。これにより、表示デバイスには、ホーム画面として、日本語と英語の音声入力の待機画面が表示される（図８；ステップＳＪ３）。このホーム画面には、ユーザと顧客の言語の何れを発話するかを問うテキストＴ２３、並びに、日本語の音声入力を行うための日本語入力ボタン６２ａ及び英語の音声入力を行うための英語入力ボタン６２ｂが表示される。また、このホーム画面には、入力内容の履歴を表示するための履歴表示ボタン６３、言語選択画面に戻って顧客の言語を切り替える（言語選択をやり直す）ための言語選択ボタン６４、及び当該アプリケーションソフトの各種設定を行うための設定ボタン６５も表示される。
【００５８】
次に、図９（Ｂ）のホーム画面において、ユーザ（店員）が日本語入力ボタン６２ａをタップして日本語の音声入力を選択すると、ユーザの日本語による発話内容を受け付ける音声入力画面となる（図９（Ｃ））。この音声入力画面が表示されると、音声入出力部１０１からの音声入力が可能な状態となる。また、この音声入力画面には、ユーザの音声入力を促すテキストＴ２４、及び、音声入力の待機状態であることを示すマイク図案６６が表示される。なお、その前の画面である図９（Ｂ）において日本語音声入力が選択されたことを示すため、図９（Ｃ）の音声入力画面には、日本語入力ボタン６２ａが表示されない。また、英語入力ボタン６２ｂは、マイク図案６６の背面に、その一部が隠れるように、且つ例えば淡い色彩で表示される（後記の図１０（Ａ）及び図１０（Ｂ）において同様）。
【００５９】
また、この音声入力画面の下部には、キャンセルボタン６７が表示され、これをタップすることにより、ホーム画面である音声入力の待機画面（図９（Ｂ））へ戻って音声入力をやり直すことができる（後記の図１０（Ａ）及び図１０（Ｂ）において同様）。この状態で、ユーザにより顧客への伝達事項等が日本語で音声入力されると、図１０（Ａ）に示すように、表示部１０７の画面において、テキストＴ２４とともに、声量の大小を模式的に且つ動的に示す多重円形図案６８が表示され、音声入力レベルが発話者であるユーザへ視覚的にフィードバックされる（図８；ステップＳＪ４）。
【００６０】
それから、ユーザによる発話が終了し、例えば音声入力が一定期間ないことを情報端末１０の情報処理部１０９が検知すると、情報処理部１０９は、ユーザによる発話内容の受け付けを終了する。次いで、情報処理部１０９は、その音声入力に基づいて音声信号を生成し、その音声信号を送受信部１０３及びネットワークＮを通してサーバ装置２０へ送信する。
【００６１】
次に、サーバ装置２０の情報処理部２０３の音声認識部２０５は、送受信部２０１を通してその音声信号を受信し、音声認識処理を行う（図８；ステップＳＳ１）。このとき、音声認識部２０５は、記憶部２１３から、必要なモジュールＬ２０、データベースＤ２０、及びモデルＭ２０（音声認識モジュール、日本語音声コーパス、音響モデル、言語モデル等）を呼び出し、入力音声の「音」を「読み」（文字）へ変換する。
【００６２】
ここで、情報処理部２０３は、認識された音声の「読み」（文字）に基づいてテキスト出力用のテキスト信号を生成し、送受信部２０１及びネットワークＮを通して、情報端末１０へ送信する。このとき、情報処理部２０３は、認識された音声そのものの内容に基づくテキスト信号と、予め記憶部２１３に記憶されている日本語の会話コーパスのなかから、実際の発話内容に対応するものを呼び出し、それに基づくテキスト信号を生成する。そして、図１０（Ｂ）に示すように、送受信部２０１を通してそのテキスト信号を受信した情報端末１０の第１表示処理制御部１１３は、画面において、ユーザによって入力された日本語の発話内容の認識結果として、認識された音声の内容である日本語のテキストＴ２５を表示する。
【００６３】
次いで、多言語翻訳部２０７は、認識された音声の「読み」（文字）を他の言語に翻訳する多言語翻訳処理へ移行する（図８；ステップＳＳ２）。このとき、多言語翻訳部２０７は、記憶部２１３から、必要なモジュールＬ２０及びデータベースＤ２０（翻訳モジュール、日本語文字コーパス、日本語辞書、英語辞書、日英対訳辞書、日英対訳コーパス等）を呼び出し、認識結果である入力音声の「読み」（文字列）を適切に並び替えて日本語の句、節、文等へ変換し、その変換結果に対応する英語を抽出し、それらを英文法に従って並び替えて自然な英語の句、節、文等へと変換し、記憶部２１３からそれに対応する英語の会話コーパスを選定する。その際、図１０（Ｂ）に示すように、表示部１０７には、翻訳中であることを示す日本語のテキストＴ２６、及び、翻訳中であることを示す円形図案６９を含む待機画面が表示される。
【００６４】
記憶部２１３は、入力音声の内容に対応付けられた翻訳結果（翻訳内容）をユーザごとに関連付けて翻訳履歴として記憶する（図８；ステップＳＳ３）。例えば、記憶部２１３は、翻訳後の英語の句、節、文等に対応する英語の会話コーパス等を入力音声の内容に対応付けて翻訳履歴として記憶する。
【００６５】
次に、音声合成部２１１は、記憶部２１３から、音声合成に必要なモジュールＬ２０、データベースＤ２０、及びモデルＭ２０（音声合成モジュール、英語音声コーパス、音響モデル、言語モデル等）を呼び出し、翻訳結果である英語の句、節、文等に対応する英語の会話コーパスを自然な音声に変換する（図８；ステップＳＳ４）。
【００６６】
これらの多言語翻訳処理及び音声合成処理が完了すると、情報処理部２０３は、翻訳結果（翻訳内容）である英語の会話コーパスに基づいてテキスト表示用のテキスト信号を生成し、また、合成された音声に基づいて音声出力用の音声信号を生成し、送受信部２０１及びネットワークＮを通して、情報端末１０へ送信する。
【００６７】
そして、図１０（Ｃ）に示すように、送受信部１０３を通して、それらのテキスト信号及び音声信号を受信した情報端末１０の第１表示処理制御部１１３は、テキストＴ２５、テキストＴ２５に対応する日本語の会話コーパスのテキストＴ２７（ここではテキストＴ２５と同じであるが、これに限定されない）、及びその翻訳結果である英語の会話コーパスのテキストＴ２８を会話画面として表示し、さらに、当該画面において通話開始ボタン７３（第１画像）を選択的に表示する処理を制御する（図８；ステップＳＪ５）。ここで、情報端末１０の記憶部１１７は、例えば、サーバ装置２０から受信した上記テキスト信号や音声信号を翻訳履歴として記憶してもよい。
【００６８】
また、ステップＳＪ５と同時に、音声入出力部１０１は、翻訳結果である英語のテキストＴ２８の内容（翻訳内容）を音声で出力する（読み上げる）（図８；ステップＳＪ６）。なお、当該ステップＳＪ６は、ステップＳＪ５の前、又は、後に実行されてもよい。
【００６９】
このとき、図１０（Ｃ）の如く、日本語のテキストＴ２５，Ｔ２７と英語のテキストＴ２８も、情報端末１０の表示部１０７の画面において、例えば異なる色の領域や線分によって区分けされ、且つ、互いに逆向き（互いに異なる向き；図示において上下逆向き）に表示される。これにより、ユーザと顧客が対面している状態で会話を行う場合、両者が表示部１０７の画面を視認できる状態であれば、ユーザが日本語のテキストＴ２５，Ｔ２７（入力された内容）を確認し易い一方、顧客は、英語のテキストＴ２８（翻訳された内容）を確認し易くなる。また、それらのテキストＴ２５，Ｔ２７とテキストＴ２８が区分けして表示されるので、両者を明別して更に視認し易くなる利点がある。
【００７０】
なお、図１０（Ｃ）の会話画面に表示される音声出力ボタン７０をタップすることにより、音声出力が繰り返される。また、この会話画面には、その時点での翻訳を終了する旨のチェックボタン７１が表示され、これをタップすることにより、翻訳処理を終了してホーム画面（図９（Ｂ））に戻ることができる。
【００７１】
次に、翻訳が精度よく行われることによって、顧客がユーザ（店員）の質問事項を理解することができた場合、今度は、顧客の音声の入力、認識、翻訳、及び音声合成といった音声処理が行われる（図８；ステップＳＪ７においてＮｏ）。この顧客の音声処理では、まず、図１０（Ｃ）に表示されているチェックボタン７１をタップしてホーム画面（図９（Ｂ））を表示する。次に、そのホーム画面において、英語入力ボタン６２ｂをタップして顧客による英語の音声入力を選択する。この後の処理は、発話者がユーザから顧客に代わり、日本語の音声入力が英語の音声入力に切り替わり、且つ、英語の音声及びテキスト出力が日本語による音声及びテキスト出力に代わること以外は、上述した処理と基本的に同等であるので、ここでの詳細な説明は省略する。そして、ユーザと顧客の会話が完了した場合、一連の音声翻訳処理を終了する。
【００７２】
他方、店員による日本語入力、又は、顧客による英語入力の内容がその言語の基本的な文型になっていないような場合や、発話した語順等が異なる場合には、誤訳が生じてしまう可能性が高まりやすい。そして、実際に誤訳が存在する等翻訳精度が高くないような場合は、店員及び顧客のコミュニケーションが円滑に行われないおそれがある。そこで、このような場合においては、店員及び顧客の少なくとも一方は、図８のステップＳＪ５において情報端末１０の表示部１０７にて表示される通話開始ボタン７３（第１画像）を選択する場合、通話処理制御部１１５は、通訳者と通話するためにオペレータ端末３０に通話処理開始リクエストを送信する（図８；ステップＳＪ７においてＹｅｓ）。
【００７３】
具体的に、店員及び顧客の少なくとも一方が、図８のステップＳＪ５において情報端末１０の表示部１０７において表示される通話開始ボタン７３を選択する場合、図１１（Ｂ）に示すように、表示部１０７の画面がグレーアウトされ、当該画面上に、通訳者と通話するか否かを確認するための画像７５が表示される。そして、店員及び顧客の少なくとも一方が、当該画像７５に表示される「はい」を選択する場合、図１１（Ｃ）に示すように、第１表示処理制御部１１３は表示部１０７の画面にテキストＴ２９を表示する処理を制御する。例えば、店員及び顧客の少なくとも一方が、当該画像７５に表示される「はい」を選択する場合、通話処理制御部１１５は、通訳者と通話するために通話処理開始リクエストを送信するように構成されてもよい。
【００７４】
通話処理制御部１１５は、例えば、通話開始ボタン７３が選択された時に通話処理開始リクエストを生成してもよいし、通話開始ボタン７３が選択される前にあらかじめ通話処理開始リクエストを生成してもよい。通話処理開始リクエストは、例えば、情報端末１０の識別情報を含んで構成される。また、サーバ装置２０からの翻訳履歴を含んで生成される。情報端末１０の識別情報は、例えば、情報端末１０の使用者の属性、つまり、使用者の名称、住所、生年月日、年齢、所属、家族構成等や情報端末１０の電話番号や識別番号（ＩＤ）等を含む。また、情報端末１０を利用する店員又は顧客とオペレータ端末３０を使用する通訳者との通話は、一般的な電話回線網やＩＰ電話回線網等を含むネットワークＮを介して実行される。なお、通話手段に特に制限はなく、両者の通話が可能であればよい。
【００７５】
ここで、店員は、通話が可能な通訳者が複数人いる場合、より適切な通訳者と通話することを望む。例えば、情報端末１０の記憶部１１７には、各通訳者又は各通訳者が使用する端末の識別情報と、各通訳者が使用できる一以上の言語を示す言語情報とが関連付けて記憶されている。図８に示すステップＳＪ３において、ユーザは、図９（Ａ）に示す言語選択画面に表示されたテキストＴ２１を顧客に提示し、顧客に英語（Ｅｎｇｌｉｓｈ）のボタンをタップしてもらうことで、顧客の言語が選択される。そうするとオペレータ端末特定部１１６は、記憶部１１７が記憶する各通訳者が使用する端末の識別情報と、各通訳者が使用できる一以上の言語を示す言語情報とを参照することにより、選択された英語ボタンが示す言語つまり英語を使用できる通訳者が使用するオペレータ端末３０を特定する。そして、通話処理制御部１１５は、当該通訳者が使用するオペレータ端末に対して通話処理開始リクエストを送信することによって、両者の通話が開始される。このように、店員と顧客とのコミュニケーションにおいて用いられる言語に対応できる通訳者を適切に特定できる。
【００７６】
また、店員は、英語を使用できる通訳者が複数人いる場合に、通訳がより上手な通訳者と通話することを望むと考えられる。例えば、情報端末１０の記憶部１１７は、各通訳者が使用する端末の識別情報、及び、各通訳者が使用できる一以上の言語を示す言語情報の他に、各通訳者の通訳レベルや通訳能力を示す情報を各通訳者の識別情報又は各通訳者が使用する端末の識別情報に関連付けて記憶してもよい。そして、図８に示すステップＳＪ３において、英語のボタンが選択されると、オペレータ端末特定部１１６は、英語を使用できる複数の通訳者の中から通訳レベル・能力がより高い通訳者が使用するオペレータ端末を特定するように構成されてもよい。
【００７７】
なお、オペレータ端末特定部１１６において、通訳者の特定は、図８のステップＳＪ５において情報端末１０の表示部１１７にて表示される通話開始ボタン７３（第１画像）が選択されるときに、実行されてもよい。また、オペレータ端末特定部１１６において、あらかじめ、店員と顧客とのコミュニケーションにおいて用いられる言語ごとに、通話する通訳者が使用するオペレータ端末を特定するように構成されてもよい。
【００７８】
他方、店員及び顧客の少なくとも一方が、当該画像７５に表示される「いいえ」を選択する場合、図１１（Ａ）に示す画面に戻る。
【００７９】
次に、オペレータ端末３０の送受信部３０３は、情報端末１０からの通話処理開始リクエストを受信する（図８；ステップＳＯ１）。送受信部３０３は、情報端末１０に対して応答信号を送信する（図８；ステップＳＯ２）。例えば、通話処理部３１１は、情報端末１０とオペレータ端末３０との通話を許可する場合、通話を許可する旨の応答信号を生成する。例えば、通話処理部３１１は、受信した通話処理開始リクエストに含まれる情報端末１０の識別情報を、記憶部３１５又はオペレータ端末３０と通信可能な他の記憶資源に予め記憶されている、通話可能な情報端末の識別情報と比較することで、情報端末１０との通話を許可するか否か判断する。他方で、通話処理部３１１は、情報端末１０とオペレータ端末３０との通話を許可しない場合、通話を許可しない旨の応答信号を生成する。
【００８０】
第２表示処理制御部３１３は、表示部３０７において、サーバ装置２０から情報端末１０を介して送信された翻訳履歴をユーザごとに関連付けて表示する（図８；ステップＳＯ３）。例えば、図１２に示すように、第２表示処理制御部３１３は、表示部３０７の画面において、「通話中」であることを示す画像８１を表示する処理を制御し、通話中であるユーザの名称を示す欄、当該ユーザが使用する情報端末の電話番号を示す欄、当該情報端末の識別番号を示す欄、及び、その他ユーザの住所等を示す属性情報を示す欄を含む画像８３を表示する処理を制御し、店員（ユーザ１）及び顧客（ユーザＸ）の入力音声の翻訳履歴をユーザごとに関連付けて翻訳履歴画像８５として表示する処理を制御する。
【００８１】
このように、オペレータ端末３０は、表示部３０７において、音声翻訳履歴をユーザごとに関連付けて表示するので、通訳者は、音声翻訳履歴を確認できるので、店員と顧客との間の今までのコミュニケーションの流れを踏まえた応対が可能となる。
【００８２】
また、図１２に示すように、オペレータ端末３０は、表示部３０７において、音声翻訳履歴を時系列に表示するので、通訳者は、店員と顧客との間の今までのコミュニケーションの流れをより容易に把握でき、当該流れを踏まえた適切な応対が可能となる。
【００８３】
他方、情報端末１０がオペレータ端末３０から応答信号を受信する（図８；ステップＳＪ８）場合に、情報端末１０とオペレータ端末３０との接続が確立し、店員又は顧客と、通訳者との通話が実現する（図８；ステップＳＪ９及びＳＯ４）。ここで、店員又は顧客と、通訳者との通話が実現する場合に、図１１（Ｄ）に示すように、プロセッサ１１は、表示部１０７の画面上にテキストＴ３０を表示する。
【００８４】
（第２実施形態）
第１実施形態においては、情報端末は、翻訳結果を出力する場合に通話開始ボタン（第１画像）を表示するが、第２実施形態においては、情報端末は、サーバ装置が算出した翻訳精度に関するスコアと、所定の閾値とを比較し、当該スコアが所定の閾値以下である場合に、通話開始ボタン（第１画像）を表示する点において、第１実施形態と第２実施形態とは異なる。図１３を用いて第２実施形態を説明する。第１実施形態を説明する、図８に示すフローチャートと異なる点について特に説明し、図８に示すフローチャートと同様な点については、説明を省略する。
【００８５】
図１３は、音声翻訳システムにおける処理の流れ（一部）の他の一例を示すフローチャートである。図１３に示すように、サーバ装置２０の多言語翻訳部２０７は、認識された音声の「読み」（文字）を他の言語に翻訳する多言語翻訳処理を実行する（図１３；ステップＳＳ１２）。記憶部２１３は、入力音声の内容に対応付けられた翻訳結果（翻訳内容）及び当該翻訳結果に対応する翻訳精度に関するスコアをユーザごとに関連付けて翻訳履歴として記憶する（図１３；ステップＳＳ１３）。
【００８６】
ここで、当該翻訳処理においては、例えば統計翻訳が実施されており、対訳データから二言語間の単語や句の対応関係を抽出した、例えば確率付きの対訳辞書と確率付きの語順変換表を含む翻訳モデルと、訳文の言語らしさを表現する、並びの自然さを表す確率付き日本語の単語連鎖データを含む言語モデルと、に基づいてこれらの確率の積を最大化する訳文候補を出力する。よって、スコア算出部２０９は、例えば、各翻訳結果に対してそれぞれ何％という翻訳精度に関するスコアを算出するように構成されている。
【００８７】
多言語翻訳処理及び音声合成処理が完了すると、音声合成部２１１は、翻訳結果（翻訳内容）である英語の会話コーパスに基づいてテキスト表示用のテキスト信号を生成し、また、合成された音声に基づいて音声出力用の音声信号を生成する。そして、生成されたテキスト信号、生成された音声信号、及び翻訳精度を送受信部２０１及びネットワークＮを通して、情報端末１０へ送信する。
【００８８】
次に、情報端末１０のスコア比較部１１１は、サーバ装置２０が算出した翻訳精度に関するスコアと所定の閾値とを比較する（図１３；ステップＳＪ１５）。スコアが所定の閾値より高ければ（図１３；ステップＳＪ１５においてＮｏ）、翻訳精度が良いことを示しており、第１表示処理制御部１１３は、表示部１０７に翻訳結果を表示し、合成された音声を出力する（図１３；ステップＳＪ１６）。例えば、所定の閾値が８０％である場合であって、サーバ装置２０における翻訳処理の翻訳精度に関するスコアが９０％である場合は、その翻訳精度は、良いことを示している。そして、翻訳が精度よく行われることによって、顧客がユーザ（店員）の質問事項を理解することができた場合、図１３に示すステップＳＪ１３に戻り、今度は、顧客の音声の入力、認識、翻訳、及び音声合成といった音声処理を行う。
【００８９】
他方、翻訳精度に関するスコアが所定の閾値以下であれば（図１３；ステップＳＪ１５においてＹｅｓ）、翻訳精度が悪いことを示しており、第１表示処理制御部１１３は、表示部１０７に翻訳結果及び通話開始ボタンを表示する（図１３；ステップＳＪ１７）。
【００９０】
本発明によれば、情報端末の第１表示処理制御部は、表示部において翻訳結果を表示する場合に通話開始ボタンを選択的に表示する処理を制御し、情報端末の通話処理制御部は、通話開始ボタンが選択された場合に、ユーザと通訳者との通話を開始するための通話処理開始リクエストを送信することによって、ユーザの負担を軽減し且つ利便性を向上させることができるとともに、誤訳の発生を防止し且つ円滑なコミュニケーションを実現することができる。
【００９１】
また、本発明によれば、情報端末において音声翻訳の翻訳精度に関するスコアと所定の閾値とを比較し、翻訳精度が低い場合に、通話開始ボタンを表示するように構成する。よって、情報端末において通訳者との通話の必要性がより高い場合にのみ通話開始ボタンを表示するので、通訳者との通話をより円滑に開始することができる。
【００９２】
（他の実施形態）
本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。また、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施形態を組み合わせる等）して実施することができる。
【００９３】
また、上記各実施形態では、音声認識、翻訳、及び音声合成の各処理をサーバ装置２０によって実行する例について記載したが、これらの処理を情報端末１０において実行するように構成してもよい。この場合、それらの処理に用いるモジュールＬ２０は、情報端末１０の記憶資源１２に保存されていてもよいし、サーバ装置２０の記憶資源２３に保存されていてもよい。さらに、音声データベースのデータベースＤ２０、及び／又は、音響モデル等のモデルＭ２０も、情報端末１０の記憶資源１２に保存されていてもよいし、サーバ装置２０の記憶資源２３に保存されていてもよい。このとおり、音声翻訳システムは、ネットワークＮ及びサーバ装置２０を備えなくてもよい。なお、上記実施形態では、翻訳精度を判断する処理を情報端末１０によって実行する例について記載したが、この処理をサーバ装置２０において実行するように構成してもよい。
【００９４】
なお、図８に示すステップＳＯ３に係る翻訳履歴をユーザごとに関連付けて表示するステップは、ステップＳＯ１と同時に実行されてもよいし、ステップＳＯ１の後であってステップＳＯ２と同時に又はステップＳＯ２の前に実行されてもよい。また、図１０に示すステップＳＯ１３に係る翻訳履歴をユーザごとに関連付けて表示するステップは、ステップＳＯ１１と同時に実行されてもよいし、ステップＳＯ１１の後であってステップＳＯ１２と同時に又はステップＳＯ１２の前に実行されてもよい。
【００９５】
上記実施形態においては、オペレータ端末３０は、翻訳履歴を、当該翻訳履歴を含む通話処理開始リクエストを受信することによって得ることができると説明したが、これに限られない。例えば、オペレータ端末３０は、通話処理開始リクエストを受信する前に、又は後に、サーバ装置２０から直接翻訳履歴を受信するように構成されてもよい。
【００９６】
また、情報端末１０とネットワークＮとの間、又は、オペレータ端末３０とネットワークＮとの間には、両者間の通信プロトコルを変換するゲートウェイサーバ等が介在してももちろんよい。また、情報端末１０は、携帯型装置に限らず、例えば、デスクトップ型パソコン、ノート型パソコン、タブレット型パソコン、ラップトップ型パソコン等でもよい。さらに、オペレータ端末３０は、据え置き型装置に限られず、ネットワークＮとの通信機能を有する可搬型のタブレット型端末装置等で構成されてもよい。
【符号の説明】
【００９７】
１０  情報端末
１１，２１，３１  プロセッサ
１２，２３，３２  記憶資源
１３，３３  音声入出力デバイス
１４，２２，３４  通信インターフェイス
１５，３５  入力デバイス
１６，３６  表示デバイス
１７，３７  カメラ
２０  サーバ装置
３０  オペレータ端末
１００  音声翻訳システム
１０１，３０１  音声入出力部
１０３，２０１，３０３  送受信部
１０５，３０５  入力操作受付部
１０７，３０７  表示部
１０９，２０３，３０９  情報処理部
１１１  スコア比較部
１１３  第１表示処理制御部
１１５  通話処理制御部
１１７，２１３，３１５  記憶部
２０５  音声認識部
２０７  多言語翻訳部
２０９  スコア算出部
２１１  音声合成部
３１１  通話処理部
３１３  第２表示処理制御部
Ｄ２０  データベース
Ｌ２０  モジュール
Ｍ２０  モデル
Ｎ  ネットワーク
Ｐ１０，Ｐ２０，Ｐ３０  プログラム
【図１】
0006449181.tif 000002
【図２】
0006449181.tif 000003
【図３】
0006449181.tif 000004
【図４】
0006449181.tif 000005
【図５】
0006449181.tif 000006
【図６】
0006449181.tif 000007
【図７】
0006449181.tif 000008
【図８】
0006449181.tif 000009
【図９】
0006449181.tif 000010
【図１０】
0006449181.tif 000011
【図１１】
0006449181.tif 000012
【図１２】
0006449181.tif 000013
【図１３】
0006449181.tif 000014