(57)【要約】【課題】接客において、円滑なコミュニケーションを図りつつ、対話の内容を分析することにより、注文情報を簡易かつ有効に取得する。【解決手段】本発明の一態様による音声翻訳装置は、ユーザ等の音声を入力するための入力部、入力音声の内容を異なる言語の内容に翻訳する翻訳部、入力音声の翻訳内容を音声等で出力する出力部、ユーザ等が選択可能なように定型フレーズを表示する表示部、ユーザからの注文の問い合わせに対する対話者による注文が確定したか否かを判定する判定部、注文が確定したと判定されたときに、その注文の確定内容を記憶する記憶部を備える。そして、判定部は、例えば、入力音声の内容、又は、選定された定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合に、注文が完了したと判定する。【選択図】図２
2017182310.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ及び／又は対話者の音声を入力するための入力部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
前記入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、
前記ユーザ及び／又は前記対話者が選択可能なように定型フレーズを表示する表示部と、
前記ユーザからの注文の問い合わせに対する前記対話者による注文が確定したか否かを判定する判定部と、
前記注文が確定したと判定されたときに、該注文の確定内容を記憶する記憶部と、
を備え、
前記判定部は、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、前記注文が確定したと判定する、
音声翻訳装置。
【請求項２】
前記表示部は、前記商品名のリストを表示し、かつ、前記記憶部に記憶された前記注文数量の総数がより多い前記商品名を前記リストにおいてより高い順位に表示する、
請求項１記載の音声翻訳装置。
【請求項３】
前記記憶部は、前記商品名毎の会計数量を記憶し、
前記表示部は、前記商品名のリストを表示し、かつ、前記記憶部に記憶された前記会計数量の総数がより多い前記商品名を前記リストにおいてより高い順位に表示する、
請求項１又は２記載の音声翻訳装置。
【請求項４】
前記記憶部は、前記商品名毎の利益率を記憶し、
前記表示部は、前記商品名のリストを表示し、かつ、前記利益率がより高い前記商品名を前記リストにおいてより高い順位に表示する、
請求項１乃至３の何れか記載の音声翻訳装置。
【請求項５】
前記定型フレーズは、前記ユーザが属する業種毎又は前記ユーザの店舗毎に、自動又は手動で予め設定されたものである、
請求項１乃至４の何れか記載の音声翻訳装置。
【請求項６】
前記表示部は、前記各定型フレーズの異なる言語による訳文を表示し、又は、前記出力部は、前記各定型フレーズの異なる言語による訳文を音声で出力する、
請求項１乃至５の何れか記載の音声翻訳装置。
【請求項７】
入力部、翻訳部、出力部、表示部、判定部、及び記憶部を備える音声翻訳装置を用い、
前記入力部が、ユーザ及び／又は対話者の音声を入力するステップと、
前記翻訳部が、入力音声の内容を異なる言語の内容に翻訳するステップと、
前記出力部が、前記入力音声の翻訳内容を音声及び／又はテキストで出力するステップと、
前記表示部が、前記ユーザ及び／又は前記対話者が選択可能なように定型フレーズを表示するステップと、
前記判定部が、前記ユーザからの注文の問い合わせに対する前記対話者による注文が確定したか否かを判定するステップと、
前記記憶部が、前記注文が確定したと判定されたときに、該注文の確定内容を記憶するステップと、
を含み、
前記判定するステップにおいては、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、前記注文が確定したと判定する、
音声翻訳方法。
【請求項８】
コンピュータを、
ユーザ及び／又は対話者の音声を入力するための入力部と、
入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
前記入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、
前記ユーザ及び／又は前記対話者が選択可能なように定型フレーズを表示する表示部と、
前記ユーザからの注文の問い合わせに対する前記対話者による注文が確定したか否かを判定する判定部と、
前記注文が確定したと判定されたときに、該注文の確定内容を記憶する記憶部と、
して機能させ、
前記判定部は、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、前記注文が確定したと判定する、
音声翻訳プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声翻訳装置、音声翻訳方法、及び音声翻訳プログラムに関する。
【背景技術】
【０００２】
従来、チェーンや独立した小売店舗等において、販売時点情報管理（Ｐｏｉｎｔ ｏｆ  Ｓａｌｅ；ＰＯＳ）機能を有するキャッシュレジスタ（以下「ＰＯＳレジスタ」という）を用い、店舗や商品毎の注文情報や会計情報を取得する技術が知られている（例えば特許文献１、及び特許文献１に記載された各特許文献）。また、近時、飲食店をはじめとして、従業員が移動端末装置を操作し、客から注文（オーダー）された飲食メニューと数量を入力することにより、注文情報を取得するオーダーエントリーシステム（以下「ＯＥＳ」という）も導入されている（例えば特許文献２）。こうして取得された注文情報や会計情報は、店舗や商品毎の売上分析や在庫管理等に供され得る。
【０００３】
一方、例えば店舗の店員と外国人客との会話を行うための音声翻訳アプリケーション（例えば非特許文献１）や、ユーザが会話を行いたいシチュエーション（レストラン、ショッピング等）を選択することにより、目的別の会話パターンがリスト表示される翻訳アプリケーション（例えば非特許文献２）も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１３７６５７号公報
【特許文献２】特開２０１１−２０４２２７号公報
【非特許文献】
【０００５】
【非特許文献１】Ｕ−ＳＴＡＲコンソーシアムホームページ［平成２８年２月２３日検索］、インターネット＜ＵＲＬ：http://www.ustar-consortium.com/app_ja/app.html＞
【非特許文献２】会話シミュレーションができる！日中韓英対応の翻訳アプリ『［旅行アプリ１位］TS会話翻訳機［CJK］』［平成２８年２月２３日検索］、インターネット＜ＵＲＬ：http://andronavi.com/2012/08/208376＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上記従来の技術を組み合わせることにより、例えば翻訳アプリケーションを使用して外国人客の注文を聞き、その注文内容をＯＥＳやＰＯＳレジスタに入力し、こうして取得した注文情報を、店舗や商品毎の売上分析や在庫管理のために用いることが想起される。しかし、かかる手法では、翻訳アプリケーションを実行する端末装置とＯＥＳやＰＯＳレジスタの端末装置が必要であり、それらを操作して注文情報を取得する作業が煩雑となってしまう。また、ＯＥＳやＰＯＳレジスタ機能を有するアプリケーションを、翻訳アプリケーションと同じ端末装置上で動作させることも考えられるが、この場合でも、複数のアプリケーションを操作する必要があり、依然として作業は煩雑なものとなってしまう。
【０００７】
また、店舗や商品毎の売上分析により、例えば、その時点で人気の商品や飲食メニューを抽出し、それらを推奨商品や推奨飲食メニューとして客に勧めるといった営業も可能である。しかし、外国人客に対しては、そういった推奨商品や推奨飲食メニューの分析結果を一旦取得した上で、上述した翻訳アプリケーションを用いて客に勧める必要があるため、この場合の作業も煩雑となり、それに起因して、外国人客との円滑なコミュニケーションを行うことが困難となり、接客の質が低下してしまうおそれがある。
【０００８】
そこで、本発明は、かかる事情に鑑みてなされたものであり、ユーザによる対話者（外国人客）への接客において、円滑なコミュニケーションを図りつつ、対話の内容を分析することにより注文情報を簡易かつ有効に取得し、これにより、接客の最適化、並びに、ユーザ店舗の売上及び利益の向上に寄与することができる音声翻訳装置、音声翻訳方法、及び音声翻訳プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様による音声翻訳装置は、ユーザ及び／又は対話者の音声を入力するための入力部と、入力音声の内容を異なる言語の内容に翻訳する翻訳部と、入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、ユーザ及び／又は対話者が選択可能なように定型フレーズを表示する表示部と、ユーザからの注文の問い合わせに対する対話者による注文が確定したか否かを判定する判定部と、注文が確定したと判定されたときに、その注文の確定内容を記憶する記憶部を備える。そして、判定部が、（１）入力音声の内容、又は、選定された定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合、又は、（２）入力音声の内容、又は、選定された定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、注文が確定したと判定する。
【００１０】
なお、「定型フレーズ」には、文、節、句、語、及び数字が含まれ、また、それらに付随して画像又は記号が含まれていてもよい。また、「クロージング」とは、会話の終了を意味するフレーズ（例えば、注文の問い合わせに対する注文を受け付けて確認した旨を表す又は含意するフレーズ）を含む。さらに、「会話の終了を示す操作」とは、会話を終了する意思表示（例えば、当該音声翻訳装置上で動作する本発明による音声翻訳アプリケーションを終了したり、当該音声翻訳アプリケーションにおける所定の処理を終了したりする操作及び動作）を含む。
【００１１】
さらに、表示部が、商品名のリストを表示し、かつ、記憶部に記憶された注文数量の総数がより多い商品名をリストにおいてより高い順位に表示するように構成しても好適である。
【００１２】
またさらに、記憶部が、商品名毎の会計数量を記憶し、表示部が、記憶部に記憶された商品名のリストを表示し、かつ、会計数量の総数がより多い商品名を前記リストにおいてより高い順位に表示するように構成しても好適である。
【００１３】
さらにまた、記憶部が、商品名毎の利益率を記憶し、表示部が、商品名のリストを表示し、かつ、利益率がより高い商品名をリストにおいてより高い順位に表示するように構成しても好適である。
【００１４】
また、定型フレーズは、ユーザが属する業種毎又はユーザの店舗毎に、自動又は手動で予め設定されたものであってもよい。
【００１５】
さらに、表示部が、各定型フレーズの異なる言語による訳文を表示し、又は、出力部が、各定型フレーズの異なる言語による訳文を音声で出力してもよい。
【００１６】
また、本発明の一態様による音声翻訳方法は、入力部、翻訳部、出力部、表示部、判定部、及び記憶部を備える音声翻訳装置を用いる方法である。すなわち、当該方法は、入力部が、ユーザ及び／又は対話者の音声を入力するステップと、翻訳部が、入力音声の内容を異なる言語の内容に翻訳するステップと、出力部が、入力音声の翻訳内容を音声及び／又はテキストで出力するステップと、表示部が、ユーザ及び／又は対話者が選択可能なように定型フレーズを表示するステップと、判定部が、ユーザからの注文の問い合わせに対する対話者による注文が確定したか否かを判定するステップと、記憶部が、注文が確定したと判定されたときに、その注文の確定内容を記憶するステップを含む。そして、判定するステップにおいては、（１）入力音声の内容、又は、選定された定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合、又は、（２）入力音声の内容、又は、選定された定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、注文が確定したと判定する。
【００１７】
また、本発明の一態様による音声翻訳プログラムは、コンピュータ（単数又は単一種に限られず、複数又は複数種でもよい；以下同様）を、ユーザ及び／又は対話者の音声を入力するための入力部と、入力音声の内容を異なる言語の内容に翻訳する翻訳部と、入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、ユーザ及び／又は対話者が選択可能なように定型フレーズを表示する表示部と、ユーザからの注文の問い合わせに対する対話者による注文が確定したか否かを判定する判定部と、注文が確定したと判定されたときに、その注文の確定内容を記憶する記憶部として機能させる。そして、判定部が、（１）入力音声の内容、又は、選定された定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合、又は、（２）入力音声の内容、又は、選定された定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、注文が確定したと判定する。
【発明の効果】
【００１８】
本発明によれば、ユーザによる対話者（外国人客）への接客時の会話において、ユーザからの注文の問い合わせに対する対話者による注文が確定したか否かを判定し、その確定内容を記憶することができる。特に、（１）発話された入力音声の内容、又は、選定された定型フレーズの内容に、商品名、注文数量、及びクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、注文が確定したと判定する。すなわち、本発明によれば、ユーザによる対話者（外国人客）への接客において、会話を通じて円滑なコミュニケーションを図りつつ、対話の内容を分析することにより注文情報を簡易かつ有効に取得することができる。また、これにより、接客の最適化、並びに、ユーザ店舗の売上及び利益の向上に寄与することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明による音声翻訳装置に係るネットワーク構成等の好適な一実施形態を概略的に示すシステムブロック図である。
【図２】本発明による音声翻訳装置の第１乃至第３実施形態における処理の流れ（一部）の一例を示すフローチャートである。
【図３】本発明による音声翻訳装置の第４乃至第６実施形態における処理の流れ（一部）の一例を示すフローチャートである。
【図４】（Ａ）乃至（Ｃ）は、情報端末における表示画面の遷移の一例を示す平面図である。
【図５】（Ａ）乃至（Ｄ）は、情報端末における表示画面の遷移の一例を示す平面図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。
【００２１】
（装置構成）
図１は、本発明による音声翻訳装置に係るネットワーク構成等の好適な一実施形態を概略的に示すシステムブロック図である。この例において、音声翻訳装置１００は、ユーザが使用する情報端末１０（ユーザ装置）にネットワークＮを介して電子的に接続されるサーバ２０を備える（但し、これに限定されない）。
【００２２】
情報端末１０は、例えば、タッチパネル等のユーザインターフェイス及び視認性が高いディスプレイを採用する。また、ここでの情報端末１０は、ネットワークＮとの通信機能を有するスマートフォンに代表される携帯電話を含む可搬型のタブレット型端末装置である。さらに、情報端末１０は、プロセッサ１１、記憶資源１２、音声入出力デバイス１３、通信インターフェイス１４、入力デバイス１５、表示デバイス１６、及びカメラ１７を備えている。また、情報端末１０は、インストールされた音声翻訳アプリケーションソフト（本発明の一実施形態による音声翻訳プログラムの少なくとも一部）が動作することにより、本発明の一実施形態による音声翻訳装置の一部又は全部として機能するものである。
【００２３】
プロセッサ１１は、算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成される。また、プロセッサ１１は、記憶資源１２に格納されているプログラムＰ１０である音声翻訳アプリケーションソフトを解釈及び実行し、各種処理を行う。このプログラムＰ１０としての音声翻訳アプリケーションソフトは、例えばサーバ２０からネットワークＮを通じて配信可能なものであり、手動で又は自動でインストール及びアップデートされてもよい。
【００２４】
なお、ネットワークＮは、例えば、有線ネットワーク（近距離通信網（ＬＡＮ）、広域通信網（ＷＡＮ）、又は付加価値通信網（ＶＡＮ）等）と無線ネットワーク（移動通信網、衛星通信網、ブルートゥース（Bluetooth（登録商標））、ＷｉＦｉ(Wireless Fidelity)、ＨＳＤＰＡ(High Speed Downlink Packet Access)等）が混在して構成される通信網である。
【００２５】
記憶資源１２は、物理デバイス（例えば、半導体メモリ等のコンピュータ読み取り可能な記録媒体）の記憶領域が提供する論理デバイスであり、情報端末１０の処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、各種データ等を格納する。ドライバプログラムとしては、例えば、音声入出力デバイス１３を制御するための入出力デバイスドライバプログラム、入力デバイス１５を制御するための入力デバイスドライバプログラム、表示デバイス１６を制御するための表示デバイスドライバプログラム等が挙げられる。さらに、音声入出力デバイス１３は、例えば、一般的なマイクロフォン、及びサウンドデータを再生可能なサウンドプレイヤである。
【００２６】
通信インターフェイス１４は、例えばサーバ２０との接続インターフェイスを提供するものであり、無線通信インターフェイス及び／又は有線通信インターフェイスから構成される。また、入力デバイス１５は、例えば、表示デバイス１６に表示されるアイコン、ボタン、仮想キーボード、テキスト等のタップ動作による入力操作を受け付けるインターフェイスを提供するものであり、タッチパネルの他、情報端末１０に外付けされる各種入力装置を例示することができる。
【００２７】
表示デバイス１６は、画像表示インターフェイスとして各種の情報をユーザや対話者（会話の相手方）に提供するものであり、例えば、有機ＥＬディスプレイ、液晶ディスプレイ、ＣＲＴディスプレイ等が挙げられる。また、カメラ１７は、種々の被写体の静止画や動画を撮像するためのものである。
【００２８】
サーバ２０は、例えば、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現するものであり、例えば、音声認識サーバ、翻訳サーバ、及び音声合成サーバとして機能する単数又は複数のホストコンピュータから構成される（図示においては単数で示すが、これに限定されない）。そして、各サーバ２０は、プロセッサ２１、通信インターフェイス２２、及び記憶資源２３を備える。
【００２９】
プロセッサ２１は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成され、記憶資源２３に格納されているプログラムＰ２０を解釈及び実行し、所定の演算処理結果を出力する。また、通信インターフェイス２２は、ネットワークＮを介して情報端末１０に接続するためのハードウェアモジュールであり、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。
【００３０】
記憶資源２３は、例えば、物理デバイス（ディスクドライブ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体等）の記憶領域が提供する論理デバイスであり、それぞれ単数又は複数のプログラムＰ２０、各種モジュールＬ２０、各種データベースＤ２０、及び各種モデルＭ２０が格納されている。また、記憶資源２３には、ユーザが対話者へ話しかけるために予め用意された複数の質問定型文、入力音声の履歴データ、各種設定用のデータ、後述する商品（メニュー）の注文確定内容等も記憶されている。
【００３１】
プログラムＰ２０は、サーバ２０のメインプログラムである上述したサーバ用プログラム等である。また、各種モジュールＬ２０は、情報端末１０から送信されてくる要求及び情報に係る一連の情報処理を行うため、プログラムＰ１０の動作中に適宜呼び出されて実行されるソフトウェアモジュール（モジュール化されたサブプログラム）である。かかるモジュールＬ２０としては、音声認識モジュール、翻訳モジュール、音声合成モジュール等が挙げられる。
【００３２】
また、各種データベースＤ２０としては、音声翻訳処理のために必要な各種コーパス（例えば、日本語と英語の音声翻訳の場合、日本語音声コーパス、英語音声コーパス、日本語文字（語彙）コーパス、英語文字（語彙）コーパス、日本語辞書、英語辞書、日英対訳辞書、日英対訳コーパス等）、音声データベース、ユーザに関する情報を管理するための管理用データベース、後述する注文履歴データベース等が挙げられる。また、各種モデルＭ２０としては、音声認識に使用する音響モデルや言語モデル等が挙げられる。
【００３３】
（第１実施形態）
以上のとおり構成された音声翻訳装置１００における音声翻訳処理の操作及び動作の一例（第１実施形態）について、以下に更に説明する。図２は、第１乃至第３実施形態の音声翻訳装置１００における処理の流れ（の一部）の一例を示すフローチャートである。また、図４（Ａ）乃至（Ｃ）は、情報端末における表示画面の遷移の一例を示す平面図である。なお、ここでは、情報端末１０のユーザが日本語を話す飲食店等の店員であり、対話者（会話の相手）が英語を話す外国人客である場合の会話を想定する（但し、言語やシチュエーションはこれに限定されない）。
【００３４】
まず、ユーザ（店員）が当該アプリケーションを起動する（ステップＳＵ１）と、情報端末１０の表示デバイス１６に、図４（Ａ）に示す対話者の言語選択画面が表示される（ステップＳＪ１）。この言語選択画面には、対話者に言語を尋ねることをユーザに促すための日本語のテキストＴ１、対話者に言語を尋ねる旨の英語のテキストＴ２、及び、想定される複数の代表的な言語（ここでは、英語、中国語（例えば書体により２種類）、ハングル語）を示す言語ボタン４１が表示される。さらにその下方には、言語選択画面を閉じて当該アプリケーションを終了するためのキャンセルボタンＢ１も表示される。
【００３５】
このとき、図４（Ａ）に示す如く、日本語のテキストＴ１及び英語のテキストＴ２は、プロセッサ１１及び表示デバイス１６により、情報端末１０の表示デバイス１６の画面において、異なる領域によって区分けされ、且つ、互いに逆向き（互いに異なる向き；図示において上下逆向き）に表示される。これにより、ユーザと対話者が対面している状態で会話を行う場合、ユーザは日本語のテキストＴ１を確認し易い一方、対話者は、英語のテキストＴ２を確認し易くなる。また、日本語のテキストＴ１と英語のテキストＴ２が区分けして表示されるので、両者を明別して更に視認し易くなる利点がある。
【００３６】
ユーザがその言語選択画面における英語のテキストＴ２の表示を対話者に提示し、対話者に例えば英語（Ｅｎｇｌｉｓｈ）のボタンをタップしてもらうことにより、又は、ユーザが自ら、対話者の言語を選択することができる。こうして対話者の言語が選択されると、サーバ２０のプロセッサ２１及び情報端末１０のプロセッサ１１により、ホーム画面として、日本語と英語の音声入力待機画面が表示デバイス１６に表示される（図４（Ｂ）；ステップＳＪ２）。この音声入力待機画面には、ユーザと対話者の言語の何れを発話するかを問う日本語のテキストＴ３、並びに、日本語の音声入力を行うための入力ボタン４２ａ及び英語の音声入力を行うための入力ボタン４２ｂが表示される。
【００３７】
また、この音声入力待機画面には、予め設定されている複数の質問定型文のリスト表示を選択するためのお声がけボタン４３、図４（Ａ）の言語選択画面に戻って対話者の言語を切り替える（言語選択をやり直す）ための言語選択ボタン４４、それまでになされた音声入力内容の履歴表示を選択するための履歴ボタン４５、予め用意された複数の定型フレーズ（推奨フレーズ）群のなかから所望の定型フレーズを選択して会話を進めることができるサジェスト機能を実行するためのサジェストボタン４６、及び当該アプリケーションソフトの各種設定を行うための設定ボタン４７も表示される。
【００３８】
ここで、ユーザと対話者の会話及び／又は会話準備における通常の音声翻訳処理の主要手順（図２におけるステップＳＪ３）の概要について説明する。まず、図４（Ｂ）に示す音声入力待機画面において、ユーザが日本語の入力ボタン４２ａをタップして日本語の音声入力を選択すると、ユーザの日本語による発話内容を受け付ける音声入力画面となる（図４（Ｃ））。この音声入力画面が表示されると、音声入出力デバイス１３からの音声入力が可能な状態となる。また、この音声入力画面には、ユーザの音声入力を促すテキストＴ４、音声入力状態にあることを示すマイク図案４８、及びテキスト入力へ切り替えるための入力切替ボタン５０が表示される。さらに、この音声入力画面にも、キャンセルボタンＢ１が表示され、これをタップすることにより、会話を終了するか、音声入力待機画面（図４（Ｂ））へ戻って音声入力をやり直すことができる。
【００３９】
この状態で、ユーザが対話者への伝達事項等を発話する（ステップＳＵ２）と、テキストＴ４とともに、その声量の大小を模式的に且つ動的に表す多重円形図案４９が表示され、音声入力レベルが発話者であるユーザへ視覚的にフィードバックされる。それから、発話が終了し、ユーザがマイク図案４８をタップすると、プロセッサ１１は、ユーザによる発話内容の受け付けを終了する。情報端末１０のプロセッサ１１は、その音声入力に基づいて音声信号を生成し、その音声信号を通信インターフェイス１４及びネットワークＮを通してサーバ２０へ送信する。このとおり、情報端末１０自体、又はプロセッサ１１及び音声入出力デバイス１３が「入力部」として機能する。
【００４０】
次に、サーバ２０のプロセッサ２１は、通信インターフェイス２２を通してその音声信号を受信し、音声認識処理を行う。このとき、プロセッサ２１は、記憶資源２３から、必要なモジュールＬ２０、データベースＤ２０、及びモデルＭ２０（音声認識モジュール、日本語音声コーパス、音響モデル、言語モデル等）を呼び出し、入力音声の「音」を「読み」（文字）へ変換する。このとおり、プロセッサ２１、又は、サーバ２０が全体として「音声認識サーバ」として機能する。また、プロセッサ２１は、認識された内容を、音声入力の履歴データとして、記憶資源２３に（必要に応じて適宜のデータベースに）記憶する。
【００４１】
次いで、プロセッサ２１は、その入力音声の認識結果を、情報端末１０に送信し、プロセッサ１１は、それを日本語のテキストとして画面表示する（図示省略）。このとき、入力音声の認識結果をそのまま表示してもよいし、予め記憶資源２３に記憶されている日本語の会話コーパスのなかから、実際の入力音声の内容に対応するものを呼び出して表示してもよい。
【００４２】
続いて、プロセッサ２１は、認識された音声の「読み」（文字）を他の言語に翻訳する多言語翻訳処理へ移行する。このとき、プロセッサ２１は、記憶資源２３から、必要なモジュールＬ２０及びデータベースＤ２０（翻訳モジュール、日本語文字コーパス、日本語辞書、英語辞書、日英対訳辞書、日英対訳コーパス等）を呼び出し、認識結果である入力音声の「読み」（文字列）を適切に並び替えて日本語の句、節、文等へ変換し、その変換結果に対応する英語を抽出し、それらを英文法に従って並び替えて自然な英語の句、節、文等へと変換する。このとおり、プロセッサ２１は、「翻訳部」としても機能し、サーバ２０は、全体として「翻訳サーバ」としても機能する。なお、入力音声が正確に認識されなかった場合には、音声の再入力を行うことができる（図示省略）。なお、プロセッサ２１は、それらの日本語及び英語の句、節、文等を、記憶資源２３に記憶しておくこともできる。
【００４３】
それから、プロセッサ２１は、音声合成処理へ移行する。このとき、プロセッサ２１は、記憶資源２３から、必要なモジュールＬ２０、データベースＤ２０、及びモデルＭ２０（音声合成モジュール、英語音声コーパス、音響モデル、言語モデル等）を呼び出し、翻訳結果である英語の句、節、文等を自然な音声に変換する。このとおり、プロセッサ２１は、「音声合成部」としても機能し、サーバ２０は、全体として「音声合成サーバ」としても機能する。
【００４４】
そして、プロセッサ２１は、合成された音声に基づいて音声出力用の音声信号を生成し、通信インターフェイス２２及びネットワークＮを通して、情報端末１０へ送信する。情報端末１０のプロセッサ１１は、通信インターフェイス１４を通してその音声信号を受信し、音声入出力デバイス１３を用いて、音声出力処理を行う（ここまでステップＳＪ３）。このとおり、プロセッサ１１及び音声入出力デバイス１３が、「出力部」として機能する。なお、音声出力に先立って、ユーザの音声認識結果とその翻訳結果を、情報端末１０に一旦表示し、ユーザによる確認後に、音声出力を行うようにしてもよい（図示省略）。
【００４５】
次に、本実施形態におけるより具体的な処理の流れとして、ユーザが対話者の注文をとる際の会話における処理の一例について、更に説明する。まず、ユーザが、音声入力画面（図４（Ｃ））に向かって、注文の問い合わせ（例えば「ご注文をお聞きしてもよろしいでしょうか？」というフレーズ）を発話し、その音声を情報端末１０に入力する（ステップＳＵ２）。
【００４６】
その音声信号を受信したサーバ２０のプロセッサ２１は、音声認識、多言語翻訳（例えば「ご注文をお聞きしてもよろしいでしょうか？」の対訳である「Ｍａｙ  Ｉ  ｈａｖｅ  ｙｏｕｒ  ｏｒｄｅｒ，  ｐｌｅａｓｅ？」を訳出する）、及びその音声及び／又はテキスト出力までの処理を行う（ステップＳＪ３）。それから、プロセッサ２１は、ユーザの注文の問い合わせに対する対話者の注文が確定（完了）したか否かの判定を行う（ステップＳＪ４）。具体的には、（１）それまでの会話（入力音声）の内容に、商品名（メニュー名）、注文数量、及びクロージングが含まれている場合、又は、（２）それまでの会話の内容に、商品名が含まれており、かつ、会話の終了を示す操作があった場合に、注文が確定したと判定する。
【００４７】
本第１実施形態は、上記（１）の場合に該当し、より具体的には、例えば、以下のとおりである。まず、プロセッサ２１が、音声認識した入力音声の内容について形態素解析を行って形態素を取得し、さらに必要に応じて、多言語翻訳処理において記憶資源２３に記憶した入力音声の句、節、文等を呼び出す。そして、それらの形態素、句、節、文等が、予め設定しておいた商品名（メニュー名）、注文数量、及び、クロージングに合致するか否かを判定する。すなわち、それまでの会話内容に、商品名、注文数量、及び、クロージングのそれぞれに合致する項目が全てあった場合には、注文が確定したと判定する（ステップＳＪ４においてＹｅｓ）。また、（２）の場合、より具体的には、それまでの会話内容に、商品名に合致する項目があり、かつ、キャンセルボタンＢ１のタップといった会話の終了を示す操作があった場合に、注文が確定したと判定する（ステップＳＪ４においてＹｅｓ）。一方、上記（１）及び（２）の何れにも該当しない場合には、注文が確定していないと判定する（ステップＳＪ４においてＮｏ）。
【００４８】
ここでは、注文の問い合わせ（「ご注文をお聞きしてもよろしいでしょうか？」）が発話されたばかりの段階であって、会話の内容には、商品名、注文数量、及び、クロージングの何れも含まれておらず（（１）及び（２）の何れにも非該当）、プロセッサ２１は、注文が確定していないと判定（ステップＳＪ４においてＮｏ）し、対話者の発話（ステップＳＵ２）へ移行する。
【００４９】
次に、対話者が問い合わせへの回答として、メニュー名と数量（例えば「生ビールを２つお願いします。」に対応する「Ｔｗｏ  ｄｒａｆｔ  ｂｅｅｒ，  ｐｌｅａｓｅ．」）を発話して、注文を行う（ステップＳＵ２）。プロセッサ２１は、その発話内容について、音声認識、多言語翻訳、及びその音声及び／又はテキスト出力までの処理（ステップＳＪ３）を行い、続いて、注文の確定判定を行う（ステップＳＪ４）。
【００５０】
ここでは、注文内容（「生ビールを２つお願いします。」）が発話された段階であって、それまでの会話の内容には、商品名（「生ビール」）及び注文数量（「２つ」）が含まれているものの、未だクロージングは含まれておらず、また、キャンセルボタンＢ１のタップといった会話の終了を示す操作もないため、プロセッサ２１は、注文が確定していないと判定（ステップＳＪ４においてＮｏ）し、再度、ユーザによる発話（ステップＳＵ２）へ移行する。
【００５１】
次に、対話者の注文に対して、ユーザがクロージング（例えば「ありがとうございます。」、「只今お持ちします。」等）のフレーズを発話する（ステップＳＵ２）。プロセッサ２１は、その発話内容について、音声認識、多言語翻訳、及びその音声及び／又はテキスト出力までの処理（ステップＳＪ３）を行い、続いて、注文の確定判定を行う（ステップＳＪ４）。
【００５２】
この段階で、クロージング（「ありがとうございます。」、「只今お持ちします。」等）が発話されているので、それまでの会話の内容には、商品名（「生ビール」）、注文数量（「２つ」）、及びクロージングが全て含まれる。よって、プロセッサ２１は、注文が確定したと判定する（ステップＳＪ４においてＹｅｓ）。それから、プロセッサ２１は、その会話で取得された注文内容の履歴（注文履歴）として、メニュー名の「生ビール」とその数量である「２つ」を記憶資源２３における適宜のデータベースに記憶する（ステップＳＪ５）。この場合、プロセッサ２１は、その注文履歴データを、データベースＤ２０のひとつとしての例えば注文履歴データベース内に保持してもよい。そして、ユーザは、当該アプリケーションを適宜終了することができる（ステップＳＵ３）。
【００５３】
（第２実施形態）
次に、音声翻訳装置１００における音声翻訳処理の操作及び動作の他の一例（第２実施形態）について説明する。この第２実施形態においては、ユーザの注文の問い合わせに対して対話者が注文（メニュー名及び数量）を行ったあとに、ユーザがクロージングのフレーズを発話しないで、図４（Ｃ）に示す音声入力画面において、キャンセルボタンＢ１を押して会話を終了すること以外は、第１実施形態と同様の処理を実行する。本第２実施形態は、上記（２）の場合に該当する。
【００５４】
すなわち、例えば、対話者が注文内容（「生ビールを２つお願いします。」）を発話した後、ユーザが、クロージングのフレーズを入力せずに、適宜の挨拶（例えば「かしこまりました。」や「ありがとうございます。」を示す英語等）を口頭やそれに代わる動作で対話者に伝えることによって注文の問い合わせを終了し（これはなくてもよい）、キャンセルボタンＢ１をタップして当該音声翻訳アプリケーションによる会話を終了する（会話の終了を示す操作）。そうすると、プロセッサ２１は、キャンセルボタンＢ１のタップによる会話を終了する操作がなされたので、入力音声に関する処理であるステップＳＪ３をスキップし、注文の確定判定を行う（ステップＳＪ４）。
【００５５】
この段階で、それまでの会話の内容には、商品名（「生ビール」）が含まれており、かつ、キャンセルボタンＢ１のタップといった会話の終了を示す操作があったため、プロセッサ２１は、注文が確定したと判定する（ステップＳＪ４においてＹｅｓ）。それから、プロセッサ２１は、その会話で取得された注文内容の履歴（注文履歴）として、メニュー名の「生ビール」とその数量である「２つ」を記憶資源２３に記憶する（ステップＳＪ５）。この場合も、プロセッサ２１は、その注文履歴データを、データベースＤ２０のひとつとしての例えば注文履歴データベース内に保持してもよい。そして、ユーザは、当該アプリケーションを適宜終了することができる（ステップＳＵ３）。
【００５６】
（第３実施形態）
次に、音声翻訳装置１００における音声翻訳処理の操作及び動作の他の一例（第３実施形態）について説明する。この第３実施形態においては、ユーザの注文の問い合わせに対して対話者が注文（メニュー名のみ）を行ったあとに、ユーザがクロージングのフレーズを発話しないで、図４（Ｃ）に示す音声入力画面において、キャンセルボタンＢ１を押して会話を終了すること以外は、第２実施形態と同様の処理を実行する。本第３実施形態も、上記（２）の場合に該当する。
【００５７】
すなわち、例えば一人で来店した対話者が注文内容（「生ビール」）を発話した後、ユーザが、クロージングのフレーズを入力せずに、適宜の挨拶（例えば「かしこまりました。」や「ありがとうございます。」を示す英語等）を口頭やそれに代わる動作で対話者に伝えることによって注文の問い合わせを終了し（これはなくてもよい）、キャンセルボタンＢ１をタップして当該音声翻訳アプリケーションによる会話を終了する（会話の終了を示す操作）。そうすると、プロセッサ２１は、キャンセルボタンＢ１のタップによる会話を終了する操作がなされたので、入力音声に関する処理であるステップＳＪ３をスキップし、注文の確定判定を行う（ステップＳＪ４）。
【００５８】
この段階で、それまでの会話の内容には、商品名（「生ビール」）が含まれており、かつ、キャンセルボタンＢ１のタップといった会話の終了を示す操作があったため、プロセッサ２１は、注文が確定したと判定する（ステップＳＪ４においてＹｅｓ）。それから、プロセッサ２１は、その会話で取得された注文内容の履歴（注文履歴）として、メニュー名の「生ビール」を記憶資源２３に記憶する（ステップＳＪ５）。このとき、注文数量を記憶しなくてもよいし、注文数量のデフォルト値を予め「１つ」と設定しておき、そのデフォルト値をその会話における注文数量として記憶してもよい。そして、ユーザは、当該アプリケーションを適宜終了することができる（ステップＳＵ３）。
【００５９】
（第４実施形態）
続いて、音声翻訳装置１００における音声翻訳処理の操作及び動作の他の一例（第４実施形態）について、以下に更に説明する。図３は、第４乃至第６実施形態の音声翻訳装置１００における処理の流れ（の一部）の一例を示すフローチャートである。また、図５（Ａ）乃至（Ｄ）は、情報端末における表示画面の遷移の一例を示す平面図である。この第４実施形態においては、ステップＳＪ２の後にステップＳＵ４，ＳＪ６を実行し、ステップＳＵ２に代えてステップＳＵ５を実行し、ステップＳＪ３に代えてステップＳＪ７を実行すること以外は、第１実施形態と同様の処理を実行する。なお、ステップＳＪ３に代わるステップＳＪ７は、ステップＳＪ４の後に実行する。
【００６０】
すなわち、ユーザが、図４（Ｂ）に示す音声入力待機画面において、サジェストボタン４６をタップする（ステップＳＵ４）と、情報端末１０のプロセッサ１１は、ユーザが属する業種の店舗での接客において多用される定型フレーズ群を表示するための指令信号をサーバ２０へ送信する。その指令信号を受信したサーバ２０のプロセッサ２１は、記憶資源２３に記憶されたデータベースＤ２０に含まれる例えばフレーズデータベースにアクセスし、該当する定型フレーズ群を呼び出し、それらのリストの表示画像データを作成して情報端末１０のプロセッサ１１へ送信する。プロセッサ１１は、その表示画像データに基づいて、例えば図５（Ａ）に示す初期フレーズ群画面を表示デバイス１６に表示する（ステップＳＪ８）。
【００６１】
この図５（Ａ）の初期フレーズ群画面には、複数の日本語のフレーズテキストとそれらの英語による訳文を示す英語のフレーズテキストが、定型フレーズ毎に併記された状態でフレーズリストＰ１として表示される。図５（Ａ）に示すとおり、このフレーズリストＰ１には、例えば、客が席に着いたタイミングでよく発話される定型フレーズが含まれている。また、この初期フレーズ群画面において、フレーズリストＰ１の上方及び下方には、それぞれ、図４（Ａ）の言語選択画面において対話者の言語として選択された言語（つまり対訳言語）が英語であることを示す日本語のテキストＴ４、及び、閉じるボタンＢ２も表示される（以下同様）。この閉じるボタンＢ２をタップすることにより、会話を終了するか、フレーズ群画面を閉じて図４（Ｂ）の音声入力待機画面へ戻ることができる。
【００６２】
次いで、ユーザは、フレーズリストＰ１のなかから例えば飲み物の注文を問い合わせる旨のフレーズ（例えば「お飲み物はいかがなさいますか？」）のテキストＴ５をタップして選択する（ステップＳＵ５）と、情報端末１０のプロセッサ１１は、その選択指令信号をサーバ２０のプロセッサ２１へ送信する。それを受信したプロセッサ２１は、テキストＴ５の英語による訳文の音声出力データをプロセッサ１１へ返信し、プロセッサ１１は、その音声を音声入出力デバイス１３から出力する。さらに、プロセッサ２１は、ユーザの注文の問い合わせに対する対話者の注文が確定（完了）したか否かの判定を行う（ステップＳＪ４）。
【００６３】
具体的には、（１）それまでに選定された定型フレーズの内容に、商品名（メニュー名）、注文数量、及びクロージングが含まれている場合、又は、（２）それまでに選定された定型フレーズの内容に、商品名（メニュー名）が含まれており、かつ、会話の終了を示す操作があった場合に、注文が確定したと判定する。本第４実施形態は、上記（１）の場合に該当する。
【００６４】
ここでは、注文の問い合わせ（「お飲み物はいかがなさいますか？」）が選択されたばかりの段階であって、それまでに選定された定型フレーズの内容には、商品名（メニュー名）、注文数量、及び、クロージングの何れも含まれておらず、プロセッサ２１は、注文が確定していないと判定（ステップＳＪ４においてＮｏ）し、対話者が選択可能なフレーズ群画面の表示（ステップＳＪ７）へ移行する。
【００６５】
次に、プロセッサ２１は、再びフレーズデータベースにアクセスして、テキストＴ５の定型フレーズに関連付けられた他の複数の定型フレーズを呼び出し、それらの定型フレーズのリストの表示画像データを作成して情報端末１０のプロセッサ１１へ送信する。プロセッサ１１は、その表示画像データに基づいて、例えば図５（Ｂ）に示すフレーズ群画面を表示デバイス１６に表示する（ステップＳＪ７）。
【００６６】
この図５（Ｂ）のフレーズ群画面には、図５（Ａ）に示すフレーズリストＰ１と同様の形態で複数のフレーズテキストを含むフレーズリストＰ２が表示される。図５（Ｂ）に示すとおり、フレーズリストＰ２には、複数の商品名（飲み物のメニュー名）が含まれており、また、対話者がユーザに対してメニューを要求する旨のテキストＴ６も含まれている。ユーザがこのフレーズ群画面を対話者に提示し、対話者が所望の飲み物のメニュー名をタップすることにより、注文をとることができる。或いは、対話者の所望の飲み物のメニュー名がフレーズリストＰ２にない場合、対話者は、テキストＴ６の部分をタップすることにより、店員であるユーザに対してメニューの閲覧を求めることができる。
【００６７】
このようにして、対話者が、フレーズリストＰ２のなかから所望のメニュー名（例えば「生ビール」）を表すフレーズのテキストをタップして選択する（ステップＳＵ５）と、情報端末１０のプロセッサ１１は、その選択指令信号をサーバ２０のプロセッサ２１へ送信する。それを受信したプロセッサ２１は、そのテキストの日本語の音声出力データをプロセッサ１１へ返信し、プロセッサ１１は、その音声を音声入出力デバイス１３から出力する。さらに、プロセッサ２１は、ユーザの注文の問い合わせに対する対話者の注文が確定（完了）したか否かの判定を行う（ステップＳＪ４）。
【００６８】
ここでは、メニュー名（「生ビール」）が選択された段階であって、それまでに選定された定型フレーズの内容には、注文数量、及び、クロージングの何れも含まれておらず、また、閉じるボタンＢ２のタップによる会話を終了する操作もないので、プロセッサ２１は、注文が確定していないと判定する（ステップＳＪ４においてＮｏ）。
【００６９】
次に、プロセッサ２１は、再びフレーズデータベースにアクセスして、メニュー名が選択された場合に、その数量を対話者に入力して貰うための、数量入力画面の表示画像データを呼び出すか又は作成して情報端末１０のプロセッサ１１へ送信する。プロセッサ１１は、その表示画像データに基づいて、例えば図５（Ｃ）に示す注文数量入力画面を表示デバイス１６に表示する（ステップＳＪ７）。この図５（Ｃ）の数量入力画面には、数を入力するための数字キー５１が表示され、ユーザがこの数量入力画面を対話者に提示し、対話者が画面をタップして注文数量（ここでは例えば２つ）を入力する（ステップＳＵ５）と、その数字がカラム５２に表示される。次いで、プロセッサ２１は、ユーザの注文の問い合わせに対する対話者の注文が確定（完了）したか否かの判定を行う（ステップＳＪ４）。
【００７０】
ここでは、メニュー名（「生ビール」）の注文数量（「２つ」）が入力された段階であって、それまでに選定された定型フレーズの内容には、クロージングが含まれておらず、また、閉じるボタンＢ２のタップによる会話を終了する操作もないので、プロセッサ２１は、注文が確定していないと判定する（ステップＳＪ４においてＮｏ）。
【００７１】
次に、プロセッサ２１は、再びフレーズデータベースにアクセスして、数量の入力に関連付けられた他の複数の定型フレーズを呼び出し、それらの定型フレーズのリストの表示画像データを作成して情報端末１０のプロセッサ１１へ送信する。プロセッサ１１は、その表示画像データに基づいて、例えば図５（Ｄ）に示すフレーズ群画面を表示デバイス１６に表示する（ステップＳＪ７）。
【００７２】
この図５（Ｄ）のフレーズ群画面にも、図５（Ａ）に示すフレーズリストＰ１と同様の形態で複数のフレーズテキストを含むフレーズリストＰ３が表示される。図５（Ｄ）に示すとおり、フレーズリストＰ３には、客からの注文や依頼を受けた場合によく発話されるクロージングのフレーズが含まれている。そして、ユーザが、フレーズリストＰ３のなかから所望のフレーズのテキスト部分をタップして選択する（ステップＳＵ５）と、これまでの処理と同様にして、そのフレーズの英語による訳文の音声出力が行われる。さらに、プロセッサ２１は、ユーザの注文の問い合わせに対する対話者の注文が確定（完了）したか否かの判定を行う（ステップＳＪ４）。
【００７３】
この段階で、クロージング（「かしこまりました。」、「すぐお持ちします。」等）のフレーズが選択されているので、それまでに選定された定型フレーズの内容には、商品名（「生ビール」）、注文数量（「２つ」）、及びクロージングが全て含まれる。よって、プロセッサ２１は、注文が確定したと判定する（ステップＳＪ４においてＹｅｓ）。それから、プロセッサ２１は、その会話で取得された注文内容の履歴（注文履歴）として、メニュー名の「生ビール」とその数量である「２つ」を記憶資源２３に記憶する（ステップＳＪ５）。この場合、プロセッサ２１は、その注文履歴データを、データベースＤ２０のひとつとしての例えば注文履歴データベース内に保持してもよい。そして、ユーザは、当該アプリケーションを適宜終了することができる（ステップＳＵ３）。
【００７４】
（第５実施形態）
次に、音声翻訳装置１００における音声翻訳処理の操作及び動作の他の一例（第５実施形態）について説明する。この第５実施形態においては、ユーザの注文の問い合わせに対して対話者が注文（メニュー名及び数量）を行ったあとに、ユーザがクロージングのフレーズを発話しないで、図５（Ｃ）又は図５（Ｄ）に示すフレーズ群表示画面において、閉じるボタンＢ２を押して会話を終了すること以外は、第４実施形態と同様の処理を実行する。本第５実施形態は、上記（２）の場合に該当する。
【００７５】
すなわち、例えば、対話者が注文内容（「生ビールを２つお願いします。」）を発話した後、ユーザが、クロージングのフレーズを入力せずに、適宜の挨拶（例えば「かしこまりました。」や「ありがとうございます。」を示す英語等）を口頭やそれに代わる動作で対話者に伝えることによって注文の問い合わせを終了し（これはなくてもよい）、閉じるボタンＢ２をタップして当該音声翻訳アプリケーションによる会話を終了する（会話の終了を示す操作）。そして、プロセッサ２１は、注文の確定判定を行う（ステップＳＪ７）。
【００７６】
この段階で、それまでに選定された定型フレーズの内容には、商品名（「生ビール」）が含まれており、かつ、閉じるボタンＢ２のタップといった会話の終了を示す操作があったため、プロセッサ２１は、注文が確定したと判定する（ステップＳＪ７においてＹｅｓ）。それから、プロセッサ２１は、その会話で取得された注文内容の履歴（注文履歴）として、メニュー名の「生ビール」とその数量である「２つ」を記憶資源２３に記憶する（ステップＳＪ５）。この場合も、プロセッサ２１は、その注文履歴データを、データベースＤ２０のひとつとしての例えば注文履歴データベース内に保持してもよい。そして、ユーザは、当該アプリケーションを適宜終了することができる（ステップＳＵ３）。
【００７７】
（第６実施形態）
次に、音声翻訳装置１００における音声翻訳処理の操作及び動作の他の一例（第６実施形態）について説明する。この第６実施形態においては、ユーザの注文の問い合わせに対して対話者が注文（メニュー名のみ）を行ったあとに、ユーザがクロージングのフレーズを発話しないで、図５（Ｂ）又は図５（Ｃ）に示すフレーズ群表示画面において、閉じるボタンＢ２を押して会話を終了すること以外は、第５実施形態と同様の処理を実行する。本第６実施形態も、上記（２）の場合に該当する。
【００７８】
すなわち、例えば一人で来店した対話者が注文内容（「生ビール」）を発話した後、ユーザが対話者へ数量の入力を依頼せず、適宜の挨拶（例えば「かしこまりました。」や「ありがとうございます。」を示す英語等）を口頭やそれに代わる動作で対話者に伝えることによって注文の問い合わせを終了し（これはなくてもよい）、閉じるボタンＢ２をタップして当該音声翻訳アプリケーションによる会話を終了する（会話の終了を示す操作）。そして、プロセッサ２１は、注文の確定判定を行う（ステップＳＪ７）。
【００７９】
この段階で、それまでに選定された定型フレーズの内容には、商品名（「生ビール」）が含まれており、かつ、閉じるボタンＢ２のタップといった会話の終了を示す操作があったため、プロセッサ２１は、注文が確定したと判定する（ステップＳＪ４においてＹｅｓ）。それから、プロセッサ２１は、その会話で取得された注文内容の履歴（注文履歴）として、メニュー名の「生ビール」を記憶資源２３に記憶する（ステップＳＪ５）。このとき、注文数量を記憶しなくてもよいし、注文数量のデフォルト値を予め「１つ」と設定しておき、そのデフォルト値をその会話における注文数量として記憶してもよい。そして、ユーザは、当該アプリケーションを適宜終了することができる（ステップＳＵ３）。
【００８０】
以上のように構成された音声翻訳装置１００及びそれを用いた音声翻訳方法並びに音声翻訳プログラムによれば、（１）ユーザによる対話者（外国人客）への接客時の会話内容、又は、選定された定型フレーズの内容に、商品名（メニュー名：例えば「生ビール」）、注文数量（例えば「２つ」）、及び、クロージングのそれぞれに合致する項目が全てあった場合、注文が確定したと判定する。また、その会話内容、又は、選定された定型フレーズの内容に、商品名が含まれており、かつ、会話の終了を示す操作（例えばキャンセルボタンＢ１や閉じるボタンＢ２のタップ）があった場合にも、注文が確定したと判定する。このように、本発明によれば、ユーザによる対話者（外国人客）への接客において、会話を通じて円滑なコミュニケーションを図りつつ、両者の対話の内容に所定の要素が含まれるか否かを分析することにより、注文情報を簡易かつ有効に取得することができる。その結果、接客の最適化、並びに、ユーザ店舗の売上及び利益の向上に寄与することが可能となる。
【００８１】
また、図５（Ａ）乃至（Ｄ）に示す如く、前に選定された定型フレーズに関連付けられた定型フレーズが、順次、別画面として表示デバイス１６に表示されるので、会話の進行に応じた所望のフレーズを簡易かつ的確に選択し易くなり、ユーザと対話者との会話を自然かつ円滑に行うことができる。またさらに、フレーズリストＰ１〜Ｐ３のそれぞれに設定された複数のフレーズが、ユーザが属する業種毎に予め設定されたものであれば、その業種における接客に特化した会話を、より円滑にかつより適切に実施することができる。また、かかる定型フレーズを、ユーザの店舗毎に予め設定しておくこともでき、この場合、店舗毎の特徴や店舗の状況を反映したよりきめ細かい接客が可能となる。
【００８２】
ここで、定型フレーズの設定は、自動で行っても手動で行ってもよい。自動で設定する例としては、まず、当該翻訳アプリケーションの利用に際し、ユーザ情報の１つとしてユーザの業種を登録しておき、サーバ２０のプロセッサ２１が、その業種の会話で頻出する定型フレーズのコーパスや履歴のなかから特に多用される定型フレーズを選定してフレーズリストとして設定する形態が挙げられる。或いは、同業種の複数のユーザが発話した定型フレーズを、その発話頻度とともに適宜のデータベースに記憶し、サーバ２０のプロセッサ２１が、それらの定型フレーズのなかから特に多用されているものを選定してフレーズリストとして設定してもよい。一方、手動で設定する例としては、ユーザが所望の定型フレーズを選定し、フレーズリストとしてカスタマイズする形態が挙げられる。
【００８３】
その際、例えばフレーズリストＰ１〜Ｐ３に含まれる定型フレーズを、初期の設定のまま維持（フレーズリストの固定）してもよく、或いは、それらに含まれる定型フレーズを、必要に応じて適宜変更してもよい。特に、後者の場合、例えば、各定型フレーズが選択された回数を記憶資源２３に記憶しておき、サーバ２０のプロセッサ２１が、選択回数のより多いフレーズをフレーズリストＰ１〜Ｐ３の表示画面においてより高い順位に表示（例えば画面の上方に表示したり強調や拡大して表示したり）するようにしてもよい。これにより、ユーザの業種や店舗の実情に即した定型フレーズを表示し易くなり、かつ、選択し易くなる利点があり、また、ユーザと対話者のコミュニケーションを更に高速化することができる。
【００８４】
また、注文された各商品（メニュー）について過去の所定期間に選択された回数（当該音声翻訳アプリケーションによる注文数量、当該ユーザの店舗における会計数量、当該ユーザの店舗を含む複数の店舗における注文数量や会計数量）、又は、各商品（メニュー）の利益率を、記憶資源２３に記憶しておき、サーバ２０のプロセッサ２１が、その選択回数がより多い商品、又は、利益率がより高い商品を、例えば図５（Ｂ）に示すフレーズリストＰ２の表示画面においてより高い順位に表示してもよい。これにより、対話者（外国人客）に対し、人気が高い商品や客単価が高い商品を積極的に推奨することができ、その結果、ユーザの店舗の売上及び利益の向上を更に図ることができる。
【００８５】
またさらに、フレーズリストＰ１〜Ｐ３の表示画面において、定型フレーズ毎の日本語のフレーズテキストと英語による訳文を示す英語のフレーズテキストが併記され、また、各定型フレーズの異なる言語（例えば英語）による訳文が音声で出力される。よって、ユーザ及び対話者は、画面の視認に加えて、又は、画面を視認しなくとも、相手の発話内容をより確実に確認することができる。
【００８６】
なお、上述したとおり、上記の各実施形態は、本発明を説明するための一例であり、本発明をその実施形態に限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。例えば、当業者であれば、実施形態で述べたリソース（ハードウェア資源又はソフトウェア資源）を均等物に置換することが可能であり、そのような置換も本発明の範囲に含まれる。
【００８７】
また、図５（Ａ）、（Ｂ）及び（Ｄ）において、日本語のフレーズテキストと英語のフレーズテキストを、図４（Ａ）のテキストＴ１，Ｔ２のように、互いに逆向き（互いに異なる向き；図示において上下逆向き）に表示してもよい。さらに、これらの日本語のフレーズテキストと英語のフレーズテキストを併記せず、何れか一方のみ表示するようにしてもよい。またさらに、図５（Ｃ）に示す数量入力を、音声入力で行うことができるように構成してもよい。さらにまた、ユーザの業種に拘わらず、その他の業種用に設定されたフレーズリストの表示を選択可能にしてもよい。また、図５（Ｂ）に示す商品名（メニュー名）のフレーズリストには、その時点における在庫が多い材料を使用したメニュー名やユーザ又はユーザの店舗が独自に推奨するメニュー名を表示することもできる。
【００８８】
また、音声認識、翻訳、音声合成等の各処理をサーバ２０によって実行する例について記載したが、これらの処理を情報端末１０において実行するように構成してもよい。この場合、それらの処理に用いるモジュールＬ２０は、情報端末１０の記憶資源１２に保存されていてもよいし、サーバ２０の記憶資源２３に保存されていてもよい。さらに、音声データベースであるデータベースＤ２０、及び／又は、音響モデル等のモデルＭ２０も、情報端末１０の記憶資源１２に保存されていてもよいし、サーバ２０の記憶資源２３に保存されていてもよい。このとおり、音声翻訳装置は、ネットワークＮ及びサーバ２０を備えなくてもよい。
【００８９】
また、情報端末１０とネットワークＮとの間には、両者間の通信プロトコルを変換するゲートウェイサーバ等が介在してももちろんよい。また、情報端末１０は、携帯型装置に限らず、例えば、デスクトップ型パソコン、ノート型パソコン、タブレット型パソコン、ラップトップ型パソコン等でもよい。
【産業上の利用可能性】
【００９０】
本発明によれば、ユーザによる対話者（外国人客）への接客において、対話の内容を分析することにより注文情報を簡易かつ有効に取得することができるので、例えば、互いの言語を理解できない人同士の会話に関するサービスの提供分野における、プログラム、装置、システム、及び方法の設計、製造、提供、販売等の活動に広く利用することができる。
【符号の説明】
【００９１】
１０  情報端末
１１  プロセッサ
１２  記憶資源
１３  音声入出力デバイス
１４  通信インターフェイス
１５  入力デバイス
１６  表示デバイス
１７  カメラ
２０  サーバ
２１  プロセッサ
２２  通信インターフェイス
２３  記憶資源
４１  言語ボタン
４２ａ  日本語の入力ボタン
４２ｂ  英語の入力ボタン
４３  お声がけボタン
４４  言語選択ボタン
４５  履歴ボタン
４６  サジェストボタン
４７  設定ボタン
４８  マイク図案
４９  多重円形図案
５０  入力切替ボタン
５１  数字キー
５２  カラム
１００  音声翻訳装置
Ｂ１  キャンセルボタン
Ｂ２  閉じるボタン
Ｄ２０  データベース
Ｌ２０  モジュール
Ｍ２０  モデル
Ｎ  ネットワーク
Ｐ１〜Ｐ３  フレーズリスト
Ｐ１０  プログラム
Ｐ２０  プログラム
Ｔ１〜Ｔ６  テキスト
【図１】
2017182310.tif 000003
【図２】
2017182310.tif 000004
【図３】
2017182310.tif 000005
【図４】
2017182310.tif 000006
【図５】
2017182310.tif 000007
【手続補正書】
【提出日】平成28年11月14日(2016.11.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
注文の問い合わせを行うユーザ及び注文を行う対話者の音声を入力するための入力部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
前記入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、
前記ユーザ及び／又は前記対話者が選択可能なように、商品名のみを含む定型フレーズ及び商品名を含まない定型フレーズを表示する表示部と、
前記ユーザからの注文の問い合わせに対する前記対話者による注文が確定したか否かを判定する判定部と、
前記注文が確定したと判定されたときに、該注文の確定内容を記憶する記憶部と、
を備え、
前記判定部は、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及び前記ユーザによるクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、少なくとも商品名が含まれており、かつ、前記クロージング以外の会話の終了を示す前記ユーザによる操作があった場合に、前記注文が確定したと判定する、
音声翻訳装置。
【請求項２】
前記表示部は、前記対話者によって前記商品名が選択された場合に、前記対話者が前記注文数量を入力するための該商品名を含まない数量入力画面を表示する、
請求項１記載の音声翻訳装置。
【請求項３】
前記表示部は、前記商品名のリストを表示し、かつ、前記記憶部に記憶された前記注文数量の総数がより多い前記商品名を前記リストにおいてより高い順位に表示する、
請求項１又は２記載の音声翻訳装置。
【請求項４】
前記記憶部は、前記商品名毎の会計数量及び／又は前記商品名毎の利益率を記憶し、
前記表示部は、前記商品名のリストを表示し、かつ、前記記憶部に記憶された前記会計数量の総数がより多い前記商品名、及び／又は、前記利益率がより高い前記商品名を前記リストにおいてより高い順位に表示する、
請求項１乃至３の何れか記載の音声翻訳装置。
【請求項５】
前記定型フレーズは、前記ユーザが属する業種毎又は前記ユーザの店舗毎に、自動又は手動で予め設定されたものである、
請求項１乃至４の何れか記載の音声翻訳装置。
【請求項６】
前記表示部は、前記各定型フレーズの異なる言語による訳文を表示し、又は、前記出力部は、前記各定型フレーズの異なる言語による訳文を音声で出力する、
請求項１乃至５の何れか記載の音声翻訳装置。
【請求項７】
入力部、翻訳部、出力部、表示部、判定部、及び記憶部を備える音声翻訳装置を用い、
前記入力部が、注文の問い合わせを行うユーザ及び／又は注文を行う対話者の音声を入力するステップと、
前記翻訳部が、入力音声の内容を異なる言語の内容に翻訳するステップと、
前記出力部が、前記入力音声の翻訳内容を音声及び／又はテキストで出力するステップと、
前記表示部が、前記ユーザ及び／又は前記対話者が選択可能なように、商品名のみを含む定型フレーズ及び商品名を含まない定型フレーズを表示するステップと、
前記判定部が、前記ユーザからの注文の問い合わせに対する前記対話者による注文が確定したか否かを判定するステップと、
前記記憶部が、前記注文が確定したと判定されたときに、該注文の確定内容を記憶するステップと、
を含み、
前記判定するステップにおいては、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及び前記ユーザによるクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、少なくとも商品名が含まれており、かつ、前記クロージング以外の会話の終了を示す前記ユーザによる操作があった場合に、前記注文が確定したと判定する、
音声翻訳方法。
【請求項８】
コンピュータを、
注文の問い合わせを行うユーザ及び／又は注文を行う対話者の音声を入力するための入力部と、
入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
前記入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、
前記ユーザ及び／又は前記対話者が選択可能なように、商品名のみを含む定型フレーズ及び商品名を含まない定型フレーズを表示する表示部と、
前記ユーザからの注文の問い合わせに対する前記対話者による注文が確定したか否かを判定する判定部と、
前記注文が確定したと判定されたときに、該注文の確定内容を記憶する記憶部と、
して機能させ、
前記判定部は、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及び前記ユーザによるクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、少なくとも商品名が含まれており、かつ、前記クロージング以外の会話の終了を示す前記ユーザによる操作があった場合に、前記注文が確定したと判定する、
音声翻訳プログラム。
【手続補正書】
【提出日】平成29年2月28日(2017.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
注文の問い合わせを行う店員及び注文を行う外国人客の音声を入力するための入力部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
前記入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、
前記店員及び／又は前記外国人客が選択可能なように、商品名のみを含む定型フレーズ及び商品名を含まない定型フレーズをリスト表示する表示部と、
前記店員からの注文の問い合わせに対する前記外国人客による注文が確定したか否かを判定する判定部と、
前記注文が確定したと判定されたときに、該注文の確定内容を記憶する記憶部と、
を備え、
前記判定部は、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及び前記店員によるクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、少なくとも商品名が含まれており、かつ、前記クロージング以外の会話の終了を示す前記店員による操作があった場合に、前記注文が確定したと判定する、
音声翻訳装置。
【請求項２】
前記表示部は、前記外国人客によって前記商品名が選択された場合に、前記外国人客が前記注文数量を入力するための該商品名を含まない数量入力画面を表示する、
請求項１記載の音声翻訳装置。
【請求項３】
前記表示部は、前記商品名のリストを表示し、かつ、前記記憶部に記憶された前記注文数量の総数がより多い前記商品名を前記リストにおいてより高い順位に表示する、
請求項１又は２記載の音声翻訳装置。
【請求項４】
前記記憶部は、前記商品名毎の会計数量及び／又は前記商品名毎の利益率を記憶し、
前記表示部は、前記商品名のリストを表示し、かつ、前記記憶部に記憶された前記会計数量の総数がより多い前記商品名、及び／又は、前記利益率がより高い前記商品名を前記リストにおいてより高い順位に表示する、
請求項１乃至３の何れか記載の音声翻訳装置。
【請求項５】
前記定型フレーズは、前記店員が属する業種毎又は前記店員の店舗毎に、自動又は手動で予め設定されたものである、
請求項１乃至４の何れか記載の音声翻訳装置。
【請求項６】
前記表示部は、前記各定型フレーズの異なる言語による訳文を表示し、又は、前記出力部は、前記各定型フレーズの異なる言語による訳文を音声で出力する、
請求項１乃至５の何れか記載の音声翻訳装置。
【請求項７】
入力部、翻訳部、出力部、表示部、判定部、及び記憶部を備える音声翻訳装置を用い、
前記入力部が、注文の問い合わせを行う店員及び／又は注文を行う外国人客の音声を入力するステップと、
前記翻訳部が、入力音声の内容を異なる言語の内容に翻訳するステップと、
前記出力部が、前記入力音声の翻訳内容を音声及び／又はテキストで出力するステップと、
前記表示部が、前記店員及び／又は前記外国人客が選択可能なように、商品名のみを含む定型フレーズ及び商品名を含まない定型フレーズをリスト表示するステップと、
前記判定部が、前記店員からの注文の問い合わせに対する前記外国人客による注文が確定したか否かを判定するステップと、
前記記憶部が、前記注文が確定したと判定されたときに、該注文の確定内容を記憶するステップと、
を含み、
前記判定するステップにおいては、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及び前記店員によるクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、少なくとも商品名が含まれており、かつ、前記クロージング以外の会話の終了を示す前記店員による操作があった場合に、前記注文が確定したと判定する、
音声翻訳方法。
【請求項８】
コンピュータを、
注文の問い合わせを行う店員及び／又は注文を行う外国人客の音声を入力するための入力部と、
入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
前記入力音声の翻訳内容を音声及び／又はテキストで出力する出力部と、
前記店員及び／又は前記外国人客が選択可能なように、商品名のみを含む定型フレーズ及び商品名を含まない定型フレーズをリスト表示する表示部と、
前記店員からの注文の問い合わせに対する前記外国人客による注文が確定したか否かを判定する判定部と、
前記注文が確定したと判定されたときに、該注文の確定内容を記憶する記憶部と、
して機能させ、
前記判定部は、（１）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、商品名、注文数量、及び前記店員によるクロージングが含まれている場合、又は、（２）前記入力音声の内容、又は、選定された前記定型フレーズの内容に、少なくとも商品名が含まれており、かつ、前記クロージング以外の会話の終了を示す前記店員による操作があった場合に、前記注文が確定したと判定する、
音声翻訳プログラム。