(57)【要約】【課題】異なる言語を使用するユーザ同士のコミュニケーションを円滑にする。【解決手段】第１表示領域及び第２表示領域を有する表示部（１４）と、入力情報を受け付けるマイク（１５）と、翻訳結果を受信する通信部（１１）と、支援情報を取得する表示画像生成部（２２）と、タッチパッド（１３）と、制御部（１２）と、を備え、制御部は、翻訳結果を１表示領域及び第２表示領域に表示させ、支援情報を第１表示領域に表示させ、入力を受け付けると、支援情報を第２表示領域に表示させるコミュニケーション支援システム（１０）。【選択図】図１
2017021541.tif 000002
【特許請求の範囲】
【請求項１】
サービス提供者向けの第１表示領域及びサービス利用者向けの第２表示領域を有する表示部と、
サービス提供者及びサービス利用者から入力情報を受け付ける第１の受付部と、
上記入力情報の翻訳結果を取得するための第２の受付部と、
支援情報を取得するための第３の受付部と、
操作子と、
制御部と、を備え、
上記制御部は、
上記サービス提供者向けの上記翻訳結果を取得し、上記第１表示領域に表示させ、
上記サービス利用者向けの上記翻訳結果を取得し、上記第２表示領域に表示させ、
上記入力情報及び上記翻訳結果の少なくとも何れかに関連する上記支援情報を取得し、上記第１表示領域に表示させ、
上記操作子による入力を受け付けたことに応じて、上記支援情報を上記第２表示領域に表示させる
ことを特徴とするコミュニケーション支援システム。
【請求項２】
上記制御部は、第１表示領域に、上記サービス提供者から受け付けた入力情報を表示させる
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
【請求項３】
上記制御部は、第２表示領域に、上記サービス利用者から受け付けた入力情報を表示させる
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
【請求項４】
上記サービス利用者による操作入力を受け付ける操作入力部をさらに備え、
上記制御部は、上記操作入力部からの少なくとも一部の操作入力を禁止しており、上記操作子が入力を受け付けたことに応じて、禁止されている上記操作入力を許可する
ことを特徴とする請求項１〜３の何れか１項に記載のコミュニケーション支援システム。
【請求項５】
上記操作入力部が受け付けた操作の内容を、上記第１表示領域に表示する、
ことを特徴とする請求項４に記載のコミュニケーション支援システム。
【請求項６】
上記入力情報は、音声によって入力された情報である、
ことを示す請求項１〜５の何れか１項に記載のコミュニケーション支援システム。
【請求項７】
上記入力情報を入力したユーザの意図を推定する意図推定部と、
上記意図推定部が推定した意図を参照して、上記入力情報及び上記翻訳結果の何れかに含まれるキーフレーズに関連する情報を上記支援情報として生成する生成部と、をさらに備えている、
ことを特徴とする請求項１〜６の何れか１項に記載のコミュニケーション支援システム。
【請求項８】
上記制御部は、上記キーフレーズを上記第１表示領域に強調表示させる
ことを特徴とする請求項７に記載のコミュニケーション支援システム。
【請求項９】
上記表示部は、
上記第１表示領域を表示する第１の表示部と、
上記第２表示領域を表示する第２の表示部と、を備えている
ことを特徴とする請求項１〜８の何れか１項に記載のコミュニケーション支援システム。
【請求項１０】
上記第１の表示部の表示面及び上記第２の表示部の表示面が互いに背中合わせとなるように設けられている
ことを特徴とする請求項９に記載のコミュニケーション支援システム。
【請求項１１】
サービス提供者向けの第１表示領域及びサービス利用者向けの第２表示領域を有する表示部と、サービス提供者及びサービス利用者から入力情報を受け付ける第１の受付部と、上記入力情報の翻訳結果を取得するための第２の受付部と、支援情報を取得するための第３の受付部と、操作子と、制御部と、を備えたコミュニケーション支援システムとしてコンピュータを機能させるためのプログラムであって、上記制御部に、
上記サービス提供者向けの上記翻訳結果を取得し、上記第１表示領域に表示させる処理、
上記サービス利用者向けの上記翻訳結果を取得し、上記第２表示領域に表示させる処理、
上記入力情報及び上記翻訳結果の少なくとも何れかに関連する上記支援情報を取得し、上記第１表示領域に表示させる処理、及び、
上記操作子による入力を受け付けたことに応じて、上記支援情報を上記第２表示領域に表示させる処理、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる言語を使用するユーザ同士のコミュニケーションを支援するコミュニケーション支援システム、及び、当該コミュニケーション支援システムとしてコンピュータを機能させるプログラムに関する。
【背景技術】
【０００２】
経済や文化のグローバル化が進むと共に、サービス提供者が、異なる言語を使用するサービス利用者にサービスを提供する機会が増えている。そのため、一方が発した発話内容を、他方が使用する言語に翻訳して提示する翻訳装置が開発されている。特に、サービスを提供する場において用いられる翻訳装置には、発話内容の翻訳に加えて、発話内容に応じた情報をさらに提示する技術が求められている。
【０００３】
例えば、特許文献１には、発話された内容を翻訳した翻訳結果を提示すると共に、入力音声に基づいて発話行為を推定する対話支援装置が開示されている。当該対話支援装置では、推定された発話行為に基づいて補足情報を提示するか否かを判定し、補足情報を提示すると判定された場合、翻訳結果に加えて補足情報を提示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−７３３５５号公報（２０１３年４月２２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１では、対話支援装置が発話行為の推定を誤った場合、誤った補足情報が表示されてしまうという問題がある。
【０００６】
本発明は、上記の課題を鑑みてなされたものであり、その目的は、異なる言語を使用するユーザ同士のコミュニケーションを円滑にする技術を提供することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係るコミュニケーション支援システムは、サービス提供者向けの第１表示領域及びサービス利用者向けの第２表示領域を有する表示部と、サービス提供者及びサービス利用者から入力情報を受け付ける第１の受付部と、上記入力情報の翻訳結果を取得するための第２の受付部と、支援情報を取得するための第３の受付部と、操作子と、制御部と、を備え、上記制御部は、上記サービス提供者向けの上記翻訳結果を取得し、上記第１表示領域に表示させ、上記サービス利用者向けの上記翻訳結果を取得し、上記第２表示領域に表示させ、上記入力情報及び上記翻訳結果の少なくとも何れかに関連する上記支援情報を取得し、上記第１表示領域に表示させ、上記操作子による入力を受け付けたことに応じて、上記支援情報を上記第２表示領域に表示させる。
【０００８】
また、上記の課題を解決するために、本発明の一態様に係るプログラムは、サービス提供者向けの第１表示領域及びサービス利用者向けの第２表示領域を有する表示部と、サービス提供者及びサービス利用者から入力情報を受け付ける第１の受付部と、上記入力情報の翻訳結果を取得するための第２の受付部と、支援情報を取得するための第３の受付部と、操作子と、制御部と、を備えたコミュニケーション支援システムとしてコンピュータを機能させるためのプログラムであって、上記制御部に、上記サービス提供者向けの上記翻訳結果を取得し、上記第１表示領域に表示させる処理、上記サービス利用者向けの上記翻訳結果を取得し、上記第２表示領域に表示させる処理、上記入力情報及び上記翻訳結果の少なくとも何れかに関連する上記支援情報を取得し、上記第１表示領域に表示させる処理、及び、上記操作子による入力を受け付けたことに応じて、上記支援情報を上記第２表示領域に表示させる処理、を実行させる。
【発明の効果】
【０００９】
本発明の一態様によれば、異なる言語を使用するユーザ同士のコミュニケーションを円滑にすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係るコミュニケーション支援システムの要部構成を示すブロック図である。
【図２】本発明の実施形態１に係るクライアント端末の処理の流れを示すフローチャートである。
【図３】本発明の実施形態２に係るコミュニケーション支援システムの要部構成を示すブロック図である。
【図４】本発明の実施形態２に係るコミュニケーション支援システムの処理の流れを示すフローチャートである。
【図５】本発明の実施形態２における意図推定部が意図を推定する処理を示す図である。
【図６】本発明の実施形態２における意図推定部及び翻訳部が参照する単語テーブルの例である。
【図７】本発明の実施形態２における支援情報生成部が参照するテーブル及び表示される画像の一例である。
【図８】本発明の実施形態２における支援情報生成部が参照するテーブル及び表示される画像の他の例である。
【図９】本発明の実施形態２における支援情報生成部が参照するテーブル及び表示される画像のさらに他の例である。
【図１０】本発明の実施形態２に係るクライアント端末が表示する初期画面及び確認画面の例である。
【図１１】本発明の実施形態２に係るクライアント端末が表示する音声入力待ち受け画面の例である。
【図１２】本発明の実施形態２に係るクライアント端末が表示する支援情報画面の例である。
【図１３】本発明の実施形態２に係るクライアント端末が表示する支援情報画面のさらに他の例である。
【図１４】本発明の実施形態２に係るクライアント端末が表示する支援情報画面のさらに他の例である。
【図１５】本発明の実施形態２に係るクライアント端末が表示する支援情報画面のさらに他の例である。
【図１６】本発明の実施形態２に係るクライアント端末が表示する支援情報画面のさらに他の例である。
【図１７】本発明の実施形態２に係るクライアント端末が表示するタブ画面の一例である。
【図１８】本発明の実施形態２に係るクライアント端末が表示するタブ画面の他の例である。
【図１９】本発明の実施形態２に係るクライアント端末が表示する質問画面の一例である。
【図２０】本発明の実施形態２に係るクライアント端末が表示する質問画面の他の例である。
【図２１】本発明の実施形態２に係るクライアント端末が表示する質問画面のさらに他の例である。
【図２２】本発明の実施形態２に係るクライアント端末が表示する質問画面のさらに他の例である。
【図２３】本発明の実施形態２に係るクライアント端末が表示する質問画面のさらに他の例である。
【図２４】本発明の実施形態２に係るクライアント端末が表示する質問画面のさらに他の例である。
【図２５】本発明の実施形態２に係るクライアント端末において、会話を終了する場合に表示される会話終了画面の例である。
【図２６】本発明の実施形態２に係るクライアント端末が表示する発話言語設定画面の例である。
【図２７】本発明の実施形態２に係るクライアント端末が表示する発話言語設定画面の例である。
【図２８】図２７に示すマイクエリアの画像の例である。
【図２９】本実施形態に係るコミュニケーション支援システムの要部構成を示すブロック図である。
【図３０】本発明の実施形態３に係るコミュニケーション支援システムの処理の流れを示すフローチャートである。
【図３１】本発明の実施形態３に係るクライアント端末が表示する初期画面、確認画面、及び音声入力待ち受け画面の例である。
【図３２】本発明の実施形態３に係るクライアント端末が表示するタブ画面の例である。
【図３３】本発明の実施形態３に係るクライアント端末が表示するタブ画面の他の例である。
【図３４】本発明の実施形態３に係るクライアント端末が表示するタブ画面のさらに他の例である。
【図３５】本発明の実施形態３に係るクライアント端末が表示するタブ画面のさらに他の例である。
【図３６】対人コミュニケーション支援装置の外観を示す図面である。
【図３７】無人コミュニケーション支援装置の外観を示す図面である。
【図３８】クライアント端末及びアプリケーションサーバとして利用可能なコンピュータのハードウェア構成を例示したブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の実施形態を詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。
【００１２】
〔実施形態１〕
以下、本発明の実施の形態について、図１及び図２を用いて説明する。
【００１３】
（コミュニケーション支援システム１０）
図１は、本発明の実施形態１に係るコミュニケーション支援システム１０の要部構成を示すブロック図である。また、図１に示すように、本実施形態では、クライアント端末１０がコミュニケーション支援システム１０として機能する。
【００１４】
（クライアント端末１０）
クライアント端末１０は、図１に示すように、通信部（第２の受付部）１１、制御部１２、タッチパッド（第１の受付部）１３、表示部１４、及びマイク（第１の受付部）１５を備えている。また、クライアント端末１０は、ネットワーク２を介して、翻訳サーバ３０及び音声認識サーバ４０と通信可能な構成である。なお、翻訳サーバ３０は、文字列を示すテキスト情報を取得し、当該テキスト情報が示す文字列を所定の言語に翻訳し、翻訳した結果を示す翻訳結果を送信するサーバである。また、音声認識サーバ４０は、音声を示す音声情報を取得し、当該音声情報が示す音声の発話内容を認識し、認識した発話内容を示すテキスト情報を送信するサーバである。また、翻訳サーバ３０及び音声認識サーバ４０は、クライアント端末１０の外部に設置されたサーバに限定されず、翻訳機能及び音声認識機能をクライアント端末１０が有している構成であってもよい。
【００１５】
クライアント端末１０は、互いに異なる言語を使用する第１のユーザ及び第２のユーザが入力した以下の情報の少なくとも何れかを、入力情報として受け付ける。
・第１のユーザ及び第２のユーザの何れかが発話した音声の発話内容を示すテキスト情報
・第１のユーザ及び第２のユーザの何れかが入力した文字列を示すテキスト情報を入力情報
クライアント端末１０は、受け付けた入力情報の翻訳結果を翻訳サーバ３０から受信する。そして、クライアント端末１０は、第１のユーザ向けの画像を第１表示領域に表示し、第２のユーザ向けの画像を第２表示領域に表示する。
【００１６】
クライアント端末１０が第１表示領域に表示する画像には、（１）第１のユーザが入力した入力情報、（２）第２のユーザが入力した入力情報に対応する翻訳結果、（３）入力情報及び翻訳結果の少なくとも何れかに関連する支援情報を、第２表示領域に表示することを決定するための操作子（共有ボタン）、の少なくとも何れかが含まれている。ここで、「入力情報及び翻訳結果の少なくとも何れかに関連する支援情報」とは、（１）クライアント端末１０が入力情報及び翻訳結果の少なくとも何れかに紐付けて管理する情報、（２）入力情報及び翻訳結果を認識したユーザにとって、入力情報及び翻訳結果の少なくとも何れかに関連している情報、などを指している。
【００１７】
また、操作子（共有ボタン）は、第１表示領域がタッチパネルであれば、当該第１表示領域に表示されるＧＵＩ（Graphic User Interface）であってもよいし、ボタンの形状に限られずスイッチの形状などであってもよい。また、サービス提供者向けに設けられた、物理的なボタン、スイッチなどであってもよい。
【００１８】
また、クライアント端末１０が第２表示領域に表示する画像には、（１）第２のユーザが入力した入力情報、（２）第１のユーザが入力した入力情報に対応する翻訳結果、の少なくとも何れかが含まれている。
【００１９】
（クライアント端末１０が備える各部）
通信部１１は、外部の機器と情報を送受信することができる。
【００２０】
制御部１２は、クライアント端末１０の各部を統括的に制御するものであり、ＣＰＵ（Central Processing Unit）により実現される。制御部１２の詳細については後述する。
【００２１】
タッチパッド１３は、ユーザのタッチ操作を受け付け、当該タッチ操作を示す操作情報を出力する。なお、ユーザの操作を受け付ける方法はタッチパッドに限定されず、マウス、スイッチ、ボタンなどを介してユーザの操作を受け付けてもよい。なお、以後、タッチとは、スクロールやスワイプなどの一般的な入力パターンを含んでいるものとする。
【００２２】
表示部１４は、制御部１２から出力される画像信号が示す画像を表示する。表示部１４は、バックライトを有した透過型の液晶パネルや有機ＥＬディスプレイなどにより実現される。また、表示部１４は、第１のユーザ向けの画像を第１表示領域に表示し、第２のユーザ向けの画像を第２表示領域に表示する。表示部１４は、第１表示領域及び第２表示領域を有する１つの表示部であってもよいし、第１表示領域を表示する第１の表示部と、第２表示領域を表示する第２の表示部と、を備える構成であってもよい。表示部１４が第１表示領域を表示する第１の表示部と、第２表示領域を表示する第２の表示部と、を備える構成の場合、第１のユーザ及び第２のユーザの位置に応じて、第１の表示部と第２の表示部とを配置することができる。なお、タッチパッド１３及び表示部１４は、一体型として構成されるタッチパネルであってもよい。
【００２３】
マイク１５は、クライアント端末１０の周辺の音声を取得し、取得した音声を示す音声情報を出力する。
【００２４】
（制御部１２）
制御部１２は、図１に示すように、タッチ操作受付部２１、表示画像生成部（第３の受付部）２２、及び音声受付部２３としても機能する。
【００２５】
タッチ操作受付部２１は、タッチパッド１３から出力される操作情報を取得し、当該操作情報が示す操作を実行する。
【００２６】
表示画像生成部２２は、入力情報及び翻訳結果を取得し、表示部１４に表示する画像を生成する。また、表示画像生成部２２は、支援情報が格納されたデータベース（不図示）から、支援情報を取得し、表示部１４に表示する画像を生成する。そして、表示画像生成部２２は、生成した画像を示す画像信号を出力する。なお、支援情報が格納されたデータベースは、クライアント端末１０の外部に設置されている構成であってもよく、その場合、表示画像生成部２２は、通信部（第３の受付部）１１を介して支援情報を取得する。また、支援情報が格納されたデータベースがクライアント端末１０の内部に設置されている場合、クライアント端末１０は、当該データベースから支援情報を取得する支援情報取得部（第３の受付部）を備え、画像表示生成部２２は、支援情報取得部から支援情報を取得する構成であってもよい。
【００２７】
音声受付部２３は、マイク１５を介して音声情報を取得する。また、音声受付部２３は、取得した音声情報が示す発話内容を認識し、認識した発話内容を示すテキスト情報を出力する。
【００２８】
（クライアント端末１０の処理）
図２は、本発明の実施形態１に係るクライアント端末１０の処理の流れを示すフローチャートである。クライアント端末１０が実行する処理について、図２を用いて説明する。ここでは、第１のユーザまたは第２のユーザがマイク１５を介して取得した音声情報を入力情報とした場合について説明する。また、例として、第１のユーザが店員、第２のユーザが客、支援情報が「おでん」「おにぎり」といった店の商品の一覧画像の場合を挙げて説明する。また、第１のユーザ及び第２のユーザが発する言語は、予めクライアント端末１０に設定されている。
【００２９】
（ステップＳ１）
音声受付部２３は、マイク１５を介して音声情報を取得する。例えば、客がおでんを買うため、店員に「I want Oden」と発話すると、音声受付部２３は、「I want Oden」を示す音声情報を取得する。
【００３０】
（ステップＳ２）
音声受付部２３は、ステップＳ１において取得した音声情報が示す発話内容を認識できたか否かを判定する。例えば、音声受付部２３は、ステップＳ１において取得した音声情報が「I want Oden」であることを認識できたか否かを判定する。
【００３１】
（ステップＳ３）
ステップＳ２において、音声受付部２３が「認識できた」と判定した場合（ステップＳ２：ＹＥＳ）、音声受付部２３は、認識した発話内容を示すテキスト情報を、通信部１１を介して翻訳サーバ３０に送信する。また、音声受付部２３は、当該テキスト情報を表示画像生成部２２に出力する。
【００３２】
（ステップＳ４）
表示画像生成部２２は、音声受付部２３が出力したテキスト情報を取得する。また、表示画像生成部２２は、通信部１１を介して、翻訳サーバ３０から翻訳結果を受信する。例えば、表示画像生成部２２は、「I want Oden」の翻訳結果である「おでんが欲しいです」を示す翻訳結果を受信する。
【００３３】
（ステップＳ５）
表示画像生成部２２は、ステップＳ４において取得したテキスト情報及び受信した翻訳結果を参照し、表示部１４に表示させる画像を生成する。
【００３４】
より具体的には、表示画像生成部２２が取得したテキスト情報が示す文字列が、第１のユーザが発する言語であった場合、表示画像生成部２２が生成する画像は、第１表示領域に入力情報及び共有ボタンが含まれ、第２表示領域に翻訳結果が含まれる画像である。一方、表示画像生成部２２が取得したテキスト情報が示す文字列が、第２のユーザが発する言語であった場合、表示画像生成部２２が生成する画像は、第１表示領域に翻訳結果及び共有ボタンが含まれ、第２表示領域に入力情報が含まれる画像である。
【００３５】
例えば、表示画像生成部２２が取得したテキスト情報が示す文字列が、客が発話した「I want Oden」を示す場合、表示画像生成部２２は、第１表示領域に、テキスト「おでんが欲しいです」及び共有ボタンとして、支援情報である「おでん」「おにぎり」の一覧画像を表示するための「おでんボタン」及び「おにぎりボタン」を含む画像を表示する。また、表示画像生成部２２は、第２表示領域に、テキスト「I want Oden」を含む画像を表示する。
【００３６】
（ステップＳ６）
続いて、表示画像生成部２２は、タッチパッド１３を介して、共有ボタンが押された旨の操作信号を、タッチ操作受付部２１が受け付けたか否かを判定する。
【００３７】
（ステップＳ７）
ステップＳ６において、表示画像生成部２２が「共有ボタンが押された」と判定した場合（ステップＳ６：ＹＥＳ）、表示画像生成部２２は、入力情報及び翻訳結果の少なくとも何れかに関連する支援情報を、第２表示領域に表示させる。例えば、表示画像生成部２２は、「おでんボタン」が押されたと判定した場合、第２表示領域に、「おでん」の一覧画像を支援情報として含む画像を表示する。
【００３８】
一方、ステップＳ６において、表示画像生成部２２が「共有ボタンは押されていない」と判定した場合（ステップＳ６：ＮＯ）、図２に示す処理は終了する。
【００３９】
（ステップＳ８）
また、上述したステップＳ２において、音声受付部２３が「認識できなかった」と判定した場合（ステップＳ２：ＮＯ）、音声受付部２３は、通信部１１を介して入力情報を音声認識サーバ４０に送信する。
【００４０】
（ステップＳ９）
音声受付部２３は、通信部１１を介して、音声認識サーバ４０が送信した発話テキストを入力情報として受信する。そして、上述したステップＳ３の処理に進む。なお、上述したステップＳ２及びステップＳ９において、音声として認識されなかった場合、当該入力情報は音声ではないとして、図４に示す処理を終了する構成であってもよい。
【００４１】
なお、図２では、第１のユーザまたは第２のユーザがマイク１５を介して取得した音声情報を入力情報とした場合について説明したが、タッチパッド１３を介して取得したテキスト情報を入力情報とした場合は、ステップＳ２、ステップＳ８、及びステップＳ９を省略すればよい。
【００４２】
このように、本実施形態に係るクライアント端末１０は、第１のユーザ（サービス提供者）向けの画像を表示する第１表示領域及び第２のユーザ（サービス利用者）向けの画像を表示する第２表示領域を有する表示部１４と、第１のユーザ又は第２のユーザから入力情報を受け付けるマイク１５又はタッチパッド１３と、入力情報の翻訳結果を受信する通信部１１と、支援情報を取得するための表示画像生成部２２（通信部１１又は支援情報取得部）と、共有ボタンと、制御部１２とを備えている。そして、クライアント端末１０の制御部１２は、第１のユーザ向けの翻訳結果を取得して第１表示領域に表示させ、第２のユーザ向けの翻訳結果を取得して第２表示領域に表示させる。また、制御部１２は、入力情報及び翻訳結果の少なくとも何れかに関連する支援情報を取得し、第１表示領域に表示させる。そして、制御部１２は、共有ボタンによる入力を受け付けたことに応じて、支援情報を第２表示領域に表示させる。この構成により、クライアント端末１０は、第１のユーザが支援情報を第２表示領域に表示させる旨を示す操作を受け付けるまでは、支援情報を第２表示領域に表示しない。そのため、クライアント端末１０は、ユーザの発話内容を誤認識した場合であっても、誤った支援情報を第２のユーザに提供することがないため、異なる言語を使用する第１のユーザ及び第２のユーザ同士のコミュニケーションを円滑にすることができる。
【００４３】
また、クライアント端末１０の制御部１２は、第１表示領域に、第１のユーザから受け付けた入力情報を表示する。そのため、クライアント端末１０は、第１のユーザが発話した発話内容が正しく認識されているか否かを、第１のユーザに容易に確認させることができる。
【００４４】
また、クライアント端末１０の制御部１２は、第２表示領域に、第２のユーザから受け付けた入力情報を表示する。そのため、クライアント端末１０は、第２のユーザに対しても、第２のユーザが発話した発話内容が正しく認識されているか否かを容易に確認させることができる。
【００４５】
また、クライアント端末１０では、入力情報は、音声によって入力された情報であってもよい。この構成では、クライアント端末１０は、発話内容の認識を誤った場合であっても、第１のユーザが確認することなく、第２のユーザに支援情報を提示することを防ぐことができる。
【００４６】
また、クライアント端末１０は、クライアント端末１０が備える各構成要素の少なくとも一部をそれぞれ備えた複数の端末によって実現される構成であってもよい。このような構成の場合、クライアント端末１０を、１つの筐体内に内蔵して実現する構成としてもよいし、複数の筐体内に内蔵して実現する構成としてもよい。
【００４７】
〔実施形態２〕
本発明の他の実施形態について、図３〜図２８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００４８】
（コミュニケーション支援システム１ａ）
図３は、本発明の実施形態２に係るコミュニケーション支援システム１ａの要部構成を示すブロック図である。図３に示すように、コミュニケーション支援システム１ａは、クライアント端末１０ａと、クライアント端末１０ａとネットワーク２を介して接続されたアプリケーションサーバ５０とによって構成される。また、コミュニケーション支援システム１ａは、ネットワーク２を介して、翻訳サーバ３０及び音声認識サーバ４０と通信可能な構成である。
【００４９】
コミュニケーション支援システム１ａは、入力情報を入力したユーザの意図を推定する処理である意図推定を、アプリケーションサーバ５０において行う。そして、アプリケーションサーバ５０において意図推定ができた場合、入力情報及び翻訳結果の少なくとも何れかに関連する支援情報を、第２表示領域に表示することを決定するための共有ボタンを含む画像を表示する。アプリケーションサーバ５０が実行する意図推定の詳細については、後述する。
【００５０】
（クライアント端末１０ａ）
クライアント端末１０ａは、図３に示すように、クライアント端末１０における制御部１２に替えて、制御部１２ａを備える構成になっている。
【００５１】
制御部１２ａは、クライアント端末１０ａの各部を統括的に制御するものであり、ＣＰＵにより実現される。また、制御部１２ａは、制御部１２における表示画像生成部２２に替えて、表示画像生成部２２ａとしても機能する。
【００５２】
表示画像生成部２２ａは、入力情報、翻訳結果、及び支援情報を取得し、表示部１４に表示する画像を生成する。そして、表示画像生成部２２は、生成した画像を示す画像信号を出力する。
【００５３】
（アプリケーションサーバ５０）
アプリケーションサーバ５０は、図３に示すように、サーバ通信部５１、サーバ制御部５２を備えている。
【００５４】
アプリケーションサーバ５０は、クライアント端末１０ａからテキスト情報を受信し、当該テキスト情報が示す文字列の形態素及び構文を解析することにより、当該テキスト情報を入力したユーザの意図を推定する。そして、アプリケーションサーバ５０は、推定した意図に応じた支援情報を生成し、当該支援情報をクライアント端末１０ａに送信する。
【００５５】
（アプリケーションサーバ５０が備える各部）
サーバ通信部５１は、外部の機器と情報を送受信することができる。
【００５６】
サーバ制御部５２は、アプリケーションサーバ５０の各部を統括的に制御するものであり、ＣＰＵにより実現されるサーバ制御部５２の詳細について、以下に説明する。
【００５７】
（サーバ制御部５２）
サーバ制御部５２は、図３に示すように、意図推定部６１、翻訳部６２、及び支援情報生成部（生成部）６３としても機能する。なお、サーバ制御部５２が実行する詳細な処理については、後述する。
【００５８】
意図推定部６１は、取得したテキスト情報を参照して後述する意図推定を行い、意図推定結果を出力する。
【００５９】
翻訳部６２は、取得した意図推定結果を参照してテキスト情報の翻訳を行い、翻訳結果を出力する。
【００６０】
支援情報生成部６３は、意図推定結果及び翻訳結果を参照し、支援情報を生成して出力する。なお、支援情報生成部６３が生成する支援情報の例として、データベース（不図示）から取得した情報を含ませた画像が挙げられるが、データベースから取得した情報自体も、支援情報生成部６３が生成する情報とする。
【００６１】
（サーバ制御部５２の処理）
サーバ制御部５２の処理について、図５〜図９を用いて説明する。図５は、本発明の実施形態２における意図推定部６１が意図を推定する処理を示す図である。また、図６は、本発明の実施形態２における意図推定部６１及び翻訳部６２が参照する単語テーブルの例である。また、図７は、本発明の実施形態２における支援情報生成部６３が参照するテーブル及び表示される画像の一例である。また、図８は、本発明の実施形態２における支援情報生成部６３が参照するテーブル及び表示される画像の他の例である。また、図９は、本発明の実施形態２における支援情報生成部６３が参照するテーブル及び表示される画像のさらに他の例である。
【００６２】
（意図推定）
まず、意図推定部６１はテキスト情報を取得すると、当該テキスト情報が示す文字列の形態素及び構文を解析する。意図推定部６１が形態素及び構文を解析する処理について、図５の（ａ）を用いて説明する。図５の（ａ）は、意図推定部６１が形態素及び構文を解析した結果を示す図である。
【００６３】
例えば、意図推定部６１が取得したテキスト情報が示す文字列が、「Where is rice-balls」であった場合、「is」をrootに格納し、「Where」をadvmodに格納し、「rice-balls」をnsubjに格納し、図５の（ａ）に示すツリーを生成する。
【００６４】
続いて、意図推定部６１は、生成したツリーと、データベース（不図示）に格納されているコーパスとを比較し、意図ＩＤを決定する。データベースに格納されているコーパスについて、図５の（ｂ）及び図６を用いて説明する。図５の（ｂ）は、本発明の実施形態２におけるデータベースに格納されているコーパスの例である。
【００６５】
例えば、意図推定部６１が生成したツリーが図５の（ａ）に示すツリーの場合、図５の（ｂ）を参照し、生成したツリーと同じ構成のコーパスを選択する。図５の（ｂ）では、意図推定部６１は、rootに「is」が格納されており、advmodに「Where」が格納されているコーパスｃ１及びコーパスｃ２を選択する。
【００６６】
続いて意図推定部６１は、図６に示す単語テーブルを参照し、生成したツリーと一致するコーパスを決定する。まず、図６に示す単語テーブルについて、説明する。
【００６７】
図６に示すように、単語テーブルは、項目「上位概念」、項目「単語集」、項目「パラメータ」を互いに関連付けている。
【００６８】
項目「上位概念」には、関連付けられている項目「単語集」に格納されている値の上位概念となる値が格納されている。
【００６９】
項目「単語集」には、ツリーのnsubjに格納されると考えられる単語が格納されている。
【００７０】
項目「パラメータ」には、関連付けられている項目「単語集」に格納されている値を日本語に翻訳した単語が格納されている。なお、以下において、「パラメータ」を「キーフレーズ」と称する場合もある。
【００７１】
意図推定部６１は、生成したツリーのnsubjに格納された「rice-balls」を、項目「単語集」にて検索する。項目「単語集」には「rice-balls」が格納されており、関連付けられている項目「上位概念」の値は、「T_FOOD」である。そのため、意図推定部６１は、生成したツリーと一致するコーパスを、nsubjに「T_FOOD」が格納されているコーパスｃ１に決定する。そして、意図推定部６１は、生成したツリー及び意図推定結果である意図ＩＤ「１」を、翻訳部６２に出力する。
【００７２】
このように、意図推定部６１が、生成したツリーと一致するコーパスを決定し、意図ＩＤを決定できたことを、「意図推定できた」と称する。一方、意図推定部６１が、生成したツリーと一致するコーパスを決定できず、意図ＩＤを決定できないことを、「意図推定できなかった」と称する。
【００７３】
（翻訳）
翻訳部６２は、意図推定部６１が生成したツリー及び意図ＩＤ「１」を取得すると、翻訳を行う。まず、翻訳部６２は、取得した意図ＩＤを参照し、翻訳結果を取得する。例えば、取得した翻訳結果が「１」の場合、コーパスｃ１を参照し、翻訳結果「T_FOODはどこですか？」を取得する。続いて、翻訳部６２は、ツリーを参照し、ツリーのnsubjに格納されている「rice-balls」を、項目「単語集」にて検索する。項目「単語集」には「rice-balls」が格納されており、関連付けられている項目「パラメータ」の値は、「おにぎり」である。そのため、翻訳部６２は、翻訳結果の「T_FOOD」を「おにぎり」に更新し、翻訳結果「おにぎりはどこですか？」、パラメータ「おにぎり」、及び意図ＩＤ「１」を、支援情報生成部６３に出力する。なお、以下において、「翻訳部６２が出力する翻訳結果」には、翻訳結果に加えて、パラメータも含まれるものとする。
【００７４】
なお、意図推定及び翻訳の何れにおいても、意図推定部６１が生成したツリーのnsubjに格納された値を項目「単語集」にて検索しているため、１度の処理において、意図推定及び翻訳を行う構成であってもよい。
【００７５】
（支援情報生成部６３が実行する処理の例１）
続いて、図７を用いて、支援情報生成部６３が実行する処理の一例について説明する。支援情報生成部６３は、意図推定部６１及び翻訳部６２が決定した意図ＩＤ、パラメータ、及び翻訳結果を参照し、支援情報を出力する。支援情報生成部６３が支援情報を出力するために参照するテーブルの例を、図７の（ａ）及び（ｂ）に示す。図７の（ａ）は、意図ＩＤ−応答テーブルの一例であり、（ｂ）は、カテゴリテーブルの一例である。
【００７６】
図７の（ａ）に示す意図ＩＤ−応答テーブルでは、項目「意図ＩＤ」と項目「応答関数」とが互いに関連付けられている。
【００７７】
項目「意図ＩＤ」には、意図推定部６１が決定し得る意図ＩＤの値が格納されている。
【００７８】
項目「応答関数」には、支援情報生成部６３が実行する関数が格納されている。
【００７９】
図７の（ｂ）に示すカテゴリテーブルでは、項目「ＩＤ」、項目「カテゴリ名」、項目「対応商品ＩＤ」、及び項目「置き場所」が互いに紐付けられている。
【００８０】
項目「ＩＤ」には、当該列に関連付けられている値を識別するための値が格納されている。
【００８１】
項目「カテゴリ名」には、商品をカテゴリ別に分け、当該カテゴリの名前が格納されている。
【００８２】
項目「対応商品ＩＤ」には、関連付けられている項目「カテゴリ名」のカテゴリに含まれる商品のＩＤが格納されている。
【００８３】
項目「置き場所」には、カテゴリに含まれる商品が置かれている場所を示す地図画像又は当該地図画像の格納場所が格納されている。
【００８４】
例えば、支援情報生成部６３が、意図ＩＤ「１」、パラメータ「おにぎり」、及び翻訳結果「おにぎりはどこですか？」を取得した場合、まず、図７の（ａ）のテーブルを参照し、意図ＩＤ「１」に紐付けられた応答関数「getPlace」を取得する。応答関数「getPlace」は、支援情報生成部６３が図７の（ｂ）に示すデータベースを参照して、パラメータの値と一致する値を項目「カテゴリ名」において検索し、一致した項目「カテゴリ名」の値に関連付けられた項目「置き場所」の地図画像を取得する関数である。そのため、支援情報生成部６３は、図７の（ｂ）を参照し、パラメータ「おにぎり」に紐付けられている地図画像「onigiri.png」を取得する。そして、支援情報生成部６３は、パラメータ「おにぎり」、翻訳結果「おにぎりはどこですか？」、及び支援情報である地図画像「onigiri.png」をクライアント端末１０ａに送信する。
【００８５】
クライアント端末１０ａが表示する画像について、図７の（ｃ）を参照して説明する。図７の（ｃ）は、クライアント端末１０ａが表示する画像の一例である。クライアント端末１０ａは、例えば、図７の（ｃ）に示すように、翻訳結果１０２、及び支援情報である地図画像１０３を含む画像１０１を、第１表示領域に表示する。
【００８６】
（支援情報生成部６３が実行する処理の例２）
支援情報生成部６３が実行する処理の他の例について、図７及び図８を参照して説明する。本例において支援情報生成部６３が参照するテーブルの例を、図８の（ａ）及び（ｂ）に示す。図８の（ａ）は、商品情報テーブルの一例であり、（ｂ）は、翻訳テーブルの一例である。
【００８７】
図８の（ａ）に示す商品情報テーブルでは、項目「ＩＤ」、項目「単語ＩＤ」、項目「商品説明」、項目「価格」、項目「成分」、項目「商品画像」、項目「カロリー」、項目「アレルギー」、及び項目「商品場所」が互いに関連付けられている。
【００８８】
項目「ＩＤ」には、当該列に関連付けられている値を識別するための値が格納されている。
【００８９】
項目「単語ＩＤ」には、各商品を識別するための値が格納されている。
【００９０】
項目「商品説明」には、各商品の説明文を識別するための値が格納されている。
【００９１】
項目「価格」には、各商品の価格が格納されている。
【００９２】
項目「成分」には、各商品に使用されている成分に関する情報もしくは、成分を識別するための値が格納されている。
【００９３】
項目「商品画像」には、各商品の画像が格納されている。
【００９４】
項目「カロリー」には、各商品のカロリーが格納されている。
【００９５】
項目「アレルギー」には、各商品に含まれている成分のうち、アレルギーを引き起こすと考えられる成分に関する情報もしくは、成分を識別するための値が格納されている。
【００９６】
項目「商品場所」には、商品が置かれている場所を示す地図画像又は当該地図画像の格納場所が格納されている。
【００９７】
図８の（ｂ）に示す翻訳テーブルでは、項目「単語ＩＤ」、項目「日本語」、項目「英語」、及び項目「中国語」が互いに紐付けられている。
【００９８】
項目「単語ＩＤ」には、各商品を識別するための値が格納されている。
【００９９】
項目「日本語」には、各商品の日本語訳が格納されている。
【０１００】
項目「英語」には、各商品の英語訳が格納されている。
【０１０１】
項目「中国語」には、各商品の中国語訳が格納されている。
【０１０２】
例えば、支援情報生成部６３が、意図ＩＤ「２」、パラメータ「おにぎり」、及び翻訳結果「おにぎりとは何ですか？」を取得した場合、まず、上述した図７の（ａ）に示した意図ＩＤ−応答テーブルを参照し、意図ＩＤ「２」に関連付けられた応答関数「getItem」を取得する。応答関数「getItem」は、上述したカテゴリテーブルを参照し、パラメータの値がカテゴリテーブルの項目「カテゴリ名」に格納されている場合は、当該パラメータの値に関連付けられた項目「対応商品ＩＤ」に格納されている商品ＩＤの値を取得する。さらに、応答関数「getItem」は、商品情報テーブルを参照し、取得した商品ＩＤの値と一致する項目「ＩＤ」に格納されている値に関連付けられた各項目の値を取得する。
【０１０３】
一方、パラメータの値がカテゴリテーブルの項目「カテゴリ名」に格納されていない場合は、翻訳テーブルを参照し、取得したパラメータの値と一致する項目「日本語」に格納されている値に関連付けられた各項目の値を取得する。
【０１０４】
本例では、パラメータ「おにぎり」はカテゴリテーブルの項目「カテゴリ名」に格納されているため、支援情報生成部６３は、カテゴリテーブルを参照し、項目「カテゴリ名」の「おにぎり」に関連付けられている、項目「対応商品ＩＤ」に格納されている商品ＩＤ「１、２、１０、１５・・・」を取得する。さらに、支援情報生成部６３は、商品情報テーブルを参照し、取得した商品ＩＤ「１、２、１０、１５・・・」のそれぞれが格納されている、項目「ＩＤ」に格納されている値に関連付けられた各項目の値を取得する。例えば、商品ＩＤ「１」の場合、項目「ＩＤ」に格納されている「１」に紐付けられている単語ＩＤ「１」、価格「１２０」などを取得する。そして、支援情報生成部６３は、パラメータ「おにぎり」、翻訳結果「おにぎりとは何ですか？」、及び取得した値を支援情報としてクライアント端末１０ａに送信する。
【０１０５】
クライアント端末１０ａが表示する画像について、図８の（ｃ）を参照して説明する。図８の（ｃ）は、クライアント端末１０ａが表示する画像の他の例である。クライアント端末１０ａは、例えば、図８の（ｃ）に示すように、翻訳結果１０５と、支援情報である商品画像、商品名、及び価格を一覧にした画像１０６とを含む画像１０６を、第１表示領域に表示する。
【０１０６】
（支援情報生成部６３が実行する処理の例３）
支援情報生成部６３が実行する処理のさらに他の例について、図７〜図９を用いて説明する。本例において支援情報生成部６３が参照するテーブルの例を、図９の（ａ）に示す。図９の（ａ）は、翻訳テーブルの他の例である。
【０１０７】
例えば、支援情報生成部６３が、意図ＩＤ「２」、パラメータ「魚沼産コシヒカリ」、及び翻訳結果「魚沼産コシヒカリとは何ですか？」を取得した場合、まず、上述した図７の（ａ）に示した意図ＩＤ−応答テーブルを参照し、意図ＩＤ「２」に紐付けられた応答関数「getItem」を取得する。
【０１０８】
本例では、パラメータ「魚沼産コシヒカリ」はカテゴリテーブルの項目「カテゴリ名」に格納されていないため、支援情報生成部６３は、翻訳テーブルを参照し、項目「日本語」に格納されている値に関連付けられている各項目の値を取得する。そして、支援情報生成部６３は、商品情報テーブルを参照し、取得した単語ＩＤの値に関連付けられた項目「商品説明」の値を取得する。例えば、単語ＩＤが「１」の場合、商品説明「ｉ１」を取得する。そして、翻訳テーブルを参照し、商品説明「ｉ１」に関連付けられた各項目の値を取得する。そして、支援情報生成部６３は、パラメータ「魚沼産コシヒカリ」、翻訳結果「魚沼産コシヒカリとは何ですか？」、及び取得した値を支援情報としてクライアント端末１０ａに送信する。
【０１０９】
クライアント端末１０ａが表示する画像について、図９の（ｂ）を参照して説明する。図９の（ｂ）は、クライアント端末１０ａが表示する画像の他の例である。クライアント端末１０ａは、例えば、図９の（ｂ）に示すように、翻訳結果１１１と、支援情報である商品名、商品画像、商品価格、商品説明、及びカロリーを含む画像１１２とを、第１表示領域に表示する。
【０１１０】
（コミュニケーション支援システム１ａの処理）
図４は、本発明の実施形態２に係るコミュニケーション支援システム１ａの処理の流れを示すフローチャートである。コミュニケーション支援システム１ａが実行する処理について、図４を用いて説明する。ここでは、第１のユーザまたは第２のユーザがマイク１５を介して取得した音声情報を入力情報とした場合について説明する。また、例として、第１のユーザが店員、第２のユーザが客の場合を挙げて説明する。
【０１１１】
音声受付部２３がマイク１５を介して音声情報を取得し、音声認識できたか否かを判定する処理、及び、音声認識できなかった場合の処理であるステップＳ１、ステップＳ２、ステップＳ８、及びステップＳ９は、上述した処理と同じであるため、説明を省略する。
【０１１２】
（ステップＳ２１）
音声受付部２３は、ステップＳ１またはステップＳ９において取得した入力情報を、表示画像生成部２２ａに出力する。また、音声受付部２３は、上記入力情報を、通信部１１を介してアプリケーションサーバ５０に送信する。アプリケーションサーバ５０の意図推定部６１は、サーバ通信部５１を介して入力情報を受信する。そして、意図推定部６１は、入力情報を入力したユーザの意図を推定する。
【０１１３】
（ステップＳ２２）
意図推定部６１は、意図推定できたか否かを判定する。
【０１１４】
（ステップＳ２３）
ステップＳ２２において、意図推定部６１が「意図推定できた」と判定した場合（ステップＳ２２：ＹＥＳ）、入力情報及び意図推定結果を翻訳部６２に出力する。翻訳部６２は、取得した入力情報及び意図推定結果を参照して翻訳した翻訳結果と、意図推定結果とを支援情報生成部６３に出力する。
【０１１５】
（ステップＳ２４）
支援情報生成部６３は、取得した意図推定結果と翻訳結果とを参照し、支援情報をデータベース（不図示）から取得する。そして、支援情報生成部６３は、取得した支援情報及び翻訳結果を、サーバ通信部５１を介してクライアント端末１０ａに送信する。
【０１１６】
（ステップＳ２５）
クライアント端末１０ａの表示画像生成部２２ａは、通信部１１を介して、アプリケーションサーバ５０から送信された支援情報を受信する。そして、表示画像生成部２２ａは、支援情報を既に表示しているか否か（換言すると、表示部１４に表示させている画像は、支援情報を含む画像であるか否か）を判定する。
【０１１７】
（ステップＳ２６）
ステップＳ２５において、表示画像生成部２２ａが「支援情報を表示している」と判定した場合（ステップＳ２５：ＹＥＳ）、表示画像生成部２２ａが表示している画像のうち、支援情報以外の画像を更新する。
【０１１８】
（ステップＳ２７）
一方、ステップＳ２５において、表示画像生成部２２ａが「支援情報を表示していない」と判定した場合（ステップＳ２５：ＮＯ）、表示画像生成部２２ａは、第１表示領域に支援情報を含む画像を、表示部１４に表示する。
【０１１９】
（ステップＳ２８）
続いて、表示画像生成部２２ａは、タッチパッド１３を介して、共有ボタンが押された旨の操作信号を、タッチ操作受付部２１が受け付けたか否かを判定する。
【０１２０】
（ステップＳ２９）
ステップＳ２８において、表示画像生成部２２ａが「共有ボタンが押された」と判定した場合（ステップＳ２８：ＹＥＳ）、表示画像生成部２２ａは、支援情報を含む画像を第２表示領域に表示させる。
【０１２１】
一方、ステップＳ２８において、表示画像生成部２２ａが「共有ボタンは押されていない」と判定した場合（ステップＳ２８：ＮＯ）、図４に示すコミュニケーション支援システム１ａの処理は終了する。
【０１２２】
（ステップＳ３０）
また、上述したステップＳ２２において、意図推定部６１が「意図推定できなかった」と判定した場合（ステップＳ２２：ＮＯ）、意図推定部６１は、サーバ通信部５１を介して入力情報を翻訳サーバ３０に送信する。
【０１２３】
（ステップＳ３１）
支援情報生成部６３は、サーバ通信部５１を介して、翻訳サーバから翻訳結果を受信する。そして、支援情報生成部６３は、翻若結果を、サーバ通信部５１を介してクライアント端末１０ａに送信する。なお、支援情報生成部６３がステップＳ３１を実行した場合、クライアント端末１０ａは支援情報を取得できないため、入力情報及び翻訳結果を含む画像を表示する。
【０１２４】
このように、本実施形態に係るクライアント端末１０ａは、入力情報を入力したユーザの意図を推定する意図推定部６１と、意図推定部６１が推定した意図を参照して、入力情報及び翻訳結果の何れかに含まれるキーフレーズに関連する情報を支援情報として生成する支援情報生成部６３と、を備えている。そのため、クライアント端末１０ａは、ユーザの意図に応じた支援情報を表示することができる。
【０１２５】
また、クライアント端末１０ａは、支援情報を第１表示領域に表示している場合は、新たな支援情報を第１表示領域に表示させる旨を示す操作を受け付けてから（操作ボタンを押されてから）、新たな支援情報を表示する。換言すると、ユーザが支援情報を確認している期間、クライアント端末１０ａは、ユーザから新たな支援情報を表示する旨の操作を受け付けるまでは、ユーザが確認している支援情報に替えて新たな支援情報を表示しない。そのため、クライアント端末１０ａは、ユーザが確認している支援情報を、ユーザの操作なしに変更することがないので、ユーザ同士のコミュニケーションを円滑にすることができる。
【０１２６】
（表示部１４に表示される画面の例）
クライアント端末１０ａの表示部１４に表示される画面の例について図１０〜図２８を用いて説明する。なお、以下において説明する例では、表示部１４にはタッチパッド１３が重畳されて配置されたタッチパネルを用いた場合について、説明する。
【０１２７】
（初期画面）
クライアント端末１０ａの初期画面について、図１０の（ａ）及び（ｂ）を用いて説明する。図１０は、本発明の実施形態２に係るクライアント端末１０ａが表示する初期画面及び確認画面の例であり、（ａ）は、第１表示領域に表示される初期画面の例であり、（ｂ）は、第２表示領域に表示される初期画面の例である。
【０１２８】
まず、クライアント端末１０ａは、図１０の（ａ）に示すように、初期画面として、第１表示領域に、第２のユーザが英語を使用する旨の操作を受け付けるボタン２０１ａと、第２のユーザが中国語を使用する旨の操作を受け付けるボタン２０２ａとを含む画像Ｐ１０１ａを表示する。
【０１２９】
画像Ｐ１０１ａには、さらに、第１のユーザが定型の質問をするために第２のユーザに言語を選択してもらう旨の操作を受け付けるボタン２０３ａと、第１のユーザが日本語で質問する旨の操作を受け付けるボタン２０４ａと、タブ４０１ａ〜４０５ａとが含まれていてもよい。なお、「質問」及びタブ４０１ａ〜４０５ａの詳細については、参照する図面を替えて説明する。
【０１３０】
また、クライアント端末１０ａは、図１０の（ｂ）に示すように、初期画面として、第２表示領域に、第２のユーザが英語を使用する旨の操作を受け付けるボタン２０１ｂと、第２のユーザが中国語を使用する旨の操作を受け付けるボタン２０２ｂとを含む画像Ｐ１０１ｂを表示する。
【０１３１】
（確認画面）
クライアント端末１０ａが初期画面において言語が選択された後に表示する確認画面について、図１０の（ｃ）及び（ｄ）を用いて説明する。図１０の（ｃ）は、第１表示領域に表示される確認画面の例であり、（ｄ）は、第２表示領域に表示される確認画面の例である。
【０１３２】
クライアント端末１０ａは、初期画面において言語が選択されると（例えば、英語が選択された場合について、説明する）、クライアント端末１０ａは、図１０の（ｃ）に示すように、第１表示領域に、第２のユーザがクライアント端末１０ａを使用する上での確認事項を確認中であることを示すテキスト２０５ａを含む画像Ｐ１０２ａを表示する。また、クライアント端末１０ａは、第２表示領域に、選択された言語で記載された確認事項２０５ｂと、確認した旨を受け付けるボタン２０６ｂと、キャンセルする旨を受け付けるボタン２０７ｂとを含む画像Ｐ１０２ｂを表示する。
【０１３３】
（音声入力待ち受け画面）
クライアント端末１０ａが音声入力を待ち受ける場合に表示する音声入力待ち受け画面について、図１１を用いて説明する。図１１は、本発明の実施形態２に係るクライアント端末１０ａが表示する音声入力待ち受け画面の例であり、（ａ）は、第１表示領域に表示される音声入力待ち受け画面の例であり、（ｂ）は、第２表示領域に表示される音声入力待ち受け画面の例である。
【０１３４】
上述した確認画面において、クライアント端末１０ａは第２のユーザが確認した旨を示す操作を受け付けると、図１１の（ａ）に示すように、第１表示領域に、クライアント端末１０ａが音声入力を待っていることを示すテキスト２０８ａ（換言すると、発話を促すテキスト「話して下さい」）を含む画像Ｐ１０３ａを表示する。また、クライアント端末１０ａは、第２表示領域に、図１１の（ｂ）に示すように、クライアント端末１０ａが音声入力を待っていることを示すテキスト２０８ｂ（換言すると、発話を促す英語のテキスト「Please speak」）を含む画像Ｐ１０３ｂを表示する。
【０１３５】
（支援情報画面１）
クライアント端末１０ａが支援情報を提示する支援情報画面の一例について、図１２の（ａ）及び（ｂ）を用いて説明する。図１２は、本発明の実施形態２に係るクライアント端末１０ａが表示する支援情報画面の例であり、（ａ）は、第１表示領域に表示される支援情報画面の例であり、（ｂ）は、第２表示領域に表示される支援情報画面の例である。
【０１３６】
クライアント端末１０ａは、翻訳結果、入力情報、及び支援情報を取得すると、図１２の（ａ）に示すように、第１表示領域に、翻訳結果２１０ａ及び入力情報２１１ａを含む画像Ｐ１０４ａを表示する。クライアント端末１０ａは、翻訳結果２１０ａ及び入力情報２１１ａにキーフレーズが含まれる場合、キーフレーズを強調表示（例えば、色を反転表示（文字の色と背景色とを入れ替えた表示））させたキーフレーズ２１２ａとキーフレーズ２１３ａとを画像Ｐ１０４ａに含ませる構成が好ましい。この構成により、クライアント端末１０ａは、何れのフレーズに関連した支援情報が表示できるのか、ユーザに報知することができる。また、クライアント端末１０ａは、第１表示領域には、支援情報であるキーフレーズに関連した画像２１４ａと、共有ボタン２１５ａ、タブ２１６ａ、及びタブ２１７ａを含む支援情報を表示する。
【０１３７】
一方、クライアント端末１０ａは、図１２の（ｂ）に示すように、支援情報を取得しても、共有ボタン２１５ａが押されるまでは、第２表示領域には、支援情報を含まない画像Ｐ１０４ｂを表示する。そのため、クライアント端末１０ａは、入力情報２０１ｂ及び翻訳結果２１１ｂを含む画像Ｐ１０４ｂを第２表示領域に表示する。
【０１３８】
また、クライアント端末１０ａは画像１０４ｂを表示している期間、第２表示領域に対するタッチ入力（第２のユーザによる操作）は受け付けない構成（以下、構成Ａ）であってもよい。構成Ａにより、クライアント端末１０ａは、第２のユーザが勝手に操作することによって、第１のユーザが表示したいと思う画像が表示できなくなることを防ぐことができる。また、この構成の場合、共有ボタン２１５ａが押されたことに応じて、第２表示領域に対するタッチ入力を受け付ける構成であってもよい。この場合、クライアント端末１０ａは、第２のユーザによる操作入力を受け付ける操作入力部をさらに備え、制御部１２ａは、操作入力部からの少なくとも一部の操作入力を禁止しており、共有ボタン２１５ａが入力を受け付けたことに応じて、禁止されている操作入力を許可する。換言すれば、制御部１２ａは、共有ボタン２１５ａが入力を受け付けたことに応じて、操作入力部からの操作入力を禁止するモードから、操作入力を許可するモードへと切り替える。この構成により、クライアント端末１０ａは、支援情報が第２表示領域に表示されるまでは第１のユーザの操作に応じた画像を表示し、支援情報を第２表示領域に表示させてからは、第２のユーザの操作にも応じた画像を表示することができる。
【０１３９】
また、クライアント端末１０ａは、第２表示領域に対して行われた操作の内容を、第１表示領域に表示する構成（以下、構成Ｂ）であってもよい。例えば、第１表示領域において、第２表示領域に対してタッチ入力があった位置に対応する位置に矢印のポインタを表示する構成が挙げられる。構成Ｂにより、クライアント端末１０ａは、第１のユーザに対して、第２のユーザがどのような画像を表示させたいのかを認識させることができる。
【０１４０】
一方、クライアント端末１０ａは画像１０４ｂを表示している期間、第２のユーザからの操作を限定して受け付ける構成（例えば、入力情報２１０ｂの表示を消す操作は受け付ける構成）（以下、構成Ｃ）であってもよい。構成Ｃにより、例えば、クライアント端末１０ａが第２のユーザが発話した発話内容を誤って認識した場合、誤って認識されたことを第２のユーザは第１のユーザに示すことができる。
【０１４１】
また、クライアント端末１０ａは、第２のユーザから受け付ける操作は限定しない構成（構成Ｄ）であってもよい。構成Ｄにより、第２のユーザも表示させたい画像を第２表示領域に表示させることが可能である。
【０１４２】
また、構成Ｄの場合、第１表示領域に対するタッチ入力を優先させる構成（以下、構成Ｅ）であってもよい。構成Ｅにより、上述の構成Ａと同様、第１のユーザが表示したいと思う画像が表示できなくなることを防ぐことができる。
【０１４３】
なお、他の画面においても、上記構成Ａ〜構成Ｄの何れの構成を採用した場合、上述した効果と同様の効果を奏する。
【０１４４】
（支援情報画面２）
共有ボタンを押された後にクライアント端末１０ａが表示する支援情報画面の一例について、図１２の（ｃ）及び（ｄ）を用いて説明する。図１２の（ｃ）は、第１表示領域に表示される支援情報画面の他の例であり、（ｄ）は、第２表示領域に表示される支援情報画面の他の例である。
【０１４５】
クライアント端末１０ａは、図１２の（ａ）に示す支援情報画面を表示している期間に、共有ボタン２１５ａが押されたことを検知すると、第１表示領域に表示していた支援情報を、第２表示領域にも表示する。このとき、クライアント端末１０ａは、図１２の（ｃ）に示すように、第１表示領域には、共有ボタン２１５ａに替えて、支援情報を第２表示領域にも表示していることを示すテキスト２１８ａを含む画像Ｐ１０５ａを表示する。また、クライアント端末１０ａは、図１２の（ｄ）に示すように、第２表示領域には、キーフレーズに関連した画像２１４ｂを支援情報として含む画像Ｐ１０５ｂを表示する。
【０１４６】
（支援情報画面３）
支援情報に対する操作を受け付けた後にクライアント端末１０ａが表示する支援情報画面の一例について、図１３の（ａ）及び（ｂ）を用いて説明する。図１３は、本発明の実施形態２に係るクライアント端末１０ａが表示する支援情報画面のさらに他の例であり、（ａ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｂ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１４７】
クライアント端末１０ａは、図１２の（ｃ）に示す支援情報画面を表示している期間に、「ロールキャベツ」が押されたことを検知すると、支援情報として、ロールキャベツの商品情報を表示する。このとき、クライアント端末１０ａは、図１３の（ａ）に示すように、第１表示領域に、画像２１４ａに替えて、ロールキャベツの商品情報を含む画像２２０ａを含む画像Ｐ１０６ａを表示する。また、クライアント端末１０ａは、図１３の（ｂ）に示すように、第２表示領域にも、英語に翻訳されたロールキャベツの商品情報を含む画像２２０ｂを含む画像Ｐ１０６ｂを表示する。また、クライアント端末１０ａは、画像Ｐ１０６ｂに、図１２の（ｄ）に示す支援情報画面に戻る旨の操作を受け付けるボタン２２１ｂを含ませてもよい。
【０１４８】
（支援情報画面４）
支援情報のタブに対する操作を受け付けた後にクライアント端末１０ａが表示する支援情報画面の一例について、図１３の（ｃ）及び（ｄ）を用いて説明する。図１３の（ｃ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｄ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１４９】
クライアント端末１０ａは、図１２の（ｃ）に示す支援情報画面を表示している期間に、タブ２１７ａが押されたことを検知すると、商品の場所を示す地図を表示する。このとき、クライアント端末１０ａは、図１３の（ｃ）に示すように、第１表示領域に、画像２１４ａに替えて、「おでん」が置いてある場所を示す地図２２１ａを含む画像Ｐ１０７ａを表示する。また、クライアント端末１０ａは、図１３の（ｄ）に示すように、第２表示領域にも、「おでん」が置いてある場所を示す地図２２１ｂを含む画像Ｐ１０７ｂを表示する。
【０１５０】
（支援情報画面５）
クライアント端末１０ａが新たなキーフレーズを含む入力情報を取得した場合に、クライアント端末１０ａが表示する支援情報画面の一例について、図１４の（ａ）及び（ｂ）を用いて説明する。図１４は、本発明の実施形態２に係るクライアント端末１０ａが表示する支援情報画面のさらに他の例であり、（ａ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｂ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１５１】
クライアント端末１０ａは、図１２の（ａ）に示す支援情報画面を表示している期間に、新たにキーフレーズを含む入力情報を取得すると（例えば、第２のユーザから取得した場合について説明する）、新たに入力された入力情報または当該入力情報の翻訳結果を含む画像を表示する。
【０１５２】
このとき、クライアント端末１０ａは、図１４の（ａ）に示すように、第１表示領域に、図１２の（ａ）に示す画像Ｐ１０４ａに加えて、新たに入力された入力情報の翻訳結果２３０ａをさらに含む画像Ｐ１０８ａを表示する。この場合、クライアント端末１０ａは、上述した構成と同様、キーフレーズ２３１ａ及びキーフレーズ２３２ａを強調表示させる構成が好ましい。
【０１５３】
また、上述したように、クライアント端末１０ａが画像２１４ａなどの支援情報を既に表示している場合、キーフレーズ２３１ａ及びキーフレーズ２３２ａに関連した画像は、第１のユーザからの操作を受け付けてから表示する。この構成により、クライアント端末１０ａは、キーフレーズを含む入力情報が入力される度に、表示される支援情報が変更されることを防ぐことができる。換言すると、クライアント端末１０ａは、第１のユーザが新たな支援情報を表示する旨を明確に示すまでは、表示する支援情報を変更しない。操作の例として、強調表示されているキーフレーズ２３１ａまたはキーフレーズ２３２ａにタッチする操作が挙げられる。
【０１５４】
また、クライアント端末１０ａは、図１４の（ｂ）に示すように、第２表示領域に、図１２の（ｂ）に示す画像Ｐ１０４ｂに加えて、新たに入力された入力情報２３０ｂを含む画像Ｐ１０８ｂを表示する。なお、共有ボタン２１５ａは押されていないため、画像Ｐ１０８ｂには支援情報は含まれない。
【０１５５】
（支援情報画面６）
新たなキーフレーズに関連した支援情報を表示する旨の操作を受け付けた場合にクライアント端末１０ａが表示する支援情報画面の一例について、図１４の（ｃ）及び（ｄ）を用いて説明する。図１４の（ｃ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｄ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１５６】
クライアント端末１０ａは、図１４の（ａ）に示す支援情報画面を表示している期間に、新たなキーフレーズ（例えば、「はんぺん」）に関連した支援情報を表示する旨の操作を受け付けた場合、新たなキーフレーズに関連した支援情報を表示する。このとき、クライアント端末１０ａは、図１４の（ｃ）に示すように、第１表示領域に、図１４の（ａ）に示す画像Ｐ１０８ａに含まれる画像２１４ａに替えて、「はんぺん」に関連した画像２３３ａを含む画像Ｐ１０９ａを表示する。また、画像Ｐ１０９ａには、新たにタブ２３４ａ及びタブ２３５ａが含まれてもよい。タブ２３４ａ及びタブ２３５ａの詳細については、後述する。
【０１５７】
また、クライアント端末１０ａは、第１表示領域に表示する画像をＰ１０８ａからＰ１０９ａに替えても、第２表示領域に表示する画像は変更しない（Ｐ１０８ｂ及びＰ１０９ｂは同じ画像）。換言すると、第１表示領域において支援情報を変更しても、共有ボタン２１５ａが押されない限り、クライアント端末１０ａは支援情報を第２表示領域には表示しない。
【０１５８】
（支援情報画面７）
第１表示領域に表示される支援情報が変更された後に共有ボタンが押された場合に、クライアント端末１０ａが表示する支援情報画面の一例について、図１５の（ａ）及び（ｂ）を用いて説明する。図１５は、本発明の実施形態２に係るクライアント端末１０ａが表示する支援情報画面のさらに他の例であり、（ａ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｂ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１５９】
クライアント端末１０ａは、図１４の（ｃ）に示すように、第１表示領域に表示される支援情報が変更された後、共有ボタン２１５ａが押された場合、共有ボタン２１５ａが押されたときに第１表示領域に表示されている支援情報を、第２表示領域に表示する。このとき、クライアント端末１０ａは、図１５の（ａ）に示すように、第１表示領域には、共有ボタン２１５ａに替えて、支援情報を第２表示領域にも表示していることを示すテキスト２１８ａを含む画像Ｐ１１０ａを表示する。また、クライアント端末１０ａは、図１５の（ｂ）に示すように、第２表示領域には、キーフレーズに関連した画像２３３ｂを支援情報として含む画像Ｐ１１０ｂを表示する。
【０１６０】
（支援情報画面８）
第１表示領域に表示されるタブ２３４ａが押された場合にクライアント端末１０ａが表示する支援情報画面の一例について、図１５の（ｃ）及び（ｄ）を用いて説明する。図１５の（ｃ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｄ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１６１】
クライアント端末１０ａが図１５の（ａ）に示す支援情報画面を表示している期間に、第１表示領域に表示される支援情報に含まれるタブ２３４ａが押されたことを示す操作信号をクライアント端末１０ａが受け付けた場合、表示している支援情報に関連したキーフレーズ（はんぺん）の類似商品（おでん）のリストを表示する。このとき、クライアント端末１０ａは、図１５の（ｃ）に示すように、第１表示領域に、図１５の（ａ）に示す画像Ｐ１１０ａに含まれる画像２３３ａに替えて、「おでん」のリストを含む画像２３６ａを含む画像Ｐ１１１ａを表示する。なお、「はんぺん」の類似商品として表示する「おでん」のリストは、「はんぺん」を含まない「おでん」のリストであっても良い。
【０１６２】
また、クライアント端末１０ａは、第２表示領域に支援情報を表示している場合、第１表示領域における支援情報の変更に伴い、第２表示領域に表示している支援情報も変更する。そのため、クライアント端末１０ａは、図１５の（ｄ）に示すように、第２表示領域に、図１５の（ｂ）に示す画像Ｐ１１０ｂに含まれる画像２３３ｂに替えて、「おでん」のリストを含む画像２３６ｂを含む画像Ｐ１１１ｂを表示する。
【０１６３】
（支援情報画面９）
タブ２３４ａが押された場合に表示される支援情報画面において、支援情報に対する操作を受け付けた後にクライアント端末１０ａが表示する支援情報画面の一例について、図１６の（ａ）及び（ｂ）を用いて説明する。図１６は、本発明の実施形態２に係るクライアント端末１０ａが表示する支援情報画面のさらに他の例であり、（ａ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｂ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１６４】
クライアント端末１０ａは、図１５の（ｃ）に示す支援情報画面を表示している期間に、「つみれ」が押されたことを検知すると、支援情報として、つみれの商品情報を表示する。このとき、クライアント端末１０ａは、図１６の（ａ）に示すように、第１表示領域に、画像２３６ａに替えて、つみれの商品情報を含む画像２３７ａを含む画像Ｐ１１２ａを表示する。また、クライアント端末１０ａは、図１６の（ｂ）に示すように、第２表示領域にも、英語に翻訳されたつみれの商品情報を含む画像２３７ｂを含む画像Ｐ１１２ｂを表示する。
【０１６５】
（支援情報画面１０）
第１表示領域に表示されるタブ２３５ａが押された場合にクライアント端末１０ａが表示する支援情報画面の一例について、図１６の（ｃ）及び（ｄ）を用いて説明する。図１６の（ｃ）は、第１表示領域に表示される支援情報画面のさらに他の例であり、（ｄ）は、第２表示領域に表示される支援情報画面のさらに他の例である。
【０１６６】
クライアント端末１０ａが図１６の（ａ）に示す支援情報画面を表示している期間に、第１表示領域に表示される支援情報に含まれるタブ２３５ａが押されたことを示す操作信号をクライアント端末１０ａが受け付けた場合、表示している支援情報（つみれ）のアレルギー成分を表示する。このとき、クライアント端末１０ａは、図１６の（ｃ）に示すように、第１表示領域に、図１６の（ａ）に示す画像Ｐ１１２ａに含まれる画像２３７ａに替えて、つみれのアレルギー成分の表示を含む画像２３８ａを含む画像Ｐ１１３ａを表示する。
【０１６７】
また、クライアント端末１０ａは、第２表示領域に支援情報を表示している場合、第１表示領域における支援情報の変更に伴い、第２表示領域に表示している支援情報も変更する。そのため、クライアント端末１０ａは、図１６の（ｄ）に示すように、第２表示領域に、図１６の（ｂ）に示す画像Ｐ１１２ｂに含まれる画像２３７ｂに替えて、つみれのアレルギー成分の表示を含む画像２３８ｂを含む画像Ｐ１１３ｂを表示する。
【０１６８】
（タブ４０１ａ〜タブ４０３ａが押されたときに表示されるタブ画面）
第１表示領域に表示されているタブ４０１ａ〜タブ４０５ａのうち、タブ４０１ａ〜タブ４０３ａが押されたときに表示される画面（以下、「タブ画面」と称する）について、図１７及び図１８を用いて説明する。図１７は、本発明の実施形態２に係るクライアント端末１０ａが表示するタブ画面の一例である。また、図１８は、本発明の実施形態２に係るクライアント端末１０ａが表示するタブ画面の他の例である。
【０１６９】
まず、タブ４０１ａ〜タブ４０５ａは、第２のユーザが使用する言語をクライアント端末１０ａに設定しなくても、操作を受け付けるタブである。すなわち、第２のユーザが使用する言語に関わらず、第１のユーザが表示したいと思う画像を直接表示する旨の操作を受け付けるタブである。
【０１７０】
（タブ画面１）
まず、タブ４０１ａが押された場合について、図１７の（ａ）及び（ｂ）を用いて説明する。図１７の（ａ）は、タブ４０１ａが押された場合に第１表示領域に表示されるタブ画面の一例であり、（ｂ）は、タブ４０１ａが押された場合に第２表示領域に表示されるタブ画面の一例である。クライアント端末１０ａは、タブ４０１ａが押されると、図１７の（ａ）に示すように、第１表示領域に店内の地図２４０ａを含む画像Ｐ１１４ａを表示する。同様に、クライアント端末１０ａは、図１７の（ｂ）に示すように、第２表示領域に店内の地図２４０ｂが含まれる画像Ｐ１１４ｂを表示する。
【０１７１】
（タブ画面２）
タブ４０２ａが押された場合について、図１７の（ｃ）及び（ｄ）を用いて説明する。図１７の（ｃ）は、タブ４０２ａが押された場合に第１表示領域に表示されるタブ画面の一例であり、（ｄ）は、タブ４０２ａが押された場合に第２表示領域に表示されるタブ画面の一例である。クライアント端末１０ａは、タブ４０２ａが押されると、図１７の（ｃ）に示すように第１表示領域に使用可能なクレジットカードのリスト２４１ａを含む画像Ｐ１１５ａを表示する。同様に、クライアント端末１０ａは、図１７の（ｄ）に示すように、第２表示領域に使用可能なクレジットカードのリスト２４１ｂを含む画像Ｐ１１５ｂを表示する。
【０１７２】
（タブ画面３）
タブ４０３ａが押された場合について、図１８の（ａ）及び（ｂ）を用いて説明する。図１８の（ａ）は、タブ４０３ａが押された場合に第１表示領域に表示されるタブ画面の一例であり、（ｂ）は、タブ４０３ａが押された場合に第２表示領域に表示されるタブ画面の一例である。クライアント端末１０ａは、タブ４０３ａが押されると、図１８の（ａ）に示すように、第１表示領域に、お薦め商品の一覧リストを含む画像２４２ａを含む画像Ｐ１１６ａを表示する。同様に、クライアント端末１０ａは、図１８の（ｂ）に示すように、第２表示領域に、お薦め商品の一覧リストを含む画像２４２ｂを含む画像Ｐ１１６ｂを表示する。
【０１７３】
なお、図１８の（ｂ）では、お薦め商品の一覧リストが英語に翻訳されているが、この構成に限定されない。例えば、クライアント端末１０ａは、文字列を除いた画像を表示する構成であってもよいし、直前に設定されていた言語に翻訳されたお薦め商品の一覧リストを含む画像を表示する構成であってもよい。
【０１７４】
タブ４０３ａが押された場合にクライアント端末１０ａが表示する画面において、ユーザの操作を受け付けた場合に表示される画像について、図１８の（ｃ）及び（ｄ）を用いて説明する。図１８の（ｃ）は、タブ４０３が押されて表示されている画面において操作を受け付けた場合に、第１表示領域に表示される画像の一例であり、（ｂ）はタブ４０３が押されて表示されている画面において操作を受け付けた場合に、第２表示領域に表示される画像の一例である。
【０１７５】
クライアント端末１０ａが図１８の（ａ）に示す画像を表示している期間に、お薦め商品である「ロールキャベツ」が押された場合、クライアント端末１０ａは、図１８の（ｃ）に示すように、第１表示領域に、ロールキャベツの商品情報を含む画像２４３ａを含む画像Ｐ１１７ａを表示する。同様に、クライアント端末１０ａは、図１８の（ｄ）に示すように、第２表示領域にロールキャベツの商品情報を含む画像２４３ｂを含む画像Ｐ１１７ｂを表示する。
【０１７６】
（タブ画面４）
続いて、タブ４０４ａが押された場合（図１０に示すＰ１０１ａに含まれるボタン２０３ａが押された場合も同様）について、図１９及び図２０を用いて説明する。
【０１７７】
タブ４０４ａ及びボタン２０３ａは、第１のユーザが予め定められた質問を第２のユーザにしたい場合に、第２のユーザに使用言語を選択してもらったうえで、第２の表示領域に、選択された使用言語に翻訳された質問を表示する旨の操作を受け付けるものである。但し、既に第２のユーザが発話する言語を選択してから、第１のユーザがタブ４０４ａを押した場合は、第２のユーザに使用言語を選択させるステップは省略する構成であっても良い。なお、以下では、タブ４０４ａが押された場合に表示される画像について説明するが、ボタン２０３ａが押された場合も同様の画像が表示される。また、本発明では、第１のユーザが予め定められた質問を第２のユーザにしたい場合に限定されず、第２のユーザが予め定められた質問を第１のユーザにしたい場合であってもよい。
【０１７８】
（質問画面１）
まず、タブ４０４ａが押された直後にクライアント端末１０ａが表示する質問画面について、図１９の（ａ）及び（ｂ）を用いて説明する。図１９は、本発明の実施形態２に係るクライアント端末１０ａが表示する質問画面の一例であり、（ａ）は、第１表示領域に表示される質問画面の例であり、（ｂ）は、第２表示領域に表示される質問画面の例である。
【０１７９】
クライアント端末１０ａは、タブ４０４ａが押されたことを検知すると、図１９の（ａ）に示すように、第１表示領域に、第２のユーザが使用言語を選択中であることを示す画像２５０ａを含む画像Ｐ１１８ａを表示する。クライアント端末１０ａは、質問を取り消す旨の操作を受け付けるボタン２５１ａを画像２５０ａに含ませる構成であってもよい。また、クライアント端末１０ａは、図１９の（ｂ）に示すように、第２表示領域に、選択可能な言語の一覧２５２ｂを含む画像Ｐ１１８ｂを表示する。なお、既に第２のユーザが発話する言語を選択してから、第１のユーザがタブ４０４ａを押した場合、本ステップを省略し、画像Ｐ１１９ａおよび画像Ｐ１１９ｂを表示する構成であっても良い。
【０１８０】
（質問画面２）
第２のユーザが使用言語を選択した後にクライアント端末１０ａが表示する質問画面について、図１９の（ｃ）及び（ｄ）を用いて説明する。図１９の（ｃ）は、第１表示領域に表示される質問画面の他の例であり、（ｄ）は、第２表示領域に表示される質問画面の他の例である。
【０１８１】
クライアント端末１０ａは、第２のユーザが使用言語を選択すると（例えば、英語が選択された場合）、図１９の（ｃ）に示すように、第１表示領域に、予め定められた質問のリスト２５３ａを含む画像Ｐ１１９ａを表示する。また、クライアント端末１０ａは、図１９の（ｄ）に示すように、第２表示領域に、図１９の（ｂ）に示した使用言語を選択する画像Ｐ１１８ｂに戻る旨を受け付けるボタン２５４ｂを含む画像Ｐ１１９ｂを表示する。
【０１８２】
（質問画面３）
第１のユーザが質問を選択した後にクライアント端末１０ａが表示する質問画面について、図２０の（ａ）及び（ｂ）を用いて説明する。図２０は、本発明の実施形態２に係るクライアント端末１０ａが表示する質問画面の他の例であり、図２０の（ａ）は、第１表示領域に表示される質問画面の他の例であり、（ｂ）は、第２表示領域に表示される質問画面の他の例である。
【０１８３】
クライアント端末１０ａは、第１のユーザが質問を選択すると（例えば、「温めますか？」が選択された場合）、図２０の（ａ）に示すように、第１表示領域に、第２のユーザの入力を待っている旨を示す画像２５５ａを含むＰ１２０ａを表示する。クライアント端末１０ａは、質問を取り消す旨の操作を受け付けるボタン２５６ａを画像２５５ａに含ませる構成であってもよい。また、クライアント端末１０ａは、質問のリスト２５３ａに対する操作を受け付けない旨を示す表示（例えば、グレーアウト）に変更する構成であってもよい。このとき、ユーザが選択した質問（例えば、「温めますか」）は、選択中であることが識別可能なように、他の質問文と表現を変えて表示（例えば、図２０の（ａ）に示すように、選択中の「温めますか」のグレーアウトを解除して表示）してもよい。また、クライアント端末１０ａは、図２０の（ｂ）に示すように、第２表示領域に、質問を翻訳したテキスト２５７ｂ、当該質問に対して肯定する旨を受け付けるボタン２５８ｂ、及び当該質問に対して否定する旨を受け付けるボタン２５９ｂを含む画像Ｐ１２０ｂを表示する。
【０１８４】
（質問画面４）
第２のユーザが質問に対して回答した場合にクライアント端末１０ａが表示する質問画面について、図２０の（ｃ）及び（ｄ）を用いて説明する。図２０の（ｃ）は、第１表示領域に表示される質問画面の他の例であり、（ｄ）は、第２表示領域に表示される質問画面の他の例である。
【０１８５】
クライアント端末１０ａは、第２のユーザが質問に対して回答すると（例えば、「ＹＥＳ」が選択された場合）、図２０の（ｃ）に示すように、第１表示領域に、第２のユーザの回答を翻訳したテキスト２６０ａを含む画像Ｐ１２１ａを表示する。また、クライアント端末１０ａは、図２０の（ｄ）に示すように、第２表示領域に、第２のユーザの回答を受け付けた旨を示すテキスト２６１ｂを含む画像Ｐ１２１ｂを表示する。なお、第２のユーザが「ＮＯ」を選択した場合、クライアント端末１０ａは、図２０の（ｃ）において、テキスト２６０ａに替えて、「いいえ」と記載されたテキストを含む画像を表示する。
【０１８６】
（質問画面５）
質問リストの中に、第２のユーザが肯定（Ｙｅｓ）又は否定（Ｎｏ）では回答できない質問が含まれる場合に表示される画面について、図２１を用いて説明する。図２１は、本発明の実施形態２に係るクライアント端末が表示する質問画面のさらに他の例であり、（ａ）は、第１表示領域に表示される質問画面のさらに他の例であり、（ｂ）は、第２表示領域に表示される質問画面のさらに他の例である。
【０１８７】
例えば、第２のユーザが払った金額が足りなかった場合、第１のユーザは、質問リストに含まれている「お金が足りていません」を選択する。この場合、クライアント端末１０ａは、図２１の（ａ）に示すように、第１表示領域に、第２のユーザの入力を待っている旨を示す画像２５５ａを含むＰ１３１ａを表示する。また、クライアント端末１０ａは、図２１の（ｂ）に示すように、第２表示領域に、選択された内容を英語に翻訳したテキスト３２１ｂと、当該内容を確認した旨を受け付けるボタン３２２ｂを含む画像Ｐ１３１ｂを表示する。
【０１８８】
第２のユーザがボタン３２２ｂを押したことを検知すると、クライアント端末１０ａは、図２１の（ｃ）に示すように、第１表示領域に、第２のユーザが確認した旨を示すテキスト３２３ａを含む画像Ｐ１３２ａを表示する。また、クライアント端末１０ａは、図２０の（ｄ）に示すように、第２表示領域に、第２のユーザの回答を受け付けた旨を示すテキスト３２４ｂを含む画像Ｐ１３２ｂを表示する。
【０１８９】
（日本語を設定した場合の質問画面）
続いて、第２のユーザが日本語を選択した場合（図１０に示すＰ１０１ａに含まれるボタン２０４ａが押された場合も同様）について、図２２〜図２４を用いて説明する。図２２は、本発明の実施形態２に係るクライアント端末１０ａが表示する質問画面のさらに他の例である。また、図２３は、本発明の実施形態２に係るクライアント端末１０ａが表示する質問画面のさらに他の例である。また、図２４は、本発明の実施形態２に係るクライアント端末１０ａが表示する質問画面のさらに他の例である。
【０１９０】
図１９〜２１を用いて説明した画面と同様、クライアント端末１０ａは、日本語が選択されると、図２２の（ａ）に示すように、質問リスト２５３ａを含む画像Ｐ１２１ａを第１表示領域に表示し、図２２の（ｂ）に示すように、使用言語を選択する画像Ｐ１１８ｂに戻る旨を受け付けるボタン２６２ｂを含む画像Ｐ１２１ｂを表示する。
【０１９１】
続いて、第１のユーザが質問を選択した場合（例えば、「温めますか？」を選択した場合）、クライアント端末１０ａは、図２２の（ｃ）に示すように、図２０の（ａ）に示した画像に対応する画像Ｐ１２２ａを第１表示領域に表示し、図２２の（ｄ）に示すように、図２０の（ｂ）を日本語表示にした画像Ｐ１２２ｂを表示する。
【０１９２】
クライアント端末１０ａは、図２２の（ｃ）及び（ｄ）の画面を表示している期間に、第２のユーザの回答を受け付けた場合、図２３の（ａ）又は図２４の（ａ）に示すように、ユーザの回答であるテキスト２６７ａを含む画像Ｐ１２３ａ又はテキスト２６８ｂを含む画像Ｐ１２３ｂを表示する。
【０１９３】
また、クライアント端末１０ａは、図２３の（ｂ）又は図２４の（ｂ）に示すように、第２表示領域に、第２のユーザの回答を受け付けた旨を示すテキスト２６８ｂを含む画像Ｐ１２３ｂ又はテキスト２７４ｂを含む画像Ｐ１２５ｂを表示する。
【０１９４】
また、クライアント端末１０ａは、第１のユーザから新たな質問を選択された場合（例えば、「袋は必要ですか？」が選択された場合）、図２３の（ｃ）に示すように、図２２の（ｃ）と同様の画像Ｐ１２４ａを表示し、図２３の（ｄ）に示すように、質問を示すテキスト２６９ｂを含む画像Ｐ１２４ｂを表示する。
【０１９５】
（タブ画面５）
続いて、タブ４０５ａが押された場合について、図２５の（ａ）及び（ｂ）を用いて説明する。図２５は、本発明の実施形態２に係るクライアント端末１０ａにおいて、会話を終了する場合に表示される会話終了画面の例であり、（ａ）は、タブ４０５ａが押された場合に第１表示領域に表示する会話終了画面の一例であり、（ｂ）は、タブ４０５ａが押された場合に第２表示領域に表示する会話終了画面の一例である。タブ４０５ａは、第１のユーザが会話を終了し、初期画面を表示する旨の操作を受け付けるものである。
【０１９６】
クライアント端末１０ａは、タブ４０５ａが押されると、図２５の（ａ）に示すように、第１表示領域に、会話を終了し、初期画面に戻るか否かを問い合わせるテキストを含む画像２８１ａ（ダイアログ、裏にはボタン押下前の画像が表示されている状態）を含む画像Ｐ１２６ａを表示する。また、クライアント端末１０ａは、会話を終了し、初期画面に戻る旨の操作を受け付けるボタン２８２ａと、会話を終了しない旨の操作を受け付けるボタン２８３ａとを、画像２８１ａに含めて表示する。このとき、クライアント端末１０ａは、第２表示領域に、終了準備を表す「In preparation of Exit」のダイアログ２８４ｂを含む画像１２６ｂを表示する。このとき、クライアント端末１０ａは、ボタン２８２ａ及びボタン２８３ａ以外の操作（音声入力を含む）を受け付けないようにしてもよい。
【０１９７】
また、クライアント端末１０ａは、ユーザから所定の時間操作を受け付けなかった場合に、初期画面に戻る構成であってもよい。この場合にクライアント端末１０ａが表示する画像を、図２５の（ｃ）及び（ｄ）を用いて説明する。図２５の（ｃ）は、第１表示領域に表示される画面の例であり、（ｄ）は、第２表示領域に表示される画面の例である。
【０１９８】
クライアント端末１０ａは、任意の画面において、所定の時間（例えば、１０分）操作を受け付けなかった場合、初期画面に戻る。例えば、クライアント端末１０ａが、図２５の（ｃ）に示すように、第１表示領域に、支援情報を含む画像Ｐ１２７ａを表示している場合において、所定の時間操作がなかった場合、初期画面を表示する。同様に、クライアント端末１０ａが、図２５の（ｄ）に示すように、第２表示領域に、入力情報及び翻訳結果を含む画像Ｐ１２７ｂを表示している場合において、所定の時間操作がなかった場合、初期画面を表示する。
【０１９９】
（発話言語設定画面１）
上述した質問画面の説明において、クライアント端末１０ａは、第２の表示領域に、選択された使用言語に翻訳された質問を表示する構成について説明したが、質問画面を表示している期間において、発話する言語を設定してもよい。この構成について、図２６〜図２８を用いて説明する。
【０２００】
図２６は、本発明の実施形態２に係るクライアント端末１０ａが表示する発話言語設定画面の例であり、（ａ）は、発話言語設定画面に入る前に第１表示領域に表示される画面の一例であり、（ｂ）は、発話言語設定画面に入る前に第２表示領域に表示される画面の一例である。クライアント端末１０ａは、任意の質問画面において、図２６の（ｂ）に示すように、言語を設定する旨を受け付けるボタン２９６ｂを含む画像Ｐ１２８ｂを、第２表示領域に表示する。そのため、発話言語設定画面に入る前に第１表示領域に表示される画面は、任意の質問画面である。
【０２０１】
（発話言語設定画面２）
言語を設定する旨を受け付けるボタン２９６ｂが押された場合にクライアント端末１０ａが表示する発話言語設定画面について、図２６の（ｃ）及び（ｄ）を用いて説明する。図２６の（ｃ）は、第１表示領域に表示される発話言語設定画面の一例であり、（ｄ）は、第２表示領域に表示される発話言語設定画面の一例である。
【０２０２】
クライアント端末１０ａは、言語を設定する旨を受け付けるボタン２９６ｂが押されたことを検知すると、図２６の（ｃ）に示すように、第１表示領域に、第２のユーザがクライアント端末１０ａを使用する上での確認事項を確認中であることを示すテキストを含む画像２９７ａを含む画像Ｐ１２９ａを表示する。このとき、クライアント端末１０ａは、図２６の（ａ）に示す質問画面に戻る旨の操作を受け付けるボタン２９８ａを画像２９７ａに含める構成であってもよい。また、クライアント端末１０ａは、第２表示領域に、選択された言語で記載された確認事項２９９ｂと、確認した旨を受け付けるボタン３００ｂと、キャンセルする旨を受け付けるボタン３０１ｂとを含む画像Ｐ１２９ｂを表示する。
【０２０３】
（発話言語設定画面３）
クライアント端末１０ａが発話言語を設定した場合に表示する発話言語設定画面について、図２７を用いて説明する。図２７は、本発明の実施形態２に係るクライアント端末１０ａが表示する発話言語設定画面の例であり、（ａ）は、第１表示領域に表示される発話言語設定画面の他の例であり、（ｄ）は、第２表示領域に表示される発話言語設定画面の他の例である。
【０２０４】
上述した発話言語設定画面において、クライアント端末１０ａは第２のユーザが確認した旨を示す操作を受け付けると、図２７の（ａ）に示すように、第１表示領域に、クライアント端末１０ａが音声入力を待っていることを示すテキスト３０２ａ（換言すると、発話を促すテキスト「話して下さい」）を含む画像Ｐ１３０ａを表示する。また、クライアント端末１０ａは、第２表示領域に、図２７の（ｂ）に示すように、クライアント端末１０ａが音声入力を待っていることを示すテキスト３０３ｂ（換言すると、発話を促す英語のテキスト「Please speak」）を含む画像Ｐ１３０ｂを表示する。
【０２０５】
（発話言語設定画面４）
クライアント端末１０ａにおいて、発話言語と質問において使用できる言語とが異なっている場合について、図２８を用いて説明する。図２８は、図２７に示すマイクエリア３１０ａ（又は３１０ｂ）の画像の例である。例えば、クライアント端末１０ａに設定できる発話言語が英語、及び中国語であり、クライアント端末１０ａに設定できる、質問において使用できる言語が日本語、英語、中国語、及び韓国語の場合について、説明する。
【０２０６】
質問において使用する言語を日本語に設定した場合に、クライアント端末１０ａが表示するマイクエリアの画像について、図２８の（ａ）及び（ｂ）を用いて説明する。図２８の（ａ）は、質問において使用する言語を日本語に設定した場合にマイクエリア３１０ａに表示される画像の例であり、（ｂ）は、質問において使用する言語を日本語に設定した場合にマイクエリア３１０ａに表示される画像の例である。クライアント端末１０ａは、質問において使用する言語として日本語を設定すると、第１表示領域のマイクエリア３１０ａに、質問において使用する言語として日本語を設定した旨を示す日本語のテキスト３１１ａを含めた画像を表示する。このとき、クライアント端末１０ａは、第２表示領域のマイクエリア３１０ｂに、質問において使用する言語として日本語を設定した旨を示す日本語のテキスト３１１ｂを含めた画像を表示する。
【０２０７】
次に、質問において使用する言語を英語に設定した場合に、クライアント端末１０ａが表示するマイクエリアの画像について、図２８の（ｃ）及び（ｄ）を用いて説明する。図２８の（ｃ）は、質問において使用する言語を英語に設定した場合にマイクエリア３１０ａに表示される画像の例であり、（ｄ）は、質問において使用する言語を英語に設定した場合にマイクエリア３１０ａに表示される画像の例である。クライアント端末１０ａは、質問において使用する言語として英語を設定すると、第１表示領域のマイクエリア３１０ａに、質問において使用する言語として英語を設定した旨を示す日本語のテキスト３１２ａを含めた画像を表示する。このとき、クライアント端末１０ａは、第２表示領域のマイクエリア３１０ｂに、質問において使用する言語として英語を設定した旨を示す英語のテキスト３１２ｂを含めた画像を表示する。図２８の（ｄ）に示すマイクエリア３１０ｂには、マイクボタン画像の左横に、マイクボタンをタッチすると、会話ができることを示すこと英語のテキスト（you can speak）が含まれてもよい。
【０２０８】
次に、質問において使用する言語を中国語に設定した場合に、クライアント端末１０ａが表示するマイクエリアの画像について、図２８の（ｅ）及び（ｆ）を用いて説明する。図２８の（ｅ）は、質問において使用する言語を中国語に設定した場合にマイクエリア３１０ａに表示される画像の例であり、（ｆ）は、質問において使用する言語を中国語に設定した場合にマイクエリア３１０ａに表示される画像の例である。クライアント端末１０ａは、質問において使用する言語として中国語を設定すると、第１表示領域のマイクエリア３１０ａに、質問において使用する言語として中国語を設定した旨を示す日本語のテキスト３１３ａを含めた画像を表示する。このとき、クライアント端末１０ａは、第２表示領域のマイクエリア３１０ｂに、質問において使用する言語として中国語を設定した旨を示す中国語のテキスト３１２ｂを含めた画像を表示する。
【０２０９】
次に、質問において使用する言語を韓国語に設定した場合に、クライアント端末１０ａが表示するマイクエリアの画像について、図２８の（ｇ）及び（ｈ）を用いて説明する。図２８の（ｇ）は、質問において使用する言語を韓国語に設定した場合にマイクエリア３１０ａに表示される画像の例であり、（ｈ）は、質問において使用する言語を韓国語に設定した場合にマイクエリア３１０ａに表示される画像の例である。クライアント端末１０ａは、質問において使用する言語として韓国語を設定すると、第１表示領域のマイクエリア３１０ａに、質問において使用する言語として韓国語を設定した旨を示す日本語のテキスト３１４ａを含めた画像を表示する。このとき、クライアント端末１０ａは、第２表示領域のマイクエリア３１０ｂに、韓国語は発話言語として設定できないため、発話する場合は英語の設定であることを示す韓国語のテキストをマイク画像の横に表示（マイク画像が言語切り替えを受け付けるボタンとなっており、ボタン押下することによって言語切替可能）又は中国語が設定可能である旨を示す韓国語のテキスト３１４ｂ(３１４ｂは言語切り替えを受け付けるボタンになっており、押下することによって言語切替可能)を含めた画像を表示する。
【０２１０】
〔実施形態３〕
本発明の他の実施形態について、図２９〜図３５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０２１１】
（コミュニケーション支援システム１ｂ）
図２９は、本実施形態に係るコミュニケーション支援システム１ｂの要部構成を示すブロック図である。コミュニケーション支援システム１ｂは、クライアント端末７０と、クライアント端末７０とネットワーク２を介して接続されたアプリケーションサーバ５０とによって構成される。また、コミュニケーション支援システム１ｂは、ネットワーク２を介して、翻訳サーバ３０及び音声認識サーバ４０と通信可能な構成である。
【０２１２】
コミュニケーション支援システム１ｂは、第２のユーザ（サービス利用者）が入力した入力情報から、ユーザの意図をアプリケーションサーバ５０において推定し、入力情報及びアプリケーションサーバ５０において生成された支援情報を含む画像を表示する。
【０２１３】
（クライアント端末７０）
クライアント端末７０は、図２９に示すように、通信部１１、タッチパッド１３、マイク１５、制御部７２、表示部７４、及びバーコードリーダ７５を備えている。クライアント端末７０は、第２のユーザが入力した入力情報を表示し、入力情報に含まれるキーフレーズに関連する支援情報を表示する。
【０２１４】
表示部７４は、制御部７２から出力される画像信号が示す画像を表示する。表示部７４は、バックライトを有した透過型の液晶パネルや有機ＥＬディスプレイなどにより実現される。また、表示部７４は、上述した表示部１４とは異なり、第１表示領域及び第２表示領域に分かれた構成にはなっていない。
【０２１５】
バーコードリーダ７５は、商品のバーコードを読み取り、当該バーコードが示す商品情報を出力する。
【０２１６】
制御部７２は、クライアント端末７０の各部を統括的に制御するものであり、ＣＰＵにより実現される。制御部７２の詳細について、以下に説明する。
【０２１７】
（制御部７２）
制御部７２は、図２９に示すように、タッチ操作受付部２１、音声受付部２３、バーコード受付部８１、及び表示画像生成部８２としても機能する。
【０２１８】
バーコード受付部８１は、バーコードリーダ７５が出力する商品情報を取得する。
【０２１９】
表示画像生成部８２は、入力情報及び支援情報を含む画像を示す画像信号を表示部７４に出力する。
【０２２０】
（コミュニケーション支援システム１ｂの処理）
図３０は、本発明の実施形態３に係るコミュニケーション支援システム１ｂの処理の流れを示すフローチャートである。コミュニケーション支援システム１ｂが実行する処理について、図３０を用いて説明する。ここでは、第２のユーザがマイク１５を介して取得した音声情報を入力情報とした場合について説明する。
【０２２１】
音声受付部２３がマイク１５を介して音声情報を取得する処理から、翻訳結果を取得する処理であるステップＳ１〜ステップＳ４、ステップＳ８、及びステップＳ９は、上述した処理と同じであるため、説明を省略する。
【０２２２】
（ステップＳ４１）
表示画像生成部８２は、入力情報と、支援情報生成部が生成した支援情報とを含む画像を、表示部７４に表示する。
【０２２３】
（表示部７４に表示される画面の例）
クライアント端末７０の表示部７４に表示される画面の例について、図３１〜図３５を用いて説明する。なお、以下において説明する例では、表示部７４にタッチパッド１３が重畳されて配置されたタッチパネルを用いた場合について、説明する。
【０２２４】
（初期画面）
クライアント端末７０の初期画面について、図３１の（ａ）を用いて説明する。図３１は、本発明の実施形態３に係るクライアント端末７０が表示する初期画面、確認画面、及び音声入力待ち受け画面の例であり、（ａ）は、初期画面の例である。
【０２２５】
クライアント端末７０は、図３１の（ａ）に示すように、初期画面として、クライアント端末７０において使用可能な言語を第２のユーザに選択させるボタン５０１を含む画像Ｐ２０１を表示する。
【０２２６】
（確認画面）
クライアント端末７０が初期画面において言語が設定された後に表示する確認画面について、図３１の（ｂ）を用いて説明する。図３１の（ｂ）は、確認画面の例である。
【０２２７】
クライアント端末７０は、初期画面において言語が選択されると（例えば、日本語が選択された場合について、説明する）、図３１の（ｂ）に示すように、第２のユーザがクライアント端末７０を使用する上での確認事項５０２を含む画像Ｐ２０２を表示する。クライアント端末７０は、確認事項５０２に加えて、確認した旨を受け付けるボタン５０３と、音声入力は行わずに、タッチ操作だけでクライアント端末７０を利用するボタン５０４を画像Ｐ２０２に含ませてもよい。なお、ボタン５０４が押された場合、クライアント端末７０は、タブ５０７に対する操作を受け付けない構成が好ましい。
【０２２８】
（音声入力待ち受け画面）
クライアント端末７０が音声入力を受け付ける場合に表示する音声入力待ち受け画面について、図３１の（ｃ）を用いて説明する。図３１の（ｃ）は、音声入力待ち受け画面の例である。
【０２２９】
上述した確認画面において、クライアント端末７０は、第２のユーザが確認した旨を示す操作を受け付けると、図３１の（ｃ）に示すように、ユーザが所望する画像を表示する操作を受け付けるタブ５０６〜タブ５１１を含む画像Ｐ２０３を表示する。このとき、クライアント端末７０は、現時点では音声による入力待ちであることを示すタブ５０７が選択されている画像を表示する。また、クライアント端末７０は、音声による入力以外にも、タブを操作することによってクライアント端末７０に所望する画像を表示できることを示すテキスト５０５を、画像Ｐ２０３に含ませてもよい。
【０２３０】
（タブ５０６〜タブ５１１が押されたときに表示されるタブ画面）
タブ５０６〜タブ５１１が押されたときに表示されるタブ画面について、図３２〜図３５を用いて説明する。タブ５０６〜タブ５１１は、第２のユーザが、発話ではなく、タッチ操作によってクライアント端末７０に所望の画像を表示するためのボタンである。また、クライアント端末７０は、タブに対する操作によって表示する画像のデータを図示しないデータベースに格納しており、表示画像生成部８２が所望の画像をデータベースから取得することにより、タブに対する操作によって表示すべき画像を表示する。
【０２３１】
（タブ画面１）
タブ５０６が押された場合について、図３２の（ａ）を用いて説明する。図３２は、本発明の実施形態３に係るクライアント端末７０が表示するタブ画面の例であり、（ａ）は、タブ５０６が押された場合に表示されるタブ画面の一例である。タブ５０６は、クライアント端末７０に対する操作を終了する旨の操作を受け付けるタブである。そのため、クライアント端末７０は、タブ５０６が押されると、図３２の（ａ）に示すように、初期画面に戻るか否かを問い合わせるテキスト５２１を含む画像Ｐ２０４を表示する。
【０２３２】
また、クライアント端末７０は、ユーザから所定の時間操作を受け付けなかった場合に、初期画面に戻る構成であってもよい。例えば、任意の画面において、所定の時間（例えば、１０分）操作を受け付けなかった場合、クライアント端末７０は初期画面を表示する。また、クライアント端末７０は、任意の画面において所定の時間（例えば、１０分）操作を受け付けなかった場合、操作を終了する旨の操作を受け付けるダイアログ画面（図３２の（ａ））を表示して、その後さらに所定の時間（例えば、１０分）操作を受け付けなかった場合、初期画面を表示する構成でもよい。
【０２３３】
（タブ画面２）
タブ５０８が押された場合について、図３２の（ｂ）を用いて説明する。図３２の（ｂ）は、タブ５０８が押された場合に表示されるタブ画面の一例である。タブ５０８は、お薦め商品を表示する旨の操作を受け付けるタブである。そのため、クライアント端末７０は、タブ５０８が押されると、お薦め商品のリスト５２２を含む画像Ｐ２０５を表示する。このとき、クライアント端末７０は、リスト５２２内の画像を操作すると、詳細な情報を見ることができることをユーザに報知するテキスト５２３を画像Ｐ２０５に含ませてもよい。なお、他のタブ画面も、テキスト５２３を含む構成であってよい。
【０２３４】
クライアント端末７０が図３２の（ｂ）に示す画面を表示している期間に、第２のユーザがリスト５２２内の画像を操作した場合（例えば、「つみれ」がタッチされた場合）、クライアント端末７０は、操作された商品の詳細情報を表示する。クライアント端末７０が商品の詳細情報を表示する画面について、図３２の（ｃ）を用いて説明する。図３２の（ｃ）は、商品の詳細情報を含む画像の例である。クライアント端末７０は、図３２の（ｃ）に示すように、「つみれ」の詳細情報５２４を含む画像Ｐ２０６を表示する。
【０２３５】
（タブ画面３）
タブ５０９が押された場合について、図３３の（ａ）を用いて説明する。図３３は、本発明の実施形態３に係るクライアント端末７０が表示するタブ画面の他の例であり、（ａ）は、タブ５０９が押された場合に表示されるタブ画面の一例である。タブ５０９は、商品のカテゴリ一覧を表示する旨の操作を付け付けるタブである。そのため、クライアント端末７０は、タブ５０９が押されると、商品のカテゴリ一覧５２５を含む画像Ｐ２０７を表示する。
【０２３６】
クライアント端末７０が図３３の（ａ）に示す画面を表示している期間に、第２のユーザが商品のカテゴリ一覧５２５内のカテゴリに対して操作すると（例えば、「おでん」がタッチされた場合）、当該カテゴリに含まれる商品のリストを表示する。クライアント端末７０が商品のリストを表示する画面について、図３３の（ｂ）を用いて説明する。図３３の（ｂ）は、商品のリストを含む画像の例である。クライアント端末７０は、図３３の（ｂ）に示すように、カテゴリ「おでん」に含まれる商品のリスト５２６を含む画像Ｐ２０８を表示する。
【０２３７】
クライアント端末７０が図３３の（ｂ）に示す画面を表示している期間に、第２のユーザが商品のリスト５２６内の商品に対して操作すると（例えば、「はんぺん」がタッチされた場合）、当該商品の詳細情報を表示する。クライアント端末７０が商品の詳細情報を表示する画面について、図３３の（ｃ）を用いて説明する。図３３の（ｃ）は、商品の詳細情報を含む画像の例である。クライアント端末７０は、図３３の（ｃ）に示すように、商品「はんぺん」の詳細情報５２７を含む画像Ｐ２０９を表示する。
【０２３８】
（タブ画面４）
タブ５１０が押された場合について、図３４の（ａ）を用いて説明する。図３４は、本発明の実施形態３に係るクライアント端末７０が表示するタブ画面のさらに他の例であり、（ａ）は、タブ５１０が押された場合に表示されるタブ画面の一例である。タブ５１０は、店内の地図を表示する旨の操作を受け付けるタブである。そのため、クライアント端末７０は、タブ５１０が押されると、店内の地図５２８を含む画像Ｐ２１０を表示する。
【０２３９】
（タブ画面５）
タブ５１１が押された場合について、図３４の（ｂ）を用いて説明する。図３４の（ｂ）は、タブ５１１が押された場合に表示されるタブ画面の一例である。タブ５１１は、店舗周辺の観光スポットの一覧を表示する旨の操作を受け付けるタブである。そのため、クライアント端末７０は、タブ５１１が押されると、店舗周辺の観光スポットの一覧５２９を含む画像Ｐ２１１を表示する。
【０２４０】
クライアント端末７０が図３４の（ｂ）に示す画面を表示している期間に、第２のユーザが店舗周辺の観光スポットの一覧５２９内に対して操作すると、当該観光スポットの詳細情報を表示する。クライアント端末７０が観光スポットの詳細情報を表示する画面について、図３４の（ｃ）を用いて説明する。図３４の（ｃ）は、観光スポットの詳細情報を含む画像の例である。クライアント端末７０は、図３４の（ｃ）に示すように、観光スポットの詳細情報５３０を含む画像Ｐ２１２を表示する。
【０２４１】
（タブ画面６）
タブ５０７が押された場合について、図３５を用いて説明する。図３５は、本発明の実施形態３に係るクライアント端末７０が表示するタブ画面のさらに他の例である。タブ５０７は、音声入力をする旨の操作を受け付けるタブであり、タブ５０７が押されると、クライアント端末７０は、上述した音声入力待ち受け画面（図３１の（ｃ）を参照）を表示する。クライアント端末７０が音声入力待ち受け画面を表示している期間に、第２のユーザが発話した場合（例えば、「おでんが欲しいです」と発話した場合）について、図３５の（ａ）を用いて説明する。図３５の（ａ）は、音声による入力情報が入力された場合にクライアント端末７０が表示する画像の一例である。
【０２４２】
クライアント端末７０は、入力情報である「おでんが欲しいです」を含むテキスト５４１、及び支援情報である「おでん」の商品のリスト５４３を含む画像Ｐ２１３を表示する。このとき、クライアント端末７０は、入力情報に含まれるキーフレーズを強調表示させたキーフレーズ５４２を画像Ｐ２１３に含ませる構成が好ましい。さらに、クライアント端末７０は、画像Ｐ２１３に、当該キーフレーズに関連した支援情報を表示する旨の操作を受け付けるボタン５４４を含ませる構成が好ましい。
【０２４３】
クライアント端末７０が図３５の（ａ）に示す画面を表示している期間に、第２のユーザが商品のリスト５４３内の商品に対して操作すると（例えば、「はんぺん」がタッチされた場合）、当該商品の詳細情報を表示する。クライアント端末７０が商品の詳細情報を表示する画面について、図３５の（ｂ）を用いて説明する。図３５の（ｂ）は、商品の詳細情報を含む画像の例である。クライアント端末７０は、図３５の（ｂ）に示すように、商品「はんぺん」の詳細情報５４５を含む画像Ｐ２１４を表示する。
【０２４４】
クライアント端末７０が図３５の（ｂ）に示す画面を表示している期間に、第２のユーザが新たに音声にて入力情報を入力した場合（例えば、「おすすめはなんですか」と発話した場合）について、図３５の（ｃ）を用いて説明する。図３５の（ｃ）は、音声による入力情報が入力された場合にクライアント端末７０が表示する画像の一例である。
【０２４５】
クライアント端末７０は、表示する入力情報を「おでんが欲しいです」を含むテキスト５４１から「おすすめはなんですか」を含むテキスト５４６に更新し、お薦め商品のリスト５４８を含む画像Ｐ２１５を表示する。また、クライアント端末７０は、入力情報に含まれるキーフレーズ（おすすめ）５４７を強調表示する構成が好ましい。さらに、クライアント端末７０は、キーフレーズ「おでん」に関連した支援情報を表示する旨の操作を受け付けるボタン５４４に加えて、キーフレーズ「おすすめ」に関連した支援情報を表示する旨の操作を受け付けるボタン５４９を画像Ｐ２１５に含ませる構成が好ましい。すなわち、クライアント端末７０は、更新した画像に、画像の更新前に表示していた支援情報を表示するための操作ボタンを含ませることにより、ユーザの利便性を向上させることができる。
【０２４６】
クライアント端末７０が図３５の（ｃ）に示す画面を表示している期間に、第２のユーザがさらに新たに音声にて入力情報を入力した場合（例えば、「つみれが欲しいです」と発話した場合）について、図３５の（ｄ）を用いて説明する。図３５の（ｄ）は、音声による入力情報が入力された場合にクライアント端末７０が表示する画像の他の例である。
【０２４７】
クライアント端末７０は、表示する入力情報を、「おすすめはなんですか」を含むテキスト５４６から、「つみれが欲しいです」を含むテキスト５５０に更新し、「つみれ」の詳細情報５５２を含む画像Ｐ２１６を表示する。また、クライアント端末７０は、入力情報に含まれるキーフレーズ（つみれ）５５１を強調表示する構成が好ましい。さらに、クライアント端末７０は、キーフレーズ「おでん」及び「おすすめ」に関連した支援情報を表示する旨の操作を受け付けるボタン５４４及びボタン５４９に加えて、キーフレーズ「つみれ」に関連した支援情報を表示する旨の操作を受け付けるボタン５５３を画像Ｐ２１６に含ませる構成が好ましい。
【０２４８】
〔実施形態４〕
上述したように、本発明に係るコミュニケーション支援システムは、第１のユーザと第２のユーザとの間のコミュニケーションを支援する場合（この場合のコミュニケーション支援システムを「対人コミュニケーション支援装置」と称する）、又は、第２のユーザとクライアント端末との間のコミュニケーションを支援する場合（この場合のコミュニケーション支援システムを「無人コミュニケーション支援装置」と称する）、がある。それぞれの場合におけるコミュニケーション支援システムの外観について、図３６及び図３７を用いて説明する。
【０２４９】
（対人コミュニケーション支援装置１０の外観説明）
以下では、対人コミュニケーション支援装置１０の外観について図３６を参照して説明する。
【０２５０】
図３６は、対人コミュニケーション支援装置１０の外観を示す図面である。
【０２５１】
図３６（ａ）は、対人コミュニケーション支援装置１０の店員側正面を斜め上方から見た外観図である。図３６（ａ）に示すように、対人コミュニケーション支援装置１０は、店員側正面に、店員側表示面１４ａ、及び店員側スピーカ領域１６ａを備えており、店員側スピーカ領域１６ａの内部には店員側スピーカが配置されている。
【０２５２】
また、対人コミュニケーション支援装置１０の筐体上部にはメッシュ状の集音領域１０２が形成されており、その内部に、主として店員及び客の音声を取得するための指向性を有する複数のマイクを備えている。また、対人コミュニケーション支援装置１０の筐体上部は、集音領域１０２に加え、店員側マイク１５ａ及び客側マイク１５ｂ（点線にて図示）を備える構成としてもよい。ここで、店員側マイク１５ａ及び客側マイク１５ｂは、それぞれ、主として店員及び客の音声を取得するための指向性を有するマイクである。
【０２５３】
図３６（ｂ）は、対人コミュニケーション支援装置１０の側面を斜め上方から見た外観図である。図３６（ｂ）に示すように、対人コミュニケーション支援装置１０の側面は、上方の頂点が丸みを帯び、店員側の一辺及び客側の一辺をそれぞれ等辺とし、底側の一辺を底辺とする鋭角二等辺三角形様の形状を有している。
【０２５４】
図３６（ｃ）は、対人コミュニケーション支援装置１０の店員側正面を左斜め上方から見た外観図であり、図３６（ｄ）は、対人コミュニケーション支援装置１０の客側正面を左斜め上方から見た外観図である。
【０２５５】
図３６（ｄ）に示すように、対人コミュニケーション支援装置１０は、客側正面に、客側表示面１４ｂ、及び客側スピーカ１６ｂ領域を備えており、客側スピーカ領域１６ｂの内部には客側スピーカが配置されている。
【０２５６】
図３６（ａ）〜（ｄ）に示したとおり、対人コミュニケーション支援装置１０には、店員側表示面１４ａ及び客側表示面１４ｂが互いに背中合わせとなるように設けられている。より具体的には、店員側表示面１４ａ及び客側表示面１４ｂは、それぞれの法線ベクトルが（１）共にゼロでない仰角を有し、（２）方位角が１８０度異なるように配置されている。
【０２５７】
（無人コミュニケーション支援装置７０の外観説明）
以下では、無人コミュニケーション支援装置７０の外観について図３７を参照して説明する。
【０２５８】
図３７は、無人コミュニケーション支援装置７０の外観を示す図面である。
【０２５９】
図３７（ａ）は、無人コミュニケーション支援装置７０を正面斜め上方から見た外観図である。図３７（ａ）に示すように、無人コミュニケーション支援装置７０は、表示面７４、及び人感センサ７６を備えている。
【０２６０】
図３７（ｂ）、（ｃ）、及び（ｄ）は、無人コミュニケーション支援装置７０を、それぞれ、右前方、左前方、及び右後方から見た外観図である。図３７（ｂ）〜（ｄ）に示すように、無人コミュニケーション支援装置７０の各側面の正面側一辺、及び上面の正面側一辺には発光領域７７が設けられている。発光領域７７は、例えば、緑色で点灯したり、所定の間隔で明滅したりする。
【０２６１】
また、図３７（ｂ）〜（ｄ）に示すように、無人コミュニケーション支援装置７０の底部の奥行は、上部の奥行に比べて大きい。このため、無人コミュニケーション支援装置７０は、安定して自立することができる。また、図３７（ｂ）及び（ｃ）に示すように、無人コミュニケーション支援装置７０の正面は、ゼロでない仰角を有しつつ、客側が凸となるよう僅かに湾曲している。換言すれば、無人コミュニケーション支援装置７０の正面は、その法線ベクトルの仰角が底部から上部に行くにつれ徐々に大きくなるような面として形成されている。また、図３７（ｄ）に示すように、無人コミュニケーション支援装置７０の背面は、背面側から見て凹状に湾曲している。無人コミュニケーション支援装置７０はこのように構成されているため、客が操作する際の操作性が向上すると共に、店舗などの所望の場所に違和感なく配置することができる。
【０２６２】
〔実施形態５〕
クライアント端末１０、１０ａ、及びアプリケーションサーバ５０の制御ブロック（特に制御部１２、１２ａ、及びサーバ制御部５２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０２６３】
後者の場合、クライアント端末１０、１０ａ、及びアプリケーションサーバ５０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０２６４】
〔実施形態６〕
上記実施形態２では、クライアント端末１０ａ及びアプリケーションサーバ５０を用いる例を説明したが、クライアント端末１０ａ及びアプリケーションサーバ５０の有する各機能が、１つのクライアント端末にて実現されていてもよい。また、クライアント端末１０ａ及びアプリケーションサーバ５０を用いる場合においては、クライアント端末１０ａ及びアプリケーションサーバ５０はそれぞれ、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
【０２６５】
〔実施形態７〕
クライアント端末１０、１０ａ、及びアプリケーションサーバ５０の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、クライアント端末１０、１０ａ、及びアプリケーションサーバ５０のそれぞれを、図３８に示すようなコンピュータ（電子計算機）を用いて構成することができる。
【０２６６】
図３８は、クライアント端末１０、１０ａ、及びアプリケーションサーバ５０として利用可能なコンピュータ９１０のハードウェア構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、及び補助記憶装置９１４は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、及び、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０及び出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０及び出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。
【０２６７】
補助記憶装置９１４には、コンピュータ９１０をクライアント端末１０、１０ａ、及びアプリケーションサーバ５０として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、クライアント端末１０、１０ａ、及びアプリケーションサーバ５０が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
【０２６８】
また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０２６９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【０２７０】
１ａ  コミュニケーション支援システム
１０、１０ａ  クライアント端末
１１  通信部（第２の受付部）
１２、１２ａ  制御部
１３  タッチパッド（第１の受付部）
１４  表示部
１５  マイク（第１の受付部）
２１  タッチ操作受付部
２２、２２ａ  表示画像生成部
２３  音声受付部
３０  翻訳サーバ
４０  音声認識サーバ
５０  アプリケーションサーバ
５１  サーバ通信部
５２  サーバ制御部
６１  意図推定部
６２  翻訳部
６３  支援情報生成部（生成部）
【図１】
2017021541.tif 000003
【図２】
2017021541.tif 000004
【図３】
2017021541.tif 000005
【図４】
2017021541.tif 000006
【図５】
2017021541.tif 000007
【図６】
2017021541.tif 000008
【図７】
2017021541.tif 000009
【図８】
2017021541.tif 000010
【図９】
2017021541.tif 000011
【図１０】
2017021541.tif 000012
【図１１】
2017021541.tif 000013
【図１２】
2017021541.tif 000014
【図１３】
2017021541.tif 000015
【図１４】
2017021541.tif 000016
【図１５】
2017021541.tif 000017
【図１６】
2017021541.tif 000018
【図１７】
2017021541.tif 000019
【図１８】
2017021541.tif 000020
【図１９】
2017021541.tif 000021
【図２０】
2017021541.tif 000022
【図２１】
2017021541.tif 000023
【図２２】
2017021541.tif 000024
【図２３】
2017021541.tif 000025
【図２４】
2017021541.tif 000026
【図２５】
2017021541.tif 000027
【図２６】
2017021541.tif 000028
【図２７】
2017021541.tif 000029
【図２８】
2017021541.tif 000030
【図２９】
2017021541.tif 000031
【図３０】
2017021541.tif 000032
【図３１】
2017021541.tif 000033
【図３２】
2017021541.tif 000034
【図３３】
2017021541.tif 000035
【図３４】
2017021541.tif 000036
【図３５】
2017021541.tif 000037
【図３６】
2017021541.tif 000038
【図３７】
2017021541.tif 000039
【図３８】
2017021541.tif 000040