(57)【要約】【課題】音声対話に関して、より円滑にユーザに情報を提供するための技術を提供する。【解決手段】スピーカ２７０を含む第１の端末２００と、ディスプレイ４３０を含む第２の端末４００と、第１の端末２００に音声を出力させ、音声に関する映像を第２の端末４００に表示させるためのサーバ１００と、を備えるネットワークシステム１が提供される。【選択図】図３０
2019036027.tif 000002
【特許請求の範囲】
【請求項１】
スピーカを含む第１の端末と、
ディスプレイを含む第２の端末と、
前記第１の端末に音声を出力させ、前記音声に関する映像を前記第２の端末に表示させるためのサーバと、を備えるネットワークシステム。
【請求項２】
前記第２の端末は、前記音声に関する複数の映像を取得可能であって、
前記サーバは、前記第１の端末を介してユーザからの第１の命令を受ける度に、前記第２の端末に前記音声に関する複数の映像を順に表示させる、請求項１に記載のネットワークシステム。
【請求項３】
前記サーバは、前記第１の端末を介してユーザからの第２の命令を受ける度に、前記第２の端末に前記音声に関する複数の映像を逆の順に表示させる、請求項２に記載のネットワークシステム。
【請求項４】
前記サーバは、前記第２の命令に応じた映像に対応する音声を前記第２の端末に出力させる、請求項３に記載のネットワークシステム。
【請求項５】
前記第２の端末は、前記音声に関する複数の映像を取得可能であって、
前記サーバは、前記第２の端末に、前記音声に関する複数の映像を選択可能に並べて表示させる、請求項１に記載のネットワークシステム。
【請求項６】
前記サーバは、前記第１の端末を介して、左右のいずれかから何番目であるか、および／または、上下のいずれかから何番目であるか、を指定する音声命令を受け付けて、いずれかの映像に関する詳細な画面を前記第２の端末に表示させる、請求項５に記載のネットワークシステム。
【請求項７】
前記サーバは、前記詳細な画面に対応する音声を前記第２の端末に出力させる、請求項６に記載のネットワークシステム。
【請求項８】
前記サーバは、前記第１の端末にレクチャー用の音声を出力させ、前記音声に関する説明用の映像を前記第２の端末に表示させる、請求項１〜７のいずれか１項に記載のネットワークシステム。
【請求項９】
サーバが、第１の端末に音声を出力させるステップと、
前記サーバが、前記音声に関する映像を第２の端末に表示させるステップと、を備えるネットワークシステムの情報処理方法。
【請求項１０】
第１および第２の端末と通信するための通信インターフェイスと、
前記通信インターフェイスを利用して、前記第１の端末に音声を出力させ、前記音声に関する映像を前記第２の端末に表示させるためのプロセッサと、を備えるサーバ。
【請求項１１】
第１および第２の端末と通信するための通信インターフェイスと、プロセッサと、を含むサーバにおける情報処理方法であって、
前記プロセッサが、前記通信インターフェイスを利用して、前記第１の端末に音声を出力させるステップと、
前記プロセッサが、前記通信インターフェイスを利用して、前記音声に関する映像を前記第２の端末に表示させるステップと、を備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザと音声メッセージのやり取りをするためのネットワークシステム、情報処理方法、およびサーバの技術に関する。
【背景技術】
【０００２】
従来から、ユーザに適したメッセージを出力するための技術が知られている。たとえば、国際公開第２０１６／０８８５９７号パンフレット（特許文献１）には、食品管理システム、冷蔵庫、サーバ、端末装置、および制御プログラムが開示されている。特許文献１によると、食品管理システムにおいて、サーバは、冷蔵庫近傍のユーザの存在を検知する。サーバは、ユーザからの注文に基づいたメッセージを生成してメモリに登録しておき、検知に基づくタイミングで、メモリからメッセージを読み出して、冷蔵庫に転送する。そして、サーバは、メッセージの転送の後、予め規定された期間、冷蔵庫から食品の発注の入力を受け付ける。これにより、ユーザに効果的に情報を報知する冷蔵庫を含む食品管理システムを提供できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／０８８５９７号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、音声対話に関して、より円滑にユーザに情報を提供するための技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のある態様に従うと、スピーカを含む第１の端末と、ディスプレイを含む第２の端末と、第１の端末に音声を出力させ、音声に関する映像を第２の端末に表示させるためのサーバと、を備えるネットワークシステムが提供される。
【発明の効果】
【０００６】
以上のように、本発明によれば、音声対話に関して、より円滑にユーザに情報を提供することが可能になる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図２】第１の実施の形態にかかるネットワークシステム１の店舗通信端末３００の画面を示す図である。
【図３】第１の実施の形態にかかるサーバ１００の構成を示すブロック図である。
【図４】第１の実施の形態にかかる端末データ１２１を示す図である。
【図５】第１の実施の形態にかかる商品データ１２２を示す図である。
【図６】第１の実施の形態にかかる店舗データ１２３を示す図である。
【図７】第１の実施の形態にかかる在庫データ１２４を示す図である。
【図８】第１の実施の形態にかかる注文データ１２５を示す図である。
【図９】第１の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図１０】第１の実施の形態にかかる顧客通信端末２００の構成を示すブロック図である。
【図１１】第１の実施の形態にかかる店舗通信端末３００の構成を示すブロック図である。
【図１２】第２の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図１３】第２の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図１４】第３の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図１５】第３の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図１６】第４の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図１７】第４の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図１８】第５の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図１９】第５の実施の形態にかかる商品データ１２２Ｂを示す図である。
【図２０】第５の実施の形態にかかるフィードバックデータ１２６を示す図である。
【図２１】第５の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図２２】第６の実施の形態にかかるネットワークシステム１の店舗通信端末３００の画面を示す図である。
【図２３】第６の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図２４】第７の実施の形態にかかるネットワークシステム１の店舗通信端末３００の画面を示す図である。
【図２５】第７の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図２６】第８の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図２７】第８の実施の形態にかかる近傍ディスプレイデータ１２７を示す図である。
【図２８】第８の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図２９】第８の実施の形態にかかるテレビ４００の構成を示すブロック図である。
【図３０】第９の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図３１】第９の実施の形態にかかる商品データ１２２Ｃを示す図である。
【図３２】第９の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図３３】第１０の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図３４】第１１の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図３５】第１２の実施の形態にかかるサーバ１００の情報処理を示す図である。
【図３６】第１２の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図３７】第１２の実施の形態にかかるネットワークシステム１の全体構成と第２の動作概要とを示す図である。
【図３８】第１２の実施の形態にかかるサーバ１００の第１の情報処理を示す図である。
【図３９】第１２の実施の形態にかかるネットワークシステム１の全体構成と第３の動作概要とを示す図である。
【図４０】第１２の実施の形態にかかるサーバ１００の第２の情報処理を示す図である。
【図４１】第１３の実施の形態にかかるネットワークシステム１の全体構成と第１の動作概要とを示す図である。
【図４２】第１３の実施の形態にかかる音声映像データ１２８を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステム１の全体構成＞
【０００９】
まず、図１を参照して本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、対話サービス用のサーバ１００と、家庭やオフィスに配置されるロボットなどの顧客通信端末２００と、各種の店舗や営業所などに配置されるタブレットなどの店舗通信端末３００とを含む。
【００１０】
なお、顧客通信端末２００や店舗通信端末３００は、ロボットやタブレットに限らず、冷蔵庫、電子レンジ、エアコン、洗濯機、掃除機、空気清浄器、加湿器、除湿器、炊飯器、照明などの家電、携帯電話、スマートフォン、テレビ、ハードディスクレコーダ、プロジェクタ、音楽プレーヤ、ゲーム機、パーソナルコンピュータなどのＡＶ（オーディオ・ビジュアル）機器、組み込み照明、太陽光発電機、インターホン、給湯器、温水洗浄便座コントローラなどの住宅設備、などであってもよい。
＜ネットワークシステム１の動作概要＞
【００１１】
次に、ネットワークシステム１の動作概要について説明する。まず、図１を参照して、顧客通信端末２００は、サーバ１００からのデータに基づいてユーザと対話する。より詳細には、顧客通信端末２００は、サーバ１００からの音声データに基づいて音声を出力し、ユーザからの音声を受けてサーバ１００に送信し、さらにサーバ１００からの音声データに基づいて音声を出力し、という処理を繰り返す。
【００１２】
たとえば、本実施の形態においては、顧客通信端末２００は、ユーザからの商品やサービスの注文を受け付けて当該注文をサーバ１００に転送したり、サーバ１００から商品やサービスの提案メッセージを受け付けて当該音声メッセージを出力したりする。そして、ネットワークシステム１の関係者は、サーバ１００が受け付けた注文に基づいて、配達センターから商品を出荷したり、顧客通信端末２００のユーザの近傍の店舗から当該ユーザの自宅へ商品を配達したり、サービス提供者が当該ユーザの自宅へ訪問したりする。
【００１３】
そしてたとえば、弁当などの配達のように、定期的にユーザの自宅へ商品を配達することになっているサービスに関しては、次の配達の際に届ける商品の注文をユーザに促すことが好ましい。本実施の形態においては、定期的な弁当の宅配の注文を受けている店舗通信端末３００が、サーバ１００からのデータに基づいて、図２に示すように、次の配達時に配達すべき顧客や商品のリストを表示する。より詳細には、図２（Ａ）に示すように、店舗通信端末３００は、サーバ１００からのデータに基づいて、配達先のリストを選択可能に表示する。そして図２（Ｂ）に示すように、店舗通信端末３００は、サーバ１００からのデータに基づいて、選択された配達先に配達すべき商品のリストを表示する。
【００１４】
なお、サーバ１００は、顧客が希望する配達日時の所定時間前、たとえば１時間前などに、店舗通信端末３００に配達先リストや商品リストを表示させることが好ましい。
【００１５】
このように、本実施の形態にかかる対話サービスにおいては、顧客通信端末２００による音声対話によって、ユーザは簡単に商品の注文を行うことができるし、店舗側も１度の配達で複数の商品の配達を行うことができる。以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
＜対話サービス用のサーバ１００のハードウェア構成＞
【００１６】
まず、本実施の形態にかかるネットワークシステム１を構成する対話サービス用のサーバ１００のハードウェア構成の一態様について説明する。図３を参照して、対話サービス用のサーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。
【００１７】
ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、対話サービス用のサーバ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。ＣＰＵ１１０は、ＡＩ機能を実現し、ＡＩ機能による音声対話を実行することが好ましい。
【００１８】
メモリ１２０は、各種のＲＡＭ（Random  Access  Memory）、各種のＲＯＭ（Read-Only  Memory）などによって実現される。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、操作部１４０から入力されたデータなどを記憶する。メモリ１２０は、たとえば、端末データ１２１、商品データ１２２、店舗データ１２３、在庫データ１２４、注文データ１２５などを記憶する。なお当然に、これらのデータは、対話サービス用のサーバ１００自体が格納していなくても、サーバ１００がアクセス可能な他の装置に格納されていてもよい。
【００１９】
ここで、図４を参照して、端末データ１２１は、ロボットなどの顧客通信端末２００毎に、端末ＩＤと、住所と、ユーザ名と、近所の店舗を特定するための情報と、定期的な配達日時と、定期的に配達すべき商品を特定するための情報と、定期的に配達すべき商品の個数との対応関係を格納する。
【００２０】
図５を参照して、商品データ１２２は、商品毎に、商品コードと、商品の名称と、商品の値段との対応関係を格納する。
【００２１】
図６を参照して、店舗データ１２３は、店舗毎に、店舗ＩＤと、店舗の名称と、店舗の住所と、店舗通信端末３００のＩＤとの対応関係を格納する。
【００２２】
図７を参照して、在庫データ１２４は、店舗毎に準備される。在庫データ１２４は、商品毎に、商品コードと、店舗に蓄積されている個数との対応関係を格納する。
【００２３】
図８を参照して、注文データ１２５は、受け付けた注文毎に、注文ＩＤと、商品を配達すべき店舗のＩＤと、注文をした顧客通信端末２００のＩＤと、注文された商品のコードと、注文された商品の個数との対応関係を格納する。たとえば、ＣＰＵ１１０は、通信インターフェイス１６０を介して、顧客通信端末２００から受信した音声データに基づいて、ユーザからの注文を特定し、当該注文を注文データ１２５に蓄積していく。
【００２４】
図３に戻って、操作部１４０は、サービスの管理者などの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。
【００２５】
通信インターフェイス１６０は、ＣＰＵ１１０からのデータを、インターネット、キャリア網、ルータなどを介して顧客通信端末２００や店舗通信端末３００などの他の装置に送信する。逆に、通信インターフェイス１６０は、インターネット、キャリア網、ルータなどを介して他の装置からのデータを受信して、ＣＰＵ１１０に受け渡す。
＜対話サービス用のサーバ１００における情報処理＞
【００２６】
次に、図９を参照しながら、本実施の形態にかかる対話サービス用のサーバ１００における情報処理について説明する。本実施の形態においては、サーバ１００のＣＰＵ１１０は、定期的に以下の処理を実行する。
【００２７】
サーバ１００のＣＰＵ１１０は、端末データ１２１を参照して、定期配達日時に達した顧客通信端末２００があるか否かを判断する（ステップＳ１０２）。定期配達日時に達した顧客通信端末２００がない場合（ステップＳ１０２にてＮＯである場合）、ＣＰＵ１１０は、次のタイミングまで待機する。
【００２８】
なお、ここでは、所定のタイミングとしての配達日時は、店舗や発送センターで商品の配達の準備をし始める日時をいう。ただし、所定のタイミングとしての配達日時が、店舗や発送センターで商品を出荷する日時であってもよい。この場合は、ＣＰＵ１１０は、ステップＳ１０２において、所定のタイミングとしての配達日時の３０分前や１時間前を過ぎたか否かを判断する。あるいは、所定のタイミングとしての配達日時が、商品がユーザの自宅に到着する日時であってもよい。この場合は、ＣＰＵ１１０は、ステップＳ１０２において、所定のタイミングとしての配達日時の１時間前や２時間前を過ぎたか否かを判断する。
【００２９】
定期配達日時に達した顧客通信端末２００がある場合（ステップＳ１０２にてＹＥＳである場合）、ＣＰＵ１１０は、端末データ１２１を参照して、顧客通信端末２００に対応づけられている店舗を特定する（ステップＳ１０４）。ＣＰＵ１１０は、注文データ１２５を参照して、前回の配達以降の注文を集計する（ステップＳ１０６）。ＣＰＵ１１０は、集計結果に基づいて、配達リストを生成する（ステップＳ１０８）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、配達リストをユーザの通信端末に対応付けられた店舗の通信端末に送信する（ステップＳ１１０）。ＣＰＵ１１０は、次のタイミングまで待機する。
【００３０】
これによって、店舗の通信端末では、図２（Ａ）の配達先リストや図２（Ｂ）の商品リストが表示される。なお、注文された商品やサービスの決済方法は特に問わない。
＜顧客通信端末２００のハードウェア構成＞
【００３１】
次に、図１０を参照して、ネットワークシステム１を構成する顧客通信端末２００の構成の一態様について説明する。顧客通信端末２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０と、操作部２４０と、カメラ２５０、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０とを含む。
【００３２】
ＣＰＵ２１０は、メモリ２２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、顧客通信端末２００の各部を制御する。
【００３３】
メモリ２２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ２２０は、ＣＰＵ２１０によって実行される機器駆動プログラムや対話プログラムやその他のプログラムや、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、対話サービス用のサーバ１００や他のサーバから受信したデータ、操作部２４０を介して入力されたデータなどを記憶する。
【００３４】
ディスプレイ２３０は、ＣＰＵ２１０からの信号に基づいて、文字や画像などを出力する。ディスプレイ２３０は、複数のＬＥＤライトなどであってもよい。
【００３５】
操作部２４０は、ボタン、タッチパネルなどによって実現され、ユーザからの命令を受け付けて、当該命令をＣＰＵ２１０に入力する。なお、ディスプレイ２３０と操作部２４０とは、タッチパネルを構成してもよい。
【００３６】
また、操作部２４０は、近接センサや温度センサなどであってもよい。この場合は、ＣＰＵ２１０は、操作部２４０としての近接センサや温度センサを介して、ユーザがロボットなどの顧客通信端末２００に手をかざしたことを検知して、各種の動作を開始する。たとえば、近接センサが額の近辺に配置されることによって、ユーザがなでたり・たたいたりすることをロボットなどの顧客通信端末２００が検知してもよい。
【００３７】
カメラ２５０は、画像を撮影して、画像データをＣＰＵ２１０に受け渡す。
【００３８】
通信インターフェイス２６０は、無線ＬＡＮ通信あるいは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス２６０は、有線通信あるいは無線通信によって対話サービス用のサーバ１００などの他の装置との間でデータをやり取りする。
【００３９】
スピーカ２７０は、ＣＰＵ２１０からの信号に基づいて、音声を出力する。より詳細には、本実施の形態においては、ＣＰＵ２１０は、通信インターフェイス２６０を介してサーバ１００から受信した音声データに基づいてスピーカ２７０に音声メッセージを出力させる。あるいは、ＣＰＵ２１０は、通信インターフェイス２６０を介してサーバ１００から受信したテキストデータに基づいて音声信号を作成し、スピーカ２７０に音声メッセージを出力させる。あるいは、ＣＰＵ２１０は、通信インターフェイス２６０を介してサーバ１００から受信したメッセージＩＤに基づいて、メモリ２２０からメッセージの音声データを読み出して、スピーカ２７０に音声メッセージを出力させる。
【００４０】
マイク２８０は、外部からの音声に基づいて音声信号を作成し、ＣＰＵ２１０に入力する。ＣＰＵ２１０は、マイク２８０を介して受け付けた音声を、通信インターフェイス２６０を介してサーバ１００に送信する。たとえば、ＣＰＵ２１０は、マイク２８０を介してユーザから受け付けた商品やサービスの注文を、通信インターフェイス２６０を介してサーバ１００に送信する。
＜店舗通信端末３００のハードウェア構成＞
【００４１】
次にコンビニエンスストアなどに配置される店舗通信端末３００のハードウェア構成の一態様について説明する。図１１を参照して、店舗通信端末３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、ディスプレイ３３０と、操作部３４０と、通信インターフェイス３６０とを含む。
【００４２】
ＣＰＵ３１０は、メモリ３２０に記憶されているプログラムを実行することによって、店舗通信端末３００の各部を制御する。
【００４３】
メモリ３２０は、各種のＲＡＭ、各種のＲＯＭなどによって実現される。メモリ３２０は、ＣＰＵ３１０によって実行されるプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、入力されたデータや、サーバ１００から取得したデータなどを記憶する。なお当然に、これらのデータは、店舗通信端末３００自体が格納していなくても、店舗通信端末３００がアクセス可能な他の装置に格納されていてもよい。
【００４４】
ディスプレイ３３０は、ＣＰＵ３１０からの信号に基づいて画像やテキストを表示する。操作部３４０は、キーボードやスイッチなどから構成され、オペレータからの命令を受け付けて、当該命令をＣＰＵ３１０に入力する。なお、ディスプレイ３３０と操作部３４０とがタッチパネルによって構成されてもよい。
【００４５】
通信インターフェイス３６０は、無線ＬＡＮ通信あるいは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス３６０は、有線通信あるいは無線通信によって対話サービス用のサーバ１００などの他の装置との間でデータをやり取りする。
【００４６】
たとえば、ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から受信した配達先リストに基づいて、図２（Ａ）に示すように配達先リストをディスプレイ２３０に表示させる。ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から受信した注文リストに基づいて、図２（Ｂ）に示すように配達先からの注文リストをディスプレイ２３０に表示させる。
＜第２の実施の形態＞
【００４７】
第１の実施の形態においては、店舗から定期的に商品を配達する場合の、当該配達日時までの注文をまとめて配達するものであった。それに加えて、図１２に示すように、次の配達時にまとめて配達する他の商品の注文をサービス側からユーザに定期的に促してもよい。なお、定期配達日時に達した場合の処理は、第１の実施の形態のそれらと同様である。
【００４８】
本実施の形態においては、当該処理に加えて図１３に示すように、サーバ１００のＣＰＵ１１０は、定期的に以下の処理を実行する。サーバ１００のＣＰＵ１１０は、端末データ１２１を参照して、定期配達日時の第１の所定時間前、たとえば３時間前、に達した顧客通信端末２００があるか否かを判断する（ステップＳ１２２）。定期配達日時の第１の所定時間前に達した顧客通信端末２００がない場合（ステップＳ１２２にてＮＯである場合）、ＣＰＵ１１０は、次のタイミングまで待機する。
【００４９】
定期配達日時の第１の所定時間前に達した顧客通信端末２００がある場合（ステップＳ１２２にてＹＥＳである場合）、ＣＰＵ１１０は、顧客通信端末２００を特定し（ステップＳ１２４）、通信インターフェイス１６０を介して、ユーザに対する御用聞きメッセージを顧客通信端末２００に送信する（ステップＳ１２６）。ＣＰＵ１１０は、次のタイミングまで待機する。
【００５０】
これによって、顧客通信端末２００は、図１２に示すように、御用聞きを行うことができる。たとえば、ユーザが、商品の注文や購入を忘れている場合に、ロボットからの商品やサービスの提案によって、買い忘れを思い出したりできる可能性がある。
＜第３の実施の形態＞
【００５１】
さらに、図１４に示すように、次回の配達分の注文を確定する旨をユーザに知らしめることが好ましい。たとえば、顧客通信端末２００が、「これまでの注文を確定しました。」という音声メッセージを出力する。なお、定期配達日時に達した場合の処理は第１の実施の形態のそれらと同様である。
【００５２】
本実施の形態においては、図１５に示すように、サーバ１００のＣＰＵ１１０は、定期的に以下の処理を実行する。サーバ１００のＣＰＵ１１０は、端末データ１２１を参照して、定期配達日時の第２の所定時間前、たとえば１時間前または３０分前、に達した顧客通信端末２００があるか否かを判断する（ステップＳ１４２）。定期配達日時の第２の所定時間前に達した顧客通信端末２００がない場合（ステップＳ１４２にてＮＯである場合）、ＣＰＵ１１０は、次のタイミングまで待機する。
【００５３】
定期配達日時の第２の所定時間前に達した顧客通信端末２００がある場合（ステップＳ１４２にてＹＥＳである場合）、ＣＰＵ１１０は、当該顧客通信端末２００を特定し（ステップＳ１４４）、通信インターフェイス１６０を介して、これまでの注文を確定する旨の情報を顧客通信端末２００に送信し（ステップＳ１４６）、当該これまでの注文を確定する（ステップＳ１４８）。なお、ＣＰＵ１１０は、通信インターフェイス１６０を介して、次の配達に間に合う注文の受付を終了する旨の情報を顧客通信端末２００に送信してもよい。
【００５４】
なお、本実施の形態においては、ＣＰＵ１１０は、注文を確定する際に当該注文を注文データ１２５に格納するものであるが、ユーザから注文を受け付けた時点で注文データ１２５に格納し、注文が確定した際に注文ＩＤに対応付けて確定フラグを立てるものであってもよい。ＣＰＵ１１０は、次のタイミングまで待機する。
【００５５】
ＣＰＵ１１０は、ステップＳ１４８の後に、図９の処理を開始したり、ステップＳ１０８やステップＳ１１０の処理を実行したりしてもよい。
【００５６】
これによって、顧客通信端末２００は、図１４に示すように、ユーザに、これまで受け付けた注文が正式に確定した旨のメッセージ、あるいは次の配達に間に合う注文の受付を終了する旨のメッセージを出力することができる。
＜第４の実施の形態＞
【００５７】
さらに図１６に示すように、ユーザのこれまでの購入履歴や店舗の在庫や在庫の賞味期限などに基づいて、サーバ１００が顧客通信端末２００を介してユーザに商品やサービスを提案してもよい。なお、定期配達日時に達した場合の処理は、第１の実施の形態のそれらと同様である。
【００５８】
本実施の形態においては、当該処理に加えて図１７に示すように、サーバ１００のＣＰＵ１１０は、端末データ１２１を参照して、定期配達日時の第１の所定時間前、たとえば２時間前、に達した顧客通信端末２００があるか否かを判断する（ステップＳ１２２）。定期配達日時の第１の所定時間前に達した顧客通信端末２００がない場合（ステップＳ１２２にてＮＯである場合）、ＣＰＵ１１０は、次のタイミングまで待機する。
【００５９】
定期配達日時の第１の所定時間前に達した顧客通信端末２００がある場合（ステップＳ１２２にてＹＥＳである場合）、ＣＰＵ１１０は、当該顧客通信端末２００を特定する（ステップＳ１２４）。ＣＰＵ１１０は、注文データ１２５を参照して、当該顧客通信端末２００のユーザの購入履歴を取得する（ステップＳ１３２）。ＣＰＵ１１０は、購入履歴に基づいて、ユーザに商品やサービスの提案メッセージを作成する（ステップＳ１３４）。
【００６０】
たとえば図１６に示すように、ＣＰＵ１１０は、購入頻度や購入間隔に基づいて、そろそろ無くなりそうな商品を提案する。あるいはＣＰＵ１１０は、毎年の恒例の購入商品を、恒例の季節に提案する。あるいはＣＰＵ１１０は、後述するフィードバックデータなどを参照して、ユーザが高い評価をつけた商品を提案する。なお、商品に限らず、マッサージや楽器の調律や部屋のワックスがけなどのサービスも、過去の注文依頼に基づいて提案してもよい。
【００６１】
図１７に戻って、ステップＳ１３４において、ＣＰＵ１１０は、在庫データ１２４に基づいて、ユーザに対応する店舗の在庫が多い商品を提案するための提案メッセージを作成してもよい。
【００６２】
ＣＰＵ１１０は、通信インターフェイス１６０を介して、提案メッセージをユーザの通信端末に送信する（ステップＳ１３６）。ＣＰＵ１１０は、次のタイミングまで待機する。
【００６３】
これによって、顧客通信端末２００では、図１６に示すように、ユーザに適した商品やサービスの注文の入力を促すことができる。
＜第５の実施の形態＞
【００６４】
さらに図１８に示すように、サーバ１００が顧客通信端末２００を介して、購入された商品やサービスに関するユーザの感想を取得できることが好ましい。なお、定期配達日時に達した場合の処理は、第１の実施の形態のそれらと同様である。
【００６５】
本実施の形態においては、図１９に示すように、商品データ１２２Ｂが、商品毎に、商品コードと、商品の名称と、商品の値段と、配達時からユーザの感想を尋ねるべき時までの間隔と、ユーザの感想を尋ねるべき時刻との対応関係を格納する。
【００６６】
さらに本実施の形態においては、図２０に示すように、メモリ１２０は、フィードバックデータ１２６を記憶する。フィードバックデータ１２６は、ユーザの感想毎に、フィードバックＩＤと、対象となる商品のコードと、ユーザからの回答メッセージと、感想を提供してくれたユーザの顧客通信端末２００のＩＤとの対応関係を格納する。
【００６７】
本実施の形態においては、図２１に示すように、サーバ１００のＣＰＵ１１０は、定期的に以下の処理を実行する。サーバ１００のＣＰＵ１１０は、端末データ１２１を参照して、ユーザの感想の確認日時に達した顧客通信端末２００があるか否かを判断する（ステップＳ１９２）。確認日時に達した顧客通信端末２００がない場合（ステップＳ１９２にてＮＯである場合）、ＣＰＵ１１０は、次のタイミングまで待機する。
【００６８】
確認日時に達した顧客通信端末２００がある場合（ステップＳ１９２にてＹＥＳである場合）、ＣＰＵ１１０は、当該顧客通信端末２００を特定し（ステップＳ１９４）、通信インターフェイス１６０を介して、配達した商品の感想を尋ねる（ステップＳ１９６）。これによって、図１８に示すように、ユーザの通信端末は、ユーザに、購入した商品の評価を促す。たとえば、弁当などの場合は配達から２時間程度後に感想を聞くことが好ましく、インスタント食品などは配達から２４時間程度後に感想を聞くことが好ましく、衣類などは配達から１カ月程度後に感想を聞くことが好ましい。
【００６９】
ＣＰＵ１１０は、通信インターフェイス１６０を介して、顧客通信端末２００からユーザの感想を受け付けると（ステップＳ１９８にてＹＥＳである場合）、当該感想をフィードバックデータ１２６に蓄積する（ステップＳ１９９）。
【００７０】
なお、フィードバックデータ１２６は、各種サーバやサービスの管理者が、顧客毎の嗜好を把握したり、人気の商品やサービスを把握したりするために利用される。
＜第６の実施の形態＞
【００７１】
第１〜第５の実施の形態のネットワークシステム１において、さらに、図２２に示すように、店舗の従業員などが、ユーザに提案する商品やサービスを指定できてもよい。なお、定期配達日時に達した場合の処理は、第１の実施の形態のそれらと同様である。
【００７２】
本実施の形態においては、当該処理に加えて図２３に示すように、サーバ１００のＣＰＵ１１０は、端末データ１２１を参照して、定期配達日時の第１の所定時間前、たとえば２時間前、に達した顧客通信端末２００があるか否かを判断する（ステップＳ１２２）。定期配達日時の第１の所定時間前に達した顧客通信端末２００がない場合（ステップＳ１２２にてＮＯである場合）、ＣＰＵ１１０は、次のタイミングまで待機する。
【００７３】
定期配達日時の第１の所定時間前に達した顧客通信端末２００がある場合（ステップＳ１２２にてＹＥＳである場合）、ＣＰＵ１１０は、当該顧客通信端末２００を特定する（ステップＳ１２４）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、通信端末に対応する店舗の店舗通信端末３００へ提案する商品やサービスの入力を受け付けるためのページデータを送信する（ステップＳ１２８Ｂ）。
【００７４】
このとき、店舗通信端末３００においては、図２２に示すように、ＣＰＵ３１０が、サーバ１００からのデータに基づいて、対象となっているユーザに提案すべき商品やサービスを受け付けるためのページをディスプレイ３３０に表示させる。ＣＰＵ３１０は、ユーザに提案すべき商品やサービスを受け付けると、通信インターフェイス３６０を介して、サーバ１００に送信する。
【００７５】
図２３に戻って、ＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗通信端末３００から商品やサービスの指定を受付けた場合（ステップＳ１２９にてＹＥＳである場合）、店舗からの指定に基づいて、ユーザに商品やサービスを提案するための提案メッセージを作成する（ステップＳ１３４Ｂ）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、提案メッセージを顧客通信端末２００に送信する（ステップＳ１３６Ｂ）。ＣＰＵ１１０は、次のタイミングまで待機する。
【００７６】
これによって、顧客通信端末２００では、図１６に示すように、ユーザに適した商品やサービスの注文の入力を促すことができる。
＜第７の実施の形態＞
【００７７】
さらには、ユーザのこれまでの購入履歴や店舗の在庫や在庫の賞味期限などに基づいて、サーバ１００が店舗通信端末３００にユーザに提案する商品やサービスを選択可能に提案させてもよい。たとえば、図２４に示すように、店舗通信端末３００は、サーバ１００からのデータに基づいて、ユーザが注文する可能性が高い商品やサービスを選択可能に表示する。なお、定期配達日時に達した場合の処理は、第１の実施の形態のそれらと同様である。
【００７８】
本実施の形態においては、当該処理に加えて図２５に示すように、サーバ１００のＣＰＵ１１０は、端末データ１２１を参照して、定期配達日時の第１の所定時間前、たとえば２時間前、に達した顧客通信端末２００があるか否かを判断する（ステップＳ１２２）。定期配達日時の第１の所定時間前に達した顧客通信端末２００がない場合（ステップＳ１２２にてＮＯである場合）、ＣＰＵ１１０は、次のタイミングまで待機する。
【００７９】
定期配達日時の第１の所定時間前に達した顧客通信端末２００がある場合（ステップＳ１２２にてＹＥＳである場合）、ＣＰＵ１１０は、当該顧客通信端末２００を特定する（ステップＳ１２４）。ＣＰＵ１１０は、注文データ１２５を参照して、顧客通信端末２００のユーザの購入履歴を取得する（ステップＳ１３２）。ＣＰＵ１１０は、購入履歴に基づいて、ユーザに提案すると好ましい商品やサービスの選択命令を受け付けるためのページデータを、顧客通信端末２００に対応する店舗の店舗通信端末３００へ送信する（ステップＳ１２８Ｂ）。なお、ＣＰＵ１１０は、フィードバックデータ１２６を参照して、対象となる顧客通信端末２００のユーザの嗜好にあった商品やサービスの提案を店舗の店員に提案することも好ましい。
【００８０】
なお、ステップＳ１２８Ｂにおいて、ＣＰＵ１１０は、在庫データ１２４に基づいて、ユーザに対応する店舗の在庫が多い商品の選択命令を受け付けるためのページデータや、賞味期限の近い商品の選択命令を受け付けるためのページデータを、顧客通信端末２００に対応する店舗の店舗通信端末３００へ送信してもよい。
【００８１】
その後の処理は、第６の実施の形態と同様であるため、ここではそれらの説明を繰り返さない。
＜第８の実施の形態＞
【００８２】
第１から第７の実施の形態の技術に合わせて、本実施の形態においては、ユーザの理解を助けるために顧客通信端末２００の近傍のテレビ４００に参考となる映像を表示させるものである。なお、映像とは、静止画像、動画像、テキストなど、ディスプレイやプロジェクタなどによって表示させるもの全般をいう。たとえば、図２６に示すように、ユーザが顧客通信端末２００を介して入力した商品を、テレビ４００に列挙して表示するものである。
【００８３】
本実施の形態においては、サーバ１００のメモリ１２０は、図２７に示すような近傍ディスプレイデータ１２７を記憶する。近傍ディスプレイデータ１２７は、ユーザによる登録やＢｌｕｅｔｏｏｔｈ（登録商標）のペアリングなどによって設定される、顧客通信端末２００とそれの近傍に配置されているテレビ４００との対応関係を含む。
【００８４】
本実施の形態においては、サーバ１００のＣＰＵ１１０は、図２８に示す処理を実行する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００に、ユーザとの音声対話を実行させる（ステップＳ１５２）。ＣＰＵ１１０は、ユーザからの商品やサービスの注文を受け付けると（ステップＳ１５４にてＹＥＳである場合）、当該注文に関するテレビ用画像を作成する（ステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該テレビ用画像を顧客通信端末２００に対応するテレビ４００に送信する。
【００８５】
これによって、ユーザのテレビ４００は、図２６に示すように、ユーザが音声入力した商品やサービスの注文を表示する。ユーザは、テレビ４００の情報を観ながら、顧客通信端末２００との音声対話を実行することができる。
【００８６】
なお、テレビ４００は、図２９に示すように、主たる構成要素として、ＣＰＵ４１０と、メモリ４２０と、ディスプレイ４３０と、操作部４４０と、通信インターフェイス４６０と、スピーカ４７０と、チューナ４８０と、赤外線受光部４９０とを含む。
【００８７】
ＣＰＵ４１０は、メモリ４２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、テレビ４００の各部を制御する。
【００８８】
メモリ４２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ４２０は、ＣＰＵ４１０によって実行される機器駆動プログラムや対話プログラムやその他のプログラムや、ＣＰＵ４１０によるプログラムの実行により生成されたデータ、他のサーバから受信したデータ、操作部４４０を介して入力されたデータなどを記憶する。
【００８９】
ディスプレイ４３０は、テレビジョン放送などの映像を出力する。また、ＣＰＵ４１０からの信号に基づいて、サーバ１００からの文字や画像などを出力する。ディスプレイ４３０は、複数のＬＥＤライトなどであってもよい。
【００９０】
操作部４４０は、ボタン、タッチパネルなどによって実現され、ユーザからの命令を受け付けて、当該命令をＣＰＵ４１０に入力する。なお、ディスプレイ４３０と操作部４４０とは、タッチパネルを構成してもよい。
【００９１】
通信インターフェイス４６０は、無線ＬＡＮ通信あるいは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス４６０は、有線通信あるいは無線通信によって対話サービス用のサーバ１００などの他の装置との間でデータをやり取りする。
【００９２】
スピーカ４７０は、テレビジョン放送などの音声を出力する。あるいは、ＣＰＵ４１０が、通信インターフェイス４６０を介してサーバ１００から受信した音声データに基づいてスピーカ４７０に音声を出力させる。
＜第９の実施の形態＞
【００９３】
第８の実施の形態は、サーバ１００がテレビ４００に映像データを送信するものであった。しかしながら、図３０に示すように、テレビ４００は、別のサーバ１００ＢのＷｅｂページから画像を取得してもよい。
【００９４】
たとえば、サーバ１００のメモリ１２０は、図３１に示すような商品データ１２２Ｃを記憶する。商品データ１２２Ｃは、商品毎に、商品コードと、商品の名称と、商品の値段と、販売からユーザの感想を尋ねるまでの期間と、ユーザの感想を尋ねるべき時刻と、商品の詳細を表示するためのページのＵＲＬ情報との対応関係を格納する。
【００９５】
本実施の形態においては、サーバ１００のＣＰＵ１１０は、図３２に示す処理を実行する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００に、ユーザとの音声対話を実行させる（ステップＳ１５２）。ＣＰＵ１１０は、商品データ１２２Ｃを参照して、当該対話に関する商品に関する詳しい情報が準備されているか否かを判断する（ステップＳ１５４Ｂ）。
【００９６】
ＣＰＵ１１０は、当該質問に関する商品に対応する映像が準備されている場合、対応するＵＲＬ情報を作成して（ステップＳ１５６Ｂ）、通信インターフェイス１６０を介して、当該ＵＲＬ情報を顧客通信端末２００に対応するテレビ４００に送信する（ステップＳ１５８Ｂ）。テレビ４００は、当該ＵＲＬ情報に基づいて、画像を含む当該商品に関する詳しい情報を受信して表示する。
＜第１０の実施の形態＞
【００９７】
あるいは、図３３に示すように、ロボットなどの顧客通信端末２００を介してユーザからの問い掛けを受け付けた場合に、ユーザの理解を助けるために顧客通信端末２００の近傍のテレビ４００に参考画像を表示させてもよい。
【００９８】
すなわち、本実施の形態においては、サーバ１００のＣＰＵ１１０は、図３３に示す処理を実行する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００に、ユーザとの音声対話を実行させる（ステップＳ１５２）。ＣＰＵ１１０は、ユーザからの質問を受け付けると（ステップＳ１５３にてＹＥＳである場合）、商品データ１２２Ｃを参照して、当該質問に関する商品に関する詳しい情報が準備されているか否かを判断する（ステップＳ１５４Ｂ）。
【００９９】
ＣＰＵ１１０は、当該質問に関する商品に対応する映像が準備されている場合、対応するＵＲＬ情報を作成して（ステップＳ１５６Ｂ）、通信インターフェイス１６０を介して、当該ＵＲＬ情報を顧客通信端末２００に対応するテレビ４００に送信する（ステップＳ１５８Ｂ）。テレビ４００は、当該ＵＲＬ情報に基づいて、画像を含む当該商品に関する詳しい情報を受信して表示する。
＜第１１の実施の形態＞
【０１００】
あるいは、図３４に示すように、顧客通信端末２００の近傍にテレビ４００がある場合に参考画像を表示するものであってもよい。
【０１０１】
すなわち、本実施の形態においては、サーバ１００のＣＰＵ１１０は、図３４に示す処理を実行する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００に、ユーザとの音声対話を実行させる（ステップＳ１５２）。ＣＰＵ１１０は、ユーザからの質問を受け付けると（ステップＳ１５２にてＹＥＳである場合）、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００の周囲にテレビ４００があるか否かを判断する（ステップＳ１５４Ｃ）。
【０１０２】
たとえば、顧客通信端末２００に電源ＯＮボタンやチャンネル切り替えボタンの制御信号を発信させて、テレビの電源がついたり、テレビのチャンネルが切り替わったりすると（ステップＳ１５４ＣにてＹＥＳである場合）、ＣＰＵ１１０は、対応するＵＲＬ情報を作成して（ステップＳ１５６Ｂ）、通信インターフェイス１６０を介して、当該ＵＲＬ情報を顧客通信端末２００に対応するテレビ４００に送信する（ステップＳ１５８Ｂ）。テレビ４００は、当該ＵＲＬ情報に基づいて、画像を含む当該商品に関する詳しい情報を受信して表示する。
＜第１２の実施の形態＞
【０１０３】
あるいは、図３５に示すように、ユーザが選択すべき複数の候補がある場合にサーバ１００がテレビ４００に参考画像を表示させるものであってもよい。すなわち、音声だけではユーザが所望の情報を選択しにくいと予想される場合に、複数の候補の映像をテレビ４００に表示させるのである。
【０１０４】
すなわち、本実施の形態においては、サーバ１００のＣＰＵ１１０は、図３５に示す処理を実行する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００に、ユーザとの音声対話を実行させる（ステップＳ１５２）。ＣＰＵ１１０は、ユーザに複数の候補を示す必要があるか否かを判断する（ステップＳ１５４Ｄ）。ユーザに複数の候補を示す必要がある場合（ステップＳ１５４ＤにてＹＥＳである場合）、ＣＰＵ１１０は、複数の候補のうちの１つの候補に関する情報に基づいて、当該注文に関するテレビ用画像を作成する（ステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該テレビ用画像をユーザの通信端末に対応するテレビ４００に送信する（ステップＳ１５８）。このとき、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該テレビ用画像に対応する音声をテレビ４００に出力させることが好ましい。
【０１０５】
より詳細には、本実施の形態においては、図３６（Ａ）に示すように、ユーザが「次」という文言を発すると、当該音声を顧客通信端末２００から受け付けたサーバ１００のＣＰＵ１１０は、図３６（Ｂ）に示すように、通信インターフェイス１６０を介して、複数の候補のうちの１つ次の画像を顧客通信端末２００に対応するテレビ４００に表示させる。このとき、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該１つ次の画像に対応する音声をテレビ４００に出力させることが好ましい。顧客通信端末２００からの音声に基づいて、ユーザが商品やサービスを決定する旨の音声を顧客通信端末２００に入力すると、図３６（Ｃ）に示すように、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、ユーザの商品の決定命令を受け付けて、当該商品の詳細画面をテレビ４００に表示させる。このとき、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該商品の詳細画面に対応する音声をテレビ４００に出力させることが好ましい。
【０１０６】
逆に、図３７（Ａ）に示すように、ユーザが「前」という文言を発すると、当該音声を顧客通信端末２００から受け付けたサーバ１００のＣＰＵ１１０は、図３７（Ｂ）に示すように、通信インターフェイス１６０を介して、複数の候補のうちの１つ前の画像を顧客通信端末２００に対応するテレビ４００に表示させる。このとき、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該１つ前の画像に対応する音声をテレビ４００に出力させることが好ましい。顧客通信端末２００からの音声に基づいて、ユーザが商品やサービスを決定する旨の音声を顧客通信端末２００に入力すると、図３７（Ｃ）に示すように、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、ユーザの商品の決定命令を受け付けて、当該商品の詳細画面をテレビ４００に表示させる。このとき、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該商品の詳細画面に対応する音声をテレビ４００に出力させることが好ましい。
【０１０７】
より詳細には、本実施の形態においては、サーバ１００のＣＰＵ１１０は、図３８に示す処理を実行する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００に、ユーザとの音声対話を実行させる（ステップＳ１５２）。ＣＰＵ１１０は、「次」という文言を受け付けると（ステップＳ１６２にてＹＥＳである場合）、通信インターフェイス１６０を介して、複数の候補のうちの次の画像のデータと当該次の画像に対応する音声データとをロボットなどの顧客通信端末２００に対応するテレビ４００に送信する（ステップＳ１６４）。
【０１０８】
「次」という文言を受け付けなかった場合（ステップＳ１６２にてＮＯである場合）、ＣＰＵ１１０は、「前」という文言を受け付けると（ステップＳ１６６にてＹＥＳである場合）、通信インターフェイス１６０を介して、複数の候補のうちの前の画像のデータと当該前の画像に対応する音声データとをロボットなどの顧客通信端末２００に対応するテレビ４００に送信する（ステップＳ１６８）。
【０１０９】
「前」という文言を受け付けなかった場合（ステップＳ１６６にてＮＯである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、ユーザからの確定命令を受け付けたか否かを判断する（ステップＳ１７０）。ユーザからの確定命令を受け付けると（ステップＳ１７２にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、商品やサービスの詳細画像と当該詳細画像に対応する音声データとをロボットなどの顧客通信端末２００に対応するテレビ４００に送信する（ステップＳ１７２）。
【０１１０】
なお、複数の候補からの選択方法は、図３９のような方法であってもよい。すなわち、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、複数の候補の画像をユーザのロボットなどの顧客通信端末２００に対応するテレビ４００に送信する。図３９（Ａ）に示すように、テレビ４００は、サーバ１００の指示に従って、複数の候補の画像を、マトリクス状に、選択可能に表示させる。ユーザが、上から何番目（下から何番目）、左から何番目（右から何番目）かを指定すると、図３９（Ｂ）に示すように、指示された画像の表示を他の画像と異なる形式で表示させる。
【０１１１】
顧客通信端末２００からの音声に基づいて、ユーザが商品やサービスを決定する旨の音声を顧客通信端末２００に入力すると、図３９（Ｃ）に示すように、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、ユーザの商品の決定命令を受け付けて、当該商品の詳細画面をテレビ４００に表示させる。このとき、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該商品の詳細画面に対応する音声をテレビ４００に出力させることが好ましい。
【０１１２】
より詳細には、本実施の形態においては、サーバ１００のＣＰＵ１１０は、図４０に示す処理を実行する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボットなどの顧客通信端末２００に、ユーザとの音声対話を実行させる（ステップＳ１５２）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、上下方向の指定、すなわち行の指定を待ち受ける（ステップＳ１６７）。上下方向の指定を受け付けると（ステップＳ１６７にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、左右方向の指定、すなわち列の指定を待ち受ける（ステップＳ１６８）。
【０１１３】
ＣＰＵ１１０は、左右方向の指定を受付けると（ステップＳ１６８にてＹＥＳである場合）、ユーザからの確定命令を待ち受ける（ステップＳ１７０）。ＣＰＵ１１０は、確定命令を受け付けると（ステップＳ１７０にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、商品やサービスの詳細画像と当該詳細画像に対応する音声データとをロボットなどの顧客通信端末２００に対応するテレビ４００に送信する（ステップＳ１７２）。
【０１１４】
なお、複数の候補の画像は、横だけに一列に並べて、右または左から何番目という音声命令を受け付けるものであってもよいし、縦だけに一列に並べて、上または下から何番目という音声命令を受け付けるものであってもよい。
＜第１３の実施の形態＞
【０１１５】
第８〜第１２の実施の形態においては、音声対話によってユーザから商品やサービスの注文を受け付けるものであった。しかしながら、そのような形態には限られない。たとえば、図４１に示すように、サーバ１００が、ロボットなどの顧客通信端末２００を介して各種のレクチャーの音声をユーザに出力する場合に、近傍のテレビ４００に当該レクチャーに関する画像を表示するものであってもよい。つまり、顧客通信端末２００がコーチ役を演じ、テレビ４００の画像が参考映像を出力するものである。
【０１１６】
この場合には、メモリ１２０が、レクチャーの音声データと映像データとの対応関係を記憶する。そして、ＣＰＵ１１０が、音声データの進行に合わせて、通信インターフェイス１６０を介して映像データをテレビ４００に提供する、あるいは、映像データの進行に合わせて、通信インターフェイス１６０を介して音声データを顧客通信端末２００に提供する。
【０１１７】
たとえば、メモリ１２０が図４２に示すような音声映像データ１２８を格納する。音声映像データ１２８は、コンテンツのセクション毎に、コンテンツＩＤと、セクションＩＤと、音声ＩＤと、音声の出力時間と、映像ＩＤと、映像の出力時間との対応関係を含む。そして、ＣＰＵ１１０は音声映像データ１２８を参照して、通信インターフェイス１６０を介して音声データを顧客通信端末２００に提供しつつ、通信インターフェイス１６０を介して音声データに対応する映像データを顧客通信端末２００に対応するテレビ４００に提供する。
【０１１８】
なお、サーバ１００は、ロボットなどの顧客通信端末２００による音声の説明を補足するための静止画像、動画像、テキストなどを、顧客通信端末２００に対応するディスプレイやプロジェクタなどに表示させればよいものである。たとえば、場所を説明するための音声だけではユーザが解りにくい場合に地図を表示させたり、ニュースの音声だけではユーザが思い出しにくい可能性が高い場合に政治家や芸能人の写真を表示させたりすることが有用である。
＜第１４の実施の形態＞
【０１１９】
第１〜第１３の実施の形態のような、サーバ１００や顧客通信端末２００や店舗通信端末３００の構造・機能・動作に限られず、たとえば各装置の役割が、他のサーバやデータベースなどの複数の装置に分担されてもよい。逆に、複数の装置の役割の一部または全部が１つの装置に集約されてもよい。
＜まとめ＞
【０１２０】
上記の実施の形態においては、スピーカ２７０を含む第１の端末２００と、ディスプレイ４３０を含む第２の端末４００と、第１の端末２００に音声を出力させ、音声に関する映像を第２の端末４００に表示させるためのサーバ１００と、を備えるネットワークシステム１が提供される。
【０１２１】
好ましくは、第２の端末４００は、音声に関する複数の映像を取得可能である。サーバ１００は、第１の端末２００を介してユーザからの第１の命令を受ける度に、第２の端末４００に音声に関する複数の映像を順に表示させる。
【０１２２】
好ましくは、サーバ１００は、第１の端末２００を介してユーザからの第２の命令を受ける度に、第２の端末４００に音声に関する複数の映像を逆の順に表示させる。
【０１２３】
好ましくは、サーバは、第２の命令に応じた映像に対応する音声を第２の端末に出力させる。
【０１２４】
好ましくは、第２の端末４００は、音声に関する複数の映像を取得可能である。サーバ１００は、第２の端末４００に、音声に関する複数の映像を選択可能に並べて表示させる。
【０１２５】
好ましくは、サーバ１００は、第１の端末２００を介して、左右のいずれかから何番目であるか、および／または、上下のいずれかから何番目であるか、を指定する音声命令を受け付けて、いずれかの映像に関する詳細な画面を第２の端末４００に表示させる。
【０１２６】
好ましくは、サーバは、詳細な画面に対応する音声を第２の端末に出力させる。
【０１２７】
好ましくは、サーバ１００は、第１の端末２００にレクチャー用の音声を出力させ、音声に関する説明用の映像を第２の端末４００に表示させる。
【０１２８】
上記の実施の形態においては、サーバ１００が、第１の端末２００に音声を出力させるステップと、サーバ１００が、音声に関する映像を第２の端末４００に表示させるステップと、を備えるネットワークシステム１の情報処理方法が提供される。
【０１２９】
上記の実施の形態においては、第１および第２の端末２００，４００と通信するための通信インターフェイス１６０と、通信インターフェイス１６０を利用して、第１の端末２００に音声を出力させ、音声に関する映像を第２の端末４００に表示させるためのプロセッサ１１０と、を備えるサーバ１００が提供される。
【０１３０】
上記の実施の形態においては、第１および第２の端末２００，４００と通信するための通信インターフェイス１６０と、プロセッサ１１０と、を含むサーバ１００における情報処理方法が提供される。情報処理方法は、プロセッサ１１０が、通信インターフェイス１６０を利用して、第１の端末２００に音声を出力させるステップと、プロセッサ１１０が、通信インターフェイス１６０を利用して、音声に関する映像を第２の端末４００に表示させるステップと、を備える。
＜その他の応用例＞
【０１３１】
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０１３２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１３３】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１３５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３６】
１          ：ネットワークシステム
１００      ：サーバ
１００Ｂ    ：サーバ
１１０      ：ＣＰＵ
１２０      ：メモリ
１２１      ：端末データ
１２２      ：商品データ
１２３      ：店舗データ
１２４      ：在庫データ
１２５      ：注文データ
１２６      ：フィードバックデータ
１２７      ：近傍ディスプレイデータ
１２８      ：音声映像データ
１４０      ：操作部
１６０      ：通信インターフェイス
２００      ：顧客通信端末
２１０      ：ＣＰＵ
２２０      ：メモリ
２３０      ：ディスプレイ
２４０      ：操作部
２５０      ：カメラ
２６０      ：通信インターフェイス
２７０      ：スピーカ
２８０      ：マイク
３００      ：店舗通信端末
３１０      ：ＣＰＵ
３２０      ：メモリ
３３０      ：ディスプレイ
３４０      ：操作部
３６０      ：通信インターフェイス
４００      ：テレビ
４１０      ：ＣＰＵ
４２０      ：メモリ
４３０      ：ディスプレイ
４４０      ：操作部
４６０      ：通信インターフェイス
４７０      ：スピーカ
４８０      ：チューナ
４９０      ：赤外線受光部
【図１】
2019036027.tif 000003
【図２】
2019036027.tif 000004
【図３】
2019036027.tif 000005
【図４】
2019036027.tif 000006
【図５】
2019036027.tif 000007
【図６】
2019036027.tif 000008
【図７】
2019036027.tif 000009
【図８】
2019036027.tif 000010
【図９】
2019036027.tif 000011
【図１０】
2019036027.tif 000012
【図１１】
2019036027.tif 000013
【図１２】
2019036027.tif 000014
【図１３】
2019036027.tif 000015
【図１４】
2019036027.tif 000016
【図１５】
2019036027.tif 000017
【図１６】
2019036027.tif 000018
【図１７】
2019036027.tif 000019
【図１８】
2019036027.tif 000020
【図１９】
2019036027.tif 000021
【図２０】
2019036027.tif 000022
【図２１】
2019036027.tif 000023
【図２２】
2019036027.tif 000024
【図２３】
2019036027.tif 000025
【図２４】
2019036027.tif 000026
【図２５】
2019036027.tif 000027
【図２６】
2019036027.tif 000028
【図２７】
2019036027.tif 000029
【図２８】
2019036027.tif 000030
【図２９】
2019036027.tif 000031
【図３０】
2019036027.tif 000032
【図３１】
2019036027.tif 000033
【図３２】
2019036027.tif 000034
【図３３】
2019036027.tif 000035
【図３４】
2019036027.tif 000036
【図３５】
2019036027.tif 000037
【図３６】
2019036027.tif 000038
【図３７】
2019036027.tif 000039
【図３８】
2019036027.tif 000040
【図３９】
2019036027.tif 000041
【図４０】
2019036027.tif 000042
【図４１】
2019036027.tif 000043
【図４２】
2019036027.tif 000044