(57)【要約】【課題】音声によるプッシュ型の情報提供に好適な音声アシスト技術を提供すること。【解決手段】スマートスピーカデバイス１０１０で、ユーザが使用しているユーザ端末１５００から発する音や、ユーザ自身がたてる環境音を集音する。スマートスピーカサーバシステム１０２０は、集音データを音声検索データベース１０４０で音声認識して、ユーザ端末１５００で実行されているアプリケーション及び利用状況の回答を取得する。そして、実行されているアプリケーションのアプリサーバシステム１３００から、利用状況に対応する関連音声データを取得して、スマートスピーカデバイス１０１０から音出力させる。【選択図】図３
2020009213.tif 000002
【特許請求の範囲】
【請求項１】
サーバシステムから提供されるサービスに対応するアプリケーションを実行可能なユーザ端末と、前記サービス毎の前記サーバシステムと、スマートスピーカデバイス（以下単に「デバイス」という）と、スマートスピーカサーバシステムと、を具備するコンピュータシステムにおける前記スマートスピーカサーバシステムであって、
所与の音データに関連する前記アプリケーションを判別することが可能な音声検索データベースシステム（以下「音声検索ＤＢＭＳ」という）を有する、或いは、前記音声検索ＤＢＭＳと通信可能に構成されており、
前記デバイスのデバイスＩＤと、当該デバイスを使用するユーザの使用ユーザＩＤとを関連付けて管理する管理手段と、
前記デバイスから送信される集音データを受信する集音データ受信手段と、
前記集音データに関連する前記アプリケーションを前記音声検索ＤＢＭＳに問い合わせる音声検索制御手段と、
前記問い合わせによって得られた回答に基づいて、前記デバイスの使用ユーザが前記ユーザ端末で実行しているアプリケーションを判断する実行アプリ判断手段と、
前記実行アプリ判断手段により実行中と判断されたアプリケーションに関連する所与の音声を前記デバイスから出力させる実行アプリ関連音声出力制御手段と、
を備えたスマートスピーカサーバシステム。
【請求項２】
サーバシステムから提供されるサービスに対応するアプリケーションを実行可能なユーザ端末と、前記サービス毎の前記サーバシステムと、スマートスピーカデバイス（以下単に「デバイス」という）と、スマートスピーカサーバシステムと、を具備するコンピュータシステムにおける前記スマートスピーカサーバシステムであって、
前記サーバシステムは、所与の音データが、当該サーバシステムが提供するサービスに関する音であるか否か検出可能な音声検索データベースシステム（以下「音声検索ＤＢＭＳ」という）を有しており、
前記デバイスのデバイスＩＤと、当該デバイスを使用するユーザの使用ユーザＩＤとを関連付けて管理する管理手段と、
前記デバイスから送信される集音データを受信する集音データ受信手段と、
前記集音データを前記サーバシステムに送信して、提供しているサービスが当該集音データに係る音に関するサービスか否かを問い合わせる音声検索制御手段と、
前記問い合わせによって得られた回答に基づいて、前記デバイスの使用ユーザが前記ユーザ端末で実行しているアプリケーションを判断する実行アプリ判断手段と、
前記実行アプリ判断手段により実行中と判断されたアプリケーションに関連する所与の音声を前記デバイスから出力させる実行アプリ関連音声出力制御手段と、
を備えたスマートスピーカサーバシステム。
【請求項３】
前記アプリケーションは、ゲームアプリケーションであり、
前記サーバシステムは、オンラインゲームを前記サービスとして提供するゲームサーバシステムであり、
前記実行アプリ判断手段は、前記デバイスの使用ユーザがプレイ中のゲームを判断し、
前記実行アプリ関連音声出力制御手段は、プレイ中と判断されたゲームに関連する音声を前記デバイスから出力させる、
請求項１に記載のスマートスピーカサーバシステム。
【請求項４】
前記実行アプリ判断手段は、
前記回答に基づいて、プレイ中のゲーム候補を絞り込む絞り込み手段と、
前記ゲーム候補のゲームを提供する前記ゲームサーバシステムそれぞれにアクセスして前記デバイスの使用ユーザがプレイ中か否かを照会する利用中照会手段と、
前記照会の結果に基づいて前記デバイスの使用ユーザがプレイ中のゲームを確定判断する手段と、
を有する、
請求項３に記載のスマートスピーカサーバシステム。
【請求項５】
前記管理手段は、前記デバイスＩＤおよび前記使用ユーザＩＤに、前記使用ユーザＩＤのユーザが前記ユーザ端末を用いてプレイするゲームとして設定されたプレイ対象ゲームを更に関連付けて管理し、
前記絞り込み手段は、前記回答と、前記集音データを送信した前記デバイスのデバイスＩＤに関連付けて管理されている前記プレイ対象ゲームとに基づいて、プレイ中のゲーム候補を絞り込む、
請求項４に記載のスマートスピーカサーバシステム。
【請求項６】
前記実行アプリ関連音声出力制御手段は、プレイ中と判断されたゲームを提供する前記ゲームサーバシステムから、前記デバイスの使用ユーザがプレイ中のゲーム状況に関連する音声データを受信し、当該受信した音声データを前記デバイスから出力させる制御を行う、
請求項２〜５の何れか一項に記載のスマートスピーカサーバシステム。
【請求項７】
前記ゲーム状況に関連する音声データは、プレイ中と判断されたゲームを攻略するためのヒントの音声データである、
請求項６に記載のスマートスピーカサーバシステム。
【請求項８】
前記実行アプリ判断手段によりプレイ中と判断されたゲーム以外のゲームを勧誘するための所与の勧誘音声を前記デバイスから出力させる勧誘音声出力制御手段、
を更に備えた請求項２〜７の何れか一項に記載のスマートスピーカサーバシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートスピーカサーバシステムに関する。
【背景技術】
【０００２】
音声入力によりコンピュータ等に所定の機能を実行させる技術が知られている。例えば、特許文献１や特許文献２には、記録された音楽データから、ユーザの好みに応じた音楽データを、音声入力を用いて検索して再生させる音楽データ再生装置の技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２７６５６０号公報
【特許文献２】特開２０１０−１５６９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年では、「スマートスピーカ」と呼ばれる端末装置と、ＡＩ（Artificial Intelligence）技術を用いた音声認識処理等をクラウドサービスとして提供する「スマートスピーカサーバシステム」とが連携することで、より人の会話に近い形式の音声入力で、様々なバックエンド処理が可能な音声アシストシステムが利用されるようになった。
【０００５】
「スマートスピーカ」は、音声入力で様々な機能を実現するためのフロントエンド端末となるコンピュータシステムである。例えば、複数の指向性のマイクロフォンと、指向性のスピーカと、通信回線に接続するための通信機と、制御基板とを搭載する。制御基板には、ＣＰＵ、ＩＣメモリ、インターフェースＩＣなどが搭載されており、プログラムを実行することで、様々な機能を実現する。例えば、質問とそれへの回答音声出力や、音楽の再生制御、家電の音声入力による遠隔操作、電子メールの読み上げ、指定したウェブサイトのテキストの読み上げ、などができる。なお、同様の機能を備えている機器であれば、その呼び名はスマートスピーカに限らない。ＡＩスピーカ、インテリジェントスピーカ、ホームアシスタント、音声アシスタント、などの呼称であっても良い。
【０００６】
「スマートスピーカサーバシステム」は、スマートスピーカを介してユーザに提供される機能を実現するためのバックグラウンド処理を担うクラウドサービスを提供するコンピュータシステムである。具体的には、例えば「質問と回答」の機能であれば、スマートスピーカから受信した音声データを音声認識して、予め設定されているジョブ（スマートスピーカを介してユーザに提供される機能）を実行する。そして、実行したジョブの結果として得られた音声データをスマートスピーカへ送信することができる。ジョブの内容は適宜設定可能であり、ジョブの定義に従って、様々なバックエンドのクラウドサービスにアクセスして、求められる情報を検索したり、様々な機器を遠隔操作したりすることができる。
【０００７】
さて、公知のそうした発展型の音声アシストシステムでは、ユーザ自らが発意して所望するサービスを機能させるための音声入力を行う必要があった。例えば、天気予報が知りたければ「（ウェイクアップワード）、（地名）の天気予報を教えて」と言った具合に、ユーザが所望するサービスに関連する用語を用いて、スマートスピーカに話しかける必要があった。しかし、この方式はいわゆるプル型の情報取得であって、プッシュ型の情報提供は実現し得なかった。
【０００８】
本発明は、音声によるプッシュ型の情報提供に好適な音声アシスト技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するための第１の発明は、サーバシステムから提供されるサービスに対応するアプリケーションを実行可能なユーザ端末と、前記サービス毎の前記サーバシステムと、スマートスピーカデバイス（以下単に「デバイス」という）と、スマートスピーカサーバシステムと、を具備するコンピュータシステムにおける前記スマートスピーカサーバシステムであって、
所与の音データに関連する前記アプリケーションを判別することが可能な音声検索データベースシステム（以下「音声検索ＤＢＭＳ」という）を有する、或いは、前記音声検索ＤＢＭＳと通信可能に構成されており、
前記デバイスのデバイスＩＤと、当該デバイスを使用するユーザの使用ユーザＩＤとを関連付けて管理する管理手段（例えば、図７のスマートスピーカサーバ処理部２００ｓ、使用ユーザ管理部２２０、スマートスピーカサーバ記憶部５００ｓ、図８の使用ユーザ管理データ６１０）と、
前記デバイスから送信される集音データを受信する集音データ受信手段（例えば、図７のスマートスピーカサーバ処理部２００ｓ、集音データ受信制御部２２６、通信制御部２９０ｓ、通信部３９０ｓ、図８の受信済集音データ６５２、図１３のステップＳ２０）と、
前記集音データに関連する前記アプリケーションを前記音声検索ＤＢＭＳに問い合わせる音声検索制御手段（例えば、図７のスマートスピーカサーバ処理部２００ｓ、音声検索制御部２２８、図１３のステップＳ２２）と、
前記問い合わせによって得られた回答に基づいて、前記デバイスの使用ユーザが前記ユーザ端末で実行しているアプリケーションを判断する実行アプリ判断手段（例えば、図７のスマートスピーカサーバ処理部２００ｓ、実行アプリ判断部２３０、図１３のステップＳ４０）と、
前記実行アプリ判断手段により実行中と判断されたアプリケーションに関連する所与の音声を前記デバイスから出力させる実行アプリ関連音声出力制御手段（例えば、図７のスマートスピーカサーバ処理部２００ｓ、実行アプリ関連音声出力制御部２４０、図８の受信済関連音声データ６５７、図１３のステップＳ６６、ステップＳ８０）と、を備えたスマートスピーカサーバシステムである。
【００１０】
第２の発明は、サーバシステムから提供されるサービスに対応するアプリケーションを実行可能なユーザ端末と、前記サービス毎の前記サーバシステムと、スマートスピーカデバイス（以下単に「デバイス」という）と、スマートスピーカサーバシステムと、を具備するコンピュータシステムにおける前記スマートスピーカサーバシステムであって、前記サーバシステムは、所与の音データが、当該サーバシステムが提供するサービスに関する音であるか否か検出可能な音声検索データベースシステム（以下「音声検索ＤＢＭＳ」という）を有しており、前記デバイスのデバイスＩＤと、当該デバイスを使用するユーザの使用ユーザＩＤとを関連付けて管理する管理手段と、前記デバイスから送信される集音データを受信する集音データ受信手段と、前記集音データを前記サーバシステムに送信して、提供しているサービスが当該集音データに係る音に関するサービスか否かを問い合わせる音声検索制御手段と、前記問い合わせによって得られた回答に基づいて、前記デバイスの使用ユーザが前記ユーザ端末で実行しているアプリケーションを判断する実行アプリ判断手段と、前記実行アプリ判断手段により実行中と判断されたアプリケーションに関連する所与の音声を前記デバイスから出力させる実行アプリ関連音声出力制御手段と、を備えたスマートスピーカサーバシステムである。
【００１１】
第１又は第２の発明によれば、スマートスピーカデバイスで集音された音の集音データに基づいて、ユーザ端末でユーザに利用されているアプリケーションを判断し、当該アプリケーションに関連する音声をスマートスピーカデバイスから音出力することができる。つまり、スマートスピーカデバイスとスマートスピーカサーバシステムとを用いて、ユーザ端末の利用状況に応じたプッシュ型の情報提供を実現できる。
【００１２】
第３の発明は、前記アプリケーションが、ゲームアプリケーションであり、前記サーバシステムは、オンラインゲームを前記サービスとして提供するゲームサーバシステムであり、前記実行アプリ判断手段は、前記デバイスの使用ユーザがプレイ中のゲームを判断し、前記実行アプリ関連音声出力制御手段は、プレイ中と判断されたゲームに関連する音声を前記デバイスから出力させる、第１の発明のスマートスピーカサーバシステムである。
【００１３】
第３の発明によれば、ユーザがユーザ端末でオンラインゲームをプレイ中である場合、そのゲームに関連する音声をスマートスピーカデバイスから放音させることができる。よって、タイムリーなプッシュ型の情報提供が可能となる。
【００１４】
第４の発明は、前記実行アプリ判断手段が、前記回答に基づいて、プレイ中のゲーム候補を絞り込む絞り込み手段（例えば、図７の絞り込み部２３２、図８の候補アプリＩＤ６５４、図１３のステップＳ４１）と、
前記ゲーム候補のゲームを提供する前記ゲームサーバシステムそれぞれにアクセスして前記デバイスの使用ユーザがプレイ中か否かを照会する利用中照会手段（例えば、図７の利用中照会制御部２３４、図１３のステップＳ４３）と、
前記照会の結果に基づいて前記デバイスの使用ユーザがプレイ中のゲームを確定判断する手段（例えば、図７の確定判定部２３６、図１３のステップＳ４５）と、
を有する、第３の発明のスマートスピーカサーバシステムである。
【００１５】
また、第５の発明は、前記管理手段が、前記デバイスＩＤおよび前記使用ユーザＩＤに、前記使用ユーザＩＤのユーザが前記ユーザ端末を用いてプレイするゲームとして設定されたプレイ対象ゲームを更に関連付けて管理し、前記絞り込み手段は、前記回答と、前記集音データを送信した前記デバイスのデバイスＩＤに関連付けて管理されている前記プレイ対象ゲームとに基づいて、プレイ中のゲーム候補を絞り込む、第４の発明のスマートスピーカサーバシステムである。
【００１６】
第４又は第５の発明によれば、プレイ中のゲームを確実に判断し、当該ゲームに関する音声をデバイスから出力できる。
【００１７】
第６の発明は、前記実行アプリ関連音声出力制御手段が、プレイ中と判断されたゲームを提供する前記ゲームサーバシステムから、前記デバイスの使用ユーザがプレイ中のゲーム状況に関連する音声データを受信し、当該受信した音声データを前記デバイスから出力させる制御を行う、第２〜第５の何れかの発明のスマートスピーカサーバシステムである。
【００１８】
第６の発明によれば、スマートスピーカサーバシステムが、プレイ中と判断されたゲームを提供するゲームサーバシステムから音声データを直接取得できる。ゲームサーバシステムは、ゲームを提供する事業者側が管理するのが一般的であり、アプリ関連音声をゲームサーバシステムに持たされることで、どのタイミングでどのような情報をプレーヤに提供するかの管理をゲーム提供事業者が行うのが容易になる。
【００１９】
第７の発明は、前記ゲーム状況に関連する音声データは、プレイ中と判断されたゲームを攻略するためのヒントの音声データである、第６の発明のスマートスピーカサーバシステムである。
【００２０】
第７の発明によれば、ゲームプレイ状況に応じたユーザサポートを提供できるようになる。
【００２１】
第８の発明は、前記実行アプリ判断手段によりプレイ中と判断されたゲーム以外のゲームを勧誘するための所与の勧誘音声を前記デバイスから出力させる勧誘音声出力制御手段（例えば、図７の実行アプリ関連音声出力制御部２４０、図１３のステップＳ７４）、を更に備えた第２〜第７の発明のスマートスピーカサーバシステムである。
【００２２】
第８の発明によれば、好ましいタイミングで新たなゲームへの勧誘が可能になる。
【図面の簡単な説明】
【００２３】
【図１】関連音声提供システムの構成例を示す図。
【図２】ユーザ端末の構成例を示す図。
【図３】関連音声提供サービスの仕組みについて説明する概念図。
【図４】関連音声の提供のシチュエーションの一例を説明するための図（その１）。
【図５】関連音声の提供のシチュエーションの一例を説明するための図（その２）。
【図６】スマートスピーカデバイスの主な機能構成例を示す機能ブロック図。
【図７】スマートスピーカサーバシステムの主な機能構成例を示す機能ブロック図。
【図８】スマートスピーカサーバ記憶部が記憶するプログラムやデータの例を示す図。
【図９】音声検索データベースシステムの主な機能構成例を示す機能ブロック図。
【図１０】アプリサーバシステムの主な機能構成例を示す機能ブロック図。
【図１１】アプリサーバ記憶部が記憶するプログラムやデータの例を示す図。
【図１２】ユーザ端末の機能構成の一例を示す機能ブロック図。
【図１３】関連音声提供システムの動作について説明するためのフローチャート。
【図１４】関連音声提供システムの変形例その１における構成例を示す図。
【図１５】関連音声提供システムの変形例その２における構成例を示す図。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態の例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。
【００２５】
［ハードウェアの構成］
図１は、本実施形態の関連音声提供システムの構成例を示す図である。関連音声提供システム１０００は、ユーザ別に使用されるユーザ端末１５００と、単数又は複数のアプリサーバシステム１３００と、スマートスピーカデバイス１０１０と、スマートスピーカサーバシステム１０２０と、音声検索データベースシステム１０４０と、を通信回線９で相互にデータ通信可能に接続したコンピュータシステムである。
【００２６】
通信回線９は、データ通信が可能な通信路、いわゆるネットワークを意味する。すなわち、通信回線９とは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮ（Local area Network）の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線／無線を問わない。
【００２７】
図２は、本実施形態におけるユーザ端末１５００の構成例を示す図である。
ユーザ端末１５００は、ユーザが任意にアプリケーション（以下、単にアプリと呼称する。）のプログラムやデータをインストールして様々な機能を実現させて使用することができるコンピュータシステムである。
【００２８】
本実施形態のユーザ端末１５００は、いわゆるスマートフォンと呼ばれる装置であるが、携帯型ゲーム装置や、ゲームコントローラ、パソコン、タブレット型コンピュータ、ウェアラブルコンピュータ、などでもよい。
【００２９】
ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、内蔵バッテリー１５０９と、スピーカ１５１０と、マイク１５１２と、イメージセンサユニット１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調整ボタン等が設けられている。
【００３０】
制御基板１５５０は、ＣＰＵ（Central Processing Unit）１５５１やＧＰＵ（Graphics Processing Unit），ＤＳＰ（Digital Signal Processor）などの各種プロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、通信回線９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、インターフェース回路１５５７などを搭載する。
【００３１】
インターフェース回路１５５７には、タッチパネル１５０６のドライバ回路、方向入力キー１５０２及びボタンスイッチ１５０４からの信号を受信する回路、スピーカ１５１０へ音声信号を出力する出力アンプ回路、マイク１５１２で集音した音声の信号を生成する入力信号生成回路、イメージセンサユニット１５２０で撮影された画像の画像データを入力する回路、メモリカード読取装置１５４２への信号入出力回路、などが含まれている。
【００３２】
制御基板１５５０に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。なお、の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate ＡＲray）、ＳｏＣ（System on a Chip）により実現するとしてもよい。
【００３３】
そして、制御基板１５５０は、当該端末において各種機能を実現するためのアプリケーションプログラムや各種データをＩＣメモリ１５５２に記憶する。アプリケーションプログラムやそれに付随する各種設定データは、別途、アプリサーバシステム１３００やウェブサイトなどからダウンロードする構成としても良いし、メモリカード１５４０などの記憶媒体を購入して入手する構成としても良い。
【００３４】
本実施形態では、アプリケーションプログラムの例として、オンラインゲームをユーザ端末１５００でプレイ可能にするオンラインゲームのクライアントプログラムとして例示するが、アプリケーションの機能はゲームに限らず、例えば、音楽プレーヤ、チャット、動画や画像などのコンテンツ共有サービスの利用、など適宜設定することができる。
【００３５】
図１に戻って、アプリサーバシステム１３００は、ユーザ端末１５００でインストールされ実行されたアプリケーションプログラムと通信することで、オンラインサービスを提供するサーバシステムである。本実施形態では、アプリケーションとしてオンラインゲームを例示するので、アプリサーバシステム１３００は、オンラインゲームのゲームサーバとしての機能を有する。
【００３６】
スマートスピーカデバイス１０１０は、音声入力で様々な機能を実現するためのフロントエンド端末となるコンピュータシステムである。例えば、複数の指向性のマイクロフォンと、指向性のスピーカと、通信回線９に接続するための通信機と、制御基板とを搭載する。制御基板には、ＣＰＵ、ＩＣメモリ、インターフェースＩＣなどが搭載されており、プログラムを実行することで、様々な機能を実現する。例えば、１）マイクロフォンで集音された音声の音声データを生成（音声データに変換）する機能、２）音声データをスマートスピーカサーバシステム１０２０へ送信し提供する機能、３）スマートスピーカサーバシステム１０２０より受信した音声データ（又は音声データを生成するための元データ：以下、包括して「音声データ」と言う。）に基づく音声をスピーカから放音する機能、を実現できる。なお、同様の機能を備えている機器であれば、その呼び名はスマートスピーカに限らない。ＡＩ（artificial intelligence）スピーカ、ホームスピーカ、インテリジェントスピーカ、などの呼称であっても良い。
【００３７】
スマートスピーカサーバシステム１０２０は、スマートスピーカデバイス１０１０を介してユーザに提供される機能を実現するためのクラウドサービスを提供するサーバシステムである。具体的には、スマートスピーカデバイス１０１０から受信した音声データを音声認識して、予め設定されているジョブを実行する。そして、実行したジョブの結果として得られた音声データをスマートスピーカデバイス１０１０へ送信することができる。ジョブの内容は適宜設定可能であり、ジョブの定義に従って、様々なバックエンドのクラウドサービスにアクセスして、求められる情報を検索したり、様々な機器を作動させたりすることができる。
【００３８】
音声検索データベースシステム１０４０は、提供された音声データの音声解析・音声認識を行って、音声認識の結果を回答するコンピュータシステムである。
【００３９】
なお、図１では、１人のユーザが、１台のユーザ端末１５００と、１台のスマートスピーカデバイス１０１０とを使用する環境を前提に図示している。実際の運用に当たっては、関連音声提供システム１０００は、複数のユーザが同時に利用可能であり、１台のユーザ端末１５００と１台のスマートスピーカデバイス１０１０とを１セットとして、複数セットがシステム内に存在することもあり得る。
【００４０】
また、スマートスピーカサーバシステム１０２０や、音声検索データベースシステム１０４０は、単体として表しているが、各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であっても良い。或いは、離れた場所に設置された独立した複数のサーバを、通信回線９を介してデータ通信させることで、全体として１つのシステムとして機能させる構成であっても良い。
【００４１】
［関連音声提供サービスの概要］
図３は、本実施形態が実現する関連音声提供サービスの仕組みについて説明する概念図である。ユーザがユーザ端末１５００でアプリを使用すると、当該アプリの操作音や効果音などのアプリ固有音や、ユーザのつぶやきや、ユーザとその知人との会話、などの音が発生する（図３中の（０））。以下、これらを「使用音」と呼ぶ。また、ユーザが普通に生活をすることで、様々な「環境音」が生じる（図３中の（１））。
【００４２】
関連音声提供システム１０００は、その時々の状況をスマートスピーカデバイス１０１０で集音した音声に基づいて状況を認知し、その状況に応じた関連音声をスマートスピーカデバイス１０１０から音声出力することができる。
【００４３】
具体的には、スマートスピーカデバイス１０１０は、常時、マイクロフォンで使用音や環境音を集音し、集音データを作成してスマートスピーカサーバシステム１０２０へ送信する（図３中の（２））。
【００４４】
スマートスピーカサーバシステム１０２０には、スマートスピーカデバイス１０１０の利用者登録時に、使用ユーザ毎に作成された使用ユーザ管理データ６１０が記憶・管理されている。使用ユーザ管理データ６１０には、スマートスピーカデバイス１０１０を使用するユーザに付与される固有の使用ユーザアカウントと、使用するスマートスピーカデバイス１０１０に固有のデバイスＩＤと、ユーザ端末１５００で利用可能にしているアプリの識別情報である利用可能アプリＩＤ（アプリ名）と、利用可能アプリＩＤに対応するアプリ別のアクセス情報と、が格納される。利用登録されているアプリの利用可能アプリＩＤ及びそのアクセス情報は、１つの場合もあれば複数の場合もあり、ユーザによって異なる。
【００４５】
「アクセス情報」は、スマートスピーカサーバシステム１０２０が、ユーザ端末１５００で利用可能とされるアプリのアプリサーバシステム１３００へ、ユーザ端末１５００に代わってアクセスして、サービスの利用を可能にするための情報である。具体的には、初回のユーザ認証時にユーザ端末１５００へ提供される「トークン」や、スマートスピーカサーバシステム１０２０との連動サービスを許可する専用の連動アカウント、パスワード、などである。また、適宜、アプリサーバシステム１３００のＩＰアドレスや、ＵＲＬなどを含めることができる。
【００４６】
スマートスピーカサーバシステム１０２０は、スマートスピーカデバイス１０１０から集音データを取得すると、当該集音データを音声検索データベースシステム１０４０へ送信して（図３中の（３））、音声検索データベースシステム１０４０から「回答」を得る（図３中の（４））。
【００４７】
「回答」には、ユーザがユーザ端末１５００で利用していると推測されるアプリＩＤと、環境音の音声認識により判定される様々な状況認識の結果と、が含まれる。
【００４８】
「状況認識」は、例えば、集音可能な範囲に何人居るのか、ユーザは何をしているのか、どのような状況にあるのか（より具体的には、寝ている、食事している、ゲームをしている、家族や知人と会話している、掃除している、など）を含み得る。
【００４９】
スマートスピーカサーバシステム１０２０は、音声検索データベースシステム１０４０から回答を得ると、アクセス情報を利用して、ユーザがユーザ端末１５００で利用していると推測されるアプリのアプリサーバシステム１３００へ、当該ユーザ端末で当該アプリを実行しているか、ユーザにより利用されているかを問い合わせる（図３中の（５））。各アプリサーバシステム１３００は、現在、当該アプリをユーザが利用中であるか否かを含む応答を返す（図３中の（６））。本実施形態では、アプリとして様々なオンラインゲームを登録することができる。よって、この問い合わせによって、スマートスピーカサーバシステム１０２０は、各ゲームのゲームサーバに、当該ユーザが現在プレイ中であるか否かの確度の高い情報を得ることができる。
【００５０】
スマートスピーカサーバシステム１０２０は、この応答に基づいて、ユーザがユーザ端末１５００で利用しているアプリを確定し、当該アプリのアプリサーバシステム１３００を関連音声の取得する対象を決定する。
【００５１】
本実施形態では、オンラインゲームを利用アプリとして登録するので、プレイ中のゲームのアプリサーバシステム１３００を関連音声の取得対象とする。もし、何れのゲームもプレイ中でない場合には、全てのゲームのアプリサーバシステム１３００を取得対象としても良いし、何れか又は複数を選択して取得対象とするとしても良い。利用アプリの登録時に、非プレイ時における関連音声の取得対象と「する／しない」の設定をユーザが選択可能とし、「する」に設定されているアプリのアプリサーバシステム１３００を取得対象としても良い。
【００５２】
そして、スマートスピーカサーバシステム１０２０は、関連音声の取得対象としたアプリサーバシステム１３００に対して、アクセス情報を用いてアクセスし、関連音声の取得リクエストと先に取得した音声認識結果（特には、状況認識の結果）とを送信する（図３中の（７））。
【００５３】
アプリサーバシステム１３００には、音声認識される状況認識に応じた関連音声データが多数記憶されている。アプリサーバシステム１３００は、取得リクエストを受信すると、受信した音声認識結果に対応する関連音声データを、リクエスト元のスマートスピーカサーバシステム１０２０へ返信する（図３中の（８））。
【００５４】
スマートスピーカサーバシステム１０２０は、これを音声データの送信元であるスマートスピーカデバイス１０１０へ送信し（図３中の（９））、当該スマートスピーカデバイス１０１０は、受信した音声データを搭載するスピーカから放音させる（図３中の（１０））。
【００５５】
図４は、関連音声の提供のシチュエーションの一例を説明するための図である。
同図で表すシチュエーションは、ユーザ２が、ユーザ端末１５００でオンラインゲーム「ゲームタイトルα」をプレイ中であり、その傍らには、スマートスピーカデバイス１０１０がある。
【００５６】
ユーザ端末１５００からは、ゲーム音（ＢＧＭやＳＥ（Sound Effect）など）が放音され、ユーザ２もつぶやき４をしている。
スマートスピーカデバイス１０１０は、それらの使用音や環境音を集音した集音データをスマートスピーカサーバシステム１０２０へ送信すると、使用音や環境音の音声認識に応じた関連音声が選抜される。図４の例では、使用音からゲームタイトルが音声認識され、環境音からユーザ２がゲームプレイ中であり、ある敵キャラクタに対して、苦戦していること、が状況認識されている。そして、当該状況に応じて、図４の例では、声援や敵キャラクタの攻略のヒントの関連音声（図４中のＥｘ１）や、現在プレイ中のゲームより難易度が低い別のゲーム「ゲームタイトルβ」へ勧誘する内容の関連音声（図４中のＥｘ２）が、選抜されている。なお、関連音声の内容はこれらに限らず、適宜設定可能である。ユーザ２によって有益な情報は勿論のこと、ユーザ２を鼓舞したり慰めたりなど、仮想の友人としての発言や相槌に近い内容とすると好適である。
【００５７】
スマートスピーカデバイス１０１０は、選抜された関連音声を放音する。ユーザ２にしてみれば、自らが要求しなくとも、声援を受けたり、ゲーム攻略のヒントを貰ったり、より遊び易い（この場合は、ユーザ２にとって攻略し易い）他のゲームの紹介を受けたり、と言ったサービスが得られる。
【００５８】
図５は、関連音声の提供のシチュエーションの一例を説明するための図である。
図５で表すシチュエーションは、ユーザ２は食事中であってユーザ端末１５００を使用していない。
【００５９】
図５において、ユーザ２は食事中であり、飲んだり食べたりの音、食器がぶつかる音、料理の感想などに関するユーザ２のつぶやき４の音が発せられている。
スマートスピーカデバイス１０１０は、それらの環境音等を集音した集音データをスマートスピーカサーバシステム１０２０へ送信すると、環境音の音声認識に応じた関連音声が選抜される。図５の例では、環境音からユーザ２が１人で食事中であることが状況認識されている。そして、当該状況に対応づけられている、最も良く遊んでいるゲーム又は直近に遊んだゲーム（図５の例では「ゲームタイトルα」）に関するイベント告知や、新しいステージの開放、と言ったゲーム関連音声（図５中のＥｘ３）や、別のゲーム「ゲームタイトルγ」へ勧誘する内容の関連音声（図５中のＥｘ４）が、選抜されている。なお、後者の例では、ゲームタイトルαのプレイ履歴が参照され、プレイ頻度が低下している場合や、前回のプレイからの経過時間が比較的長くなっていると認められる場合に選択する構成とすると好適である。
【００６０】
そして、スマートスピーカデバイス１０１０は、選抜された関連音声を放音する。ユーザ２にしてみれば、自らが要求しなくとも、日頃使用しているアプリに関する情報や新しいゲームの紹介と言ったサービスが得られる。
【００６１】
［機能構成の説明］
図６は、本実施形態におけるスマートスピーカデバイス１０１０の主な機能構成例を示す機能ブロック図である。
スマートスピーカデバイス１０１０は、操作入力部１００ｐと、処理部２００ｐと、通信部３９０ｐと、音出力部３９２ｐと、記憶部５００ｐと、を有する。勿論、これら以外の機能部も適宜含めることができる。
【００６２】
操作入力部１００ｐは、ユーザによる操作入力を受け付け、操作入力信号を処理部２００ｐへ出力する。スイッチ、レバー、ダイヤル、などにより実現できる。そして、スマートスピーカデバイス１０１０は、音声入力を可能にするための集音部１１０を含む。
【００６３】
集音部１１０は、集音された音声に応じた音声信号を処理部２００ｐへ出力する。マイクロフォンにより実現できる。
【００６４】
処理部２００ｐは、制御基板、特にＣＰＵによる演算処理によりスマートスピーカデバイス１０１０を統合的に制御し、各種機能を実現する。具体的には、音声キャプチャ部２１０と、集音データ提供制御部２１２と、関連音声データ取得制御部２１４と、通信制御部２９０ｐと、音生成部２９２ｐと、計時部２９９と、を有する。勿論、これら以外の機能部も適宜含めることができる。
【００６５】
音声キャプチャ部２１０は、集音部１１０から出力された信号から音声データを生成する。本実施形態では、有音状態において所定の時間間隔で音声データ、すなわち集音データ６００を生成する。
【００６６】
集音データ提供制御部２１２は、スマートスピーカサーバシステム１０２０への音声データの提供に関する制御を行う。具体的には、所定周期毎に集音データ６００を自身のデバイスＩＤとともにスマートスピーカサーバシステム１０２０へ送信する手続き処理を行う。
【００６７】
関連音声データ取得制御部２１４は、スマートスピーカサーバシステム１０２０からの関連音声データの取得・受信に関する制御を行う。
【００６８】
通信制御部２９０ｐは、データ通信に係るデータ処理を実行し、通信部３９０ｐを介して外部装置とのデータのやりとりを実現する。
【００６９】
通信部３９０ｐは、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。
【００７０】
音生成部２９２ｐは、スマートスピーカサーバシステム１０２０から取得した音声データに基づいて音声信号を生成し、音出力部３９２ｐへ出力する。例えば、音声データのデコーダ、Ｄ／Ａコンバータ、アップ回路などにより実現される。音声合成クラウドサービスを利用する場合には、適宜、当該サービスのＡＰＩを用いることができる。
【００７１】
音出力部３９２ｐは、スピーカにより実現され、入力された音声信号に基づいて音声を放音する。
【００７２】
計時部２９９は、システムクロックを利用して現在日時や制限時間等の計時を行う。
【００７３】
記憶部５００ｐは、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。
そして、記憶部５００ｐは、処理部２００ｐにスマートスピーカデバイス１０１０を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、処理部２００ｐの作業領域として用いられ、演算結果などを一時的に記憶することができる。
【００７４】
本実施形態の記憶部５００ｐは、制御プログラム５０１と、自機固有の識別情報であるデバイスＩＤ５０２と、集音データ６００と、取得済関連音声データ６０２と、現在日時８００と、を記憶する。勿論、これら以外のデータも適宜記憶することができる。
【００７５】
図７は、本実施形態におけるスマートスピーカサーバシステム１０２０の主な機能構成例を示す機能ブロック図である。
スマートスピーカサーバシステム１０２０は、スマートスピーカサーバ処理部２００ｓと、通信部３９０ｓと、スマートスピーカサーバ記憶部５００ｓと、を有する。勿論、これら以外の機能部も適宜含めることができる。例えば、管理者がサーバ管理のための操作入力をするための操作入力部（例えば、キーボードや、マウスなど）、サーバ管理に関する画面を表示するための画像表示部（例えば、タッチパネルなど）、も適宜設けることができる。
【００７６】
スマートスピーカサーバ処理部２００ｓは、プログラムの演算処理等によって、スマートスピーカデバイス１０１０をフロントエンド端末とする各種フロントエンドに関する諸機能を実現する。具体的には、使用ユーザ管理部２２０と、デバイス管理部２２２と、集音データ受信制御部２２６と、音声検索制御部２２８と、実行アプリ判断部２３０と、実行アプリ関連音声出力制御部２４０と、通信制御部２９０ｓと、を有する。
【００７７】
使用ユーザ管理部２２０は、使用ユーザの登録に関して固有の使用ユーザＩＤ（ユーザアカウント）の発行と、当該使用ユーザＩＤに関連付けられる各種情報の管理に関する処理を行う。関連付けられる情報としては、例えば、使用するスマートスピーカデバイス１０１０のデバイスＩＤ、当該ユーザのユーザ端末１５００で利用可能なアプリ（実行可能アプリ）のアプリＩＤ（アプリの識別情報；本実施形態では、ユーザ端末１５００を用いてプレイするゲームとして設定されたプレイ対象ゲームの識別情報に相当。ゲームタイトルなど）、当該アプリに関するアクセス情報、が含まれる。勿論、これら以外の情報も適宜含めることができる。そして、スマートスピーカサーバ記憶部５００ｓに、使用ユーザ管理データ６１０（図８参照）を作成して、各種登録情報を管理する。
【００７８】
デバイス管理部２２２は、スマートスピーカデバイス１０１０の利用に関する機能拡張等を管理する。具体的には、ユーザ別に、自身が使用するスマートスピーカデバイス１０１０に、予め用意されている複数の機能拡張プログラムのうち、どの機能拡張プログラムの実行を許可するかの設定を受け付ける処理を行う。機能設定の結果は、デバイス管理データ６３０に格納する（図８参照）。
【００７９】
集音データ受信制御部２２６は、スマートスピーカデバイス１０１０から送信される集音データを受信する制御を行う。集音データ受信制御部２２６は、通信制御部２９０ｓと、通信部３９０ｓと、とともに集音データ受信手段として機能する。
【００８０】
音声検索制御部２２８は、受信した集音データに関連するアプリケーションを音声検索データベースシステム１０４０に問い合わせて回答を得るための制御を行う。
【００８１】
実行アプリ判断部２３０は、音声検索制御部２２８による問い合わせによって得られた回答に基づいて、スマートスピーカデバイス１０１０の使用ユーザがユーザ端末１５００で実行されている（ユーザにより利用されている）アプリケーションすなわち実行アプリを判断する。本実施形態では、アプリによりオンラインゲームがプレイ可能になるので、実行アプリ判断部２３０は、スマートスピーカデバイス１０１０の使用ユーザがプレイ中のゲームを判断することになる。
【００８２】
具体的には、実行アプリ判断部２３０は、絞り込み部２３２と、利用中照会制御部２３４と、確定判定部２３６と、を有する。
【００８３】
絞り込み部２３２は、音声検索データベースシステム１０４０からの回答に基づいて、ユーザ端末１５００で実行され利用中と推測されるアプリ、言い換えると実行中のアプリと見なされる候補のアプリ（アプリ候補）を絞り込む。
【００８４】
前述のように、本実施形態では、スマートスピーカデバイス１０１０のデバイスＩＤと、使用ユーザＩＤと、使用ユーザＩＤのユーザがユーザ端末１５００を用いて実行可能なアプリ（本実施形態ではプレイ可能なゲーム）として設定された実行可能アプリ（本実施形態ではプレイ対象ゲーム）のアプリＩＤとが関連付けて管理されている。よって、絞り込み部２３２は、音声検索データベースシステム１０４０から回答と、集音データを送信したスマートスピーカデバイス１０１０のデバイスＩＤに関連付けて管理されている実行可能アプリ（本実施形態ではプレイ対象ゲーム）とに基づいて、プレイ中のゲーム候補を絞り込むことができる。
【００８５】
利用中照会制御部２３４は、絞り込まれたアプリ候補のアプリを提供するアプリサーバシステム１３００それぞれにアクセスしてスマートスピーカデバイス１０１０の使用ユーザがアプリを利用中か否かを照会する制御を行う。本実施形態では、アプリ候補となったゲームを提供するアプリサーバシステム１３００にアクセスして、当該ゲームをプレイ中であるかを照会することとなるので、利用中照会制御部２３４は、利用中照会制御部として機能することになる。
【００８６】
確定判定部２３６は、照会の結果に基づいてスマートスピーカデバイス１０１０の使用ユーザが実行中のアプリを確定判断する。本実施形態では、プレイ中のゲームを確定判定することとなる。
【００８７】
実行アプリ関連音声出力制御部２４０は、実行アプリ判断部２３０により実行中と判断されたアプリケーションに関連する所与の音声（関連音声）をスマートスピーカデバイス１０１０から出力させる。本実施形態では、アプリによりオンラインゲームがプレイ可能になるので、実行アプリ関連音声出力制御部２４０は、実行アプリ判断部２３０によりプレイ中と判断されたゲームに関連する音声をスマートスピーカデバイス１０１０から出力させることになる。
【００８８】
具体的には、実行アプリ関連音声出力制御部２４０は、実行アプリ判断部２３０により実行アプリとして判断されたアプリのアプリサーバシステム１３００から、関連音声の音声データを取得し、取得した音声データをスマートスピーカデバイス１０１０へ送信する制御がこれに該当する。本実施形態では、使用ユーザがプレイ中のゲーム状況に関連する関連音声の音声データを受信し、当該受信した音声データをスマートスピーカデバイス１０１０から出力させることとなる。
【００８９】
なお、本実施形態では、関連音声には、プレイ中のゲームとは異なるゲームへ勧誘する内容が含まれているので、実質的に実行アプリ関連音声出力制御部２４０は、実行アプリ判断部２３０によりプレイ中と判断されたゲーム以外のゲームを勧誘するための所与の勧誘音声をスマートスピーカデバイス１０１０から出力させる勧誘音声出力制御手段として機能することとなる。
【００９０】
通信制御部２９０ｓは、データ通信に係るデータ処理を実行し、通信部３９０ｓを介して外部装置とのデータのやりとりを実現する。
通信部３９０ｓは、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。
【００９１】
スマートスピーカサーバ記憶部５００ｓは、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。
【００９２】
そして、スマートスピーカサーバ記憶部５００ｓは、スマートスピーカサーバ処理部２００ｓにスマートスピーカサーバシステム１０２０を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、スマートスピーカサーバ処理部２００ｓの作業領域として用いられ、演算結果などを一時的に記憶することができる。
【００９３】
図８に示すように、スマートスピーカサーバ記憶部５００ｓは、スマートスピーカサーバプログラム５０３と、使用ユーザ管理データ６１０と、関連音声提供管理データ６５０と、現在日時８００と、を記憶する。勿論、これら以外のデータも適宜含めることができる。
【００９４】
スマートスピーカサーバプログラム５０３は、スマートスピーカサーバ処理部２００ｓに、使用ユーザ管理部２２０〜通信制御部２９０ｓの各機能を実現させるためのプログラムである。なお、スマートスピーカサーバプログラム５０３のプログラムの一部又は全部を、スマートスピーカデバイス１０１０の「機能拡張」により実現するとしてもよい。
【００９５】
ここで言う「機能拡張」は、予め用意されている複数種類の追加機能が用意されているなかから、ユーザが所定の機能管理手続きを経て、有効化する機能拡張を選択・設定することで、自分が使用するスマートスピーカデバイス１０１０を通じてどのようなサービスを利用可能とするかを自在に組み合わせることができる仕組みである。機能拡張を実現するための情報は、スマートスピーカのメーカが定義した仕様により、追加プログラムや、スクリプト、ジョブ定義データ、などにより実現可能である。スマートスピーカサーバプログラム５０３のプログラムの一部又は全部をこの機能拡張を実現するための情報として実現するとしてもよい。
【００９６】
使用ユーザ管理データ６１０は、利用者登録時にスマートスピーカデバイス１０１０のユーザ別に作成されるデータであって、当該ユーザに関連付けられる各種データを格納する。そして、１つの使用ユーザ管理データ６１０は、固有の使用ユーザＩＤ６１１と、利用可能アプリ登録データ６２０と、デバイス管理データ６３０と、を含む。勿論、これら以外のデータも適宜格納することができる。
【００９７】
利用可能アプリ登録データ６２０は、１つのアプリ登録毎に作成され、当該使用ユーザのユーザ端末１５００にて利用可能なアプリに関する各種データを格納する。１つの利用可能アプリ登録データ６２０は、例えば、利用可能アプリＩＤ６２１と、アクセス情報６２３と、を格納する。勿論、これら以外のデータも適宜格納することができる。
【００９８】
利用可能アプリ登録データ６２０は、所定のアプリ登録手続きを経てユーザ自らが登録する。例えば、ユーザ端末１５００にてアプリを起動させて、アプリサーバシステム１３００にアクセスし、所定のアクセス情報（例えば、当該サーバシステムのＵＲＬや、ＩＰアドレス、ゲームユーザアカウントと関連付けられるがゲームユーザアカウントを含まない連携用アカウント或いは連携用パスワード、など）の発行リクエストを行い、アプリサーバシステム１３００からアクセス情報を入手する。そして、スマートスピーカデバイス１０１０の利用者登録手続きの１機能としての利用可能アプリの登録手続きを実行し、利用可能アプリＩＤ（例えば、アプリ名）と、入手済みのアクセス情報とを入力して登録する。
【００９９】
デバイス管理データ６３０は、当該使用ユーザが使用するスマートスピーカデバイス１０１０毎に作成され、当該デバイスにおいて有効とされる機能拡張を管理するための各種データ、具体的には、固有のデバイスＩＤ６３１と、有効化された機能拡張の識別情報のリストである有効機能拡張ＩＤリスト６３２と、を格納する。
【０１００】
関連音声提供管理データ６５０は、関連音声の提供の対象とされるスマートスピーカデバイス１０１０毎に用意され、関連音声の提供実現に必要な各種データを格納する。１つの関連音声提供管理データ６５０は、提供先デバイスＩＤ６５１と、受信済集音データ６５２と、音声検索データベースシステム１０４０からの回答データ６５３と、候補アプリＩＤ６５４と、照会結果６５５と、実行アプリＩＤ６５６と、受信済関連音声データ６５７と、を格納する。勿論、これら以外のデータも適宜格納することができる。
【０１０１】
候補アプリＩＤ６５４は、回答データ６５３に基づいてユーザ端末１５００で実行中（利用中）と推測されるアプリの識別情報のリストである。本実施形態では、プレイ中のゲーム候補を絞り込んだ結果に相当する。
【０１０２】
照会結果６５５には、候補アプリＩＤ６５４に登録されているアプリのアプリサーバシステム１３００から、当該アプリがユーザ端末１５００にて実行されているかを照会した結果を、アプリＩＤと対応づけて格納する。
【０１０３】
実行アプリＩＤ６５６は、照会の結果に基づいてスマートスピーカデバイス１０１０の使用ユーザが利用中と確定判定されたアプリの識別情報のリストである。本実施形態では、プレイ中のゲームの識別情報が格納されることになる。
【０１０４】
図９は、本実施形態における音声検索データベースシステム１０４０の主な機能構成例を示す機能ブロック図である。
音声検索データベースシステム１０４０は、データベース処理部２００ｄと、通信部３９０ｄと、データベース記憶部５００ｄと、を有する。勿論、これら以外の機能部も適宜含めることができる。例えば、管理者がデータベース管理のための操作入力をするための操作入力部（例えば、キーボードや、マウスなど）、データベース管理に関する画面を表示するための画像表示部（例えば、タッチパネルなど）、も適宜含めることができる。
【０１０５】
データベース処理部２００ｄは、プログラムの演算処理等によって、提供された音声データの音声認識するクラウドサービスに関する処理を実行する。具体的には、リクエスト応答制御部２５０と、音声認識部２５２と、通信制御部２９０ｄと、を有する。勿論、これら以外の機能部も適宜含めることができる。
【０１０６】
リクエスト応答制御部２５０は、外部からの音声認識リクエストに応じて回答を提供する手続き処理を実行する。本実施形態では、スマートスピーカサーバシステム１０２０から集音データの受信に関する制御と、受信した集音データに基づく音声認識部２５２による音声認識結果を含む回答を返信する制御と、を行うことができる。
【０１０７】
音声認識部２５２は、いわゆる音声認識エンジンや、音声認識ＡＰＩにより実現され、各種の音声認識・音認識を実現する。本実施形態では、使用音認識処理部２５４と、環境音認識処理部２５６と、を有する。
【０１０８】
使用音認識処理部２５４は、受信した集音データに含まれる使用音を識別・認識して、当該使用音からユーザ端末１５００にてどのアプリケーションを使用しているかアプリＩＤを出力する。
【０１０９】
環境音認識処理部２５６は、受信した集音データに含まれる環境音を識別・認識して、ユーザの状況認識の結果を出力する。
【０１１０】
通信制御部２９０ｄは、データ通信に係るデータ処理を実行し、通信部３９０ｄを介して外部装置とのデータのやりとりを実現する。
【０１１１】
通信部３９０ｄは、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。
【０１１２】
データベース記憶部５００ｄは、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。そして、データベース記憶部５００ｄは、データベース処理部２００ｄに音声検索データベースシステム１０４０を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、データベース処理部２００ｄの作業領域として用いられ、演算結果などを一時的に記憶することができる。
【０１１３】
データベース記憶部５００ｄは、データベースプログラム５０４と、アプリ別音声辞書データ５５０と、環境音辞書データ５５２と、を記憶する。勿論、これら以外のデータも適宜含めることができる。
【０１１４】
データベースプログラム５０４は、データベース処理部２００ｄに、リクエスト応答制御部２５０〜通信制御部２９０ｄの各機能を実現させるためのプログラムである。
【０１１５】
アプリ別音声辞書データ５５０は、アプリ毎に用意され、そのアプリが実行中に発生させた音であるかを認識するための辞書データであり、音声認識用の音響モデルデータを多数含んでいる。１つのアプリ別音声辞書データ５５０は、アプリＩＤと、音響モデルデータ群と、を含む。
【０１１６】
環境音辞書データ５５２は、状況認識の種類毎に用意され、それぞれ状況認識種類と、当該状況と見なされる音響モデルデータ群とを格納する。
【０１１７】
図１０は、本実施形態におけるアプリサーバシステム１３００の主な機能構成例を示す機能ブロック図である。
本実施形態におけるアプリサーバシステム１３００は、アプリサーバ処理部２００ｇと、通信部３９０ｇと、アプリサーバ記憶部５００ｇと、を備える。勿論、これら以外の機能部も適宜含めることができる。例えば、管理者がサーバ管理のための操作入力をするための操作入力部（例えば、キーボードや、マウスなど）、サーバ管理に関する画面を表示するための画像表示部（例えば、タッチパネルなど）、も適宜設けることができる。
【０１１８】
アプリサーバ処理部２００ｇは、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＡＳＩＣ、ＩＣメモリなどの電子部品によって実現され、演算処理等によりアプリサーバシステム１３００を統合的に制御してアプリサーバ（本実施形態では、ゲームサーバ）としての各種機能を実現する。
【０１１９】
アプリサーバ処理部２００ｇは、アプリユーザ管理部２６０と、アプリ実行管理部２６２と、関連音声データ提供制御部２６４と、計時部２８０ｇと、通信制御部２９０ｇと、を含む。勿論、これら以外の機能部も適宜含めることができる。
【０１２０】
アプリユーザ管理部２６０は、アプリのユーザ登録手続きに係る処理及びアプリユーザアカウントに関連づけられる各種データの管理処理を行う。本実施形態では、アプリユーザ管理部２６０は、アクセス情報発行部２６１を有し、スマートスピーカサーバシステム１０２０との連携を許可するアクセス情報を生成・付与することができる。
【０１２１】
アプリ実行管理部２６２は、アプリの実行管理に係る各種処理を行う。本実施形態ではアプリは、オンラインゲーム用のアプリケーションプログラムなので、アプリ実行管理部２６２は、ゲームサーバとして機能する。
【０１２２】
関連音声データ提供制御部２６４は、スマートスピーカサーバシステム１０２０からのリクエストに応じて、当該アプリサーバシステムがサービスを提供するアプリに関する関連音声の音声データ（関連音声データ）を提供する制御を行う。
【０１２３】
計時部２８０ｇは、システムクロックを利用して現在日時や制限時間等の計時を行う。
【０１２４】
通信制御部２９０ｇは、データ通信に係るデータ処理を実行し、通信部３９０ｇを介して外部装置とのデータのやりとりを実現する。
【０１２５】
通信部３９０ｇは、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。
【０１２６】
アプリサーバ記憶部５００ｇは、アプリサーバ処理部２００ｇにアプリサーバシステム１３００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、アプリサーバ処理部２００ｇの作業領域として用いられ、アプリサーバ処理部２００ｇが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。
【０１２７】
図１１は、アプリサーバ記憶部５００ｇが記憶するプログラムやデータの例を示す図である。アプリサーバ記憶部５００ｇは、アプリサーバプログラム５０５と、配信用アプリケーションプログラム５０６と、初期設定データ５６０と、イベント定義データ５６２と、関連音声定義データ５７０と、勧誘用関連音声データ５８０と、アプリユーザ管理データ６６０と、アプリ実行管理データ７００と、現在日時８００と、を記憶する。勿論、これら以外のデータ、例えばタイマーや、カウンタ、各種フラグなどの情報を適宜記憶できる。
【０１２８】
アプリサーバプログラム５０５は、アプリサーバ処理部２００ｇが読み出して実行することで、アプリユーザ管理部２６０と、アプリ実行管理部２６２と、関連音声データ提供制御部２６４と、の機能を実現させるためのプログラムである。
【０１２９】
配信用アプリケーションプログラム５０６は、ユーザ端末１５００へ提供されるアプリケーションプログラムのオリジナルである。本実施形態では、ゲームクライアントプログラムとなる。
【０１３０】
初期設定データ５６０は、アプリケーションが提供するサービスを実現するための各種初期設定データを格納する。本実施形態では、様々なオンラインゲームに関する初期設定データがこれに該当する。
【０１３１】
イベント定義データ５６２は、アプリケーションが提供するサービスに関するイベント毎に用意され、当該イベントを定義する各種データを格納する。例えば、イベント名、イベント期間、イベント内容の説明テキスト、などを含む。
【０１３２】
関連音声定義データ５７０は、関連音声の内容毎に用意される。
１つの関連音声定義データ５７０は、当該関連音声の音声データがどのような条件で提供されるかを規定する適用条件５７３と、関連音声データ５７５と、を含む。勿論、これら以外のデータも適宜含めることができる。
【０１３３】
適用条件５７３は、複数の条件のＡＮＤ又はＯＲの組み合わせにより記述できる。
例えば、音声認識結果条件（状況認識の結果についての条件）、集音データに含まれている声の数に付いての条件である人数条件、日付条件、時間帯条件、イベント定義データ５６２で定義されているイベントに関連する条件（例えば、イベント期間中である、所定日数内に開始されるイベントがある、など）であるイベント条件、などをＡＮＤやＯＲで組み合わせて記述できる。
【０１３４】
関連音声データ５７５は、音声データ（データ形式は問わない）や、音声合成読み上げ用のテキスト、音声合成マークアップ言語（ＳＳＭＬ）タグ、などを格納することができる。音声の内容は、アプリの利用に関するガイド（本実施形態では、ゲームなのでゲーム攻略のヒントなど）、ユーザへの励ましの言葉や相槌、イベント情報などアプリ提供者から提供される情報の読み上げ、など適宜設定可能である。
【０１３５】
勧誘用関連音声データ５８０は、他アプリ（本実施形態では他のオンラインゲーム）へ勧誘する内容の特別な関連音声データである。なお、勧誘用関連音声データ５８０は、これ１つに限らず、関連音声データ５７５の内容を監修する内容が含まれており、ガイドやヒントとともに勧誘を行うとしても良い。
【０１３６】
アプリユーザ管理データ６６０は、登録ユーザ毎に作成され、固有のアプリユーザアカウント６６１と、アクセス情報６６３とを、格納する。勿論、これら以外のデータも適宜格納するとしてもよい。
【０１３７】
アプリ実行管理データ７００は、当該アプリサーバシステム１３００がサービスを提供するアプリケーションの実行毎に用意され、使用者を示すアプリユーザアカウントと対応づけて、当該アプリの実行状況・利用状況の最新状況を記述する各種データを格納する。
【０１３８】
図１２は、本実施形態におけるユーザ端末１５００の主な機能構成の一例を示す機能ブロック図である。本実施形態のユーザ端末１５００は、ゲームサーバシステムとして機能しているアプリサーバシステム１３００により受信したデータに基づいてゲーム画面が表示される出力端末であり、プレーヤであるユーザによる操作入力を受け付けて操作入力に応じた信号をアプリサーバシステム１３００へ送信する入力端末として機能する。
【０１３９】
すなわち、ユーザ端末１５００は、操作入力部１００ｔと、端末処理部２００ｔと、通信部３９０ｔと、音出力部３９２ｔと、画像表示部３９４ｔと、端末記憶部５００ｔとを備える。
【０１４０】
操作入力部１００ｔは、プレーヤによって為された各種の操作入力に応じた操作入力信号を端末処理部２００ｔに出力する。例えば、プッシュスイッチや、ジョイスティック、タッチパッド、トラックボール、加速度センサ、ジャイロ、ＣＣＤモジュール、などによって実現できる。図２の方向入力キー１５０２や、ボタンスイッチ１５０４、タッチパネル１５０６がこれに該当する。
【０１４１】
端末処理部２００ｔは、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＩＣメモリなどの電子部品によって実現され、操作入力部１００ｔや端末記憶部５００ｔを含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００ｔからの操作入力信号、他コンピュータ（本実施形態のアプリサーバシステム１３００）から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末１５００の動作を制御する。図２の制御基板１５５０がこれに該当する。そして、本実施形態における端末処理部２００ｔは、ユーザ端末演算部２７０と、通信制御部２９０ｔと、音生成部２９２ｔと、計時部２９９と、を備える。
【０１４２】
ユーザ端末演算部２７０は、操作信号送信制御部２７２と、アプリ画面表示制御部２７４とを含む。
【０１４３】
操作信号送信制御部２７２は、操作入力部１００ｔへなされた操作に応じて、各種データやリクエストをアプリサーバシステム１３００へ送信するための処理を実行する。
【０１４４】
アプリ画面表示制御部２７４は、アプリサーバシステム１３００から受信した各種データに基づいてアプリ画面を表示するための制御を行う。本実施形態では、ゲーム画面を表示するための制御を行う。また、本実施形態では、ゲーム空間画像（例えば、３ＤＣＧ画像など）をアプリサーバシステム１３００にて生成する構成とするが、ゲーム空間画像をユーザ端末１５００で生成する構成も可能である。その場合、アプリ画面表示制御部２７４は、例えば３ＤＣＧを生成するための仮想３次元空間に配置されたオブジェクトの制御などを含むこととなる。
【０１４５】
通信制御部２９０ｔは、データ通信に係るデータ処理を実行し、通信部３９０ｔを介して外部装置とのデータのやりとりを実現する。通信部３９０ｔは、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図２の無線通信モジュール１５５３がこれに該当する。
【０１４６】
音生成部２９２ｔは、例えばデジタルシグナルプロセッサ（ＤＳＰ）や、音声合成ＩＣなどのプロセッサ、音声ファイル再生可能なオーディオコーデック等によって実現され、アプリ画面表示制御部２７４による処理結果に基づいてアプリ使用に係る効果音やＢＧＭ、各種操作音などの使用音の音信号を生成し、音出力部３９２ｔに出力する。
【０１４７】
音出力部３９２ｔは、音生成部２９２ｔから入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。図２のスピーカ１５１０がこれに該当する。
【０１４８】
画像表示部３９４ｔは、アプリ画面表示制御部２７４から入力される画像信号に基づいて各種画像を表示する。例えば、フラットパネルディスプレイ、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当し、ゲームプレイ画面を表示する。
【０１４９】
端末記憶部５００ｔは、端末処理部２００ｔにユーザ端末１５００を統合的に制御させるための諸機能を実現するためのプログラムや、各種データ等を記憶する。また、端末処理部２００ｔの作業領域として用いられ、端末処理部２００ｔが各種プログラムに従って実行した演算結果などを一時的に記憶する。こうした機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。図２の制御基板１５５０が搭載するＩＣメモリ１５５２やメモリカード１５４０がこれに該当する。
【０１５０】
本実施形態の端末記憶部５００ｔは、アプリケーションプログラム５０７と、アプリユーザアカウント５０９と、アプリ実行トークン５９０と、現在日時８００と、を記憶する。勿論、これら以外のプログラムやデータも適宜記憶することができる。
【０１５１】
アプリケーションプログラム５０７は、端末処理部２００ｔが読み出して実行することによってユーザ端末演算部２７０としての機能を実現させるためのプログラムである。本実施形態では、アプリサーバシステム１３００から提供される配信用アプリケーションプログラム５０６（図１１参照）のコピーであって、ゲームクライアントプログラムに相当する。
【０１５２】
なお、アプリケーションプログラム５０７をオンラインゲーム用のプログラムとする場合、オンラインゲームを実現する技術手法に応じて専用のクライアントプログラムであっても良いし、ウェブブラウザプログラム及びインタラクティブな画像表示を実現するプラグインなどにより構成するとしても良い。
【０１５３】
アプリユーザアカウント５０９は、アプリサーバシステム１３００にアクセスしてユーザ認証を受ける際に、自機にて入力されたアプリユーザアカウントである。
【０１５４】
アプリ実行トークン５９０は、今回のアプリの実行・利用に係りユーザ認証時にアプリサーバシステム１３００から付与されたトークンである。なお、アプリ実行トークン５９０は、今回利用に限ったトークンとしても良いし、次回以降のアプリ実行・利用においても継続使用できるトークンとしても良い。後者の場合は、アプリサーバシステム１３００がスマートスピーカサーバシステム１０２０と連携するためのアクセス情報を兼ねる構成とすることもできる。
【０１５５】
［動作の説明］
次に、本実施形態における関連音声提供システム１０００の動作について説明する。
図１３は、本実施形態における関連音声提供システム１０００の動作について説明するためのフローチャートである。
【０１５６】
スマートスピーカデバイス１０１０は、常時、マイクロフォンで使用音や環境音を集音し、一定時間分の集音データ６００（図６参照）を生成してはスマートスピーカサーバシステム１０２０へ送信する（ステップＳ１０）。
【０１５７】
スマートスピーカサーバシステム１０２０は、スマートスピーカデバイス１０１０から集音データ６００を取得すると（ステップＳ２０）、関連音声提供管理データ６５０を作成し、提供先デバイスＩＤ６５１に集音データ６００を送信してきたスマートスピーカデバイス１０１０のデバイスＩＤ６３１を設定し、受信済集音データ６５２を格納する（図８参照）。
【０１５８】
そして、スマートスピーカサーバシステム１０２０は、所定の問い合わせリクエスト処理を実行し、所定のリクエスト信号とともに、当該集音データと、当該集音データを集音したスマートスピーカデバイス１０１０を特定できる問い合わせ番号（例えば、提供先デバイスＩＤを暗号化した値）とを、音声検索データベースシステム１０４０へ送信する（ステップＳ２２）。
【０１５９】
音声検索データベースシステム１０４０は、受信した集音データ６００を元に問い合わせに対する回答処理を実行する（ステップＳ２４）。
具体的には、受信した集音データ６００とアプリ別音声辞書データ５５０（図９参照）とに基づいて音声認識処理を行って、使用音から集音時にユーザがユーザ端末１５００で使用していたと推測されるアプリＩＤを抽出する。また、受信した集音データ６００と環境音辞書データ５５２（図９参照）とに基づいて音声認識処理を行って、集音時の状況認識結果を判定する。そして、それらと、集音データ６００とともに受信した問い合わせ番号とを回答としてスマートスピーカサーバシステム１０２０へ返信する。
【０１６０】
スマートスピーカサーバシステム１０２０は、音声検索データベースシステム１０４０から回答を得ると、実行アプリ判断処理を実行する（ステップＳ４１〜Ｓ４５）。
具体的には、先ず、得られた回答に基づいて、集音時にユーザ端末１５００で実行されユーザが利用していたアプリプレイ中のゲーム候補を絞り込む絞り込み処理を行う（ステップＳ４１）。
【０１６１】
具体的には、集音データ６００を送信してきたスマートスピーカデバイス１０１０の使用ユーザの使用ユーザ管理データ６１０（図８参照）を参照する。そして、利用可能アプリ登録データ６２０に登録されているアプリの中から音声検索データベースシステム１０４０から得た回答に含まれるアプリＩＤを検索して、それを候補アプリＩＤ６５４に設定する。もし、回答にアプリＩＤが含まれていなかった場合は、登録されている全ての利用可能アプリＩＤを候補アプリＩＤ６５４に設定する。
【０１６２】
そして、スマートスピーカサーバシステム１０２０は、候補アプリＩＤ６５４に設定されたアプリそれぞれについて、対応するアクセス情報６２３を用いてそれぞれのアプリサーバシステム１３００へ、アプリを利用中であるかの照会をリクエストする（ステップＳ４３）。
【０１６３】
各アプリサーバシステム１３００は、利用中照会リクエストへ応答する（ステップＳ４４）。具体的には、アプリ実行管理データ７００（図１１参照）で、アプリ実行中のアプリユーザのアクセス情報６６３と、照会リクエストとともに受信したアクセス情報６２３を照合して、利用中であるか否かの照会結果を返信する。
【０１６４】
スマートスピーカサーバシステム１０２０は、受信した照会結果を、関連音声提供管理データ６５０の照会結果６５５（図８参照）に設定し、この応答結果に基づいて、集音時にユーザのユーザ端末１５００でユーザが利用していたアプリ（本実施形態では、プレイしていたゲーム）を確定判断する。そして、そのアプリＩＤを実行アプリＩＤ６５６として設定する（ステップＳ４５）。
【０１６５】
ここで、実行アプリＩＤ６５６に設定されたアプリが、提供先デバイスＩＤ６５１のスマートスピーカデバイス１０１０の使用ユーザの利用可能アプリとして登録済みであれば（ステップＳ６０のＹＥＳ）、スマートスピーカサーバシステム１０２０は、実行アプリＩＤ６５６に設定されたアプリのアプリサーバシステム１３００を関連音声の取得対象として、提供先デバイスＩＤ６５１のスマートスピーカデバイス１０１０の使用ユーザのアクセス情報６２３を用いてアクセスし、所定の関連音声の取得リクエストと、回答データ６５３の音声認識結果（特には、状況認識の結果）と、を送信する（ステップＳ６２）。
【０１６６】
取得リクエストを受信したアプリサーバシステム１３００は、関連音声データの選抜と返信を行う（ステップＳ６４）。
具体的には、取得リクエストとともに受信した音声認識結果の状況認識等に基づいて、適合する適用条件５７３の関連音声定義データ５７０を検索する（図１１参照）。そして、検索された定義データの関連音声データ５７５を、スマートスピーカサーバシステム１０２０へ返信する。
【０１６７】
スマートスピーカサーバシステム１０２０は、関連音声データを取得すると、これを関連音声提供管理データ６５０に受信済関連音声データ６５７として格納し、提供先デバイスＩＤ６５１のスマートスピーカデバイス１０１０へ送信する（ステップＳ６６）。そして、スマートスピーカデバイス１０１０は、受信した関連音声データに基づいて音声出力する（ステップＳ８０）。
【０１６８】
一方、確定された実行アプリＩＤ６５６に設定されたアプリが、提供先デバイスＩＤ６５１のスマートスピーカデバイス１０１０の使用ユーザの利用可能アプリとして登録されていなければ（ステップＳ６０のＮＯ）、スマートスピーカサーバシステム１０２０は、実行アプリＩＤ６５６に設定されたアプリのアプリサーバシステム１３００を関連音声の取得対象として、勧誘音声リクエスト処理を実行する（ステップＳ７０）。具体的には、勧誘用の関連音声の取得リクエストをする。
【０１６９】
勧誘用の関連音声の取得リクエストを受信したアプリサーバシステム１３００は、勧誘用関連音声データ５８０（図１１参照）を返信する（ステップＳ７２）。
【０１７０】
スマートスピーカサーバシステム１０２０は、勧誘用関連音声データ５８０を取得すると、これを関連音声提供管理データ６５０に受信済関連音声データ６５７として格納し、提供先デバイスＩＤ６５１のスマートスピーカデバイス１０１０へ送信する（ステップＳ７４）。そして、スマートスピーカデバイス１０１０は、受信した勧誘用関連音声データ５８０に基づいて音声出力する（ステップＳ８０）。
【０１７１】
以上、本実施形態によれば、スマートスピーカデバイスで集音された音の集音データに基づいて、ユーザ端末でユーザに利用されているアプリケーションを判断し、当該アプリケーションに関連する音声をスマートスピーカデバイスから音出力することができる。つまり、スマートスピーカデバイスとスマートスピーカサーバシステムとを用いて、ユーザ端末の利用状況に応じたプッシュ型の情報提供を実現できる。
【０１７２】
〔変形例〕
以上、本発明を適用した実施形態の例について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
【０１７３】
例えば図１では、音声検索データベースシステム１０４０を、ハードウェア上では独立のシステムとして図示したが、音声検索データベースシステム１０４０としての機能を他のシステムが有する構成も可能である。
【０１７４】
例えば、図１４に示すように、スマートスピーカサーバシステム１０２０が、音声検索データベースシステム１０４０としての機能を有する構成も可能である。
また、図１５に示すように、アプリサーバシステム１３００が、音声検索データベースシステム１０４０としての機能を有する構成も可能である。
【符号の説明】
【０１７５】
２…ユーザ
１１０…集音部
２００ｄ…データベース処理部
２００ｇ…アプリサーバ処理部
２００ｐ…処理部
２００ｓ…スマートスピーカサーバ処理部
２００ｔ…端末処理部
２１０…音声キャプチャ部
２１２…集音データ提供制御部
２１４…関連音声データ取得制御部
２２０…使用ユーザ管理部
２２２…デバイス管理部
２２６…集音データ受信制御部
２２８…音声検索制御部
２３０…実行アプリ判断部
２３２…絞り込み部
２３４…利用中照会制御部
２３６…確定判定部
２４０…実行アプリ関連音声出力制御部
２５０…リクエスト応答制御部
２５２…音声認識部
２５４…使用音認識処理部
２５６…環境音認識処理部
２６０…アプリユーザ管理部
２６１…アクセス情報発行部
２６２…アプリ実行管理部
２６４…関連音声データ提供制御部
５００ｄ…データベース記憶部
５００ｇ…アプリサーバ記憶部
５００ｐ…記憶部
５００ｓ…スマートスピーカサーバ記憶部
５００ｔ…端末記憶部
５０１…制御プログラム
５０２…デバイスＩＤ
５０３…スマートスピーカサーバプログラム
５０４…データベースプログラム
５０５…アプリサーバプログラム
５０７…アプリケーションプログラム
５０９…アプリユーザアカウント
５５０…アプリ別音声辞書データ
５５２…環境音辞書データ
５７０…関連音声定義データ
５７５…関連音声データ
５８０…勧誘用関連音声データ
６００…集音データ
６１０…使用ユーザ管理データ
６１１…使用ユーザＩＤ
６２０…利用可能アプリ登録データ
６２１…利用可能アプリＩＤ
６２３…アクセス情報
６５０…関連音声提供管理データ
６５１…提供先デバイスＩＤ
６５２…受信済集音データ
６５３…回答データ
６５４…候補アプリＩＤ
６５５…照会結果
６５６…実行アプリＩＤ
６５７…受信済関連音声データ
６６０…アプリユーザ管理データ
６６１…アプリユーザアカウント
６６３…アクセス情報
７００…アプリ実行管理データ
１０００…関連音声提供システム
１０１０…スマートスピーカデバイス
１０２０…スマートスピーカサーバシステム
１０４０…音声検索データベースシステム
１３００…アプリサーバシステム
１５００…ユーザ端末
【図１】
2020009213.tif 000003
【図２】
2020009213.tif 000004
【図３】
2020009213.tif 000005
【図４】
2020009213.tif 000006
【図５】
2020009213.tif 000007
【図６】
2020009213.tif 000008
【図７】
2020009213.tif 000009
【図８】
2020009213.tif 000010
【図９】
2020009213.tif 000011
【図１０】
2020009213.tif 000012
【図１１】
2020009213.tif 000013
【図１２】
2020009213.tif 000014
【図１３】
2020009213.tif 000015
【図１４】
2020009213.tif 000016
【図１５】
2020009213.tif 000017