(57)【要約】【課題】スマートスピーカーを用いて料理の注文等のオーダー処理を行う音声認識オーダーシステム及び音声認識オーダー方法を提供する。【解決手段】  スマートスピーカー３１Ａと、ネットワークを介してスマートスピーカー３１Ａと情報の授受を可能に接続されたオーダーサーバ１０を含んで構成された音声認識オーダーシステムＳである。スマートスピーカー３１Ａは、トリガ起動状態中にユーザが発話することで得られる音声データを受信し、音声データを認識して、所定のアクセスキーワードが発話されたこと認証し、音声データに基づいてユーザのオーダー内容を特定するテキスト情報を生成する。アクセスキーワードの発話の認証が成功している場合に、テキスト情報を含むオーダー情報をオーダーサーバ１０に送信する。【選択図】図１
2020160781.tif 000002
【特許請求の範囲】
【請求項１】
音声入力手段と音声出力手段を少なくとも備えるスマートスピーカーと、ネットワークを介して前記スマートスピーカーと情報の授受を可能に接続された第一のコンピュータを含んで構成された音声認識オーダーシステムであって、
前記スマートスピーカーは、
トリガ起動状態中にユーザが発話することで得られる音声データを受信する音声データ受信手段、
前記音声データ受信手段が受信した音声データを認識して、所定のアクセスキーワードが発話されたこと認証する認証手段、
前記音声データ受信手段が受信した音声データに基づいてユーザのオーダー内容を特定するテキスト情報を生成するテキスト情報生成手段、及び、
前記認証手段によりアクセスキーワードの発話の認証が成功している場合に、前記テキスト情報生成手段が生成した前記テキスト情報を含むオーダー情報を前記第一のコンピュータに送信するオーダー情報送信手段を有し、
前記第一のコンピュータは、
前記スマートスピーカーの前記オーダー情報送信手段が送信した前記オーダー情報を受信すると、受信した前記オーダー情報に基づいてオーダー受付処理を実行する受付処理手段を有することを特徴とする音声認識オーダーシステム。
【請求項２】
前記第一のコンピュータは、受信した前記オーダー情報に基づいて、前記オーダー内容に応じた処理を実行するよう指示するオーダー実行指示情報を生成する指示情報生成手段と、
前記指示情報生成手段が生成した前記オーダー実行指示情報を、ネットワークを介して前記第一のコンピュータと情報の授受を可能に接続された第二のコンピュータに送信する指示情報送信手段を有し、
前記第二のコンピュータは、
前記第一のコンピュータの前記指示情報送信手段が送信した前記オーダー実行指示情報を受信する指示情報受信手段と、
前記指示情報受信手段が受信した前記オーダー実行指示情報に基づいて、前記オーダー内容に応じた処理を実行するオーダー実行手段を有することを特徴とする請求項１に記載の音声認識オーダーシステム。
【請求項３】
複数の前記スマートスピーカーと、各前記スマートスピーカーのそれぞれに対応付けられた端末装置であって、ユーザが操作指示可能な前記端末装置を含む請求項２に記載の音声認識オーダーシステムにおいて、
前記オーダー実行指示情報は、前記オーダー情報の送信元であるスマートスピーカーを特定するためのＩＤ情報を含み、
前記第二のコンピュータは、前記オーダー実行指示情報に含まれる前記ＩＤ情報により特定されたスマートスピーカーに対応づけられた前記端末装置を、制御対象端末装置として前記オーダー実行指示情報に基づいて制御する端末制御手段を有することを特徴とする音声認識オーダーシステム。
【請求項４】
前記第二のコンピュータは、前記制御対象端末装置の表示画面に、前記オーダー実行指示情報が示す前記オーダー内容に応じた表示を行うよう指示する旨の制御情報を、前記制御対象端末装置に送信することを特徴とする請求項３に記載の音声認識オーダーシステム。
【請求項５】
音声入力手段と音声出力手段を少なくとも備えるスマートスピーカーと、ネットワークを介して前記スマートスピーカーと情報の授受を可能に接続された第一のコンピュータにより実行される音声認識オーダー方法であって、
前記スマートスピーカーが、
トリガ起動状態中にユーザが発話することで得られる音声データを受信する音声データ受信ステップと、
受信した音声データを認識して、所定のアクセスキーワードが発話されたこと認証する認証ステップと、
前記音声データ受信ステップにて受信した音声データに基づいてユーザのオーダー内容を特定するテキスト情報生成するテキスト情報生成ステップと、
前記認証ステップにてアクセスキーワードの発話の認証が成功している場合に、前記テキスト情報生成ステップにて生成された前記テキスト情報を含むオーダー情報を第一の前記コンピュータに送信するオーダー情報送信ステップと、を有し、
前記第一のコンピュータが、
前記スマートスピーカーから送信された前記オーダー情報を受信すると、当該オーダー情報に基づいてオーダー受付処理を実行する受付処理ステップと、を有することを特徴とする音声認識オーダー方法。
【請求項６】
前記第一のコンピュータが、
前記スマートスピーカーから送信された前記オーダー情報を受信すると、当該オーダー情報に基づいて、前記オーダー内容に応じた処理を実行するよう指示するオーダー実行指示情報を生成する指示情報生成ステップと、
前記指示情報生成ステップにより生成された前記オーダー実行指示情報を、ネットワークを介して前記第一のコンピュータと情報の授受を可能に接続された第二のコンピュータに送信する指示情報送信ステップと、を有し、
前記第二のコンピュータが、
前記第一のコンピュータから送信された前記オーダー実行指示情報を受信する指示情報受信ステップと、
前記指示情報受信ステップにて受信した前記オーダー実行指示情報に基づいて、前記オーダー内容に応じた処理を実行するオーダー実行ステップと、を有することを特徴とする請求項５に記載の音声認識オーダー方法。
【請求項７】
前記オーダー実行指示情報は、前記オーダー情報の送信元である前記スマートスピーカーを特定するためのＩＤ情報を含み、
前記第二のコンピュータが、複数の前記スマートスピーカーと、各前記スマートスピーカーのそれぞれに対応付けられた端末装置であって、ユーザが操作指示可能な前記端末装置のうち、前記オーダー実行指示情報に含まれる前記ＩＤ情報により特定されたスマートスピーカーに対応づけられた前記端末装置を、制御対象端末装置として前記オーダー実行指示情報に基づいて制御する端末制御ステップを有することを特徴とする請求項６に記載の音声認識オーダー方法。
【請求項８】
前記第二のコンピュータが、前記制御対象端末装置の表示画面に、前記オーダー実行指示情報が示す前記オーダー内容に応じた表示を行うよう指示する旨の制御情報を、前記制御対象端末装置に送信することを特徴とする請求項７に記載の音声認識オーダー方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートスピーカーを用いて、オーダー処理を行う音声認識オーダーシステム及び音声認識オーダー方法に関する。
【背景技術】
【０００２】
近年、レストラン等の飲食店において、テーブルに設置されたタッチパネル式の端末装置から注文を行うシステムが採用されている。端末装置の表示画面に表示されたメニューの中から、料理と個数をタッチパネルにより選択し、「注文」ボタンをタッチすると、そのオーダー情報が端末装置から厨房内の注文受付装置に無線ネットワークを介して送信されるようになっている。厨房内の注文受付装置では、オーダー情報をプリントアウトしたり注文受付装置の表示画面に表示させたりして、オーダー情報を調理者に提示することにより、調理が開始される。このようなタッチパネル式のオーダーシステムは、従来公知のＰＯＳシステムと連動して、会計処理や集計処理までもスムーズに行うことができるよう構成されているものもある。さらには、テーブル席に設置されたロボットと、直接的あるいはタブレット等を介して間接的に対話を行い、対話の内容から顧客の状況を判断し、店舗スタッフへとオペレーションの指示を出す店舗管理システムに関する技術も開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１６１７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のタッチパネル式のオーダーシステムでは、顧客はタッチパネルを用いて必要なキータッチを行って料理のメニューページを開き、料理を選択し、さらに個数を選択し、最後にオーダー決定を行っている。
一方で、昨今、検索エンジンを使った調査、オンラインニュースの読み上げ、音楽や動画の再生といった操作をユーザの音声にて受け付けて実行するスマートスピーカーが販売されている。スマートスピーカーであれば、ユーザはタッチパネルを操作せずとも発話することで各種操作を行うことができる。
しかしながら、現在市販されているスマートスピーカー及びスマートスピーカーによるシステムでは、スマートスピーカーを客席に置いただけでは、タッチパネル表示画面へ所望のメニューページを開いたり、厨房へ所望の料理の注文を行なうことはできない。例えば、「ビール」と発話した場合、スマートスピーカーは通常接続されるＡＩアシスタントサーバへ接続し、「ビール」に紐づけられた一般的な検索結果、例えば、「ビールとは、アルコール飲料の一種。様々な作り方があるが、主に大麦を発芽させた麦芽（デンプンが酵素（アミラーゼ）で糖化している）を、ビール酵母でアルコール発酵させて・・・以下、略」といった最適解を返すだけで、料理の注文には結びつかない。
【０００５】
本発明は、このような問題等に鑑みて、その目的は、スマートスピーカーを用いて料理の注文等のオーダー処理を行う音声認識オーダーシステム及び音声認識オーダー方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の音声認識オーダーシステムは、音声入力手段と音声出力手段を少なくとも備えるスマートスピーカーと、ネットワークを介して前記スマートスピーカーと情報の授受を可能に接続された第一のコンピュータを含んで構成された音声認識オーダーシステムであって、前記スマートスピーカーは、トリガ起動状態中にユーザが発話することで得られる音声データを受信する音声データ受信手段、前記音声データ受信手段が受信した音声データを認識して、所定のアクセスキーワードが発話されたこと認証する認証手段、前記音声データ受信手段が受信した音声データに基づいてユーザのオーダー内容を特定するテキスト情報を生成するテキスト情報生成手段、及び、前記認証手段によりアクセスキーワードの発話の認証が成功している場合に、前記テキスト情報生成手段が生成した前記テキスト情報を含むオーダー情報を前記第一のコンピュータに送信するオーダー情報送信手段を有し、前記第一のコンピュータは、前記スマートスピーカーの前記オーダー情報送信手段が送信した前記オーダー情報を受信すると、受信した前記オーダー情報に基づいてオーダー受付処理を実行する受付処理手段を有する。
【０００７】
前記第一のコンピュータは、受信した前記オーダー情報に基づいて、前記オーダー内容に応じた処理を実行するよう指示するオーダー実行指示情報を生成する指示情報生成手段と、前記指示情報生成手段が生成した前記オーダー実行指示情報を、ネットワークを介して前記第一のコンピュータと情報の授受を可能に接続された第二のコンピュータに送信する指示情報送信手段を有し、前記第二のコンピュータは、前記第一のコンピュータの前記指示情報送信手段が送信した前記オーダー実行指示情報を受信する指示情報受信手段と、前記指示情報受信手段が受信した前記オーダー実行指示情報に基づいて、前記オーダー内容に応じた処理を実行するオーダー実行手段を有するよう構成してもよい。
【０００８】
複数の前記スマートスピーカーと、各前記スマートスピーカーのそれぞれに対応付けられた端末装置であって、ユーザが操作指示可能な前記端末装置を含む前記音声認識オーダーシステムにおいて、前記オーダー実行指示情報は、前記オーダー情報の送信元であるスマートスピーカーを特定するためのＩＤ情報を含み、前記第二のコンピュータは、前記オーダー実行指示情報に含まれる前記ＩＤ情報により特定されたスマートスピーカーに対応づけられた前記端末装置を、制御対象端末装置として前記オーダー実行指示情報に基づいて制御する端末制御手段を有するよう構成してもよい。
【０００９】
前記第二のコンピュータは、前記制御対象端末装置の表示画面に、前記オーダー実行指示情報が示す前記オーダー内容に応じた表示を行うよう指示する旨の制御情報を、前記制御対象端末装置に送信するよう構成してもよい。
【００１０】
本発明の音声認識オーダー方法は、音声入力手段と音声出力手段を少なくとも備えるスマートスピーカーと、ネットワークを介して前記スマートスピーカーと情報の授受を可能に接続された第一のコンピュータにより実行される音声認識オーダー方法であって、前記スマートスピーカーが、トリガ起動状態中にユーザが発話することで得られる音声データを受信する音声データ受信ステップと、受信した音声データを認識して、所定のアクセスキーワードが発話されたこと認証する認証ステップと、前記音声データ受信ステップにて受信した音声データに基づいてユーザのオーダー内容を特定するテキスト情報生成するテキスト情報生成ステップと、前記認証ステップにてアクセスキーワードの発話の認証が成功している場合に、前記テキスト情報生成ステップにて生成された前記テキスト情報を含むオーダー情報を第一の前記コンピュータに送信するオーダー情報送信ステップと、を有し、前記第一のコンピュータが、前記スマートスピーカーから送信された前記オーダー情報を受信すると、当該オーダー情報に基づいてオーダー受付処理を実行する受付処理ステップと、を有する。
【００１１】
前記第一のコンピュータが、前記スマートスピーカーから送信された前記オーダー情報を受信すると、当該オーダー情報に基づいて、前記オーダー内容に応じた処理を実行するよう指示するオーダー実行指示情報を生成する指示情報生成ステップと、前記指示情報生成ステップにより生成された前記オーダー実行指示情報を、ネットワークを介して前記第一のコンピュータと情報の授受を可能に接続された第二のコンピュータに送信する指示情報送信ステップと、を有し、前記第二のコンピュータが、前記第一のコンピュータから送信された前記オーダー実行指示情報を受信する指示情報受信ステップと、前記指示情報受信ステップにて受信した前記オーダー実行指示情報に基づいて、前記オーダー内容に応じた処理を実行するオーダー実行ステップと、を有するよう構成してもよい。
【００１２】
前記オーダー実行指示情報は、前記オーダー情報の送信元である前記スマートスピーカーを特定するためのＩＤ情報を含み、前記第二のコンピュータが、複数の前記スマートスピーカーと、各前記スマートスピーカーのそれぞれに対応付けられた端末装置であって、ユーザが操作指示可能な前記端末装置のうち、前記オーダー実行指示情報に含まれる前記ＩＤ情報により特定されたスマートスピーカーに対応づけられた前記端末装置を、制御対象端末装置として前記オーダー実行指示情報に基づいて制御する端末制御ステップを有するよう構成してもよい。
【００１３】
前記第二のコンピュータが、前記制御対象端末装置の表示画面に、前記オーダー実行指示情報が示す前記オーダー内容に応じた表示を行うよう指示する旨の制御情報を、前記制御対象端末装置に送信よう構成してもよい。
【発明の効果】
【００１４】
本発明によれば、スマートスピーカーを用いて料理の注文等のオーダー処理を行う音声認識オーダーシステム及び音声認識オーダー方法を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】音声認識オーダーシステムＳの構成例を示す説明図である。
【図２】オーダーサーバ１０の構成を概略的に示すブロック図である。
【図３】店舗サーバ３０の構成を概略的に示すブロック図である。
【図４】スマートスピーカー３１Ａの構成を概略的に示すブロック図である。
【図５】タブレット端末３１Ｂの構成を概略的に示すブロック図である。
【図６Ａ】店舗情報ＤＢ１０２１の一例である。
【図６Ｂ】発話シナリオＤＢ１０２２の一例である。
【図６Ｃ】客席端末管理ＤＢ３０２１の一例である。
【図７】処理動作例を説明するためのシーケンスチャートである。
【図８】処理動作例を説明するためのシーケンスチャートである。
【図９】処理動作例を説明するためのシーケンスチャートである。
【図１０】処理動作例を説明するためのシーケンスチャートである。
【図１１】処理動作例を説明するためのシーケンスチャートである。
【図１２】処理動作例を説明するためのシーケンスチャートである。
【図１３】処理動作例を説明するためのシーケンスチャートである。
【図１４Ａ】ホテル情報ＤＢ１０２３の一例である。
【図１４Ｂ】発話シナリオＤＢ１０２４の一例である。
【図１５】処理動作例を説明するためのシーケンスチャートである。
【図１６】処理動作例を説明するためのシーケンスチャートである。
【発明を実施するための形態】
【００１６】
本発明の実施形態について、図面を参照して説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その効果を奏する限りにおいて種々変形(各実施例を組み合わせる等)して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【００１７】
図１は、音声認識オーダーシステムＳの構成例を示す説明図である。なお、ここではレストラン等において各客席に用意された客席端末３１と、第一のコンピュータとしてのオーダーサーバ１０と、第二のコンピュータとしての店舗サーバ３０、当該音声認識オーダーシステムＳを運営する事業者が設置するサービス提供者装置２０、スマートスピーカー３１ＡのＡＩアシスタントサーバ４０とからなり、それぞれ有線又は無線にてネットワークに接続している。音声認識オーダーシステムＳは、複数のレストランに適用できる。各レストランには複数の客席がある。
【００１８】
客席端末３１は、スマートスピーカー３１Ａと当該スマートスピーカー３１Ａと一対で使用される客席タブレット端末（以下、タブレット端末３１Ｂと言う。）からなる。客席端末３１は、無線接続にてアクセスポイント（不図示）を介してネットワークに接続し、その他のシステム構成要素は有線にてネットワークに接続している。アクセスポイント（不図示）は、無線端末を相互に接続し、有線ネットワーク等のネットワークに接続する無線機である。
【００１９】
なお、本実施形態では、サーバ側の構成として、オーダーサーバ１０、サービス提供者装置２０及びＡＩアシスタントサーバ４０をそれぞれ分離した構成としたが、これらは一のコンピュータ上で構成されてもよいし、それぞれのサーバを更に複数のコンピュータで構成することもできる。
【００２０】
音声認識オーダーシステムＳは、音声入力手段の一例としてのマイクロフォンと、音声出力手段の一例としてのスピーカーと、を少なくとも備えるスマートスピーカー３１Ａと、ネットワークを介してスマートスピーカー３１Ａと情報の授受を可能に接続された第一のコンピュータの一例としてのオーダーサーバ１０を含んで構成された音声認識オーダーシステムＳである。
【００２１】
スマートスピーカー３１Ａは、トリガ起動状態中にユーザが発話することで得られる音声データを受信する音声データ受信手段、音声データ受信手段が受信した音声データを認識して、所定のアクセスキーワードが発話されたこと認証する認証手段、音声データ受信手段が受信した音声データに基づいてユーザのオーダー内容を特定するテキスト情報を生成するテキスト情報生成手段、及び、認証手段によりアクセスキーワードの発話の認証が成功している場合に、テキスト情報生成手段が生成したテキスト情報を含むオーダー情報をオーダーサーバ１０に送信するオーダー情報送信手段を有する。オーダーサーバ１０は、スマートスピーカー３１Ａのオーダー情報送信手段が送信したオーダー情報を受信すると、受信したオーダー情報に基づいてオーダー受付処理を実行する受付処理手段を有する。
【００２２】
図２は、オーダーサーバ１０の構成を概略的に示すブロック図、図３は、店舗サーバ３０の構成を概略的に示すブロック図、図４は、スマートスピーカー３１Ａの構成を概略的に示すブロック図、図５は、タブレット端末３１Ｂの構成を概略的に示すブロック図である。
【００２３】
＜オーダーサーバ１０＞
オーダーサーバ１０は、主に、各レストランの各客席のスマートスピーカー３１Ａからオーダー情報を受信して必要なオーダー受付処理を実行する装置である。
オーダーサーバ１０は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された本発明の第一のコンピュータとしての制御部１０１、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等を備える記憶部１０２、モニタ等の表示画面を備える表示部１０３、音声認識オーダーシステムＳを運営する事業者からの指示を受け付け当該指示に応じた指示信号を制御部１０１に対して与える入力部（例えば、キーボード、マウス、操作パネル（タッチパネルを含む）等）１０４、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して客席端末３１、サービス提供者装置２０及び店舗サーバ３０などと通信を行なうための通信部１０５を備えて構成されている。各構成部材はバスを介して相互に接続されている。
【００２４】
制御部１０１は、受付処理手段１０１１、指示情報生成手段１０１２、指示情報送信手段１０１３を含み、他の部材と協動して本発明の各手段として機能する。
記憶部１０２は、店舗情報データベース（ＤＢ）１０２１、発話シナリオデータベース（ＤＢ）１０２２等を記憶する。
【００２５】
店舗情報ＤＢ１０２１には、音声認識オーダーシステムＳを導入した企業が運営する店舗（例えば、レストラン）の店舗情報が登録（記憶）されている。図６Ａは、店舗情報ＤＢ１０２１の一例であり、図６Ａに示す例の場合、店舗を一意に特定する「店舗ＩＤ」に対応付けて、店舗サーバ３０の宛先情報を含む「店舗情報」、「アクセスキーワード」が登録されている。全ての店舗にそれぞれ異なる店舗ＩＤが付与されている。
【００２６】
「店舗情報」には、各店舗内に設置されている各客席端末３１のタブレット端末３１Ｂを一意に特定する「タブレット端末ＩＤ」と、タブレット端末３１Ｂに対し必要な制御情報を送信するための「タブレット端末宛先情報」と、スマートスピーカー３１Ａを一意に特定するＩＤ情報の一例としての「スマートスピーカーＩＤ」と、スマートスピーカー３１Ａに対し応答する宛先となる「スマートスピーカー宛先情報」と、が対応付けて登録されている。
【００２７】
発話シナリオＤＢ１０２２には、スマートスピーカー３１Ａを通じてレストランのユーザと行われる会話の複数の発話シナリオ情報が蓄積されている。発話シナリオとは、ユーザとオーダーサーバ１０との間でやりとりされる会話のストーリである。飲食店に入店したユーザは、入店してから退店するまでの間に複数の滞在状態を遷移する。そこで発話シナリオＤＢ１０２２には、遷移状態ごとに別個の発話シナリオが蓄積されている。
【００２８】
各発話シナリオは、ユーザが対話（すなわち、スマートスピーカー３１Ａに向けての発話又はタブレット端末３１Ｂでの選択）に用いるユーザ側シナリオデータと、オーダーサーバ１０が対話に用いるサーバ側シナリオデータと、さらに、各“所定発話”が行われた際の“次に行うべき処理の情報”が対応付けて記憶されている。例えば、“所定発話：人数を伝える発話”の後には、“次に行うべき処理”としての“タブレット端末３１Ｂの表示画面にメニューを表示させるようオーダー実行指示情報を送信する”などである。具体的な処理については後述する。
【００２９】
図６Ｂは、発話シナリオＤＢ１０２２の一例であり、図６Ｂに示す例の場合、発話シナリオＤＢ１０２２は、店舗を一意に特定する「店舗ＩＤ」に対応付けて、「発話シナリオ」と「商品リスト」が登録されている。店舗情報ＤＢ１０２１及び発話シナリオＤＢ１０２２は、音声認識オーダーシステムＳを運営する事業者から、入力部１０を介して、又は、ネットワークを介して接続されたサービス提供者装置２０から更新することができるように構成されている。
【００３０】
＜店舗サーバ３０＞
店舗サーバ３０は、主に、オーダーサーバ１０からのオーダー実行指示情報を受信して、例えば、タブレット端末３１Ｂの制御等、オーダー内容に応じた処理を実行する装置である。例えば、レストランの厨房等のバックヤードに設置されている。例えば、店舗内の各客席の注文状況を管理するＰＯＳシステムのサーバとして機能してもよい。
【００３１】
店舗サーバ３０は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された本発明の第二のコンピュータとしての制御部３０１、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等を備える記憶部３０２、モニタ等の表示画面を備える表示部３０３、店舗内の店員からの指示を受け付け当該指示に応じた指示信号を制御部３０１に対して与える入力部（例えば、キーボード、マウス、操作パネル（タッチパネルを含む）等）３０４、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介してオーダーサーバ１０、客席端末３１及びサービス提供者装置２０などと通信を行なうための通信部３０５を備えて構成されている。各構成部材はバスを介して相互に接続されている。
【００３２】
制御部３０１は、指示情報受信手段３０１１、オーダー実行手段３０１２、端末制御手段３０１３を含み、他の部材と協動して本発明の各手段として機能する。
記憶部３０２は、客席端末管理データベース（ＤＢ）３０２１等を記憶する。図６Ｃは、客席端末管理ＤＢ３０２１の一例であり、図６Ｃに示す例の場合、店舗サーバ３０が設置された店舗内に設置されている各客席端末３１のタブレット端末３１Ｂを一意に特定する「タブレット端末ＩＤ」と、タブレット端末３１Ｂに対し必要な制御情報を送信するための「タブレット端末宛先情報」と、スマートスピーカー３１Ａを一意に特定するＩＤ情報の一例としての「スマートスピーカーＩＤ」と、スマートスピーカー３１Ａに対し応答する宛先となる「スマートスピーカー宛先情報」と、が対応付けて登録されている。が対応付けて登録されている。
【００３３】
＜客席端末３１＞
客席端末３１は、各客席のテーブル上等にそれぞれ設置され、スマートスピーカー３１Ａとタブレット端末３１Ｂにより構成される。
＜スマートスピーカー３１Ａ＞
スマートスピーカー３１Ａは、いわゆるＩｏＴ（Internet of Things）機器であり、ＡＩアシスタントサーバ４０と連携して、種々の情報処理を行う。例えば、スマートスピーカー３１Ａは、音声解析技術を用いて、ユーザが発声した言葉の内容を特定し、特定した内容に応じて、情報やコンテンツの提供、さらには各種電子商店街への注文等を実現することが可能な装置である。
【００３４】
スマートスピーカー３１Ａは、制御部３１１Ａと、記憶部３１２Ａと、音声出力手段としてのスピーカー３１３Ａと、音声入力手段としてのマイクロフォン３１４Ａと、操作部３１５Ａと、通信部３１６Ａと、を有する。また、スマートスピーカー３１Ａの筐体には、視覚的にスマートスピーカー３１Ａのステータスを示すＬＥＤ（発光素子）具備する。
【００３５】
通信部３１６Ａは、ＮＩＣ等によって実現され、ネットワークと有線又は無線で接続される。そして、オーダーサーバ１０、店舗サーバ３０及びＡＩアシスタントサーバ４０との間で情報の送受信を行う。
【００３６】
操作部３１５Ａは、ユーザから各種操作を受け付ける入力装置である。例えば、操作部３１５Ａは、スマートスピーカー３１Ａに備えられた操作キー等によって実現される。
なお、スマートスピーカー３１Ａは、物理的な操作部３１５Ａを有しなくてもよい。例えば、操作部３１５Ａは、物理的な操作キーではなく、マイクロフォン３１４Ａによって検知される音声を入力として受け付けるものであってもよい。
【００３７】
マイクロフォン３１４Ａは、スマートスピーカー３１Ａに関する各種情報を検知する。具体的には、マイクロフォン３１４Ａは、各種センサであり、ユーザが発する音声や、スマートスピーカー３１Ａの周囲の環境音を検知し、音声データとして取得する。
【００３８】
記憶部３１２Ａは、オーダーサーバ１０の接続先情報及びＡＩアシスタントサーバ４０の接続先情報、当該スマートスピーカー３１Ａを一意に特定するＩＤ情報の一例としての「スマートスピーカーＩＤ」及び設置されている店舗を一意に特定する「店舗ＩＤ」など各種情報を記憶する。記憶部３１２Ａは、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【００３９】
記憶部３１２Ａは音声認識データベース（ＤＢ）３１２１Ａ等を記憶する。音声認識ＤＢ３１２１Ａには、スマートスピーカー３１Ａを起動状態とするためのトリガとなる言語が記憶されている。スマートスピーカー３１Ａは、マイクロフォン３１４Ａを通してユーザからのトリガとなる音声発話を受けると、待機状態から起動状態となる。そして、筐体に具備したＬＥＤが起動状態を示す色に発色する。
【００４０】
また、音声認識ＤＢ３１２１Ａには、オーダーサーバ１０に接続するための認証を行うための所定のアクセスキーワード情報が記憶されている。後述する制御部３１１Ａの認証手段３１１２Ａが、マイクロフォン３１４Ａを通じて受信した音声データの接頭に「アクセスキーワード」があるか否かの認証を行い、受信した音声データの接頭に「アクセスキーワード」がある場合に、オーダーサーバ１０にテキスト情報を含むオーダー情報を送信する。
【００４１】
「アクセスキーワード」は、例えば、店舗名「○○レストラン」等とする。「アクセスキーワード」がない場合には、ＡＩアシスタントサーバ４０に接続し、いわゆる従来公知の情報処理が行われる。さらに、例えば、記憶部３１２Ａは、マイクロフォン３１４Ａによって検知された音声データを、各情報が検知された日時と対応付けて記憶してもよい。
【００４２】
制御部３１１Ａは、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成される。また、制御部３１１Ａは、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【００４３】
制御部３１１Ａは、音声データ受信手段３１１１Ａ、認証手段３１１２Ａ、テキスト情報生成手段３１１３Ａ、オーダー情報送信手段３１１４Ａを含み、他の部材と協動して本発明の各手段として機能する。
【００４４】
＜タブレット端末３１Ｂ＞
タブレット端末３１Ｂは、例えば、店舗サーバ３０からの制御情報に応じた処理を行なう。例えば、店舗サーバ３０からの制御情報に従ってタッチパネルにメニュー等を表示する装置である。また、ユーザが操作指示可能な装置であって、タッチパネル上でユーザの操作を受け付け、画面遷移を行なったり、注文を受け付けたり、店舗サーバ３０へ会計指示を送信したりすることもできる。
【００４５】
タブレット端末３１Ｂは、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成されたコンピュータとしての制御部３１１Ｂ、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等を備える記憶部３１２、タッチパネル等の表示画面を備える表示部３１３Ｂ、タッチパネルを介してユーザの操作指示を受け付け当該指示に応じた指示信号を制御部３１１Ｂに対して与える入力部３１４Ｂ、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して店舗サーバ３０、オーダーサーバ１０、サービス提供者装置２０などと通信を行なうための通信部３１５Ｂを備えて構成されている。各構成部材はバスを介して相互に接続されている。
【００４６】
記憶部３１２Ｂは、注文可能商品データベース（ＤＢ）３１２１Ｂ等を記憶する。注文可能商品ＤＢ３１２１Ｂには、注文可能な料理のメニューリスト情報（料理の写真、料理情報（産地等）、値段等）が登録（記憶）されており、当該注文可能商品ＤＢ３１２１Ｂから抽出したメニューや料理の情報等が表示画面に表示される。注文可能商品ＤＢ３１２１Ｂのメニューリスト情報は、店舗サーバ３０から制御情報に基づいて更新可能に構成されている。
【００４７】
＜音声認識オーダーシステムＳの処理動作例１＞
図７乃至図１２は、ユーザが入店し、スマートスピーカー３１Ａを介してオーダーサーバ１０に種々のオーダー情報を送信し、オーダーサーバ１０が受信したオーダー情報に基づいてオーダー受付処理を実行する際の処理動作例を説明するためのシーケンスチャートである。
【００４８】
＜入店〜メニュー表示＞
スマートスピーカー３１Ａはユーザからのトリガとなる音声発話を受け、待機状態から起動状態になる（ステップ１）。ユーザはトリガ発話に続けて何らかの発話を行い、制御部３１１Ａの音声データ受信手段３１１１Ａは、マイクロフォン３１４Ａと協働し、それらの発話を受け音声データとして受信する（ステップＳ２）。
【００４９】
次いで、制御部３１１Ａの認証手段３１１２Ａは、受信した音声データを認識して、発話の接頭にアクセスキーワードが発話されたか否かを認証する（ステップＳ３）。記憶部３１２Ａの音声認識ＤＢに予め記憶されているアクセスキーワードと照合を行い認証する。図７は、「○○レストラン」をアクセスキーワードとした場合の例である。図７の例では、アクセスキーワード「○○レストラン」を接頭に発話しているので、認証成功（ＯＫ）となり、テキスト情報生成手段３１１３Ａが、ステップＳ２で受信した音声データに基づいてユーザのオーダー内容を特定するテキスト情報を生成する（ステップＳ４）。
【００５０】
そして、記憶部３１２Ａに記憶したオーダーサーバ１０の接続先情報を参照して、ステップＳ４で生成したテキスト情報を含むオーダー情報をオーダーサーバ１０へ送信する（ステップＳ５）。この際、記憶部３１２Ａに記憶した「店舗ＩＤ」と「スマートスピーカーＩＤ」とを共に送信する。
【００５１】
次に、オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信すると（ステップＳ６）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ７)。具体的には、オーダー情報に含まれるテキスト情報に基づいてオーダー受付処理を実行する。
【００５２】
図７前段に示す例では、「○○レストラン  こんにちは」という内容のテキスト情報を含むオーダー情報をスマートスピーカー３１Ａから受信している。そして、制御手段１０１は、記憶部１０２の発話シナリオＤＢ１０２２（図６Ｂ）のうち、オーダー情報と共に受信した「店舗ＩＤ」に対応付けられた「発話シナリオ」から、オーダー情報に含まれるテキスト情報のうち、アクセスキーワードを除く「こんにちは」に対する会話の返答を抽出して、オーダー情報の送信元であるスマートスピーカー３１Ａに返答する。「店舗ＩＤ」により、複数の店舗の中から送信元の店舗を特定し、更に、「スマートスピーカーＩＤ」により、複数の客席端末３１のスマートスピーカー３１Ａの中から送信元のスマートスピーカー３１Ａを特定することができる。
【００５３】
図７前段の例では、「ようこそ○○レストランヘ！何名様ですか？」という返答をする。具体的には、受付処理手段１０１１は、記憶部１０２の店舗情報ＤＢ１０２１を参照して、オーダー情報と共に送信された「店舗ＩＤ」と「スマートスピーカーＩＤ」に対応づけて記憶されたスマートスピーカー３１Ａの宛先情報に対して返答する。なお、ステップＳ５において、スマートスピーカー３１Ａの宛先情報をオーダー情報に含んでオーダーサーバ１０に送信し、ステップＳ７においてオーダー情報に含まれたスマートスピーカー３１Ａの宛先情報に対して返答するよう構成してもよい。
【００５４】
スマートスピーカー３１Ａでは、オーダーサーバ１０からの返答を受けると、スピーカー３１３Ａから返答を出力する（ステップＳ８）。
次いで、ユーザは「○○レストラン  ４名」と発話すると、制御部３１１Ａでは、音声データ受信（ステップＳ９）、アクセスキーワードの認証（ステップＳ１０）、テキスト情報生成（ステップＳ１１）、テキスト情報を含むオーダー情報送信（ステップＳ１２）を行う。当該ステップＳ９乃至Ｓ１２の処理はそれぞれステップＳ２乃至ステップＳ５の処理と同様であるため説明を省略する。
【００５５】
アクセスキーワードによる認証状態は、所定時間維持するよう設定することができる。そのため、ステップＳ３で行った認証状態が、ステップＳ９の後も続いている場合には、ステップＳ１０のアクセスキーワードの認証は不要である。また、スマートスピーカー３１ＡがステップＳ９で発話を受けて音声データを受信する前に起動状態でない場合には、ユーザからのトリガとなる音声発話を受け、待機状態から起動状態とした後に、ステップＳ９以降の処理を行う。スマートスピーカー３１Ａが待機状態か、起動状態か、認証状態かは、ステータスを示すＬＥＤ（発光素子）の発光色で区別できるよう、それぞれの状態に対応する異なる色のＬＥＤ（発光素子）の発光色でユーザに示す。
【００５６】
オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信すると（ステップＳ１３）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ１４)。図７後段に示す例では、オーダー内容に応じた処理を実行するよう指示するオーダー実行指示情報を生成し、オーダー情報送信元のスマートスピーカー３１Ａが設置された店舗サーバ３０へ送信する。
【００５７】
記憶部１０２の発話シナリオＤＢ１０２２（図６Ｂ）を参照し、テキスト情報のうち、アクセスキーワードを除く発話を受け、“次に行うべき処理”を実行することとなる。例えば、図７後段に示す「○○レストラン  ４名」という内容のテキスト情報を含むオーダー情報を受信した場合のように、人数を伝える発話の後には、人数を伝えたスマートスピーカー３１Ａと対となるタブレット端末３１Ｂの表示画面にメニューを表示させることが“次に行うべき処理”である。そのため、当該指示を示すオーダー実行指示情報を、指示情報生成手段１０１２が生成し、指示情報送信手段１０１２がオーダー情報送信元のスマートスピーカー３１Ａが設置された店舗サーバ３０へ送信する（図８：ステップＳ１５）。
【００５８】
具体的には、記憶部１０２の店舗情報ＤＢ１０２１（図６Ａ）を参照して、ステップＳ１２でオーダー情報と共に送信された「店舗ＩＤ」と「スマートスピーカーＩＤ」に対応づけて記憶された「店舗情報」に含まれる店舗サーバ３０の宛先情報に向けてオーダー実行指示情報を送信する。このとき、ステップＳ１２におけるオーダー情報の送信元であるスマートスピーカー３１Ａを特定するためのＩＤ情報である「スマートスピーカーＩＤ」を共に送信する。
【００５９】
店舗サーバ３０の指示情報受信手段３０１１は、オーダーサーバ１０からオーダー実行指示情報を受信する（ステップＳ１６）。そして、店舗サーバ３０のオーダー実行手段３０１２は、オーダー実行指示情報に基づいて、オーダー内容に応じた処理を実行する。
【００６０】
図８の例では、店舗サーバ３０の端末制御手段３０１３が、オーダー実行指示情報に含まれるスマートスピーカーＩＤにより特定されたスマートスピーカー３１Ａに対応づけられたタブレット端末３１Ｂを制御対象端末装置としてオーダー実行指示情報に基づいて制御する。
【００６１】
具体的には、記憶部３０２の客席端末管理ＤＢ３０２１（図６Ｃ）を参照して、ステップＳ１６でオーダー実行指示情報と共に送信された「スマートスピーカーＩＤ」に対応づけて記憶された「タブレット端末宛先情報」に向けて、タブレット端末３１Ｂの表示画面にメニューを表示させる旨の制御情報を送信する（ステップＳ１７）。
【００６２】
タブレット端末３１Ｂは、店舗サーバ３０からの制御情報を受信し（ステップＳ１８）、当該制御情報に応じた処理を行う（ステップＳ１９）。図８の例では、メニューの表紙をタブレット端末３１Ｂの表示部３１３Ｂの表示画面に表示する。具体的には、タブレット端末３１Ｂの記憶部３１２Ｂの注文可能商品ＤＢに記憶されているメニューリスト情報から抽出して表示する。
【００６３】
なお、ステップＳ１５にて、オーダー情報送信元のスマートスピーカー３１Ａの「スマートスピーカーＩＤ」を送信しているが、指示情報生成手段１０１２が生成するオーダー実行指示情報の内容が、タブレット端末３１Ｂに関する内容であれば、店舗情報ＤＢ１０２１（図６Ａ）を参照して、オーダー情報送信元のスマートスピーカー３１Ａの「スマートスピーカーＩＤ」に変えて、当該「スマートスピーカーＩＤ」に対応付けられた「タブレット端末ＩＤ」又は「タブレット端末宛先情報」を送信してもよい。例えば、「タブレット端末宛先情報」を受信した場合には、ステップＳ１７において、店舗サーバ３０の端末制御手段３０１３は、客席端末管理ＤＢ３０２１（図６Ｃ）を参照する必要がなくなる。
【００６４】
タブレット端末３１Ｂの表示画面に表示されているメニューの表紙から、ドリンクメニューページ、お食事メニューページ、デザートメニューページ、注文状況表示のページなど、種々の表示を行う際には、タブレット端末３１Ｂの表示画面であるタッチパネル上でユーザがタッチしてページをめくったり、表示を変えたりすることができる。
本実施形態では、スマートスピーカー３１Ａを通じてタブレット端末３１Ｂの表示を変えて商品を注文するケースについて説明する。
【００６５】
＜所望ページの表示＞
スマートスピーカー３１Ａはユーザからのトリガとなる音声発話を受け、待機状態から起動状態になる（ステップ２０）。ユーザはトリガ発話に続けて何らかの発話を行い、制御部３１１Ａの音声データ受信手段３１１１Ａは、マイクロフォン３１４Ａと協働し、それらの発話を受け音声データ（「○○レストラン  ドリンクメニューを開いて」）として受信する（ステップＳ２１）。
【００６６】
次いで、制御部３１１Ａでは、アクセスキーワードの認証（ステップＳ２２）、テキスト情報生成（ステップＳ２３）、テキスト情報を含むオーダー情報送信（ステップＳ２４）を行う。当該ステップＳ２１乃至Ｓ２４の処理はそれぞれステップＳ２乃至ステップＳ５の処理と同様であるため説明を省略する。
【００６７】
オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信すると（ステップＳ２５）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ２６)。具体的には、オーダー情報に含まれるテキスト情報に基づいてオーダー受付処理を実行する。
図９に示す例では、オーダー内容に応じた処理を実行するよう指示するオーダー実行指示情報を生成し、オーダー情報送信元のスマートスピーカー３１Ａが設置された店舗サーバ３０へ送信する。
【００６８】
記憶部１０２の発話シナリオＤＢ１０２２（図６Ｂ）を参照し、テキスト情報のうち、アクセスキーワードを除く発話を受け、“次に行うべき処理”を実行することとなる。例えば、図９に示す「○○レストラン  ドリンクメニューを開いて」という内容のテキスト情報を含むオーダー情報を受信した場合のように、所定のメニューページを開くよう要求する発話の後には、要求元のスマートスピーカー３１Ａと対となるタブレット端末３１Ｂの表示画面に要求されたメニューページを表示させることが“次に行うべき処理”である。そのため、当該指示を示すオーダー実行指示情報を、指示情報生成手段１０１２が生成し、指示情報送信手段１０１２がオーダー情報送信元のスマートスピーカー３１Ａが設置された店舗サーバ３０へ送信する（ステップＳ２７）。具体的な処理はステップＳ１５の処理と同様であるため説明を省略する。
【００６９】
店舗サーバ３０の指示情報受信手段３０１１は、オーダーサーバ１０からオーダー実行指示情報を受信する（ステップＳ２８）。そして、店舗サーバ３０のオーダー実行手段３０１２は、オーダー実行指示情報に基づいて、オーダー内容に応じた処理を実行する。
【００７０】
図９の例では、店舗サーバ３０の端末制御手段３０１３が、オーダー実行指示情報に含まれるスマートスピーカーＩＤにより特定されたスマートスピーカー３１Ａに対応づけられたタブレット端末３１Ｂを制御対象端末装置としてオーダー実行指示情報に基づいて制御する。
【００７１】
具体的には、記憶部３０２の客席端末管理ＤＢ３０２１（図６Ｃ）を参照して、ステップＳ２８でオーダー実行指示情報と共に受信した「スマートスピーカーＩＤ」に対応づけて記憶された「タブレット端末宛先情報」に向けて、タブレット端末３１Ｂの表示画面にドリンクメニューページを表示させるよう指示する旨の制御情報を送信する（ステップＳ２９）。
【００７２】
タブレット端末３１Ｂは、店舗サーバ３０からの制御情報を受信し（ステップＳ３０）、当該制御情報に応じた処理を行う（ステップＳ３１）。図９の例では、ドリンクメニューページをタブレット端末３１Ｂの表示部３１３Ｂの表示画面に表示する。具体的には、タブレット端末３１Ｂの記憶部３１２Ｂの注文可能商品ＤＢに記憶されているメニューリスト情報から抽出して表示する。
【００７３】
タブレット端末３１Ｂの表示画面に表示されているドリンクメニューページから、ユーザがタッチパネルをタッチして所望のドリンクを注文することができる。
引き続き、本実施形態では、スマートスピーカー３１Ａを通じて所望の商品を注文するケースについて説明する。
【００７４】
＜商品の注文＞
次いで、制御部３１１Ａの音声データ受信手段３１１１Ａは、マイクロフォン３１４Ａと協働し、ユーザの発話を受け音声データ（「○○レストラン  生ビール４つ！」）として受信する（ステップＳ３２）。
【００７５】
次いで、制御部３１１Ａでは、アクセスキーワードの認証（ステップＳ３３）、テキスト情報生成（ステップＳ３４）、テキスト情報を含むオーダー情報送信（ステップＳ３５）を行う。なお、ステップＳ２１で行った認証状態が続いている場合には、ステップＳ３３のアクセスキーワードの認証は不要である。当該ステップＳ３２乃至Ｓ３５の処理はそれぞれステップＳ２乃至ステップＳ５の処理と同様であるため説明を省略する。
【００７６】
オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信すると（ステップＳ３６）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ３７)。具体的には、オーダー情報に含まれるテキスト情報に基づいてオーダー受付処理を実行する。
【００７７】
図１０前段に示す例では、「○○レストラン  生ビール４つ！」という内容のテキスト情報を含むオーダー情報をスマートスピーカー３１Ａから受信している。そして、制御手段１０１は、記憶部１０２の発話シナリオＤＢ１０２２（図６Ｂ）のうち、オーダー情報と共に受信した「店舗ＩＤ」に対応付けられた「発話シナリオ」から、オーダー情報に含まれるテキスト情報のうち、アクセスキーワードを除く「生ビール４つ！」に対する“会話の返答”と、“次に行うべき処理”を実行することとなる。
【００７８】
会話の返答として、オーダー情報の送信元であるスマートスピーカー３１Ａに返答する。また、次に行うべき処理は、タブレット端末３１Ｂの表示画面に注文内容を表示させることである。
まず、図１０前段の例では、「以上でよろしいですか？」という返答をする。具体的な処理はステップＳ７の処理と同様であるため説明を省略する。
スマートスピーカー３１Ａでは、オーダーサーバ１０からの返答を受けると、スピーカー３１３Ａから返答を出力する（ステップＳ３８）。
【００７９】
ステップＳ３９にて、タブレット端末３１Ｂの表示画面に注文内容を表示させる指示を示すオーダー実行指示情報を、指示情報生成手段１０１２が生成し、指示情報送信手段１０１２がオーダー情報送信元のスマートスピーカー３１Ａが設置された店舗サーバ３０へ送信する（ステップＳ３９）。具体的な処理はステップＳ１５の処理と同様であるため説明を省略する。
【００８０】
店舗サーバ３０の指示情報受信手段３０１１は、オーダーサーバ１０からオーダー実行指示情報を受信する（ステップＳ４０）。そして、店舗サーバ３０のオーダー実行手段３０１２は、オーダー実行指示情報に基づいて、オーダー内容に応じた処理を実行する。
【００８１】
図１０前段の例では、店舗サーバ３０の端末制御手段３０１３が、オーダー実行指示情報に含まれるスマートスピーカーＩＤにより特定されたスマートスピーカー３１Ａに対応づけられたタブレット端末３１Ｂを制御対象端末装置としてオーダー実行指示情報に基づいて制御する。
【００８２】
具体的には、記憶部３０２の客席端末管理ＤＢ３０２１（図６Ｃ）を参照して、ステップＳ４０でオーダー実行指示情報と共に受信した「スマートスピーカーＩＤ」に対応づけて記憶された「タブレット端末宛先情報」に向けて、タブレット端末３１Ｂの表示画面に注文内容を表示させる旨の制御情報を送信する（ステップＳ４１）。
【００８３】
タブレット端末３１Ｂは、店舗サーバ３０からの制御情報を受信し（ステップＳ４２）、当該制御情報に応じた処理を行う（ステップＳ４３）。図１０前段の例では、注文内容をタブレット端末３１Ｂの表示部３１３Ｂの表示画面に表示する。具体的には、タブレット端末３１Ｂの記憶部３１２Ｂの注文可能商品ＤＢに記憶されているメニューリスト情報から抽出して表示する。
ステップＳ３８の発話を受けて、ユーザは引き続き注文を行ってもよい（ステップＳ３２〜Ｓ４３）。
【００８４】
制御部３１１Ａの音声データ受信手段３１１１Ａは、マイクロフォン３１４Ａと協働し、ユーザの発話を受け音声データ（「以上で」）として受信する（ステップＳ４４）。
次いで、制御部３１１Ａでは、テキスト情報生成（ステップＳ４５）、テキスト情報を含むオーダー情報送信（ステップＳ４６）を行う。
【００８５】
当該ステップＳ４４乃至Ｓ４６の処理はそれぞれステップＳ２、ステップＳ４、ステップＳ５の処理と同様であるため説明を省略する。なお、スマートスピーカー３１ＡがステップＳ４４で発話を受けて音声データを受信する前に起動状態でない場合には、ユーザからのトリガとなる音声発話を受け、待機状態から起動状態とした後に、ステップＳ４４以降の処理を行う。ステップＳ３３で行った認証状態が続いていない場合には、ステップＳ４４に続いてアクセスキーワードの認証を行う。認証状態でない場合に、ユーザがアクセスキーワードを発話しなかった場合には、ＡＩアシスタントサーバ４０に向けた発話となる。ＡＩアシスタントサーバ４０とのやり取りについては図１３を用いて後に詳述する。
【００８６】
次いで、オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信すると（ステップＳ４７）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ４８)。具体的には、オーダー情報に含まれるテキスト情報に基づいてオーダー受付処理を実行する。
【００８７】
図１０後段に示す例では、オーダー内容に応じた処理を実行するよう指示するオーダー実行指示情報を生成し、オーダー情報送信元のスマートスピーカー３１Ａが設置された店舗サーバ３０へ送信する。
【００８８】
記憶部１０２の発話シナリオＤＢ１０２２（図６Ｂ）を参照し、テキスト情報のうち、アクセスキーワードを除く発話を受け、“次に行うべき処理”を実行することとなる。例えば、図１０後段に示す「以上で」という内容のテキスト情報を含むオーダー情報を受信した場合のように、注文を確定するよう要求する発話の後には、要求元のスマートスピーカー３１Ａと対となるタブレット端末３１Ｂの表示画面に注文確定表示をすることが“次に行うべき処理”である。そのため、当該指示を示すオーダー実行指示情報を、指示情報生成手段１０１２が生成し、指示情報送信手段１０１２がオーダー情報送信元のスマートスピーカー３１Ａが設置された店舗サーバ３０へ送信する（ステップＳ４９）。具体的な処理はステップＳ１５の処理と同様であるため説明を省略する。
【００８９】
店舗サーバ３０の指示情報受信手段３０１１は、オーダーサーバ１０からオーダー実行指示情報を受信する（ステップＳ５０）。そして、店舗サーバ３０のオーダー実行手段３０１２は、オーダー実行指示情報に基づいて、オーダー内容に応じた処理を実行する。
【００９０】
図１０後段の例では、店舗サーバ３０の端末制御手段３０１３が、オーダー実行指示情報に含まれるスマートスピーカーＩＤにより特定されたスマートスピーカー３１Ａに対応づけられたタブレット端末３１Ｂを制御対象端末装置としてオーダー実行指示情報に基づいて制御する。
【００９１】
具体的には、記憶部３０２の客席端末管理ＤＢ３０２１（図６Ｃ）を参照して、ステップＳ５０でオーダー実行指示情報と共に受信した「スマートスピーカーＩＤ」に対応づけて記憶された「タブレット端末宛先情報」に向けて、タブレット端末３１Ｂの表示画面に注文確定表示を指示する旨の制御情報を送信する（ステップＳ５１）。
【００９２】
タブレット端末３１Ｂは、店舗サーバ３０からの制御情報を受信し（ステップＳ５２）、当該制御情報に応じた処理を行う（ステップＳ５３）。図１０後段の例では、注文確定表示をタブレット端末３１Ｂの表示部３１３Ｂの表示画面に表示する。
【００９３】
注文確定表示と共に、確認ボタンを表示し、ユーザが当該確認ボタンを選択したときに正式なオーダーが行われたとして、厨房内の注文端末装置へオーダー情報を送信し、注文端末装置のモニター等にオーダーを表示したりオーダーをプリントアウトしたりして調理者に提示し調理を開始してもよい。店舗サーバ３０を注文端末装置として機能させてもよい。又は、ステップＳ５０でオーダー実行指示情報を受信したときに、正式なオーダーが行われたと確定してもよい。ユーザへ確認を取るか否かは適宜設計変更できる。
【００９４】
＜種々のオーダー＞
上述したような料理の注文に限らず、音声認識オーダーシステムＳによれば、種々のオーダーに対応できる。
図１１のシーケンスチャートに示すように、ステップＳ１００乃至ステップＳ１０４においてユーザが「今月のおすすめ」を紹介するようオーダーすると、オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信して（ステップＳ１０５）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ１０６)。
【００９５】
そうすると、店舗サーバ３０を介して、要求元のスマートスピーカー３１Ａと対となるタブレット端末３１Ｂの表示画面におすすめ動画を再生表示する（ステップＳ１０７乃至ステップＳ１１１）。おすすめ動画は、タブレット端末３１Ｂの記憶部３１２Ｂの注文可能商品ＤＢに記憶されているメニューリスト情報から抽出して表示する。
【００９６】
図１２のシーケンスチャートに示すように、ステップＳ１２０乃至ステップＳ１２４においてユーザが“鮮魚盛り”について説明するようオーダーすると、オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信して（ステップＳ１２５）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ１２６)。
【００９７】
すると、制御手段１０１は、記憶部１０２の発話シナリオＤＢ１０２２（図６Ｂ）を参照して、オーダー情報と共に受信した「店舗ＩＤ」に対応付けられた「発話シナリオ」から、“鮮魚盛り”の説明を抽出して、オーダー情報の送信元であるスマートスピーカー３１Ａに返答する(ステップＳ１２７)。
【００９８】
なお、制御手段１０１は、記憶部１０２の発話シナリオＤＢ１０２２（図６Ｂ）を参照して、オーダー情報と共に受信した「店舗ＩＤ」に対応付けられた「商品リスト」に説明を求められた商品がない場合には、「その商品はございません。」等を返答する。
以上説明したように、音声認識オーダーシステムＳによれば、種々のオーダーに対応できる。上述した事例に限定されず、注文のキャンセルや、会計依頼等もオーダーすることができる。
【００９９】
＜認証不可の場合＞
上述した実施形態では、スマートスピーカー３１Ａの制御部３１１Ａの認証手段３１１２Ａによって、音声データ受信手段３１１１Ａが受信した音声データについて、所定のアクセスキーワードが発話されたか否かを認証し、認証が成功した場合を例に説明したが、認証失敗（認証不可）の場合について、図１３のシーケンスチャートを参照して説明する。
【０１００】
スマートスピーカー３１Ａはユーザからのトリガとなる音声発話を受け、待機状態から起動状態になる（ステップ１３０）。ユーザはトリガ発話に続けて何らかの発話を行い、制御部３１１Ａの音声データ受信手段３１１１Ａは、マイクロフォン３１４Ａと協働し、それらの発話を受け音声データ（「□□線  恵比寿駅の終電は何時？」）として受信する（ステップＳ１３１）。
【０１０１】
次いで、制御部３１１Ａでは、アクセスキーワードの認証（ステップＳ１３２）を行う。記憶部３１２Ａの音声認識ＤＢに予め記憶されているアクセスキーワードと照合を行い認証し、認証が成功していない場合、すなわち、認証不可（ＮＧ）の場合には、受信した音声データをＡＩアシスタントサーバ４０へ送信する（ステップＳ１３３）。ＡＩアシスタントサーバ４０にて、従来公知の情報処理が行われる。つまり、音声データを受信し（ステップＳ１３４）、音声解析が行われ（ステップＳ１３５）、最適解がスマートスピーカー３１Ａへ返答される（ステップＳ１３６、Ｓ１３７）。
【０１０２】
このように、本実施形態のスマートスピーカー３１Ａによれば、アクセスキーワードの認証が成功すればオーダーサーバ１０へ接続され、アクセスキーワードの認証がされなければ（認証不可）、通常のＡＩアシスタントサーバ４０に接続される。よって、従来公知のスマートスピーカーとしての機能を保ったまま音声認識オーダーシステムＳの構成に組み込むことができる。
【０１０３】
＜他の使用例＞
上述した実施形態では、音声認識オーダーシステムＳをレストランに適用した場合を例に説明したが、本発明の音声認識オーダーシステムＳは、他の場面にも適用できる。次いで、ホテルや旅館等に対し、本発明の音声認識オーダーシステムＳを適用した場合について説明する。
【０１０４】
客席端末３１と店舗サーバ３０は、その呼び名がかわるだけで構成は上記記載の内容と同様である。すなわち、各ホテルの各客室に用意された客室端末３１と、第一のコンピュータとしてのオーダーサーバ１０と、第二のコンピュータとしてのフロントサーバ３０、当該音声認識オーダーシステムＳを運営する事業者が設置するサービス提供者装置２０、スマートスピーカー３１ＡのＡＩアシスタントサーバ４０とからなり、それぞれ有線又は無線にてネットワークに接続している。
【０１０５】
オーダーサーバ１０は、主に、各ホテルの各客室に設置したスマートスピーカー３１Ａからオーダー情報を受信して必要なオーダー受付処理を実行する装置である。
記憶部１０２は、ホテル情報データベース（ＤＢ）１０２３、発話シナリオデータベース（ＤＢ）１０２４等を記憶する。図１４Ａは、ホテル情報ＤＢ１０２３の一例であり、図１４Ａに示す例の場合、ホテルを一意に特定する「ホテルＩＤ」に対応付けて、フロントサーバ３０の宛先情報を含む「ホテル情報」、「アクセスキーワード」が登録されている。全てのホテルにそれぞれ異なるホテルＩＤが付与されている。
【０１０６】
「ホテル情報」には、ホテル内の各客室に設置されている客室端末３１のタブレット端末３１Ｂを一意に特定する「タブレット端末ＩＤ」と、タブレット端各末３１Ｂに対し必要な制御情報を送信するための「タブレット端末宛先情報」と、スマートスピーカー３１Ａを一意に特定するＩＤ情報の一例としての「スマートスピーカーＩＤ」と、スマートスピーカー３１Ａに対し応答する宛先となる「スマートスピーカー宛先情報」と、が対応付けて登録されている。
【０１０７】
発話シナリオＤＢ１０２４には、スマートスピーカー３１Ａを通じてホテルに滞在するユーザと行われる会話の複数の発話シナリオ情報が蓄積されている。発話シナリオとは、ユーザとオーダーサーバ１０との間でやりとりされる会話のストーリである。ホテルの客室内のユーザは、入室からチェックアウトのために室内から退室するまで間に複数の滞在状態を遷移する。発話シナリオＤＢ１０２４には、遷移状態ごとに別個の発話シナリオが蓄積されている。
【０１０８】
図１４Ｂは、発話シナリオＤＢ１０２４の一例であり、図１４Ｂに示す例の場合、発話シナリオＤＢ１０２４は、「ホテルＩＤ」に対応付けて、「発話シナリオ」と「リクエストリスト」が登録されている。
【０１０９】
フロントサーバ３０は、店舗サーバ３０と同様の動作を行う。主に、オーダーサーバ１０からのオーダー実行指示情報を受信して、例えば、タブレット端末３１Ｂの制御等、オーダー内容に応じた処理を実行する装置である。例えば、ホテルのフロントやコンシェルジュルーム等に設置されている。
【０１１０】
客室端末３１は、各客室にそれぞれ設置され、スマートスピーカー３１Ａとタブレット端末３１Ｂにより構成される。
タブレット端末３１Ｂの記憶部３１２Ｂは、リクエスト内容データベース（ＤＢ）(不図示)等を記憶する。リクエスト内容ＤＢ３１２１Ｂには、リクエスト可能な情報、例えば、ルームサービスの内容、夕食の予約、夕食時間の予約・変更、朝食の予約、朝食時間の予約・変更、貸切風呂の予約等が登録（記憶）されており、当該リクエスト内容ＤＢから読みだしたリクエスト内容が表示画面に表示される。
【０１１１】
＜音声認識オーダーシステムＳの処理動作例２＞
図１５及び図１６は、ホテルに対し本発明の音声認識オーダーシステムＳを適用した場合の処理動作例を説明するためのシーケンスチャートである。
【０１１２】
ステップＳ２００乃至ステップＳ２０４においてユーザが「夕食予約」をオーダーすると、オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信して（ステップＳ２０５）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ２０６)。
【０１１３】
そうすると、フロントサーバ３０を介して、要求元のスマートスピーカー３１Ａと対となるタブレット端末３１Ｂの表示画面に予約可能時間を表示する（ステップＳ２０７乃至ステップＳ２１１）。例えば、フロントサーバ３０は、ステップＳ２０９において、ホテル内の各レストランの予約可能時間情報を含む制御情報を送信する。そして、タブレット端末３１Ｂでは、記憶部３１２Ｂのリクエスト内容ＤＢに記憶されているレストラン情報を抽出し、受信した予約可能時間情報と対応付けて表示する。
【０１１４】
引き続き、ステップＳ２１２乃至ステップＳ２１５においてユーザが「17時から和食処予約」をオーダーすると、オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信して（ステップＳ２１６）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ２１７)。
【０１１５】
図１６前段の例では、制御手段１０１は、記憶部１０２の発話シナリオＤＢ１０２４（図１４Ｂ）のうち、オーダー情報と共に受信した「ホテルＩＤ」に対応付けられた「発話シナリオ」から、オーダー情報に含まれるテキスト情報のうち、アクセスキーワードを除く「１７時から和食処予約」に対する会話の返答と、次に行うべき処理を実行することとなる。
【０１１６】
会話の返答として、オーダー情報の送信元であるスマートスピーカー３１Ａに返答する。また、次に行うべき処理は、タブレット端末３１Ｂの表示画面に注文内容を表示させることである。
まず、図１６前段の例では、「他に御用はございますか？」という返答をし、スマートスピーカー３１Ａから出力する（ステップＳ２１８）。
【０１１７】
また、フロントサーバ３０を介して、要求元のスマートスピーカー３１Ａと対となるタブレット端末３１Ｂの表示画面に予約内容を表示する（ステップＳ２１９乃至ステップＳ２２３）。
【０１１８】
さらに、ステップＳ２２４乃至ステップＳ２２６にて、ユーザからスマートスピーカー３１Ａを通じてオーダーを受けると、オーダーサーバ１０の受付処理手段１０１１は、スマートスピーカー３１Ａが送信したオーダー情報を受信して（ステップＳ２２７）、受信したオーダー情報に基づいてオーダー受付処理を実行する(ステップＳ２２８)。以下、ステップＳ２２９乃至ステップＳ２３４の処理は上述した処理と同様のため説明を省略する。
【０１１９】
以上説明したように、本実施形態における音声認識オーダーシステムＳによれば、所定のアクセスキーワードが発話されたか否かを認証し、認証が成功した場合にオーダーサーバ１０にオーダー情報を送信し、オーダーサーバ１０にてオーダー情報に基づいたオーダー受付処理を実行することができるので、レストランやホテル等においてスマートスピーカー３１Ａを利用してオーダー処理を行う音声認識オーダーシステムＳを実現できる。
【０１２０】
オーダー内容が会話を返答することでオーダー受付処理を実行させる場合には、オーダーサーバ１０からスマートスピーカー３１Ａに向けて所定の返答を行なうことができる。また、オーダー内容に対応する“次に行うべき処理”がある場合には、当該処理を実行することができる。
【０１２１】
また、オーダー情報に基づいたオーダー受付処理として行うべき処理が店舗サーバ３０に指示すべき処理であれば、店舗サーバ３０に対してオーダー実行指示情報を送信することにより、店舗サーバ３０がオーダー内容に応じた処理を実行することができる。そして、店舗サーバ３０がタブレット端末３１Ｂを制御情報にオーダー実行指示情報に含まれるスマートスピーカーＩＤ（ＩＤ情報）に対応づけられたタブレット端末ＩＤのタブレット端末３１Ｂを特定し、当該タブレット端末３１Ｂを制御対象端末装置として制御することができる。
【０１２２】
本発明の適用範囲は上述した構成に限定されることはない。本発明は、スマートスピーカーを用いて行われる音声認識オーダーシステム及び音声認識オーダー方法に対し、広く適用することができる。
【符号の説明】
【０１２３】
１０  オーダーサーバ（第一のコンピュータ）
１０１  制御部
１０１１  受付処理手段
１０１２  指示情報生成手段
１０１３  指示情報送信手段
１０２  記憶部
１０２１  店舗情報データベース（ＤＢ）
１０２２  発話シナリオデータベース（ＤＢ）
１０３  表示部、１０４  入力部、１０５  通信部
３０  店舗サーバ（第二のコンピュータ）
３０１  制御部
３０１１  指示情報受信手段
３０１３  端末制御手段
３０２  記憶部
３０２１  客席端末管理データベース（ＤＢ）
３０３  表示部、３０４  入力部、３０５  通信部
３１  客席端末
３１Ａ  スマートスピーカー
３１１Ａ  制御部
３１１１Ａ  音声データ受信手段
３１１２Ａ  認証手段
３１１３Ａ  テキスト情報生成手段
３１１４Ａ  オーダー情報送信手段
３１２Ａ  記憶部
３１２１Ａ  音声認識データベース（ＤＢ）
３１３Ａ  スピーカー（音声出力手段）、
３１４Ａ  マイクロフォン（音声入力手段）、
３１５Ａ  操作部、３１６Ａ  通信部
３１Ｂ  タブレット端末（端末装置、制御対象端末装置）
３１１Ｂ  制御部
３１２Ｂ  記憶部
３１２１Ｂ  注文可能商品データベース（ＤＢ）
３１３Ｂ  表示部、３１４Ｂ  入力部、３１５Ｂ  通信部
４０  ＡＩアシスタントサーバ
【図１】
2020160781.tif 000003
【図２】
2020160781.tif 000004
【図３】
2020160781.tif 000005
【図４】
2020160781.tif 000006
【図５】
2020160781.tif 000007
【図６Ａ】
2020160781.tif 000008
【図６Ｂ】
2020160781.tif 000009
【図６Ｃ】
2020160781.tif 000010
【図７】
2020160781.tif 000011
【図８】
2020160781.tif 000012
【図９】
2020160781.tif 000013
【図１０】
2020160781.tif 000014
【図１１】
2020160781.tif 000015
【図１２】
2020160781.tif 000016
【図１３】
2020160781.tif 000017
【図１４Ａ】
2020160781.tif 000018
【図１４Ｂ】
2020160781.tif 000019
【図１５】
2020160781.tif 000020
【図１６】
2020160781.tif 000021