(57)【要約】【課題】入力音声に基づいてコンテンツを適切に提示することができる情報処理システム等を提供する。【解決手段】情報処理システムの音声処理装置３は、音声入出力装置２に入力された入力音声をテキストに変換する入力音声変換部と、入力音声のテキストを表示装置１に送信する入力文送信部とを備え、表示装置１は、入力音声のテキストに基づいて検索されたコンテンツの画像を取得する画像取得部と、入力音声に対する応答音声のテキストであって、コンテンツの画像に応じた応答音声のテキストを生成する応答文生成部と、応答音声のテキストを音声処理装置３に送信する応答文送信部とを備え、音声処理装置３は、取得したテキストを応答音声に変換する応答文変換部と、応答音声を音声入出力装置２に出力させる音声出力部とを備え、表示装置１は、応答音声の出力のタイミングに同期してコンテンツの画像を表示する表示部を備える。【選択図】図１
2019175014.tif 000002
【特許請求の範囲】
【請求項１】
表示装置と、音声入出力装置と、通信網を介して前記音声入出力装置に接続された音声処理装置とを有する情報処理システムであって、
前記音声処理装置は、
前記音声入出力装置に入力された入力音声をテキストに変換する入力音声変換部と、
前記入力音声のテキストを前記表示装置に送信する入力文送信部と
を備え、
前記表示装置は、
前記入力音声のテキストに基づいて検索されたコンテンツの画像を取得する画像取得部と、
前記入力音声に対する応答音声のテキストであって、前記コンテンツの画像に応じた応答音声のテキストを生成する応答文生成部と、
前記応答音声のテキストを前記音声処理装置に送信する応答文送信部と
を備え、
前記音声処理装置は、
前記表示装置から取得したテキストを前記応答音声に変換する応答文変換部と、
前記応答音声を前記音声入出力装置に出力させる音声出力部と
を備え、
前記表示装置は、前記応答音声の出力のタイミングに同期して前記コンテンツの画像を表示する表示部を備える
ことを特徴とする情報処理システム。
【請求項２】
前記表示装置は、前記画像取得部が前記コンテンツの画像を取得したか否かを判定する判定部を備え、
前記コンテンツの画像を取得したと判定した場合、前記応答文送信部は前記応答音声のテキストを送信し、
前記応答音声のテキストを送信後、前記表示部は前記コンテンツの画像を表示する
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記音声処理装置は、前記入力音声のテキストが質問文か否かを判定するテキスト判定部を備え、
質問文であると判定した場合、前記入力文送信部は、該質問文を前記表示装置に送信し、
前記画像取得部は、前記質問文に応じた前記コンテンツの画像を取得し、
前記応答文生成部は、前記質問文に対する応答文を生成する
ことを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記コンテンツの画像を表示中に新たな前記質問文を取得した場合、前記画像取得部は、前記新たな質問文に応じて、表示中の前記コンテンツに関連する情報を示す画像を取得し、
前記応答文生成部は、前記コンテンツに関連する情報を案内する前記応答文を生成する
ことを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記表示装置は、前記入力音声のテキストに基づき、前記コンテンツの情報を検索する検索部を備え、
前記画像取得部は、検索された前記コンテンツの情報に基づいて画像を生成し、
前記応答文生成部は、前記コンテンツの情報を参照して、前記画像取得部が生成した画像に対応する前記応答音声のテキストを生成する
ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理システム。
【請求項６】
前記検索部は、一の前記入力音声のテキストに基づき、複数の前記コンテンツの情報を検索し、
前記画像取得部は、前記複数のコンテンツの検索結果を示す画像を生成し、
前記表示部は、前記検索結果を示す画像を表示し、
前記検索結果を示す画像を表示中に、前記複数のコンテンツのいずれかを指定する前記入力音声のテキストを取得した場合、前記画像取得部は、指定された前記コンテンツの画像を生成し、
前記応答文生成部は、前記指定されたコンテンツを案内する前記応答音声のテキストを生成する
ことを特徴とする請求項５に記載の情報処理システム。
【請求項７】
表示装置と、音声入出力装置と、通信網を介して前記音声入出力装置に接続された音声処理装置とを用いた情報処理方法であって、
前記音声処理装置に、
前記音声入出力装置に入力された入力音声をテキストに変換し、
前記入力音声のテキストを前記表示装置に送信し、
前記表示装置に、
前記入力音声のテキストに基づいて検索されたコンテンツの画像を取得し、
前記入力音声に対する応答音声のテキストであって、前記コンテンツの画像に応じた応答音声のテキストを生成し、
前記応答音声のテキストを前記音声処理装置に送信し、
前記音声処理装置に、
前記表示装置から取得したテキストを前記応答音声に変換し、
前記応答音声を前記音声入出力装置に出力させ、
前記表示装置に、前記応答音声の出力のタイミングに同期して前記コンテンツの画像を表示する
処理を実行させることを特徴とする情報処理方法。
【請求項８】
通信網を介して音声入出力装置に接続された音声処理装置から、前記音声入出力装置に入力された入力音声を変換したテキストを取得する入力文取得部と、
取得した前記入力音声のテキストに基づいて検索されたコンテンツの画像を取得する画像取得部と、
前記入力音声に対する応答音声のテキストであって、前記コンテンツの画像に応じた応答音声のテキストを生成する応答文生成部と、
前記応答音声のテキストを前記音声処理装置に送信する応答文送信部と、
送信したテキストを前記音声処理装置が前記応答音声に変換し、前記音声入出力装置が前記応答音声を出力するタイミングに同期して、前記コンテンツの画像を表示する表示部と
を備えることを特徴とする表示装置。
【請求項９】
表示装置に、
通信網を介して音声入出力装置に接続された音声処理装置から、前記音声入出力装置に入力された入力音声を変換したテキストを取得し、
取得した前記入力音声のテキストに基づいて検索されたコンテンツの画像を取得し、
前記入力音声に対する応答音声のテキストであって、前記コンテンツの画像に応じた応答音声のテキストを生成し、
前記応答音声のテキストを前記音声処理装置に送信し、
送信したテキストを前記音声処理装置が前記応答音声に変換し、前記音声入出力装置が前記応答音声を出力するタイミングに同期して、前記コンテンツの画像を表示部に表示する
処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、表示装置及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルサイネージと呼ばれる表示装置が普及しつつある。これに伴い、デジタルサイネージを活用した種々のシステムが提案されている。例えば特許文献１では、デジタルサイネージに広告を出力する広告出力装置であって、広告を視聴するユーザの表情、声等の反応に応じて広告の出力タイミングを制御する広告出力装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−９０７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に係る発明はユーザの反応から適切なコンテンツを推定して提示するものに過ぎず、ユーザとの間で音声対話を行ってコンテンツを提示するものではない。
【０００５】
一つの側面では、入力音声に基づいてコンテンツを適切に提示することができる情報処理システム等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの側面では、情報処理システムは、表示装置と、音声入出力装置と、通信網を介して前記音声入出力装置に接続された音声処理装置とを有する情報処理システムであって、前記音声処理装置は、前記音声入出力装置に入力された入力音声をテキストに変換する入力音声変換部と、前記入力音声のテキストを前記表示装置に送信する入力文送信部とを備え、前記表示装置は、前記入力音声のテキストに基づいて検索されたコンテンツの画像を取得する画像取得部と、前記入力音声に対する応答音声のテキストであって、前記コンテンツの画像に応じた応答音声のテキストを生成する応答文生成部と、前記応答音声のテキストを前記音声処理装置に送信する応答文送信部とを備え、前記音声処理装置は、前記表示装置から取得したテキストを前記応答音声に変換する応答文変換部と、前記応答音声を前記音声入出力装置に出力させる音声出力部とを備え、前記表示装置は、前記応答音声の出力のタイミングに同期して前記コンテンツの画像を表示する表示部を備えることを特徴とする。
【発明の効果】
【０００７】
一つの側面では、入力音声に基づいてコンテンツを適切に提示することができる。
【図面の簡単な説明】
【０００８】
【図１】案内システムの構成例を示す模式図である。
【図２】サイネージ及びスピーカの構成例を示すブロック図である。
【図３】サーバの構成例を示すブロック図である。
【図４】検索結果ＤＢ及び案内ＤＢのレコードレイアウトの一例を示す説明図である。
【図５】コマンドテーブル及び対話ＤＢのレコードレイアウトの一例を示す説明図である。
【図６】サイネージが表示する画面例を示す説明図である。
【図７】サイネージが表示する画面例を示す説明図である。
【図８】案内システムが実行する処理手順の一例を示すフローチャートである。
【図９】コンテンツ出力のサブルーチンの処理手順の一例を示すフローチャートである。
【図１０】コンテンツ出力のサブルーチンの処理手順の一例を示すフローチャートである。
【図１１】実施の形態２に係る案内システムの構成例を示す模式図である。
【図１２】上述した形態の案内システムの動作を示す機能ブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、案内システム（情報処理システム）の構成例を示す模式図である。本実施の形態では、ユーザによる発話音声に基づいて所定のコンテンツを検索し、検索されたコンテンツに関する画像及び音声を出力して案内を行う案内システムについて説明する。案内システムは、サイネージ（表示装置）１、スピーカ（音声入出力装置）２、及びサーバ（音声処理装置）３を有する。各装置は、インターネット等のネットワークＮを介して相互に通信接続されている。
【００１０】
サイネージ１は、外部と情報の送受信が可能な表示装置であり、所謂デジタルサイネージである。なお、サイネージ１は後述の処理を実行可能な表示装置であればよく、デジタルサイネージと呼ばれるものに限定されない。サイネージ１は、スピーカ２を介して入力された音声に基づいてコンテンツの検索を行い、検索されたコンテンツの画像を表示する。本実施の形態では、観光案内向けのシステムを想定し、観光地の情報をコンテンツとして提示する形態について説明する。本実施の形態でサイネージ１は、観光客であるユーザが発話した音声に基づき、外部の検索エンジンを利用して観光地の情報を検索する。そしてサイネージ１は、検索した観光地の情報を案内するための表示画面を生成して表示すると共に、表示画面に合わせた音声案内用のテキスト（応答文）を生成し、サーバ３を介してスピーカ２に再生（出力）させる。
【００１１】
なお、後述するサイネージ１における画像生成、及び音声テキストの生成は、サイネージ１ではなく、サイネージ１に接続されたローカル端末（例えばパーソナルコンピュータ）で実行してもよい。
【００１２】
スピーカ２は、サイネージ１の付近に設置された音声入出力装置であり、所謂スマートスピーカである。スピーカ２は、例えばグーグル（登録商標）社のグーグルホームのように、音声の入出力機能のほかに通信機能を有し、サーバ３との間で音声データの送受信を行う。スピーカ２は、入力音声のデータをサーバ３に送信し、サーバ３から受信した音声を出力する。本実施の形態でスピーカ２は、サイネージ１における画像表示と同期して音声を出力し、サイネージ１における表示画面に合わせた音声案内を行う。
【００１３】
サーバ３は、スピーカ２における音声の入出力を制御するクラウドサーバであり、スピーカ２における対話機能を実現するサーバ装置である。サーバ３は、スピーカ２に入力された音声の音声認識、意味解析等を行い、入力音声に対する応答として適切な出力音声を生成してスピーカ２に送信する。後述するように、本実施の形態でサーバ３はサイネージ１から音声案内用のテキストを取得し、当該テキストを音声に変換してスピーカ２に出力させる。スピーカ２が当該音声を出力することで、ユーザとの間の対話が実現される。
【００１４】
図２は、サイネージ１及びスピーカ２の構成例を示すブロック図である。サイネージ１は、制御部１１、主記憶部１２、通信部１３、表示部１４、センサ１５、及び補助記憶部１６を有する。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１６に記憶されたプログラムを読み出して実行することにより、サイネージ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、ネットワークＮを介して通信を行うためのインターフェイス、処理回路等を含み、サーバ３等との間で情報の送受信を行う。表示部１４は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置であり、制御部１１から与えられた画像を表示する。センサ１５は、例えば赤外線センサであり、サイネージ１に近寄って表示コンテンツを閲覧するユーザを検知する。
【００１５】
補助記憶部１６は、ＲＯＭ（Read Only Memory）等の不揮発性メモリであり、制御部１１が処理を実行するために必要なプログラム、その他のデータを記憶している。また、補助記憶部１６は、検索結果ＤＢ１６１及び案内ＤＢ１６２を記憶している。検索結果ＤＢ１６１は、スピーカ２に入力された音声に基づき検索されたコンテンツの検索結果を記憶するデータベースである。案内ＤＢ１６２は、コンテンツをユーザに案内するための表示画面及び音声テキストのテンプレートを記憶するデータベースである。
【００１６】
なお、補助記憶部１６はサーバ３に接続された外部記憶装置であってもよい。また、サイネージ１は、センサ１５に代えて例えば撮像カメラを備え、画像認識によってユーザの存在を検知するようにしてもよい。
【００１７】
スピーカ２は、制御部２１、主記憶部２２、補助記憶部２３、通信部２４、音声出力部２５、音声入力部２６を備える。
制御部２１は、一又は複数のＣＰＵ、ＭＰＵ等の演算処理装置を有し、補助記憶部２３に記憶されたプログラムを読み出して実行することにより、スピーカ２に係る種々の情報処理、制御処理等を行う。主記憶部２２はＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。補助記憶部２３は、ＲＯＭ等の不揮発性メモリであり、制御部２１が処理を実行するために必要なプログラム、その他のデータを記憶している。通信部２４は、通信を行うためのアンテナ、処理回路等を含み、サーバ３等との間で情報の送受信を行う。音声出力部２５はスピーカ装置であり、制御部２１から与えられた音声を出力する。音声入力部２６はマイクであり、音声の集音を行う。
【００１８】
図３は、サーバ３の構成例を示すブロック図である。サーバ３は、制御部３１、主記憶部３２、通信部３３、及び補助記憶部３４を有する。
制御部３１は、一又は複数のＣＰＵ、ＭＰＵ等の演算処理装置を有し、補助記憶部３４に記憶されたプログラムを読み出して実行することにより、サーバ３に係る種々の情報処理、制御処理等を行う。主記憶部３２は、ＲＡＭ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。通信部３３は、通信に関する処理を行うための処理回路等を含み、スピーカ２等と情報の送受信を行う。
【００１９】
補助記憶部３４は大容量メモリ、ハードディスク等であり、制御部３１が処理を実行するために必要なプログラム、その他のデータを記憶している。また、補助記憶部３４は、コマンドテーブル３４１及び対話ＤＢ３４２を記憶している。コマンドテーブル３４１は、サイネージ１の画面制御、及びスピーカ２の音声案内の制御を行うための入力音声のコマンドを記憶するテーブルである。対話ＤＢ３４２は、スピーカ２において入出力された対話音声のログデータを記憶するデータベースである。
【００２０】
なお、補助記憶部３４はサーバ３に接続された外部記憶装置であってもよい。また、サーバ３は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
【００２１】
図４は、検索結果ＤＢ１６１及び案内ＤＢ１６２のレコードレイアウトの一例を示す説明図である。
検索結果ＤＢ１６１は、検索ＩＤ列、検索日時列、検索クエリ列、検索結果列を含む。検索ＩＤ列は、入力音声に基づき検索された各コンテンツの検索結果を識別するための識別情報を記憶している。検索日時列は、検索ＩＤと対応付けて、コンテンツの検索が実行された日時を記憶している。検索クエリ列は、検索ＩＤと対応付けて、コンテンツ検索の際に用いた検索クエリ（キーワード）を記憶している。検索結果列は、検索ＩＤと対応付けて、検索されたコンテンツの検索結果を記憶している。検索結果列には、外部の検索エンジンから取得したテキスト、画像等のデータ（例えばＪＳＯＮ形式のファイル）が格納されている。
【００２２】
案内ＤＢ１６２は、画面名列、画面列、音声テキスト列を含む。画面名列は、サイネージ１が表示する各画面の画面名を記憶している。画面列は、画面名と対応付けて、各画面の画像データを記憶している。より詳しくは、画面列は、各画面の画面デザインのテンプレートを記憶している。後述するように、サイネージ１は当該テンプレート内に検索コンテンツのテキスト、画像等をオブジェクトとして挿入した画面を生成し、表示部１４に表示する。音声テキスト列は、画面名と対応付けて、各画面と同時にスピーカ２から出力する音声テキストのテンプレートを記憶している。音声テキストも表示画面と同様に、テンプレートに対して検索コンテンツのデータを埋め込むことで生成される。
【００２３】
図５は、コマンドテーブル３４１及び対話ＤＢ３４２のレコードレイアウトの一例を示す説明図である。
コマンドテーブル３４１は、コマンドＩＤ列、コマンド列、テキスト列を含む。コマンドＩＤは、スピーカ２に入力された音声から判別される各コマンドを識別するための識別情報を記憶している。コマンド列は、コマンドＩＤと対応付けて、各コマンドの内容を記憶している。テキスト列は、コマンドＩＤと対応付けて、各コマンドに相当する入力音声のテキスト（コマンド文）を記憶している。
【００２４】
対話ＤＢ３４２は、対話ＩＤ列、日時列、入力列、出力列を含む。対話ＩＤ列は、スピーカ２を介して行われた各対話（入力音声及び出力音声のペア）を識別するための識別情報を記憶している。日時列は、対話ＩＤと対応付けて、対話が行われた日時を記憶している。入力列は、対話ＩＤと対応付けて、スピーカ２に入力された音声を変換したテキストデータ（質問文）を記憶している。後述するように、サーバ３はスピーカ２に入力された音声に対して音声認識を行い、テキストに変換して対話ＤＢ３４２に記憶する。出力列は、対話ＩＤと対応付けて、スピーカ２から出力された音声の元となったテキストデータ（応答文）を記憶している。後述するように、サーバ３はサイネージ１から出力音声のテキストデータを取得し、当該テキストを音声に変換してスピーカ２より出力する。
【００２５】
図６及び図７は、サイネージ１が表示する画面例を示す説明図である。図６及び図７では、入力音声に基づくサイネージ１の画面遷移例を図示している。図６Ａでは、ユーザから質問を受け付ける質問画面を図示している。図６Ｂでは、質問画面の表示中に入力された音声（質問）に基づき検索された複数のコンテンツを示す検索結果画面を図示している。図７Ａ、Ｂでは、図６Ｂで表示された個々のコンテンツの詳細を示す詳細画面を図示している。図６及び図７を用いて、本実施の形態の概要について説明する。
【００２６】
上述の如く、本実施の形態では観光案内を行う場合を一例に説明を行う。サイネージ１は、観光地の所定の場所、例えば鉄道駅や自治体の役所などに設置されている。なお、サイネージ１の設置場所は特に問わない。スピーカ２は、サイネージ１の付近、具体的にはサイネージ１の画面を閲覧するユーザの発話音声を集音可能な範囲内に設置されている。
なお、スピーカ２はサイネージ１外部に設置されていてもよく、サイネージ１に内蔵されていてもよい。
【００２７】
センサ１５がユーザの接近を検知せず、付近にユーザがいない場合、サイネージ１は不図示の待機画面を表示している。サイネージ１は、センサ１５によってユーザの接近を検知した場合、図６Ａに示す質問画面に表示を切り換える。図６Ａに示すように、質問画面は、音声入力に基づき観光名所（コンテンツ）の情報を回答する旨の画面表示と、入力音声の例示とを含む。
【００２８】
ユーザは知りたい情報に応じて質問を音声入力する。これによってスピーカ２は、ユーザが発した質問に係る入力音声を取得する。スピーカ２は、取得した入力音声をサーバ３に送信する。
【００２９】
スピーカ２から入力音声を取得した場合、サーバ３は入力音声に対して音声認識を行い、入力音声をテキストに変換する。そしてサーバ３は、当該テキストに対する意味解析等の自然言語処理を行い、入力音声がどのような内容であるかを認識する。具体的には、サーバ３はコマンドテーブル３４１を参照して、入力音声を変換したテキストが質問文に相当するコマンド文であるか、質問文以外のコマンド文であるか、又はコマンド文に該当しないテキストであるかを判定する。
【００３０】
例えばサーバ３は、図５で説明したように、複数のコマンドをコマンドテーブル３４１で定義しておく。コマンドは、サイネージ１における画面制御、及びスピーカ２における音声出力の制御を行うための命令コードであり、スピーカ２に入力された音声から判別される。例えばコマンドテーブル３４１は、コンテンツ検索を実行するコマンド、サイネージ１及びスピーカ２における案内を終了するためのコマンドなど、種々のコマンドを定義してある。一般のスマートスピーカシステムと同じく、例えばサーバ３は入力音声から「○○おしえて」というテキストを取得した場合、当該テキストがコンテンツ検索のコマンドであることを認識する。このように、サーバ３は入力音声を変換したテキストに基づき、実行すべき処理動作を判定する。
【００３１】
質問文は、コンテンツ検索のトリガとなるコマンド文である。図５で説明したように、例えばサーバ３は質問文（図５では「検索」と図示）に相当するテキストのテンプレートをコマンドテーブル３４１に予め用意し、入力音声から取得したテキストと、テンプレートとの類似度から質問文であるか否かを判定する。また、同様にサーバ３は、質問文以外のコマンド（例えば案内終了、前の画面へ戻る表示操作等のコマンド）についてもテンプレートを用意し、入力音声がいずれかのコマンドに該当するか否かを判定する。
【００３２】
上記のようにしてサーバ３は、入力音声を変換したテキストが、質問文であるか、質問文以外のコマンド文であるか、又はいずれのコマンドにも該当しないテキストであるかを判定する。コマンドに該当しないテキストは、例えば観光案内に無関係な雑談、周囲の雑音等のように、無視すべき入力音声に相当するテキストであると考えられる。そこでサーバ３は、入力音声を変換したテキストがいずれのコマンドにも該当しないと判定した場合、当該入力音声のデータを破棄する。
【００３３】
入力音声のテキストが質問文以外のコマンド文であると判定した場合、サーバ３は、該当するコマンドをサイネージ１に送信し、コマンドに従った処理動作を行わせる。例えば案内終了のコマンドである場合、サーバ３はサイネージ１における質問画面の表示を終了させる。
【００３４】
入力音声を変換したテキストが質問文であると判定した場合、サーバ３は、当該質問文に係るテキストデータを、入力音声の取得元であるスピーカ２に対応するサイネージ１に送信する。例えば図６Ａに示す待機画面の表示中に「○○市にある温泉おしえて」という音声を取得した場合、サーバ３は、当該音声を変換したテキスト（質問文）をサイネージ１に送信する。なお、例えばサーバ３は、サイネージ１及びスピーカ２に識別情報（ＩＤ）を割り当てておき、設置場所に応じてサイネージ１及びスピーカ２のＩＤを紐付けて管理しておく。サーバ３は、入力音声の取得元であるスピーカ２付近に設置されたサイネージ１にテキストを送信する。
【００３５】
質問文に相当するテキストを取得した場合、サイネージ１は、当該テキストに基づき、出力すべきコンテンツを検索する。具体的には、サイネージ１は、サーバ３から取得した質問文を検索クエリとして外部の検索エンジンに出力し、検索エンジンから検索結果を取得する。
【００３６】
例えばサイネージ１は、質問文の曖昧さを回避するため、テキストに対し形態素解析を行って検索クエリとする単語（キーワード）を抽出する。例えば上述の質問文の場合、サイネージ１は「○○市」、「温泉」といった単語を抽出する。サイネージ１は、抽出した単語を、ＩＢＭ社のＷａｔｓｏｎ（登録商標）のようなＡＩ検索エンジン、あるいは汎用のＷｅｂ検索エンジンに出力し、当該単語に基づく検索処理を実行させ、コンテンツデータを取得する。例えばサイネージ１は、上記の単語に基づき検索されたテキスト、画像等のデータを取得する。上述の例の場合、サイネージ１は「○○市」にある「温泉」の所在地、説明文、風景写真等の情報をコンテンツとして取得する。
【００３７】
なお、図６Ａの質問画面を表示中に質問文を取得した場合、サイネージ１は、複数のコンテンツの情報を取得する。例えばサイネージ１は、所定数の検索上位のコンテンツ情報を検索結果として取得する。サイネージ１は、取得した各コンテンツの情報を検索結果ＤＢ１６１に保存しておくと共に、表示部１４に表示する検索結果画面と、当該画面と同時にスピーカ２より出力する案内音声（応答音声）のテキストとを生成する。
【００３８】
例えばサイネージ１には、表示画面を生成するための画像生成エンジンが予めインストールされている。画像生成エンジンは、例えばユニティテクノロジーズ社が提供するＵｎｉｔｙ（登録商標）ゲームエンジンを用いて実現される。サイネージ１は、例えば予め作成済みの検索結果画面の画面デザインのテンプレートを案内ＤＢ１６２から読み出し、当該テンプレートに対し、検索エンジンから取得したコンテンツのテキスト、画像等をオブジェクトとして挿入し、検索結果画面を生成する。サイネージ１は、検索上位の複数のコンテンツそれぞれに係るテキスト、画像等を所定箇所に配置した検索結果画面を生成する。図６Ｂに示すように、サイネージ１は、生成した検索結果画面を表示部１４に表示する。
【００３９】
また、サイネージ１は、検索結果画面と同時にスピーカ２から出力する案内音声のテキスト（応答文）を生成する。例えばサイネージ１は、上述の如く案内ＤＢ１６２から検索結果画面に対応する音声テキストのテンプレートを読み出し、当該テンプレートを元に音声のテキストを生成する。例えばサイネージ１は、テンプレートに対して具体的なコンテンツ名（上述の例では温泉名）等を挿入し、音声テキストを生成する。
【００４０】
サイネージ１は、スピーカ２における音声出力を制御するサーバ３に対し、生成した案内音声のテキストを送信する。サーバ３は、サイネージ１から受信したテキストを音声に変換し、変換した音声をスピーカ２に送信する。これによりサーバ３はスピーカ２に案内音声を再生（出力）させる。上述の例では、図６Ｂの検索結果画面の表示中に、スピーカ２は「検索結果はこちらです」との音声を再生すると共に、検索上位のコンテンツの情報（例えばコンテンツ名）を読み上げる音声を再生する。これにより、スピーカ２はユーザからの質問に対する応答を返し、対話を行う。
【００４１】
上述の如く、サイネージ１及びスピーカ２はそれぞれ、ユーザの発話音声に対する応答として、画面表示及び音声出力を行う。しかしながら、画面表示はサイネージ１がローカルで行う一方、スピーカ２はスマートスピーカであるため、音声出力はクラウド（サーバ３）経由で行われる。従って、サイネージ１における画面表示と、スピーカ２における音声出力との間で、出力タイミングの相違が生じる可能性がある。そこで本実施の形態では、サイネージ１及びスピーカ２それぞれでのコンテンツの出力タイミングに相違がないように、画面表示及び音声出力のタイミングを同期する。
【００４２】
例えばサイネージ１は、サーバ３から質問文を受け取って画像及び音声テキストをそれぞれ生成する場合に、画像及び音声テキストの両方の生成が完了してから音声テキストをサーバ３に送信する。例えば画像生成の方がテキスト生成よりも処理に時間が掛かる場合、サイネージ１は、画像生成が完了した後、先に生成済みの音声テキストをサーバ３へ送信する。サーバ３は、サイネージ１から受信したテキストを随時音声に変換し、スピーカ２に送信して出力させる。これに合わせてサイネージ１は、生成した画像を表示部１４に表示する。サーバ３を経由した音声の通信に時間が掛かる場合、サイネージ１はその時間だけ処理を待機し、画像を表示する。このように、サイネージ１はスピーカ２における音声出力と同期して、同時に画像を表示する。
【００４３】
上述の如く、サイネージ１及びスピーカ２は処理を同期しながら、図６Ｂに示す検索結果画面の表示、及び案内音声の出力を行う。図６Ｂに示すように、検索結果画面は複数のコンテンツそれぞれの情報を表示する。検索結果画面の表示中に、スピーカ２はさらに、検索結果画面で表示されているコンテンツのいずれかを指定する音声入力を受け付ける。例えばスピーカ２は、図６Ｂに示す各コンテンツの番号、又はコンテンツ名について音声入力を受け付ける。
【００４４】
コンテンツを指定する音声入力を受け付けた場合、スピーカ２は上述の処理と同様に、入力音声をサーバ３に送信する。サーバ３は入力音声に対して音声処理を行い、指定されたコンテンツを表す情報（コマンド）をサイネージ１に送信する。サイネージ１はサーバ３から取得したコマンドに従い、検索結果ＤＢ１６１に記憶済みのコンテンツデータを参照して、指定されたコンテンツの情報を示す図７Ａの詳細画面を生成して出力する。また、サイネージ１は併せて当該コンテンツ（図７Ａでは温泉）の案内音声のテキストを生成し、サーバ３を経由してスピーカ２に案内音声を出力させる。なお、検索結果画面の表示時と同じく、音声出力と同期して処理を行うことは勿論である。
【００４５】
図７Ａに示すように、詳細画面はコンテンツ名、コンテンツの画像（風景写真）等を含む。サイネージ１が図７Ａの詳細画面を表示すると共に、スピーカ２は案内音声を出力し、コンテンツの説明（図７Ａでは温泉の簡単な説明）を行う。なお、詳細画面の表示中に「戻る」の音声入力がなされた場合、サイネージ１は図６Ｂの検索結果画面に表示を戻す。
【００４６】
ここで本システムでは、詳細画面の表示によってコンテンツの案内を終了することなく、続けて質問を受け付けてコンテンツのさらなる詳細を案内する。例えば図７Ａに示すように、サイネージ１は、詳細画面でさらなる質問の選択肢を提示（表示）する。スピーカ２はユーザから、当該選択肢の中から新たな質問の音声入力を受け付ける。詳細画面の表示中に新たな質問を受け付けた場合、サイネージ１は新たな質問に対応するコンテンツの詳細情報（コンテンツに関連する情報）を表示すると共に、スピーカ２は詳細情報の音声案内を行う。
【００４７】
一般にスマートスピーカは一問一答形式であり、ユーザから一の質問（コマンド）を受け付けた場合、当該質問に対する応答を出力して処理を終了する。上述の例に沿って説明すれば、「○○市にある温泉おしえて」の質問に対し、該当する温泉の名称等を案内して処理を終了する。従って、ユーザは案内された温泉の詳細、例えば温泉の効能を知りたい場合、「効能は？」と入力しても適切な回答を得ることができず、温泉名を指定した上で「△△温泉郷の効能は？」と入力しなければならない。このように、一の質問に対して一の応答を出力するだけでは対話と呼ぶには不足であり、ユーザにとって不便なものになる。
【００４８】
そこで本システムでは、一度質問の入力を受け付けた場合、続けて別の質問の音声入力を受け付ける。具体的には、サイネージ１は、詳細画面の表示中に新たな質問を受け付けた場合、当該質問の内容に応じて、詳細画面に表示中のコンテンツの詳細情報を出力する。例えば図６Ａの詳細画面の表示中に「効能は？」との音声入力をスピーカ２が受け付けた場合、サイネージ１は検索結果ＤＢ１６１に保存してあるコンテンツデータを参照して、詳細画面に表示中の温泉（コンテンツ）の効能に関する情報を読み出す。サイネージ１は、図７Ｂに示すように、詳細画面において温泉の効能を示す文章をポップアップ表示する。また、サイネージ１は音声の効能を説明する案内音声のテキストを生成し、スピーカ２に案内音声を出力させる。
【００４９】
上記のように、サーバ３は、当初の質問に基づき検索されたコンテンツの出力中に新たな質問を取得した場合、出力中のコンテンツに関連する情報を示す画像及び音声テキストを生成し、出力する。これにより、ユーザはストレスを感じることなくコンテンツの提示（例えば観光案内）を受けることができ、適切な対話が実現される。
【００５０】
図８は、案内システムが実行する処理手順の一例を示すフローチャートである。図８に基づき、本システムが実行する処理内容について説明する。
サイネージ１は、所定の待機画面を表示する（ステップＳ１１）。サイネージ１は、センサ１５を介してユーザの接近を検知したか否かを判定する（ステップＳ１２）。接近を検知していないと判定した場合（Ｓ１２：ＮＯ）、サイネージ１は処理をステップＳ１１に戻す。接近を検知したと判定した場合（Ｓ１２：ＹＥＳ）、サイネージ１は質問画面を表示する（ステップＳ１３）。
【００５１】
サイネージ１及びスピーカ２は、ユーザによる発話音声の入力を受け付けてコンテンツを検索し、検索されたコンテンツに関する画像及び音声を出力するサブルーチンを実行する（ステップＳ１４）。サイネージ１は、ユーザの離脱を検知したか否かを判定する（ステップＳ１５）。離脱を検知していないと判定した場合（Ｓ１５：ＮＯ）、サイネージ１は処理をステップＳ１４に戻す。離脱を検知したと判定した場合（Ｓ１５：ＹＥＳ）、サイネージ１は処理をステップＳ１１に戻す。
【００５２】
図９及び図１０は、コンテンツ出力のサブルーチンの処理手順の一例を示すフローチャートである。図９及び図１０に基づき、ステップＳ１４のサブルーチンの処理内容について説明する。
スピーカ２は、音声入力部２６を介して発話音声の入力を受け付ける（ステップＳ３１）。スピーカ２は、入力された発話音声をサーバ３に送信する（ステップＳ３２）。サーバ３は、発話音声に対する音声認識を行い、テキストに変換する（ステップＳ３３）。サーバ３は、変換したテキストに対する意味解析等の自然言語処理を行う（ステップＳ３４）。
【００５３】
サーバ３は、ステップＳ３４の処理結果に基づき、テキストが質問文であるか否かを判定する（ステップＳ３５）。質問文でないと判定した場合（Ｓ３５：ＮＯ）、サーバ３は、テキストが質問以外のコマンド文であるか否かを判定する（ステップＳ３６）。コマンド文でないと判定した場合（Ｓ３６：ＮＯ）、サーバ３はテキストを破棄し（ステップＳ３７）、サブルーチンをリターンする。コマンド文であると判定した場合（Ｓ３６：ＹＥＳ）、サーバ３はコマンドをサイネージ１に送信する（ステップＳ３８）。コマンドを取得した場合、サイネージ１はコマンドに応じた画面制御を行い（ステップＳ３９）、サブルーチンをリターンする。
【００５４】
図１０に移って、入力音声を変換したテキストが質問文であると判定した場合（Ｓ３５：ＹＥＳ）、サーバ３は、当該質問文（テキスト）をサイネージ１に送信する（ステップＳ４０）。質問文を取得した場合、サイネージ１は、すでに質問文に基づくコンテンツ検索を行ってコンテンツを出力（表示）中であるか否かを判定する（ステップＳ４１）。具体的には、サイネージ１は図７Ａで例示した詳細画面を表示中であるか否かを判定する。
【００５５】
コンテンツを出力中でないと判定した場合（Ｓ４１：ＮＯ）、サイネージ１は、質問文に基づいてコンテンツを検索する（ステップＳ４２）。例えばサイネージ１は、外部の検索エンジンを利用して、サーバ３から取得した質問文を検索クエリとして検索を行い、検索されたコンテンツを取得する。サイネージ１は、検索された複数のコンテンツのうち、所定数の検索上位のコンテンツの情報を抽出する。サイネージ１は、検索されたコンテンツの情報を検索結果ＤＢ１６１に記憶する（ステップＳ４３）。
【００５６】
コンテンツを出力中であると判定した場合（Ｓ４１：ＹＥＳ）、サイネージ１は、サーバ３から取得した質問文に応じて、出力中のコンテンツに関連する情報を検索結果ＤＢ１６１から読み出す（ステップＳ４４）。例えばサイネージ１は、詳細画面の表示中に取得した質問文に基づき検索結果ＤＢ１６１を検索し、質問文に応じたコンテンツの詳細情報を読み出す。
なお、サイネージ１はステップＳ４４において改めて外部検索エンジンを利用した検索処理を行い、質問文に対応するコンテンツデータを取得するようにしてもよい。
【００５７】
サイネージ１は、ステップＳ４２で検索したコンテンツの情報、又はステップＳ４４で読み出した情報に基づき、表示部１４に表示するコンテンツの表示画像、及び入力音声に対する応答音声のテキスト（応答文）であって、表示画像に対応する応答音声（案内音声）のテキストを生成する（ステップＳ４５）。例えばサイネージ１は、案内ＤＢ１６２に予め用意されている画面デザインのテンプレートに、検索結果として取得したコンテンツのテキスト、画像等を挿入した表示画面を生成する。また、サイネージ１は、当該画面に対応する音声テキストのテンプレートを案内ＤＢ１６２から読み出し、コンテンツに応じた情報（例えばコンテンツ名等）を当該テンプレートに挿入して音声テキストを生成する。例えばサイネージ１は、検索された複数のコンテンツの検索結果を示す検索結果画面を生成する場合、対応する応答音声として、検索された上位コンテンツの情報（例えばコンテンツ名）を読み上げる応答音声のテキストを生成する。また、例えばサイネージ１は、入力音声に基づく指定を受け付けて詳細画面を生成する場合、対応する応答音声として、指定されたコンテンツを説明する音声のテキストを生成する。
【００５８】
サイネージ１は、コンテンツの画像、及び応答音声のテキストの両方の生成が完了したか否かを判定する（ステップＳ４６）。例えばサイネージ１は、処理に時間が掛かるコンテンツ画像の生成が完了したか否かを判定する。生成が完了していないと判定した場合（Ｓ４６：ＮＯ）、サイネージ１は処理をステップＳ４５に戻す。生成が完了したと判定した場合（Ｓ４６：ＹＥＳ）、サイネージ１は、ステップＳ４５で生成した応答音声のテキストをサーバ３に送信する（ステップＳ４７）。
【００５９】
サイネージ１から応答音声のテキストを取得した場合、サーバ３は当該テキストを応答音声に変換する（ステップＳ４８）。サーバ３は、変換した応答音声をスピーカ２に送信する（ステップＳ４９）。サーバ３から応答音声を取得した場合、スピーカ２は当該音声を出力し（ステップ５０）、サブルーチンをリターンする。
【００６０】
ステップＳ４７の処理を実行後、サイネージ１は、ステップＳ４５で生成した画像を、ステップＳ５０におけるスピーカ２での音声の出力タイミングと同期して表示する（ステップＳ５１）。上述の如く、サイネージ１は、ステップＳ４６の判定処理によって音声テキストの送信を待機することで同期を行う。また、例えばサイネージ１は、ステップＳ４７でのテキスト送信後、当該テキストがサーバ３で音声に変換され、スピーカ２で音声が出力されるまでの時間だけ処理を待機し、画像の表示タイミングが音声の出力タイミングと同時となるように調整しても良い。サイネージ１は、サブルーチンをリターンする。
【００６１】
なお、上記ではサイネージ１が画像及び音声の出力タイミングの同期を行っているが、本実施の形態はこれに限定されるものではない。例えばサイネージ１はテキスト生成後にすぐサーバ３へ当該テキストを送信し、サーバ３が処理を待機して、サイネージ１から画像の生成完了の通知を受けてスピーカ２に音声を出力することで、サーバ３が同期を取るようにしてもよい。また、例えばスピーカ２が音声出力を待機し、サイネージ１からの通知を受けて音声を出力するようにしてもよい。このように、サイネージ１がスピーカ２での音声出力と同期して画像表示を行うことができればよく、画像及び音声の同期を取る主体は特に限定されない。
【００６２】
また、サイネージ１は外部の検索エンジンに質問文を出力することでコンテンツを検索することにしているが、本実施の形態はこれに限定されるものではなく、例えば独自のコンテンツのデータベースを内部に予め用意し、データベースから質問文に対応するコンテンツを検索するようにしてもよい。
【００６３】
以上より、本実施の形態１によれば、入力音声に基づき検索されたコンテンツの画像及び音声を、互いに同期しながらサイネージ１及びスピーカ２でそれぞれ出力する。これにより、デジタルサイネージとスマートスピーカとを組み合わせてコンテンツを提示する場合であっても、適切にコンテンツを提示することができる。
【００６４】
また、本実施の形態１によれば、サイネージ１で画像及び音声テキストの両方の生成が完了してからサーバ３に音声テキストを送信することで、画像表示及び音声出力のタイミングを適切に同期させることができる。
【００６５】
また、本実施の形態１によれば、サーバ３で入力音声が質問文か否かを判定し、質問文である場合にサイネージ１へ当該質問文を送信することで、サイネージ１における画像及び音声テキストの生成を適切に行うことができる。
【００６６】
また、本実施の形態１によれば、コンテンツの出力中に新たな質問の音声入力を受け付け、新たな質問に対する応答を出力することで、ユーザとの間の対話を継続させ、好適にコンテンツの案内を行うことができる。
【００６７】
また、本実施の形態１によれば、検索エンジンを用いて検索されたコンテンツの情報（テキスト、画像等）を単純に表示するのではなく、所定の画面デザインに当てはめてオリジナルの画面を生成し、ユーザに提示する。これにより、実施態様に応じて適切な画面をユーザに提示することができる。
【００６８】
また、本実施の形態１によれば、入力音声に基づき複数のコンテンツを検索結果として提示すると共に、さらに音声入力を受け付け、ユーザが指定したコンテンツの情報を提示する。これにより、複数候補からユーザが望む情報を提示することができる。
【００６９】
（実施の形態２）
本実施の形態では、コンテンツ検索をサーバ３が実行する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図１１は、実施の形態２に係る案内システムの構成例を示す模式図である。図１１では、本実施の形態における案内システムを構成する各装置と、各装置の間の処理動作とを概念的に図示してある。図１１に基づき、本実施の形態の内容について説明する。
【００７０】
実施の形態１ではサーバ３からサイネージ１に質問文を送信し、サイネージ１が質問文に基づくコンテンツの検索を行う旨を説明したが、本実施の形態では、サーバ３がコンテンツ検索を行う。具体的には、サーバ３は実施の形態１と同様に入力音声をテキストに変換した後、当該テキストが質問文であるか否かを判定する。質問文であると判定した場合、サーバ３は、検索エンジンに質問文のテキストデータを出力して、コンテンツの検索を実行させる。
【００７１】
この場合にサーバ３は、図１１に示す外部サーバ４に質問文のテキストを送信する。外部サーバ４は、口語体の文章を検索エンジンが処理可能なテキストに変換するＡＳＰサーバであり、入力文の形態素解析を行って検索クエリを生成する処理を行う。外部サーバ４は、サーバ３から取得した質問文から検索クエリを生成して検索エンジンに出力し、検索結果を取得してサーバ３に返却する。サーバ３は、検索結果を検索結果ＤＢ１６１に記憶する。
【００７２】
サイネージ１は、サーバ３に対して検索結果の出力要求（呼出）を行い、サーバ３からコンテンツの検索結果を取得する。その後、サイネージ１は実施の形態１と同様に画像及び音声テキストを生成し、コンテンツを出力する。
【００７３】
コンテンツの検索処理を実行する処理主体が異なる点以外は実施の形態１と同様であるため、本実施の形態ではこれ以上の詳細な図示及び説明は省略する。
【００７４】
以上より、本実施の形態２によれば、サイネージ１は質問文に基づき検索されたコンテンツを取得可能であればよく、サーバ３がコンテンツの検索を行う場合でも実施の形態１と同様の効果を奏する。
【００７５】
（実施の形態３）
図１２は、上述した形態の案内システムの動作を示す機能ブロック図である。制御部１１が補助記憶部１６に記憶されているプログラムを実行することにより、サイネージ１は以下のように動作する。
入力文取得部１２１は、通信網を介して音声入出力装置に接続された音声処理装置から、前記音声入出力装置に入力された入力音声を変換したテキストを取得する。画像取得部１２２は、取得した前記入力音声のテキストに基づいて検索されたコンテンツの画像を取得する。応答文生成部１２３は、前記入力音声に対する応答音声のテキストであって、前記コンテンツの画像に応じた応答音声のテキストを生成する。応答文送信部１２４は、前記応答音声のテキストを前記音声処理装置に送信する。表示部１２５は、送信したテキストを前記音声処理装置が前記応答音声に変換し、前記音声入出力装置が前記応答音声を出力するタイミングに同期して、前記コンテンツの画像を表示する。
【００７６】
また、制御部３１が補助記憶部３４に記憶されているプログラムを実行することにより、サーバ３は以下のように動作する。
入力音声変換部１２６は、前記音声入出力装置に入力された入力音声をテキストに変換する。入力文送信部１２７は、前記入力音声のテキストを前記表示装置に送信する。応答文変換部１２８は、前記表示装置から取得したテキストを前記応答音声に変換する。音声出力部１２９は、前記応答音声を前記スピーカに出力させる。
【００７７】
本実施の形態３は以上の如きであり、その他は実施の形態１及び２と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
【００７８】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７９】
１  サイネージ（表示装置）
１４  表示部
１６１  検索結果ＤＢ
１６２  案内ＤＢ
２  スピーカ（音声入出力装置）
２４  通信部
２５  音声出力部
２６  音声入力部
３  サーバ（音声処理装置）
３４１  コマンドテーブル
３４２  対話ＤＢ
４  外部サーバ
【図１】
2019175014.tif 000003
【図２】
2019175014.tif 000004
【図３】
2019175014.tif 000005
【図４】
2019175014.tif 000006
【図５】
2019175014.tif 000007
【図６】
2019175014.tif 000008
【図７】
2019175014.tif 000009
【図８】
2019175014.tif 000010
【図９】
2019175014.tif 000011
【図１０】
2019175014.tif 000012
【図１１】
2019175014.tif 000013
【図１２】
2019175014.tif 000014